CN109785447A - 一种医学标本展示方法及装置 - Google Patents
一种医学标本展示方法及装置 Download PDFInfo
- Publication number
- CN109785447A CN109785447A CN201910251424.8A CN201910251424A CN109785447A CN 109785447 A CN109785447 A CN 109785447A CN 201910251424 A CN201910251424 A CN 201910251424A CN 109785447 A CN109785447 A CN 109785447A
- Authority
- CN
- China
- Prior art keywords
- medical
- medical specimen
- specimen
- sample
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001747 exhibiting effect Effects 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000013135 deep learning Methods 0.000 claims abstract description 28
- 230000003190 augmentative effect Effects 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 13
- 239000012141 concentrate Substances 0.000 claims description 11
- 239000003814 drug Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009412 basement excavation Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 210000000056 organ Anatomy 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002224 dissection Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013095 identification testing Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
Abstract
本申请提供了一种医学标本展示方法及装置,包括:根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型;根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集中各部位对应的图片进行识别训练,得到用于识别各部位的识别模型;通过移动终端对目标医学标本进行扫描,将扫描结果输入所述识别模型,识别出所述扫描结果对应的目标部位;通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型。
Description
技术领域
本申请涉及增强现实技术领域,具体而言,涉及一种医学标本展示方法及装置。
背景技术
传统的医学人体医学标本是通过肉眼及标本图片进行观察学习的,但基于图片方式并不能360度全方位观察人体医学标本以及肉眼并不能观察标本细微结构及深层结构,近年来提出基于VR(Virtual Reality,虚拟现实)技术的解决方案。但现有技术中的基于VR技术的解决方案有诸多客观局限因素,难以投入实际应用中。
由于VR技术过于依赖于硬件设备的电池续航能力及前期资源录入,而如今VR设备硬件最长电池续航能力并不能达到全天24小时不间断使用,同时在使用者佩戴VR设备时,易出现头动症及对周边环境的非感知性,并且VR设备普遍较重,压迫使用者头部,对使用者健康及安全造成不必要的影响,同时对于信息资源迭代更新完备方面,不能做到系统自主学习及更新过慢的影响,故基于VR技术与人体医学标本相结合的解决方案,并未真正投入实际医学应用中。
发明内容
有鉴于此,本申请的目的在于提供一种医学标本展示方法及装置,用于解决现有技术中不能全方位观察人体医学标本、标本细微结构及深层结构的问题。可以高度还原真实人体医学标本,操作简单便捷,提高了实用性,提升了用户体验。
第一方面,本申请实施例提供了一种医学标本展示方法,该方法包括:
根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型;
根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型;
通过移动终端对目标医学标本进行扫描,将扫描结果输入所述识别模型,识别出所述扫描结果对应的目标部位;
通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型。
根据第一方面,本申请实施例提供了第一方面的第一种可能的实施方案,其中,在所述根据医学标本进行三维数字化建模之前,所述方法还包括:
从所述医学数据库中获取各部位的医学资料,建立医学资源库;
在所述通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型之后,所述方法还包括:
从所述医学资源库中,筛选所述目标部位对应的医学资料,在所述移动终端显示所述目标部位对应的医学资料。
根据第一方面,本申请实施例提供了第一方面的第二种可能的实施方案,其中,在所述通过移动终端对目标医学标本进行扫描之前,所述方法还包括:
以所述移动终端为空间坐标原点,建立三维空间坐标系;
根据所述三维空间坐标系,确定所述目标医学标本的三维空间位置;
依据所述目标医学标本的三维空间位置以及预先设置的位置映射关系,确定所述目标部位对应的医学标本三维模型在三维空间坐标系中的三维空间位置,以使显示模块通过移动终端对目标医学标本对应的医学标本三维模型进行显示。
根据第一方面,本申请实施例提供了第一方面的第三种可能的实施方案,其中,所述方法还包括:
通过所述移动终端对显示的所述目标部位对应的医学标本三维模型进行操作。
根据第一方面和第一方面的第一种到第三种可能的实施方案中的任一种所述的实施方案,本申请实施例提供了第一方面的第四种可能的实施方案,其中,所述根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型,包括:
提取样本医学标本集中第一部位对应的样本医学标本,将所述第一部位对应的样本医学标本作为第一部位训练标本集;
提取样本医学标本集中预定数量的非第一部位对应的样本医学标本,将所述非第一部位对应的样本医学标本作为非第一部位训练标本集;
根据对所述医学数据库的大数据深度挖掘和深度学习算法,对第一部位训练标本集进行第一部位识别训练,以及,对非第一部位训练标本集进行非第一部位识别训练,得到训练模型;
以所述样本医学标本集随机抽取的预定数量样本医学标本,对所述训练模型进行测试,若测试结果不满足预先设置的精度阈值,对所述训练模型继续训练,直至测试结果满足预先设置的精度阈值,得到所述识别模型。
第二方面,本申请实施例提供了一种人体医学标本展示装置,该装置包括:
建模模块,用于根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型;
训练模块,用于根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型;
识别模块,用于通过移动终端对目标医学标本进行扫描,将扫描结果输入所述识别模型,识别出所述扫描结果对应的目标部位;
显示模块,用于通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型。
根据第二方面,本申请实施例提供了第二方面的第一种可能的实施方案,其中,在所述建模模块之前,所述装置还包括:
获取模块,用于从所述医学数据库中获取各部位的医学资料,建立医学资源库;
在所述显示模块之后,所述装置还包括:
信息模块,用于从所述医学资源库中,筛选所述目标部位对应的医学资料,在所述移动终端显示所述目标部位对应的医学资料。
根据第二方面,本申请实施例提供了第二方面的第二种可能的实施方案,其中,在所述扫描模块之前,所述装置还包括:
坐标系模块,用于以所述移动终端为空间坐标原点,建立三维空间坐标系;
定位模块,用于根据所述三维空间坐标系,确定所述目标医学标本的三维空间位置;
映射模块,用于依据所述目标医学标本的三维空间位置以及预先设置的位置映射关系,确定所述目标部位对应的医学标本三维模型在三维空间坐标系中的三维空间位置,以使显示模块通过移动终端对目标医学标本对应的医学标本三维模型进行显示。
根据第二方面,本申请实施例提供了第二方面的第三种可能的实施方案,其中,所述装置还包括:
操作模块,用于通过所述移动终端对显示的所述目标部位对应的医学标本三维模型进行操作。
根据第二方面和第一方面的第一种到第三种可能的实施方案中的任一种所述的实施方案,本申请实施例提供了第二方面的第四种可能的实施方案,其中,所述训练模块,包括:
第一提取单元,用于提取样本医学标本集中第一部位对应的样本医学标本,将所述第一部位对应的样本医学标本作为第一部位训练标本集;
第二提取单元,用于提取样本医学标本集中预定数量的非第一部位对应的样本医学标本,将所述非第一部位对应的样本医学标本作为非第一部位训练标本集;
训练单元,用于根据对所述医学数据库的大数据深度挖掘和深度学习算法,对第一部位训练标本集进行第一部位识别训练,以及,对非第一部位训练标本集进行非第一部位识别训练,得到训练模型;
测试单元,用于以所述样本医学标本集随机抽取的预定数量样本医学标本,对所述训练模型进行测试,若测试结果不满足预先设置的精度阈值,对所述训练模型继续训练,直至测试结果满足预先设置的精度阈值,得到所述识别模型。
本申请实施例提出的一种医学标本展示方法及装置,通过基于增强现实技术与人工智能技术,使用经过深度学习算法训练后的医学标本识别模型,扫描识别目标医学标本,并通过增强现实技术显示目标医学标本对应的医学标本三维模型。本申请实施例所提出的一种医学标本展示方法及装置高度还原了真实人体医学标本,操作简单便捷,并且采用了增强现实技术,完全建立在真实环境的基础上,保证了用户使用时的安全性,提高了实用性,提升了用户体验。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一医学标本展示方法的流程示意图;
图2为本申请实施例提供的一种医学标本展示方法的流程示意图;
图3为本申请实施例提供的一种医学标本展示方法的逻辑示意图;
图4为本申请实施例提供的一种医学标本展示装置的结构示意图;
图5为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种医学标本展示方法,如图1所示,包括以下步骤S100-S103:
S100、根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型。
具体地,通过对标准的器官、组织等的医学标本扫描建立医学标本的3D模型,并根据各器官、组织的空间位置关系建立各器官、组织之间的组合逻辑。
S101、根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型。
具体地,以对医学数据库进行大数据深度挖掘得到的大量解剖标本图片和组织器官图片作为数据基础,得到深度学习算法所需的各器官、组织的特征参数,根据上述各器官、组织的特征参数通过深度学习算法对多个医学标本图片和/或样本医学标本通过增强现实技术进行逐一扫描,来进行识别训练,以得到识别模型。
其中,上述深度学习算法,优选地,针对iOS系统,采用以ARkit平台和Core ML机器学习框架为基础,通过对viewcontroller.swift中的UINavigationControllerDelegate进行调用,实现相机以及相簿功能,进而通过建立神经网络的分类器,收集分析模型评估参数进行机器深度学习,最后再建立iMagePickerControlloer来实现最终的图像转换AR(Augmented Reality,增强现实技术)模型的功能;针对Android系统,则采用以ARCore平台和ML Kit机器学习框架为基础,通过部署TensorFlow Lite模型,并应用Firebase控制器上传相对应的模型,将所生成的图像模型标签存储在Cloud Firestore中,从而实现上述跟iOS系统相类似的功能。本申请对于深度学习算法的选用不予限制。
S102、通过移动终端对目标医学标本进行扫描,将扫描结果输入上述识别模型,识别出上述扫描结果对应的目标部位。
具体地,通过智能手机的摄像头对目标医学标本进行扫描,将扫描得到的图像输入到识别模型中,识别模型通过计算得到所扫描的目标医学标本对应的器官、组织。
S103、通过增强现实技术,在上述移动终端显示上述目标部位对应的医学标本三维模型。
具体地,通过增强现实技术,在移动终端上显示目标部位对应的医学标本三维模型的虚拟影像与真实环境影像相融合的影像,超真还原医学标本的三维模型。用户还可以将扫描过的历史目标进行显示。
可选地,本申请实施例还可以采用AR眼镜和移动终端配合的方式显示目标部位对应的医学标本:移动终端进行扫描识别,在AR眼镜上进行目标部位对应的医学标本的显示。
在一可选的实施例中,在上述根据医学标本进行三维数字化建模之前,上述方法还包括以下步骤:
S1001、从上述医学数据库中获取各部位的医学资料,建立医学资源库。
具体地,从医学数据库中获取各器官、组织的相关医学资料,以建立医学资源库,其中,医学资料包括各器官、组织的相关文献、解剖视频资料、音频资料等,本申请对此不予限制。
在上述通过增强现实技术,在上述移动终端显示上述目标部位对应的医学标本三维模型之后,上述方法还包括以下步骤:
S1031、从上述医学资源库中,筛选上述目标部位对应的医学资料,在上述移动终端显示上述目标部位对应的医学资料。
具体地,通过增强现实技术在移动终端上显示目标部位对应的医学标本三维模型后,从医学资源库中筛选出目标部位的相关文献、解剖视频资料、音频资料等医学资料,可供用户进行选择查阅。
可选地,在AR眼镜与移动终端配合显示的情况下,医学资料显示在AR眼镜上。
在一可选的实施例中,在上述通过移动终端对目标医学标本进行扫描之前,上述方法还包括以下步骤:
S1021、以上述移动终端为空间坐标原点,建立三维空间坐标系。
具体地,用户手持移动终端对当前所处真实环境进行全方位的扫描,并以移动终端的位置作为空间坐标的原点,建立三维空间坐标系。
S1022、根据上述三维空间坐标系,确定上述目标医学标本的三维空间位置。
具体地,对目标医学标本进行扫描的同时,通过上述三位空间坐标系,确定目标医学标本的三维空间坐标。
S1023、依据上述目标医学标本的三维空间位置以及预先设置的位置映射关系,确定上述目标部位对应的医学标本三维模型在三维空间坐标系中的三维空间位置,以使显示模块通过移动终端对目标医学标本对应的医学标本三维模型进行显示。
具体地,根据目标医学标本的三维空间坐标和预设的医学标本三维模型通过增强现实技术在真实环境中放置的位置与目标医学标本的空间位置映射关系(例如:放置于目标医学标本与移动终端的连线上,并距离目标医学标本20cm),通过映射计算得到医学标本三维模型的在三维空间坐标系中的位置,并可以根据用户的移动进行自适应性的变动。
在一可选的实施例中,上述方法还包括以下步骤:
S1032、通过上述移动终端对显示的上述目标部位对应的医学标本三维模型进行操作。
具体地,用户在移动终端上可以对医学标本三维模型进行放大、缩小、旋转、切割等操作。
在一可选的实施例中,上述根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型,如图2所示,包括:
S1011、提取样本医学标本集中第一部位对应的样本医学标本,将上述第一部位对应的样本医学标本作为第一部位训练标本集。
具体地,在识别训练的时候,先选择一个器官或组织作为当前深度学习的第一部位,样本医学标本集中的第一部位的样本医学标本筛选出来。
S1012、提取样本医学标本集中预定数量的非第一部位对应的样本医学标本,将上述非第一部位对应的样本医学标本作为非第一部位训练标本集。
具体地,在步骤S1011之后,样本医学标本集中的非第一部位的样本医学标本筛选出来。
S1013、根据对上述医学数据库的大数据深度挖掘和深度学习算法,对第一部位训练标本集进行第一部位识别训练,以及,对非第一部位训练标本集进行非第一部位识别训练,得到训练模型。
具体地,通过对医学数据库的大数据深度挖掘得到的第一部位对应的特征参数对第一部位训练标本集中的标本进行第一部位的识别训练;同时,通过对医学数据库的大数据深度挖掘得到的非第一部位对应的特征参数对非第一部位训练标本集中的标本进行非第一部位的识别训练,得到第一部位重建的数据库,然后重新选择新的部位重复以上步骤S1011-S1013的识别训练,直到针对每一器官、组织结构进行重建数据库,并针对重建后的数据库进行分类及回归树算法的优化后,得到训练模型。
S1014、以上述样本医学标本集随机抽取的预定数量样本医学标本,对上述训练模型进行测试,若测试结果不满足预先设置的精度阈值,对上述训练模型继续训练,直至测试结果满足预先设置的精度阈值,得到上述识别模型。
具体地,从样本医学标本集中随机抽取预定数量的样本医学标本,对训练模型进行识别测试。如果测试结果不满足预先设置的精度阈值(例如,精度阈值为95%),则将训练模型进行进一步地训练后,再进行测试;如果测试结果满足了预先设置的精度阈值,那么训练模型确定为识别模型。
本申请实施例的方法逻辑,如图3所示,逻辑如下:
S300、扫描真实医学标本,完成进行S301;
S301、进行医学标本三维建模,完成进行S302;
S302、进行AR+AI深度学习,训练模型,若训练成功,则进行S303,若训练失败,则进行S310;
S303、将医学部位与S301得到的三维模型相关联,完成进行S304;
S304、对三维模型特征进行标注和分类,若标注、分类成功,则进行S305,若标注、分类失败,则进行S311;
S305、使用移动终端进行真实环境空间扫描,完成进行S306;
S306、定位目标医学标本,完成进行S307;
S307、扫描目标医学标本,完成进行S308;
S308、识别目标医学标本,若识别成功,则进行S309,若识别失败,则进行S3011;
S309、通过AR技术显示三维模型,并可进行相关功能操作,结束;
S310、AI人工监督学习训练,训练完成后将训练结果反馈,进行S302;
S311、AI无人监督学习训练,训练完成后,将训练结果通过分类及回归树算法进行处理后,进行S310。
本申请实施例提供了一种医学标本展示装置,如图4所示,包括以下结构:
建模模块40,用于根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型。
具体地,通过对标准的器官、组织等的医学标本扫描建立医学标本的3D模型,并根据各器官、组织的空间位置关系建立各器官、组织之间的组合逻辑。
训练模块41,用于根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型。
具体地,以对医学数据库进行大数据深度挖掘得到的大量解剖标本图片和组织器官图片作为数据基础,得到深度学习算法所需的各器官、组织的特征参数,根据上述各器官、组织的特征参数通过深度学习算法对多个医学标本图片和/或样本医学标本通过增强现实技术进行逐一扫描,来进行识别训练,以得到识别模型。
其中,上述深度学习算法,优选地,针对iOS系统,采用以ARkit平台和Core ML机器学习框架为基础,通过对viewcontroller.swift中的UINavigationControllerDelegate进行调用,实现相机以及相簿功能,进而通过建立神经网络的分类器,收集分析模型评估参数进行机器深度学习,最后再建立iMagePickerControlloer来实现最终的图像转换AR模型的功能;针对Android系统,则采用以ARCore平台和ML Kit机器学习框架为基础,通过部署TensorFlow Lite模型,并应用Firebase控制器上传相对应的模型,将所生成的图像模型标签存储在Cloud Firestore中,从而实现上述跟iOS系统相类似的功能。本申请对于深度学习算法的选用不予限制。
识别模块42,用于通过移动终端对目标医学标本进行扫描,将扫描结果输入上述识别模型,识别出上述扫描结果对应的目标部位。
具体地,通过智能手机的摄像头对目标医学标本进行扫描,将扫描得到的图像输入到识别模型中,识别模型通过计算得到所扫描的目标医学标本对应的器官、组织。
显示模块43,用于通过增强现实技术,在上述移动终端显示上述目标部位对应的医学标本三维模型,以使显示模块通过移动终端对目标医学标本对应的医学标本三维模型进行显示。
具体地,通过增强现实技术,在移动终端上显示目标部位对应的医学标本三维模型的虚拟影像与真实环境影像相融合的影像,超真还原医学标本的三维模型。用户还可以将扫描过的历史目标进行显示。
可选地,本申请实施例还可以采用AR眼镜和移动终端配合的方式显示目标部位对应的医学标本:移动终端进行扫描识别,在AR眼镜上进行目标部位对应的医学标本的显示。
在一可选的实施例中,上述装置还包括:
获取模块401,用于从上述医学数据库中获取各部位的医学资料,建立医学资源库。
具体地,从医学数据库中获取各器官、组织的相关医学资料,以建立医学资源库,其中,医学资料包括各器官、组织的相关文献、解剖视频资料、音频资料等,本申请对此不予限制。
信息模块431,用于从上述医学资源库中,筛选上述目标部位对应的医学资料,在上述移动终端显示上述目标部位对应的医学资料。
具体地,通过增强现实技术在移动终端上显示目标部位对应的医学标本三维模型后,从医学资源库中筛选出目标部位的相关文献、解剖视频资料、音频资料等医学资料,可供用户进行选择查阅。
可选地,在AR眼镜与移动终端配合显示的情况下,医学资料显示在AR眼镜上。
在一可选的实施例中,上述装置还包括:
坐标系模块421,用于以上述移动终端为空间坐标原点,建立三维空间坐标系。
具体地,用户手持移动终端对当前所处真实环境进行全方位的扫描,并以移动终端的位置作为空间坐标的原点,建立三维空间坐标系。
定位模块422,用于根据上述三维空间坐标系,确定上述目标医学标本的三维空间位置。
具体地,对目标医学标本进行扫描的同时,通过上述三位空间坐标系,确定目标医学标本的三维空间坐标。
映射模块423,用于依据上述目标医学标本的三维空间位置以及预先设置的位置映射关系,确定上述目标部位对应的医学标本三维模型在三维空间坐标系中的三维空间位置。
具体地,根据目标医学标本的三维空间坐标和预设的医学标本三维模型通过增强现实技术在真实环境中放置的位置与目标医学标本的空间位置映射关系(例如:放置于目标医学标本与移动终端的连线上,并距离目标医学标本20cm),通过映射计算得到医学标本三维模型的在三维空间坐标系中的位置,并可以根据用户的移动进行自适应性的变动。
在一可选的实施例中,上述装置还包括:
操作模块432,用于通过上述移动终端对显示的上述目标部位对应的医学标本三维模型进行操作。
具体地,用户在移动终端上可以对医学标本三维模型进行放大、缩小、旋转、切割等操作。
在一可选的实施例中,上述训练模块41,包括:
第一提取单元411,用于提取样本医学标本集中第一部位对应的样本医学标本,将上述第一部位对应的样本医学标本作为第一部位训练标本集。
具体地,在识别训练的时候,先选择一个器官或组织作为当前深度学习的第一部位,样本医学标本集中的第一部位的样本医学标本筛选出来。
第二提取单元412,用于提取样本医学标本集中预定数量的非第一部位对应的样本医学标本,将上述非第一部位对应的样本医学标本作为非第一部位训练标本集。
具体地,在第一提取单元运行完毕之后,样本医学标本集中的非第一部位的样本医学标本筛选出来。
训练单元413,用于根据对上述医学数据库的大数据深度挖掘和深度学习算法,对第一部位训练标本集进行第一部位识别训练,以及,对非第一部位训练标本集进行非第一部位识别训练,得到训练模型。
具体地,通过对医学数据库的大数据深度挖掘得到的第一部位对应的特征参数对第一部位训练标本集中的标本进行第一部位的识别训练;同时,通过对医学数据库的大数据深度挖掘得到的非第一部位对应的特征参数对非第一部位训练标本集中的标本进行非第一部位的识别训练,得到第一部位重建的数据库,然后重新选择新的部位重复以上单元411-413的识别训练,直到针对每一器官、组织结构进行重建数据库,并针对重建后的数据库进行分类及回归树算法的优化后,得到训练模型。
测试单元414,用于以上述样本医学标本集随机抽取的预定数量样本医学标本,对上述训练模型进行测试,若测试结果不满足预先设置的精度阈值,对上述训练模型继续训练,直至测试结果满足预先设置的精度阈值,得到上述识别模型。
具体地,从样本医学标本集中随机抽取预定数量的样本医学标本,对训练模型进行识别测试。如果测试结果不满足预先设置的精度阈值(例如,精度阈值为95%),则将训练模型进行进一步地训练后,再进行测试;如果测试结果满足了预先设置的精度阈值,那么训练模型确定为识别模型。
对应于图1中的一种医学标本展示方法,本申请实施例还提供了一种计算机设备500,如图5所示,该设备包括存储器501、处理器502及存储在该存储器501上并可在该处理器502上运行的计算机程序,其中,上述处理器502执行上述计算机程序时实现上述一种医学标本展示方法。
具体地,上述存储器501和处理器502能够为通用的存储器和处理器,这里不做具体限定,当处理器502运行存储器501存储的计算机程序时,能够执行上述一种医学标本展示方法,解决了现有技术中现有技术中不能全方位观察人体医学标本、标本细微结构及深层结构的问题。
对应于图1中的一种医学标本展示方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述一种医学标本展示方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述一种医学标本展示方法,解决了现有技术现有技术中不能全方位观察人体医学标本、标本细微结构及深层结构的问题,本申请通过基于增强现实技术与人工智能技术,使用经过深度学习算法训练后的医学标本识别模型,扫描识别目标医学标本,并通过增强现实技术显示目标医学标本对应的医学标本三维模型。这样,本申请通过人工智能技术和增强现实技术,高度还原了真实人体医学标本,操作简单便捷,并且采用了增强现实技术,完全建立在真实环境的基础上,保证了用户使用时的安全性,提高了实用性,提升了用户体验。
在本申请所提供的实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种医学标本展示方法,包括:
根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型;
根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型;
通过移动终端对目标医学标本进行扫描,将扫描结果输入所述识别模型,识别出所述扫描结果对应的目标部位;
通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型。
2.如权利要求1所述的医学标本展示方法,其特征在于,在所述根据医学标本进行三维数字化建模之前,所述方法还包括:
从所述医学数据库中获取各部位的医学资料,建立医学资源库;
在所述通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型之后,所述方法还包括:
从所述医学资源库中,筛选所述目标部位对应的医学资料,在所述移动终端显示所述目标部位对应的医学资料。
3.如权利要求1所述的医学标本展示方法,其特征在于,在所述通过移动终端对目标医学标本进行扫描之前,所述方法还包括:
以所述移动终端为空间坐标原点,建立三维空间坐标系;
根据所述三维空间坐标系,确定所述目标医学标本的三维空间位置;
依据所述目标医学标本的三维空间位置以及预先设置的位置映射关系,确定所述目标部位对应的医学标本三维模型在三维空间坐标系中的三维空间位置,以使显示模块通过移动终端对目标医学标本对应的医学标本三维模型进行显示。
4.如权利要求1所述的医学标本展示方法,其特征在于,所述方法还包括:
通过所述移动终端对显示的所述目标部位对应的医学标本三维模型进行操作。
5.如权利要求1至4任一项所述的医学标本展示方法,其特征在于,所述根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型,包括:
提取样本医学标本集中第一部位对应的样本医学标本,将所述第一部位对应的样本医学标本作为第一部位训练标本集;
提取样本医学标本集中预定数量的非第一部位对应的样本医学标本,将所述非第一部位对应的样本医学标本作为非第一部位训练标本集;
根据对所述医学数据库的大数据深度挖掘和深度学习算法,对第一部位训练标本集进行第一部位识别训练,以及,对非第一部位训练标本集进行非第一部位识别训练,得到训练模型;
以所述样本医学标本集随机抽取的预定数量样本医学标本,对所述训练模型进行测试,若测试结果不满足预先设置的精度阈值,对所述训练模型继续训练,直至测试结果满足预先设置的精度阈值,得到所述识别模型。
6.一种医学标本展示装置,包括:
建模模块,用于根据医学标本进行三维数字化建模,得到包括各部位的医学标本三维模型;
训练模块,用于根据对医学数据库的大数据深度挖掘和深度学习算法,对样本医学标本集进行识别训练,得到用于识别各部位的识别模型;
识别模块,用于通过移动终端对目标医学标本进行扫描,将扫描结果输入所述识别模型,识别出所述扫描结果对应的目标部位;
显示模块,用于通过增强现实技术,在所述移动终端显示所述目标部位对应的医学标本三维模型。
7.如权利要求6所述的医学标本展示装置,其特征在于,所述医学标本展示装置还包括:
获取模块,用于从所述医学数据库中获取各部位的医学资料,建立医学资源库;
信息模块,用于从所述医学资源库中,筛选所述目标部位对应的医学资料,在所述移动终端显示所述目标部位对应的医学资料。
8.如权利要求6所述的医学标本展示装置,其特征在于,所述医学标本展示装置还包括:
坐标系模块,用于以所述移动终端为空间坐标原点,建立三维空间坐标系;
定位模块,用于根据所述三维空间坐标系,确定所述目标医学标本的三维空间位置;
映射模块,用于依据所述目标医学标本的三维空间位置以及预先设置的位置映射关系,确定所述目标部位对应的医学标本三维模型在三维空间坐标系中的三维空间位置,以使显示模块通过移动终端对目标医学标本对应的医学标本三维模型进行显示。
9.如权利要求6所述的医学标本展示装置,其特征在于,所述医学标本展示装置还包括:
操作模块,用于通过所述移动终端对显示的所述目标部位对应的医学标本三维模型进行操作。
10.如权利要求6至9任一项所述的医学标本展示装置,其特征在于,所述训练模块,包括:
第一提取单元,用于提取样本医学标本集中第一部位对应的样本医学标本,将所述第一部位对应的样本医学标本作为第一部位训练标本集;
第二提取单元,用于提取样本医学标本集中预定数量的非第一部位对应的样本医学标本,将所述非第一部位对应的样本医学标本作为非第一部位训练标本集;
训练单元,用于根据对所述医学数据库的大数据深度挖掘和深度学习算法,对第一部位训练标本集进行第一部位识别训练,以及,对非第一部位训练标本集进行非第一部位识别训练,得到训练模型;
测试单元,用于以所述样本医学标本集随机抽取的预定数量样本医学标本,对所述训练模型进行测试,若测试结果不满足预先设置的精度阈值,对所述训练模型继续训练,直至测试结果满足预先设置的精度阈值,得到所述识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910251424.8A CN109785447A (zh) | 2019-03-29 | 2019-03-29 | 一种医学标本展示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910251424.8A CN109785447A (zh) | 2019-03-29 | 2019-03-29 | 一种医学标本展示方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109785447A true CN109785447A (zh) | 2019-05-21 |
Family
ID=66490733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910251424.8A Pending CN109785447A (zh) | 2019-03-29 | 2019-03-29 | 一种医学标本展示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109785447A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113672092A (zh) * | 2021-08-26 | 2021-11-19 | 南京邮电大学 | 一种vr实景教学模型大数据教学知识挖掘方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590858A (zh) * | 2017-08-21 | 2018-01-16 | 上海妙影医疗科技有限公司 | 基于ar技术的医学样品展示方法和计算机设备、存储介质 |
CN108961422A (zh) * | 2018-06-27 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 三维模型的标记方法和装置 |
CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
US20190029757A1 (en) * | 2017-07-27 | 2019-01-31 | Precisive Surgical, Inc. | Systems and methods for assisting and augmenting surgical procedures |
CN109447120A (zh) * | 2018-09-26 | 2019-03-08 | 佛山市幻云科技有限公司 | 一种图像自动分割的方法、装置及计算机可读存储介质 |
CN109464194A (zh) * | 2018-12-29 | 2019-03-15 | 上海联影医疗科技有限公司 | 医学图像的显示方法、装置、医学设备及计算机存储介质 |
-
2019
- 2019-03-29 CN CN201910251424.8A patent/CN109785447A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190029757A1 (en) * | 2017-07-27 | 2019-01-31 | Precisive Surgical, Inc. | Systems and methods for assisting and augmenting surgical procedures |
CN107590858A (zh) * | 2017-08-21 | 2018-01-16 | 上海妙影医疗科技有限公司 | 基于ar技术的医学样品展示方法和计算机设备、存储介质 |
CN108961422A (zh) * | 2018-06-27 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 三维模型的标记方法和装置 |
CN109223121A (zh) * | 2018-07-31 | 2019-01-18 | 广州狄卡视觉科技有限公司 | 基于医学影像模型重建、定位的脑出血穿刺手术导航系统 |
CN109447120A (zh) * | 2018-09-26 | 2019-03-08 | 佛山市幻云科技有限公司 | 一种图像自动分割的方法、装置及计算机可读存储介质 |
CN109464194A (zh) * | 2018-12-29 | 2019-03-15 | 上海联影医疗科技有限公司 | 医学图像的显示方法、装置、医学设备及计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
张军毅 等: "医学增强现实建模方法研究", 《系统仿真学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113672092A (zh) * | 2021-08-26 | 2021-11-19 | 南京邮电大学 | 一种vr实景教学模型大数据教学知识挖掘方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961369B (zh) | 生成3d动画的方法和装置 | |
CN103890752B (zh) | 对象学习和识别方法以及系统 | |
CN109117794A (zh) | 一种运动目标行为跟踪方法、装置、设备及可读存储介质 | |
CN110520899A (zh) | 标识在环境中的标记的位置 | |
CN107624061A (zh) | 具有维度数据缩减的机器视觉 | |
CN109637207A (zh) | 一种学前教育互动教学装置及教学方法 | |
CN106462725A (zh) | 监测游戏场所的活动的系统和方法 | |
WO2013027091A1 (en) | Systems and methods of detecting body movements using globally generated multi-dimensional gesture data | |
CN110503076A (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
WO2020039121A1 (en) | Method and system for generating annotated training data | |
CN113034495B (zh) | 一种脊柱影像分割方法、介质及电子设备 | |
EP3623998A1 (en) | Character recognition | |
CN106934337A (zh) | 视觉对象和事件检测以及使用扫视的预测系统 | |
Ciocarlie et al. | A side of data with my robot | |
CN113705316A (zh) | 获取虚拟图像的方法、装置、设备及存储介质 | |
CN108762502A (zh) | 一种基于眼动追踪的虚拟现实人群仿真方法及系统 | |
Camba et al. | From reality to augmented reality: Rapid strategies for developing marker-based AR content using image capturing and authoring tools | |
CN110300547A (zh) | 医疗信息虚拟现实服务器系统,医疗信息虚拟现实程序,医疗信息虚拟现实系统,医疗信息虚拟现实用数据的创建方法,以及医疗信息虚拟现实用数据 | |
CN108596256A (zh) | 一种基于rgb-d物体识别分类器构造方法 | |
CN110246228A (zh) | 一种基于虚拟现实技术的化学实验评价系统及其方法 | |
CN110465089A (zh) | 基于图像识别的地图探索方法、装置、介质及电子设备 | |
Fritz et al. | Learning predictive features in affordance based robotic perception systems | |
CN109785447A (zh) | 一种医学标本展示方法及装置 | |
Abend et al. | Geobrowsing behaviour in Google Earth-A semantic video content analysis of on-screen navigation | |
CN114373050A (zh) | 一种基于HoloLens的化学实验教学系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |