CN117036438A - 一种医学图像采集方法、装置、设备及可读存储介质 - Google Patents
一种医学图像采集方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117036438A CN117036438A CN202311064132.6A CN202311064132A CN117036438A CN 117036438 A CN117036438 A CN 117036438A CN 202311064132 A CN202311064132 A CN 202311064132A CN 117036438 A CN117036438 A CN 117036438A
- Authority
- CN
- China
- Prior art keywords
- depth
- range
- scanned
- scanning
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 239000003550 marker Substances 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本说明书公开了一种医学图像采集方法、装置、设备及可读存储介质,通过深度补偿模型对待扫描范围对应的从深度图像中确定待扫描范围的初始深度优化,得到待扫描范围对应的目标深度,根据待扫描范围的目标深度和待扫描范围,控制采集对象移动,使得待扫描范围位于医学图像采集设备的采集范围,以便通过医学图像采集设备,采集待扫描范围的医学图像。可见,基于预先以包含特征标记物的参考深度图像和特征标记物的实际深度训练的深度补偿模型,能够对初始深度进行优化,从而得到待扫描范围的准确深度,进而提升采集对象的移动精度,使得采集对象的待扫描范围能够精准的移动到医学图像采集设备的采集范围,以提升医学图像的采集精度。
Description
技术领域
本说明书涉及医疗技术领域,尤其涉及一种医学图像采集方法、装置、设备及可读存储介质。
背景技术
随着技术进步和医疗水平的提高,医学计算机断层扫描(Computed Tomography,CT)、磁共振成像(Magnetic Resonance Imaging,MRI)等医学图像采集技术已经广泛应用到医学检查中。通过医学图像采集设备得到采集对象的医学图像,医生能够基于采集对象的医学图像对采集对象的健康水平进行评估。在获取采集对象的医学图像的过程中,可以控制采集对象移动,使得采集对象需要被采集医学图像的待扫描部位,位于医学图像采集设备的采集范围内,从而实现对采集对象的医学图像采集。
目前,可以通过双目相机在不同角度下拍摄采集对象的二维图像,利用双目立体视觉方案,确定采集对象移动的起始点和终止点的三维坐标,并基于该起始点和终止点的三维坐标控制采集对象移动,从而使得采集对象的待扫描部位进入医学图像采集设备的采集范围。
但是,上述方案中,可能会因为双目相机距离采集对象过远、曝光过度等问题,导致起始点和终止点的三维坐标的误差较大,从而降低了医学图像的采集精度。
发明内容
本说明书提供一种医学图像采集方法、装置、设备及可读存储介质,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种医学图像采集方法,包括:
获取采集对象的目标图像以及所述目标图像对应的深度图像;
从所述目标图像中确定所述采集对象的待扫描范围,并在所述深度图像中确定所述待扫描范围对应的初始深度;
将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度,其中,所述深度补偿模型是预先以包含特征标记物的参考深度图像为训练样本,以所述特征标记物的实际深度为标注训练的;
根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,使得所述待扫描范围位于医学图像采集设备的采集范围;
通过所述医学图像采集设备,采集所述采集对象的待扫描范围对应的医学图像。
可选地,预先训练深度补偿模型,具体包括:
预先通过深度图像采集设备采集包含特征标记物的参考深度图像;
根据所述特征标记物在医学图像采集设备所在的三维坐标系中的位置,确定所述特征标记物的实际深度;
以所述参考深度图像为训练样本,以所述特征标记物的实际深度为所述训练样本的标注,训练深度补偿模型。
可选地,所述方法还包括:
根据各特征标记物分别在所述三维坐标系中的位置,确定所述各特征标记物对应的各参考点;
在所述参考深度图像中确定所述各参考点分别对应的测量深度;
根据所述各特征标记物的实际深度,分别确定所述各参考点的实际深度;
以所述参考深度图像为训练样本,以所述特征标记物的实际深度为所述训练样本的标注,训练深度补偿模型,具体包括:
根据所述参考深度图像中各特征标记物的测量深度和所述各特征标记物的实际深度,以及所述各参考点的测量深度和所述各参考点的实际深度,训练深度补偿模型。
可选地,在所述深度图像中确定所述待扫描范围对应的初始深度,具体包括:
将所述目标图像输入到目标检测模型,得到所述目标检测模型输出的所述目标图像中的各候选点;
根据所述待扫描范围,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点;
在所述深度图像中确定所述扫描起始点对应的初始深度,和所述扫描终止点的初始深度。
可选地,根据所述待扫描范围,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点,具体包括:
展示所述目标图像,并在所述目标图像上显示所述待扫描范围以及所述各候选点;
响应于用户的选择操作,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点。
可选地,根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,具体包括:
获取所述目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵;
根据所述目标图像中所述待扫描范围的扫描起始点和扫描终止点,确定所述二维坐标系中所述扫描起始点的二维起始坐标和所述扫描终止点的二维终止坐标;
根据所述二维起始坐标和所述扫描起始点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描起始点的三维起始坐标;
根据所述二维终止坐标和所述扫描终止点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描终止点的三维终止坐标;
获取所述采集对象所在的检查床与所述医学图像采集设备的相对位置关系,并根据所述相对位置关系,确定所述三维坐标系中的所述检查床的参考坐标;
根据所述参考坐标、所述三维起始坐标和所述三维终止坐标,控制所述检查床移动,使得所述检查床携带所述采集对象移动。
可选地,获取所述目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵,具体包括:
通过二维图像采集设备采集包含特征标记物的参考图像;
获取所述特征标记物在医学图像采集设备所在的三维坐标系下的第一坐标;
确定所述特征标记物在所述参考图像对应的二维坐标系下的第二坐标;
根据所述特征标记物在三维坐标系下的第一坐标,以及所述特征标记物在二维坐标系下的第二坐标,确定所述三维坐标系和所述二维坐标系之间的坐标转换矩阵。
可选地,将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度之前,所述方法还包括:
根据医学图像采集设备,确定采集对象的移动方向;
根据所述待扫描范围和所述移动方向,确定所述待扫描范围包含的在所述移动方向上的扫描起始点和扫描终止点;
将所述目标图像输入目标检测模型,得到所述采集对象的轮廓;
当所述扫描起始点位于所述采集对象的轮廓时,对所述扫描起始点对应的初始深度进行优化,得到优化后的所述扫描起始点对应的初始深度;
当所述扫描终止点位于所述采集对象的轮廓时,对所述扫描终止点对应的初始深度进行优化,得到优化后的所述扫描终止点对应的初始深度。
本说明书提供了一种医学图像采集装置,包括:
图像获取模块,用于获取采集对象的目标图像以及所述目标图像对应的深度图像;
初始深度确定模块,用于从所述目标图像中确定所述采集对象的待扫描范围,并在所述深度图像中确定所述待扫描范围对应的初始深度;
目标深度确定模块,用于将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度,其中,所述深度补偿模型是预先以包含特征标记物的参考深度图像为训练样本,以所述特征标记物的实际深度为标注训练的;
控制模块,用于根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,使得所述待扫描范围位于医学图像采集设备的采集范围;
采集模块,用于通过所述医学图像采集设备,采集所述采集对象的待扫描范围对应的医学图像。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述医学图像采集方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述医学图像采集方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
本说明书提供的医学图像采集方法中,从采集对象的目标图像中确定待扫描范围,并在目标图像对应的深度图像中确定待扫描范围的初始深度,通过深度补偿模型对待扫描范围对应的初始深度优化,得到待扫描范围对应的目标深度,从而,根据待扫描范围的目标深度和带扫描范围,控制采集对象移动,使得待扫描范围位于医学图像采集设备的采集范围,以便通过医学图像采集设备,采集待扫描范围的医学图像。可见,基于预先以包含特征标记物的参考深度图像和特征标记物的实际深度训练的深度补偿模型,能够对根据深度图像确定的待扫描范围的初始深度进行优化,从而得到待扫描范围的准确深度,进而提升采集对象的移动精度,使得采集对象的待扫描范围能够精准的移动到医学图像采集设备的采集范围,以提升医学图像的采集精度。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附
图中:
图1为本说明书中一种医学图像采集方法的流程示意图;
图2为本说明书中一种医学图像采集方法的流程示意图;
图3为本说明书中一种医学图像采集方法的流程示意图;
图4为本说明书中一种医学图像采集方法的流程示意图;
图5为本说明书提供的一种医学图像采集装置的示意图;
图6为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
另外,需要说明的是,本说明书中所有获取信号、信息或数据的动作都是在遵照所在地相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
在采集对象进行医学图像采集时需要控制采集对象移动到医学图像采集设备的采集范围内,从而医学图像采集设备才能够对位于采集范围内的采集对象的部位进行医学图像的采集。因此,无论是在正式的采集开始前通过定位扫描确定扫描范围,还是正式的医学图像采集,都需要采集对象移动到医学图像采集设备的机架孔径内部的指定位置,即在指定高度从指定的开始位置水平移动到指定的结束位置。
在现有的医学图像采集过程中,利用二维图像采集设备的位姿和采集对象的待扫描范围的深度信息,将待扫描范围的二维坐标转换成对应的三维坐标,从而确定采集对象的移动路径。现有深度信息一般利用双目立体视觉技术来估计,然而双目立体视觉技术具有一定的使用限制,当采集对象(测量物)距离过远、光照不足或过度曝光、采集对象缺少纹理时,利用双目立体视觉技术估计的深度信息存在较大的误差,采集对象按照转换得到的待扫描范围的三维坐标进行移动后,无法将实际的待扫描范围移动到医学图像采集设备的扫描范围内,从而使得待扫描范围的三维坐标的精度无法满足临床的使用需求,需要人工手动调整扫描的起始位置。
基于此,本说明书提供一种医学图像采集方法,基于预先以包含特征标记物的参考深度图像和特征标记物的实际深度训练的深度补偿模型,能够对根据深度图像确定的待扫描范围的初始深度进行优化,从而得到待扫描范围的准确深度,进而提升采集对象的移动精度,使得采集对象的待扫描范围能够精准的移动到医学图像采集设备的采集范围,以提升医学图像的采集精度。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的一种医学图像采集方法的流程示意图。
S100:获取采集对象的目标图像以及所述目标图像对应的深度图像。
本说明书实施例中提供的一种医学图像采集方法,该方法的执行过程可由用于医学图像采集的服务器等电子设备执行。另外,对于在医学图像采集方法中所涉及到的预先训练的深度补偿模型,预先执行该模型的训练过程的电子设备和执行医学图像采集方法的电子设备可以相同也可以不同,本说明书对此不做限定。
在实际应用中,可以在部署有医学图像采集设备的医学图像采集环境中,配置二维图像采集设备以及深度图像采集设备。通过二维图像采集设备获得采集对象的二维的目标图像,并通过深度图像采集设备获得采集对象的深度图像。
其中,二维图像采集设备可以是双目摄像头、红外(infrared,IR)摄像头、单色(Monochrome,mono)摄像头、RGB摄像头等,深度图像采集设备可以是飞行时间(Time ofFight,TOF)相机、基于结构光的深度采集设备、激光雷达等,本说明书对二维图像采集设备和深度图像采集设备的类型不做限定。
另外,根据不同的应用场景,在医学图像采集环境中配置的二维图像采集设备和深度图像采集设备可以是分别布置的,也可以是集成在一个图像采集装置中(如RGB-D摄像头),本说明书对此不做限定。
可选地,在通过二维图像采集设备获取目标图像之前,可以对二维图像采集设备进行标定,以获取二维图像采集设备的内部参数外部参数,标定方法可以是张氏标定法、Tsai标定法等任一现有的标定方法,通过对二维图像采集设备的标定可以确定三维空间点与像素平面像素点间的转化关系和成像过程中的畸变系数。二维图像采集设备在标定过程中所采用靶标图案可以是棋盘格、圆环、圆点、Aruco码,也可以是场景中固有的特征标记物,本说明书对此不做限定。
S102:从所述目标图像中确定所述采集对象的待扫描范围,并在所述深度图像中确定所述待扫描范围对应的初始深度。
在实际应用中,基于医学图像采集的实际需要,可以从目标图像中确定采集对象需要采集医学图像的待扫描范围,如头部范围、胸部范围或腹部范围。并且,采集对象的待扫描范围可以是由用户基于目标图像人工划定的,也可以是基于预先设置的扫描范围的规则确定的,本说明书对此不做限定。
以基于预先设置的扫描范围的规则确定待扫描范围为例,当需要对采集对象的头部进行医学图像的采集时,可以基于预先设置的部位协议,直接确定采集对象的头部对应的扫描范围是头顶到C5关节点。
在配置深度图像采集设备时,可以固定深度图像采集设备和二维图像采集设备之间的相对位置关系,即,当二维图像采集设备的位姿发生变化时,深度图像采集设备的位姿也会发生相应的变化,从而,只要确定了二维图像采集设备的位姿,即可确定深度图像采集设备的位姿,从而,通过深度图像采集设备采集的深度图像实际上可以与二维图像采集设备获取的目标图像相互对应。目标图像中每个像素的深度信息,可以从深度图像中对应像素的深度获取。
基于此,在从目标图像中确定了采集对象的待扫描范围后,即可基于目标图像对应的深度图像,确定待扫描范围的深度信息,作为待扫描范围对应的初始深度。
S104:将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度,其中,所述深度补偿模型是预先以包含特征标记物的参考深度图像为训练样本,以所述特征标记物的实际深度为标注训练的。
由于在实际应用中,从深度图像中提取的待扫描范围的深度信息(初始深度)仍然存在噪声和一定程度的测量误差,为了校正和补偿这方面的误差,可以在确定了待扫描范围对应的初始深度后,通过预先训练的深度补偿模型对初始深度进行校正,从而降低深度信息的误差对采集对象移动的影响,以便更为精准地将采集对象的待扫描范围移动到学图像采集设备的采集范围内。
具体的,深度补偿模型可以是以包含特征标记物的参考深度图像为训练样本,以特征标记物的实际深度为训练样本的标注训练的。具体的,可以在深度图像采集设备的采集范围内部署一个或多个特征标记物,通过深度图像采集设备获取包含一个或多个特征标记物的参考深度图像,之后,基于深度图像采集设备在采集参考深度图像时的位姿,以及一个或多个特征标记物的部署位置,确定一个或多个特征标记物的实际深度,从而获得训练样本和标注。将训练样本输入到待训练的深度补偿模型,深度补偿模型可对训练样本表征的一个或多个特征标记物的深度信息进行优化,得到一个或多个特征标记物的预测深度,从而基于一个或多个特征标记物的预测深度以及标注对深度补偿模型进行训练。深度补偿模型可以是线性回归模型、多项式回归模型、利用深度学习训练的神经网络模型等,本说明书对此不做限定。
另外,深度补偿模型不仅可以对待扫描范围的初始深度进行校正,还可以降低随机误差和系统误差,避免因深度图像采集设备本身的原因导致深度信息出现错误。
S106:根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,使得所述待扫描范围位于医学图像采集设备的采集范围。
具体的,可预先基于获取目标图像所采用的二维图像采集设备在医学图像采集环境中的位姿,确定二维图像采集设备所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换关系,从而,在此步骤中,基于目标图像中待扫描范围对应的各像素点,待扫描范围的目标深度表征的各像素点的目标深度,以及二维到三维的坐标转换关系,确定待扫描范围中各像素点的三维坐标,从而基于待扫描范围中各像素点的三维坐标,为采集对象规划水平方向上和/或竖直方向上的移动路径。基于规划的移动路径控制采集对象移动,可以将采集对象的待扫描范围移动到医学图像采集设备的采集范围内,从而通过医学图像采集设备获取采集对象的待扫描范围对应的医学图像。
一般的,采集对象的待扫描范围不大于医学图像采集设备的采集范围,因此,只要将采集对象的待扫描范围移动到医学图像采集设备的采集范围内,即可基于该医学图像采集设备获得待扫描范围对应的医学图像。但是如果采集对象的待扫描范围大于医学图像采集设备的采集范围,可以缩小采集对象的待扫描范围的方式,通过医学图像采集设备的多次图像采集,获得完整的待扫描范围的医学图像。
需要说明的是,在本说明书一个或多个实施例中,医学图像采集环境指的是部署有医学图像采集设备的室内环境,因此,本说明书中所涉及的二维图像采集设备、深度图像采集设备以及特征标记物等物体在医学图像采集环境中的位置,实际上是这些物体在医学图像采集设备所在的三维坐标系下的位置。但由于二维图像采集设备和深度图像采集设备的姿态可能会发生变化,因此需要进行标定才能够获得准确的二维图像采集设备和深度图像采集设备分别在医学图像采集设备所在的三维坐标系下的位置。
S108:通过所述医学图像采集设备,采集所述采集对象的待扫描范围对应的医学图像。
在本说明书实施例中,医学图像采集设备可以是超声(Ultra Sound,US)设备、计算机断层扫描(Computed Tomography,CT)设备、磁共振(Magnetic Resonance Imaging,MRI)设备,还可以低剂量的正电子发射计算机断层显像(Positron Emission ComputedTomography/Magnetic Resonance Imaging,PET)设备,所采集的待扫描范围对应的医学图像可以是一个或多个,待扫描范围对应的医学图像可以是二维图像也可以是三维图像,本说明书对此均不做限定。
本说明提供的医学图像采集方法中,从采集对象的目标图像中确定待扫描范围,并在目标图像对应的深度图像中确定待扫描范围的初始深度,通过深度补偿模型对待扫描范围对应的初始深度优化,得到待扫描范围对应的目标深度,从而,根据待扫描范围的目标深度和带扫描范围,控制采集对象移动,使得待扫描范围位于医学图像采集设备的采集范围,以便通过医学图像采集设备,采集待扫描范围的医学图像。
可见,基于预先以包含特征标记物的参考深度图像和特征标记物的实际深度训练的深度补偿模型,能够对根据深度图像确定的待扫描范围的初始深度进行优化,从而得到待扫描范围的准确深度,进而提升采集对象的移动精度,使得采集对象的待扫描范围能够精准的移动到医学图像采集设备的采集范围,以提升医学图像的采集精度。
在本说明书一个或多个实施例中,如图1步骤S104中,对待扫描范围的初始深度进行优化所采用的深度补偿模型,可通过下述方案预先迭代训练得到,如图2所示:
S200:预先通过深度图像采集设备采集包含特征标记物的参考深度图像。
具体的,可预先在深度图像采集设备所在的医学图像采集环境中部署一个或多个特征标记物,在该医学图像采集环境中可以布置医学图像采集设备,也就是说,在本说明书实施例中,在深度补偿模型训练时医学图像采集环境中就可以将深度图像采集设备、医学图像采集设备和特征标记物部署完毕,并在实际移动采集对象时,也不做更改。
特征标记物可以直接部署在医学图像采集设备上,也可以部署在医学图像采集环境中的其他位置上,本说明书对此不做限定。但为了通过深度图像采集设备获取包含特征标记物的参考深度图像,一般的,将特征标记物布置在深度图像采集设备的采集范围内。
通过深度图像采集设备采集的参考深度图像,在该参考深度图像中每个像素点均对应相应的深度信息,因此,可以确定一个或多个特征标记物的测量深度。
S202:根据所述特征标记物在医学图像采集设备所在的三维坐标系中的位置,确定所述特征标记物的实际深度。
由于深度图像采集设备在医学图像采集环境中的位置是固定不变的,因此,可以基于特征标记物在医学图像采集环境中的位置,以及深度图像采集设备在医学图像采集环境中的位置之间的差异确定特征标记物的实际深度。
其中,可以将深度图像采集设备与二维图像采集设备进行绑定,固定深度图像采集设备与二维图像采集设备之间的位姿关系,通过标定二维图像采集设备获取二维图像采集设备在医学图像采集设备所在的三维坐标系中的位置,之后,基于深度图像采集设备与二维图像采集设备之间的位姿关系,以及二维图像采集设备在医学图像采集设备所在的三维坐标系中的位置,确定深度图像采集设备在医学图像采集设备所在的三维坐标系中的位置。
S204:以所述参考深度图像为训练样本,以所述特征标记物的实际深度为所述训练样本的标注,训练深度补偿模型。
从而,在此步骤中,以参考深度图像作为训练样本,待训练的深度补偿模型可以基于参考深度图像表征的一个或多个特征标记物的测量深度进行深度校正和补偿,深度补偿模型输出一个或多个特征标记物分别对应的预测深度,从而,基于预测深度和标注中一个或多个特征标记物的实际深度,确定损失。通过最小化损失,训练深度补偿模型。
可选的,当特征标记物的数量有限时,在步骤S204之前还可以基于特征标记物确定多个参考点,将各参考点的测量深度和实际深度也引入到深度补偿模型的训练中,以提升深度补偿模型的精度,具体通过下述方案实现:
第一步:根据各特征标记物分别在所述三维坐标系中的位置,确定所述各特征标记物对应的各参考点。
在上述S204中,可基于待训练的深度补偿模型输出的每个特征标记物的预测深度,与标注中每个特征标记物的实际深度之间的差异的最小化为训练目标,训练深度补偿模型。训练样本中特征标记物的数量越多,训练后的深度补偿模型的精度越高。但是实际中,可能存在医学图像采集环境中无法布置过多特征标记物的情况,从而影响深度补偿模型的精度。为此,可基于有限个特征标记物,确定多个参考点,基于训练样本中参考点的测量深度和参考点的实际深度,训练深度补偿模型。
因此,在此步骤中,根据各特征标记物分别在三维坐标系中的位置,在各特征标记物的部署位置的附近确定多个点,作为各特征标记物对应的各参考点。
在确定参考点时,为了降低在后续步骤中确定各参考点的实际深度的难度,可将基于部署在水平平面的多个特征标记物确定参考点,例如,将特征标记物部署在医学图像采集设备的采集床的床板上。从而,基于采集床的床板高度(床高值),以及深度图像采集装置在已学图像采集所在的三维坐标系下的位置,即可直接确定出多个参考点的实际深度。
例如,在医学图像采集设备的采集床的床板上设置两个十字叉形状的特征标记物,吴确定这两个十字叉形状的特征标记物的中心点,并在中心点的连线上采样预设数量的参考点,由于采集床的床板是保持水平的,因此,根据床板的高度和深度图像采集设备之间的距离确定的深度,就是特征标记物和参考点的实际深度。
第二步:在所述参考深度图像中确定所述各参考点分别对应的测量深度。
具体的,由于参考点是基于特征标记物确定的,因此,可以获得参考点和特征标记物之间的相对位置关系,基于该相对位置关系和参考深度图像中特征标记物包含的像素点,以及确定各参考点分别在参考深度图像中对应的像素点,从而获取到各参考点分别对应的测量深度。
第三步:根据所述各特征标记物的实际深度,分别确定所述各参考点的实际深度。
具体的,获取各特征标记物和各参考点之间的相对位置关系,根据各特征标记物的实际深度,以及该相对位置关系,确定各参考点的实际深度。
从而,在训练深度补偿模型时,可直接将以各参考点的测量深度作为训练样本,将各参考点的测量深度输入待训练的深度补偿模型,得到待训练的深度补偿模型输出的各参考点的预测深度,从而基于每个参考点的预测深度和每个参考点的实际深度之间的差异的最小化训练深度补偿模型。
当然,还可以将参考点和特征标记物结合起来,以各参考点的测量深度以及各特征标记物的测量深度为训练样本,将各参考点的测量深度以及各特征标记物的测量深度均为深度补偿模型的输入,得到深度补偿模型输出的各参考点的预测深度,以及各特征标记物的预测深度,从而,基于每个参考点的预测深度和每个参考点的实际深度之间的差异确定第一损失,基于每个特征标记物的预测深度和每个特征标记物的实际深度之间的差异确定第二损失,根据第一损失和第二损失确定总损失,从而基于总损失的最小化训练深度补偿模型。
在本说明书一个或多个实施例中,在上述步骤S102在深度图像中确定待扫描范围对应的初始深度时,可以采用下述的一种可选的方案实现,如图3所示:
S300:将所述目标图像输入到目标检测模型,得到所述目标检测模型输出的所述目标图像中的各候选点。
具体的,目标检测模型能够从目标图像中识别出采集对象,可以将目标识别模型输出的采集对象的图像轮廓包含的点,作为用于描述采集对象姿态的各候选点。其中,目标检测模型可以是R-CNN、Fast R-CNN、YOLO、SSD等现有的目标检测模型,也可以基于现有的语义分割模型或实例分割模型构建,本说明书对此不做限定。
S302:根据所述待扫描范围,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点。
具体的,待扫描范围描述的是需要对采集对象进行医学图像采集的区域,如采集对象的头部区域。并且,待扫描范围和各候选点均是在目标图像中确定的,因此,可将待扫描范围与各候选点进行匹配,并将与待扫描范围重合的候选点中靠近医学图像采集设备的点作为扫描起始点,将与待扫描范围重合的候选点中远离医学图像采集设备的点作为扫描终止点。
当然,还可以将待扫描范围和各候选点均展示给用户,由用户操作确定扫描起始点和扫描终止点,本说明书对此不做限定。
可选地,在确定扫描起始点和扫描终止点时,还可以响应用户的操作确定,具体方案如下:
展示所述目标图像,并在所述目标图像上显示所述待扫描范围以及所述各候选点,响应于用户的选择操作,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点。
具体的,可在展示的目标图像上显示待扫描范围以及各候选点,并提示用户从各候选点中选择待扫描范围的扫描起始点和扫描终止点。用户可基于实际的医学图像采集需求,输入选择操作,从而实现从各候选点中选择待扫描范围对应的扫描起始点和扫描终止点的目的,并且,相比于直接由用户在目标图像上勾画扫描起始点和扫描终止点的方案,本说明书实施例中,用户在选择时可以参考目标图像上显示的待扫描范围和各候选点,降低了扫描起始点和扫描终止点选择错误的概率,提高了扫描起始点和扫描终止点的准确性的同时,还考虑了用户的实际医学图像采集需求,兼顾了个性化和准确性。
S304:在所述深度图像中确定所述扫描起始点对应的初始深度,和所述扫描终止点的初始深度。
在S302中,实际上是在目标图像中确定了扫描起始点和扫描终止点,因此可直接确定扫描起始点在目标图像中对应的像素点,以及扫描终止点在目标图像中对应的像素点。并且,由于目标图像和深度图像是一一对应的,因此,基于扫描起始点在目标图像中对应的像素点,可以在深度图像中查找到扫描起始点的初始深度,并基于扫描终止点在目标图像中对应的像素点,在深度图像中查找到扫描终止点的初始深度。
进一步的,确定了扫描起始点对应的初始深度和扫描终止点的初始深度,可基于S102中预先训练的深度补偿模型,将扫描起始点对应的初始深度和扫描终止点的初始深度分别输入深度补偿模型,得到深度补偿模型输出的扫描起始点的目标深度和扫描终止点的目标深度。
进一步的,基于图3中确定的待扫描范围对应的扫描起始点和扫描终止点,则上述步骤S106具体可通过下述方案实现,如图4所示:
S400:获取所述目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵。
在本说明书实施例中,为了将采集对象的待扫描位置移动到医学图像采集设备的采集范围内,需要确定采集对象在医学图像采集设备所在的三维坐标系中移动时的起始点的三维坐标和终止点的三维坐标,从而,基于起始点的三维坐标和终止点的三维坐标规划采集对象的移动路径。为此,需要将在二维的目标图像上确定的扫描起始点和扫描终止点转换到医学图像采集设备所在的三维坐标系下。转换的方式即为获取目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵,该坐标转换矩阵的确定方法可以实现由的任一方法,如正交投影法、透视投影法,或基于固定的特征标记物进行配准确定平移矩阵和旋转矩阵,本说明书对此不做限制。
S402:根据所述目标图像中所述待扫描范围的扫描起始点和扫描终止点,确定所述二维坐标系中所述扫描起始点的二维起始坐标和所述扫描终止点的二维终止坐标。
具体的,在前述步骤S302中,在目标图像中确定了扫描起始点和扫描终止点,从而可以基于扫描起始点在目标图像中像素点的位置,确定扫描起始点在目标图像所在的二维坐标系下的二维起始坐标。同理,基于扫描终止点在目标图像中像素点的位置,确定扫描终止点在目标图像所在的二维坐标系下的二维终止坐标。
S404:根据所述二维起始坐标和所述扫描起始点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描起始点的三维起始坐标。
具体的,通过目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵,可以将扫描起始点在二维坐标系下的二维起始坐标,转换到三维坐标系下,并在转换后,基于深度补偿模型输出的扫描起始点对应的目标深度,对扫描起始点在三维坐标系下的坐标进行进一步的校正,从而得到扫描起始点在三维坐标系下的三维起始坐标。
S406:根据所述二维终止坐标和所述扫描终止点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描终止点的三维终止坐标。
与上述S404类似,此处不再赘述。
S408:获取所述采集对象所在的检查床与所述医学图像采集设备的相对位置关系,并根据所述相对位置关系,确定所述三维坐标系中的所述检查床的参考坐标。
在根据S404和S406确定了三维坐标系中扫描起始点的三维起始坐标,以及扫描终止点的三维终止坐标后,还需要结合采集对象所在的检查床和医学图像采集设备之间的相对位置关系,确定检查床的移动路径。因此,在此步骤中,基于检查床和医学图像采集设备之间的相对位置关系,确定三维坐标系中检查床的参考坐标。
S410:根据所述参考坐标、所述三维起始坐标和所述三维终止坐标,控制所述检查床移动,使得所述检查床携带所述采集对象移动。
实际应用中,为了保证采集对象在检查床移动过程中的安全性,检查床只能在特定的轨道上实现水平方向上的移动,也即,检查床的移动路径受特定轨道的限制。扫描起始点和扫描终止点实际上是采集对象上的两个点,因此,为了控制检查床移动,还需要基于扫描起始点的三维起始坐标、扫描终止点的三维终止坐标以及检查床的参考坐标,确定三维坐标系下检查床的移动起始点的坐标和移动终止点的坐标。从而,按照移动起始点的坐标和移动终止点的坐标,控制检查床在特定轨道上从移动起始点移动到移动终止点,在检查床的移动过程中,检查床可携带位于检查床上的采集对象移动,使得采集对象的待扫描范围位于医学图像采集设备的采集范围内。
可选地,上述步骤S402获取坐标转换矩阵时,还可以基于配置在医学图像采集设备上的特征标记物获得,具体方案如下:
第一步:通过二维图像采集设备采集包含特征标记物的参考图像。
具体的,在获取坐标转换矩阵时,可以根据配置在医学图像采集设备上的特征标记物,分别在二维坐标系的坐标以及在三维坐标系的坐标进行配准,从而得到从二维坐标转换到三维坐标的坐标转换矩阵,该坐标转换矩阵可包括旋转矩阵和平移矩阵,也就是说,通过坐标转换矩阵可以将二维坐标系下的二维坐标通过刚性变换,转换到三维坐标系下,从而得到三维坐标。
为此,需要首先获取包含特征标记物的二维图像,并从中提取特征提取物在二维坐标系下的二维坐标。由于特征标记物配置在医学图像设备上,因此,特征标记物也位于二维图像采集设备的采集范围内,可以通过二维图像采集设备采集包含特征标记物的一个或多个二维的参考图像。在参考图像上可以提取用于表征特征标记物的像素点,通过用于表征特征标记物的像素点即可确定特征标记物在参考图像(二维图像)所在的二维坐标系下的坐标。
需要说明的是,在此步骤之前,二维图像采集设备的位姿可以是已经经过标定的,并且,该二维图像采集设备在获取坐标转换矩阵时、在拍摄目标图像时等时刻可以均保持同一位姿,因此,目标图像所在的二维坐标系和参考图像所在的二维坐标系实际上是同一二维坐标系,因此,可以基于包含特征标记物的参考图像获得坐标转换矩阵,并将该坐标转换矩阵应用于确定目标图像中待扫描范围的扫描起始点和扫描终止点的坐标。
第二步:获取所述特征标记物在医学图像采集设备所在的三维坐标系下的第一坐标。
具体的,特征标记物可以配置在医学图像采集设备上,也可以配置在医学图像采集设备所在的医学图像采集环境中、二维图像采集设备的采集范围内的任意位置,特征标记物可以是一个或多个,本说明书对特征标记物的具体位置、数量和形状均不做限定。
由于特征标记物配置在医学图像采集环境中,因此,可以根据特征标记物与医学图像采集设备之间的相对位置关系,以及医学图像采集设备在医学图像采集设备所在的三维坐标系下的坐标,确定特征标记物在三维坐标系下的第一坐标。该第一坐标为三维坐标。
第三步:确定所述特征标记物在所述参考图像对应的二维坐标系下的第二坐标。
如前所示,参考图像中包含用于表征特征标记物的各像素点,通过用于表征特征标记物的各像素点在参考图像中的位置,即可确定特征标记物在参考图像(二维图像)所在的二维坐标系下的第二坐标。该第二坐标为二维坐标。
第四步:根据所述特征标记物在三维坐标系下的第一坐标,以及所述特征标记物在二维坐标系下的第二坐标,确定所述三维坐标系和所述二维坐标系之间的坐标转换矩阵。
具体的,可以采用现有的任意坐标配准方法,缩小特征标记物在三维坐标系下的第一坐标与特征标记物在二维坐标系下的第二坐标之间的距离,从而获得三维坐标系和二维坐标系之间的坐标转换矩阵。通过坐标转换矩阵可以实现二维坐标系下的坐标和三维坐标系下的坐标之间的相互转换,从而可以将目标图像中待扫描范围的扫描起始点和扫描终止点的二维坐标转换为三维坐标,并基于扫描起始点和扫描终止点的三维坐标,控制检查床的移动。
可选地,在图1步骤S104之前,还可以基于下述方案对初始深度进行优化:
首先,根据医学图像采集设备,确定采集对象的移动方向。
具体的,目标图像对应的深度图像中各个像素对应的深度信息,是用于描述目标图像中各个像素对应的采集对象在医学图像采集环境中的深度。由于采集对象具有一定的厚度,因此,在采集对象的边缘轮廓处会存在深度骤然变化的情况,从而导致深度图像中采集对象的边缘轮廓处的深度信息可能存在错误。由此,如果赛扫描范围命中了采集对象的边缘轮廓,则可以对深度图像表征的采集对象的待扫描范围的初始深度进行优化。
在本说明书实施例中,优化待扫描范围的初始深度的目的是获得更为准确定的目标深度,而目标深度用于控制采集对象的移动,因而,实际上,只要获取待扫描范围的扫描起始点和扫描终止点的准确深度信息,就可以提升对采集对象移动的控制精度。
在实际应用中,不同类型的医学图像采集设备对应于医学图像的采集方向,从而,在利用不同类型的医学图像采集设备获取采集对象的医学图像时,采集对象需要按照相对应的采集方向移动,从而,可根据也就是说,在控制采集对象移动时,需要基于医学图像采集设备的采集方向,确定采集对象的移动方向,并结合待扫描范围,确定移动方向上的扫描起始点和扫描终止点。
其次,根据所述待扫描范围和所述移动方向,确定所述待扫描范围包含的在所述移动方向上的扫描起始点和扫描终止点。
如前所述,医学图像采集设备对采集对象的待扫描区域进行图像采集时,需要采集对象的待扫描区域按照采集方向进入医学图像采集设备的采集范围内。因此,待扫描区域包括扫描起始点和扫描终止点,又因为采集对象是根据移动方向(移动方向根据采集方向确定)进行移动的,因此,可以将待扫描范围与移动方向进行匹配,将待扫描范围的轮廓上命中移动方向的目标点确定出来,并将目标点中靠近医学图像采集设备的点作为扫描起始点,将目标点中远离医学图像采集设备的点作为扫描终止点。
之后,将所述目标图像输入目标检测模型,得到所述采集对象的轮廓。
如果扫描起始点和/或扫描终止点位于采集对象的轮廓,则扫描起始点和/或扫描终止点的初始深度可能存在错误的情况,即使将初始深度输入到深度补偿模型中进行深度的校正,还是可能由于初始深度的误差较大,导致深度补偿模型输出的目标深度仍然误差较大。为此,需要确定采集对象的轮廓,并在将扫描起始点和/或扫描终止点的初始深度交由深度补偿模型校正之前,先对初始深度进行优化,以减少初始深度的误差。
在此步骤中,将目标图像输入预先训练的目标检测模型,目标检测模型可基于目标图像的图像特征,从目标图像中提取用于表征采集对象的图像,从而,可以基于用于表征采集对象的图像,得到目标图像中采集对象的轮廓。
然后,当所述扫描起始点位于所述采集对象的轮廓时,对所述扫描起始点对应的初始深度进行优化,得到优化后的所述扫描起始点对应的初始深度。
在此步骤中,可基于目标图像中扫描起始点的位置,判断扫描起始点是否位于采集对象的轮廓中,若否,则无需对扫描起始点的初始深度进行优化,若是,则深度图像中扫描起始点的初始深度可能存在一定的误差,需要对扫描起始点的初始深度进行优化,优化的方法可以是现有的深度信息优化方案,如平滑滤波、边缘增强或者机器学习的方法,本说明书对此不做限定。另外,还可以采用深度图补全技术,当扫描起始点对应的初始深度出现深度值无效时,对该深度值无效的初始深度进行空洞填充。
另外,当所述扫描终止点位于所述采集对象的轮廓时,对所述扫描终止点对应的初始深度进行优化,得到优化后的所述扫描终止点对应的初始深度。
在此步骤中,可基于目标图像中扫描终止点的位置,判断扫描终止点是否位于采集对象的轮廓中,若否,则无需对扫描终止点的初始深度进行优化,若是,则可以与上述针对扫描起始点的初始深度的优化方案,对扫描终止点的初始深度进行优化。
图5为本说明书提供的一种医学图像采集装置示意图,具体包括:
图像获取模块500,用于获取采集对象的目标图像以及所述目标图像对应的深度图像;
初始深度确定模块502,用于从所述目标图像中确定所述采集对象的待扫描范围,并在所述深度图像中确定所述待扫描范围对应的初始深度;
目标深度确定模块504,用于将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度,其中,所述深度补偿模型是预先以包含特征标记物的参考深度图像为训练样本,以所述特征标记物的实际深度为标注训练的;
控制模块506,用于根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,使得所述待扫描范围位于医学图像采集设备的采集范围;
采集模块508,用于通过所述医学图像采集设备,采集所述采集对象的待扫描范围对应的医学图像。
可选地,所述装置还包括:
训练模块510,具体用于预先通过深度图像采集设备采集包含特征标记物的参考深度图像;根据所述特征标记物在医学图像采集设备所在的三维坐标系中的位置,确定所述特征标记物的实际深度;以所述参考深度图像为训练样本,以所述特征标记物的实际深度为所述训练样本的标注,训练深度补偿模型。
可选地,所述训练模块510具体用于,根据各特征标记物分别在所述三维坐标系中的位置,确定所述各特征标记物对应的各参考点;在所述参考深度图像中确定所述各参考点分别对应的测量深度;根据所述各特征标记物的实际深度,分别确定所述各参考点的实际深度;
可选地,所述训练模块510具体用于,根据所述参考深度图像中各特征标记物的测量深度和所述各特征标记物的实际深度,以及所述各参考点的测量深度和所述各参考点的实际深度,训练深度补偿模型。
可选地,所述初始深度确定模块502具体用于,将所述目标图像输入到目标检测模型,得到所述目标检测模型输出的所述目标图像中的各候选点;根据所述待扫描范围,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点;在所述深度图像中确定所述扫描起始点对应的初始深度,和所述扫描终止点的初始深度。
可选地,所述初始深度确定模块502具体用于,展示所述目标图像,并在所述目标图像上显示所述待扫描范围以及所述各候选点;响应于用户的选择操作,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点。
可选地,所述控制模块506具体用于,获取所述目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵;根据所述目标图像中所述待扫描范围的扫描起始点和扫描终止点,确定所述二维坐标系中所述扫描起始点的二维起始坐标和所述扫描终止点的二维终止坐标;根据所述二维起始坐标和所述扫描起始点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描起始点的三维起始坐标;根据所述二维终止坐标和所述扫描终止点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描终止点的三维终止坐标;获取所述采集对象所在的检查床与所述医学图像采集设备的相对位置关系,并根据所述相对位置关系,确定所述三维坐标系中的所述检查床的参考坐标;根据所述参考坐标、所述三维起始坐标和所述三维终止坐标,控制所述检查床移动,使得所述检查床携带所述采集对象移动。
可选地,所述控制模块506具体用于,通过二维图像采集设备采集包含特征标记物的参考图像;获取所述特征标记物在医学图像采集设备所在的三维坐标系下的第一坐标;确定所述特征标记物在所述参考图像对应的二维坐标系下的第二坐标;根据所述特征标记物在三维坐标系下的第一坐标,以及所述特征标记物在二维坐标系下的第二坐标,确定所述三维坐标系和所述二维坐标系之间的坐标转换矩阵。
可选地,所述装置还包括:
优化模块512,具体用于根据医学图像采集设备,确定采集对象的移动方向;根据所述待扫描范围和所述移动方向,确定所述待扫描范围包含的在所述移动方向上的扫描起始点和扫描终止点;将所述目标图像输入目标检测模型,得到所述采集对象的轮廓;当所述扫描起始点位于所述采集对象的轮廓时,对所述扫描起始点对应的初始深度进行优化,得到优化后的所述扫描起始点对应的初始深度;当所述扫描终止点位于所述采集对象的轮廓时,对所述扫描终止点对应的初始深度进行优化,得到优化后的所述扫描终止点对应的初始深度。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1所示的医学图像采集方法。
本说明书还提供了图6所示的电子设备的示意结构图。如图6所述,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所示的医学图像采集方法。当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种医学图像采集方法,其特征在于,包括:
获取采集对象的目标图像以及所述目标图像对应的深度图像;
从所述目标图像中确定所述采集对象的待扫描范围,并在所述深度图像中确定所述待扫描范围对应的初始深度;
将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度,其中,所述深度补偿模型是预先以包含特征标记物的参考深度图像为训练样本,以所述特征标记物的实际深度为标注训练的;
根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,使得所述待扫描范围位于医学图像采集设备的采集范围;
通过所述医学图像采集设备,采集所述采集对象的待扫描范围对应的医学图像。
2.如权利要求1所述的方法,其特征在于,预先训练深度补偿模型,具体包括:
预先通过深度图像采集设备采集包含特征标记物的参考深度图像;
根据所述特征标记物在医学图像采集设备所在的三维坐标系中的位置,确定所述特征标记物的实际深度;
以所述参考深度图像为训练样本,以所述特征标记物的实际深度为所述训练样本的标注,训练深度补偿模型。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
根据各特征标记物分别在所述三维坐标系中的位置,确定所述各特征标记物对应的各参考点;
在所述参考深度图像中确定所述各参考点分别对应的测量深度;
根据所述各特征标记物的实际深度,分别确定所述各参考点的实际深度;
以所述参考深度图像为训练样本,以所述特征标记物的实际深度为所述训练样本的标注,训练深度补偿模型,具体包括:
根据所述参考深度图像中各特征标记物的测量深度和所述各特征标记物的实际深度,以及所述各参考点的测量深度和所述各参考点的实际深度,训练深度补偿模型。
4.如权利要求1所述的方法,其特征在于,在所述深度图像中确定所述待扫描范围对应的初始深度,具体包括:
将所述目标图像输入到目标检测模型,得到所述目标检测模型输出的所述目标图像中的各候选点;
根据所述待扫描范围,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点;
在所述深度图像中确定所述扫描起始点对应的初始深度,和所述扫描终止点的初始深度。
5.如权利要求4所述的方法,其特征在于,根据所述待扫描范围,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点,具体包括:
展示所述目标图像,并在所述目标图像上显示所述待扫描范围以及所述各候选点;
响应于用户的选择操作,从所述各候选点中选择所述待扫描范围对应的扫描起始点和扫描终止点。
6.如权利要求4所述的方法,其特征在于,根据所述待扫描范围对应的目标深度,以及所述目标图像中待扫描范围,控制所述采集对象移动,具体包括:
获取所述目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵;
根据所述目标图像中所述待扫描范围的扫描起始点和扫描终止点,确定所述二维坐标系中所述扫描起始点的二维起始坐标和所述扫描终止点的二维终止坐标;
根据所述二维起始坐标和所述扫描起始点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描起始点的三维起始坐标;
根据所述二维终止坐标和所述扫描终止点对应的目标深度,通过所述坐标转换矩阵,确定所述三维坐标系中所述扫描终止点的三维终止坐标;
获取所述采集对象所在的检查床与所述医学图像采集设备的相对位置关系,并根据所述相对位置关系,确定所述三维坐标系中的所述检查床的参考坐标;
根据所述参考坐标、所述三维起始坐标和所述三维终止坐标,控制所述检查床移动,使得所述检查床携带所述采集对象移动。
7.如权利要求6所述的方法,其特征在于,获取所述目标图像所在的二维坐标系和医学图像采集设备所在的三维坐标系之间的坐标转换矩阵,具体包括:
通过二维图像采集设备采集包含特征标记物的参考图像;
获取所述特征标记物在医学图像采集设备所在的三维坐标系下的第一坐标;
确定所述特征标记物在所述参考图像对应的二维坐标系下的第二坐标;
根据所述特征标记物在三维坐标系下的第一坐标,以及所述特征标记物在二维坐标系下的第二坐标,确定所述三维坐标系和所述二维坐标系之间的坐标转换矩阵。
8.如权利要求1所述的方法,其特征在于,将所述待扫描范围对应的初始深度输入预先训练的深度补偿模型,得到所述待扫描范围对应的目标深度之前,所述方法还包括:
根据医学图像采集设备,确定采集对象的移动方向;
根据所述待扫描范围和所述移动方向,确定所述待扫描范围包含的在所述移动方向上的扫描起始点和扫描终止点;
将所述目标图像输入目标检测模型,得到所述采集对象的轮廓;
当所述扫描起始点位于所述采集对象的轮廓时,对所述扫描起始点对应的初始深度进行优化,得到优化后的所述扫描起始点对应的初始深度;
当所述扫描终止点位于所述采集对象的轮廓时,对所述扫描终止点对应的初始深度进行优化,得到优化后的所述扫描终止点对应的初始深度。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~8任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311064132.6A CN117036438A (zh) | 2023-08-22 | 2023-08-22 | 一种医学图像采集方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311064132.6A CN117036438A (zh) | 2023-08-22 | 2023-08-22 | 一种医学图像采集方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117036438A true CN117036438A (zh) | 2023-11-10 |
Family
ID=88633455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311064132.6A Pending CN117036438A (zh) | 2023-08-22 | 2023-08-22 | 一种医学图像采集方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117036438A (zh) |
-
2023
- 2023-08-22 CN CN202311064132.6A patent/CN117036438A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11182927B2 (en) | Systems and methods for positioning an object | |
CN112451093B (zh) | 图像引导机器人微创外科手术的物理空间与图像空间配准方法 | |
CN107106241B (zh) | 用于对外科器械进行导航的系统 | |
US20160199147A1 (en) | Method and apparatus for coordinating position of surgery region and surgical tool during image guided surgery | |
CN109559371B (zh) | 一种用于三维重建的方法和装置 | |
CN106415658A (zh) | 使用相位相关对存在非刚性变形的医学图像的单模态和多模态对准 | |
US20210304423A1 (en) | Device for providing 3d image registration and method therefor | |
CN111145259B (zh) | 自动校准的系统和方法 | |
CN110547872A (zh) | 手术导航注册系统 | |
US11647917B2 (en) | Intelligent model based patient positioning system for magnetic resonance imaging | |
CN115546095A (zh) | 一种图像的配准方法及配准装置 | |
CN113885513B (zh) | 一种医疗设备的位置摆放方法、系统及装置 | |
US20080037848A1 (en) | System and Method for Corpus Callosum Segmentation in Magnetic Resonance Images | |
US11458334B2 (en) | System and method for diagnosis and treatment | |
CN117036438A (zh) | 一种医学图像采集方法、装置、设备及可读存储介质 | |
CN116728436A (zh) | 一种弹琴机器人的控制方法及控制装置 | |
CN114129262B (zh) | 一种患者手术位置的跟踪方法、设备及装置 | |
CN113129342A (zh) | 多模态融合成像方法、装置及存储介质 | |
CN115619836A (zh) | 一种焦屏距校准方法及装置 | |
CN115813431B (zh) | 多深度超声探头标定的方法、装置及系统 | |
CN116529756A (zh) | 监测方法、装置及计算机存储介质 | |
EP3637374A1 (en) | Method and system for visualising a spatial surface curvature of a 3d-object, computer program product, and computer-readable storage medium | |
CN118096996A (zh) | 一种医学扫描摆位指导的方法、装置、存储介质 | |
JP4226452B2 (ja) | 光学式手術用ナビゲーションシステム及び方法とそれに用いられる反射球マーカ | |
CN117137439A (zh) | 一种容积骨密度的测量方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |