CN112258593A - 单目相机下ct或pet-ct智能定位扫描方法 - Google Patents
单目相机下ct或pet-ct智能定位扫描方法 Download PDFInfo
- Publication number
- CN112258593A CN112258593A CN202011143247.0A CN202011143247A CN112258593A CN 112258593 A CN112258593 A CN 112258593A CN 202011143247 A CN202011143247 A CN 202011143247A CN 112258593 A CN112258593 A CN 112258593A
- Authority
- CN
- China
- Prior art keywords
- bed
- point
- coordinates
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 238000012795 verification Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims 1
- 238000013095 identification testing Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000002591 computed tomography Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012879 PET imaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 238000012636 positron electron tomography Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明提供了一种单目相机下CT或PET‑CT智能定位扫描方法,涉及CT或PET‑CT智能定位扫描技术领域,本发明通过建立屏蔽间真实空间与图像的映射模型,实现目标框选范围到真实扫描起止位置的直接计算,同时实现了成像设备参数、映射模型参数的自标定和自验证方法,简化了系统装配调试步骤,能自动适应不同相机类型不同屏蔽间环境;同时,通过患者目标部位的智能识别,实现了患者平躺上诊断床后,无需多余额外操作,即可确定本次扫描的起止位置并同时通知运动控制模块往下执行,提高了扫描定位效率。
Description
技术领域
本发明涉及一种CT或PET-CT智能定位扫描方法,尤其涉及一种单目相机下CT或PET-CT智能定位扫描方法。
背景技术
电子计算机断层扫描(Computed Tomography)的基本原理是图像重建,根据人体各种组织(包括正常和异常组织)对X射线吸收不等这一特性,将人体某一选定层面分成许多立方体小块(也称体素)X射线穿过体素后,测得的密度或灰度值称为象素。X射线束穿过选定层面,探测器接收到沿X射线束方向排列的各体素吸收X射线后衰减值的总和,为已知值,形成该总量的各体素X射线衰减值为未知值,当X射线发生源和探测器围绕人体做圆弧或圆周相对运动时,用迭代方法求出每一体素的X射线衰减值并进行图像重建,得到该层面不同密度组织的黑白图像。CT软硬件系统通常包括:扫描机架、扫描床、电气控制、控制台等。一次计算机断层扫描检查过程通常是:患者平躺至诊断床后,医生通过运动控制系统手动调节诊断床至合适的水平初始位置并启动定位平片扫描流程;定位片出图后,软件将所记录的实际床码位置和移动距离与定位像叠加显示,医生通过控制台界面,在片上框选患者需要接受断层扫描的部位后再次启动移床后进入实际断层扫描步骤。
正电子发射计算机断层成像(Positron Emission Tomography-ComputedTomography),其临床显像过程为:将发射正电子的放射性核素(如F-18等)标记到能够参与人体组织血流或代谢过程的化合物上,将标有带正电子化合物的放射性核素注射到受检者体内。让受检者在PET的有效视野范围内进行PET显像。放射核素发射出的正电子在体内移动大约1mm后与组织中的负电子结合发生湮灭辐射,产生两个能量相等(511KeV)、方向相反的γ光子。由于两个光子在体内的路径不同,到达两个探测器的时间也有一定差别,如果在规定的时间窗内(一般为0-15us),探头系统探测到两个互成180度(士0.25度)的光子时,即为一个符合事件,探测器便分别送出一个时间脉冲,脉冲处理器将脉冲变为方波,符合电路对其进行数据分类后,送入工作站进行图像重建,便得到人体各部位横断面、冠状断面和矢状断面的影像。再与电子计算机断层扫描所得到的图像进行融合,从而显示全身整体状况,达到早期发现病灶和诊断疾病的目的。
电子计算机断层扫描,正电子发射计算机断层成像都需要在扫描前进行X摄像扫描,从而确认后续扫描范围。其中根据扫描时球管与人体位置又分为正定位扫描,侧定位扫描。(正位片扫描,X光从冠状位穿过人体连续扫描获得正位二维图像的扫描过程,侧位片扫描,X光从矢状位穿过人体连续扫描获得侧位二维图像的扫描过程。)
一次扫描检查过程通常是:患者平躺至扫描床后,医生根据患者检查的部位通过运动控制系统手动调节诊断床至合适的水平初始位置,并按下激光定位灯,将床码位置清零,完成患者摆位,扫描一张定位像用于确认后续扫描位置。定位片出图后,软件将所记录的实际床码位置和移动距离与定位像叠加显示,医生通过控制台界面,在片上框选患者需要接受断层扫描的部位后再次启动移床后进入后续扫描步骤。
上述定位扫描过程中需要操作员根据经验设定扫描起始范围,预设富余的定位平片扫描范围,控制诊断床在曝光范围内水平移动,并需要使定位平片至少完整包含目标部位;随后,操作员通过框选定位平片中的目标部位完成后续扫描。患者摆位步骤复杂,且不同部位扫描起始位置均不相同,需要操作员根据经验手动确定起始位置,前后持续时间长,专业要求高,定位平片扫描范围因人为因素容易引起误差。
现有技术为了缩短定位扫描时长,常针对不同人体部位的预设富余的定位平片扫描长度,医生根据患者体型选择做二次调整;也常手动移床至特定位置后再将床码置0,根据预设的相对距离确定绝对起始扫描位置。但是该技术依赖医生人为操作和经验估计,效率较低且难以保证范围精度。
另一种现有技术通过设备拍摄患者电子照片,由医生在照片上人为确定患者的预扫描起始;再由预设的基准物、相对距离、成像设备放大倍率等已知参数通过简单几何关系来计算真实的扫描起始位置和长度。但是该技术无法实现人体部位的智能识别与实时自动框选;同时,在像素与真实空间尺度的换算上依赖预设参数无法实现不同硬件环境下的参数自标定,并且难以克服相机种类差异和非线性成像畸变引起的误差。
基于此,做出本申请。
发明内容
为了解决现有技术中存在的上述缺陷,本发明提供了一种单目相机下CT或PET-CT智能定位扫描方法。
为了实现上述目的,本发明采取的技术方案如下:
一种单目相机下CT或PET-CT智能定位扫描方法,如下步骤:
步骤1、安装单目相机,建立成像模型:在CT或PET-CT屏蔽间安装单目相机,令其视野覆盖床板和CT或PET-CT机架区域,建立相机成像模型;
步骤2、计算相机内部、外部参数和畸变系数:用单目相机采集规格确定的棋盘格标定板组图,处理并提取其中的角点像素坐标集;根据已知规格参数、床码间距确定角点初始世界坐标集,建立像素坐标到世界坐标的点集单映射关系,并由成像模型和点集单映射关系确定相机内部、外部参数和畸变系数;
步骤3、计算像素框选范围内实际移床、扫描距离:根据CT或PET-CT机架外激光灯确定世界坐标系参考点,将内部、外部参数和畸变系数,代入到相机成像模型中,实现像素坐标到实际坐标的转换,根据所得到的实际坐标进行像素框选范围至实际移床、扫描距离的计算;
步骤4、自动框选范围:训练深度学习网络,从实时视频帧中识别患者目标部位并且自动获取框选范围的像素坐标,并根据前三步的结果通过相机模型转换为实际坐标;
步骤5、误差自动验证:使用CT或PET-CT已有软硬件基础实现自动移床和相机参数标定,根据物理床高、水平床码间距和标定板角点集自动提取、平移距离计算来实现自动误差验证。本发明的原理:将单目相机成像模型和人体部位智能识别与CT或PET-CT软硬件架构结合,从图像中识别出体部位置,最终换算为真实物理尺度的运动控制指令,实现快速精确的CT或PET-CT扫描定位。
本发明的有益技术效果:本发明将单目相机成像模型和智能体部识别应用于CT或PET-CT扫描的自动定位中,具体通过建立屏蔽间真实空间与图像的映射模型,实现目标框选范围到真实扫描起止位置的直接计算,同时实现了成像设备参数、映射模型参数的自标定和自验证方法,简化了系统装配调试步骤,能自动适应不同相机类型不同屏蔽间环境;同时,通过患者目标部位的智能识别,实现了患者平躺上诊断床后,无需多余额外操作,即可确定本次扫描的起止位置并同时通知运动控制模块往下执行,提高了扫描定位效率。
附图说明
图1为本实施例对初步角点坐标进行坐标精细化迭代的示意图;
图2为本实施例的像素UV坐标系示意图;
图3为本实施例世界坐标与像素UV坐标的转换示意图;
图4为本实施例实际移床距离测算过程和坐标转换示意图;
图5为本实施例选定框通过深度学习的方法进行智能识别的过程;
图6为本实施例相机建立成像模型的原理图。
具体实施方式
为了使本发明的技术手段及其所能达到的技术效果,能够更清楚更完善的披露,兹提供了以下实施例,并结合附图作如下详细说明:
1.本实施例在屏蔽间或方舟软硬件基础架构上,引入安装位置具备一定自由度的单目相机,使用经过整体校准的移床和机架建立世界坐标系,实现第一步单目相机标定。单目相机内部参数Mc外参数与畸变系数计算步骤包括:
1)在标定物体特征点提取过程中,使用位置已固定的目标相机拍摄一组规格为GP520-12*9-40棋盘格标定板,即角点数11×8,单格40mm×40mm,设为G,使标定板完整包含于视野中,并尽可能令标定板相对于相机呈现各个角度,不同图像涵盖各个视野方位。首先,取所采集图像灰度载入并降采样提高角点提取效率。对降采样后的灰度图进行自适应二值化,即行序遍历图像,令其中fs(n)为第n号点之前的s个点灰度值的和,则当pn<(fs(n)/s)×(100-t)/t时,第n号点的二值为1,其余情况为0,其中s在本发明中取值为图像宽度的1/8,调节系数t=15。随后,对二值图像进行五个单位半径结构元素的形态学膨胀:X⊕B={x|B[x]∩x≠φ},即结构元素B平移a后得到Ba,若Ba击中图像X,所有满足上述条件的a点组成的集合。最后对分离的黑块图像(每一组a点的集合,即表示分离的其中一块黑块图像)进行霍夫变换后提取直线,剔除相近重复直线后,根据棋盘格相邻几何关系可以快速确定斜邻两个直线交点的中点像素为角点坐标(初步)。最后,参照附图1对所有初步角点坐标进行坐标精细化迭代,在像素(整数)级别的角点坐标邻域内寻找更精确的实际角点位置,迭代在原膨胀前的二值图像中进行,方法为:其中q为待搜索目标点,Gp为点p的梯度;满足条件的邻域点p与目标点q组成的向量与p的梯度点积为0,即:当任意点p落在棋盘黑白块内部时梯度为0则点积为0,当任意点p落在二值交界时,其梯度方向与垂直则点积为0;据此进行邻域点搜索迭代至满足精度要求后退出。至此,在获得的亚像素精度角点集中,根据棋盘格几何参数,对相邻角点连接性进行筛选剔除:fabs(cos(α))>e,其中α为相邻角点与向量夹角,本发明取误差e为0.993;通过不断通过调整设置误差系数e,代入算法来调整提高亚像素精度角点集的精度。
2)建立成像模型:根据CT或PET-CT已有硬件架构和单目相机建立模型(可参考图6)过程中,需要建立像素UV坐标、图像坐标系、相机坐标系和世界坐标系的映射关系,使用预设的标定板世界坐标集W和检测所得的角点像素UV坐标集C(即前述的亚像素精度角点集)求取映射模型中的未知量。首先,参照附图2建立以成像中心(O0)为原点的图像坐标系Ixy,以图像左上角(O)为原点,首行方向为u,首列方向为v建立像素UV坐标系Puv。两者满足关系:
其中,(u,v,1)表示以像素为单位的UV其齐次坐标,(x,y,1)表示以毫米为单位的图像齐次坐标;dx,dy为x,y方向单位像素所占物理尺度(毫米);u0,v0为主光轴在像素平面中的坐标。随后,参照附图3建立以镜头中心(Oc)为原点的相机坐标系Cxyz,将倒影的针孔成像平面(即图3中的粗边框UV平面)前移建立图像坐标、相机坐标和世界坐标投影关系,其满足:
其中,f为相机焦距,(Xc,Yc,Zc)为假想点P在相机坐标系中的坐标,(Xw,Yw,Zw,1)为P在世界坐标系Wxyz中的齐次坐标,R为世界坐标系到相机坐标系的旋转矩阵,包含θ,φ,三个依次绕Z,X,Y坐标旋转的角度未知分量,为世界到相机坐标系原点的平移向量(tx,ty,tz)。即,空间中的假想点P,在相机视野中,经镜头至感光平面成为p(x,y)的过程满足相似关系;而世界坐标系与相机坐标系满足基本投影关系。将上述三类坐标的基本换算关系统一:
3)为提高换算精度,还需考虑成像中的两类常见畸变。根据镜头透镜弯折光线特性,以主光轴为中心沿半径各向通常存在第一类畸变,图像表现为类桶形畸变。该类型畸变在半径方向可使用泰勒展开来逼近其非线性关系,根据中心轴无畸变且半径方向对称,取满足精度要求前三项得:同样,主光轴与感光芯片在设备中存在非直角关系,图像类梯形畸变满足铅锤模型:其中x',x”,y',y”为畸变补偿校正后的坐标点。合并畸变关系,有:
xco=x(1+k1r2+k2r4+k3r6)+[2p1y+p2(r2+2x2)]
yco=y(1+k1r2+k2r4+k3r6)+[p1(r2+2y2)+2p2x]
其中,(x,y)为图像坐标系中的原始坐标,(xco,yco)为校正后的图像坐标。至此,将畸变引入单目相机成像模型后,空间点世界坐标与图像像素UV坐标满足二次关系。由已知量:标定板世界坐标集Wk(i,j)、UV坐标系中的亚像素精度角点集,建立点对点映射关系,并使用高斯牛顿迭代法逼近非线性函数值,求解极小点估计值,重复迭代至满足所需精度,矫正畸变,得出畸变系数。其中多项式系数即为畸变系数,径向畸变有:k1,k2,k3;切向畸变有:p1,p2。
2.在获得单目相机内外参和畸变系数过程中,是以移床高900mm为标定平面,CT或PET-CT机架轴向进床方向为Y轴正向,垂直移床平面向上为Z轴正向,平行机架平面垂直于X、Z方向为Y轴。即,严格按世界坐标系摆放标定板的该次拍摄图像为g0,g0∈G,以g0的首个角点(首行首列)为世界坐标原点建立右手坐标系并以此确定Y正向。g0平面所求取的外参为用于坐标换算。由三类坐标基本换算关系推导可得:
得:即,已知像素UV坐标系中的一点(u,v),可由已标定所得的相机内部参数Mc,标定平面的外部参数以及假想象点P在相机坐标系中的Zc值,计算其在世界坐标系中的坐标(Xw,Yw,Zw)。其中,Zc又可由Zw间接换算获得。另外,根据(u,v)在图像坐标系中的(x,y)对应换算点,以及合并畸变关系,可以提前计算畸变补偿校正后的(uco,vco),并最终用于世界坐标求解。
3.实际移床距离测算中,参照附图4建立世界参考系(Oref,Xw,Yw,Zw)。调节移床高度至参考平面并放置标定板,角度任意(拍摄g0时则需使其较长边于床沿和床面平行),移动移床上部床板向CT或PET-CT机架进床方向,至机架外侧的垂直激光灯照射点位于标定板表面(垂直激光灯位于机架圆环外沿,硬件校准后与重力加速度同向)。定义标定平面与垂直激光灯射线交点(照射点)为测距参考点Pref,其在UV坐标系中的成像点为(uref,vref)。以CT肺部扫描定位为例,针对任意床高Ht和水平床码Tt,单目相机视野中,已知框定的患者肺部UV范围L(μ0,υ0,w,h),可知:
且wa=f(ξ(μ0+w/2,υ0),1),wref=f(ξ(uref,vref),1),wb=f(ξ(μ0+w/2,υ0+h),1)
其中,UV范围L(μ0,υ0,w,h)表示框定起始点像素坐标为(μ0,υ0),框宽高为w,h;wref,wa,wb分别为测距参考点Pref的世界坐标、框上边沿中点的世界坐标、下边沿中点的世界坐标;Δht为Ht相对于标定平面床高的上升量(毫米);函数关系ξ(u,v)表示坐标(u,v)的畸变补偿校正,函数关系f(puv,1)将校正后的puv点(齐次)换算为世界坐标px,y,z;dis1表示框选上边沿距离CT机架外平面(外激光源中心所在平面)的水平世界距离,len为实际扫描距离(即框选上边缘到框选下边缘的水平实际距离),两者单位均为毫米。现有实际测量距离dis0,表示CT曝光中心(内激光灯投射中心)至外激光源投射中心的水平世界距离,则任意次患者扫描所需的CT实际移床距离和扫描长度均可由计算获得。即得到扫描距离:(框选上边缘到框选下边缘的水平实际距离),移床距离:dis0+dis1(曝光中心到机架外平面的实际水平距离)+(框选上边缘到机架外平面的实际水平距离)。
4.本实施例患者扫描部位选定框通过深度学习的方法进行智能识别(如图5所示)。
(1)获取各种类型的包含人物全身或半身的图片或视频流作为图像数据集,并且将此数据集分为训练集,验证集,测试集。
(2)按照扫描定位的实际需求,对训练集和验证集中的图像数据进行目标器官部位的标注,标注得到包含目标器官的长宽信息、位置坐标以及部位类型等数据,并对前两者进行归一化处理。
(3)构建目标识别深度学习的网络。通过深度学习网络的图像卷积池化等网络层,提取不同尺度下的图像特征信息,以特征信息通过全连接网络层得到定位框数据。导入步骤(2)中的训练集数据及其对应的标注信息,对目标代价函数的最小化。同时,通过验证集验证训练效果,通过迭代得到合适的网络参数。可选的网络通常有:RCNN,SSD或YOLO等目标识别网络。
以YOLO网络为例说明:
(3.1)YOLO网络主要由若干卷积层组成的若干残差网络结构组成,来提取目标图像中的特征信息。并且为了适应可能存在的不同大小的目标,对特征信息最终处理成为目标选定框的过程采用了多尺度结构。
(3.2)该网络把输入的各种不同目标的大小图像,先插值成为大小相同长宽相等的图像。把图像分为S×S的网格,每个网格负责预测其中一个以该网格中某像素点为中心的目标,并给出可能的预测框的边界信息,包括:中心点坐标(x,y),长宽信息(w,h),该框所属的目标类型以及置信度。因此,输出层其维度为S×S×(D×5+C),其中C为标注的器官数,每一个网格输出D个预测框信息。改进后,根据其多尺度结构的层数,维度会相应增加,以得到该网络在不同的比例下的预测结果。
(3.3)网络构建完成后,将训练集输入Yolo网络,进行参数的训练,并且用验证集验证训练效果。
(3.4)该网络的损失函数为:(说明停止标准)
采用误差平方和的方式把位置误差(预测框的坐标误差)和类别误差整合在一起。式中第1、2项代表中心点和预测框长宽的误差,第3、4项代表预测框的置信度,包括了该网格包含或不包含目标两种情况,第5项则表示类别误差。
(4)对测试集中的图像数据进行目标器官部位的识别测试,若效果不理想,则需要回到步骤(1),扩充更多的图像数据,并重复步骤(2)和(3)再次进行标注与训练。
(5)待病人躺好,获取摄像头视频流的帧数据,导入网络进行智能定位识别。得到完整的识别效果后,将目标器官部位的定位框信息根据需要适当后处理,将此信息交给相机矫正程序,最终得到正确定位效果。
5.本发明利用现有CT或PET-CT硬件架构,实现了相机参数自标定和空间测距的自动验证。
1)在相机内外部参数和畸变系数计算中,将标定板在世界坐标系中严格摆放(标定平面的床板上,长边与床沿平行)。在测距参考Pref标注完成后,实现等间距移床间隔计算、移动控制并采集标定图像。记采集图像的集合G={g0,g1,...,gk,...},第k幅图像提取的角点UV坐标集和为Ck={c00,c01,...,cij,...}。基于世界坐标系原点(C0的首个角点世界坐标)、总移床距离、采集数量n、标定板规格,计算C中所有角点集原始世界坐标集,有:
Wk(i,j)=(s×j,k×Δτ+s×i,0)
其中,Wk(i,j)为第k图的第(i,j)个角点世界坐标,s为规格40mm,Δτ为等距移床间隙,以上单位均为毫米。至此,所有角点UV坐标与原始世界坐标形成单映射,采集控制结束后将自动根据前述关系执行计算并保存空间测距参数:Mc,R0,k1,k2,k3,p1,p2。
2)在空间测距自动验证中,在保证标定板完整可视(相机视野中)的前提下,任意调节床高,并在进出机架轴向方向移床,采集一组a,b两张图像并记录绝对物理床码τa,τb(毫米),可知每组的平均误差:
其中,wa(i,j)=f(ξ(cij),1)|cij∈Ca(同wb(i,j)),Ca,Cb为两组图像的角点UV坐标集,角点规格n,m为11×9。本发明在Δht=0时,每480毫米移床距离的平均误差e480mm<3mm。
本实施例在硬件上仅引入一个单目相机,能灵活适配已有的CT或PET-CT软硬件基础,并通过处理相机视频帧,实时自动框选目标协议的人体部位,由标定后的成像模型直观显示摄像图像,扫描框自动框选出本次扫描的起始结束范围,使定位更加直观和智能,定位片扫描范围更加准确,能部分降低患者受辐射量,并有效减少定位扫描时长,提高检查效率。
以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明,不能认定本发明具体实施只局限于上述这些说明,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (6)
1.一种单目相机下CT或PET-CT智能定位扫描方法,其特征在于包括如下步骤:
步骤1、安装单目相机,建立成像模型:在CT或PET-CT屏蔽间安装单目相机,令其视野覆盖床板和CT或PET-CT机架区域,建立相机成像模型;
步骤2、计算相机内部、外部参数和畸变系数:用单目相机采集规格确定的棋盘格标定板组图,处理并提取其中的角点像素坐标集;根据已知规格参数、床码间距确定角点初始世界坐标集,建立像素坐标到世界坐标的点集单映射关系,并由成像模型和点集单映射关系确定相机内部、外部参数和畸变系数;
步骤3、计算像素框选范围内实际移床、扫描距离:根据CT或PET-CT机架外激光灯确定世界坐标系参考点,将内部、外部参数和畸变系数,代入到相机成像模型中,实现像素坐标到实际坐标的转换,根据所得到的实际坐标进行像素框选范围至实际移床、扫描距离的计算;
步骤4、自动框选范围:训练深度学习网络,从实时视频帧中识别患者目标部位并且自动获取框选范围的像素坐标,并根据前三步的结果通过相机模型转换为实际坐标;
步骤5、误差自动验证:使用CT或PET-CT已有软硬件基础实现自动移床和相机参数标定,根据物理床高、水平床码间距和标定板角点集自动提取、平移距离计算来实现自动误差验证。
2.如权利要求1所示的一种单目相机下CT或PET-CT智能定位扫描方法,其特征在于所述步骤2具体包括如下步骤:
步骤2.1、使用位置已固定的目标单目相机拍摄一组棋盘格标定板,并采集图像;
步骤2.2、取所采集图像灰度载入并降采样,得到降采样后的灰度图;
步骤2.3、对降采样后的灰度图进行自适应二值化,得到二值图像;
步骤2.4、对二值图像进行形态学膨胀,得到分离后的黑块图像;
步骤2.5、对分离的黑块图像进行霍夫变换,确定出所有角点初步坐标;
步骤2.6、对所有初步角点坐标进行坐标精细化迭代,得到亚像素级精度角点坐标集;
步骤2.7、使用预设的标定板世界坐标集和检测所得的角点UV坐标集,建立像素UV坐标系、图像坐标系、相机坐标系和世界坐标系,计算单目相机的内参和外参,建立像素UV坐标系、图像坐标系、相机坐标系和世界坐标系的映射关系,使世界坐标系中的坐标与像素UV坐标系中的坐标建立一对一的换算关系,并获得单目相机的内参和外参;
步骤2.8、计算并校正单目相机在成像过程中产生的畸变系数;
步骤2.9、将畸变系数引入成像模型,空间点世界坐标与图像UV坐标满足二次关系;
步骤2.10、由标定板角点世界坐标集、UV坐标系中的亚像素级角点集建立点对点映射关系,并使用高斯牛顿迭代法逼近非线性函数值,求解极小点估计值,重复迭代至满足所需精度。
3.如权利要求1所示的一种单目相机下CT或PET-CT智能定位扫描方法,其特征在于所述步骤3具体包括如下步骤:
建立世界参考系,调节移床(即患者床)高度至参考平面并放置标定板,沿CT或PET-CT机架进床方向移动移床上部床板,直至机架外侧的垂直激光灯照射点位于标定板表面;定义标定板平面与垂直激光灯射线交点为测距参考点Pref,其在UV坐标系中的成像点为(uref,vref);针对任意床高Ht和水平床码Tt,单目相机视野中,已知框定的患者目标部位UV范围L(μ0,υ0,w,h),可知:
且wa=f(ξ(μ0+w/2,υ0),1),wref=f(ξ(uref,vref),1),wb=f(ξ(μ0+w/2,υ0+h),1)其中,UV范围L(μ0,υ0,w,h)表示框定起始点像素坐标为(μ0,υ0),框宽高为w,h;wref,wa,wb分别为测距参考点Pref的世界坐标、框上边沿中点的世界坐标、下边沿中点的世界坐标;Δht为Ht相对于标定平面床高的上升量(毫米);函数关系ξ(u,v)表示坐标(u,v)的畸变补偿校正,函数关系f(puv,1)将校正后的puv点换算为世界坐标px,y,z;dis1表示框选上边沿距离CT机架外平面的水平世界距离,len为实际扫描长度,两者单位均为毫米;现有实际测量距离dis0,表示CT曝光中心至外激光源投射中心的水平世界距离,则任意次患者扫描所需的CT实际移床距离和扫描长度均可由计算获得。
4.如权利要求1所示的一种单目相机下CT或PET-CT智能定位扫描方法,其特征在于所述步骤4具体包括如下步骤:
步骤4.1、获取各种类型的包含人物全身或半身的图片或视频流作为图像数据集,并且将此数据集分为训练集,验证集,测试集;
步骤4.2、按照扫描定位的实际需求,对训练集和验证集中的图像数据进行目标器官部位的标注,标注得到包含目标器官的长宽信息、位置坐标以及部位类型数据,并对前两者进行归一化处理。
步骤4.3、构建目标识别深度学习的网络,通过深度学习网络的图像卷积池化等网络层,提取不同尺度下的图像特征信息,以特征信息通过全连接网络层得到定位框数据,导入步骤4.2中的训练集数据及其对应的标注信息,对目标代价函数的最小化;同时,通过验证集验证训练效果,通过迭代得到合适的网络参数;
步骤4.4、对测试集中的图像数据进行目标器官部位的识别测试,若效果不理想,则需要回到步骤4.1,扩充更多的图像数据,并重复步骤4.2和4.3再次进行标注与训练;
步骤4.5、待病人躺好,获取摄像头视频流的帧数据,导入网络进行智能定位识别。得到完整的识别效果后,将目标器官部位的定位框信息根据需要适当后处理,将此信息交给相机矫正程序,最终得到正确定位效果。
5.如权利要求1所示的一种单目相机下CT或PET-CT智能定位扫描方法,其特征在于:可选的学习网络可选用RCNN、SSD或YOLO中的任意一种。
6.如权利要求1所示的一种单目相机下CT或PET-CT智能定位扫描方法,其特征在于所述步骤5具体包括如下步骤:
步骤5.1在相机内外部参数和畸变系数计算中,将标定板在世界坐标系中严格摆放,在测距参考Pref标注完成后,实现等间距移床间隔计算、移动控制并采集标定图像,记采集图像的集合G={g0,g1,...,gk,...},第k幅图像提取的角点UV坐标集和为Ck={c00,c01,...,cij,...},基于世界坐标系原点、总移床距离、采集数量n、标定板规格,计算C中所有角点集原始世界坐标集,有:
Wk(i,j)=(s×j,k×Δτ+s×i,0)
其中,Wk(i,j)为第k图的第(i,j)个角点世界坐标,s为规格40mm,Δτ为等距移床间隙,以上单位均为毫米;至此,所有角点UV坐标与原始世界坐标形成单映射,采集控制结束后将自动根据前述关系执行计算并保存空间测距参数:Mc,R0,k1,k2,k3,p1,p2;
步骤5.2在空间测距自动验证中,在保证标定板完整可视的前提下,任意调节床高,并在进出机架轴向方向移床,采集一组a,b两张图像并记录绝对物理床码τa,τb(毫米),可知每组的平均误差:
其中,wa(i,j)=f(ξ(cij),1)|cij∈Ca(同wb(i,j)),Ca,Cb为两组图像的角点UV坐标集,角点规格n,m为11×9。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011143247.0A CN112258593B (zh) | 2020-10-23 | 2020-10-23 | 单目相机下ct或pet-ct智能定位扫描方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011143247.0A CN112258593B (zh) | 2020-10-23 | 2020-10-23 | 单目相机下ct或pet-ct智能定位扫描方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258593A true CN112258593A (zh) | 2021-01-22 |
CN112258593B CN112258593B (zh) | 2024-02-02 |
Family
ID=74264240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011143247.0A Active CN112258593B (zh) | 2020-10-23 | 2020-10-23 | 单目相机下ct或pet-ct智能定位扫描方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258593B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113029919A (zh) * | 2021-03-13 | 2021-06-25 | 长春长光辰英生物科学仪器有限公司 | 一种细胞富集与荧光计数的检测装置以及检测、计数方法 |
CN114748086A (zh) * | 2021-12-21 | 2022-07-15 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
CN114769800A (zh) * | 2022-06-20 | 2022-07-22 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制系统与方法 |
CN116051389A (zh) * | 2022-08-10 | 2023-05-02 | 荣耀终端有限公司 | 一种标定图像的矫正方法、装置及电子设备 |
CN117315792A (zh) * | 2023-11-28 | 2023-12-29 | 湘潭荣耀智能科技有限公司 | 一种基于卧姿人体测量的实时调控系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011160491A1 (zh) * | 2010-06-23 | 2011-12-29 | 北京航空航天大学 | 一种基于摄像机坐标系位置自适应的显微视觉测量方法 |
WO2017092631A1 (zh) * | 2015-11-30 | 2017-06-08 | 宁波舜宇光电信息有限公司 | 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 |
CN107133989A (zh) * | 2017-06-12 | 2017-09-05 | 中国科学院长春光学精密机械与物理研究所 | 一种三维扫描系统参数标定方法 |
CN110223352A (zh) * | 2019-06-14 | 2019-09-10 | 浙江明峰智能医疗科技有限公司 | 一种基于深度学习的医学图像扫描自动定位方法 |
-
2020
- 2020-10-23 CN CN202011143247.0A patent/CN112258593B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011160491A1 (zh) * | 2010-06-23 | 2011-12-29 | 北京航空航天大学 | 一种基于摄像机坐标系位置自适应的显微视觉测量方法 |
WO2017092631A1 (zh) * | 2015-11-30 | 2017-06-08 | 宁波舜宇光电信息有限公司 | 鱼眼图像的畸变图像校正方法及鱼眼相机的标定方法 |
CN107133989A (zh) * | 2017-06-12 | 2017-09-05 | 中国科学院长春光学精密机械与物理研究所 | 一种三维扫描系统参数标定方法 |
CN110223352A (zh) * | 2019-06-14 | 2019-09-10 | 浙江明峰智能医疗科技有限公司 | 一种基于深度学习的医学图像扫描自动定位方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113029919A (zh) * | 2021-03-13 | 2021-06-25 | 长春长光辰英生物科学仪器有限公司 | 一种细胞富集与荧光计数的检测装置以及检测、计数方法 |
CN113029919B (zh) * | 2021-03-13 | 2024-04-02 | 长春长光辰英生物科学仪器有限公司 | 一种细胞富集与荧光计数的检测装置以及检测、计数方法 |
CN114748086A (zh) * | 2021-12-21 | 2022-07-15 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
CN114748086B (zh) * | 2021-12-21 | 2023-08-08 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
CN114769800A (zh) * | 2022-06-20 | 2022-07-22 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制系统与方法 |
CN114769800B (zh) * | 2022-06-20 | 2022-09-27 | 中建五洲工程装备有限公司 | 一种用于焊接过程的智能运行控制系统与方法 |
CN116051389A (zh) * | 2022-08-10 | 2023-05-02 | 荣耀终端有限公司 | 一种标定图像的矫正方法、装置及电子设备 |
CN117315792A (zh) * | 2023-11-28 | 2023-12-29 | 湘潭荣耀智能科技有限公司 | 一种基于卧姿人体测量的实时调控系统 |
CN117315792B (zh) * | 2023-11-28 | 2024-03-05 | 湘潭荣耀智能科技有限公司 | 一种基于卧姿人体测量的实时调控系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112258593B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112258593B (zh) | 单目相机下ct或pet-ct智能定位扫描方法 | |
US11276166B2 (en) | Systems and methods for patient structure estimation during medical imaging | |
US10354454B2 (en) | System and method for image composition | |
US9524552B2 (en) | 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos | |
Yao | Assessing accuracy factors in deformable 2D/3D medical image registration using a statistical pelvis model | |
CN103181775B (zh) | 用于检测病人体标位置的方法和系统 | |
EP3453330A1 (en) | Virtual positioning image for use in imaging | |
US8121380B2 (en) | Computerized imaging method for a three-dimensional reconstruction from two-dimensional radiological images; implementation device | |
CN110956633B (zh) | 一种基于虚拟立体定位像的快速ct扫描方法及系统 | |
CN108186037B (zh) | 一种感兴趣区域的确定方法和设备 | |
US10631799B2 (en) | Dental image collection device providing optical alignment features and related system and methods | |
CN110246580B (zh) | 基于神经网络和随机森林的颅侧面影像分析方法和系统 | |
CN112509060B (zh) | 基于图像深度学习的ct二次扫描定位方法、系统 | |
US10049465B2 (en) | Systems and methods for multi-modality imaging component alignment | |
EP2631873A1 (en) | Image alignment of breast images | |
US20230169666A1 (en) | Methods and systems for image registration | |
Selby et al. | Patient positioning with X-ray detector self-calibration for image guided therapy | |
RU2766050C1 (ru) | Система для лечения, способ калибровки и носитель информации | |
US10672145B2 (en) | Device for extracting three-dimensional information from X-ray images of an object, method for calibrating said device, and method for generating said X-ray images | |
CN117392230A (zh) | Cbct旋转半径的测量方法、装置、设备及存储介质 | |
Schiffers et al. | Disassemblable fieldwork CT scanner using a 3D-printed calibration phantom | |
Zhang et al. | An automatic ICP-based 2D-3D registration method for a high-speed biplanar videoradiography imaging system | |
CN111583354A (zh) | 医学图像处理单元的训练方法和医学图像运动估计方法 | |
Ismail et al. | 3D-guided CT reconstruction using time-of-flight camera | |
CN114159085A (zh) | 一种pet图像衰减校正方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |