CN112509060A - 基于图像深度学习的ct二次扫描定位方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种基于图像深度学习的CT二次扫描定位方法、系统及计算机可读存储介质，所述方法包括安装摄像设备，使其视野覆盖CT床板和CT机架区域，并建立所述摄像设备的成像模型；标定所述摄像设备以获取所述摄像设备的内部参数、外部参数和畸变系数；所述摄像设备开启，并连续采集图像；CT进行第一次扫描过程和第二次扫描过程获取第一次扫描定位片，期间所述摄像设备获取第一次扫描过程的第一图像和第二次扫描过程的第二图像；对比所述第一图像和第一图像，获取两次扫描的范围偏差从而预测所述第二扫描定位片所标定的扫描范围，省略第二次定位片扫描，直接进行第二次身体部位扫描。加快扫描效率，降低对患者的扫描辐射。

Description

基于图像深度学习的CT二次扫描定位方法、系统及计算机可 读存储介质

技术领域

本发明涉及电子计算机断层扫描技术领域，尤其涉及一种基于图像深度学习的CT二 次扫描定位方法、系统及计算机可读存储介质。

背景技术

在CT系统或PET-CT系统中对人体特定部位进行扫描之前，为了方便医生能准确的定义出人体需扫描的范围，首先需进行定位扫描，经过定位扫描可以获取定位片(topogramm)。定位片是在进行主要的断层扫描之前获得的初步影像，其是指将X射线 源置于要求的角度(正位或侧位)固定不动，随着床自动地将病人送入机架内并进行一系列 X射线曝光所得的类似X线平片的定位片。操作员可根据定位片选择机架倾斜的角度， 并可在定位片上用参考线标出预扫描部位的开始扫描位置、预扫描部位的结束扫描位置、 角度层厚，然后可根据定位片上用参考线作出的标记仅对人体的特定部位进行扫描。

但是，上述CT系统或PET-CT系统进行扫描的定位方法中，经常会遇到一次扫描因数据不足或图像模糊而需要第二次扫描的情况。例如：CT扫描时由于扫描范围的不够造 成某些器官的部分漏扫，或因为在扫描过程中病人不慎有身体移动而需要补扫；CT或 PET-CT扫描时，因为炎症、结节性肉芽肿等也出现了示踪剂大量聚集到以上部位的情况， 使得假阳性结论量增高，给精细准确诊断带来了困难。

为了能更好地进行鉴别，需要再进行一次延时扫描，往往需要对病人再次进行定位 扫描以获取定位片，不仅使得整体扫描时间过长，还会使病人受到很多X射线辐射，费时费力。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种ABC。

本发明公开了一种基于图像深度学习的CT二次扫描定位方法，包括如下步骤：安装 摄像设备，使得所述摄像设备的视野覆盖CT床板和CT机架区域，建立所述摄像设备的成像模型；通过所述摄像设备采集规格确定的棋盘格标定板的图组，获取所述棋盘格标 定板的组图的角点像素坐标集；根据所述所述棋盘格标定板的规格参数、床码间距获取 角点初始世界坐标集；建立像素坐标到世界坐标的点集单映射关系，通过所述成像模型 和点集单映射关系获取所述摄像设备的内部参数、外部参数和畸变系数；

所述摄像设备开启，并连续采集图像；CT进行第一次扫描过程，包括定位片扫描获取第一扫描定位片、通过所述第一扫描定位片进行第一次身体部位扫描；期间，所述摄 像设备获取第一次扫描过程的第一图像；CT进行第二次扫描过程，期间，所述摄像设备 获取第二次扫描过程的第二图像；对比所述第一图像和第一图像，获取两次扫描的范围 偏差，所述范围偏差包括中心点偏差和长宽偏差；基于所述第一扫描定位片所标定的扫 描范围和所述范围偏差，预测所述第二扫描定位片所标定的扫描范围；通过所述第二扫 描定位片所标定的扫描范围获取第二次身体部位扫描的扫描范围。

优选地，在所述摄像设备开启，并连续采集图像的步骤前，还包括：对身体图像和定位片图像进行深度学习，获取定位片的深度学习模型；所述摄像设备获取第一次扫描 过程的第一图像后，通过所述第一图像和所述深度学习模型获取第一次扫描定位框；所 述摄像设备获取第二次扫描过程的第二图像后，通过所述第二图像和所述深度学习模型 获取第二次扫描定位框；对比所述第一次扫描定位框和所述第二次扫描定位框，获取两 次扫描的所述范围偏差。

优选地，所述对比所述第一图像和第一图像，获取两次扫描的范围偏差的步骤包括： 对比所述第一图像和第一图像的关键像素点的位移，从而获取两次扫描的所述范围偏差。

优选地，所述建立所述摄像设备的所述成像模型的步骤包括：通过测量所述摄像设 备与CT床板的相对位置关系，获取摄像头与CT床板之间的几何关系，所述相对位置关系包括CT床板的平移距离、CT机架的偏转角；通过所述摄像设备的预设参数和所述几 何关系获取实际的扫描起始位置和扫描长度，所述预设参数包括基准物、相对距离、成 像设备放大倍率。

优选地，所述通过所述摄像设备采集规格确定的棋盘格标定板的图组，获取所述棋 盘格标定板的组图的角点像素坐标集的步骤包括：使用位置已固定的所述摄像设备拍摄 一组棋盘格标定板，并采集图像；取所采集图像灰度载入并降采样，得到降采样后的灰度图；对降采样后的灰度图进行自适应二值化，得到二值图像；对二值图像进行形态学 膨胀，得到分离后的黑块图像；对分离的黑块图像进行霍夫变换，确定出所有角点初步 角点坐标；对所有初步角点坐标进行坐标精细化迭代，得到亚像素级精度角点坐标集；

所述根据所述所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集的 步骤包括：使用预设的所述棋盘格标定板世界坐标集和检测所得的角点UV坐标集，建立像素UV坐标系、图像坐标系、相机坐标系和世界坐标系；

所述建立像素坐标到世界坐标的点集单映射关系，通过所述成像模型和点集单映射 关系获取所述摄像设备的内部参数、外部参数和畸变系数的步骤包括：建立像素UV坐标系、图像坐标系、相机坐标系和世界坐标系的映射关系，使世界坐标系中的坐标与像素 UV坐标系中的坐标建立一对一的换算关系，并获得摄像设备的内部参数和外部参数；计 算并校正所述摄像设备在成像过程中产生的畸变系数；将畸变系数引入成像模型，空间 点世界坐标与图像UV坐标满足二次关系；由标定板角点世界坐标集、UV坐标系中的亚 像素级角点集建立点对点映射关系，并使用高斯牛顿迭代法逼近非线性函数值，求解极 小点估计值，重复迭代至满足所需精度。

优选地，所述第一次扫描定位框和所述第二次扫描定位框为矩形框或平行四边形框， 所述矩形框的中心点坐标和长宽尺寸确定，所述平行四边形框的中心点坐标、长宽尺寸、 及内角度数确定；所述通过所述第二扫描定位片所标定的扫描范围获取第二次身体部位 扫描的扫描范围的步骤包括：通过所述第一次扫描定位框和所述第二次扫描定位框的中 心点坐标、长宽尺寸、及内角度数，获取实际扫描过程中CT床板的位移值、扫描范围和CT机架的偏转角。

优选地，所述根据所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标 集的步骤包括：调节CT床板的高度至参考平面并放置所述棋盘格标定板，沿CT机架进床方向移动移床，直至机架外侧的垂直激光灯照射点位于标定板表面；定义标定板平面 与垂直激光灯射线交点为测距参考点P_ref，其在UV坐标系中的成像点为(u_ref,v_ref)；

所述通过所述第一次扫描定位框和所述第二次扫描定位框的中心点坐标、长宽尺寸、 及内角度数，获取实际扫描过程中CT床板的位移值、扫描范围和CT机架的偏转角，包括：通过测距参考点P_ref在UV坐标系中的成像点为(u_ref,v_ref)的世界坐标集，获取CT机 曝光中心至外激光源投射中心的水平世界距离dis₀和实际扫描长度len；

且

w_b＝f(ξ(μ₀+w/2,υ₀+h),1)

其中，UV范围L(μ₀,υ₀,w,h)表示框定的起始点像素坐标为(μ₀,υ₀)，框宽高为w,h；w_ref,w_a,w_b分别为测距参考点P_ref的世界坐标、框上边沿中点的世界坐标、下边沿中点的 世界坐标；Δh_t为H_t相对于标定平面床高的上升量(毫米)；函数关系ξ(u,v)表示坐标(u,v) 的畸变补偿校正，函数关系f(p_uv,1)将校正后的p_uv点换算为世界坐标p_x,y,z。

优选地，所述对身体图像和定位片图像进行深度学习，获取定位片的深度学习模型 的步骤包括：获取各种类型的包含人物全身或半身的图片或视频流作为图像数据集，将所述图像数据集分为训练集，验证集，测试集；按照扫描定位的实际需求，对训练集和 验证集中的图像数据进行目标器官部位的标注，标注得到包含目标器官的长宽信息、位 置坐标以及部位类型数据，并对长宽信息和位置坐标进行归一化处理；构建目标识别深 度学习的网络，通过深度学习网络的图像卷积池化等网络层，提取不同尺度下的图像特 征信息，以特征信息通过全连接网络层得到定位框数据，导入所述训练集的数据及其对 应的标注信息，对目标代价函数的最小化；同时，通过验证集验证训练效果，通过迭代 得到合适的网络参数；对测试集中的图像数据进行目标器官部位的识别测试，若效果不 理想，则对所述图像数据集进行扩充以获取更多的图像数据，再次进行标注与训练；待 被扫描者躺好，通过所述摄像设备采集图像，将此图像数据导入网络进行智能定位识别， 得到完整的识别效果后，将目标器官部位的定位框信息根据需要适当后处理，将此信息 交给相机矫正程序，最终得到正确定位效果。

本发明还公开了一种基于图像深度学习的CT二次扫描定位系统，包括：

CT机架、CT床板，CT机架用于对CT床板进行第一次扫描过程以获取第一扫描定位片，基于所述第一扫描定位片，CT机架对CT床板进行进行第一次身体部位扫描；CT机 架对CT床板进行第二次扫描过程；

摄像设备，所述摄像设备的视野覆盖CT床板和CT机架区域，且所述摄像设备开启时连续采集所述第一次扫描过程和所述第二次扫描过程中的图像，获取第一图像和第二图像；

处理模块，用于建立所述摄像设备的成像模型；且获取由所述摄像设备采集规格确 定的棋盘格标定板的图组的角点像素坐标集；且根据所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集；且建立像素坐标到世界坐标的点集单映射关系，通过 所述成像模型和点集单映射关系获取所述摄像设备的内部参数、外部参数和畸变系数；

所述处理模块还通过对比所述第一图像和第一图像，获取两次扫描的范围偏差，所 述范围偏差包括中心点偏差和长宽偏差；并基于所述第一扫描定位片所标定的扫描范围 和所述范围偏差，预测所述第二扫描定位片所标定的扫描范围；并通过所述第二扫描定位片所标定的扫描范围获取第二次身体部位扫描的扫描范围。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程 序被处理器执行时实现上述的基于图像深度学习的CT二次扫描定位方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.通过获取两次扫描的身体部位的位移偏差，将偏差和第一次扫描的定位片的范围进 行整合，可以获取第二次扫描定位片的范围，由此可以直接进行对身体部位的扫描，而 省去第二次扫描的所述定位片扫描过程，从而加快了整体扫描过程的效率，且可使被扫描者避免大剂量的辐射；

2.通过深度学习定位片和人体图像可使使预测结果更加准确；通过建立所述成像模 型，可实现由所述定位框的框选范围至实际扫描范围和扫描起始点的坐标转化，成功从所预测的所述第二扫描定位片所标定的扫描范围获取CT机需要进行的第二次身体部位 扫描的实际扫描范围。

附图说明

图1为本发明提供的基于图像深度学习的CT二次扫描定位方法的流程图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附 图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如 所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在 本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括 多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或” 是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不 脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以 被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在…… 时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基 于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗 示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为 对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连 通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言， 可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有 利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

本发明公开了一种基于图像深度学习的CT二次扫描定位方法，包括准备工作和实际 扫描过程。

准备工作包括安装摄像设备和标定摄像设备。

S1、安装摄像设备使得摄像设备的视野覆盖CT床板和CT机架区域，摄像设备的位置固定后，建立摄像设备的成像模型，通过成像模型利用视频摄像头拍摄患者所获取的 图像，转化为实际扫描过程中真实的扫描起始位置和长度。

S2、标定摄像设备为获取摄像设备的内部参数、外部参数和畸变系数。具体的，通过摄像设备采集规格确定的棋盘格标定板的图组，获取棋盘格标定板的组图的角点像素坐标集；根据棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集；建立像素 坐标到世界坐标的点集单映射关系，再通过成像模型和点集单映射关系获取摄像设备的 内部参数、外部参数和畸变系数。

S3、实际扫描过程包括第一次扫描过程和第二次扫描过程，在第一次扫描过程开始 时，摄像设备将开启并连续采集图像，设定每0.5s采集一次患者的接受扫描的图像，该图像包括患者的身体整体部分。摄像设备每0.5s采集一次获取的图像流，由医生直接认 可一张或略微拖动扫描框以选定一张图像作为摄像设备采集的本次扫描的图像。

S4、首先由CT进行第一次扫描过程，包括：病人躺到在扫描床上，安装在天花板上的摄像设备对其进行拍摄，此时CT先通过定位片扫描获取第一扫描定位片。扫描床开始 移动，通过第一扫描定位片中更精确的解剖结构信息，进行针对某些部位的进行第一次 身体部位扫描，身体部位的扫描的结果即为最终需要获取的扫描结果。在第一次扫描过 程期间，摄像设备每0.5s采集一次患者的接受扫描的图像，记为第一图像。

S5、由于患者身体部位发生变动，会影响最终的扫描结果，故需要对患者进行第二次扫描以获取准确的扫描结果。CT进行第二次扫描过程时，摄像设备每0.5s采集一次患 者的接受扫描的图像，记为第二图像。

S6、通过对比第一图像和第一图像，获取两次扫描的范围偏差，范围偏差包括中心点偏差和长宽偏差，从而可以得知患者在两次扫描过程中身体部位的变动。基于第一扫 描定位片所标定的扫描范围和两次扫描的范围偏差，可以预测第二扫描定位片所标定的 扫描范围，从而获取第二次身体部位扫描的扫描范围，由此直接进行第二次身体部位扫 描，而省略了第二次定位片扫描过程，加快了整体扫描效率，且使患者避免了大剂量的 辐射。

对于步骤S6，本发明提供了获取两次扫描的范围偏差的两种手段，其中优选的，即通过基于图像的深度学习方法，包括训练过程和应用过程。

训练过程为：在摄像设备开启并连续采集图像的步骤前，对身体图像和定位片图像 进行深度学习，获取定位片的深度学习模型。应用过程为：摄像设备获取第一次扫描过程的第一图像后，通过第一图像和深度学习模型获取第一次扫描定位框；摄像设备获取 第二次扫描过程的第二图像后，通过第二图像和深度学习模型获取第二次扫描定位框， 对比第一次扫描定位框和第二次扫描定位框，获取两次扫描的范围偏差。

具体的，第一次扫描定位框和第二次扫描定位框所示的定位框为矩形框或平行四边 形框，定位框含有该患者的扫描部位在该图像中所处位置姿态的信息，若定位框为矩形框，则矩形框的中心点坐标和长宽尺寸确定且已知；若定位框为平行四边形框，则平行 四边形框的中心点坐标、长宽尺寸、及内角度数确定且已知。

通过对坐标进行转换，获取实际扫描过程中所需要的CT床板的位移值以及CT的扫描范围，若定位框为平行四边形框，该平行四边形框的内角信息还包含CT机架的偏转角 度值。

对身体图像和定位片图像进行深度学习只需用到一般的患者躺倒床上的图像以及一 般的患者的CT定位片图像即可，具体步骤包括：获取各种类型的包含人物全身或半身的 图片或视频流作为图像数据集，将图像数据集分为训练集，验证集，测试集；按照扫描定位的实际需求，对训练集和验证集中的图像数据进行目标器官部位的标注，标注得到 包含目标器官的长宽信息、位置坐标以及部位类型数据，并对长宽信息和位置坐标进行 归一化处理；构建目标识别深度学习的网络，通过深度学习网络的图像卷积池化等网络 层，提取不同尺度下的图像特征信息，以特征信息通过全连接网络层得到定位框数据， 导入训练集的数据及其对应的标注信息，对目标代价函数的最小化；同时，通过验证集 验证训练效果，通过迭代得到合适的网络参数；对测试集中的图像数据进行目标器官部 位的识别测试，若效果不理想，则对图像数据集进行扩充以获取更多的图像数据，再次 进行步骤S2和S3的标注与训练；待被扫描者躺好，通过摄像设备采集图像，将此图像 数据导入网络进行智能定位识别，得到完整的识别效果后，将目标器官部位的定位框信 息根据需要适当后处理，将此信息交给相机矫正程序，最终得到正确定位效果。

另一种获取两次扫描的范围偏差的手段为图像匹配法，通过SIFT，SURF等算法技术 对比摄像设备采集的第一图像和第二图像的关键像素点的位移，辅助验证和校准身体部 位的整体位移，从而获取两次扫描的范围偏差。图像匹配法作为获取两次扫描的范围偏差的备选手段，在硬件条件如显卡运算资源紧张时，可以运用到此方法。

本发明提供一种实施例，来具体说明。

在屏蔽间或方舟软硬件基础架构上，引入安装位置具备一定自由度的单目相机，使 用经过整体校准的移床和机架建立世界坐标系，实现第一步单目相机标定。

单目相机内部参数M_c、外部参数

与畸变系数计算步骤包括：

1)使用位置已固定的目标相机拍摄一组规格为GP520-12*9-40棋盘格标定板，即角点 数11×8，单格40_mm×40_mm，设为G，使标定板完整包含于视野中，并尽可能令标定板相对于相机呈现各个角度，不同图像涵盖各个视野方位。首先，取所采集图像灰度载入并 降采样提高角点提取效率。对降采样后的灰度图进行自适应二值化，即行序遍历图像， 令

其中f_s(n)为第n号点之前的s个点灰度值的和，则当 p_n＜(f_s(n)/s)×(100-t)/t时，第n号点的二值为1，其余情况为0，其中s在本发明中取 值为图像宽度的1/8，调节系数t＝15。随后，对二值图像进行五个单位半径结构元素的 形态学膨胀：

即结构元素B平移a后得到B_a，若B_a击中图像X， 所有满足上述条件的a点组成的集合。最后对分离的黑块图像(每一组a点的集合，即表 示分离的其中一块黑块图像)进行霍夫变换后提取直线，剔除相近重复直线后，根据棋 盘格相邻几何关系可以快速确定斜邻两个直线交点的中点像素为角点坐标(初步)。最后， 对所有初步角点坐标进行坐标精细化迭代，在像素(整数)级别的角点坐标邻域内寻找 更精确的实际角点位置，迭代在原膨胀前的二值图像中进行，方法为：

其中q为待搜索目标点，G_p为点p的梯度；满足条件的邻域点p与目标点q组成的向量

与p的梯度点积为0，即：当任意点p落在棋盘黑白块内部时梯度为0则点积为0， 当任意点p落在二值交界时，其梯度方向与

垂直则点积为0；据此进行邻域点搜 索迭代至满足精度要求后退出。至此，在获得的亚像素精度角点集中，根据棋盘格几何 参数，对相邻角点连接性进行筛选剔除：fabs(cos(α))＞e，其中α为相邻角点

与

向量夹角，本发明取误差e为0.993；通过不断通过调整设置误差系数e，代入 算法来调整提高亚像素精度角点集的精度。

2)建立成像模型：根据CT或PET-CT已有硬件架构和单目相机建立模型的过程中，需要建立像素UV坐标、图像坐标系、相机坐标系和世界坐标系的映射关系，使用预设的 标定板世界坐标集W和检测所得的角点像素UV坐标集C(即前述的亚像素精度角点集) 求取映射模型中的未知量。首先，建立以成像中心(O₀)为原点的图像坐标系I_xy，以图 像左上角(O)为原点，首行方向为u，首列方向为v建立像素UV坐标系P_uv。两者满足 关系：

其中，(u,v,1)表示以像素为单位的UV其齐次坐标，(x,y,1)表示以毫米为单位的图 像齐次坐标；dx,dy为x,y方向单位像素所占物理尺度(毫米)；u₀,v₀为主光轴在像素平面中的坐标。随后，建立以镜头中心(Oc)为原点的相机坐标系C_xyz，将倒影的针孔成 像平面(即UV平面)前移建立图像坐标、相机坐标和世界坐标投影关系，其满足：

和

其中，f为相机焦距，(X_c,Y_c,Z_c)为假想点P在相机坐标系中的坐标，(X_w,Y_w,Z_w,1)为P在世界坐标系W_xyz中的齐次坐标，R为世界坐标系到相机坐标系的旋转矩阵，包含

三个依次绕Z,X,Y坐标旋转的角度未知分量，

为世界到相机坐标系原点的平移向 量(t_x,t_y,t_z)。即，空间中的假想点P，在相机视野中，经镜头至感光平面成为p_(x,y)的过 程满足相似关系；而世界坐标系与相机坐标系满足基本投影关系。将上述三类坐标的基 本换算关系统一：

其中，

至此，世界坐标系中的坐标已与像素UV坐标建立了一对一基本换算关系，并求出单 目相机内部参数M_c、外部参数

3)为提高换算精度，还需考虑成像中的两类常见畸变。根据镜头透镜弯折光线特性， 以主光轴为中心沿半径各向通常存在第一类畸变，图像表现为类桶形畸变。该类型畸变 在半径方向可使用泰勒展开来逼近其非线性关系，根据中心轴无畸变且半径方向对称，

x'＝x(1+k₁r²+k₂r⁴+k₃r⁶)

取满足精度要求前三项得：y'＝y(1+k₁r²+k₂r⁴+k₃r⁶)。同样，主光轴与感光芯片在设备

x”＝x+[2p₁y+p₂(r²+2x²)]

中存在非直角关系，图像类梯形畸变满足铅锤模型：y”＝y+[p₁(r²+2y²)+2p₂x]，其中 x',x”,y',y”为畸变补偿校正后的坐标点。合并畸变关系，有：

x_co＝x(1+k₁r²+k₂r⁴+k₃r⁶)+[2p₁y+p₂(r²+2x²)]

y_co＝y(1+k₁r²+k₂r⁴+k₃r⁶)+[p₁(r²+2y²)+2p₂x]

其中，(x,y)为图像坐标系中的原始坐标，(x_co,y_co)为校正后的图像坐标。至此，将畸变引入单目相机成像模型后，空间点世界坐标与图像像素UV坐标满足二次关系。由已 知量：标定板世界坐标集W_k(i,j)、UV坐标系中的亚像素精度角点集，建立点对点映射 关系，并使用高斯牛顿迭代法逼近非线性函数值，求解极小点估计值，重复迭代至满足 所需精度，矫正畸变，得出畸变系数。其中多项式系数即为畸变系数，径向畸变有： k₁,k₂,k₃；切向畸变有：p₁,p₂。

摄像设备开启并连续采集图像；CT进行第一次扫描过程，包括定位片扫描获取第一 扫描定位片、通过第一扫描定位片进行第一次身体部位扫描，期间，摄像设备获取第一次扫描过程的第一图像；CT进行第二次扫描过程，期间，摄像设备获取第二次扫描过程 的第二图像；通过深度学习模型获取第一次扫描定位框和第二次扫描定位框；对比第一 次扫描定位框和第二次扫描定位框，获取两次扫描的所述范围偏差，包括中心点偏差和 长宽偏差，整合第一扫描定位片所标定的扫描范围和深度学习所获取的范围偏差，预测 第二扫描定位片所标定的扫描范围，下面通过计算获取第二次身体部位扫描的实际扫描 范围和移床距离。

在获得单目相机内外参和畸变系数过程中，是以移床高900_mm为标定平面，CT或PET-CT机架轴向进床方向为Y轴正向，垂直移床平面向上为Z轴正向，平行机架平面垂 直于X、Z方向为Y轴。即，严格按世界坐标系摆放标定板的该次拍摄图像为g₀,g₀∈G， 以g₀的首个角点(首行首列)为世界坐标原点建立右手坐标系并以此确定Y正向。g₀平 面所求取的外参为

用于坐标换算。由三类坐标基本换算关系推导可得：

令，

得：

即，已知像素UV坐标系中的一点(u,v)，可由已标定所得的相机内部参数M_c，标定平面的外部参数

以及假想象 点P在相机坐标系中的Z_c值，计算其在世界坐标系中的坐标(X_w,Y_w,Z_w)。其中，Z_c又可 由Z_w间接换算获得。另外，根据(u,v)在图像坐标系中的(x,y)对应换算点，以及合并畸 变关系，可以提前计算畸变补偿校正后的(u_co,v_co)，并最终用于世界坐标求解。

建立世界参考系(O_ref,X_w,Y_w,Z_w)。调节移床高度至参考平面并放置标定板，角度任意(拍摄g₀时则需使其较长边于床沿和床面平行)，移动移床上部床板向CT或PET-CT机 架进床方向，至机架外侧的垂直激光灯照射点位于标定板表面(垂直激光灯位于机架圆 环外沿，硬件校准后与重力加速度同向)。定义标定平面与垂直激光灯射线交点(照射点) 为测距参考点P_ref，其在UV坐标系中的成像点为(u_ref,v_ref)。以CT肺部扫描定位为例， 针对任意床高H_t和水平床码T_t，单目相机视野中，已知框定的患者肺部UV范围 L(μ₀,υ₀,w,h)，可知：

且w_a＝f(ξ(μ₀+w/2,υ₀),1)，w_ref＝f(ξ(u_ref,v_ref),1)，w_b＝f(ξ(μ₀+w/2,υ₀+h),1)

其中，UV范围L(μ₀,υ₀,w,h)表示框定起始点像素坐标为(μ₀,υ₀)，框宽高为w,h；w_ref,w_a,w_b分别为测距参考点P_ref的世界坐标、框上边沿中点的世界坐标、下边沿中点的 世界坐标；Δh_t为H_t相对于标定平面床高的上升量(毫米)；函数关系ξ(u,v)表示坐标(u,v) 的畸变补偿校正，函数关系f(p_uv,1)将校正后的p_uv点(齐次)换算为世界坐标p_x,y,z；dis₁表示框选上边沿距离CT机架外平面(外激光源中心所在平面)的水平世界距离，len为 实际扫描距离(即框选上边缘到框选下边缘的水平实际距离)，两者单位均为毫米。

现有实际测量距离dis₀，表示CT曝光中心(内激光灯投射中心)至外激光源投射中心的水平世界距离，则患者扫描所需的CT实际移床距离和扫描长度均可由计算获得。即 得到扫描距离：

(框选上边缘到框选下边缘的水平实际距离)，移床距离： dis₀+dis₁(曝光中心到机架外平面的实际水平距离)+(框选上边缘到机架外平面的实际 水平距离)。

本发明还公开了一种基于图像深度学习的CT二次扫描定位系统，包括：

-CT机架、CT床板，扫描时，患者躺在CT床板上，CT机架对CT床板上班的患者进 行第一次扫描过程以获取第一扫描定位片，基于第一扫描定位片，CT机架对CT床板进 行进行第一次身体部位扫描。在第二次扫描过程中CT机架用于直接对CT床板上的患者 进行第二次身体部位扫描；

-摄像设备，摄像设备的安装需满足其视野覆盖CT床板和CT机架区域，且摄像设备开启时连续采集第一次扫描过程和第二次扫描过程中的图像，以获取第一图像和第二图像；

-处理模块，用于建立摄像设备的成像模型；且获取由摄像设备采集规格确定的棋盘 格标定板的图组的角点像素坐标集；且根据棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集；且建立像素坐标到世界坐标的点集单映射关系，通过成像模型和点 集单映射关系获取摄像设备的内部参数、外部参数和畸变系数；

处理模块还通过对比第一图像和第一图像，获取两次扫描的范围偏差，并基于第一 扫描定位片所标定的扫描范围和范围偏差，预测第二扫描定位片所标定的扫描范围，通过第二扫描定位片所标定的扫描范围获取第二次身体部位扫描的扫描范围，从而传输给CT机架执行该扫描范围。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被 处理器执行时实现上述的基于图像深度学习的CT二次扫描定位方法的步骤。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限 制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效 实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于图像深度学习的CT二次扫描定位方法，其特征在于，包括如下步骤：

安装摄像设备，使得所述摄像设备的视野覆盖CT床板和CT机架区域，建立所述摄像设备的成像模型；

通过所述摄像设备采集规格确定的棋盘格标定板的图组，获取所述棋盘格标定板的组图的角点像素坐标集；根据所述所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集；建立像素坐标到世界坐标的点集单映射关系，通过所述成像模型和点集单映射关系获取所述摄像设备的内部参数、外部参数和畸变系数；

所述摄像设备开启，并连续采集图像；

CT进行第一次扫描过程，包括定位片扫描获取第一扫描定位片、通过所述第一扫描定位片进行第一次身体部位扫描；期间，所述摄像设备获取第一次扫描过程的第一图像；

CT进行第二次扫描过程，期间，所述摄像设备获取第二次扫描过程的第二图像；

对比所述第一图像和第一图像，获取两次扫描的范围偏差，所述范围偏差包括中心点偏差和长宽偏差；

基于所述第一扫描定位片所标定的扫描范围和所述范围偏差，预测所述第二扫描定位片所标定的扫描范围；

通过所述第二扫描定位片所标定的扫描范围获取第二次身体部位扫描的扫描范围。

2.根据权利要求1所述的CT二次扫描定位方法，其特征在于，在所述摄像设备开启，并连续采集图像的步骤前，还包括：

对身体图像和定位片图像进行深度学习，获取定位片的深度学习模型；

所述摄像设备获取第一次扫描过程的第一图像后，通过所述第一图像和所述深度学习模型获取第一次扫描定位框；

所述摄像设备获取第二次扫描过程的第二图像后，通过所述第二图像和所述深度学习模型获取第二次扫描定位框；

对比所述第一次扫描定位框和所述第二次扫描定位框，获取两次扫描的所述范围偏差。

3.根据权利要求1所述的CT二次扫描定位方法，其特征在于，所述对比所述第一图像和第一图像，获取两次扫描的范围偏差的步骤包括：

对比所述第一图像和第一图像的关键像素点的位移，从而获取两次扫描的所述范围偏差。

4.根据权利要求1所述的CT二次扫描定位方法，其特征在于，所述建立所述摄像设备的所述成像模型的步骤包括：

通过测量所述摄像设备与CT床板的相对位置关系，获取摄像头与CT床板之间的几何关系，所述相对位置关系包括CT床板的平移距离、CT机架的偏转角；

通过所述摄像设备的预设参数和所述几何关系获取实际的扫描起始位置和扫描长度，所述预设参数包括基准物、相对距离、成像设备放大倍率。

5.根据权利要求1所述的CT二次扫描定位方法，其特征在于，所述通过所述摄像设备采集规格确定的棋盘格标定板的图组，获取所述棋盘格标定板的组图的角点像素坐标集的步骤包括：

使用位置已固定的所述摄像设备拍摄一组棋盘格标定板，并采集图像；取所采集图像灰度载入并降采样，得到降采样后的灰度图；对降采样后的灰度图进行自适应二值化，得到二值图像；对二值图像进行形态学膨胀，得到分离后的黑块图像；对分离的黑块图像进行霍夫变换，确定出所有角点初步角点坐标；对所有初步角点坐标进行坐标精细化迭代，得到亚像素级精度角点坐标集；

所述根据所述所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集的步骤包括：

使用预设的所述棋盘格标定板世界坐标集和检测所得的角点UV坐标集，建立像素UV坐标系、图像坐标系、相机坐标系和世界坐标系；

所述建立像素坐标到世界坐标的点集单映射关系，通过所述成像模型和点集单映射关系获取所述摄像设备的内部参数、外部参数和畸变系数的步骤包括：

建立像素UV坐标系、图像坐标系、相机坐标系和世界坐标系的映射关系，使世界坐标系中的坐标与像素UV坐标系中的坐标建立一对一的换算关系，并获得摄像设备的内部参数和外部参数；计算并校正所述摄像设备在成像过程中产生的畸变系数；将畸变系数引入成像模型，空间点世界坐标与图像UV坐标满足二次关系；由标定板角点世界坐标集、UV坐标系中的亚像素级角点集建立点对点映射关系，并使用高斯牛顿迭代法逼近非线性函数值，求解极小点估计值，重复迭代至满足所需精度。

6.根据权利要求2所述的CT二次扫描定位方法，其特征在于，所述第一次扫描定位框和所述第二次扫描定位框为矩形框或平行四边形框，所述矩形框的中心点坐标和长宽尺寸确定，所述平行四边形框的中心点坐标、长宽尺寸、及内角度数确定；

所述通过所述第二扫描定位片所标定的扫描范围获取第二次身体部位扫描的扫描范围的步骤包括：

通过所述第一次扫描定位框和所述第二次扫描定位框的中心点坐标、长宽尺寸、及内角度数，获取实际扫描过程中CT床板的位移值、扫描范围和CT机架的偏转角。

7.根据权利要求6所述的CT二次扫描定位方法，其特征在于，所述根据所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集的步骤包括：

调节CT床板的高度至参考平面并放置所述棋盘格标定板，沿CT机架进床方向移动移床，直至机架外侧的垂直激光灯照射点位于标定板表面；

定义标定板平面与垂直激光灯射线交点为测距参考点P_ref，其在UV坐标系中的成像点为(u_ref,v_ref)；

所述通过所述第一次扫描定位框和所述第二次扫描定位框的中心点坐标、长宽尺寸、及内角度数，获取实际扫描过程中CT床板的位移值、扫描范围和CT机架的偏转角，包括：

通过测距参考点P_ref在UV坐标系中的成像点为(u_ref,v_ref)的世界坐标集，获取CT机曝光中心至外激光源投射中心的水平世界距离dis₀和实际扫描长度len；

且w_a＝f(ξ(μ₀+w/2,υ₀),1)，w_ref＝f(ξ(u_ref,v_ref),1)，w_b＝f(ξ(μ₀+w/2,υ₀+h),1)

其中，UV范围L(μ₀,υ₀,w,h)表示框定的起始点像素坐标为(μ₀,υ₀)，框宽高为w,h；w_ref,w_a,w_b分别为测距参考点P_ref的世界坐标、框上边沿中点的世界坐标、下边沿中点的世界坐标；Δh_t为H_t相对于标定平面床高的上升量(毫米)；函数关系ξ(u,v)表示坐标(u,v)的畸变补偿校正，函数关系f(p_uv,1)将校正后的p_uv点换算为世界坐标p_x,y,z。

8.根据权利要求1所述的CT二次扫描定位方法，其特征在于，所述对身体图像和定位片图像进行深度学习，获取定位片的深度学习模型的步骤包括：

获取各种类型的包含人物全身或半身的图片或视频流作为图像数据集，将所述图像数据集分为训练集，验证集，测试集；

按照扫描定位的实际需求，对训练集和验证集中的图像数据进行目标器官部位的标注，标注得到包含目标器官的长宽信息、位置坐标以及部位类型数据，并对长宽信息和位置坐标进行归一化处理；

构建目标识别深度学习的网络，通过深度学习网络的图像卷积池化等网络层，提取不同尺度下的图像特征信息，以特征信息通过全连接网络层得到定位框数据，导入所述训练集的数据及其对应的标注信息，对目标代价函数的最小化；同时，通过验证集验证训练效果，通过迭代得到合适的网络参数；

对测试集中的图像数据进行目标器官部位的识别测试，若效果不理想，则对所述图像数据集进行扩充以获取更多的图像数据，再次进行标注与训练；

待被扫描者躺好，通过所述摄像设备采集图像，将此图像数据导入网络进行智能定位识别，得到完整的识别效果后，将目标器官部位的定位框信息根据需要适当后处理，将此信息交给相机矫正程序，最终得到正确定位效果。

9.一种基于图像深度学习的CT二次扫描定位系统，其特征在于，包括：

CT机架、CT床板，CT机架用于对CT床板进行第一次扫描过程以获取第一扫描定位片，基于所述第一扫描定位片，CT机架对CT床板进行进行第一次身体部位扫描；CT机架对CT床板进行第二次扫描过程；

摄像设备，所述摄像设备的视野覆盖CT床板和CT机架区域，且所述摄像设备开启时连续采集所述第一次扫描过程和所述第二次扫描过程中的图像，获取第一图像和第二图像；

处理模块，用于建立所述摄像设备的成像模型；且获取由所述摄像设备采集规格确定的棋盘格标定板的图组的角点像素坐标集；且根据所述棋盘格标定板的规格参数、床码间距获取角点初始世界坐标集；且建立像素坐标到世界坐标的点集单映射关系，通过所述成像模型和点集单映射关系获取所述摄像设备的内部参数、外部参数和畸变系数；

所述处理模块还通过对比所述第一图像和第一图像，获取两次扫描的范围偏差，所述范围偏差包括中心点偏差和长宽偏差；并基于所述第一扫描定位片所标定的扫描范围和所述范围偏差，预测所述第二扫描定位片所标定的扫描范围；并通过所述第二扫描定位片所标定的扫描范围获取第二次身体部位扫描的扫描范围。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一所述的步骤。

Images