CN111160326B - Ct扫描全景实时监测方法和系统 - Google Patents

Abstract

本发明公开了一种CT扫描全景实时监测方法和系统，方法包括步骤：采用不同相机从不同角度拍摄包括整张病床和患者影像在内的多张图像，取不同相机在不同视角下拍摄的两张图像；分别对两张图像进行投影变换，计算出两张图像中病床的重叠长度，根据重叠长度进行图像拼接，得到全景图；定位人体关键点，包括人脸关键点；运动检测和面部表情检测。本发明通过多个相机采集图像，对图像进行投影拼接处理，生成CT扫描过程中的实时全景图，根据全景图实时无死角监控患者当前状态，使检测过程不会受到机架的遮挡，医生在扫描过程能够清晰看到患者状态，方便医生根据患者状态做出相应的措施。

Description

CT扫描全景实时监测方法和系统

技术领域

本发明涉及医学成像技术领域，具体涉及一种CT扫描全景实时监测方法和系统。

背景技术

在当前CT扫描流程中，缺少对患者扫描过程中进行监控的措施，因此无法记录检测患者扫描过程中的状态，例如：无法确定患者在扫描过程中是否发生运动；在患者注入造影剂时无法判断患者当前身体状态等。在公开号为CN110338835A的中国专利“一种智能扫描立体监测方法及系统”中，提出了一种通过相机辅助CT扫描的方案，整个识别过程依据采集的第一图像，进行自动识别得到体位信息，并且客观快速地判断出扫描区域，减少扫描操作人员的主观因素的影响，辅助扫描技师人工定位判断扫描区域，但该专利对相机采集到的图像处理时，并不能完全消除相机采集图像时的视野上的死角，仍存在受机架遮挡视野受阻的情况，且在持续采集的图像中不能实时反映出相机当前安装位置是否合适。

发明内容

技术目的：为解决上述技术问题，本发明提供了一种CT扫描全景实时监测方法，其通过多个相机采集图像，对图像进行投影拼接处理，生成CT扫描过程中的实时全景图，根据全景图中实时无死角监控患者当前状态，使检测过程不会受到机架的遮挡，医生在扫描过程能够清晰看到患者状态，方便医生根据患者状态做出相应的措施。

技术方案：为实现这一技术目的，本发明采用了如下技术方案：

一种CT扫描全景实时监测方法，其特征在于，包括步骤：

A、图像采集：采用不同相机从不同角度拍摄包括整张病床和患者影像在内的多张图像，取不同相机在不同视角下拍摄的两张图像，分别对应病床的初始位置和病床移动后的位置，标出两张图像中病床的四个角点的位置；

B、生成全景图：分别对两张图像进行投影变换，得到变换后的第一图像和第二图像，根据第一图像、第二图像中的病床的角点的位置及病床长度，计算出两张图像中病床的重叠长度，根据重叠长度进行图像拼接，得到全景图；

C、定位人体关键点：将得到的全景图输入训练好的关键点检测神经网络，输出关键点掩模，最终通过阈值判断找出掩膜中人体关键点的坐标，包括人脸关键点；

D、运动检测：按照步骤A至C的方法得到对应不同时刻的全景图，将当前全景图中人体关键点之间的相对位置，与之前时刻生成的全景图相比较，相对位置包括不同关键点之间的像素夹角和像素长度，若相对位置变化超出阈值，则患者发生移动；

E、面部表情检测：根据人脸关键点确定人脸位置，并对人脸表情进行分类，并输出识别结果。

优选地，所述步骤A中，取俯视视角下的图像，病床移动后的位置选取病床移动的最大位置。

优选地，分别采用相机一和相机二拍摄初始位置和最大位置的图片，记录病床初始位置、最大位置和移动距离，步骤B中全景图的生成步骤包括：

B1、分别在相机一拍摄到的初始位置的图像和相机二拍摄到的最大位置的图像中标记病床角点像素坐标，得到的每组角点像素坐标分别对应病床左上角、右上角、左下角和右下角；

B2、将病床标准角点坐标代入投影变换公式，求出投影变换公式的图像变换系数；

B3、将步骤B1得到的角点像素坐标分别代入投影变换公式，求出变换后的角点坐标，计算对应的第一图像和第二图像；

B4、计算第一图像和第二图像的重叠区域，根据病床物理宽度、物理长度、重叠区域和移动距离，计算出重叠区域像素尺寸；

B5、根据病床标准角点坐标和重叠区域像素尺寸，融合第一图像和第二图像，生成全景图。

优选地，所述步骤B中，投影变换公式为：

其中，(x_std，y_std)为变换后病床的角点坐标，(x，y)为原始标记的病床的角点坐标；图像中标准病床为矩形，病床标准角点坐标为(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)，其中， X₁＝X₂，X₂＝X₄，Y₁＝Y₂，Y₃＝Y₄，标准病床宽度像素尺寸为 TableWidthPixel＝(X₂-X₁)，标准病床长度像素尺寸为 TableLengthPixel＝(Y₃-Y₁)；

将四个角点坐标分别带入投影变换公式，通过最小二乘法公式求解出H₁矩阵，得到：

将相机一和相机二拍摄的图像点集分别代入上述公式，得到变换后的第一图像和第二图像。

优选地，所述步骤B中，计算第一图像和第二图像的重叠区域，步骤为：

根据病床物理宽度TableWidth，物理长度TableLength，计算变换后x方向和y方向上的图像像素尺寸：

XpixelSize＝TableWidth/(X₂-X₁)

YpixelSize＝TableLength/(Y₃-Y₁)

根据病床移动距离L，进一步计算重叠区域像素尺寸：

融合图像生成全景图Pic，生成公式为：

其中picN1为经过变换后第一图像，picN2为经过变换后第二图像。

优选地，所述步骤E中，对人脸的表情分类采用表情分类级联卷积神经网络，输出类别包括痛苦表情和其他表情两种。

优选地，所述步骤C中，人体关键点包括双眼、鼻子、嘴角、颈部、双肩、胯部、膝盖和双脚。

本发明还公开了一种实现所述方法的CT扫描全景实时监测系统，其特征在于，包括：图像获取模块，用于不同角度拍摄的包括病床和患者影像在内的图像；

第一图像处理模块，用于对拍摄图像进行投影和拼接处理，生成全景图；

第二图像处理模块，用于对全景图进行关键点检测和图像分割处理，输出带有人体关键点标记的预设尺寸的图像；

第三图像处理模块，用于识别图像中人体关键点的位置变化，并输出结果；

第四图像处理模块，用于识别图像中人脸表情的类型，并输出结果。

本发明还公开了一种实现所述方法的CT扫描全景实时监测系统，其特征在于：包括处理器和存储器，所述存储器存储用于执行所述方法的程序，存储器通信连接处理器，处理器用于执行所述程序。

技术效果：由于采用了上述技术方案，本发明具有如下技术效果：

本发明通过多个相机采集不同角度、不同时刻的图像，对得到的图像进行投影变换处理，拼接出CT扫描过程中的实时全景图，在全景图中实时无死角监控患者当前状态，使检测过程不会受到机架的遮挡，全程记录患者扫描过程中的运动轨迹，为后期图像降噪提供一定的帮助和依据，将患者当前表情状态反馈给扫描技师，使得医生在扫描过程能够清晰看到患者状态，是否发生运动、是否有痛苦表情等，方便医生及时做出处理，且本发明能够利用现有CT产品硬件，将算法集成在影像链中。

附图说明

图1为本发明的CT扫描全景实时监测方法的流程图；

图2为相机安装在病床周围的示意图；

图3为本发明中对全景图的拼接示意图，其中的a为经过投影变换后Cam1拍摄的图像，b为经过投影变换后Cam2拍摄的图像，c为拼接之后的图像；

图4为医生视角的病床和机架的侧面视角示意图；

图5为单一相机的病床和机架的侧面视角示意图；

图6为机架两侧分别设置相机的示意图；

图7为关键点检测神经网络的示意图；

图8为表情识别网络的示意图。

具体实施方式

图1为本发明的CT扫描全景实时监测方法的流程图，其中，Cam1和Cam2为彩色相机，从不同的角度拍摄病床，然后将相机拍摄的两幅图变换到相同视角，然后将变换后的两幅图进行拼接得到全景图，然后通过图像分割算法检测出人体位置，最终比较患者在扫描过程中是否出现运动，同时定位人脸部位，将人脸表情进行分类，并实时提醒扫描技师。

具体流程如下：

S1：Cam1、Cam2拍摄图像；

S2：将拍摄的图像变换、拼接，生成全景图；

S3：识别定位人体关键点，根据人脸关键点位置确定人脸位置；

S4：比较多个图片中人体关键点相对位置是否发生移动；

S5：将人脸表情进行分类。

S1中，Cam1和Cam2从不同的角度拍摄病床，能够在扫描过程中全程监控患者状态。相机安装位置如图2所示，虚线病床表示病床前进的最大位置，Cam1和Cam2安装位置示意图3，相机安装的高度使得Cam2能够拍摄到完整的病床。C1，C2，C3，C4为病床的四个角点。

由于病床目前CT产品中必不可少的配件之一，本发明中依据病床角点位置进行拼接，一方面病床角点特征明显且稳定，利于图像进行更高精度拼接，另一方面避免使用特定的标定板或者标定工具，减少设备部署成本。同时依据病床的四个角点的位置，能够验证相机安装位置是否合理，验证相机当前的安装位置能否全方位监控病人在病床上的状态。

S2中，将Cam1和Cam2中两个图进行变换拼接，步骤如下：

S2.1、将病床移动到初始位置P1，Cam1拍摄病床；

S2.2、将病床移动到最大位置P2，移动距离为L，如图2虚线病床所示，Cam2拍摄病床；从部署的角度来说，将病床移动到最大位置也可以验证当前相机安装位置，是否能够覆盖极限位置的病床状态。所以优选将病床从初始位置移动到最大位置。

S2.3、以病床前进方向作为y方向，对应病床长度方向，在Cam1拍摄图像中标记病床角点像素坐标，分别为(x11,y11)，(x12,y12)，(x13,y13)，(x14,y14)，分别对应病床左上角，右上角，左下角，右下角；

在Cam2拍摄图像中标记病床角点像素坐标，分别为(x21,y21)，(x22,y22)，(x23,y23)，(x24,y24)，分别对应病床左上角，右上角，左下角，右下角；

S2.4、对Cam1和Cam2拍摄的图像分别进行投影变换，以Cam1拍摄的图像为例：

投影变换矩阵为：

初始病床角点坐标为(x11,y11),(x12,y12),(x13,y13),(x14,y14)，图1病床角点标准坐标为 (X₁，Y₁)，(X₂，Y₂)，(X₃，Y₃)，(X₄，Y₄)，分别对应图像1中病床左上角坐标，右上角坐标，左下角坐标，右下角坐标，其中，X₁＝X₃，X₂＝X₄，Y₁＝Y₂，Y₃＝Y₄，使得图像中标准病床为矩形。同时可计算出标准病床像素宽度：

TableWidthPixel＝(X₂-X₁)

标准病床像素长度：

TableLengthPixel＝(Y₃-Y₁)

将四个角点坐标分别代入：

其中

为标准角点坐标点集，

为原始角点坐标点集。通过最小二乘法公式求解出H₁矩阵，

最后将Cam1拍摄的图像点集代入上述公式，可得变换后的图像。同理可求得Cam2变换后的图像；

S2.5：计算图像重叠区域，如图3中的c所示，已知病床物理宽度TableWidth，物理长度 TableLength，计算出变换后图像像素尺寸：

XpixelSize＝TableWidth/(X₂-X₁)

YpixelSize＝TableLength/(Y₃-Y₁)

通过病床位置计算出重叠区域像素尺寸：

其中L为病床移动距离；

本发明中利用病床物理尺寸和移动距离计算重叠区域，能够减少计算复杂度并且利于算法后期维护；

S2.6、融合图像生成全景图Pic，公式如下：

其中picN1为经过变换后Cam1图像，picN2为经过变换后Cam2图像；

本发明中，利用重叠区域进行全景融合相比一般常用配准方法计算量更小速度更快。通过最小二乘法计算出H₁。最小二乘实质上是利用最小误差的平方寻求数据的最佳匹配函数，求解的参数更加符合条件；求解该参数矩阵也可以用其他优化方法，例如梯度下降法。

变换后图像如图3所示。根据病床重叠长度即可拼接图像，如图3 中的 c所示。

图4至图6为侧面视角示意图，图中阴影部分为被机架遮挡住的视野，在图4医生视角和图5单一相机拍摄的方法下，只能看到机架一侧，在本方法中使用Cam1和Cam2图像并做拼接形成全景图，视野上能够完全绕过机架，看到人体在全部扫描过程中的动态。本发明采用的全景图能够在所有病床位置看到人体，因此不会影响关键点检测。

S3中，通过神经网络输出人体关键点，其中关键点包括不限于双眼，鼻子，嘴角，颈部，双肩，胯部，膝盖，双脚等，通过tensorflow框架训练网络。网络输入数据大小为1*640*480，网络输出数据形状为nkp+1*640*480，其中，nkp为人体关键点数量，网络损失函数为交叉熵函数，如下：

Loss＝y_t*logy_p+(1-y_t)*log(1-y_p)

其中，y_t为真实数据标记，y_p为网络预测概率。

预测：将S2处理后的全景图输入网络，输出关键点掩模。最终通过阈值判断找出掩膜中关键点坐标。根据眼睛、鼻子、耳朵确定人脸位置。

S4中，计算检测出的关键点之间的相对位置，从而确定患者是否发生移动。例如，计算颈部关键点和其他关键点之间的像素夹角和像素长度，与之前的帧相比较，当其变化超过阈值则反馈患者移动。

S5：表情识别通过神经网络实现，如图7所示。

S3中确定人脸位置，取固定大小的区域作为患者表情识别的输入图，通过插值将图像变换为 128*128大小。

训练：选取临床图片10000例，手动将其按照表情分类，分为痛苦和其他类别，用于训练表情分类网络。网络损失函数采用交叉熵：

Loss＝y_t*logy_p+(1-y_t)*log(1-y_p)

其中，y_t为真实数据标记，y_p为网络预测概率。

预测：将S3确定的人脸区域归一化到128*128大小后输入网络，输出患者表情类别，并实时展示在扫描界面。

本发明的步骤S2中，通过图像拼接无死角显示患者，其中相机个数和安装位置不局限于S1中所描述，步骤S4中监控患者在扫描过程中是否发生运动，方法不局限于关键点比较，也可以是其他方法，步骤S5中通过图片分类确认患者表情，其中患者表情识别方法不局限于神经网络，也可以是传统的特征提取和其他分类方法。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种CT扫描全景实时监测方法，其特征在于，包括步骤：

A、图像采集：采用不同相机从不同角度拍摄包括整张病床和患者影像在内的多张图像，取不同相机在不同视角下拍摄的两张图像，分别对应病床的初始位置和病床移动后的位置，标出两张图像中病床的四个角点的位置；

B、生成全景图：分别对两张图像进行投影变换，得到变换后的第一图像和第二图像，根据第一图像、第二图像中的病床的角点的位置及病床长度，计算出两张图像中病床的重叠长度，根据重叠长度进行图像拼接，得到全景图；

C、定位人体关键点：将得到的全景图输入训练好的关键点检测神经网络，输出关键点掩模，最终通过阈值判断找出掩膜中人体关键点的坐标，包括人脸关键点；

D、运动检测：按照步骤A至C的方法得到对应不同时刻的全景图，将当前全景图中人体关键点之间的相对位置，与之前时刻生成的全景图相比较，相对位置包括不同关键点之间的像素夹角和像素长度，若相对位置变化超出阈值，判断患者发生移动；

E、面部表情检测：根据人脸关键点确定人脸位置，并对人脸表情进行分类，并输出识别结果；

其中，所述步骤A中，取俯视视角下的图像，病床移动后的位置选取病床移动的最大位置，分别采用相机一和相机二拍摄初始位置和最大位置的图片，记录病床初始位置、最大位置和移动距离，步骤B中全景图的生成步骤包括：

B1、分别在相机一拍摄到的初始位置的图像和相机二拍摄到的最大位置的图像中标记病床角点像素坐标，得到的每组角点像素坐标分别对应病床左上角、右上角、左下角和右下角；

B2、将病床标准角点坐标代入投影变换公式，求出投影变换公式的图像变换系数，投影变换公式为：

其中，(x_std，y_std)为变换后病床的角点坐标，(x，y)为原始标记的病床的角点坐标；

图像中标准病床为矩形，病床标准角点坐标为(X₁，Y₁)、(X₂，Y₂)、(X₃，Y₃)、(X₄，Y₄)，其中，X₁＝X₃，X₂＝X₄，Y₁＝Y₂，Y₃＝Y₄，标准病床宽度像素尺寸为TableWidthPixel＝(X₂-X₁)，标准病床长度像素尺寸为TableLengthPixel＝(Y₃-Y₁)；将四个角点坐标分别带入投影变换公式，通过最小二乘法公式求解出H₁矩阵，得到：

X和Y为病床标准角点的坐标值；

B3、将步骤B1得到的角点像素坐标分别代入投影变换公式，求出变换后的角点坐标，计算对应的第一图像和第二图像；

B4、计算第一图像和第二图像的重叠区域，根据病床物理宽度、物理长度、重叠区域和移动距离，计算出重叠区域像素尺寸；

B5、根据病床标准角点坐标和重叠区域像素尺寸，融合第一图像和第二图像，生成全景图。

2.根据权利要求1所述的CT扫描全景实时监测方法，其特征在于：所述步骤B中，计算第一图像和第二图像的重叠区域，步骤为：

根据病床物理宽度TableWidth，物理长度TableLength，计算变换后x方向和y方向上的图像像素尺寸：

XpixelSize＝TableWidth/(X₂-X₁)

YpixelSize＝TableLength/(Y₃-Y₁)

根据病床移动距离L，进一步计算重叠区域像素尺寸：

融合图像生成全景图Pic，生成公式为：

其中picN1为经过变换后第一图像，picN2为经过变换后第二图像。

3.根据权利要求1所述的CT扫描全景实时监测方法，其特征在于，所述步骤E中，对人脸的表情分类采用表情分类级联卷积神经网络，输出类别包括痛苦表情和其他表情两种。

4.根据权利要求1所述的CT扫描全景实时监测方法，其特征在于，所述步骤C中，人体关键点包括双眼、鼻子、嘴角、颈部、双肩、胯部、膝盖和双脚。

5.一种实现权利要求1至4任一所述方法的CT扫描全景实时监测系统，其特征在于，包括：图像获取模块，用于不同角度拍摄包括病床和患者影像在内的图像；

第一图像处理模块，用于对拍摄的图像进行投影和拼接处理，生成全景图；

第二图像处理模块，用于对全景图进行关键点检测和图像分割处理，输出带有人体关键点标记的预设尺寸的图像；

第三图像处理模块，用于识别图像中人体关键点的位置变化，并输出结果；

第四图像处理模块，用于识别图像中人脸表情的类型，并输出结果。

6.一种实现权利要求1-4任一所述方法的CT扫描全景实时监测系统，其特征在于：包括处理器和存储器，所述存储器存储用于执行所述方法的程序，存储器通信连接处理器，处理器用于执行所述程序。

Images