CN104305996A - 基于图像识别技术的呼吸监测方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像识别技术的呼吸监测方法及系统，包括如下步骤：首先，被试胸腹部放置具有标志图形的柔性覆盖物，然后根据标志图形校准摄像机位置；然后通过至少两个摄像机采集患者呼吸过程中覆盖物表面标志图形，在被试呼吸带动下的变化图像。通过分析所述的变化图像，即根据图像中标志图形的变化和变化频率，得到被试体表轮廓随时间变换的图像和呼吸曲线，完成呼吸监测。为四维影像放疗过程中提供了一种简单方便的呼吸监测系统。与使用肺活量计、腹带压力传感器、激光测位相比，该呼吸监测系统无需使用这种专门设备，无需提供专门的接口和安装固定位置。与普通的红外摄像相比，该呼吸监测系统基于条纹变形技术，提高了数据的精确性，同时附有体表轮廓图像，方便用于进行四维影像放疗方案的制定。

Description

基于图像识别技术的呼吸监测方法及系统

技术领域

本发明涉及一种呼吸监测方法及系统，尤其涉及一种基于图像识别技术，识别条纹变形进而监测呼吸的方法和系统。涉及专利分类号G01测量；测试G01B长度、厚度或类似线性尺寸的计量；角度的计量；面积的计量；不规则的表面或轮廓的计量G01B11/00以采用光学方法为特征的计量设备G01B11/24用于计量轮廓或曲率。

背景技术

随着肿瘤放疗技术和影像技术的发展，近年来，适形强调放疗和图像引导放疗是现阶段放疗领域的主要技术手段。尤其是四维影像放疗，把时间因素考虑到三维图像的扫描和重建过程中，与三维放疗相比，四维影像放疗消除了呼吸运动伪影对胸腹部内脏器官图像的影响，真实再现了各器官随时间变化的形态，提高了对运动靶区的精确放疗。目前的呼吸监测方法主要为肺活量计、红外摄像、腹带压力传感器等。

现阶段的呼吸监测，主要采用的方法包括：肺货量计，红外摄像和腹带压力监测等手段。肺活量计和腹带压力监测方法是直接获取人体的物理参数，都会对人体造成一定的不适影响，而且无法获得人体在呼吸时的体表轮廓图像；红外摄像监测，虽然能够在完成呼吸监测的同时，获取人体表面轮廓的图像，但是需要专业昂贵的设备，使用和维护成本较高。

发明内容

本发明针对以上问题的提出，而研制的一种基于图像识别技术的呼吸监测方法，包括如下步骤：

首先，被试胸腹部放置具有标志图形的柔性覆盖物，然后根据标志图形校准摄像机位置；

然后通过至少两个摄像机采集患者呼吸过程中覆盖物表面标志图形，在被试呼吸带动下的变化图像。通过分析所述的变化图像，即根据图像中标志图形的变化和变化频率，得到被试体表轮廓随时间变换的图像和呼吸曲线，完成呼吸监测。

作为优选的实施方式，所述“采集患者呼吸过程中覆盖物表面标志图形的变化图像，通过分析所述的变化图像，得到图像中标志图形的变化”具体过程如下：

首先，针对获得的每一帧图像，进行图像分割处理，得到二值化的图像；

然后，通过对标志图形的关键点进行追踪，确定关键点在相邻帧图像中的位置，进而确定标志图形在每一帧图像中的精确位置。

最后，对所述的至少两个摄像机的图像分别进行上述处理后图像重建，得到体表轮廓随时间变化的图像。

更进一步的，通过记录每一帧图像中选定的关键点位置的变化，结合图像的单位帧数，经过合成即可得到呼吸曲线。

为了减少图形分析的运算量，作为优选的实施方式，所述柔性覆盖物的标志图形为多条相互平行的等长线条，所述的线条为黑色，柔性覆盖物其它部分为白色。黑白对比的标志图形，可以有效的减少算法的运算量，可以极大的减少二值化图像的运算量，同时几乎不产生图像噪声，保证了算法后续过程的准确性。

更进一步的，在所述的多个等长线条的四个角部和标志图形的中部分别设有一位置标识，用于校准摄像机的拍摄区域，使用时，通过调节，使所述的四个角部的位置标识位于拍摄区域的四个角，中部的位置标识位于拍摄区域的中部即可。

更进一步的，采用至少两个位置相对设置的摄像机采集图像，所述的两摄像机拍摄所述的标志图形，采用两个相对设置的摄像机，可以方便的得到标志图形关键点的空间坐标。

一种基于图像识别技术的呼吸监测系统，包括：

表面具有标志图形的柔性覆盖物，使用时，该柔性覆盖物覆盖于被试的胸腹部；

正交拍摄所述柔性覆盖物的标志图形的两摄像机；以及

处理单元：接收所述两摄像机拍摄图像，对图像进行分析得出标志图形的变化和变化频率，进而得到被试体表轮廓随时间变换的图像和呼吸曲线，完成呼吸监测。

作为优选的实施方式，所述的处理单元包括：图像分割模块：该模块接收所述的两摄像机采集到的标志图形的图像，对该图像进行分割处理，得到二值化的图像；

图像追踪模块：该模块选定所述的二值化的图像中的若干关键点，确定关键点，使用目标追踪算法确定所述的若干个关键点在相邻帧图像中的位置，进而确定关键点在每一帧图像中的位置。其具体实施方式是将连续两帧图像进行比较，从中提取关键点的信息；首先计算第n帧图像与第n-1帧图像之间的差别，得到差分后的图像；然后对差分后图像使用图像分割算法进行二值化处理，即确定关键点在每一帧图像中的位置。

图像重建模块：接收经过所述的图像追踪模块处理的图像，进行图像重建，得到随时间变化的体表轮廓变化图像和得出体表轮廓变化曲线和呼吸曲线。

由于采用了上述技术方案，本发明提供的基于图像识别技术的呼吸监测方法及系统，优势在于通过条纹变形技术生成呼吸曲线图和体表轮廓图像，为四维影像放疗过程中提供了一种简单方便的呼吸监测系统。与使用肺活量计、腹带压力传感器、激光测位相比，该呼吸监测系统无需使用这种专门设备，无需提供专门的接口和安装固定位置。与普通的红外摄像相比，该呼吸监测系统基于条纹变形技术，提高了数据的精确性，同时附有体表轮廓图像，方便用于进行四维影像放疗方案的制定。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中采用的条纹标志图形示意图

图2为本发明实施例1中条纹标志位的分析流程图

图3为本发明实施例1系统模块图

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1-2所示，所述的柔性覆盖物上的标志图形为多个相互平行的带有一定宽度的，矩形的黑色线条。在线条区域的四个角和线条矩形区域对角线的交叉位置分别设有一个红色的色块。

使用时，该柔性覆盖物的材质可以为医用布料，保证贴合使用者的胸腹部并能够跟随呼吸活动即可。

如图3所示；除了柔性覆盖物外，系统主要由两个正交拍摄的摄像机和处理单元构成。

使用前，将摄像机的拍摄区域对准位置标识，即保证5个红色的色块位于拍摄区域的四个角和中部即可。

工作时，两摄像机分别采集标志图形的变化图像，将图像传送至处理单元，有处理单元分析计算并最终生成体表轮廓变化图像和呼吸曲线。

由摄像机拍摄的图像首先上传至处理单元内部的图像分割模块，该模块对图像中的每一帧图像分别进行逐帧的分割处理，得到每一帧图像的精确的二值化图像。作为优选的实施方式，所述的分割处理为基于预置的分割处理。

进行处理后的二值化的帧图像传送至图像追踪模块，图像最终模块选定关键点，在本实施例中，选定每一个矩形条纹按设定的步长选取多个点作为该条纹的关键点。

首先计算第n帧图像与第n-1帧图像之间的差别，得到差分后的图像；然后对差分后图像使用图像分割算法进行二值化处理，即确定关键点在每一帧图像中的位置。

另外由于条纹条纹标志物的数量固定，而且人体呼吸产生动作幅度并不大，故在本实施例中认定相邻条纹的关键点不会重合，即可设定关键点坐标变化的阈值，通过分析每个关键点的空间坐标，以及统计相邻条纹关键点的空间坐标即可确定每个关键点所述的条纹；当关键点的位置变化超过设定的阈值时，可判定为不可接受的错误结果。

通过记录图像中每一帧图像的关键点的位置，结合时间，即可绘制出由关键点运动轨迹构成的体表轮廓变化图像。同时，根据每个关键点的位移变化结合时间轴，即可生成带有呼吸频率和幅度变化的呼吸曲线图。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于图像识别技术的呼吸监测方法，其特征在于包括如下步骤：

—在被试胸腹部放置具有标志图形的柔性覆盖物；校准摄像机拍摄区域；

—通过至少两个摄像机采集患者呼吸过程中覆盖物表面标志图形的变化图像，通过分析所述的变化图像，根据图像标志图形中提取的关键点的变化和变化频率，得到被试体表轮廓随时间变换的图像和呼吸曲线，完成呼吸监测。

2.根据权利要求1所述的基于图像识别技术的呼吸监测方法，其特征还在于所述“采集患者呼吸过程中覆盖物表面标志图形的变化图像，通过分析所述的变化图像，得到图像中标志图形的变化”具体过程如下：

—针对获得的每一帧图像，进行图像分割处理，得到二值化的图像；

—通过对标志图形的关键点进行追踪，确定关键点在相邻帧图像中的位置，进而确定标志图形在每一帧图像中的位置；

—对所述的至少两个摄像机的图像分别进行上述处理后图像重建，得到体表轮廓随时间变化的图像。

3.根据权利要求1或2所述的基于图像识别技术的呼吸监测方法，其特征还在于：记录每一帧图像中选定的关键点位置的变化，得到被试随时间变化的呼吸曲线。

4.根据权利要求1所述的基于图像识别技术的呼吸监测方法，其特征还在于所述柔性覆盖的标志图形为多条相互平行的等长线条。

5.根据权利要求4所述的基于图像识别技术的呼吸监测方法，其特征还在于所述的多个等长线条的四个角部和标志图形的中部分别具有一校准的位置标识。

6.一种基于图像识别技术的呼吸监测系统，其特征在于具有：

表面具有标志图形的柔性覆盖物，使用时，该柔性覆盖物覆盖于被试的胸腹部；

拍摄所述柔性覆盖物的标志图形的两摄像机；以及

处理单元：接收所述两摄像机拍摄图像，对图像进行分析得出标志图形的变化和变化频率，进而得到被试体表轮廓随时间变换的图像和呼吸曲线，完成呼吸监测。

7.根据权利要求6所述的基于图像识别技术的呼吸监测系统，其特征还在于所述的处理单元包括：

图像分割模块：该模块接收所述的两摄像机采集到的标志图形的图像，对该图像进行分割处理，得到二值化的图像；

图像追踪模块：该模块选定所述的二值化图像中的若干关键点，确定关键点，使用目标追踪算法确定所述的若干个关键点在相邻帧图像中的位置，进而确定关键点在每一帧图像中的位置；

图像重建模块：接收经过所述的图像追踪模块处理的图像，进行图像重建，得到随时间变化的体表轮廓变化图像和得出体表轮廓变化曲线和呼吸曲线。