CN105498100B - 一种监测生理运动曲线和体表轮廓的方法及系统 - Google Patents

一种监测生理运动曲线和体表轮廓的方法及系统 Download PDF

Info

Publication number
CN105498100B
CN105498100B CN201511027216.8A CN201511027216A CN105498100B CN 105498100 B CN105498100 B CN 105498100B CN 201511027216 A CN201511027216 A CN 201511027216A CN 105498100 B CN105498100 B CN 105498100B
Authority
CN
China
Prior art keywords
marker
coordinate
binocular camera
infrared sensor
physiological movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511027216.8A
Other languages
English (en)
Other versions
CN105498100A (zh
Inventor
李贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201511027216.8A priority Critical patent/CN105498100B/zh
Publication of CN105498100A publication Critical patent/CN105498100A/zh
Application granted granted Critical
Publication of CN105498100B publication Critical patent/CN105498100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1031—Treatment planning systems using a specific method of dose optimization
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1037—Treatment planning systems taking into account the movement of the target, e.g. 4D-image based planning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048—Monitoring, verifying, controlling systems and methods
    • A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种监测生理运动曲线的方法，包括以下步骤：S1、在被测者身体上放置标识物；S2、利用双目摄像机和红外传感器采集标识物的坐标；S3、分析校正双目摄像机和红外传感器采集的标识物的坐标，从而得到被测者的生理运动曲线。相应地，本发明还公开了一种监测体表轮廓的方法和监测生理运动曲线和体表轮廓的系统。本发明通过双目摄像机的光学成像系统与红外传感器的红外成像系统的结合，能够自动跟踪标识物，应对红外死角、环境光照等客观因素的细微变化带来的问题，不需要人工摆位，实现目标位置的准确定位。

Description

一种监测生理运动曲线和体表轮廓的方法及系统
技术领域
本发明涉及医疗设备领域，尤其涉及一种监测生理运动曲线和体表轮廓的方法及系统。
背景技术
众所周知放射治疗是肿瘤治疗的最重要、最基本的手段之一，目前，肿瘤放射治疗的主要设备是直线加速器、钴60治疗机和伽马刀。但由于肿瘤组织被正常组织所包绕，杀灭肿瘤的同时会损伤正常的组织。加之放射治疗中如何消除器官的受生理运动的影响，如呼吸运动、膀胱充盈、肠胃蠕动、肿瘤的增大和减小，以及器官的弹性形变、分次治疗中的摆位误差等，使之无法准确定位。在体部放射治疗中，通常采用的体部定位框架只能对肿瘤进行静态定位，而无法实时跟踪由于生理运动，例如呼吸等引起的肿瘤位置的变化，这样使得射线靶点不能始终对准肿瘤组织，从而让较多的正常组织接受不必要的辐射，降低了疗效并产生副作用，直接影响到肿瘤治疗的效果。
目前通常采用的方法是使射线束的工作周期与某一特定呼吸时相同步，使肿瘤在门控窗内的残余运动最小，该方法通常分为以下三种：
(1)基于体表标识物技术，如已商用的瓦里安公司的Real-time PositionManagement System(RPM)，该系统单纯依靠红外成像系统跟踪体表变化，其缺点在于，使用的标识盒和球在不同观察角度下跟踪精度不准确，需要人工调节红外传感器的位置，同时由于单纯依赖红外成像系统，对红外的精度要求非常高，同时也引入了红外死角的问题，也会带来实时性的问题，另外，红外反射球自身也是一种耗材，而且需要在绝对黑暗的情况下使用，整个系统价格较高，不易推广使用。
(2)基于呼吸流量的技术，通过呼吸流量计或肺活量计等将被检测到的呼吸流量转化为数字信号，设置流量阈值，以此来产生门控信号。它的缺点在于：需要病人配戴口罩等来测量气流量，其耐受性较差。
(3)基于压力传感器的技术，该技术是采用呼吸腹带或变形测量计等装置，通过其内部的压力传感器来测量压力的变化，由此产生门控信号。它的缺点在于：腹带或变形测量计对患者的腹部造成一定的挤压，给患者带来不适感，耐受性很差。
目前，本领域的研究人员致力于开发基于跟踪体表变化的技术，例如，专利申请号为201010552002.3的中国专利公开了一种激光引导医疗设备自动定位系统及方法，该专利基于病人体表的标记不易跟踪，病人呼吸会导致体表标记产生非刚性形变，容易丢失标记等的问题，采用通过图像剪影的办法来获得跟踪点，然而，这对外界客观因素如光照和照相机曝采集速率的依赖性较大，易丢失或错误跟踪。
专利申请号为200910105863.4的中国专利公开了基于腹部体表轮廓曲线产生数字化呼吸门控信号的方法，并具体公开了通过数据采集，训练呼吸样本的方法来实现匹配，该方法对病人前10s的呼吸曲线的普适性要求较高，对病人在后期治疗中的呼吸变化或者移动位置轻微变化的系统鲁棒性较差，同时基于YCbCr的人体皮肤分割算法本身精度不高，对于呼吸曲线的精度识别较差。
发明内容
为了解决上述技术问题，本发明提供了一种监测生理运动曲线的方法，包括以下步骤：
S1、在被测者的身体上放置标识物；
S2、利用双目摄像机和红外传感器采集标识物的坐标；
S3、分析校正双目摄像机和红外传感器采集的标识物的坐标，从而得到被测者的生理运动曲线。
进一步地，所述步骤S3具体包括：
S31、将双目摄像机和红外传感器采集的标识物的坐标进行比对，并根据比对结果得到位置偏差；
S32、根据所述位置偏差对标识物的坐标进行校正，从而得到被测者的生理运动曲线。
进一步地，所述步骤S31具体包括：
S311、将双目摄像机采集的标识物的坐标r(x,y,z)与红外传感器采集的标识物的坐标R(x,y,z)建立一一对应的关系，并对对应的r(x,y,z)与R(x,y,z)进行采样，使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为采样组数，且N>1。
S312、采用随机或非随机算法求解所述优化模型，得到位置偏差。
进一步地，在所述步骤S2中，利用双目摄像机采集标识物的三维坐标的方法包括以下步骤：
S21、利用双目摄像机采集标识物的RGB帧数据；
S22、将RGB帧数据转换为HSV空间的颜色特征，
或根据RGB帧数据提取RGB空间的SIFI特征，
或将RGB帧数据转换为HSV空间的颜色特征同时根据RGB帧数据提取RGB空间的SIFI特征，实现标识物的三维坐标采集。
进一步地，还包括步骤S4、显示被测者的生理运动曲线。
进一步地，所述步骤S1中的标识物为旋转对称的标识物，且所述标识物上具有用于标定标识物特征的特征点，相邻的特征点之间具有对比度。
相应地，本发明还提供了一种监测生理运动曲线的系统，包括采集模块和处理模块，
所述采集模块，用于利用双目摄像机和红外传感器采集标识物的坐标；
所述处理模块，用于分析校正双目摄像机和红外传感器采集的标识物的坐标，从而得到被测者的生理运动曲线。
进一步地，所述系统还包括显示模块，用于显示被测者的生理运动曲线。
进一步地，所述处理模块包括比对单元和校正单元，
所述比对单元，用于将双目摄像机和红外传感器采集的标识物的坐标进行比对，并根据比对结果得到位置偏差；
所述校正单元，用于根据所述位置偏差对标识物的坐标进行校正，从而得到被测者的生理运动曲线。
进一步地，所述比对单元具体用于：将双目摄像机采集的坐标r(x,y,z)与红外传感器采集的坐标R(x,y,z)建立一一对应的关系，并对对应的r(x,y,z)与R(x,y,z)进行采样，使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为采样组数，且N>1。
进一步地，所述标识物为旋转对称的标识物，且所述标识物上具有用于标定标识物特征的特征点，相邻的特征点之间具有对比度。
本发明还提供了一种监测体表轮廓的方法，包括以下步骤：
H1、在被测者的身体上放置标识物；
H2、利用双目摄像机和红外传感器采集被测者的体表轮廓，其中包括标识物的坐标；
H3、分析双目摄像机和红外传感器采集的标识物的坐标得到位置偏差；
H4、利用所述位置偏差对双目摄像机和红外传感器采集的体表轮廓进行矫正，得到矫正后的体表轮廓随时间变化的图像。
进一步地，所述步骤H3具体包括：
H31、将双目摄像机采集的标识物的坐标r(x,y,z)与红外传感器采集的标识物的坐标R(x,y,z)建立一一对应的关系，并对对应的r(x,y,z)与R(x,y,z)进行采样，使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为所采用的采样组数，N>1。
S32、采用随机或非随机算法求解所述优化模型，得到位置偏差。
相应地，本发明还提供了一种监测体表轮廓的系统，包括采集模块和处理模块，
所述采集模块，用于利用双目摄像机和红外传感器采集被测者的体表轮廓，其中包括标识物的坐标；
所述处理模块，用于分析双目摄像机和红外传感器采集的标识物的坐标得到位置偏差，并利用所述位置偏差对双目摄像机和红外传感器采集的体表轮廓进行矫正，得到矫正后的体表轮廓随时间变化的图像。
进一步地，所述系统还包括显示模块，用于显示矫正后的体表轮廓随时间变化的图像。
本发明的监测体表轮廓和生理运动曲线的方法及系统，具有如下有益效果：
1、本发明的方法及系统通过双目摄像机和红外传感器的结合，能够应对红外死角、环境光照等客观因素的细微变化带来的问题。
2、本发明通过将双目摄像机采集的三维坐标与红外传感器采集的三维坐标进行比对，得到位置偏差，根据该位置偏差进行校正，实现了双目成像和红外视井深度的测量匹配，进而极大提升了跟踪精度。
3、本发明通过双目摄像机的光学成像与红外传感器的红外成像系统的结合，实现自动跟踪标识物，不需要人工干预，实现目标位置的准确定位。
4、本发明的标识物选择旋转对称的标识物，减少了监测死角，利用可调角度的底座放置标识物，使得标识物的表面尽可能与双目摄像机的光学成像系统及红外传感器的红外成像系统的视角方向垂直，减少视差的影响，同时标识物上具有用于标定标识物特征的特征点，相邻的特征点之间具有对比度，增强可分辨性，减少对算法的依赖性，另外，该标识物采用自发光材料制成，使得标识物易于跟踪，且具有二维码，更加方便存放被测者相关信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例的监测生理运动曲线的方法流程图；
图2是本发明另一实施例的监测体表轮廓的方法流程图；
图3是本发明的监测生理运动曲线和体表轮廓的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明的监测生理运动曲线的方法流程图，本发明提供了一种监测生理运动曲线的方法，包括以下步骤：
S1、在被测者身体上放置标识物。
为了能准确监测生理运动曲线，优选将标识物放置于受生理运动影响较大的位置，在本实施例中，以监测呼吸曲线为例，考虑到胸腹部受呼吸影响较大，可以将标识物放置于被测者的胸腹部。
在本实施例中，利用可调角度的底座将标识物放置于被测者的胸腹部，通过调节底座使得标识物的表面尽可能与双目摄像机的光学成像系统及红外传感器的红外成像系统的视角方向垂直，在此情况下标识物振幅最明显，易于跟踪。
其中，为了避免在检测过程中产生死角，所述标识物优选为旋转对称，且标识物上具有用于标定标识物特征的特征点，相邻的特征点具有一定的对比度，具体地，可以选用圆锥形或圆球形的旋转对称的标识物，在标识物上间隔设置亮暗条纹，或设置不同颜色的条纹，或其他能够区分相邻的特征点的纹理，另外，所述标识物可以采用自发光材料制备而成，便于在黑暗的环境中追踪，标识物上也可设置用于存储被测者相关信息的二维码；
S2、利用双目摄像机和红外传感器采集标识物的坐标。
一般生理运动为三维运动，因此优选为采集标识物的三维坐标。所述采集可以为同步采集或不同步采集，当被测者处于静态时，可以采用不同步采集，当被测者存在运动时，优选采用同步采集。
具体地，通过前期的定位将被测者的治疗区域固定在双目摄像机的共目区域及红外传感器的探测范围内，由于标识物被放置于被测者的治疗区域的表面，则标识物也处于所述共目区域及红外传感器的探测范围内；
在利用双目摄像机采集标识物的三维坐标之前，对双目摄像机中的左目摄像机和右目摄像机分别进行标定得到相机的内参矩阵、外参矩阵及畸变矩阵，并进行校正，然后通过双目视觉标定方法进行双目匹配标定，得到两个相机的基础矩阵，从而在采集标识物的三维坐标之后实现视差图的计算得到共目区域的三维坐标数据，其中包括标识物的三维坐标。所述共目区域的三维坐标数据代表双目摄像机采集到的被测者的体表轮廓。
红外传感器对治疗区域进行探测，采集得到探测范围内的三维坐标数据，其中也包括标识物的三维坐标。所述探测范围内的三维坐标数据代表红外传感器采集到的被测者的体表轮廓。
S3、将双目摄像机采集的标识物的三维坐标r(x,y,z)与红外传感器采集的标识物的三维坐标R(x,y,z)进行比对，并根据比对结果得到位置偏差。
通过红外信息和RGB信息的映射和同步，实现三维坐标数据校正和互补，得到更精确的标识物的三维坐标数据。
具体地，首先将双目摄像机采集的标识物的三维坐标r(x,y,z)与红外传感器采集的标识物的三维坐标R(x,y,z)建立一一对应的关系，然后基于对应的r(x,y,z)和R(x,y,z)得到双目摄像机和红外传感器采集得到的标志物的位置偏差。
对对应的r(x,y,z)和R(x,y,z)进行采样，从中选取N组对应的r(x,y,z)和R(x,y,z)，基于采样得到的r(x,y,z)和R(x,y,z)使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为采样组数，且N>1。通过优化算法计算不同N情况下的上述优化模型的最小值为位置偏差。
具体地，可以采用梯度算法求解上述优化模型，从双目摄像机采集的标识物的三维坐标r(x,y,z)与红外传感器采集的标识物的三维坐标R(x,y,z)中得到最优的N组数据r(x,y,z)和R(x,y,z)，使得位置偏差Δ最小。
其中，梯度算法的迭代公式为：
xk+1＝xk+λkdk
梯度算法的步骤为：
a.给定初始点，x1∈Rn，允许误差ε>0，令k＝1；
b.计算搜索方向
c.若||dk||≤ε，则停止计算，xk为所求极值点；否则，求最优步长λk，使得f(xk+λkdk)＝minf(xk+λdk)；
d.令xk+1＝xk+λkdk，令k:＝k+1，转步骤b。
利用上述梯度算法的步骤求解上述优化模型，得到位置偏差Δ；
在其他实施方式中，还可以采用共轭梯度算法求解上述优化模型，其中，共轭梯度算法的公式为：
其中，x∈Rn，A是对称正定矩阵，b∈Rn，c是常数。
共轭梯度算法的步骤为：
a.任取初始点x(1)，精度要求ε，令k＝1；
b.令若||g1||<ε，则停止计算，x(1)为所求极小点；否则，令d(1)＝-g1，利用公式(1)计算λ1，令x(2)＝x(1)+λ1d(1)；
c.令若||gk+1||<ε，则停止计算，x(k+1)为所求极小点；否则，令d(k+1)＝-gk+1+βkd(k)，利用公式(2)计算βk，令k:＝k+1；
d.利用公式(1)计算λk，令x(k+1)＝x(k)+λkd(k)，转步骤c。
利用上述共轭梯度算法的步骤求解上述优化模型，得到位置偏差Δ；
在其它实施方式中，还可以采用模拟退火算法、蚁群算法等随机算法，也可以采用牛顿算法、拟牛顿算法、变尺度算法等非随机算法，求解上述优化模型来获得位置偏差；为了解决计算实时性，优选采用非随机算法。
根据所述位置偏差Δ对双目摄像机或红外传感器采集得到的标识物的三维坐标进行校正。
双目摄像机对应用环境的要求较高，可以通过实验得到其适用的环境要求。
一般情况下，双目摄像机采集的数据相对红外传感器采集的数据更加准确的，可利用位置偏差Δ校准红外传感器的数据，即将红外传感器采集的三维坐标加上或减去位置偏差Δ，从而得到较为准确的红外数据；对于一些特殊的环境，例如太亮或者太暗的环境，双目摄像机无法采集到准确的数据，此时红外传感器采集的数据相对更加准确，可以利用位置偏差Δ校正双目摄像机采集的数据；当然如果双目摄像机采集的数据中，一部分被认为是相对准确的，另一部分被认为是不准确的，则利用相对准确的一部分数据和对应的红外数据计算得到位置偏差，然后利用位置偏差校正红外数据。
并且，双目摄像机采集的三维坐标与红外传感器采集的三维坐标形成互补，扩展了测量范围，解决了红外死角的问题。
在实时性要求较高的情况下，可以选择校正后的红外数据绘制被测者的生理运动曲线，更能满足实时性的要求。
根据实际情况根据所述位置偏差Δ对双目摄像机或红外传感器采集得到的标识物的三维坐标进行校正。
根据校正后的标识物的三维坐标得到被测者生理运动曲线。
标识物放置于被测者的胸腹部，胸腹部随着呼吸起伏变化，因此呼吸运动表现为标识物的三维坐标跟随呼吸运动进行周期性变化，生理运动曲线表现为标识物的三维坐标数据跟随时间进行周期性变化。
因此，根据校正后的标识物的三维坐标数据可以绘制得到生理运动曲线，为了得到更符合实际的生理运动曲线，得到生理运动曲线之后通过区域的滤波，例如均值滤波或空间滤波，和/或高斯权重法来实现生理运动曲线的去噪声和恢复。
S4、显示被测者的生理运动曲线。
根据本发明的方法得到的被测者的生理运动曲线可以在显示器上进行实时显示。
在上述实施例中，所述步骤S2中，利用双目摄像机采集标识物的三维坐标的方法包括以下步骤：
S21、利用双目摄像机采集标识物的RGB帧数据；
S22、将RGB帧数据转换为HSV空间的颜色特征，
或根据RGB帧数据提取RGB空间的SIFI特征，
或将RGB帧数据转换为HSV空间的颜色特征并且根据RGB帧数据提取RGB空间的SIFI特征，实现标识物的三维坐标采集。
其中，将RGB帧数据转换为HSV空间的颜色特征的方法如下所示：
设(r,g,b)分别是一个颜色的红、绿和蓝坐标，它们的值是在0到1之间的实数。设max等价于r，g和b中的最大者。设min等于这些值中的最小者。要找到在HSV空间中的(h,s,v)值，这里的h∈[0,360)是角度的色相角，而s,v∈[0,1]是饱和度和明度，计算为：
h＝0°, if max＝min
if max＝rand g≥b
if max＝rand g＜b
if max＝g
if max＝b
h的值通常规范化到位于0到360°之间。
s＝0°, if max＝0
v＝max
将RGB帧数据转换为HSV空间的颜色特征过程中，通过形态学算法，膨胀，腐蚀，结构开闭运算或者连通域估计算法，根据门限删除错误目标区域等方法处理来实现最大程度的分离特征标识物。
该步骤中，基于HSV空间的颜色特征提取和RGB空间的SIFT特征提取对标识物进行实时跟踪，利用HSV颜色分割的准确性及SIFT算法的精确性，不但保证跟踪的实时性，还保证了跟踪的准确性。
在本发明的另一实施例中，可以监测被测者的体表轮廓随时间变化的图像。
利用上述步骤S3得到的位置偏差Δ对双目摄像机采集的共目区域的三维坐标数据或红外传感器采集的探测范围内的三维坐标数据进行矫正，从而得到矫正后的对应被测者体表轮廓的三维坐标数据，根据校正后的三维坐标数据进行体表重建得到被测者的体表轮廓随时间变化的图像。
本发明的方法获得的被测者体表轮廓随时间变化的图像更为精确，可用于在诊断或治疗过程中的防碰撞操作。
相应地，如图2所示，本发明还提供了一种监测生理运动曲线的系统，包括采集模块和处理模块。
所述采集模块，用于利用双目摄像机和红外传感器采集标识物的三维坐标，所述采集可以为同步采集或不同步采集，当被测者处于静态时，可以采用不同步采集，当被测者存在运动时，优选采用同步采集。
其中，标识物放置于受生理运动影响较大的位置，在本实施例中，以监测呼吸曲线为例，考虑到胸腹部受呼吸影响较大，可以将标识物放置于被测者的胸腹部；
所述标识物优选为旋转对称，且标识物上具有用于标定标识物特征的特征点，相邻的特征点具有一定的对比度，具体地，可以选用圆锥形或圆球形的旋转对称的标识物，在标识物上间隔设置亮暗条纹，或设置不同颜色的条纹，或其他能够区分相邻的特征点的纹理，另外，所述标识物可以采用自发光材料制备而成，便于在黑暗的环境中追踪，标识物上也可设置用于存储被测者相关信息的二维码；
其中，所述采集模块包括采集单元、转换单元或采集单元、提取单元或采集单元、转换单元和提取单元，
所述采集单元，用于利用双目摄像机采集标识物的RGB帧数据；
所述转换单元，用于将RGB帧数据转换为HSV空间的颜色特征；
所述提取单元，用于根据RGB帧数据提取RGB空间的SIFI特征。
所述处理模块，用于分析校正双目摄像机和红外传感器采集的标识物的三维坐标，包括比对单元和校正单元：
所述比对单元，用于将双目摄像机采集的标识物的三维坐标r(x,y,z)与红外传感器采集的标识物的三维坐标R(x,y,z)进行比对，并根据比对结果得到位置偏差，将所述的三维坐标对应的分为N组并进行采样，使用偏差公式，建立优化模型，通过优化算法计算不同N情况下的最小值为位置偏差；所述的优化模型为：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为采样组数，且N>1。
采用随机算法或非随机算法求解上述优化模型，得到位置偏差。
所述校正单元，用于根据所述位置偏差Δ对双目摄像机或红外传感器采集得到的标识物的三维坐标进行校正，从而得到被测者的生理运动曲线。
所述监测生理运动曲线的系统还包括显示模块，用于显示被测者的生理运动曲线。
在本发明的另一实施例中，还提供了一种监测体表轮廓的系统，包括采集模块和处理模块。
所述采集模块，用于利用双目摄像机和红外传感器采集被测者的体表轮廓，其中包括标识物的坐标；
所述处理模块，用于分析双目摄像机和红外传感器采集的标识物的坐标得到位置偏差，并利用所述位置偏差对双目摄像机和红外传感器采集的体表轮廓进行矫正，得到矫正后的体表轮廓随时间变化的图像。
所述处理模块包括比对单元和校正单元：
所述比对单元，用于将双目摄像机采集的三维坐标r(x,y,z)与红外传感器采集的三维坐标R(x,y,z)进行比对，并根据比对结果得到位置偏差Δ；
所述校正单元，根据所述位置偏差Δ对双目摄像机和红外传感器采集的体表轮廓进行矫正，从而得到矫正后的体表轮廓随时间变化的图像。
所述监测体表轮廓的系统还包括显示模块，用于显示矫正后的体表轮廓随时间变化的图像。
在其它实施例中，本发明的方法和系统可以同时监测被测者的体表轮廓和生理运动曲线，均在本发明的保护范围之内。
本发明的监测系统工作流程大致为：被测者进入治疗房后躺在治疗床上，根据事先标定的位置，对病人进行轻微的位置调整，并对监测系统初始化，在病人的胸部或者腹部位置上放置标识物，适当调整标识物角度使其在双目摄像机的光学成像系统及红外传感器的红外成像系统的视角方向上振幅最明显，从而得到最理想的生理运动曲线及体表轮廓，同时系统界面上显示被测者的胸部或腹部轮廓随时间变化的图像和生理运动曲线。当病人开始治疗之后系统会根据本发明的监测方法自动跟踪标识物，并实时的显示当前的被测者的胸部或腹部轮廓随时间变化的图像和生理运动曲线。由于标识物是旋转对称的标识物，即使病床在治疗过程中发生移动，或者病人发生轻微移动，也不会丢失跟踪曲线，所以轻微的移动不会影响系统稳定性。
门控技术是在病人呼吸相对平稳的相位加射束进行治疗或诊断的技术，本发明的监测系统可以在被测者呼吸相对平稳的相位加射束进行治疗或诊断，即生理运动曲线的较为平缓的波谷处，同时根据之前采集的信息，并结合当前的生理运动曲线数据自适应的调整出束的时间，如果生理运动曲线发生异动，超过设定的波动门限，治疗会自动停止。
本发明的监测体表轮廓和生理运动曲线的方法及系统，具有如下有益效果：
1、本发明的方法及系统通过双目摄像机和红外传感器的结合，能够应对红外死角、环境光照等客观因素的细微变化带来的问题。
2、本发明通过将双目摄像机采集的三维坐标与红外传感器采集的三维坐标进行比对，得到位置偏差，根据该位置偏差进行校正，实现了双目成像和红外视井深度的测量匹配，进而极大提升了跟踪精度。
3、本发明通过双目摄像机的光学成像与红外传感器的红外成像系统的结合，实现自动跟踪标识物，不需要人工干预，实现目标位置的准确定位。
4、本发明的标识物选择旋转对称的标识物，减少了监测死角，利用可调角度的底座放置标识物，使得标识物的表面尽可能与双目摄像机的光学成像系统及红外传感器的红外成像系统的视角方向垂直，减少视差的影响，同时标识物上具有用于标定标识物特征的特征点，相邻的特征点之间具有对比度，增强可分辨性，减少对算法的依赖性，另外，该标识物采用自发光材料制成，使得标识物易于跟踪，且具有二维码，更加方便存放被测者相关信息。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (15)

1.一种监测生理运动曲线的方法，其特征在于，包括以下步骤：
S1、在被测者的身体上放置标识物；
S2、利用双目摄像机和红外传感器采集标识物的坐标；
S3、分析校正双目摄像机和红外传感器采集的标识物的坐标，从而得到被测者的生理运动曲线。
2.根据权利要求1所述的监测生理运动曲线的方法，其特征在于，所述步骤S3具体包括：
S31、将双目摄像机和红外传感器采集的标识物的坐标进行比对，并根据比对结果得到位置偏差；
S32、根据所述位置偏差对标识物的坐标进行校正，从而得到被测者的生理运动曲线。
3.根据权利要求2所述的监测生理运动曲线的方法，其特征在于，所述步骤S31具体包括：
S311、将双目摄像机采集的标识物的坐标r(x,y,z)与红外传感器采集的标识物的坐标R(x,y,z)建立一一对应的关系，并对对应的r(x,y,z)与R(x,y,z)进行采样，使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为采样组数，且N>1；
S312、采用随机或非随机算法求解所述优化模型，得到位置偏差。
4.根据权利要求1所述的监测生理运动曲线的方法，其特征在于，在所述步骤S2中，利用双目摄像机采集标识物的三维坐标的方法包括以下步骤：
S21、利用双目摄像机采集标识物的RGB帧数据；
S22、将RGB帧数据转换为HSV空间的颜色特征，
或根据RGB帧数据提取RGB空间的SIFI特征，
或将RGB帧数据转换为HSV空间的颜色特征同时根据RGB帧数据提取RGB空间的SIFI特征，实现标识物的三维坐标采集。
5.根据权利要求1所述的监测生理运动曲线的方法，其特征在于，还包括步骤S4、显示被测者的生理运动曲线。
6.根据权利要求1-5任意一项所述的监测生理运动曲线的方法，其特征在于，所述步骤S1中的标识物为旋转对称的标识物，且所述标识物上具有用于标定标识物特征的特征点，相邻的特征点之间具有对比度。
7.一种监测生理运动曲线的系统，其特征在于，包括采集模块和处理模块，
所述采集模块，用于利用双目摄像机和红外传感器采集标识物的坐标；
所述处理模块，用于分析校正双目摄像机和红外传感器采集的标识物的坐标，从而得到被测者的生理运动曲线。
8.根据权利要求7所述的监测生理运动曲线的系统，其特征在于，还包括显示模块，用于显示被测者的生理运动曲线。
9.根据权利要求7所述的监测生理运动曲线的系统，其特征在于，所述处理模块包括比对单元和校正单元，
所述比对单元，用于将双目摄像机和红外传感器采集的标识物的坐标进行比对，并根据比对结果得到位置偏差；
所述校正单元，用于根据所述位置偏差对标识物的坐标进行校正，从而得到被测者的生理运动曲线。
10.根据权利要求9所述的监测生理运动曲线的系统，其特征在于，所述比对单元具体用于：将双目摄像机采集的坐标r(x,y,z)与红外传感器采集的坐标R(x,y,z)建立一一对应的关系，并对对应的r(x,y,z)与R(x,y,z)进行采样，使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为采样组数，且N>1。
11.根据权利要求7-10任意一项所述的监测生理运动曲线的系统，其特征在于，所述标识物为旋转对称的标识物，且所述标识物上具有用于标定标识物特征的特征点，相邻的特征点之间具有对比度。
12.一种监测体表轮廓的方法，其特征在于，包括以下步骤：
H1、在被测者的身体上放置标识物；
H2、利用双目摄像机和红外传感器采集被测者的体表轮廓，其中包括标识物的坐标；
H3、分析双目摄像机和红外传感器采集的标识物的坐标得到位置偏差；
H4、利用所述位置偏差对双目摄像机和红外传感器采集的体表轮廓进行矫正，得到矫正后的体表轮廓随时间变化的图像。
13.根据权利要求12所述的监测体表轮廓的方法，其特征在于，所述步骤H3具体包括：
H31、将双目摄像机采集的标识物的坐标r(x,y,z)与红外传感器采集的标识物的坐标R(x,y,z)建立一一对应的关系，并对对应的r(x,y,z)与R(x,y,z)进行采样，使用偏差公式建立如下优化模型：
其中，Δ为位置偏差，Min:Δ代表位置偏差的最小值，N为所采用的采样组数，N>1；
S32、采用随机或非随机算法求解所述优化模型，得到位置偏差。
14.一种监测体表轮廓的系统，其特征在于，包括采集模块和处理模块，
所述采集模块，用于利用双目摄像机和红外传感器采集被测者的体表轮廓，其中包括标识物的坐标；
所述处理模块，用于分析双目摄像机和红外传感器采集的标识物的坐标得到位置偏差，并利用所述位置偏差对双目摄像机和红外传感器采集的体表轮廓进行矫正，得到矫正后的体表轮廓随时间变化的图像。
15.根据权利要求14所述的监测体表轮廓的系统，其特征在于，还包括显示模块，用于显示矫正后的体表轮廓随时间变化的图像。
CN201511027216.8A 2015-12-31 2015-12-31 一种监测生理运动曲线和体表轮廓的方法及系统 Active CN105498100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511027216.8A CN105498100B (zh) 2015-12-31 2015-12-31 一种监测生理运动曲线和体表轮廓的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511027216.8A CN105498100B (zh) 2015-12-31 2015-12-31 一种监测生理运动曲线和体表轮廓的方法及系统

Publications (2)

Publication Number Publication Date
CN105498100A CN105498100A (zh) 2016-04-20
CN105498100B true CN105498100B (zh) 2018-09-07

Family

ID=55706640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511027216.8A Active CN105498100B (zh) 2015-12-31 2015-12-31 一种监测生理运动曲线和体表轮廓的方法及系统

Country Status (1)

Country Link
CN (1) CN105498100B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107976685B (zh) * 2017-11-20 2021-11-19 北京航空航天大学 一种基于物联网的红外传感器室内人体目标跟踪系统
JP7140320B2 (ja) * 2017-12-20 2022-09-21 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法、およびプログラム
CN111408066B (zh) * 2020-03-19 2021-04-16 山东大学 基于磁共振影像的肿瘤位置标定系统及设备
CN111627043B (zh) * 2020-04-13 2023-09-19 浙江工业大学 一种基于标志物和特征筛选器的简易人体曲线获取方法
CN112819770B (zh) * 2021-01-26 2022-11-22 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN113796336B (zh) * 2021-09-23 2022-09-13 苏州工艺美术职业技术学院 宠物看护陪伴系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479081A (zh) * 2003-07-03 2004-03-03 上海交通大学 多传感器融合跟踪系统配准偏差在线补偿方法
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN101835032A (zh) * 2010-04-27 2010-09-15 沈阳瑗玛信息技术有限公司 一种多摄像机人群聚集信息统计装置与方法
CN102679964A (zh) * 2012-06-12 2012-09-19 清华大学深圳研究生院 步态参数测量系统及其数据处理装置和方法
CN103284743A (zh) * 2012-02-29 2013-09-11 Ge医疗系统环球技术有限公司 确定标记物位置和患者呼吸曲线的方法及装置
CN104117150A (zh) * 2014-06-30 2014-10-29 湖北工业大学 一种基于射波刀的肿瘤治疗系统
CN104142353A (zh) * 2014-06-06 2014-11-12 清华大学 可见光成像辅助定位局部ct扫描方法及系统
CN104739510A (zh) * 2014-11-24 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种新的构建序列影像与呼吸信号对应关系的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102914262B (zh) * 2012-09-29 2015-02-11 北京控制工程研究所 一种基于附加视距的非合作目标贴近测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1479081A (zh) * 2003-07-03 2004-03-03 上海交通大学 多传感器融合跟踪系统配准偏差在线补偿方法
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN101835032A (zh) * 2010-04-27 2010-09-15 沈阳瑗玛信息技术有限公司 一种多摄像机人群聚集信息统计装置与方法
CN103284743A (zh) * 2012-02-29 2013-09-11 Ge医疗系统环球技术有限公司 确定标记物位置和患者呼吸曲线的方法及装置
CN102679964A (zh) * 2012-06-12 2012-09-19 清华大学深圳研究生院 步态参数测量系统及其数据处理装置和方法
CN104142353A (zh) * 2014-06-06 2014-11-12 清华大学 可见光成像辅助定位局部ct扫描方法及系统
CN104117150A (zh) * 2014-06-30 2014-10-29 湖北工业大学 一种基于射波刀的肿瘤治疗系统
CN104739510A (zh) * 2014-11-24 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种新的构建序列影像与呼吸信号对应关系的方法

Also Published As

Publication number Publication date
CN105498100A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105498100B (zh) 一种监测生理运动曲线和体表轮廓的方法及系统
US11712176B2 (en) Systems and methods for video-based non-contact tidal volume monitoring
EP2130491B1 (en) Method and apparatus for radiographic imaging
CN109730704B (zh) 一种控制医用诊疗设备曝光的方法及系统
US20170112416A1 (en) System and method for patient positioning
CN104739418A (zh) 一种基于立体视觉的呼吸门控系统及控制方法
CN108846866B (zh) 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统
CN104739510B (zh) 一种新的构建序列影像与呼吸信号对应关系的方法
CN111627521A (zh) 增强现实在放疗中的应用
CN111757701B (zh) 用于检测解剖区域的系统和方法
US20220207771A1 (en) Heart Position Estimation
CN106096608A (zh) 胸部温度异常区定位方法及装置
CN107122754A (zh) 姿势识别方法和装置
CN112352289A (zh) 提供ecg分析界面的方法及系统
CN107961023B (zh) Ent图像配准
CN106504257B (zh) 一种放疗头部位置姿态测量装置和解算方法
CN106618580B (zh) 一种斜视与眼球震颤头位检测方法、装置及系统
WO2021117013A1 (en) Determination of medical condition risk using thermographic images
US11717173B2 (en) Device for mapping a sensor&#39;s baseline coordinate reference frames to anatomical landmarks
CN104305996A (zh) 基于图像识别技术的呼吸监测方法及系统
CN116128838A (zh) 基于双目视觉的呼吸检测系统、4d-ct图像重建系统和方法
CN107014592B (zh) 防护眼镜视野检测系统及检测方法
CN114529502A (zh) 用于进行自动化受检者解剖结构和取向识别的基于深度学习的方法和系统
CN109965881B (zh) 非接触式测量口腔开口度的应用方法及设备
Gooroochurn et al. Facial recognition techniques applied to the automated registration of patients in the emergency treatment of head injuries

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Patentee after: Shanghai Lianying Medical Technology Co., Ltd

Address before: 201807 Shanghai City, north of the city of Jiading District Road No. 2258

Patentee before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.