CN109499010B - 基于红外和可见光三维重建的放射治疗辅助系统及其方法 - Google Patents
基于红外和可见光三维重建的放射治疗辅助系统及其方法 Download PDFInfo
- Publication number
- CN109499010B CN109499010B CN201811579081.XA CN201811579081A CN109499010B CN 109499010 B CN109499010 B CN 109499010B CN 201811579081 A CN201811579081 A CN 201811579081A CN 109499010 B CN109499010 B CN 109499010B
- Authority
- CN
- China
- Prior art keywords
- infrared
- visible light
- projector
- camera
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001959 radiotherapy Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000001360 synchronised effect Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000036544 posture Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 13
- 230000010363 phase shift Effects 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 abstract description 6
- 238000012795 verification Methods 0.000 abstract description 6
- 239000003814 drug Substances 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000002729 3-dimensional conformal radiation therapy Methods 0.000 description 1
- 241001164374 Calyx Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000010746 mayonnaise Nutrition 0.000 description 1
- 239000008268 mayonnaise Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1001—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy using radiation sources introduced into or applied onto the body; brachytherapy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1064—Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
- A61N5/1069—Target adjustment, e.g. moving the patient support
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/06—Radiation therapy using light
- A61N2005/0626—Monitoring, verifying, controlling systems and methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/06—Radiation therapy using light
- A61N2005/0658—Radiation therapy using light characterised by the wavelength of light used
- A61N2005/0659—Radiation therapy using light characterised by the wavelength of light used infrared
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/06—Radiation therapy using light
- A61N2005/0658—Radiation therapy using light characterised by the wavelength of light used
- A61N2005/0662—Visible light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
- A61N2005/1059—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N5/00—Radiation therapy
- A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
- A61N5/1048—Monitoring, verifying, controlling systems and methods
- A61N5/1049—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
- A61N2005/1061—Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an x-ray imaging system having a separate imaging source
Abstract
本发明公开一种基于红外和可见光三维重建的放射治疗辅助系统及其方法，该系统包括：可见光三维重建系统，包括：可见光相机和可见光投影仪；近红外三维重建系统，包括：红外相机和红外投影仪；同步触发装置，同步触发装置分别与可见光相机、可见光投影仪、红外相机以及红外投影仪连接；第一标定板，设置于治疗床加速器中心处，第一标定板用于对可见光相机和红外相机进行标定；第二标定板，第二标定板用于对可见光投影仪和红外投影仪进行标定。本发明为红外与可见光相结合的三维重建系统，实现临床医学中的治疗床的测距、摆位验证、动态跟踪、实时监测等。
Description
技术领域
本发明属于三维重建、医疗图像、双目视觉系统，具体涉及一种基于红外和可见光三维重建的放射治疗辅助系统及其方法。
背景技术
随着放射物理技术、计算机技术和医学影像技术的迅猛发展，三维适形放疗、调强放疗、容积旋转调强放疗和螺旋断层放疗等先进放射治疗技术不断创新，以生物引导放射治疗、图像引导放射治疗、剂量引导放射治疗和放射影像组学为代表的新技术，推动着放射治疗向以“精确定位”、“精确计划”和“精确治疗”为终极目标的“三精放疗”时代迈进。
自动摆位系统是一款基于机器视觉的辅助放射治疗系统，该系统在治疗前或治疗期间，通过视觉成像设备(相机+投影仪+红外相机)以无剂量的方式实时快速获取病人体表数据，通过图像处理算法，对病人身体轮廓特征进行识别和三维重建，并与CT获取的三维数据进行自动配准、融合，从而实现测距、摆位验证、动态跟踪、实时监测等功能。为实现高效率、高精度的IGRT放射治疗提供辅助信息。
目前，光学定位系统和跟踪系统主要利用采用标记点进行定位。基于标记点的光学定位的影像引导治疗系统广泛地应用于神经外科、口腔颌面外科、骨科外科手术、肿瘤放射治疗，甚至是软组织器官方面的手术。
例如，专利号201710646652.6提出了一种基于反光球标记点的近红外双目视觉立体匹配方法。再比如，美敦力公司的 StealthStation手术导航系统和Brain公司的VectorVision Sky系统，均采用加拿大NDI公司的Polaris光学定位系统作为定位仪，用于跟踪粘贴于手术工具及病人身上的反光球标记点。
目前，基于结构光的三维重建算法很多都是采用散斑编码的模式，通过对散斑里的信息进行识别，来匹配相机等设备，从而再根据三角测量的原理对物体进行重建。例如专利号，201410190263.3。
现有的标记点的不足如下：
(1)标记点易于脱落和发生位移，对重建和跟踪会产生很大的影响；
(2)标记点的光线易于被遮挡，在实际临床的使用中会限制医生的活动手术区域；
(3)在进行手术前，需要对粘了标记贴的患者再进行一次CT或 MR扫描，增加患者的负担。
发明内容
为了解决上述技术问题，本发明提出了一种基于红外和可见光三维重建的放射治疗辅助系统及其方法，其为红外与可见光相结合的三维重建系统，实现临床医学中的治疗床的测距、摆位验证、动态跟踪、实时监测等功能，红外与可见光系统在各种环境下都能很好的重建，红外与可见光系统可以相互验证，以提高重建的精度。
为了达到上述目的，本发明的技术方案如下：
基于红外和可见光三维重建的放射治疗辅助系统，包括：
可见光三维重建系统，包括：可见光相机和可见光投影仪；
近红外三维重建系统，包括：红外相机和红外投影仪；
同步触发装置，同步触发装置分别与可见光相机、可见光投影仪、红外相机以及红外投影仪连接，同步触发装置分别给可见光投影仪和红外投影仪提供一个第一触发脉冲信号，可见光投影仪和红外投影仪投出画面后，分别反馈一个反馈脉冲信号给同步触发装置，同步触发装置对反馈脉冲信号进行处理后，给可见光相机和红外相机提供一个第二触发脉冲信号，控制可见光相机和红外相机采集图片；
第一标定板，设置于治疗床加速器中心处，第一标定板用于对可见光相机和红外相机进行标定；
第二标定板，第二标定板用于对可见光投影仪和红外投影仪进行标定。
本发明可以有效将可见光三维重建系统和近红外三维重建系统相结合，对环境的适应能力较强，且之间的三维数据之间可以相互验证，提高重建精度；本发明的实时重建系统不依赖标记贴，能够解决使用标记贴所带来的各种问题，方便医生操作，提高治疗的效率；本发明在临床医学中的应用比较广泛，包括治疗床的测距、摆位验证、动态跟踪、实时监测等。
在上述技术方案的基础上，还可做如下改进：
作为优选的方案，第一标定板包括：第一板体以及呈矩阵分布设置于第一板体表面的红外LED，且设置于第一板体表面的红外LED的亮度可调节。
采用上述优选的方案，结构简单，标定效果好。
作为优选的方案，第二标定板包括：第二板体以及设置于第二板体表面边缘的红外LED，第二板体的中间区域为空白投影区域。
采用上述优选的方案，结构简单，标定效果好。
作为优选的方案，基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建，多线程同步方式包括：主线程、采集线程、解码线程以及重建线程；
主线程用于控制采集线程、解码线程、重建线程的开关，点云数据显示以及实时跟踪曲线的显示；
采集线程用于同步采集可见图片以及红外图片，并生成对应的序列图片；
解码线程用于对采集的相移序列图片以及散斑序列图片进行解码，生成对应的码字；
重建线程用于依据对应的码字，匹配对应的可见光相机、可见光投影仪、红外相机以及红外投影仪，利用三角形原理计算出三维的坐标点。
采用上述优选的方案，效果佳。
作为优选的方案，可见光投影仪所投图像为3张3步相移图像，条纹的强度如下：
I1(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)-2π/3]
I2(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)]
I3(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)+2π/3]
I′(x，y)为图像中该点的平均强度，I″(x，y)为图像中该点调制的强度，I1(x，y)、I2(x，y)和I3(x，y)为可见光相机采集到的图像，φ(x，y)为求解的相位，其可由下列公式计算获得：
最后通过φ(x，y)/2π×p计算所对应的码字，p为可见光投影仪的宽度。
采用上述优选的方案，通过求解相位获得对应的码字。
作为优选的方案，三维的坐标点的计算原理如下：
式中：pc为相机标定获得的变换矩阵，pp为投影仪标定所获得的变换矩阵，uc为对应的相机的像素坐标，up为对应的投影仪的坐标，Q 为三维的坐标点；
对于Q的计算，可以通过引入张量行列式的方法，首先计算出下列的行列式：
式中：I(k)为单位矩阵，则三维的坐标点Q的计算如下：
采用上述优选的方案，可以有效获得三维的坐标点。通过可见光三维重建系统和近红外三维重建系统获得两组的点云数据，对于由红外相机和红外投影仪所获得的点云数据，pc为红外相机标定获得的变换矩阵，pp为红外投影仪标定所获得的变换矩阵；对于可见光相机和可见光投影仪，pc为可见光相机标定获得的变换矩阵，pp为可见光投影仪标定所获得的变换矩阵。
基于红外和可见光三维重建的放射治疗辅助方法，利用基于红外和可见光三维重建的放射治疗辅助系统进行操作，其具体包括以下步骤：
(1)对红外相机和红外投影仪的标定、对可见光相机和可见光投影仪的标定以及对红外相机、可见光相机、红外投影仪和可见光投影仪之间的联合标定；
(2)标定完成后，可见光投影仪实时投影出相移条纹，红外投影仪实时投影出红外散斑，可见光相机和红外相机进行同步采集；
(3)匹配验证可见光三维重建系统和近红外三维重建系统得到的两组重建数据，计算两组获得的点云数据之间的旋转变换矩阵，若其两组点云数据之间的欧拉角小于1度，位移小于2毫米，则认为该两组重建数据合格，进入步骤(4)；
否则，重回步骤(1)，进行重新标定；
(4)分别将可见光三维重建系统和近红外三维重建系统与CT 图像配准，用于临床治疗。
基于红外和可见光三维重建的放射治疗辅助方法步骤简洁，重建效果好。
作为优选的方案，利用第二标定板对红外投影仪的标定具体包括以下步骤：
(a)红外投影仪在第二标定板的空白投影区投影出红外棋盘格，投影多个姿势，由红外相机采集对应的红外图片：
(b)计算每个姿势的红外棋盘格相对于红外相机的旋转角度R，位移T；
(c)找出红外投影仪所投的图案在红外相机所采集的红外图片上角点的像素坐标；
(d)依据红外相机的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的红外棋盘格平面插值，获得实际的物理坐标；
(e)将步骤(d)获得的物理坐标和红外棋盘格坐标对应标定即可计算出红外投影仪的标定参数。
采用上述优选的方案，标定效果好。
作为优选的方案，利用第二标定板对可见光投影仪的标定具体包括以下步骤：
(a)可见光投影仪在第二标定板的空白投影区投影出可见棋盘格，投影多个姿势，由可见光相机采集对应的可见图片：
(b)计算每个姿势的可见棋盘格相对于可见光相机的旋转角度 R，位移T；
(c)找出可见光投影仪所投的图案在可见光相机所采集的可见图片上角点的像素坐标；
(d)依据可见光相机的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的可见棋盘格平面插值，获得实际的物理坐标；
(e)将步骤(d)获得的物理坐标和可见棋盘格坐标对应标定即可计算出可见光投影仪的标定参数。
采用上述优选的方案，标定效果好。
作为优选的方案，联合标定通过将第一标定板放置于治疗床加速器中心处，计算出红外相机坐标系和可见光相机坐标系分别对应第一标定板坐标系的变换矩阵，重建时所获得的点云图像都是在第一标定板所在坐标系下的。
采用上述优选的方案，标定效果好。
附图说明
图1为本发明实施例提供的基于红外和可见光三维重建的放射治疗辅助系统的结构示意图。
图2为本发明实施例提供的基于红外和可见光三维重建的放射治疗辅助系统的结构框图。
图3为本发明实施例提供的第一标定板的结构示意图。
图4为本发明实施例提供的第二标定板的结构示意图。
图5为本发明实施例提供的基于红外和可见光三维重建的放射治疗辅助系统的实时处理流程图。
其中：101红外相机、102可见光相机、103可见光投影仪、104 红外投影仪、105重建物体、106同步触发装置、107第一标定板、108 第二标定板。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
为了达到本发明的目的，基于红外和可见光三维重建的放射治疗辅助系统及其方法的其中一些实施例中，
如图1-2所示，基于红外和可见光三维重建的放射治疗辅助系统，包括：
可见光三维重建系统，包括：可见光相机102和可见光投影仪 103；
近红外三维重建系统，包括：红外相机101和红外投影仪104；
同步触发装置106，同步触发装置106分别与可见光相机102、可见光投影仪103、红外相机101以及红外投影仪104连接，同步触发装置106分别给可见光投影仪103和红外投影仪104提供一个第一触发脉冲信号，可见光投影仪103和红外投影仪104投出画面后，分别反馈一个反馈脉冲信号给同步触发装置106，同步触发装置106对反馈脉冲信号进行处理后，给可见光相机102和红外相机101提供一个第二触发脉冲信号，控制可见光相机102和红外相机101采集图片；
第一标定板107，设置于治疗床加速器中心处，第一标定板107 用于对可见光相机102和红外相机101进行标定；
第二标定板108，第二标定板108用于对可见光投影仪103和红外投影仪104进行标定。
图1中，105为重建物体，在该实施例中，红外相机101和可见光相机102镜头的焦距都是12mm，可见光相机102的帧率80HZ，红外相机101的帧率60HZ，红外投影仪104和可见光投影仪103的投射比都是1.35，工业相机与序列投影仪之间的距离为25cm，红外相机 101和投影仪之间的距离为50cm。
可见光三维重建系统因为其点云的密度高，重建的精度高，主要应用于获取患者体表数据轮廓确定患者的摆位；以及对患者的位置进行监测，当患者位置发生偏移的时候，发出警告并能知道患者返回初始的位置。
近红外三维重建系统因为实时性好，环境光的影响好，主要用于显示病人的面部数据，实时动态的测量皮肤到光源的距离(odi)以及动态跟踪呼吸时皮肤的运动曲线。
本发明可以有效将可见光三维重建系统和近红外三维重建系统相结合，对环境的适应能力较强，且之间的三维数据之间可以相互验证，提高重建精度；本发明的实时重建系统不依赖标记贴，能够解决使用标记贴所带来的各种问题，方便医生操作，提高治疗的效率；本发明在临床医学中的应用比较广泛，包括治疗床的测距、摆位验证、动态跟踪、实时监测等。
如图3所示，为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，第一标定板107包括：第一板体以及呈矩阵分布设置于第一板体表面的红外LED，且设置于第一板体表面的红外LED的亮度可调节。
采用上述优选的方案，结构简单，标定效果好。第一标定板107 由近红外贴片LED作为特征点，第一标定板107上设有电路板，电路板采用USB接口供电，在接入端采用滑动变阻器调节供电功率对红外 LED亮度进行调节。红外LED波长为850nm，红外LED以N×N点阵方式近似等间距分布，红外相机101和可见光相机102都能采集到。本发明可以使用matlab标定工具箱或者使用opencv的标定函数对红外相机101和可见光相机102进行标定，获得2个相机的标定参数。
如图4所示，为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，第二标定板108包括：第二板体以及设置于第二板体表面边缘四个角上的红外LED，第二板体的中间区域为空白投影区域。
采用上述优选的方案，结构简单，标定效果好。不管是红外投影仪104还是可见光投影仪103，均可以看作是一个反向的相机，其标定的原理和相机类似，由于投影仪不能通过自己采集图片，所以在标定的过程中需要依赖相机采集图片和上一步相机的标定参数。第二标定板108的四个角分别装有和第一标定板107一样的红外LED灯，中间为空白投影区域。
第二标定板108对红外投影仪104标定的时候，红外投影仪104 投出红外棋盘格，投影多个姿势由红外相机101采集对应的图片；同样，可见光投影仪103投出的图片由可见光相机102进行采集。两个投影仪的标定方法类似，具体过程在下面对进行详细的描述。
如图5所示，为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建，多线程同步方式包括：主线程、采集线程、解码线程以及重建线程；
主线程用于控制采集线程、解码线程、重建线程的开关，点云数据显示以及实时跟踪曲线的显示；
采集线程用于同步采集可见图片以及红外图片，并生成对应的序列图片；
解码线程用于对采集的相移序列图片以及散斑序列图片进行解码，生成对应的码字；
重建线程用于依据对应的码字，匹配对应的可见光相机102、可见光投影仪103、红外相机101以及红外投影仪104，利用三角形原理计算出三维的坐标点。
采用上述优选的方案，效果佳。散斑序列图片是有几百个点的散点图像，对于每一个散点的码字的求取，可以通过周围4*4的散点来确定，红外图像的编码和解码很多都是采用的这种方法，如Apple Stem-end/Calyx Identification using a Speckle-arrayEncoding Pattern和国际专利EP 2 207 127 B1。
进一步，可见光投影仪103所投图像为3张3步相移图像，条纹的强度如下：
I1(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)-2π/3]
I2(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)]
I3(x，y)＝I′(x，y)+I″(x，y)cos[φ(x，y)+2π/3]
I′(x，y)为图像中该点的平均强度，I″(x，y)为图像中该点调制的强度，I1(x，y)、I2(x，y)和I3(x，y)为可见光相机102采集到的图像，φ(x，y)为求解的相位，其可由下列公式计算获得：
最后通过φ(x，y)/2π×p计算所对应的码字，p为可见光投影仪103 的宽度。
采用上述优选的方案，通过求解相位获得对应的码字。图2中所使用的相移条纹为3步相移条纹，由于对称性，相移条纹每次偏移 120°，三步相移法中总共有3个条纹图像被使用，条纹的强度如I1(x，y)、 I2(x，y)和I3(x，y)所示。
进一步，三维的坐标点的计算原理如下：
式中：pc为相机标定获得的变换矩阵，pp为投影仪标定所获得的变换矩阵，uc为对应的相机的像素坐标，up为对应的投影仪的坐标，Q 为三维的坐标点；
对于Q的计算，可以通过引入张量行列式的方法，首先计算出下列的行列式：
式中：I(k)为单位矩阵，则三维的坐标点Q的计算如下：
采用上述优选的方案，可以有效获得三维的坐标点。通过可见光三维重建系统和近红外三维重建系统获得两组的点云数据，对于由红外相机101和红外投影仪104所获得的点云数据，pc为红外相机101 标定获得的变换矩阵，pp为红外投影仪104标定所获得的变换矩阵；对于可见光相机102和可见光投影仪103，pc为可见光相机102标定获得的变换矩阵，pp为可见光投影仪103标定所获得的变换矩阵。
基于红外和可见光三维重建的放射治疗辅助方法，利用基于红外和可见光三维重建的放射治疗辅助系统进行操作，其具体包括以下步骤：
(1)对红外相机101和红外投影仪104的标定、对可见光相机102和可见光投影仪103的标定以及对红外相机101、可见光相机 102、红外投影仪104和可见光投影仪103之间的联合标定；
(2)标定完成后，可见光投影仪103实时投影出相移条纹，红外投影仪104实时投影出红外散斑，可见光相机102和红外相机101 进行同步采集；
(3)匹配验证可见光三维重建系统和近红外三维重建系统得到的两组重建数据，计算两组获得的点云数据之间的旋转变换矩阵，若其两组点云数据之间的欧拉角小于1度，位移小于2毫米，则认为该两组重建数据合格，进入步骤(4)；
否则，重回步骤(1)，进行重新标定；
(4)分别将可见光三维重建系统和近红外三维重建系统与CT 图像配准，用于临床治疗。
基于红外和可见光三维重建的放射治疗辅助方法步骤简洁，重建效果好。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，利用第二标定板108对红外投影仪104的标定具体包括以下步骤：
(a)红外投影仪104在第二标定板108的空白投影区投影出红外棋盘格，投影多个姿势，由红外相机101采集对应的红外图片：
(b)计算每个姿势的红外棋盘格相对于红外相机101的旋转角度R，位移T；
(c)找出红外投影仪104所投的图案在红外相机101所采集的红外图片上角点的像素坐标；
(d)依据红外相机101的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的红外棋盘格平面插值，获得实际的物理坐标；
(e)将步骤(d)获得的物理坐标和红外棋盘格坐标对应标定即可计算出红外投影仪104的标定参数。
采用上述优选的方案，标定效果好。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，利用第二标定板108对可见光投影仪103的标定具体包括以下步骤：
(a)可见光投影仪103在第二标定板108的空白投影区投影出可见棋盘格，投影多个姿势，由可见光相机102采集对应的可见图片：
(b)计算每个姿势的可见棋盘格相对于可见光相机102的旋转角度R，位移T；
(c)找出可见光投影仪103所投的图案在可见光相机102所采集的可见图片上角点的像素坐标；
(d)依据可见光相机102的标定参数和步骤(c)获得的角点的像素坐标，生成射线向每个姿势的可见棋盘格平面插值，获得实际的物理坐标；
(e)将步骤(d)获得的物理坐标和可见棋盘格坐标对应标定即可计算出可见光投影仪103的标定参数。
采用上述优选的方案，标定效果好。
为了进一步地优化本发明的实施效果，在另外一些实施方式中，其余特征技术相同，不同之处在于，联合标定通过将第一标定板107 放置于治疗床加速器中心处，计算出红外相机101坐标系和可见光相机102坐标系分别对应第一标定板107坐标系的变换矩阵，重建时所获得的点云图像都是在第一标定板107所在坐标系下的。
综上述，本申请的有益效果如下：
1)将可见光三维重建系统和近红外三维重建系统相结合，对环境的适应能力较强，且之间的三维数据之间可以相互验证，提高重建精度；
2)本发明的实时重建系统不依赖标记贴，能够解决使用标记贴所带来的各种问题，方便医生操作，提高治疗的效率；
3)本发明在临床医学中的应用比较广泛，应用于治疗床的测距、摆位验证、动态跟踪、实时监测等；
4)采用第一标定板107对可见光相机102和红外相机101进行标定，采用第二标定板108对可见光投影仪103和红外投影仪104进行标定；
5)基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建；
6)重建过程中使用张量行列式来计算出重建的点云数据。
对于本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (9)
1.基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，包括：
可见光三维重建系统，包括：可见光相机和可见光投影仪；
近红外三维重建系统，包括：红外相机和红外投影仪；
同步触发装置，所述同步触发装置分别与所述可见光相机、可见光投影仪、红外相机以及红外投影仪连接，所述同步触发装置分别给所述可见光投影仪和红外投影仪提供一个第一触发脉冲信号，所述可见光投影仪和红外投影仪投出画面后，分别反馈一个反馈脉冲信号给所述同步触发装置，所述同步触发装置对反馈脉冲信号进行处理后，给所述可见光相机和红外相机提供一个第二触发脉冲信号，控制所述可见光相机和红外相机采集图片；
第一标定板，设置于治疗床加速器中心处，所述第一标定板用于对所述可见光相机和红外相机进行标定；
第二标定板，所述第二标定板用于对所述可见光投影仪和红外投影仪进行标定；
采用下述方法进行放射治疗，具体包括以下步骤：
(1)对红外相机和红外投影仪的标定、对可见光相机和可见光投影仪的标定以及对所述红外相机、可见光相机、红外投影仪和可见光投影仪之间的联合标定；
(2)标定完成后，可见光投影仪实时投影出相移条纹，红外投影仪实时投影出红外散斑，可见光相机和红外相机进行同步采集；
(3)匹配验证可见光三维重建系统和近红外三维重建系统得到的两组重建数据，计算两组获得的点云数据之间的旋转变换矩阵，若其两组点云数据之间的欧拉角小于1度，位移小于2毫米，则认为该两组重建数据合格，进入步骤(4)；
否则，重回步骤(1)，进行重新标定；
(4)分别将可见光三维重建系统和近红外三维重建系统与CT图像配准，用于临床治疗。
2.根据权利要求1所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，所述第一标定板包括：第一板体以及呈矩阵分布设置于所述第一板体表面的红外LED，且设置于所述第一板体表面的红外LED的亮度可调节。
3.根据权利要求1所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，所述第二标定板包括：第二板体以及设置于所述第二板体表面边缘的红外LED，所述第二板体的中间区域为空白投影区域。
4.根据权利要求1-3任一项所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，所述基于红外和可见光三维重建的放射治疗辅助系统采用多线程同步方式进行重建，所述多线程同步方式包括：主线程、采集线程、解码线程以及重建线程；
所述主线程用于控制所述采集线程、解码线程、重建线程的开关，点云数据显示以及实时跟踪曲线的显示；
采集线程用于同步采集可见图片以及红外图片，并生成对应的序列图片；
解码线程用于对采集的相移序列图片以及散斑序列图片进行解码，生成对应的码字；
重建线程用于依据对应的码字，匹配对应的所述可见光相机、可见光投影仪、红外相机以及红外投影仪，利用三角形原理计算出三维的坐标点。
5.根据权利要求4所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，所述可见光投影仪所投图像为3张3步相移图像，条纹的强度如下：
I1(x,y)＝I'(x,y)+I”(x,y)cos[φ(x,y)-2π/3]
I2(x,y)＝I'(x,y)+I”(x,y)cos[φ(x,y)]
I3(x,y)＝I'(x,y)+I”(x,y)cos[φ(x,y)+2π/3]
I'(x,y)为图像中该点的平均强度，I”(x,y)为图像中该点调制的强度，I1(x,y)、I2(x,y)和I3(x,y)为所述可见光相机采集到的图像，φ(x,y)为求解的相位，其可由下列公式计算获得：
最后通过φ(x,y)/2π×p计算所对应的码字，p为可见光投影仪的宽度。
6.根据权利要求4所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，所述三维的坐标点的计算原理如下：
式中：pc为相机标定获得的变换矩阵，pp为投影仪标定所获得的变换矩阵，uc为对应的相机的像素坐标，up为对应的投影仪的坐标，Q为三维的坐标点；
对于Q的计算，可以通过引入张量行列式的方法，首先计算出下列的行列式：
式中：I(k)为单位矩阵，则三维的坐标点Q的计算如下：
7.根据权利要求1所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，利用第二标定板对所述红外投影仪的标定具体包括以下步骤：
(a)所述红外投影仪在所述第二标定板的空白投影区投影出红外棋盘格，投影多个姿势，由所述红外相机采集对应的红外图片：
(b)计算每个姿势的红外棋盘格相对于所述红外相机的旋转角度R，位移T；
(c)找出所述红外投影仪所投的图案在所述红外相机所采集的红外图片上角点的像素坐标；
(d)依据所述红外相机的标定参数和所述步骤(c)获得的角点的像素坐标，生成射线向每个姿势的红外棋盘格平面插值，获得实际的物理坐标；
(e)将所述步骤(d)获得的物理坐标和红外棋盘格坐标对应标定即可计算出所述红外投影仪的标定参数。
8.根据权利要求1所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，利用所述第二标定板对所述可见光投影仪的标定具体包括以下步骤：
(a)所述可见光投影仪在所述第二标定板的空白投影区投影出可见棋盘格，投影多个姿势，由所述可见光相机采集对应的可见图片：
(b)计算每个姿势的可见棋盘格相对于所述可见光相机的旋转角度R，位移T；
(c)找出所述可见光投影仪所投的图案在所述可见光相机所采集的可见图片上角点的像素坐标；
(d)依据所述可见光相机的标定参数和所述步骤(c)获得的角点的像素坐标，生成射线向每个姿势的可见棋盘格平面插值，获得实际的物理坐标；
(e)将所述步骤(d)获得的物理坐标和可见棋盘格坐标对应标定即可计算出所述可见光投影仪的标定参数。
9.根据权利要求1、7、8中任一项所述的基于红外和可见光三维重建的放射治疗辅助系统，其特征在于，联合标定通过将第一标定板放置于治疗床加速器中心处，计算出所述红外相机坐标系和可见光相机坐标系分别对应所述第一标定板坐标系的变换矩阵，重建时所获得的点云图像都是在所述第一标定板所在坐标系下的。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579081.XA CN109499010B (zh) | 2018-12-21 | 2018-12-21 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
| PCT/CN2019/116416 WO2020125261A1 (zh) | 2018-12-21 | 2019-11-07 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579081.XA CN109499010B (zh) | 2018-12-21 | 2018-12-21 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109499010A CN109499010A (zh) | 2019-03-22 |
| CN109499010B true CN109499010B (zh) | 2021-06-08 |
Family
ID=65755122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811579081.XA Active CN109499010B (zh) | 2018-12-21 | 2018-12-21 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109499010B (zh) |
| WO (1) | WO2020125261A1 (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109499010B (zh) * | 2018-12-21 | 2021-06-08 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
| CN110111339B (zh) * | 2019-04-28 | 2023-08-15 | 航天智造（上海）科技有限责任公司 | 条纹图像目标区域提取方法 |
| CN110211053B (zh) * | 2019-04-28 | 2023-09-15 | 航天智造（上海）科技有限责任公司 | 用于三维测量的快速精确相位匹配方法 |
| CN110812710B (zh) * | 2019-10-22 | 2021-08-13 | 苏州雷泰智能科技有限公司 | 加速器机架旋转角度测量系统、方法及放射治疗设备 |
| CN111281541B (zh) * | 2020-03-09 | 2021-06-15 | 中国人民解放军总医院 | 检测手术中导航标志物移动的方法和装置 |
| CN111632279B (zh) * | 2020-05-23 | 2021-12-10 | 四川中测辐射科技有限公司 | 利用多传感器进行三维射束分析仪的ssd精确调整方法 |
| CN112263788B (zh) * | 2020-11-02 | 2022-08-30 | 浙江省肿瘤医院 | 在放射治疗过程中形态变化的定量探测系统 |
| CN113440744B (zh) * | 2021-07-21 | 2023-03-24 | 苏州雷泰医疗科技有限公司 | 一种基于标记投影的放射治疗辅助摆位方法及装置 |
| CN113436129B (zh) * | 2021-08-24 | 2021-11-16 | 南京微纳科技研究院有限公司 | 图像融合系统、方法、装置、设备及存储介质 |
| CN113936095A (zh) * | 2021-09-28 | 2022-01-14 | 先临三维科技股份有限公司 | 扫描仪和扫描方法 |
| CN113974831A (zh) * | 2021-11-19 | 2022-01-28 | 上海寻是科技有限公司 | 一种用于手术导航的医学图像配准方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184008A (zh) * | 2011-05-03 | 2011-09-14 | 北京天盛世纪科技发展有限公司 | 互动投影系统及方法 |
| EP2734981A1 (en) * | 2011-07-19 | 2014-05-28 | Universiteit Antwerpen | Filter for tomographic reconstruction |
| CN103971408A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 三维人脸模型生成系统及方法 |
| CN104776815A (zh) * | 2015-03-23 | 2015-07-15 | 中国科学院上海光学精密机械研究所 | 一种基于达曼光栅的彩色三维轮廓测量装置与方法 |
| CN206146383U (zh) * | 2016-11-18 | 2017-05-03 | 杭州非白三维科技有限公司 | 一种红外激光光源的高精度条纹时序结构光三维扫描系统 |
| CN107170043A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种三维重建方法 |
| CN107315919A (zh) * | 2017-07-18 | 2017-11-03 | 苏州国科康成医疗科技有限公司 | 远程医疗重现系统 |
| CN107507272A (zh) * | 2017-08-09 | 2017-12-22 | 广东欧珀移动通信有限公司 | 建立人体三维模型的方法、装置和终端设备 |
| WO2018076004A1 (en) * | 2016-10-23 | 2018-04-26 | Doseoptics Llc | Advanced cherenkov-based imaging systems, tools, and methods of feedback control, temporal control sequence image capture, and quantification in high resolution dose images |
| CN108245788A (zh) * | 2017-12-27 | 2018-07-06 | 苏州雷泰医疗科技有限公司 | 一种双目测距装置及方法、包括该装置的加速器放疗系统 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITRM20030360A1 (it) * | 2003-07-23 | 2005-01-24 | Marcello Marzoli | Procedimento di ricostruzione tridimensionale di immagini |
| US7660458B1 (en) * | 2004-12-14 | 2010-02-09 | Google Inc. | Three-dimensional model construction using unstructured pattern |
| CN101862220A (zh) * | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术系统和方法 |
| CN102721376B (zh) * | 2012-06-20 | 2014-12-31 | 北京航空航天大学 | 一种大视场三维视觉传感器的标定方法 |
| ES2445490B1 (es) * | 2012-07-31 | 2014-12-10 | Consejo Superior De Investigaciones Cientificas (Csic) | Dispositivo y procedimiento de obtención de imagenes densitométricas de objetos mediante combinación de sistemas radiológicos y cámaras de profundidad |
| ITTO20120763A1 (it) * | 2012-09-05 | 2014-03-06 | Consiglio Nazionale Ricerche | Procedimento e sistema per la ricostruzione tridimensionale di formazioni disperse in una matrice di materiale, in particolare inclusioni in matrici cristalline |
| CN103337071B (zh) * | 2013-06-19 | 2016-03-30 | 北京理工大学 | 基于结构重建的皮下静脉三维可视化装置及方法 |
| CN104305955B (zh) * | 2014-11-06 | 2016-03-09 | 佛山市南海区欧谱曼迪科技有限责任公司 | 宽场光学相干断层电子阴道镜成像系统 |
| CN104618709B (zh) * | 2015-01-27 | 2017-05-03 | 天津大学 | 一种双双目红外与可见光融合立体成像系统 |
| CN205280002U (zh) * | 2015-06-01 | 2016-06-01 | 华南师范大学 | 一种基于分通道测量提取技术的三维测量装置 |
| WO2018022130A1 (en) * | 2016-07-27 | 2018-02-01 | Scannmen Ltd. | Hybrid 3d optical scanning system |
| CN106214256A (zh) * | 2016-09-21 | 2016-12-14 | 华南理工大学 | 一种无标记点光学手术导航系统及其导航方法 |
| CN106691491A (zh) * | 2017-02-28 | 2017-05-24 | 赛诺威盛科技（北京）有限公司 | 使用可见光和红外光实现的ct定位系统及方法 |
| CN107341481A (zh) * | 2017-07-12 | 2017-11-10 | 深圳奥比中光科技有限公司 | 利用结构光图像进行识别 |
| CN108267097B (zh) * | 2017-07-17 | 2020-07-10 | 先临三维科技股份有限公司 | 基于双目三维扫描系统的三维重构方法和装置 |
| CN107358607A (zh) * | 2017-08-13 | 2017-11-17 | 强深智能医疗科技（昆山）有限公司 | 肿瘤放射治疗视觉监测与视觉伺服智能控制方法 |
| CN107550467A (zh) * | 2017-10-30 | 2018-01-09 | 清华大学 | 无接触颈部呼吸和脉搏信号的检测方法、装置及成像设备 |
| CN108010085B (zh) * | 2017-11-30 | 2019-12-31 | 西南科技大学 | 基于双目可见光相机与热红外相机的目标识别方法 |
| CN109499010B (zh) * | 2018-12-21 | 2021-06-08 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
-
2018
- 2018-12-21 CN CN201811579081.XA patent/CN109499010B/zh active Active
-
2019
- 2019-11-07 WO PCT/CN2019/116416 patent/WO2020125261A1/zh active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184008A (zh) * | 2011-05-03 | 2011-09-14 | 北京天盛世纪科技发展有限公司 | 互动投影系统及方法 |
| EP2734981A1 (en) * | 2011-07-19 | 2014-05-28 | Universiteit Antwerpen | Filter for tomographic reconstruction |
| CN103971408A (zh) * | 2014-05-21 | 2014-08-06 | 中国科学院苏州纳米技术与纳米仿生研究所 | 三维人脸模型生成系统及方法 |
| CN104776815A (zh) * | 2015-03-23 | 2015-07-15 | 中国科学院上海光学精密机械研究所 | 一种基于达曼光栅的彩色三维轮廓测量装置与方法 |
| WO2018076004A1 (en) * | 2016-10-23 | 2018-04-26 | Doseoptics Llc | Advanced cherenkov-based imaging systems, tools, and methods of feedback control, temporal control sequence image capture, and quantification in high resolution dose images |
| CN206146383U (zh) * | 2016-11-18 | 2017-05-03 | 杭州非白三维科技有限公司 | 一种红外激光光源的高精度条纹时序结构光三维扫描系统 |
| CN107170043A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种三维重建方法 |
| CN107315919A (zh) * | 2017-07-18 | 2017-11-03 | 苏州国科康成医疗科技有限公司 | 远程医疗重现系统 |
| CN107507272A (zh) * | 2017-08-09 | 2017-12-22 | 广东欧珀移动通信有限公司 | 建立人体三维模型的方法、装置和终端设备 |
| CN108245788A (zh) * | 2017-12-27 | 2018-07-06 | 苏州雷泰医疗科技有限公司 | 一种双目测距装置及方法、包括该装置的加速器放疗系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020125261A1 (zh) | 2020-06-25 |
| CN109499010A (zh) | 2019-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109499010B (zh) | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 | |
| Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
| US11576645B2 (en) | Systems and methods for scanning a patient in an imaging system | |
| EP3175426B1 (en) | Online patient reconstruction and tracking for patient setup in radiation therapy using an iterative closest point algorithm | |
| US20060079757A1 (en) | Image processing system for use with a patient positioning device | |
| EP3294414A1 (en) | Radiation dosage monitoring system | |
| EP3590430B1 (en) | Radiation beam positioning | |
| US11904182B2 (en) | Research and development of augmented reality in radiotherapy | |
| GB2441550A (en) | Surface-imaging breathing monitor | |
| CN111132730B (zh) | 与放射治疗设备一起使用的患者监测系统的校准方法 | |
| US20180345040A1 (en) | A target surface | |
| US8682414B2 (en) | Radiation therapy apparatus control method and radiation therapy apparatus controller | |
| Lindl et al. | TOPOS: a new topometric patient positioning and tracking system for radiation therapy based on structured white light | |
| WO2002061680A2 (en) | Surface imaging | |
| US20100195890A1 (en) | Method for completing a medical image data set | |
| Patete et al. | Motion compensation in hand-held laser scanning for surface modeling in plastic and reconstructive surgery | |
| TW201519856A (zh) | 手術定位方法 | |
| US20190231285A1 (en) | Portable bite part for correcting a motion of an object in panoramic, computed tomography, or cephalometric x-ray imaging | |
| US20230074362A1 (en) | Method and system for non-contact patient registration in image-guided surgery | |
| WO2022116114A1 (zh) | 监测方法、装置及计算机存储介质 | |
| WO2013160489A1 (es) | Método y sistema de generación y aplicación de reconstrucciones tridimensionales | |
| CN115054834A (zh) | 基于三维重建装置的放疗辅助设备及其控制方法、系统 | |
| Schaller | Time-of-Flight-A New Modality for Radiotherapy | |
| CN113440744B (zh) | 一种基于标记投影的放射治疗辅助摆位方法及装置 | |
| Shepard | An ultrasound-based motion management system utilizing 2D/3D real-time tracking for use in radiotherapy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |