CN110392247A - 用于在基于孔的医疗系统中监测患者的摄像机监测系统及其校准方法 - Google Patents

用于在基于孔的医疗系统中监测患者的摄像机监测系统及其校准方法 Download PDF

Info

Publication number
CN110392247A
CN110392247A CN201910315158.0A CN201910315158A CN110392247A CN 110392247 A CN110392247 A CN 110392247A CN 201910315158 A CN201910315158 A CN 201910315158A CN 110392247 A CN110392247 A CN 110392247A
Authority
CN
China
Prior art keywords
video camera
patient
reflecting mirror
imaging
hole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910315158.0A
Other languages
English (en)
Other versions
CN110392247B (zh
Inventor
G·M·黑尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision RT Ltd
Original Assignee
Vision RT Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GBGB1806339.6A external-priority patent/GB201806339D0/en
Priority claimed from GBGB1808304.8A external-priority patent/GB201808304D0/en
Application filed by Vision RT Ltd filed Critical Vision RT Ltd
Publication of CN110392247A publication Critical patent/CN110392247A/zh
Application granted granted Critical
Publication of CN110392247B publication Critical patent/CN110392247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A61B6/527Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion using data from a motion artifact sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1075Monitoring, verifying, controlling systems and methods for testing, calibrating, or quality assurance of the radiation treatment apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3618Image-producing devices, e.g. surgical cameras with a mirror
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Dentistry (AREA)
  • Electromagnetism (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiation-Therapy Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请公开了用于在基于孔的医疗系统中监测患者的摄像机监测系统及其校准方法,其中使用的3D摄像机包括安装在电路板上的第一和第二图像传感器,其中第一和第二图像传感器安装在电路板的相对表面上,电路板被包含在壳体内,其还包含位于壳体内的第一和第二反射镜,使得第一图像传感器经第一反射镜被呈现拟成像物体的第一视图,及第二图像传感器经第二反射镜被呈现拟成像物体的第二视图,及其中所述摄像机还包括可用于将光投射在将通过第一和第二图像传感器成像的物体表面上的投影仪。

Description

用于在基于孔的医疗系统中监测患者的摄像机监测系统及其 校准方法
技术领域
本发明涉及3D摄像机系统。更具体地,本发明涉及用于在扫描和/或治疗期间监测患者的定位和移动的3D摄像机系统。本发明特别适合与放射治疗设备和计算机断层扫描(CT)扫描仪等一起使用,其中患者移动或者例如不规则呼吸的检测对于成功治疗很重要。此外,本发明涉及校准由在此公开的3D摄像机系统构成的患者监测系统的方法。本方法适合校准以非常高的准确度监测患者的位置的患者监测系统,前述准确度例如为用于在放射治疗期间监测患者的定位和位置的患者监测系统所要求的高准确度。
背景技术
在医疗应用领域的成像技术如MR和CT成像一般用于对患者的多种疾病进行诊断,尤其是诊断癌症及针对患者规划癌症治疗。至少用于癌症诊断的成像技术包括CT和MR扫描系统,从这些成像物理治疗设备产生一系列3D诊断图像。3D图像数据一般被提供给专业大夫,其评估和分析图像以评估和规划随后的癌症治疗。但治疗计划已由专业临床医生和大夫团队制订时,患者暴露于放射治疗,这包括被定位在放射治疗设备中,使辐射束配置成聚焦在患者身体的特定目标区域。
一般地,放射治疗包括将辐射束投射到患者身体的预定区域以破坏或消除其中存在的瘤。这样的治疗通常周期性及反复地进行。在每次医疗干预时,为了以最高可能准确度辐照所选区域,辐射源必须相对于患者定位,以避免辐照辐射束辐照在其上将有害的相邻组织。此外,在治疗期间,患者躺在机械诊察台上并被辐射源从多个不同的位置和角度辐照。为确保准确施加辐照并避免辐照辐射束辐照在其上将有害的相邻组织,为了以最高可能的准确度辐照所选区域,辐射源必须相对于患者定位,及在进行辐照时患者应被使得采用与治疗规划阶段期间和每次医疗干预时采用的姿势同样的姿势。
目前的放射治疗系统利用监测系统,其配置成监测在治疗期间出现的患者移动。这样的运动跟踪在目前的系统中用投光器实现,其将光投射在患者表面上以有助于识别患者表面的从不同角度捕获的对应部分。患者的图像被获得并连同识别捕获图像的摄像机相对于治疗室等中心的相对位置的数据一起进行处理,以确定对应于患者表面上的多个点的大量点的3D位置。这样的数据可与在先前时候产生的数据比较并用于以一致的方式定位患者或者在患者移动到不适当位置时提供警报。通常,前述比较包括进行普鲁克(Procrustes)分析以确定使通过基于现场图像产生的数据确定的患者表面上的点与通过先前时候产生的数据确定的患者表面上的点之间的位置差异最小化的变换。
设置在放射治疗设备中的当前监测系统配置成产生患者表面的高度准确的(例如亚毫米级)模型。为实现此,监测系统被校准以建立图像捕获装置/摄像机的相对位置和定向及内在内部摄像机参数如每一图像检测器/摄像机的透镜的光学设计引起的任何光学失真,如桶形、枕形及须形失真及偏心/切向失真,及摄像机/图像捕获装置的其它内部参数(例如焦距、图像中心、纵横比歪斜、像素间隔等)。一旦知道,内部摄像机参数可用于操纵所获得的图像以获得无失真的图像。3D位置测量结果则可通过处理从不同位置获得的图像并从这些图像及图像捕获装置/摄像机的相对位置和定向得到3D位置而进行确定。
因而,目前的系统存在,其能够在患者位于标准放射治疗室中时准确地监测和跟踪患者,其中诊察台可配置成相对于放射治疗门架机构移动。
然而,随着放射疗法、MR和CT系统的设计持续发展,目前的系统可被配置成组合及完全集成的诊断和治疗系统。因而,在癌症诊断和治疗领域,有将这些成像和治疗物理治疗设备组合为基于单孔的系统的一般趋势,其能使用治疗阶段所需要的聚焦束进行癌症诊断阶段和放射治疗阶段所需要的成像物理疗法。也就是说,由于癌被包含在患者体内,提供成像机器来获得患者内部机体结构的图像是有利的。这样的机器逐渐与辐射治疗设备提供在同一房间中,从而使患者的内部机体结构能在治疗过程期间被重新成像。再次强调,使用这样的机器监测患者定位富有挑战性,因为患者在治疗期间在治疗位置和成像位置之间移动。在其它系统中,患者在扫描和治疗期间均躺在孔内的诊察台上。
在诊断和治疗的所有阶段,在患者在扫描和治疗期间位于诊察台上时能够监测患者尤其是监测患者的任何可能移动十分重要。然而,当患者位于医疗设备的孔内时,现有患者监视摄像机系统在通过摄像机提供患者的良好查看方面并未以最佳方式配置和设置在治疗室内。此外,目前在用于监测患者的摄像机监测系统中使用的校准不同摄像机的解决方案就新集成的基于孔的医疗设备需要足够地更新,以能够在扫描和/或治疗患者期间产生准确的监测。
因而,对于现有的解决方案,在患者位于孔内时,很难获得患者的准确监测。因此,需要提供用于监测摄像机机构的解决方案,其解决至少部分上面提及的问题。
发明内容
本发明至少提供现有技术的备选方案。
为确保躺在基于孔的医疗系统中的患者的足够监测,提供本发明中描述的摄像机监测系统,此外,提供用于校准摄像机监测系统以能够准确监测患者的方法。
为确保摄像机监测系统提供适合基于孔的医疗设备的摄像机机构,希望在保持这样的系统能以高准确度监测患者表面的同时减小3D摄像机系统的物理尺寸。
因而,根据本发明的一方面,提供一种3D摄像机,其包括安装在电路板上的第一和第二图像传感器,其中第一和第二图像传感器安装在电路板的相对(反向)表面上。电路板被包含在壳体内,其还包含位于壳体内的第一和第二反射镜,使得第一图像传感器经第一反射镜被呈现拟成像物体的第一视图,及第二图像传感器经第二反射镜被呈现拟成像物体的第二视图。以这种方式将第一和第二图像传感器安装在电路板的两表面上并经一组反射镜具有拟成像物体的视图使得摄像机系统的壳体的总尺寸能得以减小,因为图像传感器的图像平面的有效位置不需要必须位于壳体内。
此外,监测系统一般需要用于将图像聚焦在图像传感器上的透镜。传统上,这样的透镜结构已被定向在图像传感器前面并与图像传感器的视线对准。通过设置图像传感器以经反射镜获得拟查看物体的图像,透镜可被设置成相对于图像传感器的有效视线具有一定角度。在这样的配置下,透镜结构的长度位于图像传感器的图像平面的物理分隔内,摄像机系统的大小因而能被减小。
摄像机系统的视场可通过提供多对图像传感器和相关联的透镜结构和反射镜而增加,其中与不同对的图像检测器相关联的反射镜相对于彼此成角度。在摄像机中提供三对图像传感器的实施例中,与图像传感器相关联的反射镜可被提供在两个菱形梯形体的表面上以提供宽视角。
本发明的实施例可包括用于将光图案投射在拟成像表面上的散斑投影仪。该投影仪例如可以是将光图案投射在通过3D摄像机成像的表面上的光投影仪。在图像传感器被提供在电路板的两表面上的情形下,投影仪优选光或散斑投影仪可定位成与电路板对准。这样的安排也可减小摄像机系统的总尺寸。此外,使散斑投影仪与电路板对准有利于图像传感器查看的、所投射的散斑图案的对称排列,这有助于避免所投射的散斑图案在通过图像传感器之一查看时相较于另一图像传感器有更多失真,从而有利于识别从两个不同角度查看的物体的图像的对应部分。
上面描述的3D摄像机可被包括在用于监测经受放射治疗的患者的患者监测系统(即摄像机监测系统)中。在这样的实施例中,患者监测系统可设置成产生患者表面的一部分的计算机模型并将所产生的模型与存储的模型进行比较,及在前述比较的基础上产生定位指令和/或如果检测到患者不在适当的位置超出阈值量,提供警报或停止治疗。
在本发明的另一方面,摄像机监测系统被足够校准以在扫描和/或治疗期间获得患者的准确表面模型很重要。
因而,在本发明的第二方面,提供用于监测患者的定位的患者监测系统(即摄像机监测系统)的校准方法,其中该监测系统设置成在第一位置和与第一位置物理上分开的第二位置获取患者的图像。提供在第一部分上具有第一组校准标记和在第二部分上具有第二组校准标记的校准物体并定位成使得第一组校准标记在第一位置附近可见及第二组校准标记在第二位置附近可见。之后,患者监测系统使用获得的、定位的校准物体的图像进行校准,其中第一和第二组校准标记位于第一和第二位置附近。
申请人已意识到,患者定位监测系统的校准可被简化,其中患者的位置需要在彼此具有固定关系的两个位置进行监测,如治疗设备具有确定的准备区域和治疗区域或者确定的治疗区域和成像区域的情形。在这样的系统中,位置监测系统不必监测患者在两个固定位置之间的移动,要不然其需要监测系统被校准以随着他们在两个位置之间移动而跨大区域监测患者。而是,患者监测可通过校准患者监测系统以仅在所识别的区域附近监测患者而实现,患者随着他们在那些区域之间转移而进行的任何移动可通过比较从那些特定区域看到的患者图像产生的模型进行确定,假定监测系统被校准成使得患者在第一位置和第二位置的模型的模型空间偏移对应于两个位置之间的物理距离的量。这可通过对具有两组校准标记的校准物体进行成像而实现,其中两组校准标记的间隔对应于监测系统监测到的两个位置之间的物理间隔。之后,校准物体可被定位成使得校准标记在那些位置可见,及这些标记的图像可用于校准监测系统。
监测系统可包括多个3D摄像机,其中至少一3D摄像机设置成获取第一位置的物体的图像,及至少一3D摄像机设置成获取第二位置的物体的图像。在一些实施例中,3D摄像机可包括立体摄像机。在其它实施例中,3D摄像机可包括3D飞行时间摄像机或者可用于获取结构光投射在被监测物体的表面上的图像的3D摄像机。
校准物体可包括具有第一和第二组校准标记的校准板,每一组校准标记包括圆形标记的阵列,其中阵列中的圆形标记相对于彼此位于已知位置。在一些实施例中,第一和第二组校准标记可相对于彼此成预定角度。校准标记可另外包括按相对于圆形标记的阵列成固定关系而设置在校准物体的表面上的一行或多行。
定位校准物体可包括利用激光灯光系统突出空间中的一位置并使校准物体的表面上的标记与激光灯光系统投射的光对准。在这样的实施例中,激光灯光系统可设置成突出空间中对应于下述的位置:放射治疗设备的治疗室等中心;识别经受放射治疗的患者的准备位置的中心的点;或与用于获取经受放射治疗的患者的内部图像的成像设备具有固定关系的点。
作为备选或另外,校准物体可包含一组不透X线标志,其可用于帮助定位校准物体。在这样的实施例中,定位校准物体可包括辐照和获取包含不透X线标志的校准物体的辐照图像并分析所获取的图像以确定校准物体相对于辐照位置如治疗室等中心的相对定位。
定位的校准物体的图像可用于确定获取该物体的图像的摄像机的图像平面的相对位置和/或定向。定位的校准物体的图像也可用于确定摄像机的内部特性如透镜畸变的存在。
校准物体的标记的部分可识别正方形的拐角,及定位的校准物体的图像可用于确定获取该物体的图像的摄像机的图像平面相对于这样的正方形的中心的相对位置和/或定向,校准物体定位成将正方形的中心放在相对于治疗室或成像设备等中心或空间中由激光灯光系统突出的点的固定位置。
校准该监测系统可使该监测系统能产生在第一模型空间中的第一位置附近观察到的物体的模型及产生在第二模型空间中的第二位置附近观察到的物体的模型,其中第一和第二模型空间偏移对应于第一和第二位置之间的物理距离的向量。
在一些实施例中,患者在位于将被监测的两个位置之间时可被转动预定角度。在这样的系统中,校准图像的处理可导致该系统产生表面模型,其被旋转同样的预定角度以有利于患者的监测。
本发明的另一方面提供用于校准可用于监测患者相对于第一位置和分隔开固定物理距离的第二位置的定位的患者定位监测器的校准物体。该校准物体可包括位于校准物体的表面上的第一组校准标记和第二组校准标记,第一和第二组物理标记物理上彼此分隔开与患者定位监测器的监测在其处发生的第一位置和第二位置之间的距离对应的距离。在一些实施例中,第一组校准标记和第二组校准标记可相对于彼此转动一角度。在一些实施例中,校准物体可包含一组不透X线标志。
落在本发明范围内的进一步的细节和另外的实施例将在下面对附图的详细描述中阐释。此外,应注意,在本发明中,系统的投影仪被定义为散斑投影仪,但应当理解,可使用将光图案投射在表面上的任何类型的投影仪。此外,本发明提及摄像机监测系统的处理器配置成创建3D丝网模型,但本领域技术人员应知道,其它适当的3D模型产生方法例如点云模型也可使用并落在本发明的范围内。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见,这些附图均为示意性及简化的图,它们只给出了对于理解本发明所必要的细节,而省略其他细节。每一方面的各个特征可与其他方面和实施例的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明,其中:
图1为放射治疗设备和患者监测系统的示意性立体图。
图2为配置成处理所监测患者的图像的计算机的示意性框图。
图3为根据本发明实施例的摄像机系统的外部的示意性立体图。
图4为图3的摄像机系统的剖视图。
图5为图3的摄像机系统的下部的截面平面图。
图6为根据本发明第二实施例的摄像机系统的外部的示意性立体图。
图7为图6的摄像机系统的剖视图。
图8为图6的摄像机系统中图像传感器和反射镜的设置的示意性图示。
图9示出了将用在摄像机监测系统中的移动和诊察台监测摄像机的例子。
图10示出了根据图9的移动监测摄像机的内部部分。
图11示出了根据图9和10的移动监测摄像机的内部部分的侧视图。
图12为患者在处于准备位置的机械诊察台上时的示意性平面图。
图13为图12的机械诊察台上的患者处于治疗位置时的示意性平面图。
图14为使用根据本发明实施例校准的监测系统的流程图。
图15为用在本发明实施例中的示例性校准板的平面图。
图16为图15的示例性校准板位于图12和13的机械诊察台上的示意性平面图。
图17为患者在组合的辐射放射治疗和成像设备的机械诊察台上的示意性平面图。
图18为校准板位于图17的组合的辐射放射治疗和成像设备的机械诊察台上的示意性平面图。
图19示出了相对于基于孔的医疗设备安装的摄像机监测系统的实施例。
图20示出了相对于基于孔的医疗设备的另一设置的摄像机监测系统的实施例。
图21A示出了相对于基于孔的医疗设备处于一设置的摄像机监测系统的侧视图。
图21B示出了具有诊察台标志的基于孔的医疗设备的诊察台。
图22示出了相对于基于孔的医疗设备处于一设置的摄像机监测系统的主视图。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而,对本领域技术人员显而易见的是,这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因,这些元素可使用电子硬件、计算机程序或其任何组合实施。
患者定位监测系统与放射治疗设备一起使用的概况将首先结合图1-4进行描述。
图1为患者监测系统10的示意性立体图的示例性图示,其中一组三个立体摄像机被提供,其从治疗室的天花板悬置并设置成观看治疗设备11如用于施加放射治疗的线性加速器。在所示例子中,治疗设备11为具有中心孔12的治疗设备。如将更详细描述的,监测系统10的摄像机设置成监测在治疗设备11正前方的准备位置及居中在孔12的中心中的点上的治疗位置。
患者在治疗期间躺在其上的机械诊察台13被提供成与治疗设备11相邻。治疗设备11和机械诊察台13安排成使得,在计算机(未示出)的控制下,机械诊察台13的位置可横向、竖向和纵向改变,从而使躺在诊察台表面上的患者能被定位在治疗设备11的孔12的中间。
图2为用于处理图1的患者监测系统10获取的图像的计算机14的示意性框图。为了使计算机14处理从患者监测系统10的立体摄像机接收的图像,计算机14通过分为多个功能模块15-19的软件进行配置。在该例子中,功能模块15-19包括:用于处理从立体摄像机接收的患者图像以确定患者表面上的点的3D位置测量结果的3D位置确定模块15;用于处理3D位置确定模块15产生的位置数据并将该数据转换为所成像表面的3D丝网模型的模型产生模块16;产生的模型存储器17,用于存储所成像表面的3D丝网模型;目标模型存储器18,用于存储先前产生的3D丝网模型;及匹配模块19,用于确定为使产生的模型与目标模型匹配所需要的平移。
在使用时,在该实施例中,监测系统10的立体摄像机获取躺在机械诊察台13上的患者的视频图像。这些视频图像被传给计算机14,其连同识别这些摄像机的相对位置和定向的数据及内部摄像机特性如焦距、透镜畸变等一起处理患者的图像以产生患者表面的模型,该模型被存储在产生的模型存储器17中。该产生的模型与存储在目标模型存储器18中的、在早前治疗时期期间产生的患者模型比较。匹配模块19则继续确定使产生的模型与目标模型匹配所需要的平移。当定位患者时,当前模型表面与从早前时期获得的目标模型表面之间的差异被识别,及对准这些表面必要的定位指令被确定并发送给机械诊察台13。如果随后在治疗期间识别到与初始设置的偏差超出阈值,计算机向治疗设备11发送指令以使得治疗停止,直到患者被重新定位为止。
根据本发明实施例的立体摄像机20的构造现在将结合图3-5详细描述。
首先参考图3,其为配置成记录至少在治疗期间躺在诊察台上的患者的图像的3D立体摄像机20的外部的示意性立体图,及在模型生成器中从这些图像产生3D表面模型。立体摄像机20包括壳体,其在该实施例中由上部22和下部24组成,其中壳体的下部24以两个翼部25a、25b的形式在上部22下面延伸并延伸到上部22的任一侧。在该实施例中,壳体的上部22可在壳体的下部24的上表面上方3cm延伸并可具有3.46cm的宽度及在其最大点具有9.47cm的深度,壳体的下部24可具有2.9cm的高度及在翼部25a、25b的最宽处具有20.4cm的宽度。
壳体的上部22被提供在摄像机20的中心并形成包含散斑投影仪的腔体。如图4最佳示出的,其为立体摄像机20的剖视图,散斑投影仪包括:光源26,其在该实施例中包括红外LED光源;准直器27;及透镜组合件28。光源26和准直器27设置成向透镜组合件28提供准直的红外光束。透镜组合件28可包含伪随机图案的透明体,其部分阻挡光束,这导致光源26、准直器27和透镜组合件28共同将红外光的伪随机图案投射到在摄像机20附近出现的表面上。
图5为图3的立体摄像机系统的下部24的平面图。图4的剖视侧视图的大约位置在图5中由线X’-X”标示。
壳体由上部22和下部24形成并包含电路板30,其主要位于壳体的下部24的中间(参见图4和5)。该电路板30沿壳体22、24的中心线与摄像机壳体的前表面成直角进行定位并沿壳体的下部24的整个深度延伸,有效地将壳体的下部24包围的腔体分为两个相等部分。
在该实施例中,电路板30的一部分32向上延伸到壳体的上部22内并在散斑投影仪的后面(参见图4)。在该实施例中,用于将摄像机系统连接到电源及用于传输来自摄像机系统的图像数据的USB接口34被提供在电路板30的该部分32中。在其它实施例中,如果电路板30的大小可被进一步减小,电路板30的该部分可被省略,在该情形下,摄像机的壳体22、24的总深度可被减小到限于足以将散斑投影仪容纳在壳体的上部22中的大小。
第一图像传感器36和第二图像传感器38(在该实施例中,其包括或可被配置为1/3”CMV300 CMOS传感器)被提供在电路板30上,在电路板30具有USB接口34的另一端,第一图像传感器36和第二图像传感器38被提供在电路板30的朝向摄像机壳体22、24的前表面的相对的两表面上(参见图5)。应注意,在该实施例中图示的图像传感器被提供在同一电路板的每一面上,然而,应当理解,这些图像传感器也可安装在两个分开的电路板上。因而,在所示实施例中,这些图像传感器经同一电路板配置为“背对背”,然而,它们也可经两个分开的电路板设置成“背对背”。
第一透镜组合件40安装在摄像机壳体的下部24的一翼部25b内、第一图像传感器36前面的托架42上,及第二透镜组合件44安装在摄像机壳体的下部24的另一翼部25a中、第二图像传感器38前面的第二托架46上,第一透镜组合件40和第二透镜组合件44远离电路板30的两相对表面垂直地延伸。
第一图像传感器36设置成观看光图案由散斑投影仪穿过摄像机20前面的窗口47经第一透镜组合件40和提供在壳体下部24的一端处的斜向(成一定角度放置的)反射镜48投射在其上的表面。窗口47出现在如图3中所示的装置的右手边及图5的装置平面图的装置的左手边。
第二图像传感器38设置成观看光图案由散斑投影仪穿过第二窗口50经第二透镜组合件44和提供在壳体下部24的另一端处的第二斜向反射镜52投射在其上的表面。窗口50出现在如图3中所示的装置的左手边及图5的装置平面图的装置的右手边。
在该实施例中,装置中包括的反射镜48、52为通过商业途径可得的15x25mm反射镜如具有红外反射比的COMAR 25MP 16反射镜。反射镜48、52被设置在壳体的下部24内,使得反射镜的中心点之间的距离为15.154cm。反射镜48、52和图像传感器36、38的中心点均沿电路板30的平面表面法向的轴对准。考虑电路板30的厚度(其在该实施例中为1.6mm厚)及反射镜48、52关于电路板的对称设置,这导致每一图像传感器36、38的中心距它们观看的反射镜48、52的中心的距离为7.49cm。
在该实施例中,反射镜48、52中的每一个相对于电路板30的表面均成43.5度的角度。图像传感器36、38和反射镜48、52的这种设置导致图像传感器36、38在图5中标示为A和B的位置处的有效图像平面,这些图像平面位于壳体外面并相对于彼此倾斜6度(即与两个反射镜之间的90度偏差的3度的两倍,因为定向的相对变化影响反射镜上的入射角和反射角)。
相较于传统设计,上面描述的摄像机设计大大减小了患者监测所需要的摄像机的大小。摄像机系统的总宽度大大受控于图像传感器36、38的图像平面需要足够分开使得图像传感器36、38获取的图像足够不同从而在患者与摄像机系统之间的距离及图像传感器36、38的像素密度给定的情形下能以所期望的准确度进行3D位置测量的要求。
通过将图像传感器36、38提供在电路板的两相对表面上并使图像传感器通过观看反射镜48、52中的反射而观看物体,上面描述的设计有利于透镜组合件40、44位于壳体内及透镜组合件40、44的长度也形成物理距离的一部分的情形下的设置,物理距离用于分开图像传感器36、38的图像平面的有效位置A、B。
电路板30、图像传感器36、38和反射镜48、52的对称布置也有利于散斑投影仪与装置的中心对准,使得所投射的、图像传感器36、38看到的光图案实质上类似,没有任一传感器36、38看到比另一传感器更多或更少畸变的投影,这有利于识别图像传感器36、38获取的图像中的匹配点。
图6为根据本发明第二实施例的3D立体摄像机100的示意性立体图。该实施例中的立体摄像机100与先前实施例的立体摄像机20类似,因为其包括被包含在壳体上部112内的投影仪110。投影仪110类似于先前实施例的投影仪26、27、28。与先前实施例类似地,壳体的下部114在壳体上部112下面伸出并延伸到壳体上部112的任一侧。该壳体的下部114相较于先前实施例的壳体具有更大的深度,但不延伸到壳体上部112的后面那么远。第一和第二窗口116、118被提供在壳体下部114的前面并处于壳体的远离其位于投影仪110下面的中心部分的任一端处。优选地,该类型的移动监测摄像机尤其适合安装在治疗室中,其中不同物体之间的冲突可能出现。该摄像机尤其适合监测是否出现可能的冲突,因为这种构造使能覆盖非常大的视场。
如图7中所示,电路板120连同一组六个透镜装置一起被包含在壳体的下部114内,其中的三个121、122、123在图7中示出。在该实施例中,由于壳体的下部114的深度大于先前实施例中的深度,壳体的下部114能够包含整个电路板120,电路板120的一部分不会在投影仪110的后面伸出,因而摄像机的厚度可被减小从而不会延伸超出容纳投影仪110所需的大小。透镜装置121、122、123通过托架124保持在适当位置。对称布置的三个另外的透镜装置125、126、127(在图7中不可见)由电路板120的另一侧上的另一托架(在图7中也不可见)保持在适当位置。
在先前实施例中,描述了具有第一和第二图像传感器36、38的摄像机20。这个是,不是具有单对图像传感器36、38,而是六个图像传感器130-135被提供在电路板120上,其连同反射镜的特定设置一起使该实施例的立体摄像机100能够具有比先前实施例的摄像机20宽的视角。如图8中所示,图像传感器130-135在电路板120上被提供为三对图像传感器130&131、132&133、134&135,其中每一对中的图像传感器被提供在电路板120的两侧。透镜装置121-123、125-127被提供在每一图像传感器130-135的前面。图像传感器130-135被安排成观察六个反射镜150-155之一,反射镜安排成两组各三个:150、152、154;151、153、154;其中每一组中的反射镜被布置在菱形梯形体的表面上,镜面相对于电路板120的定向成大约45度。
这样,中心对的图像传感器132、133观看的反射镜152、153经中心透镜装置126、122被呈现图像,与先前实施例中图像传感器36、38经透镜装置40、44和反射镜48、52观看物体类似。上面的一对图像传感器130、131经上面的一对透镜装置125、121及菱形梯形体反射镜装置的上镜面150、151被呈现图像,及下面的一对图像传感器134、135经下面的一对透镜装置127、123及所述反射镜装置的下镜面154、155被呈现图像。由于反射镜装置的镜面150、152、154;151、153、154中的每一个相对于彼此成角度,这具有相对于中心对的图像传感器132、133对上图像传感器130、131和下图像传感器134、135的有效图像平面进行定向的效果,因而图像传感器130-135的组合视角大于先前实施例中的单对图像传感器36、38的视角,该摄像机因而比先前实施例的摄像机能够观看患者的更大部分。
尽管在上面描述的实施例中已描述图像传感器和反射镜的具体布置,应意识到,在其它实施例中,备选的布置可能可用于实现装置大小的减小。因而,例如,不是经单一反射镜获取图像,图像可能经多个反射镜的设置获得。此外,应意识到,不是对称地布置图像传感器、透镜组合件和反射镜,可使用不对称的布置。
尽管在第二实施例中已描述具有单一投影仪110的摄像机,应意识到,在其它实施例中,如果期望增大光图案被投射到其内的容积,可提供另外的投影仪,其中前述容积通过一个或多个图像传感器130-135经透镜装置121-123、125-127和反射镜150-155查看。
尽管在第二实施例中已描述摄像机具有三对图像传感器,其使摄像机能具有比具有单对图像传感器的摄像机大的视场,应意识到,利用两对图像传感器或者四对以上图像传感器也可实现类似的优点。
如从不同实施例的描述显而易见的,多个不同的摄像机可用在在此描述的摄像机监测系统中。一个或多个摄像机可按先前部分和/或下面描述的进行构造。
因而,应注意,在本说明书中,定义了准备摄像机,其至少用于在患者位于诊察台上但尚未治疗和/或扫描之前监视患者。
此外,摄像机监测系统可包括一个或多个移动监测摄像机,其配置成在治疗和/或扫描期间对患者进行监测。这个或这些移动监测摄像机在本说明书中定义为“移动监测摄像机”和/或“治疗摄像机”和/或“居中定位的摄像机”。居中定位的定义不应理解为限于摄像机被定位在中间。与在此描述的所有实施例共同的是,移动监测摄像机配置成具有在治疗和/或扫描期间朝向患者的目标区域定向的视场。然而,显而易见地,这个或这些监测摄像机可按不同的配置定位在治疗室/扫描装置中。
现在参考图9-11,描述不同于先前描述的、另一例子的移动监测摄像机400。移动监测摄像机400包括配置成至少面向患者表面和/或医疗设备中的校准物体定向的前部401。前部401实质上包括五个部分,其中中间部分403配置成在摄像机400内包含配置成用在摄像机校准中的小型(紧凑)投影仪。小型投影仪可配置为透镜-透镜半导体解决方案,如垂直腔面发射激光器(VCSEL)。这些类型的激光器二极管包括从顶表面垂直设置的激光束发射。使用VCSEL半导体,LED用于校准目的,可能使摄像机构造更紧凑,其中投影仪LED配置成位于同一PCB上并仅间隔开几毫米,传统投影仪并不允许这样的集成。因而,使用至少在图9-11中示出的摄像机构造,可能使摄像机的高度最小化因而使能非常紧凑的摄像机,其可至少插入基于孔的医疗设备的孔内。
此外,如图9中所示,前部401从中间配置成具有左部402和右部404,其中左部402和右部404在摄像机内部包含一组反射镜。左部402和右部404中的每一个与具有组合的投影仪和校准单元的中部403在摄像机内部间隔开一空间,该空间由两个前盖405、406遮盖。一般地,在此描述的摄像机构造使摄像机容易重构,这是因为仅反射镜需要彼此间隔开以提供摄像机的另一工作距离。因而,具有摄像机中间的定位和构造的电路板和透镜使这些结构件能保持在适当位置,同时仅需要移动反射镜,如果首选工作距离变化的话。
现在参考图10,图9中的移动监测摄像机的内部被更详细地图示。如图所示及与图3-5和图6-8的实施例对应,摄像机一般在左部402中包括第一反射镜407及对应地在右部404中包括第二反射镜410。中部包括第一透镜408和第二透镜409,第一和第二透镜408、409位于PCB 430的每一侧上。PCB 430配置成按结合图5和8所述进行设置。然而,在图10所示的实施例中,示出了另一投影仪PCB 411。该投影仪PCB 411连接到PCB 430,其中投影仪PCB包括配置成产生低功率干扰图案的投影仪。如该图中所示,投影仪PCB 411实质上垂直于摄像机PCB 430的平面定向。投影仪PCB 411的投影仪配置成实质上朝向所成像物体如患者表面定向干扰图案。因而,如图所示,该投影仪实质上被集成在先前结合在此描述的实施例定义的下部24内。因而,在图9-11所示的实施例中,不包含在此描述的其它实施例中的上部。这使摄像机实质上更小。
现在参考图11,示出了图9和10的移动监测摄像机的侧视图。如图11中所示及先前描述的,该类型的移动监测摄像机构建成具有集成的投影仪,其具有投影仪PCB 411。此外,该移动监测摄像机因内部构造及反射镜和图像传感器相对于彼此的定向而针对用在基于孔的医疗设备中进行优化。也就是说,当该监测摄像机安装在基于孔的系统内时,如在此描述的实施例中阐述的,摄像机内的反射镜配置成相对于摄像机安装在其中的孔的表面向内和向下指向。因而,如图10中所示,反射镜407、410与朝向摄像机中心(例如由摄像机PCB430的平面确定)的点成角度。同时,如图11中更准确图示的,反射镜410(及反射镜407,未示出)相对于摄像机安装到其上或者至少与其邻接的基于孔的设备的表面指向向下的方向。这样的反射镜定向将在摄像机获得的图像中导致图像似乎被旋转。然而,由这些类型的监测摄像机记录的图像的前述旋转通过摄像机配置成具有实质上旋转的传感器而避免。这在图11中更详细地示出,其中,可以看出,反射镜410和传感器412成角度使得反射镜410和传感器412包括实质上垂直的视平面。换言之,3D摄像机配置成沿孔的内顶表面插入在基于孔的医疗设备的孔中,使得摄像机的顶部与孔的内顶表面实质上对齐,其中摄像机配置成具有在从摄像机顶部朝向摄像机底部的向下方向成角度的第一反射镜和第二反射镜,及其中,另外,第一和第二反射镜朝向摄像机中心向内成角度,其中,另外,第一和第二传感器相对于第一和第二反射镜进行设置,以从第一和第二反射镜提供实质上垂直的视平面。
在在此描述的实施例中,其它类型的摄像机也可用在摄像机监测系统中。即,在在此描述的实施例中,一个或多个准备摄像机用于在准备阶段期间监测患者的定位。这些准备摄像机类型的摄像机可不同于移动监测摄像机,因为它们可配置成具有不同的工作距离,其定义为患者与摄像机之间的距离。作为备选,同样类型的摄像机构造可用于准备摄像机和监测摄像机。
显而易见地,第三类型的摄像机可形成摄像机监测系统的一部分。该第三类型的摄像机即诊察台监测摄像机可构建成稍微不同于第一类型的准备摄像机和第二类型的移动监测摄像机。也就是说,第三类型的摄像机主要配置和设置在治疗/扫描装置中以具有覆盖诊察台的视场或者安装在诊察台上的可唯一识别的特征。此外,诊察台监测摄像机可配置成具有照亮物体,其配置成照亮布置在诊察台监测摄像机的视场内的物体。
特别地,在实施例中,诊察台监测摄像机可以是立体视觉摄像机,非必须地包括近红外LED以照亮诊察台上的后向反射(反光)标志,如结合图21B所述。
作为备选,布置在诊察台上的标志可以是有源标志,在该实施例中,不需要来自诊察台监测摄像机的照亮,因为这些标志将点亮它们自己。
在备选实施例中,诊察台可配置成具有包含提供在其上的唯一定义的特征的结构和/或物体,其中这些特征经诊察台监测摄像机的跟踪可用于跟踪诊察台移动,如结合图21A所述。诊察台位置也可通过回忆在诊察台校准期间确定的诊察台位置或者经诊察台控制系统中的反馈机制确定。因而,在实施例中,与准备摄像机位置和治疗位置之间的任何可能诊察台移动偏移有关的一组存储的偏移值可用在校准设置中以考虑诊察台移动期间诊察台已知易于经历的任何中沉/漂移。另一选择可以是利用诊察台提供的反馈信号调整诊察台的任何偏移。
诊察台监测摄像机的进一步的细节和使用将在图19-22的描述中变得显而易见。
现在参考图12-16,描述校准在此描述的摄像机监测系统的例示实施例。首先参考图12,示出了患者220在处于治疗设备11的孔12前面的准备位置的机械诊察台13上时的示意性平面图。图13为在图12的机械诊察台13上的患者220处于治疗位置时的示意性平面图。
在这些图所示的实施例中,激光灯光系统(未示出)投射第一激光平面222、第二激光平面224和第三激光平面(未示出)以有利于患者220的定位。第一激光平面222沿一轴与治疗室等中心226(即治疗设备11在其中被设置成引导辐射束的空间中的点)对准,机械诊察台13沿所述轴设置成进入治疗设备11的孔12内。第二激光平面224设置成垂直于第一激光平面222并在治疗室等中心226前面固定距离的点228处与第一激光平面222交叉。第三激光平面(未示出)被投射成在对应于治疗室等中心226的高度的水平面与第一和第二激光平面相互垂直。
在该例子中,患者监测系统10包括三个摄像机230、232、234。摄像机230、232、234设置成使得居中定位的摄像机232看到治疗设备11的孔12内,而两个外摄像机230、234设置成观看治疗设备11前面的准备区域。准备区域实质上以通过激光平面222、224的交叉突出的点228为中心。这些摄像机的视场的轮廓在图12和13中通过从摄像机230、232、234发出的虚线示出。换言之,两个摄像机234、230构成一组准备摄像机230、234,其配置成在将患者220定位在诊察台13上期间记录患者220的图像。
在使用时,患者220在开始位于机械诊察台13上,机械诊察台13处于图12中所示的准备位置。在该准备位置,患者220被定位成使得患者220的将被辐照的部分(也记为患者的目标区域)位于通过激光灯光系统突出的点228处。在准备位置,患者220的表面由患者监测系统10的两个外摄像机230、234(即两个准备摄像机)观看,藉此,患者监测系统(在本发明中也记为摄像机监测系统或仅监测系统)经处理器使能产生患者220的模型表面并与先前存储的模型比较,使得产生的表面与存储的模型表面之间的任何差异可被识别及患者220的定位被调整使得患者220的表面与存储的模型限定的表面匹配。换言之,准备摄像机230、234记录躺在诊察台上的患者220的图像并将这些图像传给患者监测处理器。该处理器配置成产生患者的计算机表面模型,该计算机表面模型与同一患者先前的计算机模型比较。如果在存储的模型与产生的模型之间存在任何偏差,临床医生将得到通知,由于患者目前躺在诊察台上,患者应被重新定位,使得患者的实际诊察台位置及产生的计算机表面模型的随后更新与存储的计算机模型对应。
随后,在治疗期间,机械诊察台13被平移固定的量以被移入图13中所示的位置。在该位置,患者220的表面的、先前由患者监测系统10的两个外摄像机230、234(在本说明书中也记为准备摄像机)观看的部分(即目标区域)现在由患者监测系统10的中央摄像机232(在本说明书中也记为移动监测摄像机)观看,这再次使能产生患者220的表面的模型并与存储的模型比较以检测患者220的定位与预期位置的任何偏差。
因而,换言之,监测系统,其在本说明书中也定义为摄像机监测系统或患者监测系统,包括至少一移动监测摄像机,其配置成在使用医疗设备如放射治疗系统、CT扫描仪、MR扫描仪或其组合期间记录躺在诊察台上的患者的至少目标区域的图像。此外,监测系统包括至少一准备摄像机,其配置成在治疗或扫描之前在将患者定位到诊察台上期间记录至少同一目标区域的图像。
理论上,随着机械诊察台13被平移对应于通过激光灯光系统228突出的空间中的点与治疗室等中心226之间的固定距离的固定量,诊察台13的重新定位将导致患者先前位于通过激光灯光系统突出的空间中的点228处的部分位于治疗室等中心226处,在那里,患者的目标区域将被治疗设备11辐照。然而,在实践中,机械诊察台遭受某一量的中沉和其它机械不准确。为此,机械诊察台13的定位的准确性需要频繁地进行检查。然而,即使这样,当误差出现在这些检查之间时,仍有患者220将未被正确定位的可能性。
所示的患者监测系统10提供用于检测因机械诊察台13定位的物理和机械误差引起的可能偏差的手段。为了实现该目的,在患者220处于准备位置和治疗位置时产生的患者220的表面的模型必须一致。具体地,基于来自外摄像机230、234的图像产生的模型需要与基于来自中央摄像机232的图像产生的模型一致。该一致性可通过校准患者监测系统实现,使得基于患者位于准备位置和治疗位置的图像产生的模型在相对于彼此偏移对应于这两个位置之间的差的平移的两个模型空间中产生。
实现该一致性的校准监测系统10的方法现在将结合图14-16进行描述。
首先参考图14,其为使用根据本发明实施例校准的监测系统10的流程图。在初始步骤S1,设置激光灯光系统以识别治疗室等中心226和位于远离治疗室等中心226设定距离的固定位置228的位置。
通常,这将按两步实现。首先,治疗室等中心226的位置的识别可使用传统技术如在本专利的介绍中描述的技术建立,之后,设置激光灯光系统以投射通过治疗室等中心226的光平面222。优选地,该光平面222与治疗室诊察台13被设置成沿其移动的轴对准。之后,第二激光平面224可设置成投射距识别的治疗室等中心226部分固定距离,及第三光平面(未示出)设定为与第一和第二平面相互垂直。
调整激光灯光系统使得激光灯光系统投射通过所选的距治疗室等中心226一定距离的固定点228的光平面222、224,其中光平面之一222还通过治疗室等中心226本身,校准物体(其在该实施例中为校准板的形式)被放在机械诊察台13上并与激光灯光系统投射的激光平面222、224对准(步骤S2)。
图15为用在在此描述的监测系统的实施例中的示例性校准板250的平面图。
在实施例中,校准物体250为矩形校准板的形式,其由刚硬材料如铝制成,其上已机械加工或印刷高精度的校准标记图案。在该实施例中,校准标记包括两组校准标记252、254,校准板250的每一端各一组,每组校准标记252、254包括圆圈阵列。如图15中所示,两组校准标记配置成覆盖校准板250的相对的端部区域,并配置成每一校准标记区域具有中心区域。在每一中心区域,形成四个圆圈255-262,其中这四个圆圈配置成具有比校准标记区域的其它圆圈稍大的半径。每组校准标记252、254中的较大圆圈255-258、259-262的中心对应于正方形的中心。
另外,校准标记还包括蚀刻在校准板250的表面上的一组线265-267,这些线包括沿校准板的中心延伸的中心线265和垂直于中心线265的两条交叉线266、267。两条交叉线266、267在对应于多个正方形中心的多个位置与中心线265交叉,正方形的拐角对应于校准标记中的较大圆圈255-258、259-262的中心。中心线265与两条交叉线266、267之间的交叉点之间的距离对应于治疗室等中心226与激光投射系统投射的光平面222、224的交叉点228之间的偏移。
图16为位于图12和13的治疗系统的机械诊察台13上的示例性校准板250的示意性平面图。图16因而示出了诊察台13处于治疗位置,来自激光突出系统的激光平面222、224与校准板250的中心线265及交叉线之一267对准。由于交叉线266、267与中心线265的交叉点之间的距离与通过激光平面222、224的交叉而突出的点228和治疗室等中心226之间的距离对应,使交叉线267和中心线265与激光平面222、224对准,校准板250平坦,及第三激光平面的激光掠过,校准板250的表面导致另一交叉线266与中心线265之间的交叉点位于治疗室等中心226处。
随着校准板250被放在该位置(即图16中所示的治疗位置),两组校准标记252、254的图像可被监测系统10的摄像机230-234捕获(步骤S3)。更具体地,位于治疗室等中心226附近的一组校准标记252的图像由监测系统10的中心摄像机232捕获,及位于激光平面222、224的交叉点228附近的一组校准标记254的图像由监测系统10的另两个摄像机230、234捕获。
摄像机230-234获得的图像然后可用于校准监测系统10(步骤S4)。
为实现该目的,在开始,摄像机230-234捕获的图像被处理以在这些图像内识别校准板250上的较大圆圈255-258、259-262出现在这些图像中的位置。这可使用传统技术自动进行,或者作为备选,用户可人工识别四个圆圈。
从圆圈255-258、259-262的相对位置,对于每一图像,确定第一投影变换,其导致所识别圆圈的估计的中心,其中估计的中心因校准板250和获得图像的摄像机230、232、234的相对定向而确定投射的畸变正方形的拐角。
该计算的变换之后用于确定摄像机230、232、234成像的校准区域252、254中的每一圆圈的估计的三维坐标中心。这些计算的坐标中心之后用于识别与相对于从其已获得图像的位置的校准板250的表面对应的平面的估计的位置和定向。
每一摄像机230、232、234获得的图像中的每一像素之后被依次处理以确定在包含估计的圆圈中心位置的平面内每一像素与何处对应。估计的圆圈中心之后被依次处理,图像中与位于距计算的平面中的每一圆圈中心预定距离内的点对应的像素被识别。这些区域可被选择成包围位于校准板250的平面并直到稍大于出现在校准板250上的圆圈的半径的距离的点。因而,对于每一圆圈,一组像素被识别,其对应于校准板的出现在以估计的中心位置为中心的一部分并延伸到稍微超出所涉及圆圈的外缘。每组中的每一像素的灰度值之后用于确定圆圈中心的坐标的改善的估计量。包括校准板的表面的估计的平面中每一像素表示的点的位置的x和y坐标被确定。这些计算的x和y坐标之后用于估计圆圈中心的x,y坐标的改善的估计量。
图像内对应于新估计的圆圈中心的点的坐标之后从这些x,y坐标确定,较大圆圈255-258、259-262的中心的这些更新的估计量之后用于确定更准确估计的变换以说明校准板250的位置和定向。上面的过程可重复,直到准确估计实际的圆圈中心位置及确定说明校准板250的相对定向所需要的真(即最后)变换为止。
使用最后确定的变换,校准板250上的所有圆圈出现在摄像机230-234捕获的图像中的预期位置则被确定。对于每一圆圈,一组像素被识别,其对应于距圆圈中心预设距离内的点,然后使用图像的这些部分的灰度值计算改善的圆圈中心坐标。
当校准板250上的圆圈由摄像机230、232、234观看的每一表示的所有中心的坐标均已被计算时,中心摄像机232相对于治疗室等中心226的相对定向及另外的摄像机230、234相对于通过激光平面222、224的交叉而突出的空间中的点228的相对定向则可从图像中的这些点的相对位置及这些圆圈在校准板表面上的已知相对位置进行计算,如“AVersatile Camera Calibration Technique for High Accuracy 3D Machine VisionMetrology Using Off the Shelf TV Cameras and Lenses,Roger Tsai,IEEE Journalof Robotics and Automation,Vol.Ra-3,No.4,August 1987”中详细描述的,其通过引用组合于此。此外,从各个图像中对应于校准板250上的标记的点的相对位置,内部摄像机参数如焦距及摄像机图像内的径向畸变也可被确定。
通过基于校准板250上的两组校准标记252、254校准监测系统,两组校准标记分隔开与治疗室等中心226和通过激光平面222、224的交叉而突出的位置228之间的距离对应的固定距离,由中心摄像机232和外面的两个摄像机230、234产生的模型的模型空间被设置成偏移与这两个点226、228之间的物理距离对应的平移。
随后,在使用时,当患者220位于机械诊察台13上时,其中机械诊察台13处于准备位置例如图12中所示的位置,患者220的一部分的模型可基于监测系统10的两个外摄像机230、234获得的图像、使用识别摄像机230、234相对于通过激光平面222、224的交叉而突出的空间中的点228的相对位置的校准数据产生(步骤S5)。
当患者被再次定位到治疗位置时(步骤S6),例如图13中所示的位置,患者220的该部分将通过监测系统10的中心摄像机232成像,从而使能产生患者220的所成像部分的模型(步骤S7)。在模型使用中心摄像机232获得的图像产生的情形下,这样的模型将利用识别中心摄像机232相对于治疗室等中心226的相对位置而不是识别中心摄像机232相对于通过激光平面222、224的交叉而突出的空间中的点228的相对位置的校准数据产生。
理论上,如果机械诊察台13的物理平移准确对应于突出的准备位置228与治疗室等中心226之间的偏移,通过处理来自两个外摄像机230、234和中心摄像机232的图像产生的模型应对应。如果出现任何差异,这将确定机械诊察台13或患者220的定位误差,或者如果患者220在从准备位置到治疗位置进行重新定位时患者220已移动。
这样,监测系统10的校准使监测系统10能识别患者定位的误差,其可能因机械诊察台13或患者的不准确移动引起。此外,实现这样的误差的检测,监测系统10无需在患者220在准备位置和治疗位置之间移动时始终对患者保持观察。
上面的方法简化了图像数据的处理以使不同位置的模型能被比较。当处理来自监测系统10的摄像机230、232、234的图像时,不需要进行允许,因为在从两个外摄像机230、234或(作为备选)中心摄像机232的图像产生模型时患者220位于不同的位置的事实。由两个外摄像机230、234和中心摄像机232产生的模型空间中的模型的坐标自动说明治疗室等中心226与通过激光灯光系统突出的空间点228之间的距离。
现在将描述使用根据本发明的校准方法的另一例子。
除了适合校准用于监测患者220在准备位置和治疗位置之间的移动的监测系统10之外,上面的方法还可适于监测其它情形下的患者移动,其中患者在多个治疗位置之间平移。
图17和18为组合的辐射放射治疗和成像设备的示意性平面图。在图17中,组合的辐射放射治疗和成像设备被示为与机械诊察台13上的患者220处于治疗位置结合使用,而在图18中,机械诊察台13被示为按备选的定向支撑用于校准患者监测系统的校准板350。
在该例子中,第一监测系统380被设置成在患者220位于成像设备384如CT或MRI扫描仪等的孔382内时监测患者220。而第二监测系统386被设置成当患者220将被辐射放射治疗机388辐照时监测患者220。在该例子中,辐射放射治疗机388包括门架390,其被设置成绕治疗室等中心392旋转,连同机械诊察台13(其在该例子中为机械臂上的机械诊察台)的移动一起,有利于从多个不同的角度和定向辐照患者220。
在使用时,当机械诊察台13被定向在治疗位置时(图17中所示),辐射被导向治疗室等中心392,其位于与患者的目标区域对应的位置处。换言之,将用辐射放射疗法治疗的患者目标区域配置成位于治疗室的等中心处,以确保仅目标区域暴露于辐射。为了获得患者220的内部机体的图像以识别目标区域,机械诊察台13被定期旋转和平移以将患者的该部分定位到成像设备384的孔382的中心中的固定位置。在所示例子中,该第二固定位置394沿与辐射放射治疗机388的门架被设置成绕其旋转的轴成直角的平面从治疗室等中心392移位。
当校准用于监测患者220的定位的监测设备380、386时,机械诊察台13可按图18中所示进行定位,及校准板350可被放在机械诊察台13上使得校准板350的具有校准标记的区域的中心分别位于治疗室等中心392和成像设备384的孔382的中心394处。这可通过校准标记彼此间隔开治疗室等中心392与成像设备384的孔382的中心394之间的已知固定距离并基于来自激光灯光系统(未示出)的、突出治疗室等中心392和成像设备384的孔382的中心394的激光投射对准校准板350而实现。
校准标记的图案的图像则可通过第一监测系统380和第二监测系统386获得,及第一和第二监测系统380、386的摄像机的图像平面相对于成像设备384的孔382的中心394及治疗室等中心392的相对位置可基于监测系统380、386捕获的校准标记的图像确定。
在校准板350具有与图15中所示类似的标记的情形下,其中监测系统的摄像机的位置和定向基于与正方形的拐角对应的一组圆圈255-258、259-262的识别进行确定,系统的校准可考虑患者220在成像位置和治疗位置之间旋转90度,如现在将阐释的。
当按图18中所示定位时,第一组校准标记252的图像由第一监测系统380获得,及第二组校准标记254的图像由第二监测系统386获得。由第一监测系统380获得的第一组校准标记252的图像之后基于第一组校准标记252中特定圆圈255-258识别为正方形的拐角而进行处理,例如将圆圈255识别为正方形的左上拐角,圆圈256识别为正方形的右上拐角,圆圈257识别为正方形的左下拐角,及圆圈258识别为正方形的右下拐角。由第二监测系统386获得的第二组校准标记254的图像之后基于第二组校准标记254中特定圆圈259-262形成正方形的拐角的识别而进行处理,例如将圆圈261识别为正方形的左上拐角,圆圈259识别为正方形的右上拐角,圆圈262识别为正方形的左下拐角,及圆圈260识别为正方形的右下拐角。通过将来自第一组校准标记252和第二组校准标记254的特定圆圈识别为正方形的拐角,这些正方形相对于彼此旋转90度,这导致第一和第二监测系统380、386能被校准,使得第一和第二监测系统380、386的模型空间被旋转90度并平移与治疗室等中心392和成像设备384的孔382的中心394之间的距离对应的距离,因而有利于两个监测系统产生的模型之间的比较。
尽管在上面已描述监测系统和校准方法的两个具体例子,应意识到,监测系统和校准方法的多个不同细节可变化。
因而,例如,在第二描述的例子中,成像设备384和治疗设备388已被描述为彼此成直角,及该系统已被描述为通过用正方形拐角识别特定圆圈而说明患者在成像位置和治疗位置之间的旋转。应意识到,在其它实施例中,通过提供校准板250上的校准标记的图案,其它旋转角度可被说明,其中部分标记被旋转预定角度使得处于两个不同区域(将位于治疗室等中心和成像等中心附近的区域)的标记成与治疗位置和成像位置之间的固定旋转角度对应的角度,因而在校准时,监测系统在旋转相等角度的模型空间中产生模型。
还应意识到,尽管在上面描述的实施例中已描述校准标记的特定图案,在其它实施例中,其它图案也可用于确定监测系统的摄像机的相对位置和定向。
还应意识到,尽管在上面描述的例子中已描述矩形校准板250形式的校准物体,也可使用其它形式的校准物体。因而,例如,不是矩形形状,校准物体可包括通过杆连接的两个具有校准标记的平面区域,其中所述杆用于使校准区域间隔开与第一和第二监测位置之间的距离如准备区域和治疗区域或者治疗区域和成像区域之间的距离对应的固定距离。
在一些实施例中,校准物体如校准板250可被设置成包含一组不透X光标志以帮助识别监测系统摄像机230-234、380、386和辐照位置如治疗室等中心226、392的相对位置或者相对于成像设备的固定位置394。
在前述实施例中,除了按先前的实施例中所描述的进行定位和成像之外,校准物体可另外被治疗设备辐照以获得位于治疗室等中心226、392附近的不透X光标志的辐照图像。所获得的辐照图像之后可被分析以识别校准物体的定位与治疗室等中心226、392之间的对应。当校准患者监测系统10时,识别的治疗室等中心226、392位置可用于固定患者监测系统10的坐标系,患者监测系统10被设置成相对于识别的位置并在距该位置固定距离的模型空间中产生模型。这样,通过提供包含不透X光标志的校准物体,患者监测系统10可相对于治疗室等中心226、392更准确地校准,因为以这种方式校准该系统避免了因激光灯光系统的可能不准确引起的任何误差。
尽管在上面描述的实施例中,包括用于监测患者的立体摄像机的监测系统已被描述为被校准,应意识到,所描述的校准患者监测系统的方法一般也可应用于其它形式的患者监测系统,包括利用其它形式的3D摄像机如飞行时间摄像机和基于结构光投射到拟建模物体的表面上的图案的成像的摄像机的患者监测系统。
应注意,不同于前面部分所定义的、其它类型的校准物体也可使用。也就是说,在实施例中,校准板可以是有源校准板。有源校准板定义为配置成主动照亮的校准板,即在其上包括照亮的标志。校准板的图案可以是如在此所述的图案,然而,也可预见其它类型的校准图案。
在本发明的前面部分,已描述与监测被例如基于孔的医疗设备治疗和/或扫描的患者有关的多个实施例。具体地,所描述的实施例与怎样经摄像机监测系统监测患者在准备阶段的移动和患者在例如扫描和/或治疗阶段的移动有关。如先前提及的,在医学诊断和治疗领域,有目标在于优化关于例如癌症患者的扫描和治疗的程序的趋势。在这方面,如结合图12-18所提及的,已有将扫描物理治疗设备如CT和MR扫描仪与放射治疗扫描仪结合的目标,因而需要在患者位于基于孔的医疗设备内时能够监测患者的摄像机监测系统。这样的系统的例子已至少结合图17和18及本发明中描述的摄像机监测系统和校准方法进行阐释。
然而,在这样的系统的进一步发展中,预期医疗设备的放射治疗部分形成基于孔的成像设备如CT和/或MR扫描仪的一体部分。在该情形下,诊察台仅需要位于组合的扫描和治疗、基于孔的系统的孔内。在这样的系统中,其在图19-22中示意性示出,有如在此描述的使能监测患者的类似需要。
因而,现在将更详细地描述用于扫描物理设备和治疗物理设备集成于其中的、基于孔的医疗设备的摄像机监测系统的实施例。
参考图19,示出了摄像机监测系统的一实施例。该摄像机监测系统配置成结合基于孔的医疗设备501进行设置,其中基于孔的医疗设备501包括具有孔511并包围CT或MR成像物理设备连同放射治疗辐射束的外壳结构510。外壳结构510的孔511配置成接收诊察台512,其中在使用期间,患者将被定位到诊察台512上。
如该图中所示,摄像机监测系统500配置成结合外壳结构进行设置并包括至少一移动监测摄像机520,其具有按孔511内的一方向定向的第一视场并配置成在医疗设备使用期间尤其在放射治疗期间记录患者的至少目标区域的图像。移动监测摄像机优选向孔内延伸一定距离,因而以点线示出以标示移动监测摄像机实质上被外壳结构510遮盖。
摄像机监测系统还包括至少一准备摄像机522,定向成在孔511外面的一方向具有第二视场并配置成在将患者定位到诊察台512上期间记录患者的图像。移动摄像机520和准备摄像机522均配置成与至少一患者监测处理器530数据通信,该患者监测处理器配置成从每一摄像机接收图像数据。结合该实施例描述的移动监测处理器实质上对应于结合图2所示的计算机。该移动监测处理器配置成i)在准备阶段处理来自准备摄像机的图像数据,以产生躺在诊察台上的患者的3D表面模型并使所产生的3D模型表面与患者监测处理器中存储的参考表面相关联;及随后ii)在监测阶段处理从移动监测摄像机520接收的图像数据以产生躺在诊察台512上的所述患者的随时间而变的3D表面模型,及在所述诊察台512被移入医疗设备的孔511内时。这样,患者监测处理器530配置成跟踪患者的随时间而变的3D表面模型相对于参考表面的任何移动,其中随时间而变的3D表面模型相对于所述参考表面的移动被输出为移位值。
应注意,这些图示出了至少两个准备摄像机521、522,然而,应当理解,仅一个摄像机也可用于准备摄像机。
对于在此描述的所有实施例,应当理解,在实施例中,移动监测处理器配置成输出移位值。在这里描述的实施例中,应当理解,一个或多个移位值可被输出。该/这些移位值配置成与设定的阈值比较,其中如果移位值超过设定的阈值,例如在计算机屏幕上向临床医生显示移位指示符。这使能向临床医生通知可能的患者移动,其可能已导致进行放射治疗的目标区域相较辐射束的焦点移位。这样,临床医生接到通知,治疗可能应被停止及患者应被重新定位。
在备选实施例中,移位值配置成与设定的阈值比较,其中,如果移位值超过设定的阈值,控制信号被发送给医疗设备,其中控制信号配置成停止治疗和扫描过程。
在另一实施例中,也在图19中示出,摄像机监测系统可包括至少一诊察台监测摄像机523,其具有按朝向诊察台端部的一方向定向的第三视场并面向远离孔511的方向。这使能跟踪诊察台的移动,如本发明先前的实施例中所述。因而,应注意,图19-22中所示的诊察台监测摄像机可与结合图12-13描述的诊察台监测摄像机对应地进行配置。然而,主要差别在于,在图19-22的实施例中,诊察台监测摄像机和准备摄像机配置成按远离孔511的方向引导它们相应的视场。这是因为图19-22中的摄像机被不同于图12-13所示和所述的布置在外壳结构上。然而,工作原理和功能类似。通过使用诊察台监测摄像机523,可能使用简化的校准板校准患者准备摄像机521、522和移动监测摄像机520。诊察台监测摄像机结合每一位置处的校准数据将确定两组摄像机之间的共同校准,因为校准板位置之间的偏移将被知道。
与移动监测摄像机520和准备摄像机521、522一致,诊察台摄像机523配置成将诊察台图像数据传给移动监测处理器,其中该处理器配置成利用诊察台图像数据评估诊察台在所述准备阶段的位置和诊察台在所述监测阶段的位置之间的诊察台移动,如先前所述。
在实施例中,移动监测摄像机520和准备摄像机521、522被配置为3D立体视觉摄像机系统,包括配置成分别在监测摄像机和准备摄像机的第一和第二视场内将光投射到诊察台上的投影仪,其中这些视场至少定向成与患者的目标区域相关联。应注意,也可使用其它类型的摄像机,如先前提及的。
更详细地,如图19中所示,至少一移动监测摄像机520配置成连同至少一准备摄像机521、522一起位于摄像机安装架524上。因而,如图19中所示,移动监测摄像机520位于摄像机安装架524的第一分支525上,第一分支525至少部分延伸到医疗设备的孔511内。
此外,在该实施例中,准备摄像机521、522配置成被设置在摄像机安装架524的第二分支526上。此外,摄像机安装架524也可配置成具有诊察台监测摄像机523,该诊察台监测摄像机523也被设置在第二分支526上。应注意,也可使用其它适当的构造,及这仅作为怎样相对于基于孔的医疗设备布置摄像机监测系统的例子提供。摄像机521、522的位置可在治疗系统主体内。它们的位置使得治疗专家使患者准备治疗时引起的任何阻挡最小化,因为治疗专家身体将不阻挡摄像机的查看,如果它们例如位于天花板中从而向下看患者。
现在参考图20,示出了用于基于孔的医疗设备501的摄像机监测系统的实施例。在该实施例中,使用与先前描述同样类型的摄像机。因而,将应用同样的编号,及将仅更详细地描述差别。如图20中所示,移动监测摄像机620在该实施例中配置成被集成为所述孔511的内部640的一部分。集成的移动监测摄像机620被布置和定位在孔511内,具有至少覆盖患者的目标区域的视场。
即使未进一步详细图示,应当理解,在实施例中,摄像机监测系统可包括至少两个移动监测摄像机,其中第一移动监测摄像机620配置成被集成在孔511的第一侧640中,及第二移动监测摄像机(未示出)配置成被集成在所述孔511的第二侧(未示出)中。因而,第一和第二移动监测摄像机被配置为所述外壳结构的两相对侧表面的一体部分并定向成共享与患者的目标区域相关联的共同视场。
现在参考图21A和22,示出了摄像机监测系统被部分插入到基于孔的医疗设备的孔内的例示图示。图21A示出了基于孔的医疗设备的示意性侧视图,其中诊察台712至少部分位于孔711内。如该图中所示,该系统配置成具有相应摄像机被定向到其的准备等中心751和治疗等中心752。因而,如图所示,准备摄像机721配置成具有至少覆盖准备等中心751的视场,而移动监测摄像机720配置成至少覆盖治疗等中心。治疗室等中心在确保患者不移出辐射束的焦点位置之外方面特别重要。
如图21A中进一步所示,摄像机监测系统与基于孔的医疗设备连接,使得诊察台监测摄像机723配置成覆盖覆盖可唯一识别的特征件760的视场。因而,在实施例中,诊察台包括可唯一识别的特征件,其可被跟踪。其例子可以是安装在诊察台底部处的CCTV型摄像机。特征件识别算法可用于检测唯一/独特特征件的形状(可能在霍夫(Hough)变换被应用于原图像之后),其已针对该特征件进行训练。该特征件的重心被计算,及使用校准的摄像机中的一对传感器,x、y和z坐标可被计算。通过持续跟踪该特征件,诊察台的移动/位置可被确定。
在备选实施例中,诊察台可利用结合诊察台定位或设置的标志进行监测。因而,在实施例中,如图21B中所示,标志750位于诊察台的底端并从位于孔系统前面(作为备选,上面)的诊察台监测摄像机723观察。应当理解,图21B中所示的诊察台712以与图21A中所示类似的方式插入到孔内。因而,标志750与图21A中所示的标志760实质上位于诊察台的同一端。标志750可包括一个或多个有源/主动发射器或者后向反射标志750A、750B、750C。为了全3D标志跟踪,优选可使用3个标志。这使能在诊察台移动期间跟踪诊察台位置并获得患者位置信息。
图22示出了如图21A中所示的基于孔的医疗设备的主视图。如图22中所示,该系统可配置成具有两个移动监测摄像机720’、720”,其配置成被集成到基于孔的医疗设备内或者至少延伸到基于孔的医疗设备内。应注意,该图示出了移动监测摄像机720’、720”的背侧,因而可以预见这些摄像机正对物体如孔内的患者成像。移动监测摄像机720’、720”被安装在具有第一分支725和第二分支726的摄像机安装架上。这些分支725、726中的每一个还包括准备摄像机721’、721”,其位于分支上使得准备摄像机的视场不被移动监测摄像机720’、720”遮挡。因而,移动监测摄像机720’、720”配置成覆盖包含治疗等中心的视场,及准备摄像机721’、721”配置成覆盖准备等中心而不遮挡相应的其它摄像机的视场。
此外,应当理解,分支726、725实质上处于基于孔的医疗设备上的安装后位置,其设置成邻接或者至少跟随基于孔的医疗设备外壳结构的表面。
另外的实施例包括:
实施例1:用于监测患者在间隔开固定距离的第一和第二位置的定位的患者监测系统的校准方法,该方法包括:
提供可用于在第一和第二位置附近获得患者的图像的监测系统;
提供校准物体,该校准物体具有第一组校准标记和第二组校准标记,第一组校准标记与第二组校准标记偏移与第一和第二位置之间的距离对应的距离;
定位校准物体使得第一组校准标记位于第一位置附近及第二组校准标记位于第二位置附近;
使用所述监测系统获得第一和第二组校准标记的图像;及
基于获得的图像校准所述监测系统。
实施例2:根据实施例1的方法,其中监测系统包括多个3D摄像机,其中至少一3D摄像机设置成获取第一位置附近的物体的图像及至少一3D摄像机设置成获取第二位置附近的物体的图像。
实施例3:根据实施例2的方法,其中3D摄像机包括从下组选择的3D摄像机:立体摄像机;3D飞行时间摄像机及利用结构光投射到所监测物体的表面上的3D摄像机。
实施例4:根据前面任一实施例的方法,其中第一组校准标记和第二组校准标记包括圆形标记的阵列,其中所述阵列中的圆形标记相对于彼此位于已知位置。
实施例5:根据实施例4的方法,其中校准标记还包括按相对于圆形标记的阵列成固定关系设置在校准物体表面上的一条或多条线。
实施例6:根据前面任一实施例的方法,还包括利用激光灯光系统突出空间中的一位置,其中定位校准物体使得第一组校准标记位于第一位置附近及第二组校准标记位于第二位置附近包括使校准物体的表面上的标记与激光灯光系统投射的光对准。
实施例7:根据实施例6的方法,其中通过激光灯光系统突出的空间中的位置包括与选自下组的位置对应的位置:放射治疗设备的治疗室等中心;识别经受放射治疗的患者的准备位置的中心的点;及与用于获得经受放射治疗的患者的内部图像的成像设备具有固定关系的点。
实施例8:根据前面任一实施例的方法,其中基于获得的图像校准监测系统包括处理获得的图像以确定所获得的、定位的物体的图像的图像平面相对于成像的校准物体的表面上的点的相对位置和/或定向。
实施例9:根据实施例8的方法,其中处理获得的图像以确定对应于获得的图像的图像平面相对于定位的校准物体的位置或定向包括利用获得的图像确定对应于获得的图像的图像平面相对于固定点、相对于校准物体表面上提供的出现在获得的图像中的校准标记的位置或定向。
实施例10:根据实施例9的方法,其中至少部分校准标记形成对应于正方形的拐角的点,其中处理获得的图像以确定对应于获得的图像的图像平面相对于固定点、相对于校准物体表面上提供的出现在获得的图像中的校准标记的位置或定向包括利用获得的图像确定对应于获得的图像的图像平面相对于通过校准标记识别的正方形的中心的位置或定向。
实施例11:根据前面任一实施例的方法,其中校准物体包含一组不透X光标志,该方法还包括利用治疗设备辐照定位的校准物体以获得校准物体的辐照图像;及分析获得的图像以确定校准物体相对于治疗室等中心的相对定位。
实施例12:根据前面任一实施例的方法,其中基于获得的图像校准监测系统包括校准监测系统以产生在第一模型空间中的第一位置附近观察到的物体的模型及产生在第二模型空间中的第二位置附近观察到的物体的模型,其中第一和第二模型空间偏移与第一和第二位置之间的物理距离对应的向量。
实施例13:根据前面任一实施例的方法,其中基于获得的图像校准监测系统包括校准监测系统以产生在第一模型空间中的第一位置附近观察到的物体的模型及产生在第二模型空间中的第二位置附近观察到的物体的模型,其中第一和第二模型空间相对于彼此旋转一角度。
实施例14:根据前面任一实施例的方法,其中校准标记包括校准标记的阵列,及基于获得的图像校准监测系统包括利用获得的该阵列的图像基于该阵列出现在获得的图像中而识别获得的图像中存在的透镜畸变。
实施例15:用于校准患者定位监测器的校准物体,其中患者定位监测器可用于监测患者相对于分隔开固定的物理距离的第一位置和第二位置的定位,校准物体包括位于其表面上的第一组校准标记和第二组校准标记,其中第一和第二组物理标记在校准物体表面上的、彼此物理上分隔开与可被患者定位监测器监测的第一位置和第二位置之间的距离对应的距离的点之间具有固定关系。
实施例16:根据实施例15的校准物体,其中第一组校准标记和第二组校准标记相对于彼此旋转一定角度。
实施例17:根据实施例16的校准物体,其中辐射物体包含一组不透X光标志。
当由对应的过程适当代替时,上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
除非明确指出,在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解,说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解,除非明确指出,当元件被称为“连接”或“耦合”到另一元件时,可以是直接连接或耦合到其他元件,也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出,在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到,本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外,特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见,及在此定义的一般原理可应用于其他方面。
权利要求包含与权利要求语言一致的全部范围,其中除非明确指出,以单数形式提及的元件不意指“一个及只有一个”,而是指“一个或多个”。除非明确指出,术语“一些”指一个或多个。
因而,本发明的范围应依据权利要求进行判断。

Claims (15)

1.一种3D摄像机,包括:
安装在电路板上的第一和第二图像传感器,其中第一和第二图像传感器安装在电路板的相对表面上,电路板被包含在壳体内,其还包含位于壳体内的第一和第二反射镜,使得第一图像传感器经第一反射镜被呈现拟成像物体的第一视图,及第二图像传感器经第二反射镜被呈现拟成像物体的第二视图,及其中所述摄像机还包括可用于将光投射在将通过第一和第二图像传感器成像的物体表面上的投影仪。
2.根据权利要求1所述的3D摄像机,还包括:位于第一图像传感器和第一反射镜之间的第一透镜装置,其中第一图像传感器经第一透镜装置和第一反射镜被呈现拟成像物体的第一视图。
3.根据权利要求2所述的3D摄像机,还包括:位于第二图像传感器和第二反射镜之间的第二透镜装置,其中第二图像传感器经第二透镜装置和第二反射镜被呈现拟成像物体的第二视图。
4.根据权利要求3所述的3D摄像机,其中第一和第二透镜装置沿垂直于所述电路板的表面的轴延伸。
5.根据权利要求4所述的3D摄像机,其中所述电路板、图像传感器、透镜装置和反射镜被包含在所述壳体内。
6.根据权利要求5所述的3D摄像机,其中拟成像物体的第一和第二视图对应于观看拟成像物体的图像平面,这些图像平面位于包含电路板、图像传感器、透镜装置和反射镜的壳体外面。
7.根据前面任一权利要求所述的3D摄像机,其中第一和第二反射镜相对于电路板的表面成约45度的角度,优选地,第一和第二反射镜相对于电路板的表面成约43.5度的角度。
8.根据前面任一权利要求所述的3D摄像机,其中所述3D摄像机配置成沿基于孔的医疗设备的孔的内顶表面插入到所述孔中,使得所述摄像机的顶部与所述孔的内顶表面对齐,其中所述摄像机配置成具有在从所述摄像机的顶部朝向所述摄像机的底部的向下方向成角度的第一反射镜和第二反射镜,及其中,另外,第一和第二反射镜朝向所述摄像机的中心向内成角度,其中,另外,第一和第二传感器相对于第一和第二反射镜进行设置,以从第一和第二反射镜提供垂直的视平面。
9.根据前面任一权利要求所述的3D摄像机,还包括第三和第四图像传感器,其中第三和第四图像传感器安装在所述电路板的相对表面上,所述摄像机还包含位于所述壳体内的第三和第四反射镜,使得第三图像传感器经第三反射镜被呈现拟成像物体的第三视图,及第四图像传感器经第四反射镜被呈现拟成像物体的第四视图。
10.根据权利要求9所述的3D摄像机,还包括位于第三图像传感器和第三反射镜之间的第三透镜装置及位于第四图像传感器和第四反射镜之间的第四透镜装置,其中第三图像传感器经第三透镜装置和第三反射镜被呈现拟成像物体的第三视图,及第四图像传感器经第四透镜装置和第四反射镜被呈现拟成像物体的第四视图。
11.根据权利要求10所述的3D摄像机,其中第三和第四反射镜相对于第一和第二反射镜成一定角度。
12.根据权利要求11所述的3D摄像机,其中第一和第三反射镜及第二和第四反射镜被提供在菱形梯形体的表面上。
13.根据权利要求1所述的3D摄像机,其中所述投影仪为散斑投影仪并包括光源、准直器和透镜装置。
14.根据权利要求13所述的3D摄像机,其中所述光源、所述准直器和投影仪中的透镜装置沿位于包含所述电路板的平面内的轴对准。
15.用于基于孔的医疗设备的摄像机监测系统,所述医疗设备具有:
可用于记录患者的诊断图像的成像设备;
集成在所述基于孔的医疗设备内并可用于向患者施加辐射的治疗设备;
可用于相对于所述基于孔的医疗设备的孔定位患者的机械诊察台;
所述摄像机监测系统包括:
一个或多个根据前面任一权利要求所述的3D摄像机;及
可用于处理由一个或多个3D摄像机的图像传感器获得的图像并产生所成像物体的表面的3D模型的处理器,其中一个或多个3D摄像机中的至少一个配置成被集成在所述基于孔的医疗设备的所述孔内和/或至少延伸到所述孔内,例如以具有覆盖所述医疗设备的所述孔的内部的摄像机视场。
CN201910315158.0A 2018-04-18 2019-04-18 用于在基于孔的医疗系统中监测患者的摄像机监测系统及其校准方法 Active CN110392247B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GBGB1806339.6A GB201806339D0 (en) 2018-04-18 2018-04-18 3D camera system
GB1806339.6 2018-04-18
GB1808304.8 2018-05-21
GBGB1808304.8A GB201808304D0 (en) 2018-05-21 2018-05-21 Calibration method for calibrating a patient monitoring system

Publications (2)

Publication Number Publication Date
CN110392247A true CN110392247A (zh) 2019-10-29
CN110392247B CN110392247B (zh) 2024-02-27

Family

ID=66217750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910315158.0A Active CN110392247B (zh) 2018-04-18 2019-04-18 用于在基于孔的医疗系统中监测患者的摄像机监测系统及其校准方法

Country Status (4)

Country Link
US (2) US11612762B2 (zh)
EP (1) EP3557531A1 (zh)
JP (1) JP7326009B2 (zh)
CN (1) CN110392247B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112515695A (zh) * 2020-12-02 2021-03-19 上海西门子医疗器械有限公司 Ct机系统及其状态监测方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627944B2 (en) 2004-11-30 2023-04-18 The Regents Of The University Of California Ultrasound case builder system and method
US11631342B1 (en) 2012-05-25 2023-04-18 The Regents Of University Of California Embedded motion sensing technology for integration within commercial ultrasound probes
US10380919B2 (en) 2013-11-21 2019-08-13 SonoSim, Inc. System and method for extended spectrum ultrasound training using animate and inanimate training objects
CN104644205A (zh) 2015-03-02 2015-05-27 上海联影医疗科技有限公司 用于影像诊断的患者定位方法及系统
US11576578B2 (en) * 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
US11576645B2 (en) * 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
US11600201B1 (en) 2015-06-30 2023-03-07 The Regents Of The University Of California System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems
US10896628B2 (en) 2017-01-26 2021-01-19 SonoSim, Inc. System and method for multisensory psychomotor skill training
US11810473B2 (en) * 2019-01-29 2023-11-07 The Regents Of The University Of California Optical surface tracking for medical simulation
US11495142B2 (en) 2019-01-30 2022-11-08 The Regents Of The University Of California Ultrasound trainer with internal optical tracking
EP3821943B1 (en) 2019-11-12 2024-03-27 Vision RT Limited Bore based medical system comprising a camera carrier configured to be mounted in the bore-based medical systems and utilized for positioning and monitoring of patients during radiotherapy treatment
JP7381362B2 (ja) * 2020-02-19 2023-11-15 キヤノンメディカルシステムズ株式会社 監視装置、被検体監視方法及び医用画像診断装置
US11839777B2 (en) * 2020-09-21 2023-12-12 Shanghai United Imaging Healthcare Co., Ltd. Medical systems including a positioning lamp and a projection device and control methods of the medical systems
US20220322973A1 (en) * 2021-04-08 2022-10-13 Mazor Robotics Ltd. Systems and methods for monitoring patient movement
GB2623776A (en) * 2022-10-26 2024-05-01 Elekta ltd Optical surface tracking camera placement for radiotherapy

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873572A (en) * 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JP2010191325A (ja) * 2009-02-20 2010-09-02 Fujifilm Corp 撮影装置
EP2687159A1 (en) * 2012-07-20 2014-01-22 Deutschmann, Heinrich Patient positioning and imaging system
CN104204852A (zh) * 2012-03-08 2014-12-10 约翰霍普金斯大学 辐射治疗中的实时机械和剂量测定质量保证测量的方法和装置
US20160256712A1 (en) * 2013-10-17 2016-09-08 Koninklijke Philips . N.V. Medical apparatus with a radiation therapy device and a radiation detection system
CN103889353B (zh) * 2011-08-12 2017-05-03 直观外科手术操作公司 外科手术器械中的图像捕获单元
EP3247458A1 (en) * 2016-04-13 2017-11-29 Vision RT Limited A patient monitoring system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0820603B2 (ja) * 1987-02-27 1996-03-04 オリンパス光学工業株式会社 ビデオスコ−プ装置
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
DE10392670B4 (de) * 2002-05-16 2012-10-11 C2Cure Inc. Miniatur-Kamerakopf
GB2465298B (en) 2004-09-24 2010-06-30 Vision Rt Ltd Image processing system for use with a patient positioning device
US8235530B2 (en) * 2009-12-07 2012-08-07 C-Rad Positioning Ab Object positioning with visual feedback
WO2012149548A2 (en) 2011-04-29 2012-11-01 The Johns Hopkins University System and method for tracking and navigation
GB2501516B (en) * 2012-04-26 2017-11-29 Vision Rt Ltd 3D Camera system
US10327708B2 (en) * 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
JP5730339B2 (ja) * 2013-01-25 2015-06-10 富士フイルム株式会社 立体内視鏡装置
CN104812307B (zh) 2013-06-28 2017-10-24 皇家飞利浦有限公司 计算机断层摄影系统
GB2530790B (en) 2014-10-02 2016-10-19 Vision Rt Ltd Method of calibrating a patient monitoring system for use with a radiotherapy treatment apparatus
GB2538274B8 (en) * 2015-05-13 2017-09-27 Vision Rt Ltd A target surface
KR102658303B1 (ko) * 2016-02-18 2024-04-18 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873572A (en) * 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JP2010191325A (ja) * 2009-02-20 2010-09-02 Fujifilm Corp 撮影装置
CN103889353B (zh) * 2011-08-12 2017-05-03 直观外科手术操作公司 外科手术器械中的图像捕获单元
CN104204852A (zh) * 2012-03-08 2014-12-10 约翰霍普金斯大学 辐射治疗中的实时机械和剂量测定质量保证测量的方法和装置
EP2687159A1 (en) * 2012-07-20 2014-01-22 Deutschmann, Heinrich Patient positioning and imaging system
US20160256712A1 (en) * 2013-10-17 2016-09-08 Koninklijke Philips . N.V. Medical apparatus with a radiation therapy device and a radiation detection system
EP3247458A1 (en) * 2016-04-13 2017-11-29 Vision RT Limited A patient monitoring system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112515695A (zh) * 2020-12-02 2021-03-19 上海西门子医疗器械有限公司 Ct机系统及其状态监测方法
CN112515695B (zh) * 2020-12-02 2024-05-10 上海西门子医疗器械有限公司 Ct机系统及其状态监测方法

Also Published As

Publication number Publication date
US20190321657A1 (en) 2019-10-24
US11612762B2 (en) 2023-03-28
JP2019188137A (ja) 2019-10-31
CN110392247B (zh) 2024-02-27
JP7326009B2 (ja) 2023-08-15
EP3557531A1 (en) 2019-10-23
US20230181932A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
CN110392247A (zh) 用于在基于孔的医疗系统中监测患者的摄像机监测系统及其校准方法
US11628313B2 (en) Patient monitor
ES2371357T3 (es) Geometría de formación de imágenes.
US6379041B1 (en) X-ray apparatus for producing a 3D image from a set of 2D projections
US20170219498A1 (en) Optical geometry calibration devices, systems, and related methods for three dimensional x-ray imaging
CN1933782B (zh) X射线检查设备和方法
CN111132730B (zh) 与放射治疗设备一起使用的患者监测系统的校准方法
US7621169B2 (en) Systems and methods for integrating a navigation field replaceable unit into a fluoroscopy system
US10772576B2 (en) X-ray imaging apparatus and control method thereof
JP7319055B2 (ja) 患者プランニング及び治療システム用の多目的オブジェクト
CN107872983B (zh) 目标表面
JP6896649B2 (ja) 画素単位減衰因子を導き出すために色空間情報を用いる周囲光抑制
KR20200118719A (ko) 방사선 진단 및 치료 장치의 모션 평가 시스템 및 방법
Corbi et al. Joint calibration of RGB and X-ray cameras
Camps et al. Evaluation of optical localization in the visible band for ultrasound guidance in radiotherapy using a robotic arm
JP3906123B2 (ja) カメラ用画像出力較正装置
CN116919591A (zh) 一种光学成像装置及成像方法
Li et al. Performance assessment of 3D surface imaging technique for medical imaging applications
CN112102469A (zh) 三维建模系统、扫描系统及其控制方法
Willoughby et al. Sanford L. Meeks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant