CN110464301A - 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 - Google Patents

用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 Download PDF

Info

Publication number
CN110464301A
CN110464301A CN201910425303.0A CN201910425303A CN110464301A CN 110464301 A CN110464301 A CN 110464301A CN 201910425303 A CN201910425303 A CN 201910425303A CN 110464301 A CN110464301 A CN 110464301A
Authority
CN
China
Prior art keywords
target
camera
motion
scanner
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910425303.0A
Other languages
English (en)
Inventor
杰弗里·N·于
约翰·亚瑟·洛夫贝格
小江·杰森·潘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KINETICOR Inc
Original Assignee
KINETICOR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/831,115 external-priority patent/US9305365B2/en
Application filed by KINETICOR Inc filed Critical KINETICOR Inc
Publication of CN110464301A publication Critical patent/CN110464301A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/682Mouth, e.g., oral cavity; tongue; Lips; Teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/70Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/702Posture restraints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A61B6/527Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion using data from a motion artifact sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/283Intercom or optical viewing arrangements, structurally associated with NMR apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56509Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

用于在医学成像扫描期间追踪和补偿患者运动的运动补偿系统包括:光标记物,其包括光学可见图案和安装部分;第一光检测器,其被定位以沿第一视线对光学可见图案进行数字成像;第二光检测器,其被定位以沿第二视线对光学可见图案进行数字成像;追踪引擎,其被配置成通过分析来自第一和第二光检测器的图像来确定物体在六个自由度上的姿态;以及控制器接口,其被配置成基于姿态产生追踪信息并将追踪信息以电子方式发送至扫描仪控制器以使得得以在医学成像扫描仪中对物体运动做出补偿。

Description

用于在医学成像扫描期间追踪和补偿患者运动的系统、设备 和方法
本申请是以下申请的分案申请:申请日,2014年01月23日;申请号,201480018029.0; 发明创造名称,用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法。
关联申请的援引加入
本申请是一件PCT申请,它要求2013年3月14日提交的题为“system,device andmethod for tracking moving targets(用于追踪移动目标的系统、设备和方法)”的美国专利申 请No.13/831,115的优先权,并要求2013年1月24日提交的题为“six degrees offreedom optical tracker(六自由度光学追踪器)”的美国临时专利申请No.61/849,338的权益。本申请 也要求2013年6月12日提交的题为“systems,devices and methods fortracking moving targets(用于追踪移动目标的系统、设备和方法)”的美国临时专利申请No.61/834,382的优 先权。前述每篇申请完整地以引用的方式包含于此。
技术领域
本发明涉及一种用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法。
背景技术
本公开文本总体涉及运动追踪领域,更具体地涉及在医学成像扫描期间追踪和补偿 患者运动的系统、设备和方法。
有多种模式可执行对患者的医学成像。例如,核磁共振成像(MRI)是放射学中使用的 医学成像技术,以详细地图像化身体的内部结构。MRI扫描仪是一种设备,其中患者或患者身体的一部分被定位在强磁体下,其中使用磁场来对准某些原子核(一般是氢原子核——质子)的磁化,并且施加射频磁场以系统地改变这种磁化对准。这使得原子核产生可由扫描仪检测到的旋转磁场,并且该信息被记录以构造身体的受扫描区域的图像。这些 扫描通常花费若干分钟(在一些扫描仪内高达大约40分钟),并且在现有技术的设备中, 任何显著移动都可能损毁这些图像并需要重复扫描。2012年2月21日颁证的题为“motiontracking system for real time adaptive imaging and spectroscopy(用于实时适应性成像和光谱 分析的运动追踪系统)”的美国专利No.8,121,361描述了适应性地补偿目标运动的系统, 并且其公开内容被援引加入于此。
另外,有多种放射疗法、质子疗法和其它疗法可施加至患者。例如,放射疗法可施加 至目标组织区域。在一些系统中,可响应于患者运动而动态地施加放射疗法。然而,在许多这样的系统中,患者运动的追踪不具有高的精确度。因此,这些系统的使用可能导致 将放射疗法施加至非目标组织区域,由此在有意地影响病变组织的同时无意地伤害到健 康组织。前述问题对于质子疗法和其它疗法而言也是如此。
发明内容
本公开文本提供了在医学成像扫描期间(例如在核磁共振成像扫描期间)追踪和补偿 患者运动的系统、设备和方法。
一种在MRI扫描或治疗期间确定患者头部或其它身体部分的动态位置和取向的准确 且可靠的方法是在这些期间补偿目标运动的任何尝试中的必要条件。为此,本文披露了包括实践性光学头部追踪能力的系统和方法,它们使用至少第一传感器(例如第一相机)和第二传感器(例如第二相机),比如一对相机,例如常见的CCD相机、常见的白光或LED 照明以及标记物或目标,比如可舒适地和牢固地安装在对象骨架上的紧凑的、不昂贵的 目标。相机可配置为检测任何要求的波长或波长范围内的能量,包括例如红外、近红外、 可见或外光谱中的一个或多个。一些优选实施例可追踪具有多达和包括六个自由度(有时 被称为6-DOF)的头部和其它身体运动。
出于概括该发明的目的,本文描述了本发明的某些方面、优势和新颖性特征。要理解,不一定所有这些优势都能根据本发明的任何具体实施例来获得。因此,例如本领域 内技术人员将认识到,本发明可以这样一种方式实现:它取得本文教导的一个优势或一 组优势,但不一定取得本文可能教导或暗示的其它优势。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的运动补偿系统包括: 光标记物,其包括光学可见图案和安装部分,所述安装部分被配置成将光标记物固定至 被追踪的物体,所述光学可见图案包括多个基准点定位器,每个定位器被配置成限定基准形状的单个基准点;第一光检测器,其沿第一视线定位以数字成像光学可见图案,所 述第一光检测器被配置成产生光学可见图案的第一数字图像;第二光检测器,其沿第二 视线定位以数字成像光学可见图案,所述第二光检测器被配置成产生光学可见图案的第 二数字图像;追踪引擎,其被配置成通过分析第一和第二图像来确定六个自由度上的物 体姿态;以及控制器接口,其被配置成基于姿态产生追踪信息并将追踪信息以电子方式 发送至扫描仪控制器,以在医学成像扫描仪中实现物体运动的补偿;其中追踪引擎和控 制器接口包括计算机处理器和电子存储介质。
在一些实施例中,安装部分被配置成将光标记物牢固地连接至被追踪的物体。在一 些实施例中,安装部分被配置成将光标记物附于患者的顶齿。在一些实施例中,安装部分被配置成定制配合患者的顶齿。在一些实施例中,安装部分包括粘合剂。在一些实施 例中,光学可见图案位于单个单元结构上。在一些实施例中,光学可见图案分布在至少 两个非连接结构之间。在一些实施例中,光标记物是内部发光的。在一些实施例中,多个 基准点定位器包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形被配置成当被 追踪的物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中,第一和 第二视线隔开90°。在一些实施例中,椭圆形被配置成当沿着与光学可见图案的法线相隔 45°的视线观察时呈圆形。在一些实施例中,第一和第二视线相隔30°。在一些实施例中, 第一和第二视线相隔60°。在一些实施例中,第一和第二视线相隔30-100°的角度。在一 些实施例中,第一视线与光学可见图案的法线具有第一角度的角偏移而第二视线与光学 可见图案的法线具有第二角度的角偏移,其中第一角度的大小与第二角度的大小相同。 在一些实施例中,第一视线与光学可见图案的法线具有第一角度的角偏移而第二视线与 光学可见图案的法线具有第二角度的角偏移,其中第一角度的大小与第二角度的大小不 同。在一些实施例中,椭圆形被配置成当沿着与光学可见图案的法线相隔15°的视线观察 时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角 形。在一些实施例中,基准形状是具有0.5英寸边长的等边三角形。在一些实施例中,每 个基准点离开另一基准点不超过0.5英寸。在一些实施例中,每个基准点由基准点定位器 的质心定义。在一些实施例中,基准形状是三角形,该三角形被配置成当被追踪的物体 处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,基准形状不 是光学可见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的 虚拟基准形状。在一些实施例中,追踪引擎被配置成花费不超过8毫秒来确定物体的姿 态。在一些实施例中,追踪引擎被配置成花费不超过10毫秒来确定物体的姿态。在一些 实施例中,追踪引擎被配置成在至少100Hz的频率下重复地确定物体的姿态。在一些实 施例中,追踪引擎被配置成在不低于医学成像扫描仪的扫描速率的速率下确定物体的姿 态。在一些实施例中,第一和第二光检测器被配置成连接至医学成像扫描仪。在一些实 施例中,第一和第二光检测器被配置成连接至头笼。在一些实施例中,第一和第二视线 中的至少一个是间接视线。在一些实施例中,使用镜子重新导向该间接视线。在一些实 施例中,使用棱镜重新导向该间接视线。在一些实施例中,系统进一步包括:用于照亮光 学可见图案的光源。在一些实施例中,被追踪的物体是人类患者的头部。在一些实施例 中,第一和第二光检测器被配置成当光标记物在预计运动范围内移动时使得光学可见图 案一直在检测器的视场内。在一些实施例中,追踪引擎被进一步配置成定义对每个数字 图像感兴趣的区域,感兴趣的区域包含其中光学可见图案预期会出现的数字图像部分, 其中追踪引擎被配置成在确定物体姿态时仅分析感兴趣的区域。在一些实施例中,追踪 引擎被配置成基于被追踪的物体的预期的未来运动自动地移动感兴趣的区域。在一些实 施例中,分析第一和第二图像包括:确定基准点在光检测器的坐标系内的二维位置;基 于基准点的二维位置计算基准形状的六个基准属性;迭代地估算被追踪的物体的姿态, 直到误差量落在一阈值量以内,所述误差量是六个基准属性和六个比较属性之间的误差 量,所述六个比较属性通过假设物体处于估计姿态而计算出。在一些实施例中,基准属 性和比较属性包括下面列出的至少一个:沿第一视线观察到和沿第二视线观察到的基准 形状的位移之和;沿第一视线观察到和沿第二视线观察到的基准形状的位移之差;沿第 一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;沿第一视 线观察到的和沿第二视线观察到的基准形状的可视中位倾斜(apparentmedian tilt)之和; 以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之间的差。在 一些实施例中,控制器接口被进一步配置成将物体的姿态从追踪坐标系转换到扫描仪坐 标系。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的运动补偿系统包括: 光标记物,其包括光学可见图案和安装部分,所述安装部分被配置成将光标记物固定至 被追踪的物体,所述光学可见图案包括多个基准点定位器,每个定位器被配置成限定基准形状的单个基准点;光检测器,其沿第一视线和沿第二视线定位以数字成像光学可见 图案,所述第一视线和第二视线由至少一个分束器形成,所述光检测器被配置成产生光 学可见图案的数字图像;所述数字图像包括来自沿第一视线和第二视线两者的光学可见 图案的视图;追踪引擎,其被配置成通过分析数字图像来确定六个自由度上的物体姿态; 以及控制器接口,其被配置成基于姿态产生追踪信息并将追踪信息以电子方式发送至扫 描仪控制器,以在医学成像扫描仪中实现物体运动的补偿;其中追踪引擎和控制器接口 包括计算机处理器和电子存储介质。
在某些实施例中,一种追踪物体运动的计算机实现方法包括:通过计算机系统从第 一光检测器接收光标记物的第一数字图像,所述第一数字图像代表光标记物沿第一视线 的视图;通过计算机系统从第二光检测器接收光标记物的第二数字图像,所述第二数字图像代表光标记物沿第二视线的视图,第二视线不同于第一视线,其中光标记物包括多 个光学可见的界标,所述多个光学可见的界标限定多个基准点,所述多个基准点限定基 准形状;通过计算机系统确定多个基准点在第一数字图像中的位置;通过计算机系统确 定多个基准点在第二数字图像中的位置;使用计算机系统计算与基准形状关联的多个基 准属性,所述多个基准属性是基于多个基准点的确定位置计算出的;以及使用计算机系 统重复地估计物体的三维姿态,直到误差测量落在可接受的量之内为止,所述误差测量 是基于将多个基准属性与多个对比属性相比而计算出的,所述多个对比属性是通过假设 物体处于估计的姿态而计算出的,其中计算机系统包括计算机处理器和电子存储介质。
在一些实施例中,多个基准属性中的每一个是基于沿第一视线观察到的和沿第二视 线观察到的基准形状的属性而计算出的。在一些实施例中,多个基准属性中的每一个描述沿第一视线观察到的基准形状和沿第二视线观察到的基准形状之间的不同变化。在一些实施例中,多个基准属性和多个对比属性包括下面列出的至少一个:沿第一视线观察 到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视线观察到 的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第 二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾 斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之间 的差。在一些实施例中,多个基准属性和多个对比属性各自包括六个属性。在一些实施 例中,确定第一和第二数字图像中的多个基准点的位置包括:确定第一坐标集,该第一 坐标集定义由第一光检测器观察到的基准形状的第一二维投影;以及确定第二坐标集, 该第二坐标集定义由第二光检测器观察到的基准形状的第二二维投影。在一些实施例中, 计算多个基准属性包括将第一投影与第二投影进行比较。在一些实施例中,该方法进一 步包括:通过计算机系统基于估计的物体三维姿态而产生运动追踪数据;并以电子方式 将运动追踪数据发送至扫描仪控制器以允许扫描仪补偿物体的运动。在一些实施例中, 该方法花费不超过10毫秒的时间。在一些实施例中,该方法花费不超过8毫秒的时间。 在一些实施例中,该方法还包括在至少100Hz的频率下重复该方法。在一些实施例中, 多个光学可见界标包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形被配置成 当被物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中,基准形状 是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是三角 形,该三角形被配置成当物体处于原始位置并沿第一和第二视线观察时呈等边三角形。 在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有限定虚 拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,每个基准点由光学可见 界标的质心定义。
某些实施例包括计算机可读、非临时存储介质,其上存储有计算机程序以使适当编 程的计算机系统通过一个或多个处理器计算机程序代码进行处理,当所述计算机程序在 所述适当编程的计算机系统上执行时,执行追踪目标运动的方法,所述方法包括:通过计算机系统从第一光检测器接收光标记物的第一数字图像,所述第一数字图像代表光标记物沿第一视线的视图;通过计算机系统从第二光检测器接收光标记物的第二数字图像,所述第二数字图像代表光标记物沿第二视线的视图,第二视线不同于第一视线,其中光 标记物包括多个光学可见的界标,所述多个光学可见的界标限定多个基准点,所述多个 基准点限定基准形状;通过计算机系统确定多个基准点在第一数字图像中的位置;通过 计算机系统确定多个基准点在第二数字图像中的位置;使用计算机系统计算与基准形状 关联的多个基准属性,所述多个基准属性是基于多个基准点的确定位置计算出的;以及 使用计算机系统重复地估计物体的三维姿态,直到误差测量落在可接受的量之内为止, 所述误差测量是基于将多个基准属性与多个对比属性相比而计算出的,所述多个对比属 性是通过假设物体处于估计的姿态而计算出的,其中计算机系统包括计算机处理器和电 子存储介质。
在一些实施例中,多个基准属性中的每一个是基于沿第一视线观察到的基准形状和 沿第二视线观察到的基准形状的属性而计算出的。在一些实施例中,多个基准属性中的每一个描述沿第一视线观察到的基准形状和沿第二视线观察到的基准形状之间的不同变化。在一些实施例中,多个基准属性和多个对比属性包括下面列出的至少一个:沿第一 视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视 线观察到的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基 准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可 视中位倾斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位 倾斜之间的差。在一些实施例中,多个基准属性和多个对比属性各自包括六个属性。在 一些实施例中,确定第一和第二数字图像中的多个基准点的位置包括:确定第一坐标集, 该第一坐标集定义由第一光检测器观察到的基准形状的第一二维投影;以及确定第二坐 标集,该第二坐标集定义由第二光检测器观察到的基准形状的第二二维投影。在一些实 施例中,计算多个基准属性包括将第一投影与第二投影进行比较。在一些实施例中,该 方法进一步包括:通过计算机系统基于估计的物体三维姿态而产生运动追踪数据;并以 电子方式将运动追踪数据发送至扫描仪控制器以允许扫描仪补偿物体的运动。在一些实 施例中,该方法花费不超过10毫秒的时间。在一些实施例中,该方法花费不超过8毫秒 的时间。在一些实施例中,该方法还包括在至少100Hz的频率下重复该方法。在一些实 施例中,多个光学可见界标包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形 被配置成当被物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中, 基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形 状是三角形,该三角形被配置成当物体处于原始位置并沿第一和第二视线观察时呈等边 三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有 限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,每个基准点由光 学可见界标的质心定义。
在某些实施例中,一种用于追踪物体运动的系统包括:标记物位置过滤器,用于确定标记物基准点的位置,所述标记物位置过滤器被配置成:从第一光检测器接收光标记 物的第一数字图像,所述第一数字图像代表光标记物沿第一视线的视图;从第二光检测 器接收光标记物的第二数字图像,所述第二数字图像代表光标记物沿第二视线的视图, 所述第二视线与所述第一视线不同,其中光标记物包括多个光学可见界标,所述多个光 学可见界标定义多个基准点,所述多个基准点定义基准形状;确定第一数字图像中的多 个基准点的位置;以及确定第二数字图像中的多个基准点的位置;物体取向过滤器,用 于估计物体的三维姿态,所述物体取向过滤器被配置成:计算与基准形状关联的多个基 准属性,所述多个基准属性是基于多个基准点的确定位置计算出的;并重复地估计物体 的三维姿态,直到误差测量落在可接受的量之内为止,所述误差测量是基于将多个基准 属性与多个对比属性相比而计算出的,所述多个对比属性是通过假设物体处于估计的姿 态而计算出的,并且一个或多个计算机被配置成运行界标位置过滤器和物体取向过滤器, 其中一个或多个计算机包括计算机处理器和电子存储介质。
在一些实施例中,多个基准属性中的每一个是基于沿第一视线观察到的基准形状和 沿第二视线观察到的基准形状的属性而计算出的。在一些实施例中,多个基准属性中的每一个描述沿第一视线观察到的基准形状和沿第二视线观察到的基准形状之间的不同变化。在一些实施例中,多个基准属性和多个对比属性包括下面列出的至少一个:沿第一 视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视 线观察到的基准形状的位移之间的差;沿第一视线观察到的和沿第二视线观察到的从第 一基准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状 的可视中位倾斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视 中位倾斜之差。在一些实施例中,多个基准属性和多个对比属性各自包括六个属性。在 一些实施例中,确定第一和第二数字图像中的多个基准点的位置包括:确定第一坐标集, 该第一坐标集定义由第一光检测器观察到的基准形状的第一二维投影;以及确定第二坐 标集,该第二坐标集定义由第二光检测器观察到的基准形状的第二二维投影。在一些实 施例中,计算多个基准属性包括将第一投影与第二投影进行比较。在一些实施例中,系 统进一步包括:控制器接口,其被配置成:基于估计的物体三维姿态而产生运动追踪数 据;并以电子方式将运动追踪数据发送至扫描仪控制器以允许扫描仪补偿物体的运动。 在一些实施例中,系统被配置成在不超过10毫秒的时间内产生估计的物体三维姿态。在 一些实施例中,系统被配置成在不超过8毫秒的时间内产生估计的物体三维姿态。在一 些实施例中,物体取向过滤器被配置成在至少100Hz的频率下重复地估计物体的三维姿 态。在一些实施例中,多个光学可见界标包括交替的暗淡和明亮的椭圆形。在一些实施 例中,椭圆形被配置成当被物体处于原始位置并沿第一和第二视线观察时呈圆形。在一 些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施 例中,基准形状是三角形,该三角形被配置成当物体处于原始位置并沿第一和第二视线 观察时呈等边三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基 准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,每 个基准点由光学可见界标的质心定义。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的计算机实现方法包括: 由一计算机系统分析沿第一视线观察到的光标记物的第一数字图像以确定沿第一视线观 察到的多个基准点的第一组二维坐标;通过计算机程序分析沿第二视线观察到的光标记 物的第二数字图像以确定沿第二视线观察到的多个基准点的第二组二维坐标;通过计算 机系统基于比较第一组和第二组二维坐标的属性来计算第一组六个主要量;通过计算机 系统提供患者在三维上的取向的估计,所述估计包括六个自由度;当患者理论上根据所 述估计取向时,使用计算机系统基于比较沿第一和第二视线观察到的理论基准点的属性 来计算第二组六个主要量;确定第一组六个主要量和第二组六个主要量之间的误差量;重复地修正估计;计算第二组六个主要量,并且如果误差量不落在可接受的阈值内则确 定误差量,直到误差量落在可接受的阈值内为止;通过计算机系统基于患者取向的估计 产生运动追踪数据;并以电子方式将所述运动追踪数据发送至扫描仪控制器以允许在医 学成像扫描期间针对患者运动对医学成像扫描仪作出补偿,其中计算机系统包括计算机 处理器和电子存储介质。
在一些实施例中,第一组六个主要量是基于由沿第一视线观察和沿第二视线观察的 多个基准点形成的基准形状的性质而计算出。在一些实施例中,第一组和第二组的六个主要量的每个主要量描述了由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状之间的不同变化。在一些实施例中,第一组和第二组的六个主要量的这些主要量 包括下列至少一个:由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准 形状的位移之和;由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形 状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点 的距离差;由沿第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的 可视中位倾斜之和;以及沿由第一视线观察到的和沿第二视线观察到的多个基准点形成 的基准形状的可视中位倾斜之差。在一些实施例中,该方法花费不超过10毫秒的时间。 在一些实施例中,该方法花费不超过8毫秒的时间。在一些实施例中,该方法还包括在 至少100Hz的频率下重复该方法。在一些实施例中,由多个基准点形成的基准形状是三 角形。在一些实施例中,由多个基准点形成的基准形状是等边三角形。在一些实施例中, 由多个基准点形成的基准形状是三角形,该三角形被配置成当患者处于原始位置并沿第 一和第二视线观察时呈等边三角形。在一些实施例中,由多个基准点形成的基准形状不 是光学可见的。在一些实施例中,由多个基准点形成的基准形状是一个虚拟基准形状, 其多个基准点限定虚拟基准形状的顶点。在一些实施例中,每个基准点由光学可见界标 的质心定义。
某些实施例包括计算机可读、非临时存储介质,其上存储有计算机程序以使适当编 程的计算机系统通过一个或多个处理器计算机程序代码进行处理,当所述计算机程序在 所述适当编程的计算机系统上执行时,执行在医学成像扫描期间追踪和补偿患者运动的 方法,所述方法包括:由一计算机系统分析沿第一视线观察到的光标记物的第一数字图像以确定沿第一视线观察到的多个基准点的第一组二维坐标;通过计算机程序分析沿第二视线观察到的光标记物的第二数字图像以确定沿第二视线观察到的多个基准点的第二组二维坐标;通过计算机系统基于比较第一组和第二组二维坐标的属性来计算第一组六个主要量;通过计算机系统提供患者在三维上的取向的估计,所述估计包括六个自由度;当患者理论上根据所述估计取向时,使用计算机系统基于比较沿第一和第二视线观察到的理论基准点的属性来计算第二组六个主要量;确定第一组六个主要量和第二组六个主要量之间的误差量;重复地修正估计;计算第二组六个主要量,并且如果误差量未落入 可接受的阈值内则确定误差量,直到误差量落入可接受的阈值内为止;通过计算机系统 基于患者取向的估计产生运动追踪数据;并以电子方式将所述运动追踪数据发送至扫描 仪控制器使得在医学成像扫描期间得以针对患者运动对医学成像扫描仪作出补偿,其中 计算机系统包括计算机处理器和电子存储介质。
在一些实施例中,第一组六个主要量是基于由沿第一视线观察和沿第二视线观察的 多个基准点形成的基准形状的性质被计算出的。在一些实施例中,第一组和第二组的六个主要量的每个主要量描述了由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状之间的不同变化。在一些实施例中,第一组和第二组的六个主要量的这些主要 量包括下列至少一个:由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基 准形状的位移之和;由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准 形状的位移之间的差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二 基准点的距离差;由沿第一视线观察到的和沿第二视线观察到的多个基准点形成的基准 形状的可视中位倾斜之和;以及沿由第一视线观察到的和沿第二视线观察到的多个基准 点形成的基准形状的可视中位倾斜之间的差。在一些实施例中,该方法花费不超过10毫 秒的时间。在一些实施例中,该方法花费不超过8毫秒的时间。在一些实施例中,该方 法还包括在至少100Hz的频率下重复该方法。在一些实施例中,由多个基准点形成的基 准形状是三角形。在一些实施例中,由多个基准点形成的基准形状是等边三角形。在一 些实施例中,由多个基准点形成的基准形状是三角形,该三角形被配置成当患者处于原 始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,由多个基准点形成 的基准形状不是光学可见的。在一些实施例中,由多个基准点形成的基准形状是一个虚 拟基准形状,其多个基准点限定虚拟基准形状的顶点。在一些实施例中,每个基准点由 光学可见界标的质心定义。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的运动追踪系统包括: 标记物位置过滤器,被配置成:分析沿第一视线观察的光标记物的第一数字图像以确定 沿第一视线观察到的多个基准点的第一组二维坐标;以及分析沿第二视线观察的光标记 物的第二数字图像以确定沿第二视线观察到的多个基准点的第二组二维坐标;一物体方 位过滤器,被配置成:基于比较第一组和第二组二维坐标的属性而计算第一组六个主要量;提供患者在三维上的方位的估计,所述估计包括六个自由度;当患者理论上根据所 述估计取向时,基于比较沿第一和第二视线观察到的理论基准点的属性来计算第二组六 个主要量;确定第一组六个主要量和第二组六个主要量之间的误差量;以及重复地修正 所述估计;计算第二组六个主要量,并且如果误差量不落在可接受的阈值内则确定误差 量,直到误差量落在可接受的阈值内为止;控制器接口,被配置成:基于患者方位的估计 产生运动追踪数据;并将运动追踪数据以电子方式发送至扫描仪控制器,以在医学成像 扫描期间允许针对患者的运动来补偿医学成像扫描仪;以及一个或多个计算机,被配置 成运作标记物位置过滤器、物体方位过滤器以及控制器接口,其中一个或多个计算机包 括计算机处理器和电子存储介质。
在一些实施例中,第一组六个主要量是基于由沿第一视线观察和沿第二视线观察的 多个基准点形成的基准形状的性质而计算出的。在一些实施例中,第一组和第二组的六个主要量的每个主要量描述了由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状之间的不同变化。在一些实施例中,第一组和第二组的六个主要量的这些主要 量包括下列至少一个:由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基 准形状的位移之和;由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准 形状的位移之间的差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二 基准点的距离差;由沿第一视线观察到的和沿第二视线观察到的多个基准点形成的基准 形状的可视中位倾斜之和;以及沿由第一视线观察到的和沿第二视线观察到的多个基准 点形成的基准形状的可视中位倾斜之间的差。在一些实施例中,系统被配置成在不超过 10毫秒的时间内产生患者方位的估计。在一些实施例中,系统被配置成在不超过8毫秒 的时间内产生患者方位的估计。在一些实施例中,系统被配置成在至少100Hz的频率下 重复地产生患者方位的估计。在一些实施例中,由多个基准点形成的基准形状是三角形。 在一些实施例中,由多个基准点形成的基准形状是等边三角形。在一些实施例中,由多 个基准点形成的基准形状是三角形,该三角形被配置成当患者处于原始位置并沿第一和 第二视线观察时呈等边三角形。在一些实施例中,由多个基准点形成的基准形状不是光 学可见的。在一些实施例中,由多个基准点形成的基准形状是一个虚拟基准形状,其多 个基准点限定虚拟基准形状的顶点。在一些实施例中,每个基准点由光学可见界标的质 心定义。
在某些实施例中,用于运动追踪系统的光标记物包括:光学可见图案,其包括多个基准点定位器,每个基准点定位器被配置成限定基准形状的单个基准点,每个基准点定 位器包括以单个基准点为中心的交替的暗淡和明亮的椭圆形;以及安装部分,被配置成 将光标记物附连至被追踪的物体。
在一些实施例中,椭圆形被配置成当沿着与除了与光学可见图案正交以外的视线观 察时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是具有0.5英寸边长的等边三角形。在一些实施例中, 每个基准点离开另一基准点不超过0.5英寸。在一些实施例中,每个基准点由基准点定位 器的质心定义。在一些实施例中,基准形状是三角形,其被配置成当沿着与除了与光学 可见图案正交以外的视线观察时呈等边三角形。在一些实施例中,基准形状不是光学可 见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准 形状。在一些实施例中,标记物进一步包括内部光源以照亮光学可见图案。在一些实施 例中,安装部分被配置成将光标记物牢固地连接至被追踪的物体。在一些实施例中,安 装部分被配置成将光标记物附于患者的顶齿。在一些实施例中,安装部分被配置成定制 配合到患者的顶齿。在一些实施例中,安装部分包括粘合剂。在一些实施例中,光标记物 被配置成被用作运动补偿系统的标记物以在医学成像扫描期间对运动作出补偿。在一些 实施例中,光标记物被配置成用作运动补偿系统的标记物以在放射治疗期间对运动作出 补偿。
在某些实施例中,追踪具有高达六个自由度的移动目标并快速确定移动目标位置的 系统包括:固定至移动目标的光学目标,所述光学目标限定目标点;至少两个相机,被定位以从不同方向观察光学目标,至少两个相机中的每一个被适配成记录光学目标的二维图像;以及计算机处理器,被编程以利用算法确定六个自由度上的目标位置,所述算法 被配置成:基于由至少两个相机采集的光学图像标识光学目标上的目标点以及目标点的 x、y和z位移;利用迭代过程,藉此提出近似一阶解并相对于标识的目标点作出测试以 确定残余误差,所述残余误差随后除以相对于转动和平移的每个分量的局部偏导数,以 确定迭代校正;重复迭代过程,直到残余误差变得小于要求精度为止;并以至少100次/ 秒的速率利用重复迭代过程的结果来确定目标位置。
在一些实施例中,移动目标是人的头部。在一些实施例中,系统被配置成作为MRI设备的组件的接口。在一些实施例中,迭代过程是Newton-Raphson方法的变型。在一些 实施例中,相对于患者颈部的枢转点测量移动。在一些实施例中,在小于10毫秒的延时 下以至少每秒100个解的速率更新测量。在一些实施例中,在小于10毫秒的延时下以至 少每秒200个解的速率更新测量。在一些实施例中,系统被适配成以距离上好于0.1mm 且角度上好于0.1°的精度向MRI系统报告患者头部的位置。在一些实施例中,光学目标 包括至少三个同心的子目标。在一些实施例中,光学目标被固定在患者上齿的至少一个 上。在一些实施例中,三个同心的子目标是各自同心的椭圆。在一些实施例中,计算机处 理器被编程以:通过用a)像素密度和像素位置之积的总和除以b)子像素阵列中的像素密 度之和,来计算每个子目标的质心。在一些实施例中,像素阵列为大约48×48像素。
在一些实施例中,迭代过程包括:将三个目标质心的位置定位两个相机中的每一个 上并计算六个主要量:做出导致这些质心位置的物体位移和旋转的 最初假设(0,0,0,0,0,0);将猜想值输入到变换矩阵并对三个目标质心 中的每一个计算相应变换的3D目标位置(x1i,y1i,z1i);计算位于每个相机系统上的三个 目标质心中的每一个的投影的位置(水平和垂直像素数)并使用来自两个相机的该数据计 算六个主要量:ΣHDΔHDΣVDΔBLΣMTΔMT;将这六个计算出的主要量与从定位三个目标质心 的位置测得的值进行比较;列出差值作为猜想/计算量相对于测得量的误差矩阵:通过在每个自由度上以微小增加的位移重复迭代过程六次(一次一个自由度)来确定局部偏导数ΣHDΔHDΣVDΔBLΣMTΔMT;通过将该误差矩阵除以导数矩阵来确定粗略校正矩阵以改进最初猜想并减少残留误差,由此形成更好的位移矩阵:重复迭代过程的一部分作为第二次和最后一次迭代,以粗略校正的位移矩阵作为开始时的猜想值;在每个相继的相 机帧的增量之后,重复迭代过程,但其中的猜想值使用第二次迭代和最后一次迭代的结 果。
在某些实施例中,追踪具有高达六个自由度的移动目标并快速确定目标位置的计算 机实现方法包括:将光学目标附连至移动目标,定位至少两个相机,以从不同方向观察光学目标,至少两个相机中的每一个被适配成记录定义目标点的光学目标的二维图像; 编程计算机处理器以利用算法确定六个自由度上的目标位置,所述算法被适配成:基于 由至少两个相机采集的光学图像标识光学目标上的目标点以及目标点的x、y和z位移; 利用迭代过程,藉此推荐近似一阶解并相对于标识的目标点作出测试以确定残余误差, 所述残余误差然后针对转动和平移的每个分量除以偏导数,以确定迭代校正;重复迭代 过程,直到残余误差变得小于要求精度为止;并以至少100次/秒的速率利用重复迭代过 程的结果来确定目标位置。
在一些实施例中,目标是人的头部。在一些实施例中,追踪结果被利用作为对MRI设备的输入以调整其磁场,从而补偿人头部的移动。在一些实施例中,迭代过程是Newton-Raphson方法的变型。在一些实施例中,相对于患者颈部的枢转点测量移动。在一些实施 例中,在小于10毫秒的延时(即小于10毫秒的潜伏时间)下以至少每秒100个解的速 率更新测量。在一些实施例中,在小于10毫秒的延时下以至少每秒200个解的速率更新 测量。在一些实施例中,系统被适配成以距离上好于0.1mm且角度上好于0.1°的精度向 MRI系统报告头部的位置。在一些实施例中,光学目标包括至少三个同心的子目标。在 一些实施例中,三个同心的子目标是各自同心的椭圆。在一些实施例中,计算机处理器 被编程以:通过用a)像素密度和像素位置之积的总和除以b)子像素阵列中的像素密度之 和,来计算每个子目标的质心。在一些实施例中,像素阵列为大约48×48像素。
在一些实施例中,迭代过程包括:将三个目标质心的位置定位于两个相机中的每一 个上并计算六个主要量:作出导致这些质心位置的物体位移和旋转的最初假设(0,0,0,0,0,0);将猜想值输入到变换矩阵并对三个目标质 心中的每一个计算相应变换的3D目标位置(x1i,y1i,z1i);计算位于每个相机系统上的三 个目标质心中的每一个的投影的位置(水平和垂直像素数)并使用来自两个相机的该数据 计算六个主要量:ΣHDΔHDΣVDΔBLΣMTΔMT;将这六个计算出的主要量与从确定三个目标质 心的位置测得的值进行比较;列出差值作为猜想/计算量相对于测得量的误差矩阵: 通过在每个自由度上以微小增加的位移重复迭代过程六 次(一次一个自由度)来确定局部偏导数ΣHDΔHDΣVDΔBLΣMTΔMT;通过将该误差矩阵除以 导数矩阵来确定粗略校正矩阵以改进最初猜想并减少残留误差,由此形成更好的位移矩 阵:重复迭代过程的一部分 作为第二次和最后一次迭代,以粗略校正的位移矩阵作为开始时的猜想值;在相继的每 个相机帧增量之后,重复迭代过程,但其中的猜想值使用第二次迭代和最后一次迭代的 结果。
在一个实施例中,系统被配置成追踪具有高达六个自由度的移动目标并快速地确定 目标的位置,所述系统包括容易定位固定至目标的精确光学目标。系统也可包括至少两个相机,这些相机被定位以从不同方向观察光学相机,所述至少两个相机中的每一个被 适配成记录定义精确目标点的精确光学目标的二维图像。在一个实施例中,计算机处理 器被编程以利用一算法确定沿x、y和z笛卡尔坐标系以及倾斜、俯仰和偏转上的目标移 动,该算法基于由至少两个相机采集的光学图像标识精确光学目标上的一组精确目标点 以及精确目标点的倾斜、俯仰和偏转旋转。系统可利用迭代过程,藉此推荐近似一阶解 并相对于标识的精确目标点在相机上的投影进行测试以确定残余误差,所述残余误差然 后针对转动和平移的每个分量除以局部偏导数,以确定迭代校正。系统可被配置成重复 上述动作,直到残余误差变得小于所要求的精度为止。使用这种处理,系统可被配置成 以至少100次/秒的速率并以大约或不超过0.1mm的平移精度和大约或不超过0.1°的角精 度确定目标位置。通过100次/秒的范围内的重复率。可对每次重复执行完整的6-DOF移 动确定。在这些实施例中,每个移动确定的结果在下一次迭代期间被用作最初的一阶解。
六个自由度移动是正交方向x、y和z以及倾斜角、俯仰角和偏转角。方向x沿着脊柱轴。与x垂直的方向y沿着肩部至肩部方向,而方向z垂直于x和y两者并沿从地面 到天花板的方向,假设患者背部平行于天花板。俯仰角绕x轴而成,该角通过摇头“说不” 而形成。倾斜角绕z轴而成,该角通过点头“说是”而形成,而偏转角绕z轴而成,该角通 过将头歪向肩部而形成。
在一个实施例中,要求的精度对于每个方向大约为0.1mm,对于每个角度大约为0.1°。 相对于患者颈部的枢转点来测量移动。在一个实施例中,枢转点位于患者颈部的基部上, 在那里头部旋转以实现点头运动和倾斜运动。精确光学目标从该枢转点位置的偏移为: Δy=0,Δx-4.5”,Δz=5.5”。这些偏移的精度不是关键的,因为所有感兴趣的运动都是相 对运动。六个测量值是x、y和z距离以及倾斜角、俯仰角和偏转角。在一些实施例中,这些测量值以大约10毫秒的潜伏时间以大约每秒100个解的速率被更新。系统可被配置 成以距离上大约或好于约0.1mm的精度和角度上大约0.1°的精度向MRI系统报告头部 的准确位置或近似位置。
用于向MRI场补偿系统报告6-DOF运动的一种可能的坐标系是与头部线圈的对称轴对准的笛卡尔坐标系。头部线圈坐标系与名义(水平)头部位置中的身体坐标重合。目标位移和旋转可使用这种坐标系被报告给线圈场补偿系统。
附图说明
下面参照各实施例的附图详细描述本发明的前述和其它特征、方面和优势,这些附 图旨在解释本发明而非限定本发明。附图包括下列图,其中:
图1A是示出一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图的 示意图。
图1B是示出作为图1A的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图2A是光标记物的一个实施例的前视图。
图2B是用于患者的图2A的光标记物的立体图。
图2C是图2A的光标记物的前视图,该光标记物紧挨着美分示出以显示比例。
图3A是描述一个实施例的运动补偿系统的方框图。
图3B是描述另一实施例的运动补偿系统的方框图。
图4A是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图 的示意图。
图4B是示出作为图4A的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4C是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图 的示意图。
图4D是示出作为图4C的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4E是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图 的示意图。
图4F是示出作为图4E的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意 图。
图4G是示出作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图的另 一实施例。
图4H是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的侧视图 的示意图。
图4I是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的侧视图 的示意图。
图4J是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的侧视图 的示意图。
图4K是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图 的示意图。
图4L是示出另一实施例的运动补偿系统的示意图。
图4M是示出另一实施例的运动补偿系统的示意图。
图4N是示出另一实施例的运动补偿系统的示意图。
图5A是连接至安装部分的光标记物的一个实施例的前视立体图。
图5B是图5A的光标记物的侧视立体图。
图5C是连接至安装部分的光标记物的另一实施例的俯视图。
图5D是连接至安装部分的光标记物的另一实施例的俯视图。
图5E是连接至患者的光标记物的一个实施例的立体图。
图6A是使用分布式基准点(distributed reference point)的光标记物的一个实施例的 立体图。
图6B是使用分布式基准点的光标记物的一个实施例和使用集中式基准点(integrated reference point)的光标记物的一个实施例的立体图。
图6C是附于被追踪的物体的多个光标记物的一个实施例的立体图。
图7A示出一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图7B示出另一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图7C示出另一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图7D示出另一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图8A和图8B示出根据本发明的一些实施例怎样使两个相机一起提供追踪运动所需的灵敏性。
图9A和图9B示出根据本发明的一些实施例怎样使患者的头部和两个相机位于MRI设备中。
图10A和图10B示出根据本发明的一些实施例出于追踪运动的目的怎样相对于患者头部使用笛卡尔坐标。
图11示出根据本发明的一些实施例怎样将精确光学目标(precision opticaltarget) 的三个点成像到两个相机中的每一个的焦平面上。
图12示出根据本发明一些实施例的15°偏转运动(绕z轴)在一个相机图像上的结果。 图13A和图13B示出根据本发明的一些实施例如何使两个相机能够精确地监视倾斜运动 (绕y轴)。
图14A和图14B示出根据本发明的一些实施例怎样监视俯仰运动(绕x轴)。
图15示出根据本发明的一些实施例怎样在一个相机上监视x轴平移(朝向患者头部 的顶部为正)。
图16A和图16B示出根据本发明一些实施例在两个相机上监视y轴平移(患者右侧为正)的效果。
图17A和图17B示出根据本发明一些实施例的z轴平移(朝向天花板)的效果。
图18A和图18B示出根据本发明一些实施例的同时倾斜和x轴、y轴平移的效果。
图19A和图19B示出根据本发明一些实施例的同时俯仰和y轴、z轴平移的效果。
图20A和图20B示出根据本发明一些实施例利用目标精确光学目标的相机图像精确地监视头部移动的迭代技术的特征。
图20C是用于追踪运动的迭代过程的流程图。
图21是描绘配置成实现本文描述的方法、设备和系统的一个或多个实施例的计算机系统的实施例的方框图。
图22A和22B示出根据本发明一些实施例的用于相机校准的技术。
图23是示出一实施例的连接至一个或多个标记物追踪系统的治疗应用的示意图。
图24是描绘基于从一个或多个追踪系统产生的坐标数据控制治疗性理疗的应用过 程的一个实施例的流程图。
图25是示出一实施例的连接至标记物追踪系统的治疗应用的示意图。
图26是描绘基于从追踪系统产生的坐标数据控制治疗性理疗的应用的过程的一个 实施例的流程图。
图27A-27G示出测试本文描述的概念的实施例的实验室配置。
具体实施方式
尽管下面披露了若干实施例、例子和例示,然而本领域内技术人员可以理解,本文描述的发明延伸超过具体披露的实施例、例子和例示并包括本发明的其它用途及其明显的变型和等效物。参照附图描述了本发明的实施例,其中相同附图标记贯穿全文地表示相同部件。本文给出的描述中使用的术语无意以任何限制或约束方式进行解释,因为它是与本发明的某些特定实施例的详细描述结合使用的。另外,本发明的实施例可包括若干新颖性特征并且没有任何一个单独特征单独地对其所想要达到的属性负责或者是实现本文描述的发明所必需的。
通过使用诊断技术和治疗技术,可较为有利地以高精度来追踪患者运动。这种高精度 追踪可提高由诊断设备例如成像技术获得和产生的成像质量。此外,高精度患者运动追踪 技术的使用能够改善患者治疗的应用,例如放射疗法、质子疗法等等。通过以高精度记录 患者运动,治疗技术能够仅将治疗施加至作为目标组织(即靶组织)并避开健康的周围组 织。
本文披露的实施例涉及一种患者运动追踪系统,该系统能够以大约0.1mm的平移精度 和大约0.1°的角度精度来追踪患者运动。如本文描述的那样,系统可配置为利用非立体方 法来确定患者的六自由度运动。在一个实施例中,系统可包括正交和垂直地定位在单个平 面上的两个相机。在一个实施例中,两个相机不需要处于单个平面内,而是被定位成使得 两个相机不从大致相同的方向观察目标。系统可配置为,在不记述目标落在任一相机上的 像素数的情况下,将一个相机上的目标外形与另一相机上的目标外形进行比较。通过比较 两个相机的目标外形,系统可配置为提取非常小的目标上的六个自由度移动。
在一个实施例中,系统可配置为基于分析来自两个相机的目标的图像来提取运动数据, 以产生对六个自由度中的诸变量中的至少一个的预测值。例如,系统可配置为分析目标的 图像并预测倾斜值。系统然后可配置为将特定变量值的预测值与目标的实际图像中显示的 值进行比较。系统可配置为使用迭代方法重复该过程以持续地改善在六个自由度中的变量 之一的预测值。系统可配置为对六个自由度中的每个变量执行该迭代过程。
用于追踪患者运动的前述方法可运用在诊断背景以及治疗背景下。例如,如本文披露 的那样,系统可配置为追踪患者运动以将这类运动数据馈送到MRI扫描仪,以使MRI扫描仪能够调整扫描仪的焦点和位置以产生患者的清晰MRI图像。此外,系统能被配置成与治疗技术相联系。例如,系统可配置为追踪患者运动以将治疗放射光束引导至病变组织区域同时避免伤害周围的健康组织。
存在多种技术用于治疗放射和其它治疗。例如,较为有利地用在放射治疗、质子治疗 或其它治疗以动态地将放射施加至目标区域以诠释患者运动。患者运动可包括呼吸、抽搐 或患者的任何其它自发或非自发运动。通过动态地和自动地追踪患者运动,可以更面向目 标的方式施加放射治疗、质子治疗和任何其它类型的治疗,由此允许避开和/或不伤害周围 的健康组织。本文描述的系统能被适配和配置成以大约0.1mm的平移精度和大约0.1°的角 度精度追踪患者,以更好地将放射治疗、质子治疗或任何其它治疗施加至身体的目标组织 或区域(即靶组织或靶区域)。
在一个实施例中,系统可配置为基于本文描述的方法利用光学追踪以追踪患者运动, 和/或可以是另一设备,例如被配置成用于识别被植入到患者体内的基准标记的电子封装组 件。在一个实施例中,系统可配置为利用电子封装组件以识别基准标记在患者体内的位置。 通过识别基准标记的位置,系统需要识别电子封装组件的位置以确定基准标记物相对于扫 描仪和/或治疗设施设备的位置。
本文披露的患者追踪移动系统可被用来追踪患者的周期性非自发运动,例如呼吸。通 过以高精度追踪周期性患者运动,系统可配置为在患者的非自发移动继续时目标组织处于 某一位置时的关键时机施加放射治疗、质子治疗等。另外,系统可配置为不仅追踪患者的 正常呼吸运动,而且系统可配置为追踪由于患者活动或者基于患者的病变组织造成的患者 不规则运动。例如,当患者跑动时,患者的肋骨具有较大的外离(egression),系统能够追踪 它以连续地识别目标组织区域。又如,患者可能遭受COPD或其它呼吸紊乱或图解 (diagrammatic)问题。例如,患者可能遭受肺积水(theurofusion),这是肺部外侧的水,其 可能妨碍患者呼吸,或者是肿瘤正在滋虐肺部区域,由此妨碍正常呼吸。系统可配置为追 踪由这些状况导致的这类不规则的患者运动。
为了施加治疗,例如放射治疗,放射光束发生器必须确定电子封装组件相对于光束 发生器的位置以正确地将放射治疗引导到目标组织。因此,需要追踪电子封装组件相对于放射光束发生器或其它治疗设施的位置。以高精度追踪电子封装组件的位置是有利的,其能够更好地指向要求的组织。在电子封装组件被配置成追踪被植入到患者体内的基准标记物的位置的系统中,这类系统具有两种可能的误差源。一种误差源源自使用电子封 装组件追踪基准标记物的位置,而第二种误差源源自追踪电子封装组件相对于治疗设施 发生器的位置。因此,为避免使误差源混合,以高精度识别电子封装组件的位置是有利 的。
运动补偿系统
图1A是示出作为运动补偿系统100的一部分的医学成像扫描仪104的前视图的示意图的一个实施例。图1B是示出作为图1A的运动补偿系统100的一部分的医学成像扫 描仪104的侧视图的示意图。运动补偿系统100可用于例如追踪经历医学成像过程的患 者的运动,以使得医学成像传感器得以调整或以其它方式补偿该运动,从而减少或消除 导致的医疗图像中的运动伪像。图1A和图1B所示的运动补偿系统100包括运动追踪系 统102、扫描仪104、扫描仪控制器106、两个检测器108以及光标记物或目标110。在 该实施例中,光标记物110如图所示地附于位于医学成像扫描仪104的台面114上的患 者112。扫描仪104可以是例如核磁共振成像扫描仪。光标记物110可如下面进一步描述 的那样被配置,例如参照图2A描述的那样。
在该实施例中,光标记物110配置为可由两个检测器108中的每一个观察。检测器108可以是例如能够获取光标记物110的图像并将那些图像发送至运动追踪系统102的 数码相机。在该实施例中,每个检测器108配置为沿不同的视线观察光标记物110。这可 有助于使得运动追踪系统102能够分析来自不同有利位置的光标记物110的二维图像, 以帮助定位光标记110,从而估计患者运动或姿态。在该实施例中,检测器108各自被配 置成沿彼此隔开一角度122的视线120观察光标记物110。在该实施例中,角度122大约 为90°。也可采用其它角度,例如30°、45°、60°、70°等。在一些实施例中,90°是最佳角 度,以使得光标记物110的平面内的运动和平面外的运动得以最大地区分,如下面参照 图8A和图8B进一步描述的那样。例如,如果光标记物110直接沿一个检测器的视线的 方向移动,则该检测器相比其它检测器可能更难区别光标记物110的运动。另一方面, 另一检测器可能相对容易检测光标记物110的运动,因为该运动垂直于检测器的视线。
在一些实施例中,角度122可被称为剪刀角(scissor angle)。在图1A所示的实施例 中,剪刀角是检测器108直接观察标记物110所在的角度。然而,在其它实施例中,剪 刀角可以是一个虚拟角度,因为从检测器至标记物的视线可由镜子和/或其它装置(例如分束器、棱镜、光纤和/或类似物)重新定向。在那种情形下,剪刀角是检测器观察标记物所 在的视角。例如,如下面参照图4E和图4F进一步描述的那样,运动补偿系统440的检 测器108通过在检测器附近彼此共线的视线定位。然而,可利用镜子重新定向视线以使 大约90°的虚拟剪刀角在接近标记物的位置形成。
用于重定向视线的镜子或其它装置既有优势也有劣势。例如,镜子的劣势包括:它们可能振动,可能将误差引入到物体方位确定的过程中。又如,镜子离检测器越远,一般 需要更大的镜子以允许等同范围的视野。因此,较为有利的是定位镜子相对靠近检测器, 以使得镜子相对较小。使用镜子或其它视线重定向方法的一个优势是虚拟剪刀角可配置 为更接近90°的最佳剪刀角,即使当特定医学成像扫描仪配置可能不允许检测器被定位成 使用90°的剪刀角直接观察标记物时。此外,一些镜子是不导磁的,这对于核磁共振成像 而言可能是有利的,因为不导磁的镜子不会将伪像引入到MRI图像中。另一方面,数码 相机可包括导磁组件和/或至通往检测器的导线可包括导磁组件。当数码相机和/或其导线 在医学成像外壳内时,它们可能将伪像引入MRI图像。
图1A-1B所示的运动补偿系统100的实施例并非按比例示出,恰恰相反地是按照有助于解释说明该系统的比例示出。其它附图,例如图4A-4K所示的那些附图,也不是按 比例示出的。另外,这些附图中示出和在本说明书中描述的大多数实施例包括实时或基 本实时运作的运动补偿系统,以针对患者或物体的运动对扫描仪做出校正。然而,在其 它实施例中,运动补偿系统可配置为在已通过扫描仪产生图像后通过使用后处理来处理 图像而工作,从而去除任何运动伪像。
在图1A和图1B所示的运动补偿系统100的实施例中,检测器108定位于沿扫描仪104的横轴接近90°角度的位置,但被定位在沿扫描仪104的纵轴接近0°角度的位置,如 图1B所示。在该实施例中,检测器108被配置成直接位于光标记物110的名义上的原始 位置之上,如图1B所示。然而,检测器可以多种其它配置被设置,如下面进一步描述的 那样。图2A-2C示出用于运动补偿系统的光标记物110的一个实施例。图2A是光标记 物110的前视图。图2B是图2A的光标记物110用于患者112的立体图。图2C是图2A 的光标记物的前视图,光标记物紧挨着美分212示出以确定比例。
光标记物110包括限定基准形状的图案202。在该实施例中,图案202限定具有将近0.5英寸边长的等边三角形的基准形状。在等边三角形基准形状的每个顶点处具有基准点定位器204。在该实施例中,每个基准点定位器204包括一系列交替的黑色和白色(或暗 淡和明亮)的椭圆形,基准点定位器204的质心位于等边三角形基准形状的顶点处。在各 实施例中,可使用不同基准形状并且基准点定位器可采用各种形式,只要基准点定位器 能够通过运动追踪系统被检测和分析以确定基准形状的重要点、弯折点、临界点或顶点。
在该实施例中,基准点定位器204是椭圆形的并被定位,以使它们被配置成从45°观 察角看来是圆形图案。这可能是较为有利的,因为当被用在诸如图1A和图1B所示例子的系统中时,在检测器108沿45°视线观察光标记物110的情况下,处于名义上的原始位 置的光标记物110的任何图像将会把基准点定位器204展示为圆形。然后,如果移动标 记物,则该运动将导致非圆形的椭圆图案出现在光标记物的图像上。下面给出光标记物 配置的进一步描述。
图2B示出光标记物110在一些实施例中能够被配置成安装至患者的顶齿。这有利于 将光标记物110相对于患者的头骨保持或附连在固定或基本固定的位置。如下面描述的那样,可使用各种方法和设备来将光标记物附连至患者或其它有益的物体。
图3A是运动补偿系统300的一个实施例的方框图。运动补偿系统300可以是例如类似于图1A和图1B所示的运动补偿系统100。运动补偿系统300包括两个检测器108、 运动追踪系统102、扫描仪104和扫描仪控制器106。扫描仪104是医学成像扫描仪,例 如MRI机。扫描仪控制器106可配置为运作和控制扫描仪104,例如通过实时地或基本 实时地调整扫描仪104以校正被扫描的物体或患者的运动。扫描仪控制器106可基于从 运动追踪系统102接收的运动追踪数据或信息来调整运动。
检测器108可包括例如数码相机。尽管在该实施例中存在两个检测器108,然而各种 其它实施例可基于应用场合利用更多或更少的检测器。例如,运动补偿系统的一个实施例可包括更多检测器以增加运动追踪的精度和/或为运动补偿系统增加冗余度。例如,运动补偿系统可包括四个检测器,其中在任何一个时间仅使用其中两个检测器来执行运动追踪。这可能是有利的,例如当障碍物可能依赖于被追踪的物体的位置而遮挡住光标记 物使得一个或多个检测器无法观察到时。
尽管在本文描述的这个实施例和各个其它实施例中,检测器是光学数码相机,然而 其它运动补偿系统可利用光学相机以外的检测器。例如,检测器可以使红外相机,其被配置成观察可由红外相机观察到的目标或标记物。在其它实施例中,检测器可包括激光 检测器、声纳检测器、雷达检测器以及能够定位标记物和/或形成标记物的二维数字图像 或表征的各种其它类型检测器。
运动追踪系统102包括追踪引擎304、校准引擎306、控制器接口308和运动数据库310。运动数据库310可配置为存储运动追踪信息,例如由追踪引擎304创建的物体姿态 估计。在一些实施例中,运动数据库310可配置为永久性存储器以存储运动信息,以在 成像扫描完成后供将来检索和使用。在一些实施例中,运动数据库310包括短期存储器 或缓冲器或高速缓冲存储器以仅暂时地存储物体姿态估计,直到它们被包括在运动数据 中并通过控制器接口308发送至扫描仪控制器106为止。
校准引擎306可配置为对运动补偿系统进行校准。校准引擎306包括校准数据库316、 检测器校准过滤器318以及目标校准过滤器329。在一些实施例中,校准引擎306可配置 为在最初启动时或最初系统组装时校准系统,对于运动补偿系统300的之后操作不再需要校准。在其它实施例中,在一些或全部运动追踪期间,对至少一些校准过程利用校准 引擎306。检测器校准过滤器318可配置为对运动补偿系统校准检测器108。在一些实施 例中,检测器校准过滤器318可配置为通过允许运动补偿系统的制造者或组装者输入专 门针对每个检测器108的信息(例如焦距、分辨率等)来校准检测器。在一些实施例中,检 测器校准过滤器318可配置为自动地确定校准检测器108所需的一些或全部的参数。在 检测器校准中确定的参数可存储在校准数据库316中以供追踪引擎304将来使用。
目标校准过滤器320可配置为针对一个或多个特定目标或标记物来校准系统。例如, 目标校准过滤器320可配置为:一旦运动追踪例程初始启动,就分析从检测器108接收的图像以确定图像中最可能存在光标记物的感兴趣区域。这些信息可存储在校准数据库316中。这种一旦运动追踪例程启动的最初校准,举例来说,能帮助提高追踪例程(trackingroutine)的速度。
追踪引擎304包括标记物位置过滤器312和物体取向过滤器314。追踪引擎304可配置为在成像扫描期间追踪一个或多个光标记物的位置并确定被扫描的物体或患者的姿态的估计。在一些实施例中,标记物位置过滤器312可配置为分析来自检测器108的图 像以确定来自检测器的2D图像中的光标记物的基准点的位置。标记物位置过滤器312可 配置为分析这些图像以既确定这些点的位置又确定由这些基准点形成的一个或多个基准 形状的取向。物体取向过滤器314可配置为利用来自标记物位置过滤器312的标记物位 置信息以将该信息转换成估计的物体姿态。物体取向过滤器314则可配置为将估计的物 体姿态信息传至运动数据库310和/或控制器接口308以供扫描仪控制器106使用。
追踪引擎304可利用各种处理或算法来确定标记物基准点的位置并将该信息转换成 估计的物体姿态。下面更详细地描述这些处理或算法的一些例子。然而,各种其它的处理或算法可用于本文披露的技术。
控制器接口308可配置为将物体姿态信息转换到成像扫描仪的坐标系并将该信息传 至扫描仪控制器106。控制器接口308包括坐标系转换器322和运动数据馈给发生器324。坐标系转换器322可配置为从追踪引擎304和/或运动数据库310获取估计的目标姿态信息,并将来自运动追踪系统的坐标系的物体姿态信息转换成扫描仪的坐标系。运动数据 馈给发生器324可配置为获取经转换的物体姿态信息并将其发送至扫描仪控制器106。 在一些实施例中,运动数据馈给发生器324被配置成当物体姿态信息变得可用时立即将 物体姿态信息发送至扫描仪控制器106。在其它实施例中,运动数据馈给发生器324可配 置为将运动追踪系统102的时序与扫描仪控制器106同步起来。例如,运动追踪系统102 可配置为以将近100赫兹的速率获取图像并估计物体姿态。另一方面,扫描仪控制器106 和扫描仪104可配置为在不同的速率下进行扫描。运动数据馈给发生器324因此可配置 为将运动追踪系统的输出速度与扫描仪和/或扫描仪控制器的速度匹配。在一些实施例中, 这可涉及将经转换的物体姿态信息作高速缓存,直到需要将该信息发送至扫描仪控制器 106为止。在一些实施例中,运动数据馈给发生器324被配置成获得多个物体姿态并组合 这些姿态,例如通过在将这些姿态发送至扫描仪控制器106之前求平均。在其它实施例 中,运动数据馈给发生器324被配置成仅将最新的物体姿态估计发送至扫描仪控制器106。 在一些实施例中,运动数据馈给发生器324被配置成:如果运动追踪系统102自从最近 一次运动数据馈给发生器324将物体姿态估计发送至扫描仪控制器106起尚未产生新的 物体姿态估计,则将发送至扫描仪控制器106的最近物体姿态估计重发一遍。
如前所述,尽管图3A所示的运动补偿系统300披露于被配置成实时地或基本实时地调整患者运动的系统中,然而其它实施例也可利用运动补偿系统在扫描处理之后调整所获取的图像以去除运动伪像。在一些实施例中,扫描仪可配置为基于所追踪的运动实 时地调整运动并后处理图像,从而去除任何残留的运动伪像。
尽管图3A所示的运动补偿系统300将运动追踪系统102图示为与扫描仪控制器106分离的系统,然而在一些实施例中,运动追踪系统102可被集成到扫描仪控制器106中。 例如,医学成像扫描仪可被制造为具有集成的扫描仪控制器,该集成的扫描仪控制器包 括既控制扫描仪又在扫描期间追踪物体或患者运动的特征。
图3B是描绘运动补偿系统301的另一实施例的方框图。图3B所示的运动补偿系统301类似于图3A所示的运动补偿系统300。然而,运动补偿系统301利用与图3A所示 的追踪引擎304不同的追踪引擎334。追踪引擎334包括基准点过滤器336、主要量发生 器338、参考系(即坐标系)转换器340、误差过滤器342以及收敛过滤器344。追踪引 擎334的组件可配置为例如使用下面参照图7C描述的工作流程运行以追踪物体或患者 的运动。
基准点过滤器336可尤其被配置成分析光标记物的二维图像以确定该标记物的基准 点的位置。主要量发生器338可配置为分析如通过两个或更多个检测器观察到的由基准点形成的基准形状,以确定数个(例如六个)主要量,这些主要量可用来帮助描述或定义光标记物的3D位置或取向。
参考系转换器340可配置为在每个检测器的二维坐标系和运动追踪系统的三维坐标 系之间进行转换。误差过滤器342可配置为基于直观的基准点并基于物体姿态的估计分析主要量的差值以确定两者之间的误差量。收敛过滤器344可配置为执行迭代过程以减 少物体姿态估计中的误差量,直到物体姿态估计具有可接受的误差量为止。追踪引擎334 可配置为与运动数据库310、校准引擎306和控制器接口308通信,所述运动数据库310、 校准引擎306和控制器接口308类似于前面针对图3A的运动补偿系统300的那些描述。
运动补偿系统的其它实施例
图4A是另一实施例的示意图,示出作为运动补偿系统400的一部分的医学成像扫描仪104的前视图。图4B是示出作为运动补偿系统400的一部分的医学成像扫描仪104 的侧视图的示意图。运动补偿系统400类似于图1A和图1B所示的运动补偿系统100。 然而,如前所述的运动补偿系统100包括沿扫描仪104的横轴彼此成90°角定位的两个检 测器108。在运动补偿系统400中,检测器108沿扫描仪104的纵轴彼此成90°角422地 定位。运动补偿系统400的检测器108仍然被配置成沿两条不同的视线420观察光标记 物110。运动补偿系统400示出可以多种方式定位检测器108,只要每个检测器108沿不 同的视线观察到光标记物110即可。如前面针对角122描述的那样,角422可变并且可 以更大或更小。在一些实施例中,角422可以在100°和70°之间。在其它实施例中,角 422可以是30°。例如,图4K示出与运动补偿系统400类似的运动补偿系统490,除了 角422为30°外。在其它实施例中,该角度可以是各种其它角度,只要两条视线420是不 同的。
图4C是另一实施例的示意图,其示出作为运动补偿系统430的一部分的医学成像扫 描仪104的前视图。图4B是示出作为运动补偿系统400的一部分的医学成像扫描仪104的侧视图的示意图。运动补偿系统430类似于图1A和图1B中示出的运动补偿系统100。 然而,运动补偿系统430进一步包括被配置成定位在患者头部周围的头笼或头部线圈432。 在某些医学成像任务中,例如在某些MRI头部扫描中,可利用头笼432并将其定位在患 者头部周围。如果检测器108被安装至扫描仪本体104的孔上,则头笼可能使检测器108 更加难以对光标记物110成像。因此,运动补偿系统430包括被安装在头笼而不是安装 在扫描仪本体上的两个检测器108。检测器108和运动追踪系统102被配置成以如前所 述相同的方式工作。本文中使用的术语“头笼”可用来描述一种装置,该装置被配置成在 MRI扫描期间帮助定位患者的头部。术语“头笼”也可指头部线圈设备,其被配置成缠绕 在患者头部周围以实现MRI扫描功能。
图4E是另一实施例的示意图,示出作为运动补偿系统440的一部分的医学成像扫描 仪104的前视图。图4F是示出作为图1A的运动补偿系统440的一部分的医学成像扫描 仪104的侧视图的示意图。运动补偿系统440类似于图4C和图4D所示的运动补偿系统 430。然而,在某些情形下,扫描仪104的孔内可能具有有限空间。在那些情形下,可能 难以定位检测器108以使得在其透镜和光标记物110之间具有直接视线。因此,运动补 偿系统440包括相对于头笼432平齐定位的两个检测器108,视线120通过镜子442到 达光标记物110。镜子442使间接的视线变得可能,从而使系统更为紧凑但仍然能够沿两 条不同的视线120观察光标记物110。尽管该实施例示出使用镜子且检测器被安装至头 笼,然而各种其它实施例可使用附于扫描仪本体、头笼或任何其它位置的镜子和/或检测 器,只要检测器能够透过镜子观察光标记物即可。在一些实施例中,使用多个镜子以多 次重新定向视线120。例如,检测器108可位于扫描仪外侧并且其视线通过位于扫描仪内 的一个或多个镜子以对光标记物成像。
尽管运动补偿系统440包括镜子以重定向视线,然而可单独地或结合镜子地使用重 定向视线的其它方法。例如,可使用光纤或棱镜以重定向视线并形成虚拟的剪刀角。
图4G是另一实施例的示意图,示出作为运动补偿系统450的一部分的医学成像扫描仪104的前视图。该运动补偿系统450类似于图1A和图1B所示的运动补偿系统100。 然而,该运动补偿系统450包括两个光标记物110。在该实施例中,两个光标记物110中 的每一个被直接地定位在其中一个检测器108的视线内。然而,在其它实施例中,可采 用多个光标记物110,并以其它方式定位。例如,可将多个光标记物定位在被成像的物体 的多个固定或基本固定的位置。例如,如下面进一步描述的那样,一个光标记物110可 被定位在患者的顶齿上,而一个或多个其它标记物可被定位在患者的前额上。
光标记物也可被定位在不固定或不是基本固定的位置上。例如,光标记物可被附于 患者的皮肤。在一些实施例中,例如当标记物被附连至患者的皮肤时,由于皮肤运动或皮肤弹性,扫描仪可能不时地相对于被扫描的物体移动,这可能将不精确性引入到医学 成像扫描。因此,在一些实施例中,运动补偿系统可配置为在被扫描物体(例如患者的头 部)的运动和皮肤运动(这可能与被扫描的物体的实际运动无关)之间进行区分。在一些实 施例中,系统可配置为比较两个或更多个标记物相对于它们本身的定位,从而在头部运 动和皮肤运动之间作出区分。
利用多个光标记物110可具有多种益处。例如,多个标记物可用于产生冗余量,以防一个或多个标记物基于当前物体的姿态对一个或多个检测器当前不可见。另一优势是可同时地由运动追踪系统102分析多个光标记物以获得多个物体姿态估计。那些物体姿 态估计则可被组合以产生单个更精确的估计。例如,多个估计可求平均以得出平均估计。 又如,对于每个估计可以进行误差余量测量,并且可基于误差余量使用加权平均来组合 这些估计。在其它实施例中,只使用最精确的估计并将其它估计丢弃。
图4H-4J示出配置为使用间接视线的运动补偿系统的附加实施例。考虑到许多医学 成像系统在设备的孔内具有有限的空间,因此较为有利地,可将检测器定位成相对于设备的孔是大致平坦的或者在设备孔内平齐。图4H所示的运动追踪系统460的实施例示 出一种系统,其中两个光检测器108相对于医学成像扫描仪104的孔是平的。在该实施 例中,检测器108被定位成沿孔的纵轴线彼此相对朝向地定位。两个镜子442相对地靠 近于检测器定位以将它们的视线120重新引导朝向光标记物110。在该实施例中,剪刀角 明显小于90°。然而,在其它实施例中,检测器和/或镜子可以不同方式定位以增加或减小 剪刀角。
图4I中示出的运动补偿系统470类似于图4H中示出的运动补偿系统460。然而, 运动补偿系统470包括两个检测器108和两个镜子442,它们被安装在医学成像扫描仪 104内以使它们不伸出至扫描仪104的孔内。扫描仪104本体可包括开口以使视线120从 标记物110传至检测器108。在一些实施例中,检测器可被定位在扫描仪孔的表面上、部 分地定位在扫描仪本体内、完全地定位在扫描仪本体内和/或以其它方式定位。检测器是 否能被安装在扫描仪本体内和/或是否任一检测器必须突出到扫描仪本体之外的一个决 定因素是扫描仪的尺寸以及扫描仪本体内可用的空间。扫描仪本体内可用的更多空间和/ 或更小的检测器可允许将更多或全部检测器定位在扫描仪本体内。
图4J示出一种运动补偿系统480。该运动补偿系统480类似于图4H所示的运动补偿系统460。然而,运动补偿系统480包括头笼432,并且检测器108和镜子442彼此相 对地安装在头笼432的相对两端上,而不是被安装在扫描仪的孔。在各个实施例中,检 测器108可被安装在多个位置,不一定彼此相对朝向。例如,两个检测器108可位于头 笼432的同一侧上。如图4J所示,两个检测器108中的每一个被配置成沿视线120观察 光标记物110,该视线120沿相对于标记物的不同角度观察光标记物110。左手侧的视线 120相比右手侧的视线120具有更浅的角度。在其它实施例中,可调整检测器、光标记物 和/或镜子的定位,从而调整每条视线相对于标记物的角度和/或调整剪刀角。
图4L-4N示出运动补偿系统的示意图的另外一些实施例。图4L-4N中示出的每个运动补偿系统包括一个或多个检测器108、多个视线120、一个或多个光标记物110以及头 笼或头部线圈432。一些实施例还包括一个或多个镜子442以及一个或多个分束器444。 在一些实施例中,分束器444包括棱镜。尽管图4L-4N中所示的运动补偿系统中的每一 个包括两个光标记物110,然而本文披露的理念适用于使用任何数量光标记物的系统。在 一些实施例中,运动补偿系统使用两个光标记物以为系统增加冗余度。例如,一个光标 记物可能有时候视线被例如头部线圈432的一部分遮挡。光标记物可被定位以使当一个 光标记物的视线被阻挡时,另一光标记物仍然能够通过一个或多个检测器108成像。尽 管图4L-4N中所示的光标记物110包括棋盘图案,然而光标记物110也可或替代地包括 与图2A所示的光标记物110所示的图案相似的图案。
图4L中所示的实施例包括对两个光标记物110成像的四个检测器108。光标记物110中的每一个沿两条不同的视线120通过其中两个光检测器108同时地成像。图4M中 所示的实施例类似于图4L中所示的实施例,除了检测器的数目减少了两个。在该实施例 中,两个检测器108中的每一个被配置成对两个光标记物110同时成像。系统被配置成 通过分束器444对来自检测器的视线分束并通过镜子442重新引导分束得到的多个视线。 从光检测器108得到的数字图像可包括两个光标记物110(或者可能仅一个光标记物,例 如其中一条光线被阻挡)的数字表征。运动补偿系统可配置为单独地分析每个光标记物的 表征,即便这些表征被包括在同一数字图像中。
图4N所示的实施例类似于图4M所示的实施例,除了仅利用一个光检测器108外。光检测器108的视线在分束器444被分束成两条视线120,其中每一条视线被引向两个 光标记物110中的一个。至于图4M所示的配置,得自检测器108的数字图像可包括两 个光标记物110(或可能仅一个光标记物,如果例如其中一条视线被阻挡)的表征。
光标记物的安装
光标记物可以多种方式被安装至被追踪的物体。图5A-5E示出将光标记物安装至物 体的多种选择。图5A是连接至安装部分514的光标记物的一个实施例的前视图。图5B 是被安装至安装部分514的图5A的光标记物110的侧视立体图。图5A和图5B所示的 光标记物110类似于图2A-2C所示的光标记物110。该实施例被配置成连接至患者的顶 齿。安装部分514包括前部516、后部518以及在前部516和后部518之间的槽520。前 部516被配置成在人的顶齿前方穿过,而后部518被配置成在用户的顶前齿后面穿过。 槽520被配置成和用户的齿相一致或基本一致。
在一些实施例中,安装部分514被配置成针对特定用户构形以提高光标记物110的配合性和/或刚性。例如,安装部分514可配置为软的,并安置到用户的齿上,随后变硬。 在一个实施例中,安装部分514包括加热时变软并且冷却时变硬的聚合物。在该实施例 中,安装部分514可例如在温水中受热并随后被安置在用户的嘴中以塑型。在另一实施 例中,安装部分514包括紫外可固化聚合物。例如,安装部分514可在柔软的状态下被 安置在用户的齿上,并随后使用紫外光固化至变硬状态。在其它实施例中,安装部分514 可配置为在槽520内具有粘合剂或可成型的聚合物材料,以顺应或粘附于用户的齿。
安装部分514可使用连接部分522连接至光标记物110。在一些实施例中,光标记物110和安装部分514是一体的、不可分离的单元。在其它实施例中,连接部分522允许光 标记物110从安装部分514拆下或重新附连至安装部分514。这可能是有利的,例如以允 许安装部分514在没有光标记物110安装于其上的情况下构形成用户齿的形状。在一些 实施例中,连接部分522相对小并允许光标记物110相对地靠近安装部分514。在其它实 施例中,连接部分522较长并使得光标记物110的位置得以较为远离被追踪的物体。在 一些实施例中,连接部分522被配置成定位光标记物110,从而当安装部分514被定位在 用户的齿之上时光标记物110将不会被患者的嘴唇覆盖。在一些实施例中,安装部分514 包括额外的皮瓣,该皮瓣被配置成定位在用户的嘴唇之上以保持他们的嘴唇不会遮挡光 标记物110。
在一些实施例中,光标记物可从内部发光。例如,光标记物内可包括一个或多个LED 灯或类似结构以均匀地或基本均匀地照亮光标记物或各个基准点。光标记物的发光可能 是有利的,以允许检测器更清楚地对光标记物成像并使运动追踪系统更容易区别光标记 物上的基准点和/或基准点的质心。在一些实施例中,检测器和/或运动补偿系统的另一部 件包括被配置成照亮光标记物的灯。在一些实施例中,例如当使用红外检测器时,发出的光可以是红外光。在一些实施例中,光标记物可配置为在黑暗中发光从而得以增强亮 度而不使用辅助发光。在一些实施例中,光标记物可配置为通过放置在光源前面一段时 间而被充注光,之后光标记物将发光一段时间。
图5C是连接至安装部分524的光标记物110的另一实施例的俯视图。图5D是连接至安装部分534的光标记物110的又一实施例的俯视图。图5C所示的安装部分524是相 对窄的安装部分,其包括前部526、后部528以及前部526和后部528之间的槽530。然 而,图5D所示的安装部分534是相对宽的安装部分。安装部分534包括前部536、后部 538以及前部526和后部528之间的槽540。图5C和图5D所示的实施例示出安装部分 可采用多种形状。例如,安装部分524的尺寸类似于图5A和图5B所示的安装部分。这 种安装部分可仅啮合患者的一对齿。另一方面,图5D所示的安装部分534包括被配置成 啮合患者的若干个齿的更U形安装部分。安装部分534在一些实施例中在设计上可类似 于一般由运动员使用的护牙器。安装部分524、534均使用连接部分532连接至光标记物 110。
图5E是连接至患者112的光标记物110的实施例的立体图。在该实施例中,光标记物110附连至带550,所述带550被配置成绕在患者头部周围以帮助将光标记物110保 持在位。在一些实施例中,光标记物110也连接至安装部分,例如前述配置成附连至患 者的齿的安装部分。已描述了将光标记物安装至患者的各个实施例,然而,可使用各种 其它方法,例如但不限于粘合剂、条带、刺青、绘图和/或类似物。
图6A是使用分布式基准点614、612的光标记物610的实施例的立体图。如同图2B所示的光标记物110,光标记物610包括三个基准点612、614,这些基准点包括椭圆形, 并当一同观察时形成三角形基准形状。然而,光标记物610是分布式光标记物,因为这 些基准点不是同一实体物件的部分。在该实施例中,类似于前述内容,基准点612在附 连至患者顶齿的衬底上。然而,另外两个基准点614是附于患者前额并高于他/她的眼睛 的贴纸。图6A所示的配置的一个优势在于,可使用具有较低分辨率的检测器并因此而更 便宜。另一优势是能够在光标记物610的图像内更精确地检测到患者112较小的运动。 然而,图6A所示的配置的劣势在于,三个基准点相对于彼此不是固定的。例如,如果患 者112移动他或她在前额上的皮肤,则基准点614可能相对于附连至他或她的齿的基准 点612移动。在一些实施例中,运动追踪系统可配置为分析基准点的相对运动以确定该 运动是由局部皮肤运动或扭曲造成的还是由实际患者运动造成的。
利用分布式基准点的理念可采用各种形式。例如,每个基准点可被定位在块件、衬底或其它背衬上,背衬被固定至或附于被追踪的患者或物体。例如,图6A所示的基准点 612如图示为附于基本刚性的背衬。基准点614被图示为不具有背衬并直接附于患者前 额的各个点。然而,在一些实施例中,基准点614也可附连至背衬、块件或其它背衬以 帮助将基准点附于物体和/或减少基准点的任何挠曲和/或保持基准点形状平坦。在一些实 施例中,光标记物和/或各基准点可配置为使用多种手段附连至被追踪的物体。例如,可 利用双面外科绷带以将标记物附连至物体。也可使用其他粘合剂。也可使用其它机械连 接手段,例如其它类型的带、夹子、条带、紧固件和/或类似物。
尽管图6A所示的实施例示出位于患者顶齿和前额上的基准点,但基准点和/或标记 物可被定位在各种位置。例如,基准点或标记物可被定位在患者的鼻子、脸颊、下巴、太阳穴、耳朵和各种其它位置,只要基准点或标记物在物体运动范围的至少一部分期间对 检测器或者通过直接视线或者通过间接视线是可见的。此外,尽管图6A示出的基准点彼 此相对较远地间隔,然而在一些实施例中,尽管仍然不附连至同一背衬或安装材料,但 这些基准点可以彼此相对较近地间隔。例如,诸基准点可定位和间隔开相同的距离,如 图2B示出的光标记物110所示,即便这三个基准点各自连接至不同的背衬材料或安装部 分。在另一实施例中,三个基准点可以与图2B所示的光标记物110相同的方式间隔,除 了基准点各自是附着于患者的相互独立的物件,并且彼此不连接。
在运动补偿系统的一些实施例中,可存在障碍物,所述障碍物可能潜在地阻挡至光 标记物的视线。例如,诸如图9A所示的头笼或头部线圈可能具有棒或其它部分,他们可能阻挡至标记物的视线。因此,在一些实施例中,标记物或基准点可在某个位置被定位 在物体上,该位置可消除或减小至标记物的视线的任何阻挡。在一些实施例中,可使用 被配置成重引导视线的镜子或其它设备,以允许检测器通过诸如头笼或头部线圈的障碍 物中的孔或开口对标记物成像。
图6B是使用分布式基准点614、612的光标记物610的实施例以及使用集中式基准点612、616的光标记物610的实施例的立体图。图6B所示的实施例类似于图6A所示 的实施例,但采用两个不同尺寸的光标记物。图6B中的配置利用图6A所示的分布式光 标记物610以及图2B所示的非分布式光标记物110。通过使用非分布式标记物110,这 种配置可能有利于例如获得较大标记物510的优点并同时抵消分布式标记物的一些问题。
在一些实施例中,运动追踪系统可配置为基于检测器捕捉到的运动而追踪较大标记 物610和/或较小标记物110。例如,如果系统考虑到可能将不精确性引入到系统中的患者前额皮肤的局部运动或抽搐,则系统可配置为当检测到与标记物614的局部运动一致 的方向上的运动时停止利用较大的光标记物610进行追踪。例如,如果标记物614沿纵 向移动(例如相对于患者的头部上下移动)地成像,这可能表示局部皮肤运动,并且如果使 用追踪光标记物610的话可能引入不精确性。然而,如果检测到基准点614沿边对边方 向的运动,尤其如果两个基准点614均沿同一方向移动,这不大可能表示局部皮肤运动 并且更有可能是表示患者正在转动他或她的头。因此,基于较大光标记物610的追踪在 那种运动期间可能相比追踪较小光标记物110更为精确。在一个实施例中,运动追踪系 统可配置为当检测到不指示局部皮肤运动的运动时利用较大的分布式标记物追踪运动, 但当检测到指示局部皮肤运动的运动时使用较小的非分布式标记物进行追踪。
图6C是附于被追踪的物体(在这种情形下是患者112)的多个光标记物110的实施例 的立体图。该实施例示出多个完整的光标记物110可附于同一物体。尽管在该实施例中光标记物附于患者的顶齿和前额,然而光标记物除了这些位置或代替这些位置也可附于例如脸颊、太阳穴、耳朵、下巴、鼻子、眼睛下面和/或类似位置。利用多个光标记物可 有利于提高精度和/或冗余度。
运动补偿系统处理
图7A示出一个实施例的处理流程图,该处理流程图示出运动补偿处理的一个例子。 例如,图7A所示的处理流程可例如通过图3A和图3B所示的运动补偿系统300或301 实现。在方框702,扫描仪开始成像扫描。在方框704,运动补偿系统开始其处理。在方 框706,追踪引擎获取标记物图像。例如,图3A所示的追踪引擎304可配置为各自从检 测器1和检测器2获取一个图像帧。在方框708,追踪引擎确定物体姿态。例如,标记物 位置过滤器312可配置为确定标记物基准点的二维位置,并且物体取向过滤器314可配 置为使用标记物基准点的二维位置来估计被追踪的物体的三维姿态。追踪引擎可将该信 息存储在如方框710所示的运动数据库中。如方框710所示的运动数据库可以是例如图 3A所示的运动数据库310。
在方框712,控制器接口产生运动数据。例如,图3A所示的控制器接口308可配置为将物体姿态信息转换成扫描仪坐标系并产生数据以允许扫描仪控制器调整该运动。在方框714,控制器接口将运动数据发送至扫描仪控制器。在方框716,扫描仪控制器运行 以调整扫描仪,从而对运动作出补偿。在方框718,处理根据成像扫描是否完成而变化。 如果成像扫描未完成,则处理流程返回至方框706并如上所述地继续处理流程。如果扫 描完成,处理流程继续至方框720,并且运动补偿的流程结束。
图7B示出另一实施例的处理流程图,该处理流程图示出运动补偿处理的一个例子。 在方框722,扫描仪开始成像处理。在方框724,运动补偿系统开始其处理。例如,该处理可通过图3A所示的运动补偿系统300实现。在方框726,运动追踪系统可选择地被校 准。例如,目标校准过滤器320可配置为确定光标记物在每个检测器的视场中的总体位 置。
在方框728,追踪引擎从两个不同的有利位置获取同时的标记物图像。例如,图3A所示的追踪引擎304可配置为从第一和第二检测器108获得同时或基本同时的图像。在 方框730,标记物位置过滤器分析图像以确定光标记物的基准点的二维位置。例如,标记 物位置过滤器312可配置为分析在方框728获取的图像。标记物位置过滤器可配置为分 析这些图像以确定光标记物的基准点出现在每个图像中哪些位置。
在方框732,物体取向过滤器分析基准点位置以确定三维物体取向或姿态。例如,物 体取向过滤器314可配置为分析在方框730创建的信息以估计在六个自由度上的三维物体姿态,并在一些实施例中执行迭代处理以获得更好的估计。物体取向过滤器可配置为 将该3D物体取向或姿态信息存储到方框734所示的运动数据库中。在方框736,控制器 接口可配置为产生运动数据。例如,图3A所示的控制器接口308可配置为从运动数据库 或物体取向过滤器获得物体姿态或取向信息,并将该信息转换成可由扫描仪控制器读取 的形式。在方框738,控制器接口将运动数据发送至扫描仪控制器。在方框740,扫描仪 控制器调整扫描仪以对运动作出补偿。
在方框742,处理流程根据成像扫描是否完成而变化。如果成像扫描未完成,则处理 流程回到方框728并如前所述地继续。如果成像扫描完成,则处理流程进至方框744,并且运动补偿处理结束。
图7C示出另一实施例的处理流程图,该处理流程图示出运动补偿过程的一个例子。 图7C所示的处理流程可例如通过图3B所示的运动补偿系统301执行。在方框752,扫 描仪成像扫描开始。在方框754,运动补偿系统开始其处理。在方框756,运动补偿系统 可选择地调整追踪系统。在方框758,追踪引擎从不同的有利位置获取两个同时的标记物 图像。例如,追踪引擎334可配置为从第一和第二检测器108获取同时或基本同时的图 像帧。
在方框760,基准点滤波器定位基准点和第一二维图像。例如,基准点过滤器336可配置为分析第一二维图像以定位如图2A所示的光标记物的交替的椭圆或圆形并确定这 些组交替椭圆的每一个的质心。质心将是基准点。在方框762,基准点过滤器定位第二维 图像中的基准点。因此,在方框760、762之后,如果图2A所示出的光标记物被使用, 则六个不同基准点的六个不同坐标将被确定或已被确定。六个不同的基准点包括由第一 检测器看到的光标记物的三个基准点以及由第二检测器看到的相同的三个基准点。
在方框764,主要量发生器基于二维基准点位置计算基准主要量或属性。例如,图3B 所示的主要量发生器338可配置为在方框760和762确定的基准点的位置,以确定描述由基准点形成的基准形状的各种属性和/或描述沿第一视线和第二视线观察到的基准形状之间的差异性或相似性的六个主要量。这些基准主要量可在该处理流程中的另一处加以利用,与基于物体姿态的估计的主要量进行比较以确定误差量。下面将对主要量和主 要量的具体例子做进一步讨论。
在方框766,参考系转换器获取估计的物体姿态。例如,图3B所示的参考系转换器3B可配置访问在方框768示出的运动数据库以检索估计的物体姿态。在一些实施例中, 估计的物体姿态是任意的,例如在六个自由度取向上的(0,0,0,0,0,0)。在其它实施例中, 在方框766检索到的估计物体姿态就在最后一次执行该处理流程之前。
在方框770,参考系转换器基于估计的物体姿态计算预期的基准点的位置。例如,图 3B所示的参考系转换器340可配置为将来自方框766的三维估计物体姿态转换成基准点的预期三维和二维位置,就像物体处于该估计姿态那样。在方框772,主要量发生器基于 预期的基准点位置计算对比主要量。主要量发生器可配置为以与在方框764计算基准主 要量相类似的方式计算这些主要量;但在方框772,这些主要量是基于作为估计物体姿态 的结果的预期基准点的。
在方框774,误差过滤器确定基准主要量和对比主要量之间的误差量。例如,图3B所示的误差过滤器342可配置为将基准主要量与对比主要量进行比较并确定定量误差估计。在方框776,处理流程根据在方框774确定的误差是否落在可接受范围内而变化。如 果误差未落入可接受范围内,则处理流程进至方框778。在方框778,收敛滤波器计算旨 在减少误差的估计物体姿态。例如,收敛过滤器334可配置为从方框766分析估计物体 姿态,并确定如何改变估计姿态以减少误差。处理流程随后回到方框770并如前所述地 使用新估计的物体姿态继续。
回到方框776,如果误差落在可接受的范围内,则处理流程进至方框780。在方框780, 追踪引擎将估计的物体姿态存储在运动数据库中。在方框782,控制器接口产生运动数据。 例如,图3B所示的控制器接口308可配置为将物体姿态的坐标系转换成扫描仪坐标系并 打包该信息以发送至扫描仪控制器。在方框784,控制器接口将运动数据发送至扫描仪控 制器。在方框786,扫描仪控制器调整扫描仪以对运动作出补偿。
在方框788,处理流程根据成像扫描是否完成而变化。如果成像扫描完成,则处理流 程进至方框790,并且运动补偿处理流程结束。如果在方框788成像扫描未完成,则处理流程回到方框758并如前所述地继续。
尽管本文描述的各实施例描述了同时或基本同时地获取来自多个检测器的图像,然 而在一些实施例中,图像必须只能在彼此的某一时间段内获得。例如,在一些实施例中,图像必须仅在一时帧内获得,该时帧等于或小于向扫描仪控制器提供运动更新的运动追踪系统的频率。示出运动补偿处理的例子的处理流程图的另一例子示出于图20C中。
在一些实施例中,图7C所示和本公开文本其它位置描述的处理需要计算机系统和/ 或计算机硬件来实现。例如,为了在医学成像扫描期间允许实时运动追踪,在一些实施例中,运动补偿系统必须工作在至少100Hz的速度下,例如在至少100次/秒的速率下执 行物体取向估计。对人类而言,这种处理不可能由心算得出。即使人们能够实现本文所 述的处理,但人们不能够以某些实施例所需的速度实现它们。然而,即便速度不是必要 条件,由于牵涉到的较大数量的变量和相对复杂的方程,人们不可能在他或她的头脑中 执行本文描述的至少一些处理部分。此外,人眼可能无法在执行本文披露的某些处理所 需的分辨率之内分辨光标记物的微小运动。因此,需要计算机系统和/或计算机硬件来实 现本文所述的处理和系统以及方法的一些实施例。
图7D示出另一实施例的处理流程图,该处理流程图示出运动补偿过程的一个例子。 图7D所示的处理流程示出使用多个光标记物的处理的一个例子。在该实施例中,运动追 踪系统正在追踪一个较大的光标记物和一个较小的光标记物,例如图6B所示那样。然而,本文描述的理念可用于多个标记物系统的各种其它实施例。在方框701,扫描仪成像 扫描开始。在方框703,运动补偿系统开始其运动补偿处理。在方框705,运动追踪系统 被可选择地校准。在方框707,追踪引擎从两个不同的有利位置获取同时的标记物图像。
在方框709,标记物位置过滤器分析图像以确定较大基准形状的基准点的二维位置。 例如,标记物位置过滤器可配置为确定图6B所示的基准点614、612的基准点位置。在方框711,物体取向过滤器分析较大基准形状位置以估计3D物体取向或姿态。
在方框713,标记物位置过滤器分析来自检测器的图像以确定较小基准形状的基准 点的二维位置。例如,标记物位置过滤器可配置为确定图6B所示的基准点612、616的 位置。这些基准点的位置限定由这些基准点定义的基准形状的位置。在方框715,物体取 向过滤器分析较小基准形状位置以估计3D物体取向或姿态。
在方框717,追踪引擎将来自方框711和715的两个物体取向或姿态估计组合以产生单个估计。例如,追踪引擎可对估计求平均。又如,追踪引擎可使用一个估计或另一估计,这依赖于哪个估计最可能是在该时间点更精确的估计。追踪引擎可配置为与方框719所示的运动数据库通信以存储估计。在方框721,控制器接口产生运动数据。例如,控制 器接口可配置为将物体取向或姿态估计转换成扫描仪的坐标系。在方框723,控制器接口 将运动数据发送至扫描仪控制器。在方框725,扫描仪控制器调整扫描仪以对运动作出补 偿。在方框727,处理流程根据成像扫描是否完成而变化。如果成像扫描未完成,则处理 流程回到方框707并如前所述地继续。如果在方框727成像扫描完成,则处理流程进至 方框729,并且运动补偿处理流程结束。
固定至解剖位置(例如头部)的光学目标
光学头部追踪的一个难题是定位随着身体的骨架刚性地移动的头部特征。皮肤是弹 性的并允许显著的运动(相对于所需精度的位移,例如在眨眼、抽搐或皱起鼻子或前额时)。 为了克服这个难题,在一些实施例中,系统被配置成利用两个或更多个光学追踪目标以 布置在患者之上。例如,两个或更多个光学追踪目标可被连接(例如涂画或固定在患者面 庞上)至患者的皮肤。通过利用两个或更多个光学追踪目标,系统可配置为补偿皮肤的弹 性性质以确定患者的运动。例如,系统可配置为追踪两个或更多个光学追踪目标的运动并对检测到的运动求平均以确定患者的大致运动。可替代地,在一个实施例中,系统可 配置为分析来自两个或更多个光学追踪目标检测到的运动并将检测到的运动各自与预测 的运动值进行比较。系统可配置为选择最接近预测运动值的检测到的运动值并忽略其余 的检测到的值。可替代地,系统可配置为忽略与预测的运动值明显不同的检测到的值。 系统可配置为对尚未被忽略的检测到的运动值求平均。在一个实施例中,系统可配置为 运用或组合一个或多个前述技术。
为了克服皮肤弹性性质的难题,在一个实施例中,光学追踪目标可被连接至患者的 上齿。对头骨呈刚性的一个容易取得的特征是上齿。不像在下颚骨上的齿,上齿刚性固定于患者的头骨。在一个实施例中,紧凑和可靠的光学追踪目标可通过夹具或其它连接 装置连接至一个或多个上齿。这类连接设备可配置为极为舒适的。在一些实施例中,印 刷的精确光学目标附于患者的顶前齿。
光学目标可配置为无论传感器视场的取向如何都容易以高精度定位的。在这一点上, 圆或一系列同心圆或椭圆可能是较为有利的。此外,为了适应最快的组合2D数据处理方 法,数个(至少三个)质心位置在每个瞬时可辨。在一些实施例中,目标可包括位于等边三 角形顶点处的三组同心圆或椭圆。出于实用的原因,希望具有紧凑性,但是目标的最小尺寸和间距很大程度上受传感器特性和通过MRI场补偿线圈的可用无阻挡光学视线制 约。例如,在目标的最小尺寸和用于感测头部运动的成像相机的成本之间存在权衡—— 目标三角形的边尺寸越小,相机传感器内需要的像素越多,并且所需的用于读取和处理 的电子器件更快。
作为合理的折衷,在一些实施例中可采用边长0.5英寸的等边三角形。印刷的目标图 案包括在每个三角形顶点的1/16”小直径的实心中央椭圆点,并且每个点由3/16”小直径 和1/32”线宽的第一同心椭圆以及5/16”小直径和1/32”线宽的第二同心椭圆(比例设计为 从相机名义上的45°视角看呈圆形的椭圆)围绕。在该实施例中,整个目标测量为大约1英寸宽和大约0.93英寸高。其它尺寸也是可能的。
观察该目标的相机能够依赖于目标的取向使用简单亮度矩计算确定目标图案上的每 个椭圆的质心。目标本身仅对着相机视场的一小部分,但可通过其高对比度和灰度的缺 乏来识别。在一些实施例中,计算机处理器被编程以:通过将三个子目标包围在48×48像 素的子像素阵列中来追踪三个子目标中的每一个,并通过将(a)像素暗区和像素位置之积 的总和除以(b)48×48子像素阵列中的所有像素的像素暗区之和来计算每个子目标的质心。 处理器也被编程以移动48×48像素阵列中的每一个,以使其目标一直完全地位于子像素 阵列中。通过足够的像素空间和亮度分辨率和目标照明和对比度,使用该目标可取得行 和/或列中大约0.1像素或更小的质心定位精确性。
图2A是光学目标和三个笛卡尔轴中的两个笛卡尔轴的放大图。图2C示出固定至NTI连接设备以布置在患者的上齿的全比例目标(相比美分)。(右下)具有光学目标和夹在前齿上的夜用护板的物体。
潜伏时间
使用光学追踪技术的头部运动测量中的潜伏时间由相机传感器积分和读出时间、目 标质心确定时间和6-DOF分解时间构成。为了可靠地追踪快至2cm/秒的头部运动和快至10°/秒的头部转动,需要大约100Hz的相机帧速率,还需要相机具有对光学对象具高分 辨率,且能以高达10倍于该速度的速率冻结运动而不会模糊的电子快门。还需要大视场 以适应大的运动,因此没有昂贵的机械追踪能力的快速相机读出将需要低像素密度或者 具有较大焦平面但能够对较小的感兴趣区域作出窗限以读出的相机。运行在复合2D、而 不是全3D空间内并利用快速收敛求解方法的质心和6-DOF分解算法能够以每秒100解 的速率和大约10ms的潜伏时间将解返回到补偿头部线圈电子器件。在一些实施例中,系 统可配置为带有潜伏时间运行,从而在每个图像获取之间允许更新扫描仪。
相机
对于佩戴或连接于光学头部追踪目标的物体,目标尺寸以及物体转角和平移位置精 确地确定三个目标质心在三维上的物理位置。通过准确知晓这些角度和光学传感器(相机 和透镜)参数——像素节距、透镜焦距和径向畸变、相机位置和相对于名义目标位置的取 向——焦平面传感器上的目标质心投影的位置可以任何程度的精度被预测,即使在测量 前也是如此。
在实践中,相反的问题应当同样简单,只要目标质心的3D位置能被光学地确定。使用两个相机,质心投影的立体图可用来确定每个目标质心空间内的3D位置,并且6-DOF 位移向量则可通过简单的矩阵逆变换来确定。然而,在实践中,这种方法导致对于相机 像素密度、像素数、相机对准和相机校准方面的昂贵和复杂的需求。
一种替代的演变方法不用立体测距,而是使用来自两个相机的单独2D投影,而无需 尝试将两个相机上的绝对目标位置关联起来。这种方法消除了立体视线方法的相机对准 和放大匹配特征的严格需求,并且也放松了为了得到所需位置精度(大约0.1mm平移和大 约0.1°旋转)而需要的对于像素密度和计算的要求,由此使得成本和处理速度得到显著节 省。尽管本文描述的各实施例可能不利用立体测距、成像或视觉,然而一些实施例将或者单独或者结合本文描述的其它物体取向确定技术利用立体测距范围、成像或视觉的理念。
即使对于这种2D测量方法,一旦相机被集成到头部线圈内,也可采取一些基本步骤 以校准相机参数;这些步骤可在制造设施处执行。这些步骤包括:测量两个相机上的单个基准点的投影像素位置;以及在倾斜、俯仰和偏转的每度旋转的像素位移的相机放大 因数;以及沿x、y和z的每毫米平移量。然而,如前面陈述过的那样,相机准确地在空 间内对准(例如完美地垂直)或者这些相机的放大倍数(透镜焦距以及至基准点的距离)是 相同的都不是必须的,这可通过模拟容易地验证。
立体相对于复合2D的视野需求
通过从偏离目标平面的垂直线45°的方向观察目标的单个相机,当目标沿着相机方向 运动时(例如在相机方向上,向上垂直平移等于水平平移并且没有旋转),相机看到非常少 的质心位移。假设7微米像素节距、25mm透镜和14英寸的工作距离,当目标可被检测为沿目标质心间隔上具有0.1像素增大之前,相机方向上的目标位移可以是至少0.6mm。 然而,如图8A和图8B所示,正交地布置(例如相对于同一平面内的垂直线成45°角)的第 二相机对于这个相同的运动灵敏性最大,对于仅0.1mm的对角的平移就能看到每个质心 的完全像素位移。第二相机消除单个相机必须沿其光轴运动的“盲点”。尽管某些实施例描 述了其中相机正交地定位的系统,然而相机也可相对于同一平面内的垂直线被布置在除 了正交以外的其它相对角度上,这依赖于所要求的临床结果。
相机景深
为了适应±15°的头部偏转加上在14英寸工作距离的0.85英寸目标宽度,透镜可配 置为提供距离在13”和15.5”之间的锐聚焦。在f/22,假设混淆圆略小于相机像素(7微米), 则25mm焦距透镜提供这种必要的景深名义上14英寸聚焦。在这个工作距离上,光路可通过转向镜(图3)折叠,或者被配置成配合在主MRI线圈的70cm直径孔内。在MRI环 境中可利用不含铁的相机。在一个实施例中,重新包装商用相机以用于强磁场是节约成 本的。
在一些实施例中,可被利用或修正以用于本文描述的系统和方法的一种可能的相机 是通过Allied Vision制造的并且被命名为Prosilica GE-680单色CCD相机。这种相机具 有如下特征:具有7.4μm方形像素的Kodak KAI-0340 1/3"640x 480VGA焦平面传感器以及在12位像素深度上传递高达205帧/秒的快速吉比特以太网输出。所使用的一种可 行的不昂贵的透镜是Edmund Optics TechSpec的25mm高分辨率固定焦距透镜。
对于这种相机和透镜,在45°入射角在距离目标14英寸的位置,5/16”直径目标圆在 相机上投影成椭圆,最大椭圆的短轴直径在大约28像素而长轴直径大约40像素。通过足够的S/N比(目标照度)和透镜MTF(锐度),这种图案应当允许准确地确定质心在行和/ 或列的大约0.1像素处或更小。整个投影的目标对着大约128H×168V像素,并允许±11.5° 的头偏转,具有640水平像素(像素列)的相机可适应整个感兴趣领域而无需机械追踪设 备。
图9A和图9B示出一种经修正的头部线圈,该头部线圈具有径向安装的相机和转向镜以适应比主MRI线圈孔的约束空间内的直线光路更长的工作距离的相机。在实施例中,系统被配置有两个或更多个相机,这些相机能够直接观察光学追踪目标而不需要使用镜子。
六自由度测量和报告算法
在一些实施例中,MRI头部追踪器从两个2D成像传感器取实时输入并分析这些数据从而以最小潜伏时间确定并报告六个自由度上的运动。该任务可通过如下步骤执行: 检测和测量目标上的三个质心位置并通过报告算法利用这些位置以确定患者头部的位置。
六自由度坐标系
在一个实施例中,系统被配置成使用向MRI场补偿系统报告6-DOF运动的坐标系,该坐标系是与如图10A和图10B所示的头部线圈的对称轴线对准的笛卡尔坐标系。图 10A所示的头部线圈坐标系与图10B所示的名义(方形)头部位置中的身体坐标系一致。z 方向是进入和离开绘制平面的方向。目标位移和旋转可使用这种坐标系被报告给线圈场 补偿系统。
通过在定义飞行器运动中使用的相同惯例采用坐标定义,除了转动方向被取为右手 方向(对于绕基本方向向量的逆时针转动为正)。
x是纵向(下巴至冠部)方向,它们的值朝向头顶增加
y是横向(左至右)方向,其值朝向患者的右耳增加
z是上下方向,其值朝向天花板增加
是绕z轴的偏转角或右手旋转(在面朝前的同时头部朝向肩膀倾斜,在 正常“平的”(“square”,即左右水平的)位置处为零,对于朝向患者右肩的患者倾斜为正 值)
是绕y轴的倾斜角或右手旋转(点头“称是”,在正常”平的”位置为零, 对于患者“向上”看为正值)
是绕x轴的俯仰角或右手旋转(摇头“否认”,在正常”平的”位置为零, 对于患者向上望向患者的左侧为正值)。
坐标的原点和零度角基准是任意的,因为仅报告相对运动,然而存在两种方便的基 准原点位置:1)在其正常(“平的”)头部位置中的目标的中心,以及2)在头部旋转以作点头、 转头和歪头运动时在颈部的基部。这里采用的是后者(如图2所示),仅仅是为了易于使在 6-DOF分解算法中具有共同运动方向的一组主要观察参数正交。
目标位移方程
完全的6-DOF平移由3D位移以及3轴旋转构成。对于一阶,我们假设头骨随着刚 性身体绕颈部某处的单个旋转点移动。从这个点,平移变得与转动分离,因此将其选择 作为坐标原点。旋转如前所述地被分成俯仰、倾斜和偏转,并且通过旋转的平移位置遵 循如下的欧拉旋转矩阵公式(使用右手角惯例)。x、y和z位移坐标则遵循独立平移:
从测得的目标质心的绝对和相对位移分解六个独立的平移是这种努力的目标。2D逆 问题某种程度上比3D问题更加困难,因为在焦平面的行和列中的目标质心投影被确定后,显著的退化保留在每个相机的伸展矩阵中。将来自两相机的数据组合通过一系列相 互关联的、非线性的方程将这些退化去除。解决这种逆问题的最快速过程是通过Newton-Raphson方法或其变型获得的,藉此相对于已知的(测得的)在两个相机焦平面上的质心位置给出并测试近似一阶解。针对旋转和平移中的每个分量将残留误差除以偏导数,以确 定迭代校正。通过考虑受单个旋转角或位移影响最强烈的投影目标图案的特征并沿这些 特征轴线性化逆问题来选择一阶解。
开发并测试6-DOF运动模拟和分解算法以允许任意运动的模拟并随后验证一对正交 相机的能力,以将0.1像素水平上的质心测量分解成必要精度水平下的独立的x、y、z、俯仰、倾斜和偏转分量。
六自由度运动确定算法
一般物体运动是沿x、y和z的平移以及绕x轴、y轴和z轴的转动(分别被指定为俯仰、倾斜和偏转)的叠加。沿这些自由度中的每一个自由度的位移对坐标系原点是不敏感的;然而为建模目的将原点设置在头部绕其旋转和枢转的脊柱区域附近是方便的(如前面解释的那样),并且第二基准点被设置在名义上的(“正确”)头部位置和取向内的光学追踪目标的中心处。这种第二基准一般在x方向上偏离脊柱原点-10cm,并在z方向上偏离脊 柱原点-10cm。
图1所示的目标,当从单个相机观察时,看上去是三组同心的椭圆,它们的质心被投影在相机焦平面上的三个不同位置(列、行)。相机沿目标的平面(x=常数)居中并对准,以使中心像素行以相对于y轴和z轴两者45°角对该平面成像,并且名义上的目标中心被 投影至中心像素列。使用具有7.4微米像素的相机和定位在离名义上的目标中心14.1英 寸距离处的25mm透镜,来自边长0.5英寸的等边三角形目标的顶点的质心被投影到相 机焦平面上,如图11所示。该图示出具有设置在边长为0.5英寸的等边三角形的顶点周 围的一组同心圆的目标质心的投影位置,所述投影使用相机焦距25mm、像素节距7.4微 米和45°视角(在纸右侧和上方的相机)来完成,与相机中心线对准。45°观察角导致等边三 角形跨焦平面从左向右的透视缩短。
偏转
绕z轴的转动被指定为偏转;绕该轴的正或“右手”旋转(头朝向物体右肩倾斜)导致目 标的逆时针转动。由于这种转动一般绕颈部中的较低点发生,因此它一般伴随有至物体 右侧(相机左侧)的平移,如图12所示。目标质心的投影位置对应于图11的相同情况,但在诱发15°偏转之前和之后。
居中的目标三角形的中间(如图12右侧所示)大致对准于相机像素的单个列,但通过 偏转而旋转偏离这种对准(如图12左侧所示)。对于前述相机、透镜、目标距离和目标尺寸,仅0.1°的偏转导致中心两端之间的0.13像素列的相对位移。假设质心算法能够确定 三角形顶点至行和列中的0.1像素的位置,则偏转角确定可向下测量并精确到大约0.1°。
倾斜
绕y轴的旋转被指定为倾斜;绕该轴的正或“右手”旋转(头向后仰)导致目标向上偏离 龙门(+z)并朝向头顶(+x)的运动。对于单个相机,这种投影不容易从沿x和y的同时目标 位移中分辨出来(见图7),但对于在头部相反两侧的两个相机,视在的y位移处于相反方向,由此去除了这种退化。对于沿+x和+z的同时目标平移,第二退化仍然留有倾斜转动——这将在后面更为详细地描述——但目标平面在倾斜旋转期间的倾侧导致目标三角形基部相对于其顶点的平移量的很小差别,由此导致如图7所示的目标三角形的略微明显 的旋转,这不是简单平移的特征。这在一些实施例中成为倾斜运动的定义特征。
图13A和图13B示出与图11相同条件的目标质心的投影位置,但在8°的目标倾斜之前和之后。左侧是来自纸面左侧和上方的相机的视图,右侧是来自纸面右侧和上方的 相机的视图。在每种情形下,背离龙门(+z)的运动使得目标看上去更远离观察者。
俯仰
绕x轴的转动被指定为俯仰;绕该轴的正或“右手”旋转(头朝向物体的左侧)导致目标 朝向物体左侧(-y)的运动。对于单个相机,这种运动不容易从y的位移中分辨出来(见图 8),但对于两个相机,三角形的位置和明显的透视缩短的差异对于旋转相比平移突出得多。这是由于俯仰移动目标平面使其更靠近一条相机视线的法向入射并且更远离另一条相机视线的法向入射,其速率远大于简单平移(或偏转)的速率。在俯仰和同时的+y和+z 平移之间存在显著的退化,这只能通过比较在两个相机之间看到的三角形底部的长度来 求解。底部长度的大差异是俯仰运动的一个特征而不是y+z平移的特征,因此这是对于 俯仰的区别特征。
图14A和图14B所示,目标质心的投影位置对应于与图11相同的条件,但在12°的目标俯仰之前和之后。左侧是来自纸面左侧和上方的相机的视图,右侧是来自纸面右侧 和上方的相机的视图。在左侧的相机看到更宽的三角形,因为目标平面更靠近该相机视 线的法线。在左侧的相机也看到大得多的三角形中心的位移。
X轴平移
沿x轴的平移(朝向头顶为正)导致目标沿相机焦平面的垂直方向的运动(参见图15)。 与倾斜转动(其也涉及z上的平移)不同,目标在像素列之间没有显著移动,并且目标三角 形的转动是最小的。这种没有伴随转动的上下相机平移是x轴平移的区别特征。图15示 出对应于图11的相同条件的目标质心的投影位置,但在沿x的12mm的目标平移之前和之后。
Y轴平移
沿y轴的平移(朝向物体的右侧为正)导致目标沿相机焦平面的水平轴的运动(参见图 16A和图16B)。不同于俯仰(其也涉及由左侧相机和右侧相机观察到的目标平面的差分转 动),目标的投影尺寸、位移和转动对于y轴平移在左侧相机视图和右侧相机视图之间仅 略微地变化;这是y位移的区别特征。图16A和图16B示出对应于图11相同条件的目 标质心的投影位置,但在沿y轴的15mm的目标平移之前和之后。左侧是来自纸面左侧 和上方的相机的视图,右侧是来自纸面右侧和上方的相机的视图。与俯仰不同,目标位 移和尺寸对于观察y轴平移的两个相机而言是相似的。
Z轴平移
沿z轴的平移(朝向天花板为正)导致目标沿相机焦平面的水平轴的明显运动。然而, 与y平移不同,水平位移的方向在左侧相机和右侧相机之间是相反的(参见图17A和图17B)。这是z轴平移的区别特征。图17A和图17B示出对应于图11相同条件的目标质 心的投影位置,但在沿z轴的15mm的目标平移之前和之后。左侧是来自纸面左侧和上 方的相机的视图,右侧是来自纸面右侧和上方的相机的视图。不同于沿y的平移,明显 的目标位移在两个相机视图中沿相反方向。
无退化目标运动参数
倾斜相对于(X+Z)平移退化
倾斜随着同时的x和z平移几乎退化,除了在三角形垂直线内的小倾斜,所述小倾斜起因于目标平面绕y轴的倾侧。这种倾侧造成从左侧视图观察到的三角形的明显顺时 针旋转和从右侧视图观察到的明显逆时针旋转,如图18A和图18B所示那样。这些图示 出对应于图11的相同条件目标质心的投影位置,但分别在目标倾斜4°并沿x和z平移- 9.5mm和+7.8mm之前和之后。图18A是来自纸面左侧和上方的相机的视图,图18B是 来自纸面右侧和上方的相机的视图。在左侧的相机看到顺时针转动的三角形,由于z上 相对于下顶点的增加,其上顶点背离相机地旋转。由于相同的原因,在右侧的相机看到 逆时针旋转的三角形。对于分别伴随有沿x和z的-0.244mm和0.187平移的0.1°的倾斜 运动,三角形顶点质心在任一相机视图中均不移动。然而,在这种情形下,左侧相机看到 向右位移0.13像素的三角形底部,而右侧相机看到向左位移0.13像素的三角形底部。假 设质心确定例程能够将目标三角形的顶点定位到0.1像素的精度,则可通过垂直倾侧的 比较从简单变换区别出0.1°那样小的倾斜。
俯仰相对于(Y+Z)平移退化
俯仰随着同时的y和z平移几乎退化,除了俯仰遇到的明显目标尺寸的较大相机-相 机差异,所述差异起因于目标平面绕x轴的倾侧。目标三角形底部的明显长度的显著差异是俯仰运动而不是简单平移的可靠区别特征。图19A和图19B示出对应于图11的相 同条件目标质心的投影位置,但分别在目标俯仰4°并沿y和z平移9.75mm和0.34mm之 前和之后。图19A是来自纸面左侧和上方的相机的视图,图19B是来自纸面右侧和上方 的相机的视图。由于绕x轴背离相机法线的旋转,左侧的相机看到三角形底部缩小,同 时由于朝向相机法线的旋转,右侧的相机看到三角形底部增大。
对于0.1°的俯仰和分别沿y和z的-0.244mm和0.0002mm的平移,较低的质心在两个相机视图中是不变的。在这种情形下,左侧相机看到缩小0.15像素的目标三角形底部,而右侧相机看到增大0.15像素的三角形底部。假设质心确定例程能够将目标质心定位到0.1像素的精度,则0.14像素的平移应当是可辨的,因此可通过目标三角形底部的长度的比较从简单变换中区别出0.1°那样小的倾斜。
六自由度运动确定算法架构
互补投影相对于立体成像
目标尺寸、旋转角和平移向量精确地确定三维上的三个目标质心的相对位移。对相 机和透镜参数(例如像素节距、透镜焦距和径向即便、相机相对于名义目标位置的位置和 取向)的准确知晓则足以预测目标质心投影的位置至优于每个相机的行和列的0.1像素。 在实践中,逆问题应当同样简单,质心投影的立体图确定每个目标质心空间内的3D位置,并且6-DOF位移向量可通过简单的矩阵逆变换来确定。然而,在实践中,这种方法 导致对相机像素密度、像素数、相机对准和相机校准方面的昂贵和复杂的需求。一替代 的伸展方法不采用立体测距而是单独地使用两个相机投影而不限制对相机对准和放大倍 数的精确匹配的要求,从而确定6-DOF位移向量在每个旋转角落在0.1°内并沿每条平移 轴在0.1mm内。这种方法相对于立体方法以大约20倍因数放松了像素密度和计数需求, 由此使得成本和处理速度显著节省。
即使对于这种2D方法,一旦相机被集成到头部线圈内,也可作出一些基本测量以校 准相机参数;这些步骤可在制造设施处容易地执行。这些测量包括:两个相机上的单个基准点的投影像素位置;以及在倾斜、俯仰和偏转的每度旋转的像素位移的相机放大因数;以及沿x、y和z的每毫米平移量。然而,如前面陈述过的那样,相机准确地在空间 内对准(例如完美地垂直)或者这些相机的放大倍数(透镜焦距以及至基准点的距离)是相 同的都不是必须的,如已通过模拟简单地验证的那样。
逆方程
2D逆问题某种程度上比3D问题更加困难,因为在焦平面行和列中的目标质心投影被确定后,显著的退化保留在每个相机的伸展矩阵中。将来自两相机的数据组合通过一 系列相互关联的、非线性的方程将这些退化去除。解决这种逆问题的最快速过程是通过Newton-Raphson方法的变型获得的,藉此相对于已知的(测得的)在两个相机焦平面上的质心位置给出并测试近似一阶解。针对旋转和平移中的每个分量将残留误差除以偏导数,以确定迭代校正。通过考虑受单个旋转角或位移影响最强烈的投影目标图案的特征并沿这些特征轴线性化逆问题来选择一阶解。
6-DOF提取算法
下面描述了用于从两个焦平面相机上观察到的目标位置提取6自由度位移矩阵的方 法的一个实施例。与本公开文本一致地,也可使用其它实施例。此外,尽管下面的实施例指向一些步骤,然而在一些实施例中不是所有的步骤都要被包括、可包括附加的步骤和/或这些步骤不一定以设定顺序执行。
步骤1:描述目标图像
光学目标包括图2A所示的椭圆目标,其被绘出以当通过图8A所示的两个相机在45° 观察时呈圆形图案。三个圆形图案中的每一个的中心定义了两个相机中的每一个的焦平 面处的等边三角形的三个顶点之一。质心计算例程确定在两个独立相机中的每一个上的 三个顶点中的每一个处的质心的位置。这些质心被显示在计算机监视器上,该计算机监视器显示两个相机中的每一个相机的640×480像素。图11示出三个顶点被显示在其中一个相机上。这些顶点位置被指定为(Xi,j,Yi,j),对于顶点序数i从1至3,相机序数j从1 至2,由此得到12个测得的坐标。从这12个测得的坐标以及这些坐标的初始值,六个主 要量被计算以描述等边三角形目标的两个相机视图:
a)ΣHD-在相机1和相机2上的目标中心的水平位移(以像素为单位)之和,所使用的公 式为其中X0i,j是每个质心投影的最初(零位移)水平相机坐标。
b)ΔHD-相机1和相机2的目标中心的水平位移(以像素为单位)之差,所使用的公式为
c)ΣVD-相机1和相机2的目标中心的垂直位移(以像素为单位)之和,所使用的公式为 其中Y0i,j是每个质心投影的最初(零位移)垂直相机坐标。
d)ΔBL-相机1和相机2的目标三角形的明显底部长度(以像素为单位)之差,所使用的 公式为
e)ΣMT-相机1和相机2的目标三角形的明显中间倾侧(底部中心和顶点之间的水平像 素的偏移)之和,所使用的公式为
f)ΔMT-相机1和相机2的目标三角形的明显中间倾侧(以像素为单位)之间的差;所使用的公式为
步骤2:用6-DOF运动特征化主要量中的全局变化
绕最初(无位移的)位置的前述主要量的相对于物体位移和转动的偏导数被数值计算出,这里:
俯仰是绕x轴的右手旋转
倾斜θ是绕y轴的右手旋转
偏转ψ是绕z轴的右手旋转
从3D世界空间中的最初目标位置开始,被定义为基于目标三角形的几何尺寸和形状以及适宜坐标原点的定义对顶点序数i=1-3确定最初目标顶点世界坐标(x0i,y0i,z0i)。
相对于六个自由度(俯仰、倾斜、偏转、dx、dy、dz)中的每一个,通过对每个自由度的微小增量的评估数值进行每个主要量的局部偏导数计算。使用欧拉旋转矩阵和转换向量计算对于沿六个自由度的规定运动的目标顶点位置的变化:
接着,使用几何投影计算来确定这些新的目标顶点位置的相机投影。假定相机位置、 像素尺寸和透镜焦距是精确已知的,则空间内的这些新的3D位置应当投影到的每个相机焦平面(相机序数j等于1或2)上的垂直像素数如下:
这里,Xi,j和Yi,j是投影到相机j传感器上的经平移的目标顶点i的水平和垂直像素数,Xo,j和Yo,j是由相机的光轴(典型地在相机中心或非常接近相机中心)横交的像素列和行的水平数和垂直数。f.l.和spix是透镜焦距和相机像素节距,而角αi,j和βi,j是相对于相机j聚焦轴定位目标顶点i的极角和方位角。这些角如下地从顶点世界坐标(vertex wolrdcoordinates)计算出:
其中点(x1,j,y1,j,z1,j)是相机光轴和与光轴垂直的平面之间的交点,所述光轴包括经平 移的目标顶点(x1i,y1i,z1i):
x1,j=x0+k(xcj-x0);y1,j=y0+k(ycj-y0);z1,j=z0+k(zcj-z0) [5]
其中(x1cj,y1cj,z1cj)定义相机j的3D位置,(x10,y10,z10)定义在无位移的目标中心的 两个相机的名义视轴位置以及基于几何投影的常数κ并通过下式给出:
在方程[4]中,取反余弦函数从0至π的范围,并且对于βi,j的适当表征如下:
sign[βi,j]=sign[(zcj-zi){(xcj-x0)(x1,j-xi)+(ycj-y0)(y1,j-yi)}-(z1j-zi){(xcj-x0)2}+(ycj-y0)2]
在3D目标顶点的相机投影的这种确定期间,可基于之前的透镜校准测量对大值的极角 αi,j施加补偿函数以诠释透镜中的桶形畸变。αi,j的几何值首先基于方程[3]计算出,并随后 借助预定的查找表或测量拟合函数对透镜畸变进行调整,并且对αi,j的这种新补偿的值则 通过方程[2]用于计算Xi,j和Yi,j
为了数值上估计主要量在最初目标位置周围的偏导数,未位移的3D目标顶点坐标(x0i,y0i,z0i)使用前面的方程[2]-[6]被首先投影到相机坐标,并且对于步骤1中描述的主要 量中的每一个计算出最初值(多数应当为零或者在开始位置的近零)。然后,一次一个地将 俯仰、倾斜、偏转、x轴位移、y轴位移和z轴位移的小增量引入,对于每个增量计算目 标顶点的新世界坐标和新相机投影。每个主要量的变化被除以小的角增量或位移增量以 确定局部导数。
例如,为了确定相对于俯仰的偏导数,位移向量被引入到一般位移方程[1]以确定经平移的目标顶点位置(xi,yi,zi)。然后使用方程[2]-[6] 执行对相机坐标(Xi,j,Yi,j)的转换,并如步骤1概括的那样计算主要量。每个主要量和无 位移计算的量的对应值之间的差被除以小的俯仰增量,以给出每个量相对于俯仰的偏导 数。为了确定相对于倾斜的偏导数,使用位移矢量来发起计算,并对于所有六个自由度以此类推。
这六个重复计算中的每一个产生全局偏导数矩阵的一个列:
步骤3:确定一阶位移向量
对位移矩阵的一阶近似是通过将如步骤1中确定的测得主要量的矩阵乘以步骤2中 计算出的偏导数矩阵的逆变换而确定的:
步骤4:用6-DOF运动特征化主要量中的局部变化
步骤3中确定的的一阶值被输入到变换方程[1]以对于三个目标顶 点的每一个确定对应变换的3D目标位置(x1i,y1i,z1i)。这些世界坐标使用方程[2]-[6]被投 影至相机坐标(Xi,j,Yi,j),并重新计算主要量。这六个量与步骤1中确定的这些量的测量 值作比较,以产生残留误差矩阵:
通过如前那样一次一个地将将俯仰、倾斜、偏转、x轴位移、y轴位移和z轴位移的小增量引入来计算主要量的局部偏导数,但此时增量相对于一阶位移向量。对于每个增量,重新计算目标顶点的新世界坐标和新相机投影并且重新计算主要量。每个主要量的 变化被除以小的角增量或位移增量以确定局部偏导数。例如,为了计算相对于俯仰的偏 导数,用取代一阶位移向量 并且将每个主要量的结果变化除以以确定相对于俯仰 的局部导数。对于六个自由度中的每一自由度重复这个过程。
这六个重复计算中的每一个产生新的全局偏导数矩阵的一个列:
步骤5:确定一阶位移向量的粗略校正
通过将步骤4中确定的残留误差矩阵乘以同样在步骤4中确定的部分偏导数矩阵的 逆变换,计算粗略校正以改善一阶位移向量并减少残留误差:
一阶位移向量通过粗糙校正矩阵被递增以形成对位移向量的更好逼近:
步骤6:执行细校正以确定最终6DOF位移向量
重复步骤4、5,从粗略校正的位移向量开始,以确定对位移向量的最终精细校正。在该迭代之后,结果的精细校正增量被加至粗略校正的向量以形成最终的6-DOF位移向量。来自一般模拟的经验结果指示该精细校正在所有情形下都足以将残留误差减小至远低于前面陈述的0.1°、0.1mm的容限。
检验绝对收敛的算法数值模拟
当相机、目标和转动台被取得和组装时,6DOF分解算法可对于一组测试的旋转被编码和测试。显然例程对于小的平移和转动将会收敛,但确定其在六个自由度上的极端 位移的收敛是否存在限制可能是有利的。为此,我们设想极端目标位移,计算位移目标 的3D位置,计算在两个相机中的每一个上将被看到的质心位置,并运行分解算法来确定 收敛速度。
在一些实施例中,为了论证迭代的6DOF展开算法的绝对收敛,模拟开始于非常大的转动和位移的一组测试,如下面表1列出的那样。
表1.为了测试算法收敛的假想患者的一组极端角旋转和线性平移的例子
模拟通过下列步骤开始:确定将由每个相机看到的位移质心的位置,由此允许每个 相机的一定程度的误指向和不对准。原始(名义)目标位置通过章节2.5.2.2中示出的欧拉 旋转公式转动和位移,以确定三维空间中的三个位移的目标质心位置。接着,如同一章节中描述的那样,对于两个相机中的每一个,这些“世界坐标”被变换到2D“相机坐标”。
假设目标被成像到这些相机坐标中但操作者对引起该目标位置的位移矩阵没有在先 认识,则我们使用章节2.5.2中描述的算法从头到尾地重建位移矩阵。通过步骤3(章节 2.5.2.3)的结束,算法返回对6DOF位移向量的最初估计,如下面表2所示。
第一近似偏转(度) 4.4313
第一近似倾斜(度) -19.4474
第一近似俯仰(度) 8.8784
第一近似X位移(mm) -6.4257
第一近似Y位移(mm) -2.5639
第一近似Z位移(mm) -5.9428
表2.基于章节2.5.2中描述的方法的6DOF位移的第一估计
如期望的那样,由于对于沿和绕每个轴的这种模拟选择的平移和旋转的极端大小, 在该阶段的残留误差一般很大;这种情况对于Newton Raphson算法方法的绝对收敛形成 良好的测试。假设这种估计是正确的,则步骤4(章节2.5.2.4)中的算法再次计算目标的位 移位置、由每个相机看到的结果质心位置以及可能得到的主要量(垂直末梢和与差、底部 长度差、垂直位移和以及水平位移和与差),以与实际观察的值进行比较。以像素为单位的残留误差以及对于偏转、倾斜和俯仰的小变化(每0.1°的像素)和沿dx、dy和dz的小变 化(每0.1°的像素)的每个主要值的局部导数如章节2.5.2.4所述那样被计算出,并如下面 图4所示被制表。
偏转局部导数 倾斜局部导数 俯仰局部导数 x位移局部导数 y位移局部导数 z位移局部导数 残留误差
垂直顶端之和 0.2575 0.0383 -0.0994 0.0021 0.0045 0.0021 -8.6558
垂直顶端之差 0.0657 -0.2756 -0.0131 0.0006 0.0018 0.0274 6.8709
底部长度之差 -0.3223 0.0277 0.4988 0.0109 -0.0702 0.0106 -2.9918
垂直位移之和 -0.3118 5.8134 0.0350 1.8843 0.0112 -0.2223 -168.5591
水平位移之和 -2.5875 -0.1680 3.8651 0.0117 -1.3090 -0.0124 58.1859
水平位移之差 -0.5823 1.4452 0.7697 -0.0140 -0.1114 -1.4280 120.7937
表3.主要量垂直顶端之和、垂直顶端之差、底部长度之差、垂直位移之和、水平位移之和以及水平位移之差的残留误差(以像素为单位)以及对于偏转、倾斜和俯仰(每0.1°的像素)和x位移、y位移和z位移(每0.1mm的像素)的局部导数
表3左侧的导数矩阵被逆运算并乘以右侧的残留误差向量,以得到对位移向量的最 初估计的一阶校正,如章节2.5.2.5描述的那样,并被表示在下面表4的左侧。这些被加至最初估计,以产生6DOF位移向量的更精炼的估计,其被表示在表4的右侧。
偏转局部导数 倾斜局部导数 俯仰局部导数 x位移局部导数 y位移局部导数 z位移局部导数 残留误差
垂直顶端之和 0.2575 0.0383 -0.0994 0.0021 0.0045 0.0021 -8.6558
垂直顶端之差 0.0657 -0.2756 -0.0131 0.0006 0.0018 0.0274 6.8709
底部长度之差 -0.3223 0.0277 0.4988 0.0109 -0.0702 0.0106 -2.9918
垂直位移之和 -0.3118 5.8134 0.0350 1.8843 0.0112 -0.2223 -168.5591
水平位移之和 -2.5875 -0.1680 3.8651 0.0117 -1.3090 -0.0124 58.1859
水平位移之差 -0.5823 1.4452 0.7697 -0.0140 -0.1114 -1.4280 120.7937
表4.(左)通过对前面表3左侧的导数矩阵作逆变换并将该逆变换矩阵乘以表3右侧 的残留误差向量而对偏转、倾斜、俯仰、dx、dy和dz的最初估计的一阶校正。这些校正 被加至最初6DOF运动估计以产生上面右侧的改善估计。
该过程如章节2.5.2.6所述地重复第二次和最后一次,再一次假设(现在精炼的)6DOF 位移向量是准确的,并首先计算3D目标质心位置并随后计算被投影到两个相机焦平面 的每一个上的目标质心的位置。同样,计算六个主要量并与实际观察值进行比较以产生残留误差的向量。同样计算局部导数,这次在一阶位移向量的位置。其结果如下面表5所 示被制表。
偏转局部导数 倾斜局部导数 俯仰局部导数 x位移局部导数 y位移局部导数 z位移局部导数 残留误差
垂直顶端之和 0.2498 0.0545 -0.0785 0.0020 0.0028 0.0007 0.4715
垂直顶端之差 0.0682 -0.2935 0.0223 -0.0012 -0.0034 0.0242 -0.0827
底部长度之差 -0.3146 0.0536 0.4966 0.0171 -0.0723 0.0094 0.5096
垂直位移之和 -0.5927 5.7797 0.0405 1.9353 0.0084 -0.1911 -4.3941
水平位移之和 -2.5462 -0.3237 3.7395 0.0074 -1.3067 -0.0135 -4.8578
水平位移之差 -0.6876 1.7791 0.7547 -0.0177 -0.0884 -1.4784 2.5723
表5.主要量垂直顶端之和、垂直顶端之差、底部长度之差、垂直位移之和、水平位移之和以及水平位移之差的一阶残留误差(以像素为单位)以及对于偏转、倾斜和俯仰(每0.1°的像素)和x位移、y位移和z位移(每0.1mm的像素)的新局部导数。
表5左侧的导数矩阵被逆变换并乘以右侧的残留误差向量,以得到对位移向量的一 阶估计的最终校正,如下面表6的左侧所示。这些校正被加至一阶估计,以产生6DOF位移向量的最终二阶估计,如表6右侧所示。
偏转调整(度) -0.2947 最终偏转(度) 7.9999
倾斜调整(度) -0.1210 最终倾斜(度) -15.0013
俯仰调整(度) -0.4448 最终俯仰(度) 11.9978
dx调整(mm) 0.5114 最终ΔX(mm) -8.9989
dy调整(mm) -1.0377 最终ΔY(mm) 2.9952
dz调整(mm) -0.0058 最终ΔZ(mm) 6.9941
表6(左侧)通过将前面表5左侧的导数矩阵作逆变换并将该逆矩阵乘以表5右侧的残留误差向量而获得的偏转、倾斜、俯仰、dx、dy和dz的一阶估计的二阶校正。这些校 正被加至通过相同方法获得的一阶校正,以产生对用于模拟的6DOF运动中的每一个的 最终值。
即便对于该模型中使用的极端旋转和位移,算法图示为仅在两次迭代中收敛至0.003° 和0.006mm以内。给出执行最初估计和两次Newton方法的连续迭代所需的浮点运算数 目,该算法能在小于5毫秒的时间内在典型膝上计算机上产生解。
四元表征
头部线圈ICD规定四元形式的转动向量,对于其(仍然使用右手欧拉角旋转惯例):
变换向量对于这里计算出的形式而言是不变的。
质心确定算法
焦平面上的质心位置通过下式给出:
这种计算是针对如图20B所示的目标上的三个子区域2010执行的(虚线不出现在真 实目标上),其逆转图像以使大的计数量对应于黑(对于12位单色相机读出接近4095)并且小的计数量对应于白(接近0)。通过最小量的复杂性,例程可检测圆形图案并自动地近似定位这些子区域2010。在一些实施例中,例程可通过建点击被初始化以在开始时识别 每个质心的近似位置。接着,每个新帧的感兴趣的三个区将被居中在来自前一帧的质心 位置,加减48个像素行并加减48个像素列。三个目标圆的每个圆周围的感兴趣区域可 被整合以确定目标质心。
质心确定
在一些实施例中,测试目标可以大约45°角度被印刷和安装在单色相机的视场内。在 该角度上,椭圆目标在相机焦平面上被投影成大致圆形目标。在一些实施例中,相机可在14.1英寸距离上聚焦在以45°的取向全比例印刷目标上。相机视场大致为紧挨着目标 安装的相机校准目标的中心内的矩形尺寸。
计算出的目标质心被显示为在实验室观察图像的中心处的红点,并被显示为在图像 右侧的浮点(x,y)对。在高于全比例的大约20%的发光水平下,测得的质心位置在行或列 中的波动不高于0.1像素水平;对于较低强度水平,统计波动超出该阈值。然而要注意,对于白上黑的印刷目标,均匀的照明可能是重要的——如果目标发光例如从左侧或右侧起明显更强烈,则矩计算可沿水平方向施加偏移并将质心平移到特定的误差阈值之外。 这种效果在某些情形下可能对发光方法施加不想要的成本约束,因此首先采用强度阈值 确定算法,藉此将目标直方图限制在亮和案区域强度的较低极值,由此消除不想要的效 果。在一些实施例中,相机控制屏幕视图可允许控制相机帧速率和读出分辨率,由此手 动地示出所选择的感兴趣区域。全相机视场大致由屏幕上的黑色区域表示。质心可被显 示为在圆形目标中心处的红点,并且相机x-y坐标在显示器的右侧被显示为2-十进制精 度的浮点数。
例1
相机校准
如同任何相机透镜,用于头部追踪器的透镜可能因变于离成像轴的距离而具有一定 程度的畸变。方位角畸变应当是可忽略的,但径向畸变可在透镜安装之后被测量并拟合到多项式曲线以允许对相机视场的边缘附近的质心位置的快速补偿。在运用NewtonRaphson迭代算法的期间,可构建6DOF展开算法以适应径向畸变的典型水平作为二阶 补偿。
可使用具有直径1/3"、2/3"、1"(并以此类推直至4英寸的最大直径)的同心圆的印刷 基准目标来确定径向畸变,如图22A和22B所示。相机和在14.08英寸工作距离上的 25mm透镜的近似FOV为2"x2.67",如印刷在目标上的内矩形所指示的那样。相机被安 装在离目标14.24英寸的位置,以使内矩形在相机FOV的边缘处可见,并且目标居中在 该领域。单个图像帧被捕获,并且圆和径向线的交点通过图像上的局部质心计算被标识 并被准确地定位。将世界坐标系的极角与记录在相机上的极角进行比较以确定径向畸变。 图22A是相机校准目标而图22B是25mm固定焦距相机透镜的轴外径向畸变,这是通过 比较被记录在相机焦平面上的圆的直径而测得的。
在一个实施例中,对于techSpec高分辨率固定焦距25mm透镜测得的测量径向畸变遵循相机极角θc=(1+0.0053144θ-0.0016804θ2+0.0002483θ3-0.0000138θ4)θ,其中实 验室极角θ以°为单位。在视场的极端角部(其中θ~6.75°),相机像差导致相对于真实角 大约0.7%的相机角的径向增长,或半径上大约2.8像素。
全6DOF追踪
全6-DOF追踪算法通过图形用户接口(GUI)在实验室视图(Lab View)中被编码。GUI 屏幕的左上方给出当前帧内的目标圆的质心信息,而左下方给出前一帧的相同信息。对 于每一个,来自一组三个目标圆中的一个嵌套的目标圆被显示成负的(黑上白),连同其像 素亮度的直方图落在居中于前一帧的质心位置上的48×48像素方框内。该直方图被分割 成两段以(在左侧)显示在亮度标度一端的背景像素的峰值,并(在右侧)显示在亮度标度另 一端的目标本身的像素的峰值。其间像素的长连续区代表在目标帧中的黑光边界处的像 素。从两个直方图的分析,目标领域被限制在亮侧上的低亮度肩部以及暗侧上的高亮度 肩部,以形成对跨目标发光的变化不敏感的二元目标领域。尽管仅对一个目标圆作实时的显示,然而所有三个目标圆都是以这种方式被处理的。
紧挨着目标直方图,对于三个嵌套圆目标中的每一个,x-y相机质心位置被显示至2- 十进制精度;同样对于当前数据在屏幕的上半部而对于前一帧在屏幕的下半部。
在使用章节2.5描述的方法进行分析之后,屏幕右侧显示经处理的6-DOF数据。模拟量表式显示器示出每帧获取和处理时间,在其下端限制大约8毫秒的相机帧整合和读 出时间。使用章节2.5描述的Newton-Raphson例程的单次迭代,算法在连续帧的整合时 段运行,由此处理时间大约为8毫秒,其对应于120Hz相机读出速率。6-DOF数据可已 模拟或数字格式被显示,但数字格式可以0.01mm和0.01°的精度被读出以与0.1mm、0.1° 的精度要求进行比较。
用于头部追踪模拟的实验室机械布局
实验室配置被设计使用六自由度光学转动量成模仿头部转动和位移。该量包括沿光 学桌面的x、y和z轴的三个联动的平移级以及分别与偏转、俯仰和倾斜对应的三个联动的转动级。两个单色相机和转动镜子以适宜的几何关系被安装以与已有的12通道头部线圈一起使用。两个单色相机处于前台,相对于水平方向以±45°角安装以适应转动镜子的旋转。转动镜子被安装在相机后面10英寸的位置(由画面中的相机略微阻挡)。目标在每 个镜子的反射中部分可见。6-DOF转动级处于前景的中心,其中y轴级在底部,x轴级次 之,而z轴级在上方,之后是偏转级、俯仰级并且最后是倾斜级,目标处于顶部(倾斜转 动手柄由该级阻挡)。近IR发光LED位于背景的中心;来自该级的光落在相机光谱范围 内,但对人眼几乎不可见。
X轴平移
来自6-DOF位移组件底部的第二平移级控制x轴位移(与患者脊椎对准)。x轴平移级控制把手转过四圈整(对应于-2.54mm),并从质心相机坐标的结果运动中计算出绝对位置变化。结果是:由展开算法确定的位移在x上为-2.56mm,在y和z上小于0.1mm,并 且在俯仰、倾斜和偏转上小于0.1°。目标位移dx=-2.54mm,通过在图示的GUI的右下显 示部分上的缩放,计算为dx=-2.56mm,dy=0.08mm,dz=0.02mm,dθ=-0.03°且 dψ=-0.01°。
Y轴平移
6-DOF位移组件中的底部平移级控制y轴位移(患者的左右运动)。y轴平移级控制把手转过四圈整(对应于-2.54mm),并从质心相机坐标的结果运动中计算出绝对位置变化。这导致目标位移dy=-2.54mm,通过在GUI的右下显示部分上的缩放,表示为dx=0.00mm,dy=-2.47mm,dz=-0.01mm,dθ=-0.04°且dψ=-0.03°。
Z轴平移
6-DOF位移组件中的顶部平移级控制z轴位移(患者的下至上运动,其中患者处于背 躺状态)。z轴平移级控制把手转过四圈整(对应于-2.54cm),并从质心相机坐标的结果运 动中计算出绝对位置变化。由展开算法确定的位移在z上为-2.54mm,在x和y上小于0.1mm,并且在俯仰、倾斜和偏转上小于0.1°。其结果是:目标位移dz=-2.54mm,通过 在GUI的右下显示部分上的缩放,表示为dx=0.01mm,dy=-0.01mm,dz=-2.59mm, dθ=-0.06°且dψ=0.01°。
偏转旋转
6-DOF位移组件中的底部转动级控制偏转转动(患者左肩-右肩倾侧方向)。偏转转动 级控制把手转过+4°(在级上头朝向315°至头朝向311°,对应于朝向右肩的运动),并从质 心相机坐标的结果运动中计算出绝对位置变化。由展开算法确定的位移在dx、dy和dz上小于0.1mm,在俯仰上为0.1°,在倾斜上小于0.1°,并在偏转上为3.94°。其结果是:目 标转过dψ=+4.00°,通过在GUI的右下显示部分上的缩放,表示为dx=0.07mm,dy=- 0.05mm,dz=0.02mm,dθ=-0.01°且dψ=3.94°。
俯仰转动
6-DOF位移组件中的中间转动级控制俯仰转动(患者右肩-左肩“摇头”方向)。俯仰测 角仪控制把手转过+5°,并从质心相机坐标的结果运动中计算出绝对位置变化。由展开算 法确定的位移在dx和dz上小于0.1mm,在dy上为1.78mm,在俯仰上为4.97°并在倾斜 和偏转上小于0.1°。由于Thorlabs GNL 18测角仪级的转动中心高于安装表面44.5mm而 目标仅比该级高出22mm,因此y上的位移是可预期的。对于结果得到的-20.5mm杠杆 臂,由5°俯仰转动造成的y位移是-(-20.5mm)*sin(5°)=+1.79mm,这与测得的数据保持良 好的一致性。
其结果是:目标转过通过在GUI的右下显示部分上的缩放,表示为 dx=0.07mm,dy=1.78mm,dz=-0.01mm,dθ=-0.03°且dψ=0.08°。
倾斜转动
6-DOF位移组件中的顶部转动级控制倾斜转动(患者“点头”方向)。倾斜测角仪控制 把手转过+5°,并从质心相机坐标的结果运动中计算出绝对位置变化。计算出的倾斜为4.95°,偏转小于0.1°。Thorlabs GNL 10测角仪级的转动中心高于安装表面25.4mm而目 标仅比该级高出6.4mm。对于作为结果的-19mm杠杆臂,由5°转动造成的x位移为-19mm* sin(5°)=-1.66mm,y位移为0.00mm而z位移为-19mm*[l-cos(5°)]=0.07mm。这些位移 全部落在测得数据的0.1mm之内。其结果是:目标倾斜转过dθ=+5.00°,通过在GUI的 右下显示部分上的缩放,表示为dx=-1.63mm,dy=0.09mm,dz=0.17mm,dθ=4.95° 且dψ=-0.07°。
实施例的实验室测试
图27A-27G示出对本文描述理念的实施例进行测试的实验室配置。图27A示出包括利用大约90°剪刀角对光标记物成像的两个光检测器的实验室配置的俯视图。图27B-27G示出作为移动光标记物的结果通过运动追踪系统的实施例计算出的运动追踪信息以表征被追踪的目标的运动的图表。
变型
上面已详细描述了一些特定实施例,其重点在于医疗应用,尤其是患者头部的特定 MRI检查。然而,可对其它MRI检查或其它身体部分运用本发明的教义,其中六个以上 自由度的运动是可能的。另外,牵涉到除了MRI设施以外的成像设备(例如CT、PET、 超声、平片X线摄影及其它)的医疗过程也可从本发明的教义中获益。本发明的教义可有 益于许多非医疗应用,其中具有若干自由度的目标追踪是可行的。这些应用中的一些可 以是军事应用。此外,尽管披露了特定算法,但它们的变型、组合和子组合也是可行的。
计算系统
在一些实施例中,前面描述的计算机客户机和/或服务器以图21所示的计算系统1500的形式出现,图21是经由一个或多个网络1518与一个或多个计算系统1520和/或 一个或多个数据源1522通信的计算系统的一个实施例的方框图。计算系统1500可用来 视线本文所述的系统和方法中的一个或多个。另外,在一个实施例中,计算系统1500可 配置为运用本文所述的方法和系统中的一个或多个。尽管图21示出计算系统1500的一 个实施例,然而要理解,针对计算系统1500的组件和模块提供的功能可被组合到较少的 组件和模块中或进一步分散到额外的组件和模块中。
运动校正控制系统
在一个实施例中,系统700包括运动校正控制系统模块1514,其实现本文参照运动校正机制描述的功能,包括前面描述的运动校正方法中的任何一种方法。运动校正控制 系统模块1514可通过后面进一步讨论的中央处理单元1504在计算系统1500上执行。
一般来说,本文使用的术语“模块”指以硬件或固件形式体现的逻辑,或可能具有进 入和退出指针的软件指令集,其以编程语言撰写,例如COBOL、CICS,Java,Lua,C或 C++或Objective C。软件模块可被编译并链接成可执行程序,被安装在动态链接库内,或 者可被撰写成解释性编程语言,例如BASIC、Perl或Python。将理解,软件模块可从其 它模块或从自身调用,和/或响应于检测到的事件或中断被调用。软件指令可嵌入到固件 中,例如EPROM。将进一步理解,硬件模块可包括相连接的逻辑单元(例如门和触发器) 和/或可包括可编程单元(例如可编程门阵列或处理器)。本文描述的模块优选地被实现为 软件模块,但可以硬件或固件形式表示。一般来说,本文描述的“模块”指可与其它模块组 合或被划分成多个子模块的逻辑模块,不管它们的物理组织或存储位置如何。
计算系统组件
在一个实施例中,计算系统1500还包括适于控制大型数据库和/或与之通信、执行事务处理并从大型数据库产生报告的工作站或其它计算设备。计算系统1500还包括中央处理单元(CPU)1504,其可包括传统的微处理器。计算系统1500还包括:存储器1508, 例如临时存储信息的随机存取存储器(RAM)和/或永久存储信息的只读存储器(ROM);以 及海量存储设备1502,例如硬盘驱动器、软盘或光学介质存储设备。典型地,计算系统 1500的模块使用基于标准的总线系统被连接至计算机。在不同的实施例中,基于标准的 总线系统可以是例如外设组件互连(PCI)、微通道、SCSI、工业标准架构(ISA)以及扩展 ISA(EISA)架构。
计算系统1500包括一个或多个惯常可用的输入/输出(I/O)设备和接口1512,例如键 盘、鼠标、触摸板和打印机。在一个实施例中,I/O设备和接口1512包括一个或多个显 示设备,例如监视器,其允许将数据视觉呈现给用户。更具体地,显示设备例如提供GUI 呈现、应用软件数据和多媒体呈现。在图21的实施例中,I/O设备和接口1512也提供对 各种外部设备的通信接口。计算系统1500也可包括一个或多个多媒体设备1506,例如扬 声器、视频卡、图形加速器以及麦克风。
计算系统设备/操作系统
计算系统1500可运行在多种计算设备上,例如移动设备或服务器或台式机或工作站、视窗服务器、结构查询语言服务器、Unix服务器、个人计算机、大型计算机、膝上 计算机、蜂窝电话、个人数字助理、自动售卖亭、音频播放器、智能电话、平板计算设备 等等。计算系统1500一般受操作系统软件控制和协调,所述操作系统软件例如是iOS, z/OS,Windows 95,Windows 98,Windows NT,Windows 2000,Windows XP,Windows Vista,Windows 7,Linux,BSD,SunOS,Solaris或其它可兼容的操作系统。在Macintosh系统中, 操作系统可以是任何可用的操作系统,例如MAC OS X。在其它实施例中,计算系统1500 可受专有操作系统控制。传统操作系统控制和调度计算机进程以执行,执行存储器管理, 提供文件系统,联网以及I/O服务,并提供用户接口,例如图形用户接口(GUI)及其它。
网络
在图21的实施例中,计算系统1500经由有线的、无线的或有线和无线的组合的通信链路1516被连接至网络1518,例如LAN、WAN或因特网。网络1518经由有线或无 线通信链路与各种计算设备和/或其它电子设备通信。在图21的实施例中,网络1518与 一个或多个计算系统1520和/或一个或多个数据源1522通信。
通过计算系统1520和/或通过数据源1522对计算机系统1500的运动校正控制系统模块1514的访问可通过web启用的用户访问点,例如计算系统1520或数据源1522的 个人计算机、蜂窝电话、膝上计算机或能够连接至网络1518的其它设备。这种设备可具 有实现为模块的浏览器模块,其使用文本、图形、音频、视频和其它媒体呈现数据并允许 经由网络1518交互数据。
浏览器模块可实现为所有点可访问的显示器的组合,例如阴极射线管(CRT)、液晶显 示器(LCD)、等离子体显示器、触摸屏显示器或显示器的其它类型和/或组合。另外,浏览器模块可被实现为与输入设备1512通信并也可包括具有适宜接口的软件,其允许用户通过使用样式化屏幕要素访问数据,所述样式化屏幕要素例如是菜单、窗口、对话框、工具 栏和控件(例如单选按钮、复选框、滑动标尺等等)。此外,浏览器模块可与一组输入和输 出设备通信以从用户那里接收信号。
输入设备可包括键盘、滚动球、笔和针、鼠标、追踪球、语音识别系统或事先指定的开关或按钮。输出设备可包括扬声器、显示器屏幕、打印机或语音合成器。另外,触摸 屏可充当混合式输入/输出设备。在另一实施例中,用户可更直接地与系统交互,例如通 过连接至分数发生器而不在因特网、WAN或LAN或类似网络上通信的系统终端。
在一些实施例中,为了上传、下载或实时地观看交互数据和在线数据库的直接目的, 系统1500可包括建立在远端微处理器和大型主机计算机之间的物理或逻辑连接。远程微 处理器可由运作计算机系统1500的实体运作,所述实体包括客户机服务器系统或主服务 器系统,和/或可由一个或多个数据源1522和/或一个或多个计算系统运行。在一些实施例中,可在微处理器上使用终端仿真软件以参与到微型-大型链路中。
在一些实施例中,位于运行计算机系统1500的实体内部的计算系统1520可从内部访问运动校正控制系统模块1514,作为由CPU 1504运行的应用或进程。
用户访问点
在一个实施例中,计算系统1500包括计算系统、智能电话、平板计算设备、移动设备、个人计算机、膝上计算机、便携式计算设备、服务器、计算机工作站、各计算机的局 域网、交互式自动售卖亭、个人数字助理、交互式无线通信设备、手持计算机、嵌入式计 算设备等等。
其它系统
除了图21所示的系统外,网络1518可与其它数据源或其它计算设备通信。计算系统1500也可包括一个或多个内部和/或外部数据源。在一些实施例中,可使用关系数据库实现一个或多个数据仓库和数据源,所述关系数据库例如为DB2、Sybase、Oracle、CodeBase和SQL服务器以及其它类型的数据库,例如信号数据库、面向目标 的数据库和/或基于记录的数据库。
图23是示出连接至一个或多个追踪系统的治疗应用系统1718的示意图的实施例。在一个实施例中,患者1706接受理疗性治疗以应对一种情况。例如,理疗性治疗可以是 放射治疗、质子治疗或其它治疗。理疗性治疗可从理疗性应用系统1718产生。例如,理 疗性应用系统1718可包括放射治疗技术,该技术被配置成产生被输送至病变组织1704 的放射光束。在一个实施例中,系统包括基准标记物或其它标记物1702。在一个实施例 中,基准标记物或其它标记物1702被安置在患者1706体内。该基准标记物或其它标记 物1702被配置成通过电子封装组件1710检测出。基准标记物或其它标记物1702可配置 为标识要用理疗性治疗进行处理的病变组织的位置。
电子封装组件1710被配置成检测基准标记物或其它标记物1702的位置以确定病变 组织1704的位置。在一个实施例中,电子封装组件1710被连接至第一标记物追踪系统1708。。第一标记物追踪系统1708可配置为从电子封装组件1710接收追踪数据以确定标 记物1702的位置。通过确定标记物1702的位置,第一标记物追踪系统1708可配置为确 定病变组织1704的位置。在一个实施例中,本文披露的以0.1mm和0.1°精度追踪标记物 的系统和方法可由第一标记物追踪系统1708实现或采用。在一个实施例中,电子封装组 件1710包括光标记物1712。光标记物1712被配置成由光扫描仪1714(例如CCD相机) 检测。在一个实施例中,光扫描仪1714被连接至光标记物追踪系统1716。
光标记物追踪系统1716可配置为确定电子封装组件1710相对于理疗性应用系统1718的位置。在一个实施例中,本文披露的以0.1mm和0.1°精度追踪标记物的系统和方 法可通过光标记物追踪系统1716实现或运用。在一个实施例中,系统可包括坐标发生系 统1720,其被配置成从第一标记物追踪系统1708和光标记物追踪系统1716接收追踪数 据。坐标发生系统1720可配置为分析追踪数据以产生可用于标识病变组织1704的位置 的坐标数据。在一个实施例中,坐标发生系统1720可配置为将坐标数据发送至理疗性应 用系统1718。
理疗性应用系统1718可配置为基于坐标数据产生理疗光束。例如,理疗性应用系统 1718可配置为基于坐标数据将放射光束引导至患者1706体内的特定位置。此外,理疗性应用系统1718也可配置为例如基于坐标数据产生特定的放射光束形状。可通过电子封装组件1710和光扫描仪1714检测任何患者运动。第一标记物追踪系统1708和光标记物追 踪系统1716可配置为产生拟被输入到坐标发生系统1720的新追踪数据。坐标发生系统 1720可配置为产生新坐标数据以传输到理疗性应用系统1718内。理疗性应用系统1718 可配置为分析新坐标数据以对拟被施加至患者1706的病变组织1704的理疗性光束进行 重引导和/或重整形。
类似于图23,在一个实施例中,系统可包括如图25所示的一个运动追踪系统。被配置成运用本文披露的技术的单个运动追踪系统1716能够追踪标记物1902以产生坐标 数据而将其传输至理疗性应用系统1718,从而将理疗性治疗引导至目标组织位点1904。
图24是描述了基于追踪患者运动施加理疗性治疗的过程的一个实施例的流程图。通过在方框1804用理疗性应用系统可选择地校准追踪系统,过程开始于方框1802。在方 框1806,系统可配置为启动追踪系统。例如,系统可配置为启动电子封装组件追踪系统 和光标记物追踪系统。在方框1808,系统可配置为使用电子封装组件追踪第一标记物。 例如,电子封装组件可配置为追踪被植入到患者体内的基准标记物。在一个实施例中, 在方框1810,系统可配置为确定标记物相对于目标组织位点的位置。
在方框1818,系统可配置为追踪光标记物位置以确定电子封装组件的位置。在方框1816,系统可配置为确定电子封装组件相对于理疗性设备的位置。在方框1818,系统可配置为分析第一标记物和光标记物的追踪数据,并产生目标组织位点的坐标。在方框1820,目标组织位点的坐标可被发送至医疗性治疗设备。在方框1820,理疗性治疗设备可配置 为利用坐标数据以将理疗性治疗发送至手术位点。在判决框1822,系统可配置为重复理 疗性治疗的应用。如果理疗性治疗应用应当被重复,则系统可配置为循环回到方框1806 以启动追踪系统。如果不应当重复理疗性治疗应用,则系统可配置为在方框1824结束该 过程。
类似于图24,在一个实施例中,系统可配置为利用如图26所示的替代方法,其中使用单个相机追踪标记物以产生坐标数据以供治疗性应用系统使用。
条件性语言,例如“能够”、“能”、“可能”或“可以”,除了另有专门声明或根据所使用 的背景有其它理解,一般旨在表示某些实施例包括,而其它实施例不包括,某些特征、要素和/或步骤。因此,这种条件性语言一般不旨在暗示一些特征、要素和/或步骤对于一个或多个实施例无论如何是必要的,或者暗示一个或多个实施例一定包括具有或不具有用户输入或提示的判决逻辑,所述判决逻辑关于这些特征、要素和/或步骤是否被包括在任何具体实施例中或在任何具体实施例中执行。本文使用的标题是仅为了方便读者理解并且不旨在对本发明或权利要求的范围构成限制。
尽管已在某些优选实施例和例子的背景下对本发明进行了公开,然而本领域内技术 人员将理解,本发明延伸超出具体披露的实施例直至本发明的其它可替代实施例和/或用 途以及其明显的修正和等同。另外,本领域内技术人员将理解,可使用任何适宜的装置来执行任何前面描述的方法。此外,本文中任何具体的特征、方面、方法、特性、特征、 质量、属性、要素等结合实施例的公开可用于本文描述的所有其它实施例。对于本文描 述的所有实施例,方法的步骤不需要被顺序地执行。因此,期望本文披露的本发明的范 围不受前述披露的具体实施例限制。

Claims (20)

1.一种用于在医学成像扫描期间追踪和补偿物体运动的运动补偿系统,所述运动补偿系统包括:
光标记物,其配置为附着至被追踪的物体;所述光标记物包括光学可见图案,所述光学可见图案包括一个或多个同心椭圆形,其中所述一个或多个同心椭圆形中的每一个配置为从45°的视角可见为圆形图案;
一个或多个光检测器,配置为生成所述光学可见图案的一个或多个图像;
追踪引擎,配置为通过分析所述一个或多个图像来确定物体在六个自由度上的姿态;以及
控制器接口,配置为基于姿态产生追踪信息并将所述追踪信息以电子方式发送至扫描仪控制器以使得得以在医学成像扫描仪中对物体运动做出补偿;
其中所述追踪引擎和控制器接口包括计算机处理器和电子存储介质。
2.如权利要求1所述的运动补偿系统,其特征在于,所述控制器接口配置为将物体的姿态从追踪坐标系转换到医学成像扫描仪坐标系。
3.如权利要求1所述的运动补偿系统,其特征在于,所述一个或多个检测器固定于所述医学成像扫描仪。
4.如权利要求1所述的运动补偿系统,其特征在于,所述一个或多个检测器中的至少一个固定于所述医学成像扫描仪的头部线圈的外表面。
5.如权利要求1所述的运动补偿系统,其特征在于,所述一个或多个检测器中的至少一个嵌套在所述医学成像扫描仪的头部线圈中。
6.如权利要求1所述的运动补偿系统,其特征在于,所述光标记物还包括用于将所述光标记物附着至所述物体的安装部分。
7.如权利要求1所述的运动补偿系统,其特征在于,所述医学成像扫描仪是磁共振扫描仪。
8.如权利要求1所述的运动补偿系统,其特征在于,所述光学可见图案包括多个同心椭圆形。
9.如权利要求6所述的运动补偿系统,其特征在于,所述多个同心椭圆形包括交替的暗和亮的椭圆形。
10.如权利要求1所述的运动补偿系统,其特征在于,包括两个光检测器,其中所述两个光检测器中的每一个包括相隔90°的视线。
11.如权利要求1所述的运动补偿系统,其特征在于,所述追踪引擎配置为以至少100Hz的频率多次地确定物体的姿态。
12.如权利要求1所述的运动补偿系统,其特征在于,所述追踪引擎配置为以不低于医学成像扫描仪的扫描频率的频率确定物体的姿态。
13.一种用于在医学成像扫描期间追踪和补偿物体运动的计算机实现方法,所述计算机实现方法包括:
将光标记物附连至被追踪的物体,其中所述光标记物包括光学可见图案,所述光学可见图案包括一个或多个同心椭圆形,其中所述一个或多个同心椭圆形中的每一个配置为从45°的视角可见为圆形图案;
通过一个或多个光检测器生成所述光学可见图案的一个或多个图像;
通过分析所述一个或多个图像,由计算机系统确定物体在六个自由度上的姿态;以及
基于姿态由所述计算机系统产生追踪信息;以及
将所述追踪信息由所述计算机系统以电子方式发送至扫描仪控制器以使得得以在医学成像扫描仪中对物体运动做出补偿;
其中所述计算机系统包括计算机处理器和电子存储介质。
14.如权利要求13所述的计算机实现方法,其特征在于,还包括通过所述计算机系统将物体的姿态从追踪坐标系转换到医学成像扫描仪坐标系。
15.如权利要求13所述的计算机实现方法,其特征在于,所述一个或多个检测器固定于所述医学成像扫描仪。
16.如权利要求13所述的计算机实现方法,其特征在于,所述一个或多个检测器中的至少一个固定于所述医学成像扫描仪的头部线圈的外表面。
17.如权利要求13所述的计算机实现方法,其特征在于,所述一个或多个检测器中的至少一个嵌套在所述医学成像扫描仪的头部线圈中。
18.如权利要求13所述的计算机实现方法,其特征在于,所述医学成像扫描仪是磁共振扫描仪。
19.如权利要求13所述的计算机实现方法,其特征在于,所述计算机系统配置为以至少100Hz的频率多次地确定物体的姿态。
20.如权利要求13所述的计算机实现方法,其特征在于,所述计算机系统配置为以不低于医学成像扫描仪的扫描频率的频率确定物体的姿态。
CN201910425303.0A 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 Pending CN110464301A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361849338P 2013-01-24 2013-01-24
US61/849,338 2013-01-24
US13/831,115 2013-03-14
US13/831,115 US9305365B2 (en) 2013-01-24 2013-03-14 Systems, devices, and methods for tracking moving targets
US201361834382P 2013-06-12 2013-06-12
US61/834,382 2013-06-12
CN201480018029.0A CN105338897B (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480018029.0A Division CN105338897B (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Publications (1)

Publication Number Publication Date
CN110464301A true CN110464301A (zh) 2019-11-19

Family

ID=51228040

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910425303.0A Pending CN110464301A (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
CN201480018029.0A Expired - Fee Related CN105338897B (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480018029.0A Expired - Fee Related CN105338897B (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Country Status (3)

Country Link
EP (1) EP2948056B1 (zh)
CN (2) CN110464301A (zh)
WO (1) WO2014116868A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549620A (zh) * 2020-11-18 2022-05-27 北方数字化技术公司 用于三维跟踪系统的误差补偿

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3117768B1 (en) 2006-05-19 2019-11-06 The Queen's Medical Center Motion tracking system and method for real time adaptive imaging and spectroscopy
EP2747641A4 (en) 2011-08-26 2015-04-01 Kineticor Inc METHOD, SYSTEMS AND DEVICES FOR SCAN INTERNAL MOTION CORRECTION
US9489753B1 (en) * 2016-07-19 2016-11-08 Eyedeal Scanning, Llc Reconstruction of three dimensional model of an object from surface or slice scans compensating for motion blur
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2016054060A1 (en) * 2014-09-30 2016-04-07 University Of Virginia Patent Foundation Intrafractional motion reduction system using audiovisual-aided interactive guidance and related methods thereof
US11000342B2 (en) * 2015-04-21 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Devices and methods for trackable hearing protection in magnetic resonance imaging
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN105303945B (zh) * 2015-11-04 2017-09-01 苏州大学 一种人体胸腹腔三维呼吸运动模拟装置
CN108697367A (zh) 2015-11-23 2018-10-23 凯内蒂科尓股份有限公司 用于在医学成像扫描期间跟踪并补偿患者运动的系统、装置和方法
US20180368686A1 (en) * 2015-12-14 2018-12-27 The Governors Of The University Of Alberta Apparatus and method for generating a fused scan image of a patient
CN105575240A (zh) * 2016-03-02 2016-05-11 苏州大学 一种由呼吸引起的人体脊柱三维运动模拟装置
EP3448257A4 (en) * 2016-04-26 2019-12-04 Kineticor, Inc. SYSTEMS, APPARATUS AND METHOD FOR TRACKING AND COMPENSATING THE PATIENT MOVEMENT DURING IMAGING MEDICAL TRACING
CN107918499B (zh) * 2016-10-09 2022-09-06 北京墨土科技有限公司 光学定位系统及方法、定位用光学观测设备
US9934592B1 (en) * 2016-11-15 2018-04-03 Carl Zeiss Industrielle Messtechnik Gmbh Method and system for determining a 6-DOF-pose of an object in space
WO2018204649A1 (en) * 2017-05-04 2018-11-08 Intraop Medical Corporation Machine vision alignment and positioning system for electron beam treatment systems
US10445886B2 (en) * 2017-05-30 2019-10-15 General Electric Company Motion-gated medical imaging
CN108054126B (zh) * 2017-12-21 2020-04-17 中国电子科技集团公司第四十八研究所 一种xxy定位平台的增量定位方法
EP3575811A1 (en) * 2018-05-28 2019-12-04 Koninklijke Philips N.V. Optical detection of a communication request by a subject being imaged in the magnetic resonance imaging system
US11559221B2 (en) * 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
EP3986545A1 (en) * 2019-06-18 2022-04-27 Koninklijke Philips N.V. Laser skin marking for radiation therapy (rt) planning
CN114430670A (zh) * 2019-09-27 2022-05-03 西安大医集团股份有限公司 患者位置检测方法及装置、放射医疗设备、可读存储介质
EP3882648A1 (en) * 2020-03-18 2021-09-22 Siemens Healthcare GmbH Rf coil device for an mr or mr-pet imaging modality and method to determine the position and/or orientation and/or shape of such an rf coil device
EP4178446A4 (en) * 2020-08-10 2023-06-07 Shanghai United Imaging Healthcare Co., Ltd. IMAGING SYSTEMS AND METHODS
CN112764435B (zh) * 2021-01-20 2024-04-05 广州市明道文化科技集团股份有限公司 一种追光灯智能跟踪方法、系统及存储介质
CN112967631B (zh) * 2021-04-13 2022-07-15 谭健荣 一种医院ct设备的文字标识影像指引系统
DE102021109530A1 (de) * 2021-04-15 2022-10-20 Bodo Lippitz Zahnschiene für Stereotaktische Radiotherapie und Radiochirurgie, Medizinisches System zur Lokalisierung einer Zielregion im Kopfbereich einer Person und Verfahren zum Lokalisieren einer Zielregion im Kopfbereich einer Person
CN113101549B (zh) * 2021-05-19 2023-07-14 深圳市鹰眼在线电子科技有限公司 放疗系统和放疗3d视觉实时监测姿态保持方法
CN113521425A (zh) * 2021-07-26 2021-10-22 克拉玛依市中心医院 一种急诊用多功能可视洗胃机
SE545891C2 (en) 2022-02-11 2024-03-05 Kongsberg Beam Tech As Radiotherapy system using graph network to account for patient movement
CN115462811B (zh) * 2022-09-29 2023-06-16 中国人民解放军总医院第八医学中心 放射性医疗影像设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040171927A1 (en) * 2002-08-26 2004-09-02 Steven Lowen Method and apparatus for measuring and compensating for subject motion during scanning
US20070280508A1 (en) * 2006-05-19 2007-12-06 Ernst Thomas M Motion tracking system for real time adaptive imaging and spectroscopy
US20090209846A1 (en) * 2006-06-28 2009-08-20 Roland Bammer Apparatus and method for real-time motion-compensated magnetic resonance imaging
US20110230755A1 (en) * 2010-03-04 2011-09-22 Macfarlane Duncan Single camera motion measurement and monitoring for magnetic resonance applications
US20120121124A1 (en) * 2010-01-04 2012-05-17 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1051123A1 (en) * 1998-01-28 2000-11-15 Eric Richard Cosman Optical object tracking system
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
US7769430B2 (en) * 2001-06-26 2010-08-03 Varian Medical Systems, Inc. Patient visual instruction techniques for synchronizing breathing with a medical procedure
ES2225680T3 (es) * 2002-04-16 2005-03-16 Brainlab Ag Marcador para un instrumento y procedimiento de localizacion de un marcador.
US20050054910A1 (en) * 2003-07-14 2005-03-10 Sunnybrook And Women's College Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging applications
US7720259B2 (en) * 2005-08-26 2010-05-18 Sony Corporation Motion capture using primary and secondary markers
DE102006004197A1 (de) * 2006-01-26 2007-08-09 Klett, Rolf, Dr.Dr. Verfahren und Vorrichtung zur Aufzeichnung von Körperbewegungen
JP4392507B2 (ja) * 2006-11-08 2010-01-06 国立大学法人東京工業大学 3次元サーフェス生成方法
US8417315B2 (en) * 2007-05-14 2013-04-09 Varian Medical Systems, Inc. Marker systems with spaced apart surfaces or markers and methods of using the same
EP2491337A4 (en) * 2009-10-20 2017-03-22 Imris Inc. Imaging system using markers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040171927A1 (en) * 2002-08-26 2004-09-02 Steven Lowen Method and apparatus for measuring and compensating for subject motion during scanning
US20070280508A1 (en) * 2006-05-19 2007-12-06 Ernst Thomas M Motion tracking system for real time adaptive imaging and spectroscopy
US20090209846A1 (en) * 2006-06-28 2009-08-20 Roland Bammer Apparatus and method for real-time motion-compensated magnetic resonance imaging
US20120121124A1 (en) * 2010-01-04 2012-05-17 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
US20110230755A1 (en) * 2010-03-04 2011-09-22 Macfarlane Duncan Single camera motion measurement and monitoring for magnetic resonance applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549620A (zh) * 2020-11-18 2022-05-27 北方数字化技术公司 用于三维跟踪系统的误差补偿

Also Published As

Publication number Publication date
EP2948056A4 (en) 2016-09-14
EP2948056A1 (en) 2015-12-02
CN105338897B (zh) 2019-06-14
CN105338897A (zh) 2016-02-17
WO2014116868A1 (en) 2014-07-31
EP2948056B1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN105338897B (zh) 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US11100636B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US11273326B2 (en) Radiotherapy system and treatment support apparatus
Bert et al. A phantom evaluation of a stereo‐vision surface imaging system for radiotherapy patient setup
EP2965285B1 (en) Scan region determining apparatus
Kovacs et al. Accuracy and precision of the three-dimensional assessment of the facial surface using a 3-D laser scanner
US11737719B2 (en) System and method for increasing the accuracy of a medical imaging device
Yang et al. Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system
CN106659448A (zh) 用于配置x射线成像系统的方法和系统
US10445904B2 (en) Method and device for the automatic generation of synthetic projections
Chan et al. A needle tracking device for ultrasound guided percutaneous procedures
US9254106B2 (en) Method for completing a medical image data set
CN109907833A (zh) 医学成像中的标记描绘
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
US20230074362A1 (en) Method and system for non-contact patient registration in image-guided surgery
Kaushik et al. Image based data preparation for neuronavigation
KR20230149097A (ko) 3차원 뼈 모델을 재건하는 장치 및 방법
Kügler et al. How bad is good enough: Noisy annotations for instrument pose estimation
Haliburton A clinical C-arm base-tracking system using computer vision for intraoperative guidance
Silverstein Investigation of the Microsoft Kinect V2 sensor as a multi-purpose device for a radiation oncology clinic
WO2023031001A1 (en) Object visualisation in x-ray imaging
JP2022521615A (ja) 介入装置追跡
Wyder Eye tracking based navigation for proton beam therapy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119