CN105338897B - 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 - Google Patents

用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 Download PDF

Info

Publication number
CN105338897B
CN105338897B CN201480018029.0A CN201480018029A CN105338897B CN 105338897 B CN105338897 B CN 105338897B CN 201480018029 A CN201480018029 A CN 201480018029A CN 105338897 B CN105338897 B CN 105338897B
Authority
CN
China
Prior art keywords
motion compensating
compensating system
motion
target
along
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480018029.0A
Other languages
English (en)
Other versions
CN105338897A (zh
Inventor
杰弗里·N·于
约翰·亚瑟·洛夫贝格
小江·杰森·潘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KINETICOR Inc
Original Assignee
KINETICOR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/831,115 external-priority patent/US9305365B2/en
Application filed by KINETICOR Inc filed Critical KINETICOR Inc
Priority to CN201910425303.0A priority Critical patent/CN110464301A/zh
Publication of CN105338897A publication Critical patent/CN105338897A/zh
Application granted granted Critical
Publication of CN105338897B publication Critical patent/CN105338897B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/682Mouth, e.g., oral cavity; tongue; Lips; Teeth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/70Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/702Posture restraints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • A61B6/527Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion using data from a motion artifact sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/28Details of apparatus provided for in groups G01R33/44 - G01R33/64
    • G01R33/283Intercom or optical viewing arrangements, structurally associated with NMR apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1059Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using cameras imaging the patient
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/565Correction of image distortions, e.g. due to magnetic field inhomogeneities
    • G01R33/56509Correction of image distortions, e.g. due to magnetic field inhomogeneities due to motion, displacement or flow, e.g. gradient moment nulling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Geometry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

用于在医学成像扫描期间追踪和补偿患者运动的运动补偿系统包括:光标记物,其包括光学可见图案和安装部分;第一光检测器,其被定位以沿第一视线对光学可见图案进行数字成像;第二光检测器,其被定位以沿第二视线对光学可见图案进行数字成像;追踪引擎,其被配置成通过分析来自第一和第二光检测器的图像来确定物体在六个自由度上的姿态;以及控制器接口,其被配置成基于姿态产生追踪信息并将追踪信息以电子方式发送至扫描仪控制器以使得得以在医学成像扫描仪中对物体运动做出补偿。

Description

用于在医学成像扫描期间追踪和补偿患者运动的系统、设备 和方法
关联申请的援引加入
本申请是一件PCT申请,它要求2013年3月14日提交的题为“system, device andmethod for tracking moving targets(用于追踪移动目标的系统、设备和方法)”的美国专利申请No.13/831,115的优先权,并要求2013年1月24 日提交的题为“six degrees offreedom optical tracker(六自由度光学追踪器)”的美国临时专利申请No.61/849,338的权益。本申请也要求2013年6月12 日提交的题为“systems,devices and methods fortracking moving targets(用于追踪移动目标的系统、设备和方法)”的美国临时专利申请No.61/834,382的优先权。前述每篇申请完整地以引用的方式包含于此
技术领域
本发明涉及一种用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法。
背景技术
本公开文本总体涉及运动追踪领域,更具体地涉及在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法。
有多种模式可执行对患者的医学成像。例如,核磁共振成像(MRI)是放射学中使用的医学成像技术,以详细地图像化身体的内部结构。MRI扫描仪是一种设备,其中患者或患者身体的一部分被定位在强磁体下,其中使用磁场来对准某些原子核(一般是氢原子核——质子)的磁化,并且施加射频磁场以系统地改变这种磁化对准。这使得原子核产生可由扫描仪检测到的旋转磁场,并且该信息被记录以构造身体的受扫描区域的图像。这些扫描通常花费若干分钟(在一些扫描仪内高达大约40分钟),并且在现有技术的设备中,任何显著移动都可能损毁这些图像并需要重复扫描。2012年2月21日颁证的题为“motiontracking system for real time adaptive imaging and spectroscopy(用于实时适应性成像和光谱分析的运动追踪系统)”的美国专利No.8,121,361 描述了适应性地补偿目标运动的系统,并且其公开内容被援引加入于此。
另外,有多种放射疗法、质子疗法和其它疗法可施加至患者。例如,放射疗法可施加至目标组织区域。在一些系统中,可响应于患者运动而动态地施加放射疗法。然而,在许多这样的系统中,患者运动的追踪不具有高的精确度。因此,这些系统的使用可能导致将放射疗法施加至非目标组织区域,由此在有意地影响病变组织的同时无意地伤害到健康组织。前述问题对于质子疗法和其它疗法而言也是如此。
发明内容
本公开文本提供了在医学成像扫描期间(例如在核磁共振成像扫描期间)追踪和补偿患者运动的系统、设备和方法。
一种在MRI扫描或治疗期间确定患者头部或其它身体部分的动态位置和取向的准确且可靠的方法是在这些期间补偿目标运动的任何尝试中的必要条件。为此,本文披露了包括实践性光学头部追踪能力的系统和方法,它们使用至少第一传感器(例如第一相机)和第二传感器(例如第二相机),比如一对相机,例如常见的CCD相机、常见的白光或LED照明以及标记物或目标,比如可舒适地和牢固地安装在对象骨架上的紧凑的、不昂贵的目标。相机可配置为检测任何要求的波长或波长范围内的能量,包括例如红外、近红外、可见或外光谱中的一个或多个。一些优选实施例可追踪具有多达和包括六个自由度(有时被称为6-DOF)的头部和其它身体运动。
出于概括该发明的目的,本文描述了本发明的某些方面、优势和新颖性特征。要理解,不一定所有这些优势都能根据本发明的任何具体实施例来获得。因此,例如本领域内技术人员将认识到,本发明可以这样一种方式实现:它取得本文教导的一个优势或一组优势,但不一定取得本文可能教导或暗示的其它优势。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的运动补偿系统包括:光标记物,其包括光学可见图案和安装部分,所述安装部分被配置成将光标记物固定至被追踪的物体,所述光学可见图案包括多个基准点定位器,每个定位器被配置成限定基准形状的单个基准点;第一光检测器,其沿第一视线定位以数字成像光学可见图案,所述第一光检测器被配置成产生光学可见图案的第一数字图像;第二光检测器,其沿第二视线定位以数字成像光学可见图案,所述第二光检测器被配置成产生光学可见图案的第二数字图像;追踪引擎,其被配置成通过分析第一和第二图像来确定六个自由度上的物体姿态;以及控制器接口,其被配置成基于姿态产生追踪信息并将追踪信息以电子方式发送至扫描仪控制器,以在医学成像扫描仪中实现物体运动的补偿;其中追踪引擎和控制器接口包括计算机处理器和电子存储介质。
在一些实施例中,安装部分被配置成将光标记物牢固地连接至被追踪的物体。在一些实施例中,安装部分被配置成将光标记物附于患者的顶齿。在一些实施例中,安装部分被配置成定制配合患者的顶齿。在一些实施例中,安装部分包括粘合剂。在一些实施例中,光学可见图案位于单个单元结构上。在一些实施例中,光学可见图案分布在至少两个非连接结构之间。在一些实施例中,光标记物是内部发光的。在一些实施例中,多个基准点定位器包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形被配置成当被追踪的物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中,第一和第二视线隔开90°。在一些实施例中,椭圆形被配置成当沿着与光学可见图案的法线相隔45°的视线观察时呈圆形。在一些实施例中,第一和第二视线相隔30°。在一些实施例中,第一和第二视线相隔60°。在一些实施例中,第一和第二视线相隔30-100°的角度。在一些实施例中,第一视线与光学可见图案的法线具有第一角度的角偏移而第二视线与光学可见图案的法线具有第二角度的角偏移,其中第一角度的大小与第二角度的大小相同。在一些实施例中,第一视线与光学可见图案的法线具有第一角度的角偏移而第二视线与光学可见图案的法线具有第二角度的角偏移,其中第一角度的大小与第二角度的大小不同。在一些实施例中,椭圆形被配置成当沿着与光学可见图案的法线相隔15°的视线观察时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是具有0.5英寸边长的等边三角形。在一些实施例中,每个基准点离开另一基准点不超过0.5英寸。在一些实施例中,每个基准点由基准点定位器的质心定义。在一些实施例中,基准形状是三角形,该三角形被配置成当被追踪的物体处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,追踪引擎被配置成花费不超过8毫秒来确定物体的姿态。在一些实施例中,追踪引擎被配置成花费不超过10毫秒来确定物体的姿态。在一些实施例中,追踪引擎被配置成在至少100Hz的频率下重复地确定物体的姿态。在一些实施例中,追踪引擎被配置成在不低于医学成像扫描仪的扫描速率的速率下确定物体的姿态。在一些实施例中,第一和第二光检测器被配置成连接至医学成像扫描仪。在一些实施例中,第一和第二光检测器被配置成连接至头笼。在一些实施例中,第一和第二视线中的至少一个是间接视线。在一些实施例中,使用镜子重新导向该间接视线。在一些实施例中,使用棱镜重新导向该间接视线。在一些实施例中,系统进一步包括:用于照亮光学可见图案的光源。在一些实施例中,被追踪的物体是人类患者的头部。在一些实施例中,第一和第二光检测器被配置成当光标记物在预计运动范围内移动时使得光学可见图案一直在检测器的视场内。在一些实施例中,追踪引擎被进一步配置成定义对每个数字图像感兴趣的区域,感兴趣的区域包含其中光学可见图案预期会出现的数字图像部分,其中追踪引擎被配置成在确定物体姿态时仅分析感兴趣的区域。在一些实施例中,追踪引擎被配置成基于被追踪的物体的预期的未来运动自动地移动感兴趣的区域。在一些实施例中,分析第一和第二图像包括:确定基准点在光检测器的坐标系内的二维位置;基于基准点的二维位置计算基准形状的六个基准属性;迭代地估算被追踪的物体的姿态,直到误差量落在一阈值量以内,所述误差量是六个基准属性和六个比较属性之间的误差量,所述六个比较属性通过假设物体处于估计姿态而计算出。在一些实施例中,基准属性和比较属性包括下面列出的至少一个:沿第一视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视线观察到的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜(apparent median tilt)之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之间的差。在一些实施例中,控制器接口被进一步配置成将物体的姿态从追踪坐标系转换到扫描仪坐标系。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的运动补偿系统包括:光标记物,其包括光学可见图案和安装部分,所述安装部分被配置成将光标记物固定至被追踪的物体,所述光学可见图案包括多个基准点定位器,每个定位器被配置成限定基准形状的单个基准点;光检测器,其沿第一视线和沿第二视线定位以数字成像光学可见图案,所述第一视线和第二视线由至少一个分束器形成,所述光检测器被配置成产生光学可见图案的数字图像;所述数字图像包括来自沿第一视线和第二视线两者的光学可见图案的视图;追踪引擎,其被配置成通过分析数字图像来确定六个自由度上的物体姿态;以及控制器接口,其被配置成基于姿态产生追踪信息并将追踪信息以电子方式发送至扫描仪控制器,以在医学成像扫描仪中实现物体运动的补偿;其中追踪引擎和控制器接口包括计算机处理器和电子存储介质。
在某些实施例中,一种追踪物体运动的计算机实现方法包括:通过计算机系统从第一光检测器接收光标记物的第一数字图像,所述第一数字图像代表光标记物沿第一视线的视图;通过计算机系统从第二光检测器接收光标记物的第二数字图像,所述第二数字图像代表光标记物沿第二视线的视图,第二视线不同于第一视线,其中光标记物包括多个光学可见的界标,所述多个光学可见的界标限定多个基准点,所述多个基准点限定基准形状;通过计算机系统确定多个基准点在第一数字图像中的位置;通过计算机系统确定多个基准点在第二数字图像中的位置;使用计算机系统计算与基准形状关联的多个基准属性,所述多个基准属性是基于多个基准点的确定位置计算出的;以及使用计算机系统重复地估计物体的三维姿态,直到误差测量落在可接受的量之内为止,所述误差测量是基于将多个基准属性与多个对比属性相比而计算出的,所述多个对比属性是通过假设物体处于估计的姿态而计算出的,其中计算机系统包括计算机处理器和电子存储介质。
在一些实施例中,多个基准属性中的每一个是基于沿第一视线观察到的和沿第二视线观察到的基准形状的属性而计算出的。在一些实施例中,多个基准属性中的每一个描述沿第一视线观察到的基准形状和沿第二视线观察到的基准形状之间的不同变化。在一些实施例中,多个基准属性和多个对比属性包括下面列出的至少一个:沿第一视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视线观察到的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之间的差。在一些实施例中,多个基准属性和多个对比属性各自包括六个属性。在一些实施例中,确定第一和第二数字图像中的多个基准点的位置包括:确定第一坐标集,该第一坐标集定义由第一光检测器观察到的基准形状的第一二维投影;以及确定第二坐标集,该第二坐标集定义由第二光检测器观察到的基准形状的第二二维投影。在一些实施例中,计算多个基准属性包括将第一投影与第二投影进行比较。在一些实施例中,该方法进一步包括:通过计算机系统基于估计的物体三维姿态而产生运动追踪数据;并以电子方式将运动追踪数据发送至扫描仪控制器以允许扫描仪补偿物体的运动。在一些实施例中,该方法花费不超过10毫秒的时间。在一些实施例中,该方法花费不超过8毫秒的时间。在一些实施例中,该方法还包括在至少100Hz的频率下重复该方法。在一些实施例中,多个光学可见界标包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形被配置成当被物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是三角形,该三角形被配置成当物体处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,每个基准点由光学可见界标的质心定义。
某些实施例包括计算机可读、非临时存储介质,其上存储有计算机程序以使适当编程的计算机系统通过一个或多个处理器计算机程序代码进行处理,当所述计算机程序在所述适当编程的计算机系统上执行时,执行追踪目标运动的方法,所述方法包括:通过计算机系统从第一光检测器接收光标记物的第一数字图像,所述第一数字图像代表光标记物沿第一视线的视图;通过计算机系统从第二光检测器接收光标记物的第二数字图像,所述第二数字图像代表光标记物沿第二视线的视图,第二视线不同于第一视线,其中光标记物包括多个光学可见的界标,所述多个光学可见的界标限定多个基准点,所述多个基准点限定基准形状;通过计算机系统确定多个基准点在第一数字图像中的位置;通过计算机系统确定多个基准点在第二数字图像中的位置;使用计算机系统计算与基准形状关联的多个基准属性,所述多个基准属性是基于多个基准点的确定位置计算出的;以及使用计算机系统重复地估计物体的三维姿态,直到误差测量落在可接受的量之内为止,所述误差测量是基于将多个基准属性与多个对比属性相比而计算出的,所述多个对比属性是通过假设物体处于估计的姿态而计算出的,其中计算机系统包括计算机处理器和电子存储介质。
在一些实施例中,多个基准属性中的每一个是基于沿第一视线观察到的基准形状和沿第二视线观察到的基准形状的属性而计算出的。在一些实施例中,多个基准属性中的每一个描述沿第一视线观察到的基准形状和沿第二视线观察到的基准形状之间的不同变化。在一些实施例中,多个基准属性和多个对比属性包括下面列出的至少一个:沿第一视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视线观察到的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之间的差。在一些实施例中,多个基准属性和多个对比属性各自包括六个属性。在一些实施例中,确定第一和第二数字图像中的多个基准点的位置包括:确定第一坐标集,该第一坐标集定义由第一光检测器观察到的基准形状的第一二维投影;以及确定第二坐标集,该第二坐标集定义由第二光检测器观察到的基准形状的第二二维投影。在一些实施例中,计算多个基准属性包括将第一投影与第二投影进行比较。在一些实施例中,该方法进一步包括:通过计算机系统基于估计的物体三维姿态而产生运动追踪数据;并以电子方式将运动追踪数据发送至扫描仪控制器以允许扫描仪补偿物体的运动。在一些实施例中,该方法花费不超过10毫秒的时间。在一些实施例中,该方法花费不超过8毫秒的时间。在一些实施例中,该方法还包括在至少100Hz的频率下重复该方法。在一些实施例中,多个光学可见界标包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形被配置成当被物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是三角形,该三角形被配置成当物体处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,每个基准点由光学可见界标的质心定义。
在某些实施例中,一种用于追踪物体运动的系统包括:标记物位置过滤器,用于确定标记物基准点的位置,所述标记物位置过滤器被配置成:从第一光检测器接收光标记物的第一数字图像,所述第一数字图像代表光标记物沿第一视线的视图;从第二光检测器接收光标记物的第二数字图像,所述第二数字图像代表光标记物沿第二视线的视图,所述第二视线与所述第一视线不同,其中光标记物包括多个光学可见界标,所述多个光学可见界标定义多个基准点,所述多个基准点定义基准形状;确定第一数字图像中的多个基准点的位置;以及确定第二数字图像中的多个基准点的位置;物体取向过滤器,用于估计物体的三维姿态,所述物体取向过滤器被配置成:计算与基准形状关联的多个基准属性,所述多个基准属性是基于多个基准点的确定位置计算出的;并重复地估计物体的三维姿态,直到误差测量落在可接受的量之内为止,所述误差测量是基于将多个基准属性与多个对比属性相比而计算出的,所述多个对比属性是通过假设物体处于估计的姿态而计算出的,并且一个或多个计算机被配置成运行界标位置过滤器和物体取向过滤器,其中一个或多个计算机包括计算机处理器和电子存储介质。
在一些实施例中,多个基准属性中的每一个是基于沿第一视线观察到的基准形状和沿第二视线观察到的基准形状的属性而计算出的。在一些实施例中,多个基准属性中的每一个描述沿第一视线观察到的基准形状和沿第二视线观察到的基准形状之间的不同变化。在一些实施例中,多个基准属性和多个对比属性包括下面列出的至少一个:沿第一视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视线观察到的基准形状的位移之间的差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之差。在一些实施例中,多个基准属性和多个对比属性各自包括六个属性。在一些实施例中,确定第一和第二数字图像中的多个基准点的位置包括:确定第一坐标集,该第一坐标集定义由第一光检测器观察到的基准形状的第一二维投影;以及确定第二坐标集,该第二坐标集定义由第二光检测器观察到的基准形状的第二二维投影。在一些实施例中,计算多个基准属性包括将第一投影与第二投影进行比较。在一些实施例中,系统进一步包括:控制器接口,其被配置成:基于估计的物体三维姿态而产生运动追踪数据;并以电子方式将运动追踪数据发送至扫描仪控制器以允许扫描仪补偿物体的运动。在一些实施例中,系统被配置成在不超过10毫秒的时间内产生估计的物体三维姿态。在一些实施例中,系统被配置成在不超过 8毫秒的时间内产生估计的物体三维姿态。在一些实施例中,物体取向过滤器被配置成在至少100Hz的频率下重复地估计物体的三维姿态。在一些实施例中,多个光学可见界标包括交替的暗淡和明亮的椭圆形。在一些实施例中,椭圆形被配置成当被物体处于原始位置并沿第一和第二视线观察时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是三角形,该三角形被配置成当物体处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,每个基准点由光学可见界标的质心定义。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的计算机实现方法包括:由一计算机系统分析沿第一视线观察到的光标记物的第一数字图像以确定沿第一视线观察到的多个基准点的第一组二维坐标;通过计算机程序分析沿第二视线观察到的光标记物的第二数字图像以确定沿第二视线观察到的多个基准点的第二组二维坐标;通过计算机系统基于比较第一组和第二组二维坐标的属性来计算第一组六个主要量;通过计算机系统提供患者在三维上的取向的估计,所述估计包括六个自由度;当患者理论上根据所述估计取向时,使用计算机系统基于比较沿第一和第二视线观察到的理论基准点的属性来计算第二组六个主要量;确定第一组六个主要量和第二组六个主要量之间的误差量;重复地修正估计;计算第二组六个主要量,并且如果误差量不落在可接受的阈值内则确定误差量,直到误差量落在可接受的阈值内为止;通过计算机系统基于患者取向的估计产生运动追踪数据;并以电子方式将所述运动追踪数据发送至扫描仪控制器以允许在医学成像扫描期间针对患者运动对医学成像扫描仪作出补偿,其中计算机系统包括计算机处理器和电子存储介质。
在一些实施例中,第一组六个主要量是基于由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状的性质而计算出。在一些实施例中,第一组和第二组的六个主要量的每个主要量描述了由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状之间的不同变化。在一些实施例中,第一组和第二组的六个主要量的这些主要量包括下列至少一个:由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形状的位移之和;由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;由沿第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的可视中位倾斜之和;以及沿由第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的可视中位倾斜之差。在一些实施例中,该方法花费不超过10毫秒的时间。在一些实施例中,该方法花费不超过8毫秒的时间。在一些实施例中,该方法还包括在至少100Hz的频率下重复该方法。在一些实施例中,由多个基准点形成的基准形状是三角形。在一些实施例中,由多个基准点形成的基准形状是等边三角形。在一些实施例中,由多个基准点形成的基准形状是三角形,该三角形被配置成当患者处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,由多个基准点形成的基准形状不是光学可见的。在一些实施例中,由多个基准点形成的基准形状是一个虚拟基准形状,其多个基准点限定虚拟基准形状的顶点。在一些实施例中,每个基准点由光学可见界标的质心定义。
某些实施例包括计算机可读、非临时存储介质,其上存储有计算机程序以使适当编程的计算机系统通过一个或多个处理器计算机程序代码进行处理,当所述计算机程序在所述适当编程的计算机系统上执行时,执行在医学成像扫描期间追踪和补偿患者运动的方法,所述方法包括:由一计算机系统分析沿第一视线观察到的光标记物的第一数字图像以确定沿第一视线观察到的多个基准点的第一组二维坐标;通过计算机程序分析沿第二视线观察到的光标记物的第二数字图像以确定沿第二视线观察到的多个基准点的第二组二维坐标;通过计算机系统基于比较第一组和第二组二维坐标的属性来计算第一组六个主要量;通过计算机系统提供患者在三维上的取向的估计,所述估计包括六个自由度;当患者理论上根据所述估计取向时,使用计算机系统基于比较沿第一和第二视线观察到的理论基准点的属性来计算第二组六个主要量;确定第一组六个主要量和第二组六个主要量之间的误差量;重复地修正估计;计算第二组六个主要量,并且如果误差量未落入可接受的阈值内则确定误差量,直到误差量落入可接受的阈值内为止;通过计算机系统基于患者取向的估计产生运动追踪数据;并以电子方式将所述运动追踪数据发送至扫描仪控制器使得在医学成像扫描期间得以针对患者运动对医学成像扫描仪作出补偿,其中计算机系统包括计算机处理器和电子存储介质。
在一些实施例中,第一组六个主要量是基于由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状的性质被计算出的。在一些实施例中,第一组和第二组的六个主要量的每个主要量描述了由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状之间的不同变化。在一些实施例中,第一组和第二组的六个主要量的这些主要量包括下列至少一个:由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形状的位移之和;由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形状的位移之间的差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;由沿第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的可视中位倾斜之和;以及沿由第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的可视中位倾斜之间的差。在一些实施例中,该方法花费不超过10毫秒的时间。在一些实施例中,该方法花费不超过8毫秒的时间。在一些实施例中,该方法还包括在至少100Hz的频率下重复该方法。在一些实施例中,由多个基准点形成的基准形状是三角形。在一些实施例中,由多个基准点形成的基准形状是等边三角形。在一些实施例中,由多个基准点形成的基准形状是三角形,该三角形被配置成当患者处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,由多个基准点形成的基准形状不是光学可见的。在一些实施例中,由多个基准点形成的基准形状是一个虚拟基准形状,其多个基准点限定虚拟基准形状的顶点。在一些实施例中,每个基准点由光学可见界标的质心定义。
在某些实施例中,在医学成像扫描期间追踪和补偿患者运动的运动追踪系统包括:标记物位置过滤器,被配置成:分析沿第一视线观察的光标记物的第一数字图像以确定沿第一视线观察到的多个基准点的第一组二维坐标;以及分析沿第二视线观察的光标记物的第二数字图像以确定沿第二视线观察到的多个基准点的第二组二维坐标;一物体方位过滤器,被配置成:基于比较第一组和第二组二维坐标的属性而计算第一组六个主要量;提供患者在三维上的方位的估计,所述估计包括六个自由度;当患者理论上根据所述估计取向时,基于比较沿第一和第二视线观察到的理论基准点的属性来计算第二组六个主要量;确定第一组六个主要量和第二组六个主要量之间的误差量;以及重复地修正所述估计;计算第二组六个主要量,并且如果误差量不落在可接受的阈值内则确定误差量,直到误差量落在可接受的阈值内为止;控制器接口,被配置成:基于患者方位的估计产生运动追踪数据;并将运动追踪数据以电子方式发送至扫描仪控制器,以在医学成像扫描期间允许针对患者的运动来补偿医学成像扫描仪;以及一个或多个计算机,被配置成运作标记物位置过滤器、物体方位过滤器以及控制器接口,其中一个或多个计算机包括计算机处理器和电子存储介质。
在一些实施例中,第一组六个主要量是基于由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状的性质而计算出的。在一些实施例中,第一组和第二组的六个主要量的每个主要量描述了由沿第一视线观察和沿第二视线观察的多个基准点形成的基准形状之间的不同变化。在一些实施例中,第一组和第二组的六个主要量的这些主要量包括下列至少一个:由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形状的位移之和;由沿第一视线观察到和沿第二视线观察到的多个基准点形成的基准形状的位移之间的差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;由沿第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的可视中位倾斜之和;以及沿由第一视线观察到的和沿第二视线观察到的多个基准点形成的基准形状的可视中位倾斜之间的差。在一些实施例中,系统被配置成在不超过10毫秒的时间内产生患者方位的估计。在一些实施例中,系统被配置成在不超过8毫秒的时间内产生患者方位的估计。在一些实施例中,系统被配置成在至少100Hz的频率下重复地产生患者方位的估计。在一些实施例中,由多个基准点形成的基准形状是三角形。在一些实施例中,由多个基准点形成的基准形状是等边三角形。在一些实施例中,由多个基准点形成的基准形状是三角形,该三角形被配置成当患者处于原始位置并沿第一和第二视线观察时呈等边三角形。在一些实施例中,由多个基准点形成的基准形状不是光学可见的。在一些实施例中,由多个基准点形成的基准形状是一个虚拟基准形状,其多个基准点限定虚拟基准形状的顶点。在一些实施例中,每个基准点由光学可见界标的质心定义。
在某些实施例中,用于运动追踪系统的光标记物包括:光学可见图案,其包括多个基准点定位器,每个基准点定位器被配置成限定基准形状的单个基准点,每个基准点定位器包括以单个基准点为中心的交替的暗淡和明亮的椭圆形;以及安装部分,被配置成将光标记物附连至被追踪的物体。
在一些实施例中,椭圆形被配置成当沿着与除了与光学可见图案正交以外的视线观察时呈圆形。在一些实施例中,基准形状是三角形。在一些实施例中,基准形状是等边三角形。在一些实施例中,基准形状是具有0.5英寸边长的等边三角形。在一些实施例中,每个基准点离开另一基准点不超过0.5 英寸。在一些实施例中,每个基准点由基准点定位器的质心定义。在一些实施例中,基准形状是三角形,其被配置成当沿着与除了与光学可见图案正交以外的视线观察时呈等边三角形。在一些实施例中,基准形状不是光学可见的。在一些实施例中,基准形状是具有限定虚拟基准形状的顶点的基准点的虚拟基准形状。在一些实施例中,标记物进一步包括内部光源以照亮光学可见图案。在一些实施例中,安装部分被配置成将光标记物牢固地连接至被追踪的物体。在一些实施例中,安装部分被配置成将光标记物附于患者的顶齿。在一些实施例中,安装部分被配置成定制配合到患者的顶齿。在一些实施例中,安装部分包括粘合剂。在一些实施例中,光标记物被配置成被用作运动补偿系统的标记物以在医学成像扫描期间对运动作出补偿。在一些实施例中,光标记物被配置成用作运动补偿系统的标记物以在放射治疗期间对运动作出补偿。
在某些实施例中,追踪具有高达六个自由度的移动目标并快速确定移动目标位置的系统包括:固定至移动目标的光学目标,所述光学目标限定目标点;至少两个相机,被定位以从不同方向观察光学目标,至少两个相机中的每一个被适配成记录光学目标的二维图像;以及计算机处理器,被编程以利用算法确定六个自由度上的目标位置,所述算法被配置成:基于由至少两个相机采集的光学图像标识光学目标上的目标点以及目标点的x、y和z位移;利用迭代过程,藉此提出近似一阶解并相对于标识的目标点作出测试以确定残余误差,所述残余误差随后除以相对于转动和平移的每个分量的局部偏导数,以确定迭代校正;重复迭代过程,直到残余误差变得小于要求精度为止;并以至少100次/秒的速率利用重复迭代过程的结果来确定目标位置。
在一些实施例中,移动目标是人的头部。在一些实施例中,系统被配置成作为MRI设备的组件的接口。在一些实施例中,迭代过程是 Newton-Raphson方法的变型。在一些实施例中,相对于患者颈部的枢转点测量移动。在一些实施例中,在小于10毫秒的延时下以至少每秒100个解的速率更新测量。在一些实施例中,在小于10毫秒的延时下以至少每秒200个解的速率更新测量。在一些实施例中,系统被适配成以距离上好于0.1mm 且角度上好于0.1°的精度向MRI系统报告患者头部的位置。在一些实施例中,光学目标包括至少三个同心的子目标。在一些实施例中,光学目标被固定在患者上齿的至少一个上。在一些实施例中,三个同心的子目标是各自同心的椭圆。在一些实施例中,计算机处理器被编程以:通过用a)像素密度和像素位置之积的总和除以b)子像素阵列中的像素密度之和,来计算每个子目标的质心。在一些实施例中,像素阵列为大约48×48像素。
在一些实施例中,迭代过程包括:将三个目标质心的位置定位两个相机中的每一个上并计算六个主要量:做出导致这些质心位置的物体位移和旋转 (φ,θ,ψ,Δx,Δy,Δz)的最初假设(0,0,0,0,0,0);将猜想值(φ,θ, ψ,Δx,Δy,Δz)输入到变换矩阵并对三个目标质心中的每一个计算相应变换的3D目标位置(x1i,y1i,z1i);计算位于每个相机系统上的三个目标质心中的每一个的投影的位置(水平和垂直像素数)并使用来自两个相机的该数据计算六个主要量:ΣHDΔHDΣVDΔBLΣMTΔMT;将这六个计算出的主要量与从定位三个目标质心的位置测得的值进行比较;列出差值作为猜想/计算量相对于测得量的误差矩阵:通过在每个自由度上以微小增加的位移重复迭代过程六次(一次一个自由度)来确定局部偏导数ΣHDΔHDΣVDΔBLΣMTΔMT;通过将该误差矩阵除以导数矩阵来确定粗略校正矩阵以改进最初猜想并减少残留误差,由此形成更好的位移矩阵:重复迭代过程的一部分作为第二次和最后一次迭代,以粗略校正的位移矩阵作为开始时的猜想值;在每个相继的相机帧的增量之后,重复迭代过程,但其中的猜想值使用第二次迭代和最后一次迭代的结果。
在某些实施例中,追踪具有高达六个自由度的移动目标并快速确定目标位置的计算机实现方法包括:将光学目标附连至移动目标,定位至少两个相机,以从不同方向观察光学目标,至少两个相机中的每一个被适配成记录定义目标点的光学目标的二维图像;编程计算机处理器以利用算法确定六个自由度上的目标位置,所述算法被适配成:基于由至少两个相机采集的光学图像标识光学目标上的目标点以及目标点的x、y和z位移;利用迭代过程,藉此推荐近似一阶解并相对于标识的目标点作出测试以确定残余误差,所述残余误差然后针对转动和平移的每个分量除以偏导数,以确定迭代校正;重复迭代过程,直到残余误差变得小于要求精度为止;并以至少100次/秒的速率利用重复迭代过程的结果来确定目标位置。
在一些实施例中,目标是人的头部。在一些实施例中,追踪结果被利用作为对MRI设备的输入以调整其磁场,从而补偿人头部的移动。在一些实施例中,迭代过程是Newton-Raphson方法的变型。在一些实施例中,相对于患者颈部的枢转点测量移动。在一些实施例中,在小于10毫秒的延时(即小于10毫秒的潜伏时间)下以至少每秒100个解的速率更新测量。在一些实施例中,在小于10毫秒的延时下以至少每秒200个解的速率更新测量。在一些实施例中,系统被适配成以距离上好于0.1mm且角度上好于0.1°的精度向MRI系统报告头部的位置。在一些实施例中,光学目标包括至少三个同心的子目标。在一些实施例中,三个同心的子目标是各自同心的椭圆。在一些实施例中,计算机处理器被编程以:通过用a)像素密度和像素位置之积的总和除以b)子像素阵列中的像素密度之和,来计算每个子目标的质心。在一些实施例中,像素阵列为大约48×48像素。
在一些实施例中,迭代过程包括:将三个目标质心的位置定位于两个相机中的每一个上并计算六个主要量:作出导致这些质心位置的物体位移和旋转(φ,θ,ψ,Δx,Δy,Δz)的最初假设(0,0,0,0,0,0);将猜想值(φ,θ, ψ,Δx,Δy,Δz)输入到变换矩阵并对三个目标质心中的每一个计算相应变换的3D目标位置(x1i,y1i,z1i);计算位于每个相机系统上的三个目标质心中的每一个的投影的位置(水平和垂直像素数)并使用来自两个相机的该数据计算六个主要量:ΣHDΔHDΣVDΔBLΣMTΔMT;将这六个计算出的主要量与从确定三个目标质心的位置测得的值进行比较;列出差值作为猜想/计算量相对于测得量的误差矩阵:通过在每个自由度上以微小增加的位移重复迭代过程六次(一次一个自由度)来确定局部偏导数ΣHDΔHDΣVDΔBLΣMTΔMT;通过将该误差矩阵除以导数矩阵来确定粗略校正矩阵以改进最初猜想并减少残留误差,由此形成更好的位移矩阵:重复迭代过程的一部分作为第二次和最后一次迭代,以粗略校正的位移矩阵作为开始时的猜想值;在相继的每个相机帧增量之后,重复迭代过程,但其中的猜想值使用第二次迭代和最后一次迭代的结果。
在一个实施例中,系统被配置成追踪具有高达六个自由度的移动目标并快速地确定目标的位置,所述系统包括容易定位固定至目标的精确光学目标。系统也可包括至少两个相机,这些相机被定位以从不同方向观察光学相机,所述至少两个相机中的每一个被适配成记录定义精确目标点的精确光学目标的二维图像。在一个实施例中,计算机处理器被编程以利用一算法确定沿 x、y和z笛卡尔坐标系以及倾斜、俯仰和偏转上的目标移动,该算法基于由至少两个相机采集的光学图像标识精确光学目标上的一组精确目标点以及精确目标点的倾斜、俯仰和偏转旋转。系统可利用迭代过程,藉此推荐近似一阶解并相对于标识的精确目标点在相机上的投影进行测试以确定残余误差,所述残余误差然后针对转动和平移的每个分量除以局部偏导数,以确定迭代校正。系统可被配置成重复上述动作,直到残余误差变得小于所要求的精度为止。使用这种处理,系统可被配置成以至少100次/秒的速率并以大约或不超过0.1mm的平移精度和大约或不超过0.1°的角精度确定目标位置。通过100次/秒的范围内的重复率。可对每次重复执行完整的6-DOF移动确定。在这些实施例中,每个移动确定的结果在下一次迭代期间被用作最初的一阶解。
六个自由度移动是正交方向x、y和z以及倾斜角、俯仰角和偏转角。方向x沿着脊柱轴。与x垂直的方向y沿着肩部至肩部方向,而方向z垂直于x和y两者并沿从地面到天花板的方向,假设患者背部平行于天花板。俯仰角绕x轴而成,该角通过摇头“说不”而形成。倾斜角绕z轴而成,该角通过点头“说是”而形成,而偏转角绕z轴而成,该角通过将头歪向肩部而形成。
在一个实施例中,要求的精度对于每个方向大约为0.1mm,对于每个角度大约为0.1°。相对于患者颈部的枢转点来测量移动。在一个实施例中,枢转点位于患者颈部的基部上,在那里头部旋转以实现点头运动和倾斜运动。精确光学目标从该枢转点位置的偏移为:Δy=0,Δx-4.5”,Δz=5.5”。这些偏移的精度不是关键的,因为所有感兴趣的运动都是相对运动。六个测量值是x、y和z距离以及倾斜角、俯仰角和偏转角。在一些实施例中,这些测量值以大约10毫秒的潜伏时间以大约每秒100个解的速率被更新。系统可被配置成以距离上大约或好于约0.1mm的精度和角度上大约0.1°的精度向MRI系统报告头部的准确位置或近似位置。
用于向MRI场补偿系统报告6-DOF运动的一种可能的坐标系是与头部线圈的对称轴对准的笛卡尔坐标系。头部线圈坐标系与名义(水平)头部位置中的身体坐标重合。目标位移和旋转可使用这种坐标系被报告给线圈场补偿系统。
附图说明
下面参照各实施例的附图详细描述本发明的前述和其它特征、方面和优势,这些附图旨在解释本发明而非限定本发明。附图包括下列图,其中:
图1A是示出一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图。
图1B是示出作为图1A的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图2A是光标记物的一个实施例的前视图。
图2B是用于患者的图2A的光标记物的立体图。
图2C是图2A的光标记物的前视图,该光标记物紧挨着美分示出以显示比例。
图3A是描述一个实施例的运动补偿系统的方框图。
图3B是描述另一实施例的运动补偿系统的方框图。
图4A是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图。
图4B是示出作为图4A的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4C是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图。
图4D是示出作为图4C的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4E是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图。
图4F是示出作为图4E的运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4G是示出作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图的另一实施例。
图4H是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4I是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4J是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的侧视图的示意图。
图4K是示出另一实施例的作为运动补偿系统的一部分的医学成像扫描仪的前视图的示意图。
图4L是示出另一实施例的运动补偿系统的示意图。
图4M是示出另一实施例的运动补偿系统的示意图。
图4N是示出另一实施例的运动补偿系统的示意图。
图5A是连接至安装部分的光标记物的一个实施例的前视立体图。
图5B是图5A的光标记物的侧视立体图。
图5C是连接至安装部分的光标记物的另一实施例的俯视图。
图5D是连接至安装部分的光标记物的另一实施例的俯视图。
图5E是连接至患者的光标记物的一个实施例的立体图。
图6A是使用分布式基准点(distributed reference point)的光标记物的一个实施例的立体图。
图6B是使用分布式基准点的光标记物的一个实施例和使用集中式基准点(integrated reference point)的光标记物的一个实施例的立体图。
图6C是附于被追踪的物体的多个光标记物的一个实施例的立体图。
图7A示出一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图7B示出另一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图7C示出另一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图7D示出另一实施例的一处理流程图,该处理流程图示出运动补偿过程的一个例子。
图8A和图8B示出根据本发明的一些实施例怎样使两个相机一起提供追踪运动所需的灵敏性。
图9A和图9B示出根据本发明的一些实施例怎样使患者的头部和两个相机位于MRI设备中。
图10A和图10B示出根据本发明的一些实施例出于追踪运动的目的怎样相对于患者头部使用笛卡尔坐标。
图11示出根据本发明的一些实施例怎样将精确光学目标(precision opticaltarget)的三个点成像到两个相机中的每一个的焦平面上。
图12示出根据本发明一些实施例的15°偏转运动(绕z轴)在一个相机图像上的结果。图13A和图13B示出根据本发明的一些实施例如何使两个相机能够精确地监视倾斜运动(绕y轴)。
图14A和图14B示出根据本发明的一些实施例怎样监视俯仰运动(绕x 轴)。
图15示出根据本发明的一些实施例怎样在一个相机上监视x轴平移(朝向患者头部的顶部为正)。
图16A和图16B示出根据本发明一些实施例在两个相机上监视y轴平移(患者右侧为正)的效果。
图17A和图17B示出根据本发明一些实施例的z轴平移(朝向天花板) 的效果。
图18A和图18B示出根据本发明一些实施例的同时倾斜和x轴、y轴平移的效果。
图19A和图19B示出根据本发明一些实施例的同时俯仰和y轴、z轴平移的效果。
图20A和图20B示出根据本发明一些实施例利用目标精确光学目标的相机图像精确地监视头部移动的迭代技术的特征。
图20C是用于追踪运动的迭代过程的流程图。
图21是描绘配置成实现本文描述的方法、设备和系统的一个或多个实施例的计算机系统的实施例的方框图。
图22A和22B示出根据本发明一些实施例的用于相机校准的技术。
图23是示出一实施例的连接至一个或多个标记物追踪系统的治疗应用的示意图。
图24是描绘基于从一个或多个追踪系统产生的坐标数据控制治疗性理疗的应用过程的一个实施例的流程图。
图25是示出一实施例的连接至标记物追踪系统的治疗应用的示意图。
图26是描绘基于从追踪系统产生的坐标数据控制治疗性理疗的应用的过程的一个实施例的流程图。
图27A-27G示出测试本文描述的概念的实施例的实验室配置。
具体实施方式
尽管下面披露了若干实施例、例子和例示,然而本领域内技术人员可以理解,本文描述的发明延伸超过具体披露的实施例、例子和例示并包括本发明的其它用途及其明显的变型和等效物。参照附图描述了本发明的实施例,其中相同附图标记贯穿全文地表示相同部件。本文给出的描述中使用的术语无意以任何限制或约束方式进行解释,因为它是与本发明的某些特定实施例的详细描述结合使用的。另外,本发明的实施例可包括若干新颖性特征并且没有任何一个单独特征单独地对其所想要达到的属性负责或者是实现本文描述的发明所必需的。
通过使用诊断技术和治疗技术,可较为有利地以高精度来追踪患者运动。这种高精度追踪可提高由诊断设备例如成像技术获得和产生的成像质量。此外,高精度患者运动追踪技术的使用能够改善患者治疗的应用,例如放射疗法、质子疗法等等。通过以高精度记录患者运动,治疗技术能够仅将治疗施加至作为目标组织(即靶组织)并避开健康的周围组织。
本文披露的实施例涉及一种患者运动追踪系统,该系统能够以大约 0.1mm的平移精度和大约0.1°的角度精度来追踪患者运动。如本文描述的那样,系统可配置为利用非立体方法来确定患者的六自由度运动。在一个实施例中,系统可包括正交和垂直地定位在单个平面上的两个相机。在一个实施例中,两个相机不需要处于单个平面内,而是被定位成使得两个相机不从大致相同的方向观察目标。系统可配置为,在不记述目标落在任一相机上的像素数的情况下,将一个相机上的目标外形与另一相机上的目标外形进行比较。通过比较两个相机的目标外形,系统可配置为提取非常小的目标上的六个自由度移动。
在一个实施例中,系统可配置为基于分析来自两个相机的目标的图像来提取运动数据,以产生对六个自由度中的诸变量中的至少一个的预测值。例如,系统可配置为分析目标的图像并预测倾斜值。系统然后可配置为将特定变量值的预测值与目标的实际图像中显示的值进行比较。系统可配置为使用迭代方法重复该过程以持续地改善在六个自由度中的变量之一的预测值。系统可配置为对六个自由度中的每个变量执行该迭代过程。
用于追踪患者运动的前述方法可运用在诊断背景以及治疗背景下。例如,如本文披露的那样,系统可配置为追踪患者运动以将这类运动数据馈送到 MRI扫描仪,以使MRI扫描仪能够调整扫描仪的焦点和位置以产生患者的清晰MRI图像。此外,系统能被配置成与治疗技术相联系。例如,系统可配置为追踪患者运动以将治疗放射光束引导至病变组织区域同时避免伤害周围的健康组织。
存在多种技术用于治疗放射和其它治疗。例如,较为有利地用在放射治疗、质子治疗或其它治疗以动态地将放射施加至目标区域以诠释患者运动。患者运动可包括呼吸、抽搐或患者的任何其它自发或非自发运动。通过动态地和自动地追踪患者运动,可以更面向目标的方式施加放射治疗、质子治疗和任何其它类型的治疗,由此允许避开和/或不伤害周围的健康组织。本文描述的系统能被适配和配置成以大约0.1mm的平移精度和大约0.1°的角度精度追踪患者,以更好地将放射治疗、质子治疗或任何其它治疗施加至身体的目标组织或区域(即靶组织或靶区域)。
在一个实施例中,系统可配置为基于本文描述的方法利用光学追踪以追踪患者运动,和/或可以是另一设备,例如被配置成用于识别被植入到患者体内的基准标记的电子封装组件。在一个实施例中,系统可配置为利用电子封装组件以识别基准标记在患者体内的位置。通过识别基准标记的位置,系统需要识别电子封装组件的位置以确定基准标记物相对于扫描仪和/或治疗设施设备的位置。
本文披露的患者追踪移动系统可被用来追踪患者的周期性非自发运动,例如呼吸。通过以高精度追踪周期性患者运动,系统可配置为在患者的非自发移动继续时目标组织处于某一位置时的关键时机施加放射治疗、质子治疗等。另外,系统可配置为不仅追踪患者的正常呼吸运动,而且系统可配置为追踪由于患者活动或者基于患者的病变组织造成的患者不规则运动。例如,当患者跑动时,患者的肋骨具有较大的外离(egression),系统能够追踪它以连续地识别目标组织区域。又如,患者可能遭受COPD或其它呼吸紊乱或图解(diagrammatic)问题。例如,患者可能遭受肺积水(theurofusion),这是肺部外侧的水,其可能妨碍患者呼吸,或者是肿瘤正在滋虐肺部区域,由此妨碍正常呼吸。系统可配置为追踪由这些状况导致的这类不规则的患者运动。
为了施加治疗,例如放射治疗,放射光束发生器必须确定电子封装组件相对于光束发生器的位置以正确地将放射治疗引导到目标组织。因此,需要追踪电子封装组件相对于放射光束发生器或其它治疗设施的位置。以高精度追踪电子封装组件的位置是有利的,其能够更好地指向要求的组织。在电子封装组件被配置成追踪被植入到患者体内的基准标记物的位置的系统中,这类系统具有两种可能的误差源。一种误差源源自使用电子封装组件追踪基准标记物的位置,而第二种误差源源自追踪电子封装组件相对于治疗设施发生器的位置。因此,为避免使误差源混合,以高精度识别电子封装组件的位置是有利的。
运动补偿系统
图1A是示出作为运动补偿系统100的一部分的医学成像扫描仪104的前视图的示意图的一个实施例。图1B是示出作为图1A的运动补偿系统100 的一部分的医学成像扫描仪104的侧视图的示意图。运动补偿系统100可用于例如追踪经历医学成像过程的患者的运动,以使得医学成像传感器得以调整或以其它方式补偿该运动,从而减少或消除导致的医疗图像中的运动伪像。图1A和图1B所示的运动补偿系统100包括运动追踪系统102、扫描仪104、扫描仪控制器106、两个检测器108以及光标记物或目标110。在该实施例中,光标记物110如图所示地附于位于医学成像扫描仪104的台面114上的患者112。扫描仪104可以是例如核磁共振成像扫描仪。光标记物110可如下面进一步描述的那样被配置,例如参照图2A描述的那样。
在该实施例中,光标记物110配置为可由两个检测器108中的每一个观察。检测器108可以是例如能够获取光标记物110的图像并将那些图像发送至运动追踪系统102的数码相机。在该实施例中,每个检测器108配置为沿不同的视线观察光标记物110。这可有助于使得运动追踪系统102能够分析来自不同有利位置的光标记物110的二维图像,以帮助定位光标记110,从而估计患者运动或姿态。在该实施例中,检测器108各自被配置成沿彼此隔开一角度122的视线120观察光标记物110。在该实施例中,角度122大约为90°。也可采用其它角度,例如30°、45°、60°、70°等。在一些实施例中,90°是最佳角度,以使得光标记物110的平面内的运动和平面外的运动得以最大地区分,如下面参照图8A和图8B进一步描述的那样。例如,如果光标记物110直接沿一个检测器的视线的方向移动,则该检测器相比其它检测器可能更难区别光标记物110的运动。另一方面,另一检测器可能相对容易检测光标记物110的运动,因为该运动垂直于检测器的视线。
在一些实施例中,角度122可被称为剪刀角(scissor angle)。在图1A 所示的实施例中,剪刀角是检测器108直接观察标记物110所在的角度。然而,在其它实施例中,剪刀角可以是一个虚拟角度,因为从检测器至标记物的视线可由镜子和/或其它装置(例如分束器、棱镜、光纤和/或类似物)重新定向。在那种情形下,剪刀角是检测器观察标记物所在的视角。例如,如下面参照图4E和图4F进一步描述的那样,运动补偿系统440的检测器108通过在检测器附近彼此共线的视线定位。然而,可利用镜子重新定向视线以使大约90°的虚拟剪刀角在接近标记物的位置形成。
用于重定向视线的镜子或其它装置既有优势也有劣势。例如,镜子的劣势包括:它们可能振动,可能将误差引入到物体方位确定的过程中。又如,镜子离检测器越远,一般需要更大的镜子以允许等同范围的视野。因此,较为有利的是定位镜子相对靠近检测器,以使得镜子相对较小。使用镜子或其它视线重定向方法的一个优势是虚拟剪刀角可配置为更接近90°的最佳剪刀角,即使当特定医学成像扫描仪配置可能不允许检测器被定位成使用90°的剪刀角直接观察标记物时。此外,一些镜子是不导磁的,这对于核磁共振成像而言可能是有利的,因为不导磁的镜子不会将伪像引入到MRI图像中。另一方面,数码相机可包括导磁组件和/或至通往检测器的导线可包括导磁组件。当数码相机和/或其导线在医学成像外壳内时,它们可能将伪像引入 MRI图像。
图1A-1B所示的运动补偿系统100的实施例并非按比例示出,恰恰相反地是按照有助于解释说明该系统的比例示出。其它附图,例如图4A-4K所示的那些附图,也不是按比例示出的。另外,这些附图中示出和在本说明书中描述的大多数实施例包括实时或基本实时运作的运动补偿系统,以针对患者或物体的运动对扫描仪做出校正。然而,在其它实施例中,运动补偿系统可配置为在已通过扫描仪产生图像后通过使用后处理来处理图像而工作,从而去除任何运动伪像。
在图1A和图1B所示的运动补偿系统100的实施例中,检测器108定位于沿扫描仪104的横轴接近90°角度的位置,但被定位在沿扫描仪104的纵轴接近0°角度的位置,如图1B所示。在该实施例中,检测器108被配置成直接位于光标记物110的名义上的原始位置之上,如图1B所示。然而,检测器可以多种其它配置被设置,如下面进一步描述的那样。图2A-2C示出用于运动补偿系统的光标记物110的一个实施例。图2A是光标记物110的前视图。图2B是图2A的光标记物110用于患者112的立体图。图2C是图2A 的光标记物的前视图,光标记物紧挨着美分212示出以确定比例。
光标记物110包括限定基准形状的图案202。在该实施例中,图案202 限定具有将近0.5英寸边长的等边三角形的基准形状。在等边三角形基准形状的每个顶点处具有基准点定位器204。在该实施例中,每个基准点定位器 204包括一系列交替的黑色和白色(或暗淡和明亮)的椭圆形,基准点定位器 204的质心位于等边三角形基准形状的顶点处。在各实施例中,可使用不同基准形状并且基准点定位器可采用各种形式,只要基准点定位器能够通过运动追踪系统被检测和分析以确定基准形状的重要点、弯折点、临界点或顶点。
在该实施例中,基准点定位器204是椭圆形的并被定位,以使它们被配置成从45°观察角看来是圆形图案。这可能是较为有利的,因为当被用在诸如图1A和图1B所示例子的系统中时,在检测器108沿45°视线观察光标记物110的情况下,处于名义上的原始位置的光标记物110的任何图像将会把基准点定位器204展示为圆形。然后,如果移动标记物,则该运动将导致非圆形的椭圆图案出现在光标记物的图像上。下面给出光标记物配置的进一步描述。
图2B示出光标记物110在一些实施例中能够被配置成安装至患者的顶齿。这有利于将光标记物110相对于患者的头骨保持或附连在固定或基本固定的位置。如下面描述的那样,可使用各种方法和设备来将光标记物附连至患者或其它有益的物体。
图3A是运动补偿系统300的一个实施例的方框图。运动补偿系统300 可以是例如类似于图1A和图1B所示的运动补偿系统100。运动补偿系统300 包括两个检测器108、运动追踪系统102、扫描仪104和扫描仪控制器106。扫描仪104是医学成像扫描仪,例如MRI机。扫描仪控制器106可配置为运作和控制扫描仪104,例如通过实时地或基本实时地调整扫描仪104以校正被扫描的物体或患者的运动。扫描仪控制器106可基于从运动追踪系统102 接收的运动追踪数据或信息来调整运动。
检测器108可包括例如数码相机。尽管在该实施例中存在两个检测器 108,然而各种其它实施例可基于应用场合利用更多或更少的检测器。例如,运动补偿系统的一个实施例可包括更多检测器以增加运动追踪的精度和/或为运动补偿系统增加冗余度。例如,运动补偿系统可包括四个检测器,其中在任何一个时间仅使用其中两个检测器来执行运动追踪。这可能是有利的,例如当障碍物可能依赖于被追踪的物体的位置而遮挡住光标记物使得一个或多个检测器无法观察到时。
尽管在本文描述的这个实施例和各个其它实施例中,检测器是光学数码相机,然而其它运动补偿系统可利用光学相机以外的检测器。例如,检测器可以使红外相机,其被配置成观察可由红外相机观察到的目标或标记物。在其它实施例中,检测器可包括激光检测器、声纳检测器、雷达检测器以及能够定位标记物和/或形成标记物的二维数字图像或表征的各种其它类型检测器。
运动追踪系统102包括追踪引擎304、校准引擎306、控制器接口308 和运动数据库310。运动数据库310可配置为存储运动追踪信息,例如由追踪引擎304创建的物体姿态估计。在一些实施例中,运动数据库310可配置为永久性存储器以存储运动信息,以在成像扫描完成后供将来检索和使用。在一些实施例中,运动数据库310包括短期存储器或缓冲器或高速缓冲存储器以仅暂时地存储物体姿态估计,直到它们被包括在运动数据中并通过控制器接口308发送至扫描仪控制器106为止。
校准引擎306可配置为对运动补偿系统进行校准。校准引擎306包括校准数据库316、检测器校准过滤器318以及目标校准过滤器329。在一些实施例中,校准引擎306可配置为在最初启动时或最初系统组装时校准系统,对于运动补偿系统300的之后操作不再需要校准。在其它实施例中,在一些或全部运动追踪期间,对至少一些校准过程利用校准引擎306。检测器校准过滤器318可配置为对运动补偿系统校准检测器108。在一些实施例中,检测器校准过滤器318可配置为通过允许运动补偿系统的制造者或组装者输入专门针对每个检测器108的信息(例如焦距、分辨率等)来校准检测器。在一些实施例中,检测器校准过滤器318可配置为自动地确定校准检测器108所需的一些或全部的参数。在检测器校准中确定的参数可存储在校准数据库 316中以供追踪引擎304将来使用。
目标校准过滤器320可配置为针对一个或多个特定目标或标记物来校准系统。例如,目标校准过滤器320可配置为:一旦运动追踪例程初始启动,就分析从检测器108接收的图像以确定图像中最可能存在光标记物的感兴趣区域。这些信息可存储在校准数据库316中。这种一旦运动追踪例程启动的最初校准,举例来说,能帮助提高追踪例程(trackingroutine)的速度。
追踪引擎304包括标记物位置过滤器312和物体取向过滤器314。追踪引擎304可配置为在成像扫描期间追踪一个或多个光标记物的位置并确定被扫描的物体或患者的姿态的估计。在一些实施例中,标记物位置过滤器312 可配置为分析来自检测器108的图像以确定来自检测器的2D图像中的光标记物的基准点的位置。标记物位置过滤器312可配置为分析这些图像以既确定这些点的位置又确定由这些基准点形成的一个或多个基准形状的取向。物体取向过滤器314可配置为利用来自标记物位置过滤器312的标记物位置信息以将该信息转换成估计的物体姿态。物体取向过滤器314则可配置为将估计的物体姿态信息传至运动数据库310和/或控制器接口308以供扫描仪控制器106使用。
追踪引擎304可利用各种处理或算法来确定标记物基准点的位置并将该信息转换成估计的物体姿态。下面更详细地描述这些处理或算法的一些例子然而,各种其它的处理或算法可用于本文披露的技术。
控制器接口308可配置为将物体姿态信息转换到成像扫描仪的坐标系并将该信息传至扫描仪控制器106。控制器接口308包括坐标系转换器322和运动数据馈给发生器324。坐标系转换器322可配置为从追踪引擎304和/ 或运动数据库310获取估计的目标姿态信息,并将来自运动追踪系统的坐标系的物体姿态信息转换成扫描仪的坐标系。运动数据馈给发生器324可配置为获取经转换的物体姿态信息并将其发送至扫描仪控制器106。在一些实施例中,运动数据馈给发生器324被配置成当物体姿态信息变得可用时立即将物体姿态信息发送至扫描仪控制器106。在其它实施例中,运动数据馈给发生器324可配置为将运动追踪系统102的时序与扫描仪控制器106同步起来。例如,运动追踪系统102可配置为以将近100赫兹的速率获取图像并估计物体姿态。另一方面,扫描仪控制器106和扫描仪104可配置为在不同的速率下进行扫描。运动数据馈给发生器324因此可配置为将运动追踪系统的输出速度与扫描仪和/或扫描仪控制器的速度匹配。在一些实施例中,这可涉及将经转换的物体姿态信息作高速缓存,直到需要将该信息发送至扫描仪控制器106为止。在一些实施例中,运动数据馈给发生器324被配置成获得多个物体姿态并组合这些姿态,例如通过在将这些姿态发送至扫描仪控制器106 之前求平均。在其它实施例中,运动数据馈给发生器324被配置成仅将最新的物体姿态估计发送至扫描仪控制器106。在一些实施例中,运动数据馈给发生器324被配置成:如果运动追踪系统102自从最近一次运动数据馈给发生器324将物体姿态估计发送至扫描仪控制器106起尚未产生新的物体姿态估计,则将发送至扫描仪控制器106的最近物体姿态估计重发一遍。
如前所述,尽管图3A所示的运动补偿系统300披露于被配置成实时地或基本实时地调整患者运动的系统中,然而其它实施例也可利用运动补偿系统在扫描处理之后调整所获取的图像以去除运动伪像。在一些实施例中,扫描仪可配置为基于所追踪的运动实时地调整运动并后处理图像,从而去除任何残留的运动伪像。
尽管图3A所示的运动补偿系统300将运动追踪系统102图示为与扫描仪控制器106分离的系统,然而在一些实施例中,运动追踪系统102可被集成到扫描仪控制器106中。例如,医学成像扫描仪可被制造为具有集成的扫描仪控制器,该集成的扫描仪控制器包括既控制扫描仪又在扫描期间追踪物体或患者运动的特征。
图3B是描绘运动补偿系统301的另一实施例的方框图。图3B所示的运动补偿系统301类似于图3A所示的运动补偿系统300。然而,运动补偿系统 301利用与图3A所示的追踪引擎304不同的追踪引擎334。追踪引擎334包括基准点过滤器336、主要量发生器338、参考系(即坐标系)转换器340、误差过滤器342以及收敛过滤器344。追踪引擎334的组件可配置为例如使用下面参照图7C描述的工作流程运行以追踪物体或患者的运动。
基准点过滤器336可尤其被配置成分析光标记物的二维图像以确定该标记物的基准点的位置。主要量发生器338可配置为分析如通过两个或更多个检测器观察到的由基准点形成的基准形状,以确定数个(例如六个)主要量,这些主要量可用来帮助描述或定义光标记物的3D位置或取向。
参考系转换器340可配置为在每个检测器的二维坐标系和运动追踪系统的三维坐标系之间进行转换。误差过滤器342可配置为基于直观的基准点并基于物体姿态的估计分析主要量的差值以确定两者之间的误差量。收敛过滤器344可配置为执行迭代过程以减少物体姿态估计中的误差量,直到物体姿态估计具有可接受的误差量为止。追踪引擎334可配置为与运动数据库310、校准引擎306和控制器接口308通信,所述运动数据库310、校准引擎306 和控制器接口308类似于前面针对图3A的运动补偿系统300的那些描述。
运动补偿系统的其它实施例
图4A是另一实施例的示意图,示出作为运动补偿系统400的一部分的医学成像扫描仪104的前视图。图4B是示出作为运动补偿系统400的一部分的医学成像扫描仪104的侧视图的示意图。运动补偿系统400类似于图1A 和图1B所示的运动补偿系统100。然而,如前所述的运动补偿系统100包括沿扫描仪104的横轴彼此成90°角定位的两个检测器108。在运动补偿系统 400中,检测器108沿扫描仪104的纵轴彼此成90°角422地定位。运动补偿系统400的检测器108仍然被配置成沿两条不同的视线420观察光标记物 110。运动补偿系统400示出可以多种方式定位检测器108,只要每个检测器 108沿不同的视线观察到光标记物110即可。如前面针对角122描述的那样,角422可变并且可以更大或更小。在一些实施例中,角422可以在100°和 70°之间。在其它实施例中,角422可以是30°。例如,图4K示出与运动补偿系统400类似的运动补偿系统490,除了角422为30°外。在其它实施例中,该角度可以是各种其它角度,只要两条视线420是不同的。
图4C是另一实施例的示意图,其示出作为运动补偿系统430的一部分的医学成像扫描仪104的前视图。图4B是示出作为运动补偿系统400的一部分的医学成像扫描仪104的侧视图的示意图。运动补偿系统430类似于图 1A和图1B中示出的运动补偿系统100。然而,运动补偿系统430进一步包括被配置成定位在患者头部周围的头笼或头部线圈432。在某些医学成像任务中,例如在某些MRI头部扫描中,可利用头笼432并将其定位在患者头部周围。如果检测器108被安装至扫描仪本体104的孔上,则头笼可能使检测器108更加难以对光标记物110成像。因此,运动补偿系统430包括被安装在头笼而不是安装在扫描仪本体上的两个检测器108。检测器108和运动追踪系统102被配置成以如前所述相同的方式工作。本文中使用的术语“头笼”可用来描述一种装置,该装置被配置成在MRI扫描期间帮助定位患者的头部。术语“头笼”也可指头部线圈设备,其被配置成缠绕在患者头部周围以实现 MRI扫描功能。
图4E是另一实施例的示意图,示出作为运动补偿系统440的一部分的医学成像扫描仪104的前视图。图4F是示出作为图1A的运动补偿系统440 的一部分的医学成像扫描仪104的侧视图的示意图。运动补偿系统440类似于图4C和图4D所示的运动补偿系统430。然而,在某些情形下,扫描仪104 的孔内可能具有有限空间。在那些情形下,可能难以定位检测器108以使得在其透镜和光标记物110之间具有直接视线。因此,运动补偿系统440包括相对于头笼432平齐定位的两个检测器108,视线120通过镜子442到达光标记物110。镜子442使间接的视线变得可能,从而使系统更为紧凑但仍然能够沿两条不同的视线120观察光标记物110。尽管该实施例示出使用镜子且检测器被安装至头笼,然而各种其它实施例可使用附于扫描仪本体、头笼或任何其它位置的镜子和/或检测器,只要检测器能够透过镜子观察光标记物即可。在一些实施例中,使用多个镜子以多次重新定向视线120。例如,检测器108可位于扫描仪外侧并且其视线通过位于扫描仪内的一个或多个镜子以对光标记物成像。
尽管运动补偿系统440包括镜子以重定向视线,然而可单独地或结合镜子地使用重定向视线的其它方法。例如,可使用光纤或棱镜以重定向视线并形成虚拟的剪刀角。
图4G是另一实施例的示意图,示出作为运动补偿系统450的一部分的医学成像扫描仪104的前视图。该运动补偿系统450类似于图1A和图1B所示的运动补偿系统100。然而,该运动补偿系统450包括两个光标记物110。在该实施例中,两个光标记物110中的每一个被直接地定位在其中一个检测器108的视线内。然而,在其它实施例中,可采用多个光标记物110,并以其它方式定位。例如,可将多个光标记物定位在被成像的物体的多个固定或基本固定的位置。例如,如下面进一步描述的那样,一个光标记物110可被定位在患者的顶齿上,而一个或多个其它标记物可被定位在患者的前额上。
光标记物也可被定位在不固定或不是基本固定的位置上。例如,光标记物可被附于患者的皮肤。在一些实施例中,例如当标记物被附连至患者的皮肤时,由于皮肤运动或皮肤弹性,扫描仪可能不时地相对于被扫描的物体移动,这可能将不精确性引入到医学成像扫描。因此,在一些实施例中,运动补偿系统可配置为在被扫描物体(例如患者的头部)的运动和皮肤运动(这可能与被扫描的物体的实际运动无关)之间进行区分。在一些实施例中,系统可配置为比较两个或更多个标记物相对于它们本身的定位,从而在头部运动和皮肤运动之间作出区分。
利用多个光标记物110可具有多种益处。例如,多个标记物可用于产生冗余量,以防一个或多个标记物基于当前物体的姿态对一个或多个检测器当前不可见。另一优势是可同时地由运动追踪系统102分析多个光标记物以获得多个物体姿态估计。那些物体姿态估计则可被组合以产生单个更精确的估计。例如,多个估计可求平均以得出平均估计。又如,对于每个估计可以进行误差余量测量,并且可基于误差余量使用加权平均来组合这些估计。在其它实施例中,只使用最精确的估计并将其它估计丢弃。
图4H-4J示出配置为使用间接视线的运动补偿系统的附加实施例。考虑到许多医学成像系统在设备的孔内具有有限的空间,因此较为有利地,可将检测器定位成相对于设备的孔是大致平坦的或者在设备孔内平齐。图4H所示的运动追踪系统460的实施例示出一种系统,其中两个光检测器108相对于医学成像扫描仪104的孔是平的。在该实施例中,检测器108被定位成沿孔的纵轴线彼此相对朝向地定位。两个镜子442相对地靠近于检测器定位以将它们的视线120重新引导朝向光标记物110。在该实施例中,剪刀角明显小于90°。然而,在其它实施例中,检测器和/或镜子可以不同方式定位以增加或减小剪刀角。
图4I中示出的运动补偿系统470类似于图4H中示出的运动补偿系统 460。然而,运动补偿系统470包括两个检测器108和两个镜子442,它们被安装在医学成像扫描仪104内以使它们不伸出至扫描仪104的孔内。扫描仪 104本体可包括开口以使视线120从标记物110传至检测器108。在一些实施例中,检测器可被定位在扫描仪孔的表面上、部分地定位在扫描仪本体内、完全地定位在扫描仪本体内和/或以其它方式定位。检测器是否能被安装在扫描仪本体内和/或是否任一检测器必须突出到扫描仪本体之外的一个决定因素是扫描仪的尺寸以及扫描仪本体内可用的空间。扫描仪本体内可用的更多空间和/或更小的检测器可允许将更多或全部检测器定位在扫描仪本体内。
图4J示出一种运动补偿系统480。该运动补偿系统480类似于图4H所示的运动补偿系统460。然而,运动补偿系统480包括头笼432,并且检测器108和镜子442彼此相对地安装在头笼432的相对两端上,而不是被安装在扫描仪的孔。在各个实施例中,检测器108可被安装在多个位置,不一定彼此相对朝向。例如,两个检测器108可位于头笼432的同一侧上。如图4J 所示,两个检测器108中的每一个被配置成沿视线120观察光标记物110,该视线120沿相对于标记物的不同角度观察光标记物110。左手侧的视线120 相比右手侧的视线120具有更浅的角度。在其它实施例中,可调整检测器、光标记物和/或镜子的定位,从而调整每条视线相对于标记物的角度和/或调整剪刀角。
图4L-4N示出运动补偿系统的示意图的另外一些实施例。图4L-4N中示出的每个运动补偿系统包括一个或多个检测器108、多个视线120、一个或多个光标记物110以及头笼或头部线圈432。一些实施例还包括一个或多个镜子442以及一个或多个分束器444。在一些实施例中,分束器444包括棱镜。尽管图4L-4N中所示的运动补偿系统中的每一个包括两个光标记物110,然而本文披露的理念适用于使用任何数量光标记物的系统。在一些实施例中,运动补偿系统使用两个光标记物以为系统增加冗余度。例如,一个光标记物可能有时候视线被例如头部线圈432的一部分遮挡。光标记物可被定位以使当一个光标记物的视线被阻挡时,另一光标记物仍然能够通过一个或多个检测器108成像。尽管图4L-4N中所示的光标记物110包括棋盘图案,然而光标记物110也可或替代地包括与图2A所示的光标记物110所示的图案相似的图案。
图4L中所示的实施例包括对两个光标记物110成像的四个检测器108。光标记物110中的每一个沿两条不同的视线120通过其中两个光检测器108 同时地成像。图4M中所示的实施例类似于图4L中所示的实施例,除了检测器的数目减少了两个。在该实施例中,两个检测器108中的每一个被配置成对两个光标记物110同时成像。系统被配置成通过分束器444对来自检测器的视线分束并通过镜子442重新引导分束得到的多个视线。从光检测器108 得到的数字图像可包括两个光标记物110(或者可能仅一个光标记物,例如其中一条光线被阻挡)的数字表征。运动补偿系统可配置为单独地分析每个光标记物的表征,即便这些表征被包括在同一数字图像中。
图4N所示的实施例类似于图4M所示的实施例,除了仅利用一个光检测器108外。光检测器108的视线在分束器444被分束成两条视线120,其中每一条视线被引向两个光标记物110中的一个。至于图4M所示的配置,得自检测器108的数字图像可包括两个光标记物110(或可能仅一个光标记物,如果例如其中一条视线被阻挡)的表征。
光标记物的安装
光标记物可以多种方式被安装至被追踪的物体。图5A-5E示出将光标记物安装至物体的多种选择。图5A是连接至安装部分514的光标记物的一个实施例的前视图。图5B是被安装至安装部分514的图5A的光标记物110的侧视立体图。图5A和图5B所示的光标记物110类似于图2A-2C所示的光标记物110。该实施例被配置成连接至患者的顶齿。安装部分514包括前部516、后部518以及在前部516和后部518之间的槽520。前部516被配置成在人的顶齿前方穿过,而后部518被配置成在用户的顶前齿后面穿过。槽520被配置成和用户的齿相一致或基本一致。
在一些实施例中,安装部分514被配置成针对特定用户构形以提高光标记物110的配合性和/或刚性。例如,安装部分514可配置为软的,并安置到用户的齿上,随后变硬。在一个实施例中,安装部分514包括加热时变软并且冷却时变硬的聚合物。在该实施例中,安装部分514可例如在温水中受热并随后被安置在用户的嘴中以塑型。在另一实施例中,安装部分514包括紫外可固化聚合物。例如,安装部分514可在柔软的状态下被安置在用户的齿上,并随后使用紫外光固化至变硬状态。在其它实施例中,安装部分514 可配置为在槽520内具有粘合剂或可成型的聚合物材料,以顺应或粘附于用户的齿。
安装部分514可使用连接部分522连接至光标记物110。在一些实施例中,光标记物110和安装部分514是一体的、不可分离的单元。在其它实施例中,连接部分522允许光标记物110从安装部分514拆下或重新附连至安装部分514。这可能是有利的,例如以允许安装部分514在没有光标记物110 安装于其上的情况下构形成用户齿的形状。在一些实施例中,连接部分522 相对小并允许光标记物110相对地靠近安装部分514。在其它实施例中,连接部分522较长并使得光标记物110的位置得以较为远离被追踪的物体。在一些实施例中,连接部分522被配置成定位光标记物110,从而当安装部分 514被定位在用户的齿之上时光标记物110将不会被患者的嘴唇覆盖。在一些实施例中,安装部分514包括额外的皮瓣,该皮瓣被配置成定位在用户的嘴唇之上以保持他们的嘴唇不会遮挡光标记物110。
在一些实施例中,光标记物可从内部发光。例如,光标记物内可包括一个或多个LED灯或类似结构以均匀地或基本均匀地照亮光标记物或各个基准点。光标记物的发光可能是有利的,以允许检测器更清楚地对光标记物成像并使运动追踪系统更容易区别光标记物上的基准点和/或基准点的质心。在一些实施例中,检测器和/或运动补偿系统的另一部件包括被配置成照亮光标记物的灯。在一些实施例中,例如当使用红外检测器时,发出的光可以是红外光。在一些实施例中,光标记物可配置为在黑暗中发光从而得以增强亮度而不使用辅助发光。在一些实施例中,光标记物可配置为通过放置在光源前面一段时间而被充注光,之后光标记物将发光一段时间。
图5C是连接至安装部分524的光标记物110的另一实施例的俯视图。图5D是连接至安装部分534的光标记物110的又一实施例的俯视图。图5C 所示的安装部分524是相对窄的安装部分,其包括前部526、后部528以及前部526和后部528之间的槽530。然而,图5D所示的安装部分534是相对宽的安装部分。安装部分534包括前部536、后部538以及前部526和后部528之间的槽540。图5C和图5D所示的实施例示出安装部分可采用多种形状。例如,安装部分524的尺寸类似于图5A和图5B所示的安装部分。这种安装部分可仅啮合患者的一对齿。另一方面,图5D所示的安装部分534包括被配置成啮合患者的若干个齿的更U形安装部分。安装部分534在一些实施例中在设计上可类似于一般由运动员使用的护牙器。安装部分524、534均使用连接部分532连接至光标记物110。
图5E是连接至患者112的光标记物110的实施例的立体图。在该实施例中,光标记物110附连至带550,所述带550被配置成绕在患者头部周围以帮助将光标记物110保持在位。在一些实施例中,光标记物110也连接至安装部分,例如前述配置成附连至患者的齿的安装部分。已描述了将光标记物安装至患者的各个实施例,然而,可使用各种其它方法,例如但不限于粘合剂、条带、刺青、绘图和/或类似物。
图6A是使用分布式基准点614、612的光标记物610的实施例的立体图。如同图2B所示的光标记物110,光标记物610包括三个基准点612、614,这些基准点包括椭圆形,并当一同观察时形成三角形基准形状。然而,光标记物610是分布式光标记物,因为这些基准点不是同一实体物件的部分。在该实施例中,类似于前述内容,基准点612在附连至患者顶齿的衬底上。然而,另外两个基准点614是附于患者前额并高于他/她的眼睛的贴纸。图6A 所示的配置的一个优势在于,可使用具有较低分辨率的检测器并因此而更便宜。另一优势是能够在光标记物610的图像内更精确地检测到患者112较小的运动。然而,图6A所示的配置的劣势在于,三个基准点相对于彼此不是固定的。例如,如果患者112移动他或她在前额上的皮肤,则基准点614可能相对于附连至他或她的齿的基准点612移动。在一些实施例中,运动追踪系统可配置为分析基准点的相对运动以确定该运动是由局部皮肤运动或扭曲造成的还是由实际患者运动造成的。
利用分布式基准点的理念可采用各种形式。例如,每个基准点可被定位在块件、衬底或其它背衬上,背衬被固定至或附于被追踪的患者或物体。例如,图6A所示的基准点612如图示为附于基本刚性的背衬。基准点614被图示为不具有背衬并直接附于患者前额的各个点。然而,在一些实施例中,基准点614也可附连至背衬、块件或其它背衬以帮助将基准点附于物体和/ 或减少基准点的任何挠曲和/或保持基准点形状平坦。在一些实施例中,光标记物和/或各基准点可配置为使用多种手段附连至被追踪的物体。例如,可利用双面外科绷带以将标记物附连至物体。也可使用其他粘合剂。也可使用其它机械连接手段,例如其它类型的带、夹子、条带、紧固件和/或类似物。
尽管图6A所示的实施例示出位于患者顶齿和前额上的基准点,但基准点和/或标记物可被定位在各种位置。例如,基准点或标记物可被定位在患者的鼻子、脸颊、下巴、太阳穴、耳朵和各种其它位置,只要基准点或标记物在物体运动范围的至少一部分期间对检测器或者通过直接视线或者通过间接视线是可见的。此外,尽管图6A示出的基准点彼此相对较远地间隔,然而在一些实施例中,尽管仍然不附连至同一背衬或安装材料,但这些基准点可以彼此相对较近地间隔。例如,诸基准点可定位和间隔开相同的距离,如图2B示出的光标记物110所示,即便这三个基准点各自连接至不同的背衬材料或安装部分。在另一实施例中,三个基准点可以与图2B所示的光标记物110相同的方式间隔,除了基准点各自是附着于患者的相互独立的物件,并且彼此不连接。
在运动补偿系统的一些实施例中,可存在障碍物,所述障碍物可能潜在地阻挡至光标记物的视线。例如,诸如图9A所示的头笼或头部线圈可能具有棒或其它部分,他们可能阻挡至标记物的视线。因此,在一些实施例中,标记物或基准点可在某个位置被定位在物体上,该位置可消除或减小至标记物的视线的任何阻挡。在一些实施例中,可使用被配置成重引导视线的镜子或其它设备,以允许检测器通过诸如头笼或头部线圈的障碍物中的孔或开口对标记物成像。
图6B是使用分布式基准点614、612的光标记物610的实施例以及使用集中式基准点612、616的光标记物610的实施例的立体图。图6B所示的实施例类似于图6A所示的实施例,但采用两个不同尺寸的光标记物。图6B中的配置利用图6A所示的分布式光标记物610以及图2B所示的非分布式光标记物110。通过使用非分布式标记物110,这种配置可能有利于例如获得较大标记物510的优点并同时抵消分布式标记物的一些问题。
在一些实施例中,运动追踪系统可配置为基于检测器捕捉到的运动而追踪较大标记物610和/或较小标记物110。例如,如果系统考虑到可能将不精确性引入到系统中的患者前额皮肤的局部运动或抽搐,则系统可配置为当检测到与标记物614的局部运动一致的方向上的运动时停止利用较大的光标记物610进行追踪。例如,如果标记物614沿纵向移动(例如相对于患者的头部上下移动)地成像,这可能表示局部皮肤运动,并且如果使用追踪光标记物610的话可能引入不精确性。然而,如果检测到基准点614沿边对边方向的运动,尤其如果两个基准点614均沿同一方向移动,这不大可能表示局部皮肤运动并且更有可能是表示患者正在转动他或她的头。因此,基于较大光标记物610的追踪在那种运动期间可能相比追踪较小光标记物110更为精确。在一个实施例中,运动追踪系统可配置为当检测到不指示局部皮肤运动的运动时利用较大的分布式标记物追踪运动,但当检测到指示局部皮肤运动的运动时使用较小的非分布式标记物进行追踪。
图6C是附于被追踪的物体(在这种情形下是患者112)的多个光标记物 110的实施例的立体图。该实施例示出多个完整的光标记物110可附于同一物体。尽管在该实施例中光标记物附于患者的顶齿和前额,然而光标记物除了这些位置或代替这些位置也可附于例如脸颊、太阳穴、耳朵、下巴、鼻子、眼睛下面和/或类似位置。利用多个光标记物可有利于提高精度和/或冗余度。
运动补偿系统处理
图7A示出一个实施例的处理流程图,该处理流程图示出运动补偿处理的一个例子。例如,图7A所示的处理流程可例如通过图3A和图3B所示的运动补偿系统300或301实现。在方框702,扫描仪开始成像扫描。在方框 704,运动补偿系统开始其处理。在方框706,追踪引擎获取标记物图像。例如,图3A所示的追踪引擎304可配置为各自从检测器1和检测器2获取一个图像帧。在方框708,追踪引擎确定物体姿态。例如,标记物位置过滤器 312可配置为确定标记物基准点的二维位置,并且物体取向过滤器314可配置为使用标记物基准点的二维位置来估计被追踪的物体的三维姿态。追踪引擎可将该信息存储在如方框710所示的运动数据库中。如方框710所示的运动数据库可以是例如图3A所示的运动数据库310。
在方框712,控制器接口产生运动数据。例如,图3A所示的控制器接口 308可配置为将物体姿态信息转换成扫描仪坐标系并产生数据以允许扫描仪控制器调整该运动。在方框714,控制器接口将运动数据发送至扫描仪控制器。在方框716,扫描仪控制器运行以调整扫描仪,从而对运动作出补偿。在方框718,处理根据成像扫描是否完成而变化。如果成像扫描未完成,则处理流程返回至方框706并如上所述地继续处理流程。如果扫描完成,处理流程继续至方框720,并且运动补偿的流程结束。
图7B示出另一实施例的处理流程图,该处理流程图示出运动补偿处理的一个例子。在方框722,扫描仪开始成像处理。在方框724,运动补偿系统开始其处理。例如,该处理可通过图3A所示的运动补偿系统300实现。在方框726,运动追踪系统可选择地被校准。例如,目标校准过滤器320可配置为确定光标记物在每个检测器的视场中的总体位置。
在方框728,追踪引擎从两个不同的有利位置获取同时的标记物图像。例如,图3A所示的追踪引擎304可配置为从第一和第二检测器108获得同时或基本同时的图像。在方框730,标记物位置过滤器分析图像以确定光标记物的基准点的二维位置。例如,标记物位置过滤器312可配置为分析在方框728获取的图像。标记物位置过滤器可配置为分析这些图像以确定光标记物的基准点出现在每个图像中哪些位置。
在方框732,物体取向过滤器分析基准点位置以确定三维物体取向或姿态。例如,物体取向过滤器314可配置为分析在方框730创建的信息以估计在六个自由度上的三维物体姿态,并在一些实施例中执行迭代处理以获得更好的估计。物体取向过滤器可配置为将该3D物体取向或姿态信息存储到方框734所示的运动数据库中。在方框736,控制器接口可配置为产生运动数据。例如,图3A所示的控制器接口308可配置为从运动数据库或物体取向过滤器获得物体姿态或取向信息,并将该信息转换成可由扫描仪控制器读取的形式。在方框738,控制器接口将运动数据发送至扫描仪控制器。在方框 740,扫描仪控制器调整扫描仪以对运动作出补偿。
在方框742,处理流程根据成像扫描是否完成而变化。如果成像扫描未完成,则处理流程回到方框728并如前所述地继续。如果成像扫描完成,则处理流程进至方框744,并且运动补偿处理结束。
图7C示出另一实施例的处理流程图,该处理流程图示出运动补偿过程的一个例子。图7C所示的处理流程可例如通过图3B所示的运动补偿系统301 执行。在方框752,扫描仪成像扫描开始。在方框754,运动补偿系统开始其处理。在方框756,运动补偿系统可选择地调整追踪系统。在方框758,追踪引擎从不同的有利位置获取两个同时的标记物图像。例如,追踪引擎334 可配置为从第一和第二检测器108获取同时或基本同时的图像帧。
在方框760,基准点滤波器定位基准点和第一二维图像。例如,基准点过滤器336可配置为分析第一二维图像以定位如图2A所示的光标记物的交替的椭圆或圆形并确定这些组交替椭圆的每一个的质心。质心将是基准点。在方框762,基准点过滤器定位第二维图像中的基准点。因此,在方框760、 762之后,如果图2A所示出的光标记物被使用,则六个不同基准点的六个不同坐标将被确定或已被确定。六个不同的基准点包括由第一检测器看到的光标记物的三个基准点以及由第二检测器看到的相同的三个基准点。
在方框764,主要量发生器基于二维基准点位置计算基准主要量或属性。例如,图3B所示的主要量发生器338可配置为在方框760和762确定的基准点的位置,以确定描述由基准点形成的基准形状的各种属性和/或描述沿第一视线和第二视线观察到的基准形状之间的差异性或相似性的六个主要量。这些基准主要量可在该处理流程中的另一处加以利用,与基于物体姿态的估计的主要量进行比较以确定误差量。下面将对主要量和主要量的具体例子做进一步讨论。
在方框766,参考系转换器获取估计的物体姿态。例如,图3B所示的参考系转换器3B可配置访问在方框768示出的运动数据库以检索估计的物体姿态。在一些实施例中,估计的物体姿态是任意的,例如在六个自由度取向上的(0,0,0,0,0,0)。在其它实施例中,在方框766检索到的估计物体姿态就在最后一次执行该处理流程之前。
在方框770,参考系转换器基于估计的物体姿态计算预期的基准点的位置。例如,图3B所示的参考系转换器340可配置为将来自方框766的三维估计物体姿态转换成基准点的预期三维和二维位置,就像物体处于该估计姿态那样。在方框772,主要量发生器基于预期的基准点位置计算对比主要量。主要量发生器可配置为以与在方框764计算基准主要量相类似的方式计算这些主要量;但在方框772,这些主要量是基于作为估计物体姿态的结果的预期基准点的。
在方框774,误差过滤器确定基准主要量和对比主要量之间的误差量。例如,图3B所示的误差过滤器342可配置为将基准主要量与对比主要量进行比较并确定定量误差估计。在方框776,处理流程根据在方框774确定的误差是否落在可接受范围内而变化。如果误差未落入可接受范围内,则处理流程进至方框778。在方框778,收敛滤波器计算旨在减少误差的估计物体姿态。例如,收敛过滤器334可配置为从方框766分析估计物体姿态,并确定如何改变估计姿态以减少误差。处理流程随后回到方框770并如前所述地使用新估计的物体姿态继续。
回到方框776,如果误差落在可接受的范围内,则处理流程进至方框780。在方框780,追踪引擎将估计的物体姿态存储在运动数据库中。在方框782,控制器接口产生运动数据。例如,图3B所示的控制器接口308可配置为将物体姿态的坐标系转换成扫描仪坐标系并打包该信息以发送至扫描仪控制器。在方框784,控制器接口将运动数据发送至扫描仪控制器。在方框786,扫描仪控制器调整扫描仪以对运动作出补偿。
在方框788,处理流程根据成像扫描是否完成而变化。如果成像扫描完成,则处理流程进至方框790,并且运动补偿处理流程结束。如果在方框788 成像扫描未完成,则处理流程回到方框758并如前所述地继续。
尽管本文描述的各实施例描述了同时或基本同时地获取来自多个检测器的图像,然而在一些实施例中,图像必须只能在彼此的某一时间段内获得。例如,在一些实施例中,图像必须仅在一时帧内获得,该时帧等于或小于向扫描仪控制器提供运动更新的运动追踪系统的频率。示出运动补偿处理的例子的处理流程图的另一例子示出于图20C中。
在一些实施例中,图7C所示和本公开文本其它位置描述的处理需要计算机系统和/或计算机硬件来实现。例如,为了在医学成像扫描期间允许实时运动追踪,在一些实施例中,运动补偿系统必须工作在至少100Hz的速度下,例如在至少100次/秒的速率下执行物体取向估计。对人类而言,这种处理不可能由心算得出。即使人们能够实现本文所述的处理,但人们不能够以某些实施例所需的速度实现它们。然而,即便速度不是必要条件,由于牵涉到的较大数量的变量和相对复杂的方程,人们不可能在他或她的头脑中执行本文描述的至少一些处理部分。此外,人眼可能无法在执行本文披露的某些处理所需的分辨率之内分辨光标记物的微小运动。因此,需要计算机系统和/或计算机硬件来实现本文所述的处理和系统以及方法的一些实施例。
图7D示出另一实施例的处理流程图,该处理流程图示出运动补偿过程的一个例子。图7D所示的处理流程示出使用多个光标记物的处理的一个例子。在该实施例中,运动追踪系统正在追踪一个较大的光标记物和一个较小的光标记物,例如图6B所示那样。然而,本文描述的理念可用于多个标记物系统的各种其它实施例。在方框701,扫描仪成像扫描开始。在方框703,运动补偿系统开始其运动补偿处理。在方框705,运动追踪系统被可选择地校准。在方框707,追踪引擎从两个不同的有利位置获取同时的标记物图像。
在方框709,标记物位置过滤器分析图像以确定较大基准形状的基准点的二维位置。例如,标记物位置过滤器可配置为确定图6B所示的基准点614、 612的基准点位置。在方框711,物体取向过滤器分析较大基准形状位置以估计3D物体取向或姿态。
在方框713,标记物位置过滤器分析来自检测器的图像以确定较小基准形状的基准点的二维位置。例如,标记物位置过滤器可配置为确定图6B所示的基准点612、616的位置。这些基准点的位置限定由这些基准点定义的基准形状的位置。在方框715,物体取向过滤器分析较小基准形状位置以估计3D物体取向或姿态。
在方框717,追踪引擎将来自方框711和715的两个物体取向或姿态估计组合以产生单个估计。例如,追踪引擎可对估计求平均。又如,追踪引擎可使用一个估计或另一估计,这依赖于哪个估计最可能是在该时间点更精确的估计。追踪引擎可配置为与方框719所示的运动数据库通信以存储估计。在方框721,控制器接口产生运动数据。例如,控制器接口可配置为将物体取向或姿态估计转换成扫描仪的坐标系。在方框723,控制器接口将运动数据发送至扫描仪控制器。在方框725,扫描仪控制器调整扫描仪以对运动作出补偿。在方框727,处理流程根据成像扫描是否完成而变化。如果成像扫描未完成,则处理流程回到方框707并如前所述地继续。如果在方框727成像扫描完成,则处理流程进至方框729,并且运动补偿处理流程结束。
固定至解剖位置(例如头部)的光学目标
光学头部追踪的一个难题是定位随着身体的骨架刚性地移动的头部特征。皮肤是弹性的并允许显著的运动(相对于所需精度的位移,例如在眨眼、抽搐或皱起鼻子或前额时)。为了克服这个难题,在一些实施例中,系统被配置成利用两个或更多个光学追踪目标以布置在患者之上。例如,两个或更多个光学追踪目标可被连接(例如涂画或固定在患者面庞上)至患者的皮肤。通过利用两个或更多个光学追踪目标,系统可配置为补偿皮肤的弹性性质以确定患者的运动。例如,系统可配置为追踪两个或更多个光学追踪目标的运动并对检测到的运动求平均以确定患者的大致运动。可替代地,在一个实施例中,系统可配置为分析来自两个或更多个光学追踪目标检测到的运动并将检测到的运动各自与预测的运动值进行比较。系统可配置为选择最接近预测运动值的检测到的运动值并忽略其余的检测到的值。可替代地,系统可配置为忽略与预测的运动值明显不同的检测到的值。系统可配置为对尚未被忽略的检测到的运动值求平均。在一个实施例中,系统可配置为运用或组合一个或多个前述技术。
为了克服皮肤弹性性质的难题,在一个实施例中,光学追踪目标可被连接至患者的上齿。对头骨呈刚性的一个容易取得的特征是上齿。不像在下颚骨上的齿,上齿刚性固定于患者的头骨。在一个实施例中,紧凑和可靠的光学追踪目标可通过夹具或其它连接装置连接至一个或多个上齿。这类连接设备可配置为极为舒适的。在一些实施例中,印刷的精确光学目标附于患者的顶前齿。
光学目标可配置为无论传感器视场的取向如何都容易以高精度定位的。在这一点上,圆或一系列同心圆或椭圆可能是较为有利的。此外,为了适应最快的组合2D数据处理方法,数个(至少三个)质心位置在每个瞬时可辨。在一些实施例中,目标可包括位于等边三角形顶点处的三组同心圆或椭圆。出于实用的原因,希望具有紧凑性,但是目标的最小尺寸和间距很大程度上受传感器特性和通过MRI场补偿线圈的可用无阻挡光学视线制约。例如,在目标的最小尺寸和用于感测头部运动的成像相机的成本之间存在权衡——目标三角形的边尺寸越小,相机传感器内需要的像素越多,并且所需的用于读取和处理的电子器件更快。
作为合理的折衷,在一些实施例中可采用边长0.5英寸的等边三角形。印刷的目标图案包括在每个三角形顶点的1/16”小直径的实心中央椭圆点,并且每个点由3/16”小直径和1/32”线宽的第一同心椭圆以及5/16”小直径和 1/32”线宽的第二同心椭圆(比例设计为从相机名义上的45°视角看呈圆形的椭圆)围绕。在该实施例中,整个目标测量为大约1英寸宽和大约0.93英寸高。其它尺寸也是可能的。
观察该目标的相机能够依赖于目标的取向使用简单亮度矩计算确定目标图案上的每个椭圆的质心。目标本身仅对着相机视场的一小部分,但可通过其高对比度和灰度的缺乏来识别。在一些实施例中,计算机处理器被编程以:通过将三个子目标包围在48×48像素的子像素阵列中来追踪三个子目标中的每一个,并通过将(a)像素暗区和像素位置之积的总和除以(b)48×48 子像素阵列中的所有像素的像素暗区之和来计算每个子目标的质心。处理器也被编程以移动48×48像素阵列中的每一个,以使其目标一直完全地位于子像素阵列中。通过足够的像素空间和亮度分辨率和目标照明和对比度,使用该目标可取得行和/或列中大约0.1像素或更小的质心定位精确性。
图2A是光学目标和三个笛卡尔轴中的两个笛卡尔轴的放大图。图2C示出固定至NTI连接设备以布置在患者的上齿的全比例目标(相比美分)。(右下)具有光学目标和夹在前齿上的夜用护板的物体。
潜伏时间
使用光学追踪技术的头部运动测量中的潜伏时间由相机传感器积分和读出时间、目标质心确定时间和6-DOF分解时间构成。为了可靠地追踪快至 2cm/秒的头部运动和快至10°/秒的头部转动,需要大约100Hz的相机帧速率,还需要相机具有对光学对象具高分辨率,且能以高达10倍于该速度的速率冻结运动而不会模糊的电子快门。还需要大视场以适应大的运动,因此没有昂贵的机械追踪能力的快速相机读出将需要低像素密度或者具有较大焦平面但能够对较小的感兴趣区域作出窗限以读出的相机。运行在复合2D、而不是全3D空间内并利用快速收敛求解方法的质心和6-DOF分解算法能够以每秒100解的速率和大约10ms的潜伏时间将解返回到补偿头部线圈电子器件。在一些实施例中,系统可配置为带有潜伏时间运行,从而在每个图像获取之间允许更新扫描仪。
相机
对于佩戴或连接于光学头部追踪目标的物体,目标尺寸以及物体转角和平移位置精确地确定三个目标质心在三维上的物理位置。通过准确知晓这些角度和光学传感器(相机和透镜)参数——像素节距、透镜焦距和径向畸变、相机位置和相对于名义目标位置的取向——焦平面传感器上的目标质心投影的位置可以任何程度的精度被预测,即使在测量前也是如此。
在实践中,相反的问题应当同样简单,只要目标质心的3D位置能被光学地确定。使用两个相机,质心投影的立体图可用来确定每个目标质心空间内的3D位置,并且6-DOF位移向量则可通过简单的矩阵逆变换来确定。然而,在实践中,这种方法导致对于相机像素密度、像素数、相机对准和相机校准方面的昂贵和复杂的需求。
一种替代的演变方法不用立体测距,而是使用来自两个相机的单独2D 投影,而无需尝试将两个相机上的绝对目标位置关联起来。这种方法消除了立体视线方法的相机对准和放大匹配特征的严格需求,并且也放松了为了得到所需位置精度(大约0.1mm平移和大约0.1°旋转)而需要的对于像素密度和计算的要求,由此使得成本和处理速度得到显著节省。尽管本文描述的各实施例可能不利用立体测距、成像或视觉,然而一些实施例将或者单独或者结合本文描述的其它物体取向确定技术利用立体测距范围、成像或视觉的理念。
即使对于这种2D测量方法,一旦相机被集成到头部线圈内,也可采取一些基本步骤以校准相机参数;这些步骤可在制造设施处执行。这些步骤包括:测量两个相机上的单个基准点的投影像素位置;以及在倾斜、俯仰和偏转的每度旋转的像素位移的相机放大因数;以及沿x、y和z的每毫米平移量。然而,如前面陈述过的那样,相机准确地在空间内对准(例如完美地垂直)或者这些相机的放大倍数(透镜焦距以及至基准点的距离)是相同的都不是必须的,这可通过模拟容易地验证。
立体相对于复合2D的视野需求
通过从偏离目标平面的垂直线45°的方向观察目标的单个相机,当目标沿着相机方向运动时(例如在相机方向上,向上垂直平移等于水平平移并且没有旋转),相机看到非常少的质心位移。假设7微米像素节距、25mm透镜和14英寸的工作距离,当目标可被检测为沿目标质心间隔上具有0.1像素增大之前,相机方向上的目标位移可以是至少0.6mm。然而,如图8A和图 8B所示,正交地布置(例如相对于同一平面内的垂直线成45°角)的第二相机对于这个相同的运动灵敏性最大,对于仅0.1mm的对角的平移就能看到每个质心的完全像素位移。第二相机消除单个相机必须沿其光轴运动的“盲点”。尽管某些实施例描述了其中相机正交地定位的系统,然而相机也可相对于同一平面内的垂直线被布置在除了正交以外的其它相对角度上,这依赖于所要求的临床结果。
相机景深
为了适应±15°的头部偏转加上在14英寸工作距离的0.85英寸目标宽度,透镜可配置为提供距离在13”和15.5”之间的锐聚焦。在f/22,假设混淆圆略小于相机像素(7微米),则25mm焦距透镜提供这种必要的景深名义上 14英寸聚焦。在这个工作距离上,光路可通过转向镜(图3)折叠,或者被配置成配合在主MRI线圈的70cm直径孔内。在MRI环境中可利用不含铁的相机。在一个实施例中,重新包装商用相机以用于强磁场是节约成本的。
在一些实施例中,可被利用或修正以用于本文描述的系统和方法的一种可能的相机是通过Allied Vision制造的并且被命名为Prosilica GE-680单色 CCD相机。这种相机具有如下特征:具有7.4μm方形像素的Kodak KAI-0340 1/3"640x 480 VGA焦平面传感器以及在12位像素深度上传递高达205帧/ 秒的快速吉比特以太网输出。所使用的一种可行的不昂贵的透镜是Edmund Optics TechSpec的25mm高分辨率固定焦距透镜。
对于这种相机和透镜,在45°入射角在距离目标14英寸的位置,5/16”直径目标圆在相机上投影成椭圆,最大椭圆的短轴直径在大约28像素而长轴直径大约40像素。通过足够的S/N比(目标照度)和透镜MTF(锐度),这种图案应当允许准确地确定质心在行和/或列的大约0.1像素处或更小。整个投影的目标对着大约128H×168V像素,并允许±11.5°的头偏转,具有640 水平像素(像素列)的相机可适应整个感兴趣领域而无需机械追踪设备。
图9A和图9B示出一种经修正的头部线圈,该头部线圈具有径向安装的相机和转向镜以适应比主MRI线圈孔的约束空间内的直线光路更长的工作距离的相机。在实施例中,系统被配置有两个或更多个相机,这些相机能够直接观察光学追踪目标而不需要使用镜子。
六自由度测量和报告算法
在一些实施例中,MRI头部追踪器从两个2D成像传感器取实时输入并分析这些数据从而以最小潜伏时间确定并报告六个自由度上的运动。该任务可通过如下步骤执行:检测和测量目标上的三个质心位置并通过报告算法利用这些位置以确定患者头部的位置。
六自由度坐标系
在一个实施例中,系统被配置成使用向MRI场补偿系统报告6-DOF运动的坐标系,该坐标系是与如图10A和图10B所示的头部线圈的对称轴线对准的笛卡尔坐标系。图10A所示的头部线圈坐标系与图10B所示的名义(方形) 头部位置中的身体坐标系一致。z方向是进入和离开绘制平面的方向。目标位移和旋转可使用这种坐标系被报告给线圈场补偿系统。
通过在定义飞行器运动中使用的相同惯例采用坐标定义,除了转动方向被取为右手方向(对于绕基本方向向量的逆时针转动为正)。
x是纵向(下巴至冠部)方向,它们的值朝向头顶增加
y是横向(左至右)方向,其值朝向患者的右耳增加
z是上下方向,其值朝向天花板增加
是绕z轴的偏转角或右手旋转(在面朝前的同时头部朝向肩膀倾斜,在正常“平的”(“square”,即左右水平的)位置处为零,对于朝向患者右肩的患者倾斜为正值)
是绕y轴的倾斜角或右手旋转(点头“称是”,在正常”平的”位置为零,对于患者“向上”看为正值)
是绕x轴的俯仰角或右手旋转(摇头“否认”,在正常”平的”位置为零,对于患者向上望向患者的左侧为正值)。
坐标的原点和零度角基准是任意的,因为仅报告相对运动,然而存在两种方便的基准原点位置:1)在其正常(“平的”)头部位置中的目标的中心,以及2)在头部旋转以作点头、转头和歪头运动时在颈部的基部。这里采用的是后者(如图2所示),仅仅是为了易于使在6-DOF分解算法中具有共同运动方向的一组主要观察参数正交。
目标位移方程
完全的6-DOF平移由3D位移以及3轴旋转构成。对于一阶,我们假设头骨随着刚性身体绕颈部某处的单个旋转点移动。从这个点,平移变得与转动分离,因此将其选择作为坐标原点。旋转如前所述地被分成俯仰、倾斜和偏转,并且通过旋转的平移位置遵循如下的欧拉旋转矩阵公式(使用右手角惯例)。x、y和z位移坐标则遵循独立平移:
从测得的目标质心的绝对和相对位移分解六个独立的平移是这种努力的目标。2D逆问题某种程度上比3D问题更加困难,因为在焦平面的行和列中的目标质心投影被确定后,显著的退化保留在每个相机的伸展矩阵中。将来自两相机的数据组合通过一系列相互关联的、非线性的方程将这些退化去除。解决这种逆问题的最快速过程是通过Newton-Raphson方法或其变型获得的,藉此相对于已知的(测得的)在两个相机焦平面上的质心位置给出并测试近似一阶解。针对旋转和平移中的每个分量将残留误差除以偏导数,以确定迭代校正。通过考虑受单个旋转角或位移影响最强烈的投影目标图案的特征并沿这些特征轴线性化逆问题来选择一阶解。
开发并测试6-DOF运动模拟和分解算法以允许任意运动的模拟并随后验证一对正交相机的能力,以将0.1像素水平上的质心测量分解成必要精度水平下的独立的x、y、z、俯仰、倾斜和偏转分量。
六自由度运动确定算法
一般物体运动是沿x、y和z的平移以及绕x轴、y轴和z轴的转动(分别被指定为俯仰、倾斜和偏转)的叠加。沿这些自由度中的每一个自由度的位移对坐标系原点是不敏感的;然而为建模目的将原点设置在头部绕其旋转和枢转的脊柱区域附近是方便的(如前面解释的那样),并且第二基准点被设置在名义上的(“正确”)头部位置和取向内的光学追踪目标的中心处。这种第二基准一般在x方向上偏离脊柱原点-10cm,并在z方向上偏离脊柱原点 -10cm。
图1所示的目标,当从单个相机观察时,看上去是三组同心的椭圆,它们的质心被投影在相机焦平面上的三个不同位置(列、行)。相机沿目标的平面(x=常数)居中并对准,以使中心像素行以相对于y轴和z轴两者45°角对该平面成像,并且名义上的目标中心被投影至中心像素列。使用具有7.4微米像素的相机和定位在离名义上的目标中心14.1英寸距离处的25mm透镜,来自边长0.5英寸的等边三角形目标的顶点的质心被投影到相机焦平面上,如图11所示。该图示出具有设置在边长为0.5英寸的等边三角形的顶点周围的一组同心圆的目标质心的投影位置,所述投影使用相机焦距25mm、像素节距7.4微米和45°视角(在纸右侧和上方的相机)来完成,与相机中心线对准。45°观察角导致等边三角形跨焦平面从左向右的透视缩短。
偏转
绕z轴的转动被指定为偏转;绕该轴的正或“右手”旋转(头朝向物体右肩倾斜)导致目标的逆时针转动。由于这种转动一般绕颈部中的较低点发生,因此它一般伴随有至物体右侧(相机左侧)的平移,如图12所示。目标质心的投影位置对应于图11的相同情况,但在诱发15°偏转之前和之后。
居中的目标三角形的中间(如图12右侧所示)大致对准于相机像素的单个列,但通过偏转而旋转偏离这种对准(如图12左侧所示)。对于前述相机、透镜、目标距离和目标尺寸,仅0.1°的偏转导致中心两端之间的0.13像素列的相对位移。假设质心算法能够确定三角形顶点至行和列中的0.1像素的位置,则偏转角确定可向下测量并精确到大约0.1°。
倾斜
绕y轴的旋转被指定为倾斜;绕该轴的正或“右手”旋转(头向后仰)导致目标向上偏离龙门(+z)并朝向头顶(+x)的运动。对于单个相机,这种投影不容易从沿x和y的同时目标位移中分辨出来(见图7),但对于在头部相反两侧的两个相机,视在的y位移处于相反方向,由此去除了这种退化。对于沿+x和+z的同时目标平移,第二退化仍然留有倾斜转动——这将在后面更为详细地描述——但目标平面在倾斜旋转期间的倾侧导致目标三角形基部相对于其顶点的平移量的很小差别,由此导致如图7所示的目标三角形的略微明显的旋转,这不是简单平移的特征。这在一些实施例中成为倾斜运动的定义特征。
图13A和图13B示出与图11相同条件的目标质心的投影位置,但在8°的目标倾斜之前和之后。左侧是来自纸面左侧和上方的相机的视图,右侧是来自纸面右侧和上方的相机的视图。在每种情形下,背离龙门(+z)的运动使得目标看上去更远离观察者。
俯仰
绕x轴的转动被指定为俯仰;绕该轴的正或“右手”旋转(头朝向物体的左侧)导致目标朝向物体左侧(-y)的运动。对于单个相机,这种运动不容易从y的位移中分辨出来(见图8),但对于两个相机,三角形的位置和明显的透视缩短的差异对于旋转相比平移突出得多。这是由于俯仰移动目标平面使其更靠近一条相机视线的法向入射并且更远离另一条相机视线的法向入射,其速率远大于简单平移(或偏转)的速率。在俯仰和同时的+y和+z平移之间存在显著的退化,这只能通过比较在两个相机之间看到的三角形底部的长度来求解。底部长度的大差异是俯仰运动的一个特征而不是y+z平移的特征,因此这是对于俯仰的区别特征。
图14A和图14B所示,目标质心的投影位置对应于与图11相同的条件,但在12°的目标俯仰之前和之后。左侧是来自纸面左侧和上方的相机的视图,右侧是来自纸面右侧和上方的相机的视图。在左侧的相机看到更宽的三角形,因为目标平面更靠近该相机视线的法线。在左侧的相机也看到大得多的三角形中心的位移。
X轴平移
沿x轴的平移(朝向头顶为正)导致目标沿相机焦平面的垂直方向的运动 (参见图15)。与倾斜转动(其也涉及z上的平移)不同,目标在像素列之间没有显著移动,并且目标三角形的转动是最小的。这种没有伴随转动的上下相机平移是x轴平移的区别特征。图15示出对应于图11的相同条件的目标质心的投影位置,但在沿x的12mm的目标平移之前和之后。
Y轴平移
沿y轴的平移(朝向物体的右侧为正)导致目标沿相机焦平面的水平轴的运动(参见图16A和图16B)。不同于俯仰(其也涉及由左侧相机和右侧相机观察到的目标平面的差分转动),目标的投影尺寸、位移和转动对于y轴平移在左侧相机视图和右侧相机视图之间仅略微地变化;这是y位移的区别特征。图16A和图16B示出对应于图11相同条件的目标质心的投影位置,但在沿y 轴的15mm的目标平移之前和之后。左侧是来自纸面左侧和上方的相机的视图,右侧是来自纸面右侧和上方的相机的视图。与俯仰不同,目标位移和尺寸对于观察y轴平移的两个相机而言是相似的。
Z轴平移
沿z轴的平移(朝向天花板为正)导致目标沿相机焦平面的水平轴的明显运动。然而,与y平移不同,水平位移的方向在左侧相机和右侧相机之间是相反的(参见图17A和图17B)。这是z轴平移的区别特征。图17A和图17B 示出对应于图11相同条件的目标质心的投影位置,但在沿z轴的15mm的目标平移之前和之后。左侧是来自纸面左侧和上方的相机的视图,右侧是来自纸面右侧和上方的相机的视图。不同于沿y的平移,明显的目标位移在两个相机视图中沿相反方向。
无退化目标运动参数
倾斜相对于(X+Z)平移退化
倾斜随着同时的x和z平移几乎退化,除了在三角形垂直线内的小倾斜,所述小倾斜起因于目标平面绕y轴的倾侧。这种倾侧造成从左侧视图观察到的三角形的明显顺时针旋转和从右侧视图观察到的明显逆时针旋转,如图 18A和图18B所示那样。这些图示出对应于图11的相同条件目标质心的投影位置,但分别在目标倾斜4°并沿x和z平移-9.5mm和+7.8mm之前和之后。图18A是来自纸面左侧和上方的相机的视图,图18B是来自纸面右侧和上方的相机的视图。在左侧的相机看到顺时针转动的三角形,由于z上相对于下顶点的增加,其上顶点背离相机地旋转。由于相同的原因,在右侧的相机看到逆时针旋转的三角形。对于分别伴随有沿x和z的-0.244mm和0.187平移的0.1°的倾斜运动,三角形顶点质心在任一相机视图中均不移动。然而,在这种情形下,左侧相机看到向右位移0.13像素的三角形底部,而右侧相机看到向左位移0.13像素的三角形底部。假设质心确定例程能够将目标三角形的顶点定位到0.1像素的精度,则可通过垂直倾侧的比较从简单变换区别出0.1°那样小的倾斜。
俯仰相对于(Y+Z)平移退化
俯仰随着同时的y和z平移几乎退化,除了俯仰遇到的明显目标尺寸的较大相机-相机差异,所述差异起因于目标平面绕x轴的倾侧。目标三角形底部的明显长度的显著差异是俯仰运动而不是简单平移的可靠区别特征。图 19A和图19B示出对应于图11的相同条件目标质心的投影位置,但分别在目标俯仰4°并沿y和z平移9.75mm和0.34mm之前和之后。图19A是来自纸面左侧和上方的相机的视图,图19B是来自纸面右侧和上方的相机的视图。由于绕x轴背离相机法线的旋转,左侧的相机看到三角形底部缩小,同时由于朝向相机法线的旋转,右侧的相机看到三角形底部增大。
对于0.1°的俯仰和分别沿y和z的-0.244mm和0.0002mm的平移,较低的质心在两个相机视图中是不变的。在这种情形下,左侧相机看到缩小 0.15像素的目标三角形底部,而右侧相机看到增大0.15像素的三角形底部。假设质心确定例程能够将目标质心定位到0.1像素的精度,则0.14像素的平移应当是可辨的,因此可通过目标三角形底部的长度的比较从简单变换中区别出0.1°那样小的倾斜。
六自由度运动确定算法架构
互补投影相对于立体成像
目标尺寸、旋转角和平移向量精确地确定三维上的三个目标质心的相对位移。对相机和透镜参数(例如像素节距、透镜焦距和径向即便、相机相对于名义目标位置的位置和取向)的准确知晓则足以预测目标质心投影的位置至优于每个相机的行和列的0.1像素。在实践中,逆问题应当同样简单,质心投影的立体图确定每个目标质心空间内的3D位置,并且6-DOF位移向量可通过简单的矩阵逆变换来确定。然而,在实践中,这种方法导致对相机像素密度、像素数、相机对准和相机校准方面的昂贵和复杂的需求。一替代的伸展方法不采用立体测距而是单独地使用两个相机投影而不限制对相机对准和放大倍数的精确匹配的要求,从而确定6-DOF位移向量在每个旋转角落在0.1°内并沿每条平移轴在0.1mm内。这种方法相对于立体方法以大约20 倍因数放松了像素密度和计数需求,由此使得成本和处理速度显著节省。
即使对于这种2D方法,一旦相机被集成到头部线圈内,也可作出一些基本测量以校准相机参数;这些步骤可在制造设施处容易地执行。这些测量包括:两个相机上的单个基准点的投影像素位置;以及在倾斜、俯仰和偏转的每度旋转的像素位移的相机放大因数;以及沿x、y和z的每毫米平移量。然而,如前面陈述过的那样,相机准确地在空间内对准(例如完美地垂直)或者这些相机的放大倍数(透镜焦距以及至基准点的距离)是相同的都不是必须的,如已通过模拟简单地验证的那样。
逆方程
2D逆问题某种程度上比3D问题更加困难,因为在焦平面行和列中的目标质心投影被确定后,显著的退化保留在每个相机的伸展矩阵中。将来自两相机的数据组合通过一系列相互关联的、非线性的方程将这些退化去除。解决这种逆问题的最快速过程是通过Newton-Raphson方法的变型获得的,藉此相对于已知的(测得的)在两个相机焦平面上的质心位置给出并测试近似一阶解。针对旋转和平移中的每个分量将残留误差除以偏导数,以确定迭代校正。通过考虑受单个旋转角或位移影响最强烈的投影目标图案的特征并沿这些特征轴线性化逆问题来选择一阶解。
6-DOF提取算法
下面描述了用于从两个焦平面相机上观察到的目标位置提取6自由度位移矩阵的方法的一个实施例。与本公开文本一致地,也可使用其它实施例。此外,尽管下面的实施例指向一些步骤,然而在一些实施例中不是所有的步骤都要被包括、可包括附加的步骤和/或这些步骤不一定以设定顺序执行。
步骤1:描述目标图像
光学目标包括图2A所示的椭圆目标,其被绘出以当通过图8A所示的两个相机在45°观察时呈圆形图案。三个圆形图案中的每一个的中心定义了两个相机中的每一个的焦平面处的等边三角形的三个顶点之一。质心计算例程确定在两个独立相机中的每一个上的三个顶点中的每一个处的质心的位置。这些质心被显示在计算机监视器上,该计算机监视器显示两个相机中的每一个相机的640×480像素。图11示出三个顶点被显示在其中一个相机上。这些顶点位置被指定为(Xi,j,Yi,j),对于顶点序数i从1至3,相机序数j从1 至2,由此得到12个测得的坐标。从这12个测得的坐标以及这些坐标的初始值,六个主要量被计算以描述等边三角形目标的两个相机视图:
a)ΣHD-在相机1和相机2上的目标中心的水平位移(以像素为单位)之和,所使用的公式为其中X0i,j是每个质心投影的最初(零位移) 水平相机坐标。
b)ΔHD-相机1和相机2的目标中心的水平位移(以像素为单位)之差,所使用的公式为
c)ΣVD-相机1和相机2的目标中心的垂直位移(以像素为单位)之和,所使用的公式为其中Y0i,j是每个质心投影的最初(零位移)垂直相机坐标。
d)ΔBL-相机1和相机2的目标三角形的明显底部长度(以像素为单位)之差,所使用的公式为
e)ΣMT-相机1和相机2的目标三角形的明显中间倾侧(底部中心和顶点之间的水平 像素的偏移)之和,所使用的公式为
f)ΔMT-相机1和相机2的目标三角形的明显中间倾侧(以像素为单位)之间的差;所 使用的公式为
步骤2:用6-DOF运动特征化主要量中的全局变化
绕最初(无位移的)位置的前述主要量的相对于物体位移和转动的偏导数被数值计算出,这里:
俯仰是绕x轴的右手旋转
倾斜θ是绕y轴的右手旋转
偏转ψ是绕z轴的右手旋转
从3D世界空间中的最初目标位置开始,被定义为基于目标三角形的几何尺寸和形状以及适宜坐标原点的定义对顶点序数i=1-3确定最初目标顶点世界坐标(x0i,y0i,z0i)。
相对于六个自由度(俯仰、倾斜、偏转、dx、dy、dz)中的每一个,通过对每个自由度的微小增量的评估数值进行每个主要量的局部偏导数计算。使用欧拉旋转矩阵和转换向量计算对于沿六个自由度的规定运动的目标顶点位置的变化:
接着,使用几何投影计算来确定这些新的目标顶点位置的相机投影。假定相机位置、像素尺寸和透镜焦距是精确已知的,则空间内的这些新的3D 位置应当投影到的每个相机焦平面(相机序数j等于1或2)上的垂直像素数如下:
这里,Xi,j和Yi,j是投影到相机j传感器上的经平移的目标顶点i的水平和垂直像素数,Xo,j和Yo,j是由相机的光轴(典型地在相机中心或非常接近相机中心)横交的像素列和行的水平数和垂直数。f.l.和spix是透镜焦距和相机像素节距,而角αi,j和βi,j是相对于相机j聚焦轴定位目标顶点i的极角和方位角。这些角如下地从顶点世界坐标(vertex wolrdcoordinates)计算出:
其中点(x1,j,y1,j,z1,j)是相机光轴和与光轴垂直的平面之间的交点,所述光轴包括经平移的目标顶点(x1i,y1i,z1i):
x1,j=x0+k(xcj-x0);y1,j=y0+k(ycj-y0);z1,j=z0+k(zcj-z0) [5]
其中(x1cj,y1cj,z1cj)定义相机j的3D位置,(x10,y10,z10)定义在无位移的目标中心的两个相机的名义视轴位置以及基于几何投影的常数κ并通过下式给出:
在方程[4]中,取反余弦函数从0至π的范围,并且对于βi,j的适当表征如下:
sign[βi,j]=sign[(zcj-zi){(xcj-x0)(x1,j-xi)+(ycj-y0)(y1,j-yi)}-(z1j-zi){(xcj-x0)2}+(ycj-y0)2] 在3D目标顶点的相机投影的这种确定期间,可基于之前的透镜校准测量对大值的极角αi,j施加补偿函数以诠释透镜中的桶形畸变。αi,j的几何值首先基于方程[3]计算出,并随后借助预定的查找表或测量拟合函数对透镜畸变进行调整,并且对αi,j的这种新补偿的值则通过方程[2]用于计算Xi,j和Yi,j
为了数值上估计主要量在最初目标位置周围的偏导数,未位移的3D目标顶点坐标(x0i,y0i,z0i)使用前面的方程[2]-[6]被首先投影到相机坐标,并且对于步骤1中描述的主要量中的每一个计算出最初值(多数应当为零或者在开始位置的近零)。然后,一次一个地将俯仰、倾斜、偏转、x轴位移、y轴位移和z轴位移的小增量引入,对于每个增量计算目标顶点的新世界坐标和新相机投影。每个主要量的变化被除以小的角增量或位移增量以确定局部导数。
例如,为了确定相对于俯仰的偏导数,位移向量被引入到一般位移方程[1]以确定经平移的目标顶点位置(xi,yi,zi)。然后使用方程[2]-[6]执行对相机坐标(Xi,j,Yi,j)的转换,并如步骤1概括的那样计算主要量。每个主要量和无位移计算的量的对应值之间的差被除以小的俯仰增量,以给出每个量相对于俯仰的偏导数。为了确定相对于倾斜的偏导数,使用位移矢量来发起计算,并对于所有六个自由度以此类推。
这六个重复计算中的每一个产生全局偏导数矩阵的一个列:
步骤3:确定一阶位移向量
对位移矩阵的一阶近似是通过将如步骤1中确定的测得主要量的矩阵乘以步骤2中计算出的偏导数矩阵的逆变换而确定的:
步骤4:用6-DOF运动特征化主要量中的局部变化
步骤3中确定的的一阶值被输入到变换方程[1]以对于三个目标顶点的每一个确定对应变换的3D目标位置(x1i,y1i,z1i)。这些世界坐标使用方程[2]-[6]被投影至相机坐标(Xi,j,Yi,j),并重新计算主要量。这六个量与步骤1中确定的这些量的测量值作比较,以产生残留误差矩阵:
通过如前那样一次一个地将将俯仰、倾斜、偏转、x轴位移、y轴位移和z轴位移的小增量引入来计算主要量的局部偏导数,但此时增量相对于一阶位移向量。对于每个增量,重新计算目标顶点的新世界坐标和新相机投影并且重新计算主要量。每个主要量的变化被除以小的角增量或位移增量以确定局部偏导数。例如,为了计算相对于俯仰的偏导数,用取代一阶位移向量并且将每个主要量的结果变化除以以确定相对于俯仰的局部导数。对于六个自由度中的每一自由度重复这个过程。
这六个重复计算中的每一个产生新的全局偏导数矩阵的一个列:
步骤5:确定一阶位移向量的粗略校正
通过将步骤4中确定的残留误差矩阵乘以同样在步骤4中确定的部分偏导数矩阵的逆变换,计算粗略校正以改善一阶位移向量并减少残留误差:
一阶位移向量通过粗糙校正矩阵被递增以形成对位移向量的更好逼近:
步骤6:执行细校正以确定最终6DOF位移向量
重复步骤4、5,从粗略校正的位移向量开始,以确定对位移向量的最终精细校正。在该迭代之后,结果的精细校正增量被加至粗略校正的向量以形成最终的6-DOF位移向量。来自一般模拟的经验结果指示该精细校正在所有情形下都足以将残留误差减小至远低于前面陈述的0.1°、0.1mm的容限。
检验绝对收敛的算法数值模拟
当相机、目标和转动台被取得和组装时,6 DOF分解算法可对于一组测试的旋转被编码和测试。显然例程对于小的平移和转动将会收敛,但确定其在六个自由度上的极端位移的收敛是否存在限制可能是有利的。为此,我们设想极端目标位移,计算位移目标的3D位置,计算在两个相机中的每一个上将被看到的质心位置,并运行分解算法来确定收敛速度。
在一些实施例中,为了论证迭代的6DOF展开算法的绝对收敛,模拟开始于非常大的转动和位移的一组测试,如下面表1列出的那样。
表1.为了测试算法收敛的假想患者的一组极端角旋转和线性平移的例子
模拟通过下列步骤开始:确定将由每个相机看到的位移质心的位置,由此允许每个相机的一定程度的误指向和不对准。原始(名义)目标位置通过章节2.5.2.2中示出的欧拉旋转公式转动和位移,以确定三维空间中的三个位移的目标质心位置。接着,如同一章节中描述的那样,对于两个相机中的每一个,这些“世界坐标”被变换到2D“相机坐标”。
假设目标被成像到这些相机坐标中但操作者对引起该目标位置的位移矩阵没有在先认识,则我们使用章节2.5.2中描述的算法从头到尾地重建位移矩阵。通过步骤3(章节2.5.2.3)的结束,算法返回对6DOF位移向量的最初估计,如下面表2所示。
第一近似偏转(度) 4.4313
第一近似倾斜(度) ‐19.4474
第一近似俯仰(度) 8.8784
第一近似X位移(mm) ‐6.4257
第一近似Y位移(mm) ‐2.5639
第一近似Z位移(mm) ‐5.9428
表2.基于章节2.5.2中描述的方法的6DOF位移的第一估计
如期望的那样,由于对于沿和绕每个轴的这种模拟选择的平移和旋转的极端大小,在该阶段的残留误差一般很大;这种情况对于Newton Raphson 算法方法的绝对收敛形成良好的测试。假设这种估计是正确的,则步骤4(章节2.5.2.4)中的算法再次计算目标的位移位置、由每个相机看到的结果质心位置以及可能得到的主要量(垂直末梢和与差、底部长度差、垂直位移和以及水平位移和与差),以与实际观察的值进行比较。以像素为单位的残留误差以及对于偏转、倾斜和俯仰的小变化(每0.1°的像素)和沿dx、dy和dz 的小变化(每0.1°的像素)的每个主要值的局部导数如章节2.5.2.4所述那样被计算出,并如下面图4所示被制表。
表3.主要量垂直顶端之和、垂直顶端之差、底部长度之差、垂直位移之和、水平位移之和以及水平位移之差的残留误差(以像素为单位)以及对于偏转、倾斜和俯仰(每0.1°的像素)和x位移、y位移和z位移(每0.1mm的像素)的局部导数
表3左侧的导数矩阵被逆运算并乘以右侧的残留误差向量,以得到对位移向量的最初估计的一阶校正,如章节2.5.2.5描述的那样,并被表示在下面表4的左侧。这些被加至最初估计,以产生6DOF位移向量的更精炼的估计,其被表示在表4的右侧。
表4.(左)通过对前面表3左侧的导数矩阵作逆变换并将该逆变换矩阵乘以表3右侧的残留误差向量而对偏转、倾斜、俯仰、dx、dy和dz的最初估计的一阶校正。这些校正被加至最初6DOF运动估计以产生上面右侧的改善估计。
该过程如章节2.5.2.6所述地重复第二次和最后一次,再一次假设(现在精炼的)6DOF位移向量是准确的,并首先计算3D目标质心位置并随后计算被投影到两个相机焦平面的每一个上的目标质心的位置。同样,计算六个主要量并与实际观察值进行比较以产生残留误差的向量。同样计算局部导数,这次在一阶位移向量的位置。其结果如下面表5所示被制表。
表5.主要量垂直顶端之和、垂直顶端之差、底部长度之差、垂直位移之和、水平位移之和以及水平位移之差的一阶残留误差(以像素为单位)以及对于偏转、倾斜和俯仰(每0.1°的像素)和x位移、y位移和z位移(每0.1mm 的像素)的新局部导数。
表5左侧的导数矩阵被逆变换并乘以右侧的残留误差向量,以得到对位移向量的一阶估计的最终校正,如下面表6的左侧所示。这些校正被加至一阶估计,以产生6DOF位移向量的最终二阶估计,如表6右侧所示。
偏转调整(度) -0.2947 最终偏转(度) 7.9999
倾斜调整(度) -0.1210 最终倾斜(度) -15.0013
俯仰调整(度) -0.4448 最终俯仰(度) 11.9978
dx调整(mm) 0.5114 最终ΔX(mm) -8.9989
dy调整(mm) -1.0377 最终ΔY(mm) 2.9952
dz调整(mm) -0.0058 最终ΔZ(mm) 6.9941
表6(左侧)通过将前面表5左侧的导数矩阵作逆变换并将该逆矩阵乘以表5右侧的残留误差向量而获得的偏转、倾斜、俯仰、dx、dy和dz的一阶估计的二阶校正。这些校正被加至通过相同方法获得的一阶校正,以产生对用于模拟的6DOF运动中的每一个的最终值。
即便对于该模型中使用的极端旋转和位移,算法图示为仅在两次迭代中收敛至0.003°和0.006mm以内。给出执行最初估计和两次Newton方法的连续迭代所需的浮点运算数目,该算法能在小于5毫秒的时间内在典型膝上计算机上产生解。
四元表征
头部线圈ICD规定四元形式的转动向量,对于其(仍然使用右手欧拉角旋转惯例):
变换向量对于这里计算出的形式而言是不变的。
质心确定算法
焦平面上的质心位置通过下式给出:
这种计算是针对如图20B所示的目标上的三个子区域2010执行的(虚线不出现在真实目标上),其逆转图像以使大的计数量对应于黑(对于12位单色相机读出接近4095)并且小的计数量对应于白(接近0)。通过最小量的复杂性,例程可检测圆形图案并自动地近似定位这些子区域2010。在一些实施例中,例程可通过建点击被初始化以在开始时识别每个质心的近似位置。接着,每个新帧的感兴趣的三个区将被居中在来自前一帧的质心位置,加减48 个像素行并加减48个像素列。三个目标圆的每个圆周围的感兴趣区域可被整合以确定目标质心。
质心确定
在一些实施例中,测试目标可以大约45°角度被印刷和安装在单色相机的视场内。在该角度上,椭圆目标在相机焦平面上被投影成大致圆形目标。在一些实施例中,相机可在14.1英寸距离上聚焦在以45°的取向全比例印刷目标上。相机视场大致为紧挨着目标安装的相机校准目标的中心内的矩形尺寸。
计算出的目标质心被显示为在实验室观察图像的中心处的红点,并被显示为在图像右侧的浮点(x,y)对。在高于全比例的大约20%的发光水平下,测得的质心位置在行或列中的波动不高于0.1像素水平;对于较低强度水平,统计波动超出该阈值。然而要注意,对于白上黑的印刷目标,均匀的照明可能是重要的——如果目标发光例如从左侧或右侧起明显更强烈,则矩计算可沿水平方向施加偏移并将质心平移到特定的误差阈值之外。这种效果在某些情形下可能对发光方法施加不想要的成本约束,因此首先采用强度阈值确定算法,藉此将目标直方图限制在亮和案区域强度的较低极值,由此消除不想要的效果。在一些实施例中,相机控制屏幕视图可允许控制相机帧速率和读出分辨率,由此手动地示出所选择的感兴趣区域。全相机视场大致由屏幕上的黑色区域表示。质心可被显示为在圆形目标中心处的红点,并且相机x-y 坐标在显示器的右侧被显示为2-十进制精度的浮点数。
例1
相机校准
如同任何相机透镜,用于头部追踪器的透镜可能因变于离成像轴的距离而具有一定程度的畸变。方位角畸变应当是可忽略的,但径向畸变可在透镜安装之后被测量并拟合到多项式曲线以允许对相机视场的边缘附近的质心位置的快速补偿。在运用NewtonRaphson迭代算法的期间,可构建6DOF展开算法以适应径向畸变的典型水平作为二阶补偿。
可使用具有直径1/3"、2/3"、1"(并以此类推直至4英寸的最大直径) 的同心圆的印刷基准目标来确定径向畸变,如图22A和22B所示。相机和在 14.08英寸工作距离上的25mm透镜的近似FOV为2"x 2.67",如印刷在目标上的内矩形所指示的那样。相机被安装在离目标14.24英寸的位置,以使内矩形在相机FOV的边缘处可见,并且目标居中在该领域。单个图像帧被捕获,并且圆和径向线的交点通过图像上的局部质心计算被标识并被准确地定位。将世界坐标系的极角与记录在相机上的极角进行比较以确定径向畸变。图22A是相机校准目标而图22B是25mm固定焦距相机透镜的轴外径向畸变,这是通过比较被记录在相机焦平面上的圆的直径而测得的。
在一个实施例中,对于techSpec高分辨率固定焦距25mm透镜测得的测量径向畸变遵循相机极角θc=(1+0.0053144θ-0.0016804θ2+0.0002483θ3-0.0000138θ4)θ,其中实验室极角θ以°为单位。在视场的极端角部(其中θ~6.75°),相机像差导致相对于真实角大约0.7%的相机角的径向增长,或半径上大约2.8像素。
全6DOF追踪
全6-DOF追踪算法通过图形用户接口(GUI)在实验室视图(Lab View)中被编码。GUI屏幕的左上方给出当前帧内的目标圆的质心信息,而左下方给出前一帧的相同信息。对于每一个,来自一组三个目标圆中的一个嵌套的目标圆被显示成负的(黑上白),连同其像素亮度的直方图落在居中于前一帧的质心位置上的48×48像素方框内。该直方图被分割成两段以(在左侧)显示在亮度标度一端的背景像素的峰值,并(在右侧)显示在亮度标度另一端的目标本身的像素的峰值。其间像素的长连续区代表在目标帧中的黑光边界处的像素。从两个直方图的分析,目标领域被限制在亮侧上的低亮度肩部以及暗侧上的高亮度肩部,以形成对跨目标发光的变化不敏感的二元目标领域。尽管仅对一个目标圆作实时的显示,然而所有三个目标圆都是以这种方式被处理的。
紧挨着目标直方图,对于三个嵌套圆目标中的每一个,x-y相机质心位置被显示至2-十进制精度;同样对于当前数据在屏幕的上半部而对于前一帧在屏幕的下半部。
在使用章节2.5描述的方法进行分析之后,屏幕右侧显示经处理的 6-DOF数据。模拟量表式显示器示出每帧获取和处理时间,在其下端限制大约8毫秒的相机帧整合和读出时间。使用章节2.5描述的Newton-Raphson 例程的单次迭代,算法在连续帧的整合时段运行,由此处理时间大约为8毫秒,其对应于120Hz相机读出速率。6-DOF数据可已模拟或数字格式被显示,但数字格式可以0.01mm和0.01°的精度被读出以与0.1mm、0.1°的精度要求进行比较。
用于头部追踪模拟的实验室机械布局
实验室配置被设计使用六自由度光学转动量成模仿头部转动和位移。该量包括沿光学桌面的x、y和z轴的三个联动的平移级以及分别与偏转、俯仰和倾斜对应的三个联动的转动级。两个单色相机和转动镜子以适宜的几何关系被安装以与已有的12通道头部线圈一起使用。两个单色相机处于前台,相对于水平方向以±45°角安装以适应转动镜子的旋转。转动镜子被安装在相机后面10英寸的位置(由画面中的相机略微阻挡)。目标在每个镜子的反射中部分可见。6-DOF转动级处于前景的中心,其中y轴级在底部,x轴级次之,而z轴级在上方,之后是偏转级、俯仰级并且最后是倾斜级,目标处于顶部(倾斜转动手柄由该级阻挡)。近IR发光LED位于背景的中心;来自该级的光落在相机光谱范围内,但对人眼几乎不可见。
X轴平移
来自6-DOF位移组件底部的第二平移级控制x轴位移(与患者脊椎对准)。 x轴平移级控制把手转过四圈整(对应于-2.54mm),并从质心相机坐标的结果运动中计算出绝对位置变化。结果是:由展开算法确定的位移在x上为 -2.56mm,在y和z上小于0.1mm,并且在俯仰、倾斜和偏转上小于0.1°。目标位移dx=-2.54mm,通过在图示的GUI的右下显示部分上的缩放,计算为 dx=-2.56mm,dy=0.08mm,dz=0.02mm,dφ=0.05°,dθ=-0.03°且 dψ=-0.01°。
Y轴平移
6-DOF位移组件中的底部平移级控制y轴位移(患者的左右运动)。y轴平移级控制把手转过四圈整(对应于-2.54mm),并从质心相机坐标的结果运动中计算出绝对位置变化。这导致目标位移dy=-2.54mm,通过在GUI的右下显示部分上的缩放,表示为dx=0.00mm,dy=-2.47mm,dz=-0.01mm,d φ=0.64°,dθ=-0.04°且dψ=-0.03°。
Z轴平移
6-DOF位移组件中的顶部平移级控制z轴位移(患者的下至上运动,其中患者处于背躺状态)。z轴平移级控制把手转过四圈整(对应于-2.54cm),并从质心相机坐标的结果运动中计算出绝对位置变化。由展开算法确定的位移在z上为-2.54mm,在x和y上小于0.1mm,并且在俯仰、倾斜和偏转上小于0.1°。其结果是:目标位移dz=-2.54mm,通过在GUI的右下显示部分上的缩放,表示为dx=0.01mm,dy=-0.01mm,dz=-2.59mm,dφ=-0.02°,dθ= -0.06°且dψ=0.01°。
偏转旋转
6-DOF位移组件中的底部转动级控制偏转转动(患者左肩-右肩倾侧方向)。偏转转动级控制把手转过+4°(在级上头朝向315°至头朝向311°,对应于朝向右肩的运动),并从质心相机坐标的结果运动中计算出绝对位置变化。由展开算法确定的位移在dx、dy和dz上小于0.1mm,在俯仰上为0.1°,在倾斜上小于0.1°,并在偏转上为3.94°。其结果是:目标转过dψ=+4.00°,通过在GUI的右下显示部分上的缩放,表示为 dx=0.07mm,dy=-0.05mm,dz=0.02mm,dφ=0.10°,dθ=-0.01°且dψ=3.94°。
俯仰转动
6-DOF位移组件中的中间转动级控制俯仰转动(患者右肩-左肩“摇头”方向)。俯仰测角仪控制把手转过+5°,并从质心相机坐标的结果运动中计算出绝对位置变化。由展开算法确定的位移在dx和dz上小于0.1mm,在dy 上为1.78mm,在俯仰上为4.97°并在倾斜和偏转上小于0.1°。由于 Thorlabs GNL 18测角仪级的转动中心高于安装表面44.5mm而目标仅比该级高出22mm,因此y上的位移是可预期的。对于结果得到的-20.5mm杠杆臂,由5°俯仰转动造成的y位移是-(-20.5mm)*sin(5°)=+1.79mm,这与测得的数据保持良好的一致性。
其结果是:目标转过dφ=+5.00°,通过在GUI的右下显示部分上的缩放,表示为dx=0.07mm,dy=1.78mm,dz=-0.01mm,dφ=4.97°,dθ=-0.03°且dψ=0.08°。
倾斜转动
6-DOF位移组件中的顶部转动级控制倾斜转动(患者“点头”方向)。倾斜测角仪控制把手转过+5°,并从质心相机坐标的结果运动中计算出绝对位置变化。计算出的倾斜为4.95°,偏转小于0.1°。Thorlabs GNL 10测角仪级的转动中心高于安装表面25.4mm而目标仅比该级高出6.4mm。对于作为结果的-19mm杠杆臂,由5°转动造成的x位移为-19mm*sin(5°)=-1.66mm, y位移为0.00mm而z位移为-19mm*[l-cos(5°)]=0.07mm。这些位移全部落在测得数据的0.1mm之内。其结果是:目标倾斜转过dθ=+5.00°,通过在GUI的右下显示部分上的缩放,表示为 dx=-1.63mm,dy=0.09mm,dz=0.17mm,dφ=0.21°,dθ=4.95°且dψ=-0.07°。
实施例的实验室测试
图27A-27G示出对本文描述理念的实施例进行测试的实验室配置。图 27A示出包括利用大约90°剪刀角对光标记物成像的两个光检测器的实验室配置的俯视图。图27B-27G示出作为移动光标记物的结果通过运动追踪系统的实施例计算出的运动追踪信息以表征被追踪的目标的运动的图表。
变型
上面已详细描述了一些特定实施例,其重点在于医疗应用,尤其是患者头部的特定MRI检查。然而,可对其它MRI检查或其它身体部分运用本发明的教义,其中六个以上自由度的运动是可能的。另外,牵涉到除了MRI设施以外的成像设备(例如CT、PET、超声、平片X线摄影及其它)的医疗过程也可从本发明的教义中获益。本发明的教义可有益于许多非医疗应用,其中具有若干自由度的目标追踪是可行的。这些应用中的一些可以是军事应用。此外,尽管披露了特定算法,但它们的变型、组合和子组合也是可行的。
计算系统
在一些实施例中,前面描述的计算机客户机和/或服务器以图21所示的计算系统1500的形式出现,图21是经由一个或多个网络1518与一个或多个计算系统1520和/或一个或多个数据源1522通信的计算系统的一个实施例的方框图。计算系统1500可用来视线本文所述的系统和方法中的一个或多个。另外,在一个实施例中,计算系统1500可配置为运用本文所述的方法和系统中的一个或多个。尽管图21示出计算系统1500的一个实施例,然而要理解,针对计算系统1500的组件和模块提供的功能可被组合到较少的组件和模块中或进一步分散到额外的组件和模块中。
运动校正控制系统
在一个实施例中,系统700包括运动校正控制系统模块1514,其实现本文参照运动校正机制描述的功能,包括前面描述的运动校正方法中的任何一种方法。运动校正控制系统模块1514可通过后面进一步讨论的中央处理单元1504在计算系统1500上执行。
一般来说,本文使用的术语“模块”指以硬件或固件形式体现的逻辑,或可能具有进入和退出指针的软件指令集,其以编程语言撰写,例如COBOL、 CICS,Java,Lua,C或C++或Objective C。软件模块可被编译并链接成可执行程序,被安装在动态链接库内,或者可被撰写成解释性编程语言,例如 BASIC、Perl或Python。将理解,软件模块可从其它模块或从自身调用,和 /或响应于检测到的事件或中断被调用。软件指令可嵌入到固件中,例如EPROM。将进一步理解,硬件模块可包括相连接的逻辑单元(例如门和触发器) 和/或可包括可编程单元(例如可编程门阵列或处理器)。本文描述的模块优选地被实现为软件模块,但可以硬件或固件形式表示。一般来说,本文描述的“模块”指可与其它模块组合或被划分成多个子模块的逻辑模块,不管它们的物理组织或存储位置如何。
计算系统组件
在一个实施例中,计算系统1500还包括适于控制大型数据库和/或与之通信、执行事务处理并从大型数据库产生报告的工作站或其它计算设备。计算系统1500还包括中央处理单元(CPU)1504,其可包括传统的微处理器。计算系统1500还包括:存储器1508,例如临时存储信息的随机存取存储器(RAM) 和/或永久存储信息的只读存储器(ROM);以及海量存储设备1502,例如硬盘驱动器、软盘或光学介质存储设备。典型地,计算系统1500的模块使用基于标准的总线系统被连接至计算机。在不同的实施例中,基于标准的总线系统可以是例如外设组件互连(PCI)、微通道、SCSI、工业标准架构(ISA)以及扩展ISA(EISA)架构。
计算系统1500包括一个或多个惯常可用的输入/输出(I/O)设备和接口 1512,例如键盘、鼠标、触摸板和打印机。在一个实施例中,I/O设备和接口1512包括一个或多个显示设备,例如监视器,其允许将数据视觉呈现给用户。更具体地,显示设备例如提供GUI呈现、应用软件数据和多媒体呈现。在图21的实施例中,I/O设备和接口1512也提供对各种外部设备的通信接口。计算系统1500也可包括一个或多个多媒体设备1506,例如扬声器、视频卡、图形加速器以及麦克风。
计算系统设备/操作系统
计算系统1500可运行在多种计算设备上,例如移动设备或服务器或台式机或工作站、视窗服务器、结构查询语言服务器、Unix服务器、个人计算机、大型计算机、膝上计算机、蜂窝电话、个人数字助理、自动售卖亭、音频播放器、智能电话、平板计算设备等等。计算系统1500一般受操作系统软件控制和协调,所述操作系统软件例如是iOS,z/OS,Windows 95,Windows 98,Windows NT,Windows 2000,Windows XP,Windows Vista,Windows 7, Linux,BSD,SunOS,Solaris或其它可兼容的操作系统。在Macintosh系统中,操作系统可以是任何可用的操作系统,例如MAC OS X。在其它实施例中,计算系统1500可受专有操作系统控制。传统操作系统控制和调度计算机进程以执行,执行存储器管理,提供文件系统,联网以及I/O服务,并提供用户接口,例如图形用户接口(GUI)及其它。
网络
在图21的实施例中,计算系统1500经由有线的、无线的或有线和无线的组合的通信链路1516被连接至网络1518,例如LAN、WAN或因特网。网络 1518经由有线或无线通信链路与各种计算设备和/或其它电子设备通信。在图21的实施例中,网络1518与一个或多个计算系统1520和/或一个或多个数据源1522通信。
通过计算系统1520和/或通过数据源1522对计算机系统1500的运动校正控制系统模块1514的访问可通过web启用的用户访问点,例如计算系统 1520或数据源1522的个人计算机、蜂窝电话、膝上计算机或能够连接至网络1518的其它设备。这种设备可具有实现为模块的浏览器模块,其使用文本、图形、音频、视频和其它媒体呈现数据并允许经由网络1518交互数据。
浏览器模块可实现为所有点可访问的显示器的组合,例如阴极射线管 (CRT)、液晶显示器(LCD)、等离子体显示器、触摸屏显示器或显示器的其它类型和/或组合。另外,浏览器模块可被实现为与输入设备1512通信并也可包括具有适宜接口的软件,其允许用户通过使用样式化屏幕要素访问数据,所述样式化屏幕要素例如是菜单、窗口、对话框、工具栏和控件(例如单选按钮、复选框、滑动标尺等等)。此外,浏览器模块可与一组输入和输出设备通信以从用户那里接收信号。
输入设备可包括键盘、滚动球、笔和针、鼠标、追踪球、语音识别系统或事先指定的开关或按钮。输出设备可包括扬声器、显示器屏幕、打印机或语音合成器。另外,触摸屏可充当混合式输入/输出设备。在另一实施例中,用户可更直接地与系统交互,例如通过连接至分数发生器而不在因特网、WAN 或LAN或类似网络上通信的系统终端。
在一些实施例中,为了上传、下载或实时地观看交互数据和在线数据库的直接目的,系统1500可包括建立在远端微处理器和大型主机计算机之间的物理或逻辑连接。远程微处理器可由运作计算机系统1500的实体运作,所述实体包括客户机服务器系统或主服务器系统,和/或可由一个或多个数据源1522和/或一个或多个计算系统运行。在一些实施例中,可在微处理器上使用终端仿真软件以参与到微型-大型链路中。
在一些实施例中,位于运行计算机系统1500的实体内部的计算系统 1520可从内部访问运动校正控制系统模块1514,作为由CPU 1504运行的应用或进程。
用户访问点
在一个实施例中,计算系统1500包括计算系统、智能电话、平板计算设备、移动设备、个人计算机、膝上计算机、便携式计算设备、服务器、计算机工作站、各计算机的局域网、交互式自动售卖亭、个人数字助理、交互式无线通信设备、手持计算机、嵌入式计算设备等等。
其它系统
除了图21所示的系统外,网络1518可与其它数据源或其它计算设备通信。计算系统1500也可包括一个或多个内部和/或外部数据源。在一些实施例中,可使用关系数据库实现一个或多个数据仓库和数据源,所述关系数据库例如为DB2、Sybase、Oracle、CodeBase和SQL服务器以及其它类型的数据库,例如信号数据库、面向目标的数据库和/或基于记录的数据库。
图23是示出连接至一个或多个追踪系统的治疗应用系统1718的示意图的实施例。在一个实施例中,患者1706接受理疗性治疗以应对一种情况。例如,理疗性治疗可以是放射治疗、质子治疗或其它治疗。理疗性治疗可从理疗性应用系统1718产生。例如,理疗性应用系统1718可包括放射治疗技术,该技术被配置成产生被输送至病变组织1704的放射光束。在一个实施例中,系统包括基准标记物或其它标记物1702。在一个实施例中,基准标记物或其它标记物1702被安置在患者1706体内。该基准标记物或其它标记物 1702被配置成通过电子封装组件1710检测出。基准标记物或其它标记物 1702可配置为标识要用理疗性治疗进行处理的病变组织的位置。
电子封装组件1710被配置成检测基准标记物或其它标记物1702的位置以确定病变组织1704的位置。在一个实施例中,电子封装组件1710被连接至第一标记物追踪系统1708。。第一标记物追踪系统1708可配置为从电子封装组件1710接收追踪数据以确定标记物1702的位置。通过确定标记物1702 的位置,第一标记物追踪系统1708可配置为确定病变组织1704的位置。在一个实施例中,本文披露的以0.1mm和0.1°精度追踪标记物的系统和方法可由第一标记物追踪系统1708实现或采用。在一个实施例中,电子封装组件1710包括光标记物1712。光标记物1712被配置成由光扫描仪1714(例如 CCD相机)检测。在一个实施例中,光扫描仪1714被连接至光标记物追踪系统1716。
光标记物追踪系统1716可配置为确定电子封装组件1710相对于理疗性应用系统1718的位置。在一个实施例中,本文披露的以0.1mm和0.1°精度追踪标记物的系统和方法可通过光标记物追踪系统1716实现或运用。在一个实施例中,系统可包括坐标发生系统1720,其被配置成从第一标记物追踪系统1708和光标记物追踪系统1716接收追踪数据。坐标发生系统1720可配置为分析追踪数据以产生可用于标识病变组织1704的位置的坐标数据。在一个实施例中,坐标发生系统1720可配置为将坐标数据发送至理疗性应用系统1718。
理疗性应用系统1718可配置为基于坐标数据产生理疗光束。例如,理疗性应用系统1718可配置为基于坐标数据将放射光束引导至患者1706体内的特定位置。此外,理疗性应用系统1718也可配置为例如基于坐标数据产生特定的放射光束形状。可通过电子封装组件1710和光扫描仪1714检测任何患者运动。第一标记物追踪系统1708和光标记物追踪系统1716可配置为产生拟被输入到坐标发生系统1720的新追踪数据。坐标发生系统1720可配置为产生新坐标数据以传输到理疗性应用系统1718内。理疗性应用系统 1718可配置为分析新坐标数据以对拟被施加至患者1706的病变组织1704 的理疗性光束进行重引导和/或重整形。
类似于图23,在一个实施例中,系统可包括如图25所示的一个运动追踪系统。被配置成运用本文披露的技术的单个运动追踪系统1716能够追踪标记物1902以产生坐标数据而将其传输至理疗性应用系统1718,从而将理疗性治疗引导至目标组织位点1904。
图24是描述了基于追踪患者运动施加理疗性治疗的过程的一个实施例的流程图。通过在方框1804用理疗性应用系统可选择地校准追踪系统,过程开始于方框1802。在方框1806,系统可配置为启动追踪系统。例如,系统可配置为启动电子封装组件追踪系统和光标记物追踪系统。在方框1808,系统可配置为使用电子封装组件追踪第一标记物。例如,电子封装组件可配置为追踪被植入到患者体内的基准标记物。在一个实施例中,在方框1810,系统可配置为确定标记物相对于目标组织位点的位置。
在方框1818,系统可配置为追踪光标记物位置以确定电子封装组件的位置。在方框1816,系统可配置为确定电子封装组件相对于理疗性设备的位置。在方框1818,系统可配置为分析第一标记物和光标记物的追踪数据,并产生目标组织位点的坐标。在方框1820,目标组织位点的坐标可被发送至医疗性治疗设备。在方框1820,理疗性治疗设备可配置为利用坐标数据以将理疗性治疗发送至手术位点。在判决框1822,系统可配置为重复理疗性治疗的应用。如果理疗性治疗应用应当被重复,则系统可配置为循环回到方框1806 以启动追踪系统。如果不应当重复理疗性治疗应用,则系统可配置为在方框 1824结束该过程。
类似于图24,在一个实施例中,系统可配置为利用如图26所示的替代方法,其中使用单个相机追踪标记物以产生坐标数据以供治疗性应用系统使用。
条件性语言,例如“能够”、“能”、“可能”或“可以”,除了另有专门声明或根据所使用的背景有其它理解,一般旨在表示某些实施例包括,而其它实施例不包括,某些特征、要素和/或步骤。因此,这种条件性语言一般不旨在暗示一些特征、要素和/或步骤对于一个或多个实施例无论如何是必要的,或者暗示一个或多个实施例一定包括具有或不具有用户输入或提示的判决逻辑,所述判决逻辑关于这些特征、要素和/或步骤是否被包括在任何具体实施例中或在任何具体实施例中执行。本文使用的标题是仅为了方便读者理解并且不旨在对本发明或权利要求的范围构成限制。
尽管已在某些优选实施例和例子的背景下对本发明进行了公开,然而本领域内技术人员将理解,本发明延伸超出具体披露的实施例直至本发明的其它可替代实施例和/或用途以及其明显的修正和等同。另外,本领域内技术人员将理解,可使用任何适宜的装置来执行任何前面描述的方法。此外,本文中任何具体的特征、方面、方法、特性、特征、质量、属性、要素等结合实施例的公开可用于本文描述的所有其它实施例。对于本文描述的所有实施例,方法的步骤不需要被顺序地执行。因此,期望本文披露的本发明的范围不受前述披露的具体实施例限制。

Claims (35)

1.一种用于在医学成像扫描期间追踪和补偿患者运动的运动补偿系统,所述运动补偿系统包括:
光标记物,其包括光学可见图案和安装部分;所述安装部分配置为将光标记物固定至被追踪的物体,所述光学可见图案包括多个基准点定位器,每个定位器配置为定义基准形状的单个基准点,
其中,每个单个基准点由所述多个基准点定位器中的一个定义,且其中多个基准点定位器中的每个包括交替的暗和亮的椭圆形形状,交替的暗和亮的椭圆形形状中的每个被配置成从45°观察角看来是圆形图案;
第一光检测器,其被定位以沿第一视线对光学可见图案进行数字成像,所述第一光检测器配置为产生所述光学可见图案的第一数字图像;
第二光检测器,其被定位以沿第二视线对光学可见图案进行数字成像,所述第二光检测器配置为产生所述光学可见图案的第二数字图像;
追踪引擎,配置为通过分析所述第一和第二图像来确定物体在六个自由度上的姿态;以及
控制器接口,配置为基于姿态产生追踪信息并将所述追踪信息以电子方式发送至扫描仪控制器以使得得以在医学成像扫描仪中对物体运动做出补偿;
其中所述追踪引擎和控制器接口包括计算机处理器和电子存储介质。
2.如权利要求1所述的运动补偿系统,其特征在于,所述安装部分配置为将所述光标记物刚性地固定至被追踪的物体。
3.如权利要求1所述的运动补偿系统,其特征在于,所述安装部分被配置成将所述光标记物固定至患者的顶齿。
4.如权利要求3所述的运动补偿系统,其特征在于,所述安装部分配置为定制以和患者的顶齿匹配。
5.如权利要求1所述的运动补偿系统,其特征在于,所述安装部分包括粘合剂。
6.如权利要求1所述的运动补偿系统,其特征在于,所述光学可见图案位于单个一体结构上。
7.如权利要求1所述的运动补偿系统,其特征在于,所述光学可见图案分布在至少两个非连接的结构之中。
8.如权利要求1所述的运动补偿系统,其特征在于,所述光标记物是内部发光的。
9.如权利要求1所述的运动补偿系统,其特征在于,所述交替的暗和亮的形状配置为当被追踪的物体处于原始位置且沿第一和第二视线观察时,呈圆形。
10.如权利要求1所述的运动补偿系统,其特征在于,所述第一和第二视线相隔90°。
11.如权利要求1所述的运动补偿系统,其特征在于,所述第一视线与光学可见图案的法线具有第一角度的角偏移而所述第二视线与光学可见图案的法线具有第二角度的角偏移,其中所述第一角度的大小与所述第二角度的大小相同。
12.如权利要求1所述的运动补偿系统,其特征在于,所述基准形状是三角形。
13.如权利要求1所述的运动补偿系统,其特征在于,所述基准形状是等边三角形。
14.如权利要求1所述的运动补偿系统,其特征在于,所述基准形状是具有0.5英寸边长的等边三角形。
15.如权利要求1所述的运动补偿系统,其特征在于,每个基准点距离另一基准点不超过0.5英寸。
16.如权利要求1所述的运动补偿系统,其特征在于,所述基准形状是三角形,所述三角形配置为当被追踪的物体处于原始位置并沿第一和第二视线观察时,呈等边三角形。
17.如权利要求1所述的运动补偿系统,其特征在于,所述基准形状不是光学可见的。
18.如权利要求1所述的运动补偿系统,其特征在于,所述基准形状是虚拟基准形状,所述基准点定义所述虚拟基准形状的顶点。
19.如权利要求1所述的运动补偿系统,其特征在于,所述追踪引擎配置为花费不超过8毫秒的时间来确定所述物体的姿态。
20.如权利要求1所述的运动补偿系统,其特征在于,所述追踪引擎配置为花费不超过10毫秒的时间来确定所述物体的姿态。
21.如权利要求1所述的运动补偿系统,其特征在于,所述追踪引擎配置为以至少100Hz的频率多次地确定物体的姿态。
22.如权利要求1所述的运动补偿系统,其特征在于,所述追踪引擎配置为以不低于医学成像扫描仪的扫描频率的频率确定物体的姿态。
23.如权利要求1所述的运动补偿系统,其特征在于,所述第一和第二光检测器配置为固定于所述医学成像扫描仪。
24.如权利要求1所述的运动补偿系统,其特征在于,所述第一和第二光检测器配置为固定于头笼。
25.如权利要求1所述的运动补偿系统,其特征在于,所述第一视线和第二视线中的至少一个是间接视线。
26.如权利要求25所述的运动补偿系统,其特征在于,所述间接视线使用镜子重新定向。
27.如权利要求1所述的运动补偿系统,还包括:
配置为照亮光学可见图案的灯。
28.如权利要求1所述的运动补偿系统,其特征在于,所述被追踪的对象是人类患者的头部。
29.如权利要求1所述的运动补偿系统,其特征在于,所述第一和第二光检测器配置为使得,当光标记物在预期的运动范围内移动时,光学可见图案一直在检测器的视场内。
30.如权利要求1所述的运动补偿系统,其特征在于,追踪引擎被进一步配置成对每个数字图像定义感兴趣的区域,所述感兴趣的区域包含其中光学可见图案预期会出现的数字图像部分,其中所述追踪引擎配置为在确定物体姿态时仅分析感兴趣的区域。
31.如权利要求30所述的运动补偿系统,其特征在于,所述追踪引擎配置为基于被追踪的物体的预期的未来运动自动地移动感兴趣的区域。
32.如权利要求1所述的运动补偿系统,其特征在于,分析所述第一和第二图像包括:
确定所述基准点在光检测器坐标系中的二维位置;
基于所述基准点的二维位置计算所述基准形状的六个基准属性;
迭代地估计被追踪物体的姿态,直到误差量落在阈值量以内为止,所述误差量在六个基准属性和六个对比属性之间,所述六个对比属性是通过假设物体处于估计姿态而计算出的。
33.如权利要求32所述的运动补偿系统,其特征在于,所述基准属性和对比属性包括下面至少一个:沿第一视线观察到和沿第二视线观察到的基准形状的位移之和;沿第一视线观察到和沿第二视线观察到的基准形状的位移之差;沿第一视线观察到的和沿第二视线观察到的从第一基准点至第二基准点的距离差;沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之和;以及沿第一视线观察到的和沿第二视线观察到的基准形状的可视中位倾斜之差。
34.如权利要求1所述的运动补偿系统,其特征在于,所述控制器接口被进一步配置成将物体的姿态从追踪坐标系转换到扫描仪坐标系。
35.如权利要求1所述的运动补偿系统,其特征在于,每个单个基准点由所述多个基准点定位器中的一个的质心定义。
CN201480018029.0A 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 Expired - Fee Related CN105338897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910425303.0A CN110464301A (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361849338P 2013-01-24 2013-01-24
US61/849,338 2013-01-24
US13/831,115 US9305365B2 (en) 2013-01-24 2013-03-14 Systems, devices, and methods for tracking moving targets
US13/831,115 2013-03-14
US201361834382P 2013-06-12 2013-06-12
US61/834,382 2013-06-12
PCT/US2014/012806 WO2014116868A1 (en) 2013-01-24 2014-01-23 Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910425303.0A Division CN110464301A (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Publications (2)

Publication Number Publication Date
CN105338897A CN105338897A (zh) 2016-02-17
CN105338897B true CN105338897B (zh) 2019-06-14

Family

ID=51228040

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910425303.0A Pending CN110464301A (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
CN201480018029.0A Expired - Fee Related CN105338897B (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910425303.0A Pending CN110464301A (zh) 2013-01-24 2014-01-23 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法

Country Status (3)

Country Link
EP (1) EP2948056B1 (zh)
CN (2) CN110464301A (zh)
WO (1) WO2014116868A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2023812B1 (en) 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
US9489753B1 (en) * 2016-07-19 2016-11-08 Eyedeal Scanning, Llc Reconstruction of three dimensional model of an object from surface or slice scans compensating for motion blur
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
WO2015148391A1 (en) 2014-03-24 2015-10-01 Thomas Michael Ernst Systems, methods, and devices for removing prospective motion correction from medical imaging scans
US9734589B2 (en) 2014-07-23 2017-08-15 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2016054060A1 (en) * 2014-09-30 2016-04-07 University Of Virginia Patent Foundation Intrafractional motion reduction system using audiovisual-aided interactive guidance and related methods thereof
WO2016172311A1 (en) * 2015-04-21 2016-10-27 The Board Of Trustees Of The Leland Stanford Junior University Devices and methods for trackable hearing protection in magnetic resonance imaging
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
CN105303945B (zh) * 2015-11-04 2017-09-01 苏州大学 一种人体胸腹腔三维呼吸运动模拟装置
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2017100920A1 (en) * 2015-12-14 2017-06-22 The Governors Of The University Of Alberta Apparatus and method for generating a fused scan image of a patient
CN105575240A (zh) * 2016-03-02 2016-05-11 苏州大学 一种由呼吸引起的人体脊柱三维运动模拟装置
WO2017189427A1 (en) * 2016-04-26 2017-11-02 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN107918499B (zh) * 2016-10-09 2022-09-06 北京墨土科技有限公司 光学定位系统及方法、定位用光学观测设备
US9934592B1 (en) * 2016-11-15 2018-04-03 Carl Zeiss Industrielle Messtechnik Gmbh Method and system for determining a 6-DOF-pose of an object in space
WO2018204649A1 (en) * 2017-05-04 2018-11-08 Intraop Medical Corporation Machine vision alignment and positioning system for electron beam treatment systems
US10445886B2 (en) * 2017-05-30 2019-10-15 General Electric Company Motion-gated medical imaging
CN108054126B (zh) * 2017-12-21 2020-04-17 中国电子科技集团公司第四十八研究所 一种xxy定位平台的增量定位方法
EP3575811A1 (en) 2018-05-28 2019-12-04 Koninklijke Philips N.V. Optical detection of a communication request by a subject being imaged in the magnetic resonance imaging system
US11559221B2 (en) * 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
US20220296928A1 (en) * 2019-06-18 2022-09-22 Koninklijke Philips N.V. Laser skin marking for radiation therapy (rt) planning
WO2021056452A1 (zh) * 2019-09-27 2021-04-01 西安大医集团股份有限公司 患者位置检测方法及装置、放射医疗设备、可读存储介质
EP3882648A1 (en) * 2020-03-18 2021-09-22 Siemens Healthcare GmbH Rf coil device for an mr or mr-pet imaging modality and method to determine the position and/or orientation and/or shape of such an rf coil device
CN114549620A (zh) * 2020-11-18 2022-05-27 北方数字化技术公司 用于三维跟踪系统的误差补偿
CN112764435B (zh) * 2021-01-20 2024-04-05 广州市明道文化科技集团股份有限公司 一种追光灯智能跟踪方法、系统及存储介质
CN112967631B (zh) * 2021-04-13 2022-07-15 谭健荣 一种医院ct设备的文字标识影像指引系统
DE102021109530A1 (de) * 2021-04-15 2022-10-20 Bodo Lippitz Zahnschiene für Stereotaktische Radiotherapie und Radiochirurgie, Medizinisches System zur Lokalisierung einer Zielregion im Kopfbereich einer Person und Verfahren zum Lokalisieren einer Zielregion im Kopfbereich einer Person
CN113101549B (zh) * 2021-05-19 2023-07-14 深圳市鹰眼在线电子科技有限公司 放疗系统和放疗3d视觉实时监测姿态保持方法
CN113521425A (zh) * 2021-07-26 2021-10-22 克拉玛依市中心医院 一种急诊用多功能可视洗胃机
SE545891C2 (en) * 2022-02-11 2024-03-05 Kongsberg Beam Tech As Radiotherapy system using graph network to account for patient movement
CN115462811B (zh) * 2022-09-29 2023-06-16 中国人民解放军总医院第八医学中心 放射性医疗影像设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100563551C (zh) * 2004-09-30 2009-12-02 瓦润医药系统技术公司 用来使呼吸与医疗过程同步的病人可视指令技术

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2475799A (en) * 1998-01-28 1999-08-16 Eric R. Cosman Optical object tracking system
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
ATE275882T1 (de) * 2002-04-16 2004-10-15 Brainlab Ag Marker für ein instrument und verfahren zur lokalisation eines markers
US20040171927A1 (en) * 2002-08-26 2004-09-02 Steven Lowen Method and apparatus for measuring and compensating for subject motion during scanning
AU2004203173A1 (en) * 2003-07-14 2005-02-03 Sunnybrook And Women's College And Health Sciences Centre Optical image-based position tracking for magnetic resonance imaging
US7720259B2 (en) * 2005-08-26 2010-05-18 Sony Corporation Motion capture using primary and secondary markers
DE102006004197A1 (de) * 2006-01-26 2007-08-09 Klett, Rolf, Dr.Dr. Verfahren und Vorrichtung zur Aufzeichnung von Körperbewegungen
EP2023812B1 (en) * 2006-05-19 2016-01-27 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US20090209846A1 (en) * 2006-06-28 2009-08-20 Roland Bammer Apparatus and method for real-time motion-compensated magnetic resonance imaging
JP4392507B2 (ja) * 2006-11-08 2010-01-06 国立大学法人東京工業大学 3次元サーフェス生成方法
US8417315B2 (en) * 2007-05-14 2013-04-09 Varian Medical Systems, Inc. Marker systems with spaced apart surfaces or markers and methods of using the same
JP5701306B2 (ja) * 2009-10-20 2015-04-15 イムリス インク. マーカーを使用する画像システム
US8848977B2 (en) * 2010-01-04 2014-09-30 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
US20110230755A1 (en) * 2010-03-04 2011-09-22 Macfarlane Duncan Single camera motion measurement and monitoring for magnetic resonance applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100563551C (zh) * 2004-09-30 2009-12-02 瓦润医药系统技术公司 用来使呼吸与医疗过程同步的病人可视指令技术

Also Published As

Publication number Publication date
CN105338897A (zh) 2016-02-17
EP2948056A4 (en) 2016-09-14
CN110464301A (zh) 2019-11-19
WO2014116868A1 (en) 2014-07-31
EP2948056A1 (en) 2015-12-02
EP2948056B1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN105338897B (zh) 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
US11100636B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10327708B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9717461B2 (en) Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US20210212772A1 (en) System and methods for intraoperative guidance feedback
US11273326B2 (en) Radiotherapy system and treatment support apparatus
Bert et al. A phantom evaluation of a stereo‐vision surface imaging system for radiotherapy patient setup
US8810640B2 (en) Intrinsic feature-based pose measurement for imaging motion compensation
US20140221819A1 (en) Apparatus, system and method for surgical navigation
US11234665B2 (en) System and method for increasing the accuracy of a medical imaging device
US20130034203A1 (en) 2d/3d registration of a digital mouse atlas with x-ray projection images and optical camera photos
EP2130491A1 (en) Method and apparatus for radiographic imaging
CN105392423A (zh) 生物医学成像中的实时适应性运动补偿的运动追踪系统
EP3820396A1 (en) System method and computer program product, for computer aided surgery
US9254106B2 (en) Method for completing a medical image data set
CN109907833A (zh) 医学成像中的标记描绘
US11430203B2 (en) Computer-implemented method for registering low dimensional images with a high dimensional image, a method for training an aritificial neural network useful in finding landmarks in low dimensional images, a computer program and a system for registering low dimensional images with a high dimensional image
Kaushik et al. Image based data preparation for neuronavigation
KR20230149097A (ko) 3차원 뼈 모델을 재건하는 장치 및 방법
Haliburton A clinical C-arm base-tracking system using computer vision for intraoperative guidance
Kulkarni Locating regions of interest prior to X-ray imaging using stereo-photogrammetry

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190614

Termination date: 20220123

CF01 Termination of patent right due to non-payment of annual fee