CN110325141A - 影像整合装置及影像整合方法 - Google Patents

影像整合装置及影像整合方法 Download PDF

Info

Publication number
CN110325141A
CN110325141A CN201880013038.9A CN201880013038A CN110325141A CN 110325141 A CN110325141 A CN 110325141A CN 201880013038 A CN201880013038 A CN 201880013038A CN 110325141 A CN110325141 A CN 110325141A
Authority
CN
China
Prior art keywords
image
vertebra
patient
back surfaces
correlation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013038.9A
Other languages
English (en)
Other versions
CN110325141B (zh
Inventor
李秉周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry University Cooperation Foundation IUCF HYU
Koh Young Technology Inc
Original Assignee
Industry University Cooperation Foundation IUCF HYU
Koh Young Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry University Cooperation Foundation IUCF HYU, Koh Young Technology Inc filed Critical Industry University Cooperation Foundation IUCF HYU
Publication of CN110325141A publication Critical patent/CN110325141A/zh
Application granted granted Critical
Publication of CN110325141B publication Critical patent/CN110325141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本公开提出一种影像整合装置。本公开的影像整合装置可以包括：三维扫描仪，其三维扫描支撑于手术台的患者的第一姿势下的背部表面，获得第一背部表面扫描图像；跟踪传感器，其获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪上标识的扫描仪标记的位置和姿势信息；存储器，其存储关于所述患者的背部表面与脊椎的相关关系的人体相关模型；及处理器，其与所述三维扫描仪、所述跟踪传感器及所述存储器电气连接，所述处理器可以基于所述人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎位置的虚拟第一脊椎测量影像，基于所述基准标记的位置与姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系。

Description

影像整合装置及影像整合方法
技术领域
本申请主张2017年02月21日申请的美国专利局申请第62/461,507号的优先权权益。临时申请第62/461,507号因而作为参考文献包含于本公开中。
本公开涉及影像整合装置及影像整合方法。
本公开从作为中小企业厅的WC300项目技术开发支援的组成部分而执行的研究导出。
[课题固有编号：S2482672、研究课题名:整合精密度1mm以下手术用导航融合头颈部手术机器人系统开发]
背景技术
在对患者的脊椎进行手术方面，利用拍摄患者患处的影像的影像引导手术(image-guided surgery)被大量地使用。特别是需在避开患者身体内的重要神经和主要脏器的同时进行手术的情况下，要求以拍摄的影像为基础，进行具有高准确度的手术。
另外，微创手术(MIS、Minimize Invasive Surgery)由于可以从患者的人体获得高分辨率影像，可以利用机器臂等进行医疗器械的精细操作，因而正在使用。即，不在人体上直接切开，而可以只在皮肤上形成小孔，由此放入医疗用针等手术工具而进行手术。这种微创手术一般与前述的影像诱导手术融合，医师等使用者通过影像，一面观察患者的人体内部一面进行手术。
在通过影像的微创手术方式中，需要在手术中利用影像诊断装置等持续或间歇地拍摄患者。这是因为在进行脊椎手术的情况下，要求以高准确度找出脊椎的位置。特别是在使切开部位实现最小化的情况下，为了准确地找到成为手术对象的脊椎位置，对患者的影像拍摄不可避免。
为此，利用诸如C-arm或O-arm的方式的影像拍摄装备，在进行影像拍摄的同时执行脊椎手术。但是，这种方式存在患者受到大量X射线辐射的问题。另外，这种方式由于同时进行影像拍摄，因而存在患者的手术费用增加的问题。
也可以以患者在手术前拍摄的原有脊椎影像为基础进行脊椎手术，但在这种情况下，脊椎位置推定的准确度大幅下降。特别是患者手术时的姿势与手术前拍摄脊椎影像时不同，因而会难以精密地找到手术对象脊椎。
发明内容
解决的技术问题
本公开旨在解决上述以往技术的缺陷，提供影像整合装置及影像整合方法。
技术方案
根据本公开的一个实施例，影像整合装置可以包括：三维扫描仪，其三维扫描支撑于手术台的患者的第一姿势下的背部表面，获得第一背部表面扫描图像；跟踪传感器，其获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪上标识的扫描仪标记的位置和姿势信息；存储器，其存储关于所述患者的背部表面与脊椎的相关关系的人体相关模型；及处理器，其与所述三维扫描仪、所述跟踪传感器及所述存储器电气连接；所述处理器可以基于所述人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎位置的虚拟第一脊椎测量影像，基于所述基准标记的位置与姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系。
在一个实施例中，所述处理器可以从所述第一背部表面扫描图像，提取所述患者的所述第一姿势下的背部表面信息，基于所述人体相关模型及所述背部表面信息，获得所述患者的所述第一姿势下的脊椎位置信息，基于所述脊椎位置信息，生成所述虚拟第一脊椎测量影像。
在一个实施例中，所述人体相关模型可以是利用三维扫描所述患者的第二姿势下的背部表面而获得的第二背部表面扫描图像与拍摄所述患者的所述第二姿势下的脊椎而获得的第二脊椎测量影像间的相关关系而生成的第一相关模型。
在一个实施例中，所述人体相关模型可以是利用三维扫描在多个不同患者的组中选择的至少一个患者的背部表面而获得的第三背部表面扫描图像与拍摄所述至少一个患者的脊椎而获得的第三脊椎测量影像间的相关关系来补正所述第一相关模型而生成的第二相关模型。
在一个实施例中，所述影像整合装置可以还包括脊椎影像拍摄部，其拍摄所述患者的所述第一姿势下的脊椎，获得第四脊椎测量影像；所述处理器可以利用所述第四脊椎测量影像与所述第一背部表面扫描图像间的相关关系，补正所述人体相关模型，利用所述补正的人体相关模型，生成所述虚拟第一脊椎测量影像。
在一个实施例中，所述处理器可以反复预定次数实施基于所述第四脊椎测量影像的所述人体相关模型的补正。
在一个实施例中，可以还包括机器臂，其在末端附着有手术工具；所述跟踪传感器可以获得在所述机器臂标识的机器臂标记的位置和姿势信息，所述处理器可以基于在与所述虚拟第一脊椎测量影像的坐标系整合的所述患者的坐标系上显示的所述机器臂标记的位置和姿势信息，控制所述机器臂。
在一个实施例中，所述处理器可以基于所述基准标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息及所述第一背部表面扫描图像间的第一坐标变换关系、所述第一背部表面扫描图像与所述虚拟第一脊椎测量影像间的第二坐标变换关系，获得所述虚拟第一脊椎测量影像及所述基准标记的位置和姿势信息间的第三坐标变换关系，基于所述第三坐标变换关系，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系。
在一个实施例中，所述第二脊椎测量影像、所述第三脊椎测量影像及所述第四脊椎测量影像可以为CTA(Computed Tomography Angiography)影像、MRI(MagneticResonance Imaging)影像或CT(Computed Tomography)影像之一。
根据本公开的一个实施例，影像整合方法可以包括：三维扫描仪三维扫描支撑于手术台的患者的第一姿势下的背部表面而获得第一背部表面扫描图像的步骤；获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪标识的扫描仪标记的位置和姿势信息的步骤；基于关于所述患者的背部表面与脊椎的相关关系的人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎的位置的虚拟第一脊椎测量影像的步骤；及基于所述基准标记的位置和姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤。
在一个实施例中，所述生成虚拟第一脊椎测量影像的步骤可以包括：从所述第一背部表面扫描图像提取所述患者的所述第一姿势下的背部表面信息的步骤；基于所述人体相关模型及所述背部表面信息，获得所述患者的所述第一姿势下的脊椎位置信息的步骤；及基于所述脊椎位置信息，生成所述虚拟第一脊椎测量影像的步骤。
在一个实施例中，影像整合方法可以还包括：拍摄所述患者的所述第一姿势下的脊椎而获得第四脊椎测量影像的步骤；及利用所述第四脊椎测量影像与所述第一背部表面扫描图像间的相关关系而补正所述人体相关模型的步骤；所述生成虚拟第一脊椎测量影像的步骤可以包括：利用所述补正的人体相关模型而生成所述虚拟第一脊椎测量影像的步骤。
在一个实施例中，所述补正人体相关模型的步骤可以反复实施预定次数。
在一个实施例中，影像整合方法可以还包括：获得在末端附着有手术工具的机器臂上标识的机器臂标记的位置和姿势信息的步骤；及基于在与所述虚拟第一脊椎测量影像的坐标系整合的所述患者的坐标系上显示的所述机器臂标记的位置和姿势信息来控制所述机器臂的步骤。
在一个实施例中，所述将虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤可以包括：基于所述基准标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息及所述第一背部表面扫描图像间的第一坐标变换关系、所述第一背部表面扫描图像与所述虚拟第一脊椎测量影像间的第二坐标变换关系，获得所述虚拟第一脊椎测量影像及所述基准标记的位置和姿势信息间的第三坐标变换关系的步骤；及基于所述第三坐标变换关系，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤。
根据本公开的一个实施例，在记录了用于在计算机上执行的程序的非暂时性计算机可读记录介质中，所述程序可以包括在借助于处理器而运行时，使处理器执行如下步骤的可运行命令：获得三维扫描仪三维扫描支撑于手术台的患者的第一姿势下的背部表面而获得的第一背部表面扫描图像的步骤；获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪标识的扫描仪标记的位置和姿势信息的步骤；基于关于所述患者的背部表面与脊椎的相关关系的人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎的位置的虚拟第一脊椎测量影像的步骤；及基于所述基准标记的位置和姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤。
发明效果
根据一个实施例的影像整合装置及影像整合方法，成为手术对象的患者手术时的X射线辐射降低。
另外，手术中借助于C-arm等的影像拍摄实现最少化，因而可以节省手术费用。
另外，利用人体相关模型推定患者的脊椎位置，因而手术时能够应对患者的姿势变化，因此，可以提高手术的准确度。
附图说明
图1是图示本公开一个实施例的影像整合装置的图。
图2是显示本公开一个实施例的影像整合装置用于手术的应用例的图。
图3是图示本公开一个实施例的生成人体相关模型的过程的图。
图4是图示本公开一个实施例的各患者的人体相关模型的生成及应用过程的图。
图5是图示本公开一个实施例的基于数据库的人体相关模型生成及应用过程的图。
图6是图示本公开一个实施例的补正人体相关模型的过程的图。
图7是图示本公开一个实施例的将虚拟脊椎测量影像整合于患者的人体的过程的图。
图8是图示本公开一个实施例的利用整合的虚拟脊椎测量影像控制机器臂的过程的图。
图9是显示本公开一个实施例的可借助于影像整合装置的影像整合方法的图。
具体实施方式
本公开的实施例是为了说明本公开技术思想的目的而示例性提出的。本公开的权利范围不限定于以下提示的实施例或对这些实施例的具体说明。
只要未不同地定义，本公开中使用的所有技术术语及科学术语具有本公开所属技术领域的普通技术人员一般理解的意义。本公开中使用的所有术语是出于更明确地说明本公开的目的而选择的，并非是为了限制本公开的权利范围而选择的。
本公开中使用的诸如“包括的”、“具备的”、“具有的”等表达，只要在包含相应表达的语句或文章中未不同地提及，应理解为具有包括其他实施例的可能性的开放型术语(open-ended terms)。
只要未不同地提及，本公开中记述的单数型的表达可以还一同包括复数型的意义，这也同样适用于权利要求书中记载的单数型的表达。
本公开中使用的“第一”、“第二”等表达，用于相互区分多个构成要素，并非限定相应构成要素的顺序或重要度。
本公开中使用的术语“部”意味着诸如软件、FPGA(field-programmable gatearray，现场可编程门阵列)、ASIC(application specific integrated circuit，专用集成电路)的硬件构成要素。但是，“部”并非限定于硬件及软件。“部”既可以构成得位于可寻址的存储介质中，也可以构成得使一个或其以上的处理器运行。因此，作为一个示例，“部”包括诸如软件构成要素、客体指向软件构成要素、集群构成要素及任务构成要素的构成要素，处理器，函数，属性，程序，子程序，程序代码的片段，驱动器，固件，微码，电路，数据，数据库，数据结构，数据表，陈列及变数。构成要素和“部”内提供的功能，可以由更少数量的构成要素及“部”结合，或进一步分离成追加的构成要素和“部”。
本公开中使用的“基于～”字样的表达，用于记述对包含相应表达的语句或文章中记述的决定或判断的行为或动作施加影响的一个以上因子，该表达不排除对决定、判断的行为或动作施加影响的追加因子。
在本公开中，当提及某种构成要素“连接于”或“接入于”其他构成要素时，应理解为既可以是所述某种构成要素直接连接于或接入于所述其他构成要素，也可以是以新的其他构成要素为媒介连接或接入。
下面参照附图，说明本公开的实施例。在附图中，对相同或对应的构成要素，赋予相同的附图标记。另外，在以下实施例的说明中，可以省略重复记述相同或对应的构成要素。但是，即使省略关于构成要素的记述，也并不是说某个实施例中不包括这种构成要素。
图1是图示本公开一个实施例的影像整合装置的图。
根据一个实施例，本公开可以与影像整合装置关联。影像整合装置可以利用背部表面与脊椎的相关关系，从患者的背部表面扫描图像生成关于患者脊椎的虚拟脊椎测量影像。另外，影像整合装置可以将生成的虚拟脊椎测量影像整合于患者的人体。
具体而言，影像整合装置可以三维(3-Dimensional)扫描支撑于手术台的患者的背部表面而获得背部表面扫描图像，基于显示出背部表面与脊椎的相关关系的人体相关模型和/或背部表面扫描图像而生成虚拟脊椎测量影像，获得在患者的人体标识的基准标记及在三维扫描仪标识的扫描仪标记的位置和姿势信息，将虚拟脊椎测量影像整合于患者的人体。
本公开的影像整合装置可以包括三维扫描仪1010、跟踪传感器1020、存储器1030和/或处理器1040作为内/外部元件。
三维扫描仪1010可以从支撑于手术台的患者三维扫描相应患者手术时(intra-operative)的姿势下的背部表面。三维扫描仪1010可以由此获得关于患者手术时的姿势的背部表面扫描图像。三维扫描仪1010可以将获得的背部表面扫描图像传递给处理器1040。在该过程中获得的背部表面扫描图像可以根据实施例而称为第一背部表面扫描图像。
其中，借助于三维扫描仪而获得的扫描图像可以是以三维方式扫描对象体表面而显示的三维信息。即，背部表面扫描图像可以是以三维方式扫描背部表面的三维背部表面扫描图像。另外，从背部表面扫描图像获得的背部表面形态信息可以是以三维方式显示相应背部表面形态的三维背部表面形态信息。
跟踪传感器1020可以感知标记(marker)，获得其位置和姿势信息。根据实施例，跟踪传感器1020可以从基准标记和/或扫描仪标记获得相应标记的位置和姿势信息。基准标记可以是在患者的人体标识的标记，扫描仪标记可以是在三维扫描仪1010标识的标记。其中，标记标识于特定对象体，可以意味着标记固定地设置于或附着于特定对象体。跟踪传感器1020可以将获得的标记的位置和姿势信息传递给处理器1040。
存储器1030可以存储显示出背部表面与脊椎的相关关系的人体相关模型。关于人体相关模型的具体事项在后面叙述。
处理器1040可以基于借助三维扫描仪1010而获得的患者手术时姿势下的背部表面扫描图像与存储器中存储的人体相关模型，生成虚拟脊椎测量影像。虚拟脊椎测量影像可以是推定相应患者手术时姿势下的脊椎位置的虚拟的脊椎影像。在该过程中生成的虚拟脊椎测量影像可以根据实施例而称为虚拟第一脊椎测量影像。
另外，处理器1040可以基于标记的位置和姿势信息，将虚拟脊椎测量影像整合于患者的人体。具体而言，处理器1040可以基于借助于跟踪传感器1020而获得的基准标记的位置和姿势信息和/或扫描仪标记的位置和姿势信息，将虚拟脊椎测量影像的坐标系整合于患者的坐标系。
处理器1040可以已与三维扫描仪1010、跟踪传感器1020和/或存储器1030电气连接。
在一个实施例中，处理器1040可以由从支撑于手术台的患者获得的背部表面扫描图像，提取患者手术时姿势下的背部表面信息。处理器1040可以基于前述人体相关模型及提取的背部表面信息，获得相应患者手术时姿势下的脊椎位置信息。处理器1040可以基于获得的脊椎位置信息，生成前述的虚拟脊椎测量影像。
在一个实施例中，人体相关模型可以是显示出背部表面与脊椎的相关关系的人体模型。人体相关模型可以是显示出背部表面的形态与由相应背部表面形态决定的人体内部脊椎的位置之间的相关关系的、关于人体的相关模型。
在一个实施例中，人体相关模型可以是关于相应患者的患者别人体相关模型。患者别人体相关模型可以是考虑了相应患者特性的、关于相应患者个人的由背部表面与脊椎之间的相关关系决定的人体相关模型。根据该过程生成的人体相关模型可以称为第一相关模型。关于患者别人体相关模型的具体事项在后面叙述。
在一个实施例中，人体相关模型可以为基于数据库的人体相关模型。基于数据库的人体相关模型可以是利用数据库中存储的至少一个以上患者的关于背部表面和/或脊椎的信息来补正前述患者别人体相关模型后的人体相关模型。根据该过程而生成的人体相关模型可以称为第二相关模型。对于基于数据库的人体相关模型的具体事项在后面叙述。
在一个实施例中，处理器1040还可以基于从支撑于手术台的患者的手术时姿势获得的追加信息，进一步补正前述的人体相关模型。处理器1040可以利用补正的人体相关模型，生成前述的虚拟脊椎测量影像。
在一个实施例中，影像整合装置可以还包括脊椎影像拍摄部(图中未示出)。脊椎影像拍摄部拍摄支撑于手术台的患者的脊椎，从而可以获得手术时姿势下的脊椎测量影像。在该过程中获得的背部表面扫描图像可以根据实施例而称为第四背部表面扫描图像。处理器1040在基于如前所述从患者的手术时姿势获得的追加信息来补正人体相关模型方面，可以利用从脊椎影像拍摄部获得的脊椎测量影像和前述手术时姿势下的背部表面扫描图像(第一背部表面扫描图像)间的相关关系。
在一个实施例中，处理器1040可以将基于从手术时姿势获得的追加信息的人体相关模型补正反复实施预定次数。
在一个实施例中，处理器1040可以获得生成的虚拟脊椎测量影像及在患者人体固定的基准标记的位置和姿势信息间的坐标变换关系，以获得的坐标变换关系为基础，将虚拟脊椎测量影像的坐标系整合于患者的坐标系。
在一个实施例中，所谓跟踪传感器1020跟踪的标记，可以是在测量对象体的移动姿势中使用的基准体。具体而言，标记可以附着于对象体，前述的跟踪传感器1020测量相应标记的三维空间上的位置信息和用滚转角(roll)、仰俯角(pitch)、偏航角(yaw)定义的姿势信息，从而测量附着有标记的对象体的当前移动或姿势，或跟踪随时间而变化的对象体的移动或姿势。
在一个实施例中，标记的姿势信息可以是通过基于滚转角(roll)、仰俯角(pitch)、偏航角(yaw)的航空器主轴(Aircraft Principal Axes)概念来表现相应标记在三维空间上具有的姿势。其中，滚转角(roll)、仰俯角(pitch)、偏航角(yaw)可以意味着相应标记在三维空间上旋转的轴或方向。滚转角(roll)可以意味着从对象体的前部分向后部分贯通的轴或以该轴为基准旋转的方向。仰俯角(pitch)可以意味着以对象体的前部分为基准而向上、下旋转的方向或该轴。偏航角(yaw)可以意味着以对象体的前部分为基准而向左、右旋转的方向或该轴。
在一个实施例中，为了同时测量标记附着的对象体的位置和姿势，可以使用包含图像信息的标记。根据实施例，在标记中可以包含通过印刷法、模板法、冲压法或光刻法等形成的图像信息。可以从对标记中包含的相应图像进行实际成像的图像、已存储的关于相应图像的信息，检测到各个相互对应的2个以上任意的特征点坐标。从这些对应的特征点坐标间的关系式，可以决定包含相应图像的标记的姿势。另外，可以在多个位置，对标记中包含的相应图像进行成像，还通过基于各个成像的图像信息的三角法，决定相应标记的位置。
在一个实施例中，为了同时测量标记附着的对象体的位置和姿势，也可以使用3个以上的多个标记。利用各个标记，相应对象体的6自由度(6Degree of Freedom)的位置及姿势均可测量。
在一个实施例中，基准标记可以成为将虚拟脊椎测量影像整合于患者人体的基准的标记。根据实施例，基准标记可以固定于患者的人体。例如，可以在患者脊椎骨骼之一上固定基准标记，或在患者牙齿上固定附着有基准标记的模板。基于基准标记的位置和姿势信息，虚拟脊椎测量影像的坐标系可以整合于患者的坐标系。
在一个实施例中，扫描仪标记可以是附着于前述三维扫描仪并用于获得三维扫描仪的扫描点的标记。基于扫描仪标记的位置和姿势信息，可以获得三维扫描仪执行背部表面扫描的背部表面的既定部位、与其对应的背部表面扫描图像相关的坐标变换关系。
在一个实施例中，在前述脊椎测量影像中，除借助于处理器而生成的虚拟脊椎测量影像之外的脊椎测量影像，可以为CTA(Computed Tomography Angiography)影像、MRI(Magnetic Resonance Imaging)影像或CT(Computed Tomography)影像。其中，所谓影像，可以意味着拍摄对象体内部结构的影像。具体而言，影像可以是为了微创检查而拍摄身体内的结构性细节、内部组织和/或流体的流动等后进行处理的影像。
在一个实施例中，前述三维扫描仪1010、跟踪传感器1020和/或脊椎影像拍摄部也可以将获得的背部表面扫描图像、标记的位置和姿势信息和/或脊椎测量影像传递给存储器1030。存储器1030可以将接受传递的背部表面扫描图像、标记的位置和姿势信息和/或脊椎测量影像为了后来使用而存储。
在一个实施例中，影像整合装置可以还包括网络接口(图中未示出)。网络接口可以通过服务器和宽带进行通信，接收人体相关模型。
在一个实施例中，处理器1040也可以直接生成前述的人体相关模型。处理器1040可以从存储器1030获得成为手术对象的患者背部表面扫描图像和/或脊椎测量影像，生成相应患者的患者别人体相关模型。根据实施例，处理器1040也可以从存储器1030获得关于从多个不同患者的组中选择的至少一个患者的背部表面扫描图像和/或脊椎测量影像，生成基于数据库的人体相关模型。根据实施例，处理器1040也可以利用通过网络接口而从服务器获得的背部表面扫描图像和/或脊椎测量影像，生成患者别人体相关模型或基于数据库的人体相关模型。
在一个实施例中，影像整合装置可以还包括显示部(图中未示出)。显示部可以显示借助于三维扫描仪1010而获得的手术时姿势下的患者的背部表面扫描图像、生成的虚拟脊椎测量影像和/或整合于患者的坐标系的虚拟脊椎测量影像等。
在一个实施例中，影像整合装置可以还包括机器臂(arm)，处理器1040可以控制机器臂。
在一个实施例中，影像整合装置也可以定义为只包括前述处理器1040和前述存储器1030的概念。在该实施例中，影像整合装置可以从影像整合装置外部的三维扫描仪、跟踪传感器和/或脊椎影像拍摄部接受传递信息。处理器可以利用接受传递的信息，执行由前述影像整合装置的实施例决定的动作。
前述本公开的影像整合装置的实施例可以相互组合。另外，前述本公开的影像整合装置的内/外部元件可以根据实施例而追加、变更、替代或删除。另外，前述影像整合装置的内/外部元件可以以硬件体现。
图2是显示本公开一个实施例的影像整合装置用于手术的应用例的图。
如前所述，影像整合装置可以利用从患者获得的背部表面扫描图像和人体相关模型，生成关于相应患者的虚拟脊椎测量影像。
在图2中图示了前述实施例中任意一个实施例的影像整合装置应用于支撑在手术台2010的患者2020的图。如图2所示，一个实施例的影像整合装置可以包括三维扫描仪1010、跟踪传感器1020、存储器和/或处理器。
具体而言，成为手术对象的患者2020可以支撑于手术台2010。在支撑于手术台的患者的人体，可以固定有基准标记3010。如前所述，基准标记3010可以固定地设置于患者的脊椎骨骼之一。在三维扫描仪1010上可以附着有扫描仪标记3020。扫描仪标记3020可以用于获得关于三维扫描仪1010的扫描点的信息。
三维扫描仪1010可以三维扫描支撑于手术台的患者的背部表面。其中，可以扫描支撑于手术台的患者的手术时姿势下的背部表面。因此，三维扫描仪1010可以获得手术时姿势下的患者的背部表面扫描图像。成为手术对象的患者的手术时姿势，可以根据实施例而称为第一姿势。
三维扫描仪1010例如可以在手术台的z轴上的上方，沿着观察手术台上板的方向设置。因此，三维扫描仪1010可以观察手术台2010的上板，使得能够扫描支撑于手术台2010的患者2020的人体。三维扫描仪1010的位置可以根据实施例而变更。
跟踪传感器1020可以获得基准标记3010的位置和姿势信息及扫描仪标记3020的位置和姿势信息。跟踪传感器1020例如可以在手术台的y轴上的上方或下方，沿着观察手术台2010的方向设置。即，跟踪传感器1020可以设置在支撑于手术台的患者的头部或脚方向，使得能够跟踪固定于患者人体的基准标记3010和/或附着于三维扫描仪1010的扫描仪标记3020的位置和姿势。跟踪传感器1020的位置可以根据实施例而变更。
存储器可以存储前述实施例的人体相关模型。根据实施例，存储器可以存储前述实施例的人体相关模型中至少一者。存储器在该应用例中未图示。
处理器可以从三维扫描仪1010获得三维扫描仪1010获得的对象患者的背部表面扫描图像。另外，处理器可以从存储器获得人体相关模型。处理器可以将获得的背部表面扫描图像应用于人体相关模型，生成虚拟脊椎测量影像。处理器在该应用例中未图示。
具体而言，处理器可以从接受传递的背部表面扫描图像，提取出关于对象患者背部表面形态的信息。此时提取的关于背部表面形态的信息，可以是显示对象患者背部表面形态的信息。具体而言，关于相应背部表面形态的信息，可以是在对象患者支撑于手术台的状态下，显示出采取手术时(intra-operative)姿势时的背部表面形态的信息。
另外，处理器可以将提取的对象患者的背部表面形态信息，输入到接受传递的人体相关模型，获得当背部表面呈现相应形态时的脊椎的推定位置值。由此，可以获得关于对象患者在采取手术时姿势时的推定的脊椎位置的信息。
处理器可以利用关于推定脊椎位置的信息，生成虚拟脊椎测量影像。生成的虚拟脊椎测量影像可以是推定对象患者在采取手术时姿势时的脊椎位置，将其象实际拍摄的脊椎测量影像一样实现图像化的图像。
处理器可以将生成的虚拟脊椎测量影像整合于患者的身体。即，处理器在整合过程中，可以利用借助于跟踪传感器1020而获得的基准标记3010的位置和姿势信息、扫描仪标记3020的位置和姿势信息。根据整合过程，虚拟脊椎测量影像的坐标系可以整合于患者身体的坐标系。因此，可以根据在整合的虚拟脊椎测量影像中显示的推定的脊椎位置，进行在实际患者身体中的手术等。
图3是图示本公开一个实施例的生成人体相关模型的过程的图。
如前所述，人体相关模型可以是关于人体背部表面与脊椎的相关关系的模型。具体而言，人体相关模型可以显示出背部表面的形态、相应背部表面形态下的患者人体内部的脊椎位置之间的关系。
其中，所谓脊椎的位置，意味着脊椎在患者人体内的位置，或者根据上下文，可以意味着脊椎随着脊椎软组织的收缩或松驰而排列的位置或形态。
如图3所示，人体相关模型可以利用扫描背部表面的背部表面扫描图像和拍摄此时的脊椎的脊椎测量影像5010而生成。具体而言，人体相关模型可以基于从背部表面扫描图像获得的关于背部表面形态的信息5030、从脊椎测量影像5010获得的关于脊椎位置的信息，获得背部表面与脊椎间的相关关系而生成。根据实施例，在人体相关模型的生成过程中，也可以还利用患者脊椎的软组织物性值5040。
其中，脊椎测量影像5010、关于背部表面形态的信息5030和/或脊椎的软组织物性值5040可以是关于一名患者人体的数据。例如，在生成前述患者别人体相关模型的情况下，用于生成的脊椎测量影像可以是成为手术对象的患者的脊椎测量影像，关于背部表面形态的信息可以是从相应患者的背部表面获得的，脊椎的软组织物性值可以是相应患者脊椎软组织的测量的物性值。
首先，通过脊椎测量影像5010，可以生成关于相应人体脊椎的脊椎三维模型5020。其中，脊椎测量影像5010可以意味着拍摄人体脊椎的CTA影像、CT影像和/或MRI影像等。生成的脊椎三维模型5020可以是将脊椎的形态，即，将诸如脊椎骨骼的硬组织和/或脊椎骨骼之间的软组织用三维方式建模。
然后，可以测量由脊椎位置决定的背部表面形态值。根据脊椎骨骼及脊椎软组织排列的位置，人体的背部表面的形态会不同。通过测量这种由脊椎位置决定的背部表面形态，从而可以获得脊椎位置与背部表面形态间的相关关系信息。该相关关系信息可以是显示出从脊椎测量影像5010获得的关于脊椎位置的信息与从背部表面扫描图像获得的背部表面形态信息5030间的物理关系的构成方程式(constitutive law)。
获得的相关关系信息可以反映于前述脊椎三维模型5020。脊椎位置与背部表面形态间的相关关系信息反映于前述脊椎三维模型5020，从而可以生成人体相关模型4010。
在该过程中，通过相关关系信息及脊椎三维模型5020而生成的人体相关模型4010，可以是关于脊椎的动态模型。即，人体相关模型可以根据背部表面形态变化而预测脊椎的位置变化。例如在向人体相关模型输入关于背部表面形态的时序性信息时，人体相关模型可以输出随时间变化的脊椎的位置变化。因此，人体相关模型即使在患者手术中发生移动或姿势变更，也可以预测变化的脊椎位置。
在一个实施例中，由脊椎位置决定的背部表面形态值测量可以反复实施多次。即，通过变更患者姿势而变化脊椎位置，可以测量由各个脊椎位置决定的背部表面形态。因此，可以获得多个相关关系信息并反映于人体相关模型4010。越是获得多样脊椎位置下的相关关系信息，以后生成的人体相关模型4010越可以更准确地推定由脊椎位置决定的背部表面形态。
在一个实施例中，也可以从脊椎沿特定方向移动时的背部表面形态，按时间顺序获得多个背部表面扫描图像，将由此获得的多个相关关系信息反映于人体相关模型。由此，在脊椎向特定方向移动的情况下，背部表面形态的时序性变化过程可以反映于人体相关模型。
在一个实施例中，相关关系信息可以根据有限元法(Finite Element Method，FEM)而求出偏微分方程的解来获得。具体而言，脊椎位置与背部表面形态间的关系可以用以脊椎位置为变数的背部表面形态值的偏微分方程或以背部表面形态值为变数的脊椎位置的偏微分方程来表现。根据有限元法求出相应偏微分方程的近似解，从而可以获得前述的脊椎位置与背部表面形态间的相关关系信息。
在一个实施例中，人体相关模型4010可以追加反映针对患者脊椎测量的软组织物性值5040而生成。具体而言，在以由前述脊椎位置决定的背部表面形态的相关关系为基础而生成人体相关模型4010的过程中，可以考虑患者脊椎的软组织物性值5040。其中，所谓脊椎的软组织，可以意味着包围脊椎骨骼的肌肉系统、肌腱、韧带等、脊椎骨骼邻接部位的软组织。所谓软组织物性值，可以笼统意味着这种软组织的弹性度、收缩系数等物理特性和/或构成软组织的物质的化学、生物学特性等。软组织物性值可以每个患者不同。
首先，诸如脊椎骨骼的硬组织与前述软组织可以区分。患者的脊椎在沿特定方向收缩或松驰时，即使是向相同方向的移动，根据患者脊椎软组织物性值，脊椎硬组织排列的位置也会不同。另外，即使是相同的脊椎硬组织排列，根据患者的脊椎软组织物性值，此时的背部表面形态也会不同。
因此，在反映脊椎测量影像和/或背部表面扫描图像而生成人体相关模型时，如果反映相应患者的脊椎软组织物性值，则可以生成更准确地推定由脊椎位置决定的背部表面形态的、作为动态模型的人体相关模型。例如，可以针对软组织根据脊椎位置而向哪个方向进行某种程度收缩、背部表面因此而呈现何种形态，获得更具体的相关关系并生成人体相关模型。
其中，脊椎软组织的物性值5040可以将软组织弹性相关特性及僵硬度状态进行图像化而测量。为此，可以使用USE(Ultrasound Elastography，超声弹性成像)方式。
在一个实施例中，也可以利用深度学习(deep learning)方式，导出由脊椎位置决定的背部表面形态的相关关系信息。其中，所谓深度学习，作为机器学习的一个领域，是如果将原始(raw)数据直接输入计算机等，则深度学习算法以人工神经网络为基础来理解相应数据并提取高水平抽象化的信息的方式。以这种深度学习方式为基础，可以利用大数据形态的脊椎位置信息及由其决定的背部表面形态的信息，导出两者间的相关关系信息。在生成人体相关模型时使用通过深度学习而获得的相关关系信息，从而可以提高脊椎位置及背部表面形态的相关关系的准确度。
在一个实施例中，人体相关模型也可以无需关于患者背部表面的三维扫描图像，通过变化频率拍摄关于患者脊椎的影像而生成。CT等的影像拍摄方法在拍摄时，可以根据频率来拍摄人体，使得骨骼、牙齿等硬组织或皮肤等软组织清晰呈现。此时，拍摄得使软组织清晰呈现的脊椎拍摄影像，可以替代前述背部表面扫描图像。可以利用拍摄得使硬组织清晰呈现的脊椎拍摄影像、拍摄得使软组织清晰呈现的脊椎拍摄影像，获得关于背部表面和脊椎的相关关系，也可以以此为基础生成人体相关模型。
图4是图示本公开一个实施例的患者别人体相关模型的生成及应用过程的图。
如前所述，人体相关模型可以为患者别人体相关模型。患者别人体相关模型可以是由成为手术对象的患者的背部表面与脊椎之间相关关系决定的人体相关模型。
患者别人体相关模型可以基于从相应患者在手术前(pre-operative)预先获得的脊椎测量影像6010和/或背部表面扫描图像6020而生成。其中，手术前预先获得的相应患者的脊椎测量影像6010可以称为第二脊椎测量影像，手术前预先获得的相应患者的背部表面扫描图像6020可以称为第二背部表面扫描图像。
具体而言，图4所示的患者别人体相关模型的生成及应用过程可以包括：基于手术对象患者的手术前脊椎测量影像6010与手术前背部表面扫描图像6020而获得两者间的相关关系信息的步骤(s1010)；将对象患者的手术中背部表面扫描图像4020应用于以相关关系信息为基础生成的患者别人体相关模型4010的步骤(s1020)；和/或生成虚拟脊椎测量影像4030的步骤(s1030)。
首先，可以获得成为手术对象的患者的手术前脊椎测量影像6010和手术前背部表面扫描图像6020。其中，手术前脊椎测量影像6010可以是在手术前从对象患者预先获得的脊椎测量影像。另外，手术前背部表面扫描图像6020可以是在获得手术前脊椎测量影像6010时的患者姿势下获得的患者背部表面扫描图像。
获得从手术前脊椎测量影像6010获得的脊椎位置信息、从手术前背部表面扫描图像6020获得的背部表面形态信息间的相关关系信息后，可以以此为基础，生成关于手术对象患者的患者别人体相关模型4010。该患者别人体相关模型4010的生成过程虽然与前述人体相关模型的生成过程相同，但在该过程中使用的脊椎拍摄影像为手术前脊椎测量影像6010，关于背部表面的信息可以是从手术前背部表面扫描图像6020获得的信息。
可以在生成的患者别人体相关模型4010中，应用在手术中获得的背部表面扫描图像4020。手术中获得的背部表面扫描图像4020可以是从支撑于手术台的对象患者的手术时姿势获得的背部表面扫描图像。该背部表面扫描图像4020可以在对象患者临手术前或手术期间，从对象患者的背部表面获得至少一次以上。
其中，预先获得而成为患者别人体相关模型生成基础的手术前脊椎测量影像6010和手术前背部表面扫描图像6020，可以在不同于对象患者手术时姿势的姿势下获得。即，患者手术时在支撑于手术台的状态下采取的姿势，可以不同于手术前脊椎测量影像6010和手术前背部表面扫描图像6020从患者获得时的患者姿势。其中，手术时支撑于手术台的患者的姿势，如前所述，可以称为第一姿势。手术前脊椎测量影像6010和手术前背部表面扫描图像6020获得时的患者姿势可以称为第二姿势。
将手术中获得的背部表面扫描图像4020，应用于对象患者的患者别人体相关模型4010，从而可以生成虚拟脊椎测量影像4030。虚拟脊椎测量影像4030可以推定显示出对象患者支撑于手术台的实际手术时姿势下的脊椎位置。
在一个实施例中，如前所述，图像整合装置的处理器也可以不使用存储器中存储的患者别人体相关模型，而是以手术前脊椎测量影像6010和手术前背部表面扫描图像6020为基础，直接生成患者别人体相关模型。此时，图像整合装置的存储器可以存储手术前脊椎测量影像6010和手术前背部表面扫描图像6020。处理器可以从存储器接受传递手术前脊椎测量影像6010和手术前背部表面扫描图像6020，直接生成患者别人体相关模型。
在一个实施例中，对象患者的手术前脊椎测量影像6010和手术前背部表面扫描图像6020可以利用光学标记预先获得。对象患者在拍摄手术前脊椎测量影像6010时，可以在背部表面的患处周边附着光学标记后拍摄。根据实施例，光学标记为中央镂空的四边形环状，在四边形各边，可以沿四边形的边并排附着有发散光线的标记。拍摄手术前脊椎测量影像6010时，在获得脊椎测量影像的同时，可以从附着于对象患者的光学标记获得背部表面的形态。然后，在实际手术时，可以将光学标记相同地附着于患者的手术部位，实时获得手术时患者的背部表面形态并进行手术。从光学标记获得的患者的背部表面形态，可以用于生成实时推定脊椎位置的虚拟脊椎测量影像。
在一个实施例中，在患者别人体相关模型的生成时，还可以利用从手术对象患者预先测量的脊椎软组织物性值。将手术对象患者的脊椎软组织物性值反映于人体相关模型，从而患者别人体相关模型可以生成为还反映了手术对象患者人体特性的形态。
图5是图示本公开一个实施例的基于数据库的人体相关模型生成及应用过程的图。
如前所述，人体相关模型可以为基于数据库的人体相关模型。基于数据库的人体相关模型可以是基于数据库7030中积累的关于至少一个以上脊椎及背部表面的数据，表现出人体脊椎位置与背部表面平均的相关关系的人体相关模型。
基于数据库的人体相关模型可以利用数据库7030中存储的背部表面扫描图像7020和/或脊椎测量影像7010，补正前述患者别人体相关模型而生成。其中，在数据库中选择的一名患者的脊椎测量影像7010可以称为第三脊椎测量影像，选择的患者的背部表面扫描图像7020可以称为第三背部表面扫描图像。
具体而言，图5所示的患者别人体相关模型的生成及应用过程可以包括：生成患者别人体相关模型，利用数据库7030的数据，补正(修正)患者别人体相关模型，生成基于数据库的人体相关模型4010，通过基于数据库的人体相关模型4010生成虚拟脊椎测量影像4030的过程。
首先，可以基于对象患者的手术前脊椎测量影像6010与手术前背部表面扫描图像6020而生成患者别人体相关模型。患者别人体相关模型的生成可以与前述相同。
然后，可以利用在数据库7030的多个不同患者的组中选择的关于至少一个患者的脊椎测量影像7010和/或背部表面扫描图像7020，补正前述患者别人体相关模型。在数据库7030中，可以存储有从多个不同患者的人体获得的脊椎拍摄影像和/或与相应脊椎拍摄影像对应的背部表面扫描图像。其中，所谓与脊椎拍摄影像对应的背部表面扫描图像，可以意味着利用三维扫描仪扫描相应脊椎拍摄影像所获得时间点的患者背部表面的图像。
具体而言，可以由从数据库7030获得的脊椎测量影像7010获得脊椎位置信息，或从对应的背部表面扫描图像7020获得背部表面形态信息。可以利用获得的脊椎位置信息及背部表面形态信息，导出相互间的相关关系信息，该相关关系信息可以反映于预先生成的患者别人体相关模型。
为了生成基于数据库的人体相关模型，在数据库7030中选择的患者可以是并非手术对象患者的患者。另外，在数据库7030中选择的患者数可以为复数。选择的患者越多，生成的人体相关模型越可以更准确地推定出由脊椎位置决定的背部表面形态。
可以将对象患者的手术中背部表面扫描图像4020应用于通过这种过程生成的基于数据库的人体相关模型4010，生成虚拟脊椎测量影像4030。
在一个实施例中，如前所述，图像整合装置的处理器也可以不使用存储器中存储的预先生成的基于数据库的人体相关模型，而是直接补正存储器中存储的患者别人体相关模型，生成基于数据库的人体相关模型4010。此时，图像整合装置的存储器可以存储患者别人体相关模型。
在一个实施例中，在图像整合装置的处理器直接生成基于数据库的人体相关模型的情况下，存储器可以执行前述数据库7030作用。此时，存储器可以存储关于多个不同患者的脊椎测量影像7010和/或背部表面扫描图像7020。
在一个实施例中，在图像整合装置的处理器直接生成基于数据库的人体相关模型的情况下，前述网络接口可以从服务器接收用于生成基于数据库的人体相关模型所需的数据。即，网络接口可以与发挥数据库7030作用的服务器通信，接收脊椎测量影像7010和/或背部表面扫描图像7020并传递给处理器。处理器可以利用接受传递的数据，生成基于数据库的人体相关模型。
在一个实施例中，基于数据库的人体相关模型也可以利用大数据(Big data)技术生成。其中，所谓大数据，可以意味着从大量的定型或不定型的数据集合中提取特征或图案并分析其结果的技术。可以利用大数据技术，获得关于不同患者的脊椎及背部表面的信息，可以利用大数据形态的脊椎及背部表面信息，补正患者别人体相关模型，生成基于数据库的人体相关模型。
在一个实施例中，基于数据库的人体相关模型也可以排除关于手术对象患者脊椎及背部表面的信息后生成。如前所述，基于数据库的人体相关模型既可以通过补正患者别人体相关模型而生成，也可以根据实施例，无需患者别人体相关模型，只利用从数据库获得的关于多个患者的信息而生成。此时，基于数据库的人体相关模型可以根据前述的人体相关模型生成过程，利用多个患者的脊椎位置及背部表面信息而生成。
在一个实施例中，从数据库选择的患者可以是手术对象患者所属的患者组的患者。其中，所谓患者组，可以意味着基于患者的特性而区分多个患者的组。例如当手术对象患者为45岁男子时，为了生成基于数据库的人体相关模型而从数据库选择的患者可以为40岁左右的男性患者。
在一个实施例中，在生成基于数据库的人体相关模型时，也可以应用从数据库选择的患者的预先测量的脊椎软组织物性值。除关于选择的患者的脊椎及背部表面的信息外，如果数据库7030中有选择的该患者脊椎的软组织物性值，则该软组织物性值也可以在补正患者别人体相关模型时使用。
图6是图示本公开一个实施例的补正人体相关模型的过程的图。
如前所述，人体相关模型可以基于手术时对象患者的姿势而追加补正。即，图像整合装置的处理器也可以基于从支撑于手术台的患者的手术时姿势获得的追加信息，进一步补正前述人体相关模型。其中，成为补正对象的人体相关模型，可以是患者别人体相关模型、基于数据库的人体相关模型等本公开所有实施例的人体相关模型。
补正的过程可以如下进行，即，从支撑于手术台的患者2020的手术时姿势(第一姿势)获得脊椎测量影像8010和背部表面扫描图像8020，以此为基础，补正人体相关模型。其中，在支撑于手术台的患者2020的手术时姿势(第一姿势)拍摄的脊椎测量影像8010可以称为第四脊椎测量影像。从手术时姿势获得的患者的背部表面扫描图像8020，可以与前述手术时姿势的背部表面扫描图像4020相同，可以称为第一背部表面扫描图像。
为了将关于患者的手术时姿势下的脊椎位置和背部表面的信息反映于人体相关模型，可以执行这种人体相关模型的补正。成为生成前述对象患者的患者别人体相关模型的基础的脊椎测量影像6010及背部表面扫描图像6020，可以是患者在手术前，在与手术时环境不同的环境下获得的。另外，拍摄这种信息时的患者姿势(例如第二姿势)与支撑于手术台的患者2020在手术时采取的姿势(第一姿势)可以互不相同。因此，手术开始前，针对手术时姿势下的患者，获得脊椎测量影像8010和背部表面扫描图像8020，将两者间的相关关系反馈到人体相关模型，从而可以进一步提高人体相关模型的准确性。
具体而言，从支撑于手术台的手术时姿势(第一姿势)下的患者2020，可以获得脊椎测量影像8010。为了获得脊椎测量影像，图像整合装置可以还包括脊椎影像拍摄部。脊椎影像拍摄部可以安装得能够针对支撑于手术台的患者拍摄脊椎测量影像8010。脊椎影像拍摄部可以获得关于手术时姿势下的患者的脊椎测量影像8010。
另外，如前所述，三维扫描仪可以三维扫描支撑于手术台的手术时姿势(第一姿势)下的患者的背部表面，由此，可以获得采取手术时姿势的患者的背部表面扫描图像8020。该背部表面扫描图像8020可以与前述手术时姿势的背部表面扫描图像4020相同。
处理器可以从手术时姿势下的脊椎测量影像8010和背部表面扫描图像8020，获得关于各个手术时姿势下的脊椎位置的信息及关于背部表面形态的信息。处理器可以利用关于脊椎位置及背部表面的信息，获得两者间的相关关系信息。然后，处理器可以利用获得的相关关系信息，补正成为补正对象的人体相关模型。
基于相关关系信息的人体相关模型补正，可以通过将手术时姿势下的脊椎位置信息输入于人体相关模型，对输出的背部表面形态信息、从实际背部表面扫描图像获得的背部表面形态信息进行比较而执行。当在输出的背部表面形态信息与实际背部表面形态信息中存在预先定义的阀值(threshold)以上的差异时，可以执行补正。补正可以通过如下执行，即，通过导出实际脊椎位置信息与实际背部表面形态信息间的相关关系，在相应相关关系中设置加权值后，将赋予了加权值的相关关系追加反映于原有人体相关模型。
然后，处理器可以利用针对手术时姿势进行了补正的人体相关模型4010，生成前述虚拟脊椎测量影像。
在一个实施例中，处理器可以以在手术时姿势下获得的信息为基础，反复预定次数执行人体相关模型的补正。此时，为了多次补正，三维扫描仪可以多次三维扫描手术时姿势的患者背部表面，脊椎影像拍摄部可以反复多次拍摄手术时姿势的患者脊椎。
图7是图示本公开一个实施例的将虚拟脊椎测量影像整合于患者人体的过程的图。
如前所述，处理器可以将生成的虚拟脊椎测量影像4030整合于患者2020的人体。通过使虚拟脊椎测量影像4030整合于患者2020，从而处理器可以获知虚拟脊椎测量影像4030推定的脊椎位置在实际患者2020的人体中与哪里相应，因此，可以向机器臂等发送控制信号。
这里的所谓整合，可以意味着使虚拟脊椎测量影像4030的坐标系与患者2020人体的坐标系一致。为了整合，可以使用借助于跟踪传感器1020而获得的基准标记3010的位置和姿势信息、扫描仪标记3020的位置和姿势信息、背部表面扫描图像4020和/或虚拟脊椎测量影像4030等信息。
具体而言，跟踪传感器1020可以获得前述基准标记3010的位置和姿势信息B和/或扫描仪标记3020的位置和姿势信息C。处理器可以从跟踪传感器1020接受传递基准标记的位置和姿势信息B和/或扫描仪标记的位置和姿势信息C。
如前所述，基准标记3010作为固定地标识于患者人体的标记，可以是成为患者坐标系的基准点的标记。另外，扫描仪标记3020作为附着于三维扫描仪1010的标记，可以为了表现三维扫描仪进行扫描的点而使用。根据实施例，扫描仪标记3020可以附着于三维扫描仪1010的末端。
其中，处理器可以以固定于患者人体的基准标记3010为基准，定义患者坐标系。在定义的患者坐标系上，可以显示机器臂等手术装置的位置。根据实施例，也可以将该过程表现为手术装置(例如机器臂)的坐标系与患者的坐标系整合。
所谓借助于跟踪传感器1020而获得的特定标记的位置信息，可以意味着该特定标记在以基准标记3010为基准定义的患者坐标系上占据的位置坐标。其中，所谓坐标系，根据实施例可以意味着用x、y、z轴表示的直角位置坐标系。所谓位置坐标，可以意味着表示坐标系上的x、y、z位置的空间坐标。
所谓借助于跟踪传感器1020而获得的特定标记的姿势信息，可以意味着位于患者坐标系上的该特定标记具有的用滚转角(roll)、仰俯角(pitch)、偏航角(yaw)定义的姿势。对于滚转角(roll)、仰俯角(pitch)、偏航角(yaw)，已在前面叙述。
根据实施例，也可以在三维扫描仪1010还附着有追加标记3030。跟踪传感器1020也可以获得追加标记的位置和姿势信息A并传递给处理器。利用追加标记的位置和姿势信息，关于三维扫描仪1010现在扫描点的准确的信息可以传递给处理器。
处理器可以在整合过程中，还获得关于背部表面扫描图像4020与三维扫描仪1010的扫描点间的坐标变换关系D和/或背部表面扫描图像4020与虚拟脊椎测量影像4030间的坐标变换关系E的信息。
这里使用的背部表面扫描图像4020作为针对支撑于手术台的患者2020的手术时姿势(第一姿势)获得的背部表面扫描图像，可以与前述的第一背部表面扫描图像相应。
坐标变换关系D可以意味着背部表面扫描图像4020与扫描相应背部表面扫描图像的三维扫描仪1010的扫描点间的坐标变换关系。其中，三维扫描仪1010的扫描点可以用附着于三维扫描仪的扫描仪标记3020的位置和姿势表现。通过相应坐标变换关系D，可以获知关于背部表面扫描图像4020上的一个地点是在实际空间上扫描患者背部表面的哪个部分的关系式。该坐标变换关系D可以称为第一坐标变换关系。处理器可以从三维扫描仪1010获得传递坐标变换关系D。
坐标变换关系E可以意味着背部表面扫描图像4020与以相应背部表面扫描图像为基础生成的虚拟脊椎测量影像4030间的坐标变换关系。通过相应坐标变换关系E，可以获知关于背部表面扫描图像4020上的一个地点是在虚拟脊椎测量影像4030上与哪个地点相应的关系式。该坐标变换关系E可以称为第二坐标变换关系。处理器可以在从背部表面扫描图像4020生成虚拟脊椎测量影像4030的过程中获得坐标变换关系E。
处理器可以利用获得的基准标记的位置和姿势信息B、扫描仪标记的位置和姿势信息C、坐标变换关系D和/或坐标变换关系E，从虚拟脊椎测量影像4030获得作为基准标记3010的位置和姿势信息的坐标变换关系R。坐标变换关系R可以是关于虚拟脊椎测量影像4030的一个地点变换成实际空间上的患者坐标系上哪个地点的关系式。如果获得了成为患者坐标系基准的、关于基准标记的位置和姿势信息的坐标变换关系R，则可以获知应将虚拟脊椎测量影像4030在实际患者2020人体上整合到哪个部分。
根据实施例，标记的位置和姿势信息也可以用坐标变换关系表现。如前所述，跟踪传感器1020可以感知基准标记3010的位置和姿势，获得基准标记的位置和姿势信息B。此时，基准标记的位置和姿势信息B也可以视为从跟踪传感器1020到基准标记的位置和姿势信息的坐标变换关系B。相同地，扫描仪标记的位置和姿势信息C也可以视为从跟踪传感器1020到扫描仪标记的位置和姿势信息的坐标变换关系C。
根据实施例，坐标变换关系可以用坐标变换矩阵表示。另外，坐标变换关系根据定义，也可以定义为与其逆变换关系相应的内容。例如，坐标变换关系E虽然是从背部表面扫描图像4020到虚拟脊椎测量影像4030的坐标变换关系，但也可以根据定义，定义为从虚拟脊椎测量影像4030到背部表面扫描图像4020的坐标变换关系。
如前所述，用于获得坐标变换关系R的数学式可以如下。其中，T(Transformation)可以是用于构成数学式的中间变数。
[数式1]
T＝C-1·D·F-1＝B-1·R
R＝B·C-1·D·E-1
根据实施例，如果逆向定义各个坐标变换关系，则用于获得坐标变换关系R的数学式可以如下。
[数式2]
Ｔ＝E-1·D·C-1＝R·B-1
R＝E-1·D·C-1·B
处理器可以利用获得的坐标变换关系R，将虚拟脊椎测量影像4030的坐标系整合为患者2020的坐标系。医师和/或机器臂等可以以与患者人体整合的虚拟脊椎测量影像为基础，根据由背部表面推定的脊椎位置执行脊椎手术。
在将虚拟脊椎测量影像4030整合于患者人体的过程中，可以施加对虚拟脊椎测量影像的变更。例如，为了与患者人体的准确整合，虚拟脊椎测量影像可以上调/下调比例，或调整在空间上向x、y、z方向的偏移。
在一个实施例中，跟踪传感器1020在手术中持续跟踪固定于患者的基准标记3010的位置和姿势信息，如果感知到预先定义值以上的基准标记3010位置或姿势变动，则将其告知处理器。处理器判断在手术中患者2020姿势发生了变动后，可以重新整合虚拟脊椎测量影像4030。处理器可以重新实施前述整合过程，将虚拟脊椎测量影像4030的坐标系与患者2020的坐标系重新整合。
图8是图示本公开一个实施例的利用已整合的虚拟脊椎测量影像来控制机器臂的过程的图。
根据实施例，影像整合装置可以还包括机器臂1050。机器臂可以是附着在位于手术台侧面并可移动的机器人底座的形态。或者，机器臂可以为直接附着于手术台的形态。在机器臂的末端，可以还附着有能拆卸的手术工具1060。
在机器臂1050可以附着有标记3040。该标记3040可以称为机器臂标记。跟踪传感器可以获得机器臂标记3040的位置和姿势信息。因此，在整合了虚拟脊椎测量影像的患者的坐标系上，可以获得机器臂1050至手术工具1060的位置坐标或姿势信息。
在附着于机器臂1050末端的手术工具1060上也可以追加附着有标记3050。附着于手术工具的标记可以为轻量或小型的标记。跟踪传感器可以获得附着于手术工具的标记3050的位置和姿势信息。因此，在整合了虚拟脊椎测量影像的患者的坐标系上，可以获得手术工具1060的位置坐标或姿势信息。
处理器1040可以控制机器臂。处理器1040可以向机器臂1050发送用于控制机器臂的信号，控制机器臂的位置、姿势、动作等。
处理器1040在控制机器臂方面，可以利用从跟踪传感器获得的机器臂标记3040的位置和姿势信息和/或虚拟脊椎测量影像。其中，机器臂标记3040的位置信息可以是以与虚拟脊椎测量影像的坐标系整合的患者的坐标系为基准的空间位置坐标。其中，机器臂标记3040的姿势信息可以是关于机器臂标记3040在患者的坐标系上具有的姿势的信息。处理器1040可以利用在患者的坐标系上显示的机器臂1050的位置和姿势信息、在虚拟脊椎测量影像中显示的推定的脊椎位置，发送控制信号，使得机器臂移动到特定位置或特定姿势。
处理器1040还可以利用从跟踪传感器接受传递的标记的位置和姿势信息，控制手术工具的姿势。如果同时利用附着于手术工具的标记3050和机器臂标记3040的位置和姿势信息，则可以获得现在手术工具1060的倾斜程度等关于姿势的信息。处理器1040可以获得关于手术工具的姿势的信息，以此为基础，向机器臂1050发送控制信号，控制手术工具的姿势。
在一个实施例中，处理器1040如果通过跟踪传感器，感知到机器臂标记3040和/或附着于手术工具的标记3050的急剧位置或姿势变化，则可以向机器臂1050发送立即停止动作的信号。如果跟踪传感器感知的各标记的位置或姿势有急剧变化，则处理器1040为了患者的安全，可以向机器臂1050发送使机器臂1050停止的控制信号。
图9是显示本公开一个实施例的可借助于影像整合装置执行的影像整合方法的图。
在图9所示的流程图中，依次说明了流程步骤、方法步骤、算法等，但这些流程、方法及算法可以构成得按任意适合的顺序运转。换句话说，本公开的多样实施例中说明的进程、方法及算法的步骤无需按本公开中记述的顺序执行。另外，虽然说明的是一部分步骤按非同时方式执行的情形，但在其他实施例中，这种一部分步骤可以同时执行。另外，附图中描写的进程示例并不意味着举例的进程排除对其的不同变化及修订，不意味着举例的进程或其步骤中任意某一者是本公开的多样实施例中一者以上所必需的，不意味着举例的进程是优选的。
影像整合方法的一个实施例可以包括：获得患者的第一姿势下的第一背部表面扫描图像的步骤(s9010)；获得基准标记的位置和姿势信息和/或扫描仪标记的位置和姿势信息的步骤(s9020)；基于人体相关模型和/或第一背部表面扫描图像而生成虚拟第一脊椎测量影像的步骤(s9030)；和/或将虚拟第一脊椎测量影像整合于患者的步骤(s9040)。
首先，三维扫描仪1010可以三维扫描支撑于手术台的患者的第一姿势下的背部表面而获得第一背部表面扫描图像(s9010)。
跟踪传感器1020可以获得在手术对象患者的人体标识的基准标记的位置和姿势信息和/或在三维扫描仪标识的扫描仪标记的位置和姿势信息(s9020)。
存储器1030可以存储关于人体背部表面与脊椎的相关关系的人体相关模型。已与三维扫描仪1010、跟踪传感器1020和/或存储器1030电气连接的处理器1040，可以基于人体相关模型和/或第一背部表面扫描图像，生成推定手术对象患者的脊椎位置的虚拟第一脊椎测量影像(s9030)。
另外，处理器1040可以基于基准标记的位置和姿势信息和/或扫描仪标记的位置和姿势信息等，将虚拟第一脊椎测量影像的坐标系整合于手术对象患者的坐标系(s9040)。
在一个实施例中，处理器1040可以从第一背部表面扫描图像提取手术对象患者的第一姿势下的背部表面信息。另外，处理器1040可以基于人体相关模型和/或背部表面信息，获得手术对象患者的第一姿势下的脊椎位置信息。另外，处理器1040可以基于获得的脊椎位置信息，生成虚拟第一脊椎测量影像。
在一个实施例中，人体相关模型可以是利用三维扫描手术对象患者的第二姿势下的背部表面而获得的第二背部表面扫描图像、拍摄手术对象患者的第二姿势下的脊椎而获得的第二脊椎测量影像间的相关关系所生成的第一相关模型。第一相关模型可以是前述患者别人体相关模型。
在一个实施例中，人体相关模型可以是利用三维扫描在多个不同患者的组中选择的至少一个患者的背部表面而获得的第三背部表面扫描图像与拍摄该选择的至少一个患者的脊椎而获得的第三脊椎测量影像间的相关关系来补正第一相关模型而生成的第二相关模型。第二相关模型可以是前述基于数据库的人体相关模型。
在一个实施例中，影像整合装置的脊椎影像拍摄部可以拍摄手术对象患者的第一姿势下的脊椎而获得第四脊椎测量影像。处理器1040可以利用第四脊椎测量影像与第一背部表面扫描图像间的相关关系来补正人体相关模型。该补正可以是对前述人体相关模型的手术时姿势的补正。处理器1040可以利用补正的人体相关模型而生成虚拟第一脊椎测量影像。
在一个实施例中，处理器1040可以反复预定次数实施基于第四脊椎测量影像的人体相关模型补正。
在一个实施例中，跟踪传感器1020可以获得在机器臂标识的机器臂标记的位置和姿势信息。其中，影像整合装置可以还包括在末端附着有手术工具的机器臂。此时，处理器1040可以基于在与虚拟第一脊椎测量影像的坐标系整合的患者的坐标系上显示的机器臂标记的位置和姿势来控制机器臂。
在一个实施例中，处理器1040可以基于基准标记的位置和姿势信息、扫描仪标记的位置和姿势信息、扫描仪标记的位置和姿势信息及第一背部表面扫描图像间的第一坐标变换关系、和/或第一背部表面扫描图像与虚拟第一脊椎测量影像间的第二坐标变换关系，获得虚拟第一脊椎测量影像及基准标记的位置和姿势信息间的第三坐标变换关系。另外，处理器1040可以基于第三坐标变换关系，将虚拟第一脊椎测量影像的坐标系整合于患者的坐标系。
在一个实施例中，第二脊椎测量影像、第三脊椎测量影像和/或第四脊椎测量影像可以为前述CTA影像、MRI影像或CT影像之一。
所述方法通过特定实施例进行了说明，但所述方法也可以在计算机可读记录介质中，体现为计算机可读代码。计算机可读记录介质包括存储有可借助于计算机系统而读取的数据的所有种类的记录装置。作为计算机可读记录介质的示例，可以包括ROM(只读存储器)、RAM(随机存取存储器)、CD-ROM(只读光盘驱动器)、磁带、软盘、光数据存储装置等。另外，计算机可读记录介质分散于以网络连接的计算机系统，以分散方式存储计算机可读代码并运行。而且，体现所述实施例所需的功能性(functional)程序、代码及代码片段，可以由本公开所属技术领域的程序员容易地推导。
以上根据一部分实施例和附图图示的示例，说明了本公开的技术思想，但本公开所属技术领域的技术人员可以理解，在不超出本公开的技术思想及范围的范围内，可以实现多样的置换、变形及变更。另外，这种置换、变形及变更应视为属于附带的权利要求书。

Claims (20)

1.一种影像整合装置，其中，包括：
三维扫描仪，其三维扫描支撑于手术台的患者的第一姿势下的背部表面，获得第一背部表面扫描图像；
跟踪传感器，其获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪上标识的扫描仪标记的位置和姿势信息；
存储器，其存储关于所述患者的背部表面与脊椎的相关关系的人体相关模型；及
处理器，其与所述三维扫描仪、所述跟踪传感器及所述存储器电气连接；
所述处理器基于所述人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎位置的虚拟第一脊椎测量影像，基于所述基准标记的位置与姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系。
2.根据权利要求1所述的影像整合装置，其中，
所述处理器从所述第一背部表面扫描图像，提取所述患者的所述第一姿势下的背部表面信息，基于所述人体相关模型及所述背部表面信息，获得所述患者的所述第一姿势下的脊椎位置信息，基于所述脊椎位置信息，生成所述虚拟第一脊椎测量影像。
3.根据权利要求1所述的影像整合装置，其中，
所述人体相关模型是利用三维扫描所述患者的第二姿势下的背部表面而获得的第二背部表面扫描图像与拍摄所述患者的所述第二姿势下的脊椎而获得的第二脊椎测量影像间的相关关系而生成的第一相关模型。
4.根据权利要求3所述的影像整合装置，其中，
所述人体相关模型是利用三维扫描在多个不同患者的组中选择的至少一个患者的背部表面而获得的第三背部表面扫描图像与拍摄所述至少一个患者的脊椎而获得的第三脊椎测量影像间的相关关系来补正所述第一相关模型而生成的第二相关模型。
5.根据权利要求4所述的影像整合装置，其中，
还包括脊椎影像拍摄部，其拍摄所述患者的所述第一姿势下的脊椎，获得第四脊椎测量影像；
所述处理器利用所述第四脊椎测量影像与所述第一背部表面扫描图像间的相关关系，补正所述人体相关模型，利用所述补正的人体相关模型，生成所述虚拟第一脊椎测量影像。
6.根据权利要求5所述的影像整合装置，其中，
所述处理器反复预定次数实施基于所述第四脊椎测量影像的所述人体相关模型的补正。
7.根据权利要求1所述的影像整合装置，其中，
还包括机器臂，其在末端附着有手术工具；
所述跟踪传感器获得在所述机器臂标识的机器臂标记的位置和姿势信息，
所述处理器基于在与所述虚拟第一脊椎测量影像的坐标系整合的所述患者的坐标系上显示的所述机器臂标记的位置和姿势信息，控制所述机器臂。
8.根据权利要求1所述的影像整合装置，其中，
所述处理器基于所述基准标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息及所述第一背部表面扫描图像间的第一坐标变换关系、所述第一背部表面扫描图像与所述虚拟第一脊椎测量影像间的第二坐标变换关系，获得所述虚拟第一脊椎测量影像及所述基准标记的位置和姿势信息间的第三坐标变换关系，
基于所述第三坐标变换关系，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系。
9.根据权利要求5所述的影像整合装置，其中，
所述第二脊椎测量影像、所述第三脊椎测量影像及所述第四脊椎测量影像为CTA(Computed Tomography Angiography)影像、MRI(Magnetic Resonance Imaging)影像或CT(Computed Tomography)影像之一。
10.一种影像整合方法，其中，包括：
三维扫描仪三维扫描支撑于手术台的患者的第一姿势下的背部表面而获得第一背部表面扫描图像的步骤；
获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪标识的扫描仪标记的位置和姿势信息的步骤；
基于关于所述患者的背部表面与脊椎的相关关系的人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎的位置的虚拟第一脊椎测量影像的步骤；及
基于所述基准标记的位置和姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤。
11.根据权利要求10所述的影像整合方法，其中，
所述生成虚拟第一脊椎测量影像的步骤包括：
从所述第一背部表面扫描图像提取所述患者的所述第一姿势下的背部表面信息的步骤；
基于所述人体相关模型及所述背部表面信息，获得所述患者的所述第一姿势下的脊椎位置信息的步骤；及
基于所述脊椎位置信息，生成所述虚拟第一脊椎测量影像的步骤。
12.根据权利要求10所述的影像整合方法，其中，
所述人体相关模型是利用三维扫描所述患者的第二姿势下的背部表面而获得的第二背部表面扫描图像与拍摄所述患者的所述第二姿势下的脊椎而获得的第二脊椎测量影像间的相关关系而生成的第一相关模型。
13.根据权利要求12所述的影像整合方法，其中，
所述人体相关模型是利用三维扫描在多个不同患者的组中选择的至少一个患者的背部表面而获得的第三背部表面扫描图像与拍摄所述至少一个患者的脊椎而获得的第三脊椎测量影像间的相关关系来补正所述第一相关模型而生成的第二相关模型。
14.根据权利要求13所述的影像整合方法，其中，还包括：
拍摄所述患者的所述第一姿势下的脊椎而获得第四脊椎测量影像的步骤；及
利用所述第四脊椎测量影像与所述第一背部表面扫描图像间的相关关系而补正所述人体相关模型的步骤；
所述生成虚拟第一脊椎测量影像的步骤包括：利用所述补正的人体相关模型而生成所述虚拟第一脊椎测量影像的步骤。
15.根据权利要求14所述的影像整合方法，其中，
所述补正人体相关模型的步骤反复实施预定次数。
16.根据权利要求10所述的影像整合方法，其中，还包括：
获得在末端附着有手术工具的机器臂上标识的机器臂标记的位置和姿势信息的步骤；及
基于在与所述虚拟第一脊椎测量影像的坐标系整合的所述患者的坐标系上显示的所述机器臂标记的位置和姿势信息来控制所述机器臂的步骤。
17.根据权利要求10所述的影像整合方法，其中，
所述将虚拟的第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤包括：
基于所述基准标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息、所述扫描仪标记的位置和姿势信息及所述第一背部表面扫描图像间的第一坐标变换关系、及所述第一背部表面扫描图像与所述虚拟第一脊椎测量影像间的第二坐标变换关系，获得所述虚拟第一脊椎测量影像及所述基准标记的位置和姿势信息间的第三坐标变换关系的步骤；及
基于所述第三坐标变换关系，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤。
18.根据权利要求14所述的影像整合方法，其中，
所述第二脊椎测量影像、所述第三脊椎测量影像及所述第四脊椎测量影像为CTA(Computed Tomography Angiography)影像、MRI(Magnetic Resonance Imaging)影像或CT(Computed Tomography)影像之一。
19.一种计算机可读记录介质，作为记录了用于在计算机上执行的程序的非暂时性计算机可读记录介质，其中，
所述程序包括在借助于处理器而运行时，使处理器执行如下步骤的可运行命令：获得三维扫描仪三维扫描支撑于手术台的患者的第一姿势下的背部表面而获得的第一背部表面扫描图像的步骤；获得在所述患者的人体标识的基准标记的位置和姿势信息及在所述三维扫描仪标识的扫描仪标记的位置和姿势信息的步骤；基于关于所述患者的背部表面与脊椎的相关关系的人体相关模型及所述第一背部表面扫描图像，生成推定所述患者的脊椎的位置的虚拟第一脊椎测量影像的步骤；及基于所述基准标记的位置和姿势信息及所述扫描仪标记的位置和姿势信息，将所述虚拟第一脊椎测量影像的坐标系整合于所述患者的坐标系的步骤。
20.根据权利要求19所述的计算机可读记录介质，其中，
所述人体相关模型是利用三维扫描所述患者的第二姿势下的背部表面而获得的第二背部表面扫描图像与拍摄所述患者的所述第二姿势下的脊椎而获得的第二脊椎测量影像间的相关关系而生成的第一相关模型。
CN201880013038.9A 2017-02-21 2018-02-21 影像整合装置及影像整合方法 Active CN110325141B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762461507P 2017-02-21 2017-02-21
US62/461,507 2017-02-21
PCT/KR2018/002111 WO2018155894A1 (ko) 2017-02-21 2018-02-21 영상 정합 장치 및 영상 정합 방법

Publications (2)

Publication Number Publication Date
CN110325141A true CN110325141A (zh) 2019-10-11
CN110325141B CN110325141B (zh) 2022-05-06

Family

ID=63252797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013038.9A Active CN110325141B (zh) 2017-02-21 2018-02-21 影像整合装置及影像整合方法

Country Status (6)

Country Link
US (1) US11141225B2 (zh)
EP (1) EP3586787B1 (zh)
JP (1) JP6875559B2 (zh)
KR (1) KR102309823B1 (zh)
CN (1) CN110325141B (zh)
WO (1) WO2018155894A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006777A (zh) * 2020-07-31 2020-12-01 清华大学 基于表面跟踪的打钉手术机器人系统及控制方法
CN114041961A (zh) * 2021-11-05 2022-02-15 上海指景堂中医诊所有限公司 一种全自动整骨装置
CN115439453A (zh) * 2022-09-13 2022-12-06 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN115868999A (zh) * 2023-02-01 2023-03-31 苏州一目万相科技有限公司 射线成像系统的定位方法、定位装置和可读存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11576578B2 (en) 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
CN104644205A (zh) * 2015-03-02 2015-05-27 上海联影医疗科技有限公司 用于影像诊断的患者定位方法及系统
US11576645B2 (en) 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
CN109692050B (zh) * 2018-12-26 2020-05-22 雅客智慧（北京）科技有限公司 一种牙科种植导航手术的标定、追踪方法和装置
KR102509659B1 (ko) * 2019-01-10 2023-03-15 한국전자통신연구원 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법
AU2020209754A1 (en) * 2019-01-14 2021-07-29 Nuvasive, Inc. Prediction of postoperative global sagittal alignment based on full-body musculoskeletal modeling and posture optimization
JP7439603B2 (ja) 2020-03-23 2024-02-28 Ｔｏｐｐａｎホールディングス株式会社 可視化装置、可視化方法、およびプログラム
AU2021291294A1 (en) 2020-06-19 2023-02-02 Remedy Robotics, Inc. Systems and methods for guidance of intraluminal devices within the vasculature
CN113017852B (zh) * 2021-03-03 2022-11-15 上海联影医疗科技股份有限公司 医学成像扫描过程的交互体验方法、设备和电子装置
CA3222522A1 (en) 2021-07-01 2023-01-05 David James Bell Vision-based position and orientation determination for endovascular tools
US11707332B2 (en) 2021-07-01 2023-07-25 Remedy Robotics, Inc. Image space control for endovascular tools
KR102566240B1 (ko) * 2021-07-21 2023-08-14 주식회사 화승알앤에이 3차원 이미지 측정 시스템 및 방법
US20230196595A1 (en) * 2021-12-20 2023-06-22 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
DE102022100923A1 (de) * 2022-01-17 2023-07-20 B. Braun New Ventures GmbH Navigationssystem mit 3D-Oberflächenscanner und Navigationsverfahren
CN116896608B (zh) * 2023-09-11 2023-12-12 山东省地震局 一种虚拟地震场景演播系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1803414A1 (en) * 2005-12-30 2007-07-04 DePuy Products, Inc. Apparatus and method for registering a bone of a patient with a computer assisted orthopaedic surgery system
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
CN102429726A (zh) * 2011-08-03 2012-05-02 哈尔滨工业大学 基于图像导航的并联机器人辅助人工颈椎间盘置换手术定位方法
CN202751447U (zh) * 2012-07-20 2013-02-27 北京先临华宁医疗科技有限公司 一种基于结构光扫描的椎弓根内固定手术导航系统
CN103040525A (zh) * 2012-12-27 2013-04-17 深圳先进技术研究院 一种多模医学影像手术导航方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1214688B1 (en) 2000-01-14 2005-08-31 Koninklijke Philips Electronics N.V. Processing method and system for 3-d geometric modeling of the spine
US6856826B2 (en) * 2000-04-28 2005-02-15 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
US7209776B2 (en) 2002-12-03 2007-04-24 Aesculap Ag & Co. Kg Method of determining the position of the articular point of a joint
US7894649B2 (en) 2006-11-02 2011-02-22 Accuray Incorporated Target tracking using direct target registration
CA2797302C (en) 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US9524552B2 (en) * 2011-08-03 2016-12-20 The Regents Of The University Of California 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
KR101403968B1 (ko) 2012-03-13 2014-06-10 박효영 의료수술 시뮬레이션 장치 및 그 방법
JP6633353B2 (ja) * 2014-11-06 2020-01-22 国立大学法人北海道大学 脊柱変形矯正固定術支援装置、脊柱変形矯正固定術支援方法、プログラム、及び脊柱変形矯正固定術に使用するロッド製造方法
JP6063599B1 (ja) 2016-08-01 2017-01-18 林　俊輔 インプラント手術補助システムおよびインプラント手術補助方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1803414A1 (en) * 2005-12-30 2007-07-04 DePuy Products, Inc. Apparatus and method for registering a bone of a patient with a computer assisted orthopaedic surgery system
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
CN102429726A (zh) * 2011-08-03 2012-05-02 哈尔滨工业大学 基于图像导航的并联机器人辅助人工颈椎间盘置换手术定位方法
CN202751447U (zh) * 2012-07-20 2013-02-27 北京先临华宁医疗科技有限公司 一种基于结构光扫描的椎弓根内固定手术导航系统
CN103040525A (zh) * 2012-12-27 2013-04-17 深圳先进技术研究院 一种多模医学影像手术导航方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112006777A (zh) * 2020-07-31 2020-12-01 清华大学 基于表面跟踪的打钉手术机器人系统及控制方法
CN112006777B (zh) * 2020-07-31 2022-03-29 清华大学 基于表面跟踪的打钉手术机器人系统及控制方法
CN114041961A (zh) * 2021-11-05 2022-02-15 上海指景堂中医诊所有限公司 一种全自动整骨装置
CN115439453A (zh) * 2022-09-13 2022-12-06 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN115439453B (zh) * 2022-09-13 2023-05-26 北京医准智能科技有限公司 一种脊椎椎体定位方法、装置、电子设备及存储介质
CN115868999A (zh) * 2023-02-01 2023-03-31 苏州一目万相科技有限公司 射线成像系统的定位方法、定位装置和可读存储介质

Also Published As

Publication number Publication date
KR102309823B1 (ko) 2021-10-08
CN110325141B (zh) 2022-05-06
EP3586787B1 (en) 2021-09-15
US11141225B2 (en) 2021-10-12
US20200015911A1 (en) 2020-01-16
EP3586787A1 (en) 2020-01-01
JP2020508200A (ja) 2020-03-19
JP6875559B2 (ja) 2021-05-26
KR20190105092A (ko) 2019-09-11
WO2018155894A1 (ko) 2018-08-30
EP3586787A4 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
CN110325141A (zh) 影像整合装置及影像整合方法
US20230346507A1 (en) Augmented reality display for cardiac and vascular procedures with compensation for cardiac motion
CN109419524B (zh) 医学成像系统的控制
US7831096B2 (en) Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US7885441B2 (en) Systems and methods for implant virtual review
US9320569B2 (en) Systems and methods for implant distance measurement
US20080300478A1 (en) System and method for displaying real-time state of imaged anatomy during a surgical procedure
CN202751447U (zh) 一种基于结构光扫描的椎弓根内固定手术导航系统
EP2583251B1 (en) A method for determining articular bone deformity resection using motion patterns
US20080154120A1 (en) Systems and methods for intraoperative measurements on navigated placements of implants
CN104272348B (zh) 用于对对象进行成像的成像装置和方法
US9713508B2 (en) Ultrasonic systems and methods for examining and treating spinal conditions
WO2011019456A1 (en) Ct atlas of musculoskeletal anatomy to guide treatment of sarcoma
US20230320700A1 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
US11246569B2 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
US20080119724A1 (en) Systems and methods for intraoperative implant placement analysis
EP1465541B1 (en) Method and apparatus for reconstructing bone surfaces during surgery
KR20160041803A (ko) 영상 처리 장치, 영상 처리 장치 제어 방법 및 의료 영상 장치
CN114732518A (zh) 用于单个图像配准更新的系统和方法
Mahfouz et al. Reconstruction of 3D Patient-Specific Bone Models From Biplanar X-Ray Images Utilizing Morphometric Measurements.
Vannier Evaluation of 3D imaging
JP5936111B2 (ja) 関節対の可動域予測装置
US20230263498A1 (en) System and methods for calibration of x-ray images
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
CN117197290A (zh) 基于超声图像的整体图像生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant after: Gaoying Technology Co.,Ltd.

Applicant after: Industry-University Cooperation Foundation Hanyang University ERICA Campus

Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant before: KOH YOUNG TECHNOLOGY Inc.

Applicant before: Industry-University Cooperation Foundation Hanyang University ERICA Campus

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Han Guoshouershi

Applicant after: Gaoying Technology Co.,Ltd.

Applicant after: Industry-University Cooperation Foundation Hanyang University ERICA Campus

Address before: 15 / F, 14 / F, No.53, Jiashan digital 2 Road, Jinchuan District, Seoul, Korea

Applicant before: Gaoying Technology Co.,Ltd.

Applicant before: Industry-University Cooperation Foundation Hanyang University ERICA Campus

GR01 Patent grant
GR01 Patent grant