CN112515763B - 目标物的定位显示方法、系统、装置和电子设备 - Google Patents

目标物的定位显示方法、系统、装置和电子设备 Download PDF

Info

Publication number
CN112515763B
CN112515763B CN202011364324.5A CN202011364324A CN112515763B CN 112515763 B CN112515763 B CN 112515763B CN 202011364324 A CN202011364324 A CN 202011364324A CN 112515763 B CN112515763 B CN 112515763B
Authority
CN
China
Prior art keywords
preoperative
target object
sequence
information
breathing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011364324.5A
Other languages
English (en)
Other versions
CN112515763A (zh
Inventor
司伟鑫
李若桐
王平安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011364324.5A priority Critical patent/CN112515763B/zh
Publication of CN112515763A publication Critical patent/CN112515763A/zh
Application granted granted Critical
Publication of CN112515763B publication Critical patent/CN112515763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Plasma & Fusion (AREA)
  • Otolaryngology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请适用于计算机技术领域，提供了一种目标物的定位显示方法、系统、装置和电子设备，包括：获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的；根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示。本申请可有效定位显示目标物，提高目标物定位显示的效率。

Description

目标物的定位显示方法、系统、装置和电子设备
技术领域
本申请属于计算机技术领域，尤其涉及一种目标物的定位显示方法、系统、装置和电子设备。
背景技术
射频消融术(RFA)在过去十年发展迅速，已成为肝肿瘤患者广泛接受的治疗选择。然而，传统射频消融术利用二维CT图像作为手术引导信息，将术前规划的穿刺路径显示在手术台上方的显示屏上，医生在手术过程中通过观察显示屏上术前规划的穿刺路径，依据经验将射频消融针经皮穿刺到靶区相应位置。由于二维CT图像提供的只是二维、静态信息，在穿刺过程中，为了准确定位肿瘤，医生需要通过经验对靶区的三维解剖结构进行想象，以避免在穿刺过程中损伤靶区周围的关键结构。
然而，在病人进行自主呼吸的情况，对肿瘤靶区的定位显示尤为困难。
发明内容
本申请实施例提供了一种目标物的定位显示方法、系统、装置和电子设备，可以解决现有技术中存在对肿瘤靶区的定位显示尤为困难的问题。
第一方面，本申请实施例提供了一种目标物的定位显示方法，包括：
获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的；
根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；
根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；
将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示。
在第一方面的一种可能的实现方式中，所述呼吸运动模型的构建，包括：
获取术前图像序列，所述术前图像序列是术前对目标物在预设的第二时间段内连续扫描得到的；
基于所述术前图像序列，获取一个呼吸周期下所述目标物的体表标记点的第一术前位置序列与体内标记点的第二术前位置序列；
将所述第一术前位置序列与所述第二术前位置序列进行合并，得到所述体表标记点与所述体内标记点的合并位置序列；
根据所述第一术前位置序列中的第一术前位置与所述第二术前位置序列中的第二术前位置，确定所述目标物的术前平均位置；
根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型。
在第一方面的一种可能的实现方式中，所述根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型的步骤，包括：
获取变形场，所述变形场包括第一变形场和第二变形场，所述第一变形场为所述合并位置序列中的第一术前位置序列与体表参考位置的位移差值，所述第二变形场为所述合并位置序列中的第二术前位置序列与体内参考位置的位移差值；
根据所述变形场与所述术前平均位置，获取所述目标物在指定的呼吸状态下位置的高斯分布；
根据所述目标物在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息；
根据所述关联信息构建所述呼吸运动模型。
在第一方面的一种可能的实现方式中，所述根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息的步骤，包括：
获取所述目标物的术中参考位置；
根据所述目标物的体表标记点的第一位置信息与所述预先构建的呼吸运动模型，确定呼吸状态特征；
根据所述目标物的术中参考位置与所述呼吸状态特征，确定所述目标物在一个呼吸周期内的第二位置信息。
在第一方面的一种可能的实现方式中，所述根据所述目标物的术中参考位置与所述呼吸状态特征，确定所述目标物在一个呼吸周期内的第二位置信息的步骤，包括：
根据下式确定所述目标物在一个呼吸周期内的第二位置信息ST：
Figure GDA0003166395610000031
其中，sT(t0)表示所述目标物的术中参考位置，Ci表示所述目标物的第i个呼吸状态特征，ci·ΔST(ti)表示呼吸状态特征ci下目标物对应的位置。
在第一方面的一种可能的实现方式中，所述将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示的步骤，包括：
根据预设的坐标置换算法，对所述第二位置信息进行坐标置换；
将进行坐标置换后的第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据坐标置换后的位置信息对所述目标物进行增强显示。
第二方面，本申请实施例提供了一种目标物的定位显示装置，包括：
图像序列获取单元，用于获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的；
体表标记点位置获取单元，用于根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；
目标物位置预测单元，用于根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；
目标物显示单元，用于将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示。
第三方面，本申请实施例提供了一种目标物的定位显示系统，包括：电子设备、4D计算机断层扫描设备、头戴式增强显示设备，其中：
所述4D计算机断层扫描设备用于扫描目标物，并将在预设的第一时间段内连续扫描所述目标物得到的图像序列发送至所述电子设备；
所述电子设备用于获取所述图像序列；根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；将所述第二位置信息发送至头戴式增强显示设备；
所述头戴式增强显示设备用于根据所述第二位置信息对所述目标物进行增强显示。
第四方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的目标物的定位显示方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的目标物的定位显示方法。
第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如上述第一方面所述的目标物的定位显示方法。
本申请实施例中，通过获取对目标物在预设的第一时间段内连续扫描得到的图像序列，根据所述图像序列，确定所述目标物的体表标记点的第一位置信息，然后根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息，可提高目标物的位置预测的准确性，再将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示，从而实现对目标物的有效的定位显示。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的目标物的定位显示系统的系统架构图；
图2是本申请实施例提供的目标物的定位显示方法的实现流程图；
图3是本申请实施例提供的目标物的定位显示方法中构建呼吸运动模型的具体实现流程；
图4是本申请实施例提供的目标物的定位显示方法中步骤A5的具体实现流程图；
图5是本申请实施例提供的目标物的定位显示方法中步骤S203的具体实现流程图；
图6是本申请实施例提供的目标物的定位显示方法中步骤S204的具体实现流程图；
图7是本申请实施例提供的目标物的定位显示装置的结构框图；
图8是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供了一种目标物的定位显示方法适用于需要目标物的定位显示的各种类型的电子设备，具体可以包括可穿戴设备、增强现实(AR)设备，虚拟现实(VR)设备等电子设备。
下面结合具体实施例对本申请提供的目标物的定位显示方法进行示例性的说明。
图1示出了本申请实施例提供的一种目标物的定位显示系统的系统架构图，详述如下：为了便于说明，仅示出了与本申请实施例相关的部分。
参照图1，所述目标物的定位显示系统包括电子设备1、4D计算机断层扫描设备2、头戴式增强显示设备3，其中：
所述4D计算机断层扫描设备2用于扫描目标物，并将在预设的第一时间段内连续扫描所述目标物得到的图像序列发送至所述电子设备1。
在一些实施方式中，上述目标物位于目标活体上的目标区域中。上述目标物可以为肿瘤，例如，肝脏肿瘤、腹部肿瘤等。
在一些实施方式中，上述预设的第一时间段可根据指定个数的呼吸间隔时间确定。所述呼吸间隔是指目标活体对应的呼吸间隔。
在本申请实施例中，利用4D计算机断层扫描设备2(4D-CT)对目标活体的目标区域进行连续扫描，获取目标活体在指定个数的呼吸间隔时间内目标物的4D-CT图像序列，并将该4D-CT图像序列实时发送至电子设备1。
所述电子设备1用于获取所述图像序列，根据所述图像序列，确定所述目标物的体表标记点的第一位置信息，根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息，将所述第二位置信息发送至头戴式增强显示设备3。
在本申请实施例中，上述电子设备1根据4D-CT实时发送的4D-CT图像序列，对目标物在目标活体中的位置信息进行预测，并将预测确定的目标物的位置信息实时发送至头戴式增强显示设备3。
所述头戴式增强显示设备3用于根据所述第二位置信息对所述目标物进行增强显示。
在本申请实施例中，通过上述头戴式增强显示设备3根据目标物的第二位置信息对目标物进行定位，并进行增强显示，方便用户在术中快速有效的查看目标物。
作为本申请一种可能的实施方式，上述电子设备1还用于对获取的图像序列进行预处理，其中，所述预处理包括图像滤波、去噪以及图像增强中的一种或者多种。
在另一些实施方式中，上述预处理还包括背光或暗光处理、聚焦处理中的一种或者多种。
在本申请实施例中，上述目标物的定位显示系统可以采用WIFI技术或3G/4G/5G等技术建立电子设备1与4D计算机断层扫描设备2、头戴式增强显示设备3之间的无线通讯连接。在一些实施方式中，也可以采用串口技术或者USB接口技术等技术建立电子设备1与4D计算机断层扫描设备2之间的有线连接。
在本申请实施例中，多个头戴式增强显示设备3之间也可以采用采用WIFI技术或3G/4G/5G等技术进行无线通信连接。
作为本申请一种可能的实施方式，上述目标物的定位显示系统还包括光学追踪器，所述光学追踪器用于基于所述图像序列，追踪获取目标物体表标记点和体内标记点的位置信息。
在本申请实施例中，上述电子设备1可同时连接不止一个头戴式增强显示设备3。
示例性地，在一种应用场景中，外科医生使用增强现实智能眼镜Epson MoveRioBT300将靶区虚拟三维模型及手术穿刺引导信息显示叠加在真实物体上，与此同时医生助理在固定位置佩戴混合现实头戴式显示器HoloLens，从另一角度配合外科医生工作，为外科医生提供其他角度的补充信息和录像。
本申请实施例中，通过4D计算机断层扫描设备扫描目标物，并将在预设的第一时间段内连续扫描所述目标物得到的多维图像序列发送至所述电子设备，然后通过电子设备获取所述图像序列，根据所述图像序列，确定所述目标物的体表标记点的第一位置信息，根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息，可提高目标物的位置预测的准确性，再将所述第二位置信息发送至头戴式增强显示设备，通过所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示，从而实现对目标物的有效的定位显示，方便用户快速对靶区进行定位。
图2示出了本申请实施例提供的目标物的定位显示方法的实现流程，该方法流程可以包括如下步骤S201至S204。
S201：获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的。
在本申请实施例中，上述目标物位于目标活体上的目标区域中。上述图像序列中包括多帧图像。
在一些实施方式中，上述目标活体可以为人体，上述目标物可以为肿瘤，例如，肝脏肿瘤、腹部肿瘤等。
在一些实施方式中，上述预设的第一时间段可根据指定个数的呼吸间隔时间确定，例如根据10个呼吸间隔时间确定。所述呼吸间隔是指目标活体对应的呼吸间隔。
在本申请实施例中，利用4D-CT对目标活体的目标区域进行连续扫描，获取目标活体在指定个数的呼吸间隔时间内目标物的多帧4D-CT图像，组成4D-CT图像序列，实时发送所述4D-CT图像序列至电子设备，电子设备实时获取该4D-CT图像序列。
在本申请实施例中，获取4D-CT扫描发送的目标物的图像序列，有利于获取目标物的多维特征信息。
S202：根据所述图像序列，确定所述目标物的体表标记点的第一位置信息。
在本申请实施例中，上述第一位置信息包含每个体表标记点在上述第一时间段内随着呼吸状态特征的变化而产生的相应位置。体表标记点位于目标活体的目标区域的体表，用于光学追踪器追踪位置。
所述第一位置信息包括第一位置序列，所述第一位置序列由多个体表标记点分别对应的第一位置构成。
在一些可能的实施方式中，上述目标物上体表标记点的个数和体内标记点的个数可由医生指定。在另一些实施方式中，上述目标物上体表标记点的个数和体内标记点的个数可根据目标物的大小确定。
S203：根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息。
在本申请实施例中，上述第二位置信息包含目标物在上述第一时间段内随着呼吸状态特征的变化而产生的相应位置。
作为本申请一种可能的实施方式，图3示出了本申请实施例提供的目标物的定位显示方法中构建呼吸运动模型的具体实现流程：详述如下：
A1：获取术前图像序列，所述术前图像序列是术前对目标物在预设的第二时间段内连续扫描得到的。
上述预设的第二时间段可根据指定个数的呼吸间隔时间确定，例如根据15个呼吸间隔时间确定。所述呼吸间隔是指目标活体对应的呼吸间隔。
在本申请实施例中，在术前利用4D-CT对目标活体的目标区域进行连续扫描，获取目标活体在指定个数的呼吸间隔时间内目标物的多帧术前的4D-CT图像，组成4D-CT术前图像序列，实时发送所述4D-CT术前图像序列至电子设备，电子设备实时获取该4D-CT术前图像序列。
A2：基于所述术前图像序列，获取一个呼吸周期下所述目标物的体表标记点的第一术前位置序列与体内标记点的第二术前位置序列。
上述第一术前位置序列包括上述体表标记点术前在上述第二时间段内随着呼吸状态特征的变化而产生的相应位置。上述第二术前位置序列包括上述体内标记点术前在上述第二时间段内随着呼吸状态特征的变化而产生的相应位置。
在本申请实施例中，目标物在目标活体体内，上述体内标记点术前在上述第二时间段内随着呼吸状态特征的变化而产生的相应位置，也即目标物术前在上述第二时间段内随着呼吸状态特征的变化而产生的相应位置。
A3：将所述第一术前位置序列与所述第二术前位置序列进行合并，得到所述体表标记点与所述体内标记点的合并位置序列。
在本申请实施例中，上述第一术前位置序列用第一位置矩阵表示，上述第二术前位置序列用第二位置矩阵表示，将第一位置矩阵与第二位置矩阵合并，得到合并位置矩阵，该合并位置矩阵即为上述合并位置序列。
示例性地，根据上述第一术前位置序列，构建3×6的第一位置矩阵，表示为SM(t)，根据上述第二术前位置序列，构建3×1的第二位置矩阵，表示为ST(t)，将SM(t)与ST(t)合并，得到3×7的合并位置矩阵，表示为SM，T(t)，t为时刻。
A4：根据所述第一术前位置序列中的第一术前位置与所述第二术前位置序列中的第二术前位置，确定所述目标物的术前平均位置。
具体地，根据上述第一术前位置的坐标与上述第二术前位置序列的坐标的平均坐标值，确定上述目标物的术前平均位置。
A5：根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型。
作为本申请一种可能的实施方式，如图4所示，上述根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型的步骤A5，具体包括：
B1：获取变形场，所述变形场包括第一变形场和第二变形场，所述第一变形场为所述合并位置序列中的第一术前位置序列与体表参考位置的位移差值，所述第二变形场为所述合并位置序列中的第二术前位置序列与体内参考位置的位移差值。
在本申请实施例中，将体表标记点与体内标记点看做一个整体，将上述平均位置作为该整体的参考位置，上述变形场即为该整体的术前位置与参考位置的位移差值。
示例性地，根据下述公式(1)获取变形场ΔSM，T：
Figure GDA0003166395610000111
其中，SM，T(t)为合并位置矩阵，
Figure GDA0003166395610000112
为术前平均位置，t表示时刻。
在一种可能的实施方式中，分别计算体表标记点相对于体表参考位置的第一变形场，以及体内标记点(也即目标物)相对于体内参考位置的第二变形场。
示例性地，根据
Figure GDA0003166395610000121
确定第一变形场，根据
Figure GDA0003166395610000122
Figure GDA0003166395610000123
确定第二变形场，其中，
Figure GDA0003166395610000124
为体表参考位置，
Figure GDA0003166395610000125
为体内参考位置。
B2：根据所述变形场与所述术前平均位置，获取所述目标物在指定的呼吸状态下位置的高斯分布。
在本申请实施例中，体表标记点与目标物在指定的呼吸状态下的位置服从高斯分布，因此，体表标记点与目标物的位置可以表示为不同呼吸状态的高斯分布的混合。具体可表示为p(x)，p(x)是任意时刻的呼吸状态，它可以被表示成不同呼吸状态的高斯分布的混合。
具体地，
Figure GDA0003166395610000126
上述公式(2)中计算混合高斯回归模型，其中，m＝8。
B3：根据所述目标物在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息。
本申请实施例中，将一个完整的呼吸周期回归到8个呼吸状态相对于参考状态的位置{ΔSM，T(t1)，ΔSM，T(t2)，...，ΔSM，T(t8)}上，(这八个状态包括呼吸周期中呼-吸(吸-呼)切换的两个状态及该两个状态之间的两个过渡状态，吸(呼)气最深时的两个状态及该两个状态之间的两个过渡状态。根据所述目标物在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息。
B4：根据所述关联信息构建所述呼吸运动模型。
在本申请实施例中，在术中某一时刻我们通过光学跟踪设备捕捉到体表标记点的第一位置信息OM(t)，根据OM(t)和预设的呼吸运动模型对体内目标物的第二位置信息进行预测。
作为本申请一种可能的实施方式，图5示出了本申请实施例提供的目标物的定位显示方法步骤S203的具体实现流程：详述如下：
C1：获取所述目标物的术中参考位置。所述术中参考位置可以根据历史术中位置数据统计确定。
C2：根据所述目标物的体表标记点的第一位置信息与所述预先构建的呼吸运动模型，确定呼吸状态特征。
在本申请实施例中，假设任意时刻目标活体(可以为患者)体表标记点的运动和体内标记点(即目标物)总是处于同一呼吸状态下，在某一时刻，患者体表标记点和肿瘤的位置信息可根据上述八个呼吸状态的线性组合表示，具体地，如下述公式(3)表示：
Figure GDA0003166395610000131
其中，SM，T(t0)表示术中参考位置，ci表示呼吸状态特征，ΔSM，T(ti)表示呼吸状态特征ci对应的体表标记点和目标物对应的位置信息。
在一种可能的实施方式中，利用最小二乘法对下述公式(4)进行计算，确定目标活体当前的呼吸状态特征：
Figure GDA0003166395610000132
其中，OM(t)为体表标记点的第一位置信息，SM(t0)为术中体表标记点的参考位置，ΔSM(ti)为根据呼吸运动模型确定的呼吸状态特征ci对应的体表标记点的术中位置。
示例性地，ΔSM，T(ti)为[3×7]的矩阵，其1至6行(3×6矩阵)表示该呼吸状态下体表标记点对应的位置ΔSM(ti)，第7行(3×1矩阵)表示表示该呼吸状态下目标物(也即体内标记点)对应的位置ΔST(ti)。
C3：根据所述目标物的术中参考位置与所述呼吸状态特征，确定所述目标物在一个呼吸周期内的第二位置信息。
作为本申请一种可能的实施方式，根据下述公式(5)确定所述目标物在一个呼吸周期内的第二位置信息ST：
Figure GDA0003166395610000133
其中，sT(t0)表示所述目标物的术中参考位置，ci表示所述目标物的第i个呼吸状态特征，ΔST(ti)表示呼吸状态特征ci下目标物对应的位置。
在本申请实施例中，上述ci为根据上述公式(4)计算得到的实时呼吸状态特征。
在本申请实施例中，在任意时刻，体表标记点与目标物处在同一呼吸状态，因此在获取体表标记点的第一位置信息，通过上述公式(4)计算得到目标活体的呼吸状态特征，进而可根据上述公式(5)确定在相应呼吸状态特征下目标物的位置。
作为本申请一种可能的实施方式，为了校准患者术前与术中的体位差异，我们在手术开始前要对患者进行一次术中扫描，通过术前与术中4D-CT图像序列计算出
Figure GDA0003166395610000141
根据下述公式(6)对术前所建立的呼吸运动模型进行校准：
Figure GDA0003166395610000142
再利用最小二乘法对下述公式(7)进行计算，确定目标活体当前的呼吸状态特征：
Figure GDA0003166395610000143
上述
Figure GDA0003166395610000144
表示从术前4D-CT图像CTpre与术中4D-CT图像CTInt之间的坐标转换矩阵，上述
Figure GDA0003166395610000145
表示从术前4D-CT图像CTpre与术中4D-CT图像CTInt之间的坐标转换矩阵，其最简单直观的计算方法为：借助CT影像，在术前和术中图像上对不少于三组骨性解剖特征点进行标记，而后通过矩阵计算或ICP算法计算出患者术前与术中的体位变化的转换矩阵，将其作用于术中NDI光学跟踪设备捕捉到的体表标记点第一位置OM(t)，可以得到其在校准后相应的第一位置O′M(t)。
S204：将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示
作为本申请一种可能的实施方式，图6示出了本申请实施例提供的目标物的定位显示方法步骤S204的具体实现流程：详述如下：
D1：根据预设的坐标置换算法，对所述第二位置信息进行坐标置换。
D2：将进行坐标置换后的第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据坐标置换后的位置信息对所述目标物进行增强显示。
在本申请实施例中，由于涉及到多个设备，如电子设备、头戴式增强显示设备，以及光学追踪器，因此，需要对多个设备标定及空间坐标统一。
例如，穿刺消融针，当它上面固定NDI标记点时，标记点位于针尾，而在手术穿刺过程中我们需要定位的是针尖。这里我们把通过NDI光学跟踪设备实时获取到的标记点的位置称为全局坐标，而对于针尖到针尾标记点之前的坐标转换称为局部坐标变换。
在本申请实施例中，我们将光学跟踪器的坐标定义为世界坐标，同时在手术场景和全息显示设备进行标定。对于场景中每个实用程序，我们采用全局坐标标定和局部坐标转换两个步骤来实现系统的精确校准。我们首先进行各个设备坐标TUti到世界坐标的全局转换，用
Figure GDA0003166395610000151
表示从固定在手术场景中的各材料、器械上的光学标记坐标到世界坐标的转换。Tra指的是光学跟踪标记点，本实施例中，体表标记点为光学跟踪标记点。Uti指手术场景中出现的各个实物。Nee指穿刺针(Needle)，Ani指患者，Dis1为第一穿戴式增强设备，例如Epson MoviRio，Dis2为第二穿戴式增强设备，例如MicRosoftHoloLens。
Figure GDA0003166395610000152
指通过光学跟踪标记点的坐标来获取场景中各个实物的姿态、位置的全局坐标，即完成各实物的全局坐标转换。
Figure GDA0003166395610000153
表示由“下标”到“上标”的坐标转换。例如，
Figure GDA0003166395610000154
表示穿刺针到光学跟踪标记点的坐标转换。
为了在头戴式增强现实显示设备上将虚拟三维模型和手术导航提示信息正确地投影在手术场景中，这里还需要进行从手术场景世界坐标系到头戴式增强现实显示设备的显示坐标系之间的转换
Figure GDA0003166395610000155
由上可见，本申请实施例中，通过获取对目标物在预设的第一时间段内连续扫描得到的图像序列，根据所述图像序列，确定所述目标物的体表标记点的第一位置信息，然后根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息，可提高目标物的位置预测的准确性，再将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示，从而实现对目标物的有效的定位显示。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的目标物的定位显示方法，图7示出了本申请实施例提供的目标物的定位显示装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该目标物的定位显示装置包括：图像序列获取单元71，体表标记点位置获取单元72，目标物位置预测单元73，目标物显示单元74，其中：
图像序列获取单元71，用于获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的；
体表标记点位置获取单元72，用于根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；
目标物位置预测单元73，用于根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；
目标物显示单元74，用于将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示。
在一种可能的实施方式中，所述目标物的定位显示装置还包括：
术前图像采集单元，用于获取术前图像序列，所述术前图像序列是术前对目标物在预设的第二时间段内连续扫描得到的；
位置序列获取单元，用于基于所述术前图像序列，获取一个呼吸周期下所述目标物的体表标记点的第一术前位置序列与体内标记点的第二术前位置序列；
序列合并单元，用于将所述第一术前位置序列与所述第二术前位置序列进行合并，得到所述体表标记点与所述体内标记点的合并位置序列；
平均位置确定单元，用于根据所述第一术前位置序列中的第一术前位置与所述第二术前位置序列中的第二术前位置，确定所述目标物的术前平均位置；
模型构建单元，用于根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型。
在一种可能的实施方式中，所述模型构建单元包括：
位移获取模块，用于获取变形场，所述变形场包括第一变形场和第二变形场，所述第一变形场为所述合并位置序列中的第一术前位置序列与体表参考位置的位移差值，所述第二变形场为所述合并位置序列中的第二术前位置序列与体内参考位置的位移差值；
位置分布确定模块，用于根据所述变形场与所述术前平均位置，获取所述目标物在指定的呼吸状态下位置的高斯分布；
信息关联模块，用于根据所述目标物在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息；
呼吸运动模型构建模块，用于根据所述关联信息构建所述呼吸运动模型。
在一种可能的实施方式中，所述目标物位置预测单元73包括：
术中参考位置获取模块，用于获取所述目标物的术中参考位置；
呼吸状态特征确定模块，用于根据所述目标物的体表标记点的第一位置信息与所述预先构建的呼吸运动模型，确定呼吸状态特征；
目标物位置预测模块，用于根据所述目标物的术中参考位置与所述呼吸状态特征，确定所述目标物在一个呼吸周期内的第二位置信息。
在一种可能的实施方式中，所述目标物位置预测模块具体用于：
根据下式确定所述目标物在一个呼吸周期内的第二位置信息ST：
Figure GDA0003166395610000181
其中，sT(t0)表示所述目标物的术中参考位置，ci表示所述目标物的第i个呼吸状态特征，ΔST(ti)表示呼吸状态特征ci下目标物对应的位置。
在一种可能的实施方式中，所述目标物显示单元74包括：
坐标置换模块，用于根据预设的坐标置换算法，对所述第二位置信息进行坐标置换；
增强显示模块，用于将进行坐标置换后的第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据坐标置换后的位置信息对所述目标物进行增强显示。
由上可见，本申请实施例中，通过获取对目标物在预设的第一时间段内连续扫描得到的图像序列，根据所述图像序列，确定所述目标物的体表标记点的第一位置信息，然后根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息，可提高目标物的位置预测的准确性，再将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示，从而实现对目标物的有效的定位显示。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如图1至图6表示的任意一种目标物的定位显示方法的步骤。
本申请实施例还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如图1至图6表示的任意一种目标物的定位显示方法的步骤。
本申请实施例还提供一种计算机程序产品，当该计算机程序产品在电子设备上运行时，使得电子设备执行实现如图1至图6表示的任意一种目标物的定位显示方法的步骤。
图8是本申请一实施例提供的电子设备的示意图。如图8所示，该实施例的电子设备8包括：处理器80、存储器81以及存储在所述存储器81中并可在所述处理器80上运行的计算机程序82。所述处理器80执行所述计算机程序82时实现上述各个目标物的定位显示方法实施例中的步骤，例如图2所示的步骤S201至S204。或者，所述处理器80执行所述计算机程序82时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元71至74的功能。
示例性的，所述计算机程序82可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器81中，并由所述处理器80执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序82在所述电子设备8中的执行过程。
所述电子设备8可以是智能计算设备。所述电子设备8可包括，但不仅限于，处理器80、存储器81。本领域技术人员可以理解，图8仅仅是电子设备8的示例，并不构成对电子设备8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备8还可以包括输入输出设备、网络接入设备、总线等。
所述处理器80可以是中央处理单元(CentraL Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitaL SignaL Processor，DSP)、专用集成电路(AppLication Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieLd–ProgrammabLe Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器81可以是所述电子设备8的内部存储单元，例如电子设备8的硬盘或内存。所述存储器81也可以是所述电子设备8的外部存储设备，例如所述电子设备8上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure DigitaL，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器81还可以既包括所述电子设备8的内部存储单元也包括外部存储设备。所述存储器81用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器81还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种目标物的定位显示方法，其特征在于，包括：
获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的；
根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；
根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；所述呼吸运动模型的构建，包括：
获取术前图像序列，所述术前图像序列是术前对目标物在预设的第二时间段内连续扫描得到的；基于所述术前图像序列，获取一个呼吸周期下所述目标物的体表标记点的第一术前位置序列与体内标记点的第二术前位置序列；将所述第一术前位置序列与所述第二术前位置序列进行合并，得到所述体表标记点与所述体内标记点的合并位置序列；根据所述第一术前位置序列中的第一术前位置与所述第二术前位置序列中的第二术前位置，确定所述目标物的术前平均位置；根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型；
具体地，所述根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型的步骤，包括：
获取变形场，所述变形场包括第一变形场和第二变形场，所述第一变形场为所述合并位置序列中的第一术前位置序列与体表参考位置的位移差值，所述第二变形场为所述合并位置序列中的第二术前位置序列与体内参考位置的位移差值；根据所述变形场与所述术前平均位置，获取所述目标物在指定的呼吸状态下位置的高斯分布；根据所述目标物在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息；根据所述关联信息构建所述呼吸运动模型；
将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示。
2.根据权利要求1所述的目标物的定位显示方法，其特征在于，所述根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息的步骤，包括：
获取所述目标物的术中参考位置；
根据所述目标物的体表标记点的第一位置信息与所述预先构建的呼吸运动模型，确定呼吸状态特征；
根据所述目标物的术中参考位置与所述呼吸状态特征，确定所述目标物在一个呼吸周期内的第二位置信息。
3.根据权利要求2所述的目标物的定位显示方法，其特征在于，所述根据所述目标物的术中参考位置与所述呼吸状态特征，确定所述目标物在一个呼吸周期内的第二位置信息的步骤，包括：
根据下式确定所述目标物在一个呼吸周期内的第二位置信息ST：
Figure FDA0003166395600000021
其中，sT(t0)表示所述目标物的术中参考位置，ci表示所述目标物的第i个呼吸状态特征，ci·ΔST(ti)表示呼吸状态特征ci下目标物对应的位置，其中，m表示呼吸状态的数量，m＝8。
4.根据权利要求1至3任一项所述的目标物的定位显示方法，其特征在于，所述将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示的步骤，包括：
根据预设的坐标置换算法，对所述第二位置信息进行坐标置换；
将进行坐标置换后的第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据坐标置换后的位置信息对所述目标物进行增强显示。
5.一种目标物的定位显示系统，其特征在于，包括：电子设备、4D计算机断层扫描设备、头戴式增强显示设备，其中：
所述4D计算机断层扫描设备用于扫描目标物，并将在预设的第一时间段内连续扫描所述目标物得到的图像序列发送至所述电子设备；
所述电子设备用于获取所述图像序列；根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；将所述第二位置信息发送至头戴式增强显示设备；所述呼吸运动模型的构建，包括：
获取术前图像序列，所述术前图像序列是术前对目标物在预设的第二时间段内连续扫描得到的；基于所述术前图像序列，获取一个呼吸周期下所述目标物的体表标记点的第一术前位置序列与体内标记点的第二术前位置序列；将所述第一术前位置序列与所述第二术前位置序列进行合并，得到所述体表标记点与所述体内标记点的合并位置序列；根据所述第一术前位置序列中的第一术前位置与所述第二术前位置序列中的第二术前位置，确定所述目标物的术前平均位置；根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型；
具体地，所述根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型的步骤，包括：
获取变形场，所述变形场包括第一变形场和第二变形场，所述第一变形场为所述合并位置序列中的第一术前位置序列与体表参考位置的位移差值，所述第二变形场为所述合并位置序列中的第二术前位置序列与体内参考位置的位移差值；根据所述变形场与所述术前平均位置，获取所述目标物在指定的呼吸状态下位置的高斯分布；根据所述在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息；根据所述关联信息构建所述呼吸运动模型；
所述头戴式增强显示设备用于根据所述第二位置信息对所述目标物进行增强显示。
6.一种目标物的定位显示装置，其特征在于，包括：
图像序列获取单元，用于获取图像序列，所述图像序列是对目标物在预设的第一时间段内连续扫描得到的；
体表标记点位置获取单元，用于根据所述图像序列，确定所述目标物的体表标记点的第一位置信息；
目标物位置预测单元，用于根据所述第一位置信息和预先构建的呼吸运动模型，确定所述目标物在一个呼吸周期内的第二位置信息，所述呼吸运动模型用于映射目标物的体表标记点的位置与呼吸状态特征之间的关联信息；
所述目标物的定位显示装置还包括：
术前图像采集单元，用于获取术前图像序列，所述术前图像序列是术前对目标物在预设的第二时间段内连续扫描得到的；
位置序列获取单元，用于基于所述术前图像序列，获取一个呼吸周期下所述目标物的体表标记点的第一术前位置序列与体内标记点的第二术前位置序列；
序列合并单元，用于将所述第一术前位置序列与所述第二术前位置序列进行合并，得到所述体表标记点与所述体内标记点的合并位置序列；
平均位置确定单元，用于根据所述第一术前位置序列中的第一术前位置与所述第二术前位置序列中的第二术前位置，确定所述目标物的术前平均位置；
模型构建单元，用于根据所述合并位置序列与所述术前平均位置，构建呼吸运动模型；所述模型构建单元包括：
位移获取模块，用于获取变形场，所述变形场包括第一变形场和第二变形场，所述第一变形场为所述合并位置序列中的第一术前位置序列与体表参考位置的位移差值，所述第二变形场为所述合并位置序列中的第二术前位置序列与体内参考位置的位移差值；
位置分布确定模块，用于根据所述变形场与所述术前平均位置，获取所述目标物在指定的呼吸状态下位置的高斯分布；
信息关联模块，用于根据所述目标物在指定的呼吸状态下位置的高斯分布，确定所述第一术前位置、所述第二术前位置与呼吸状态特征之间的关联信息；
呼吸运动模型构建模块，用于根据所述关联信息构建所述呼吸运动模型；
目标物显示单元，用于将所述第二位置信息发送至头戴式增强显示设备，以使得所述头戴式增强显示设备根据所述第二位置信息对所述目标物进行增强显示。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的目标物的定位显示方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的目标物的定位显示方法。
CN202011364324.5A 2020-11-27 2020-11-27 目标物的定位显示方法、系统、装置和电子设备 Active CN112515763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011364324.5A CN112515763B (zh) 2020-11-27 2020-11-27 目标物的定位显示方法、系统、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011364324.5A CN112515763B (zh) 2020-11-27 2020-11-27 目标物的定位显示方法、系统、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112515763A CN112515763A (zh) 2021-03-19
CN112515763B true CN112515763B (zh) 2021-09-10

Family

ID=74994656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011364324.5A Active CN112515763B (zh) 2020-11-27 2020-11-27 目标物的定位显示方法、系统、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112515763B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112499B (zh) * 2021-04-29 2022-04-12 中国科学院深圳先进技术研究院 肝脏内部组织的位移预测方法、装置、系统及电子设备
CN114073581B (zh) * 2021-06-29 2022-07-12 成都科莱弗生命科技有限公司 一种支气管电磁导航系统
CN113781593B (zh) * 2021-08-16 2023-10-27 深影医疗科技(深圳)有限公司 四维ct图像的生成方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101628154A (zh) * 2008-07-16 2010-01-20 深圳市海博科技有限公司 基于预测的图像引导跟踪方法
CN104739510A (zh) * 2014-11-24 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种新的构建序列影像与呼吸信号对应关系的方法
CN106999247A (zh) * 2014-09-24 2017-08-01 7D外科有限公司 用于执行导航外科手术过程的跟踪标记支承结构以及采用其的表面配准方法
CN110236547A (zh) * 2018-03-09 2019-09-17 浙江清华柔性电子技术研究院 呼吸频率的检测方法及用于呼吸频率检测的检测装置
CN111161333A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 一种肝脏呼吸运动模型的预测方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9220467B2 (en) * 2011-09-19 2015-12-29 Siemens Aktiengesellschaft Method and system for tracking catheters in 2D X-ray fluoroscopy using a graphics processing unit
US9202272B2 (en) * 2012-09-20 2015-12-01 Beth Israel Deaconess Medical Center, Inc. (Bidmc, Inc.) Method and apparatus for image enhancement in magnetic resonance imaging using motion corrupted data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101628154A (zh) * 2008-07-16 2010-01-20 深圳市海博科技有限公司 基于预测的图像引导跟踪方法
CN106999247A (zh) * 2014-09-24 2017-08-01 7D外科有限公司 用于执行导航外科手术过程的跟踪标记支承结构以及采用其的表面配准方法
CN104739510A (zh) * 2014-11-24 2015-07-01 中国科学院苏州生物医学工程技术研究所 一种新的构建序列影像与呼吸信号对应关系的方法
CN110236547A (zh) * 2018-03-09 2019-09-17 浙江清华柔性电子技术研究院 呼吸频率的检测方法及用于呼吸频率检测的检测装置
CN111161333A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 一种肝脏呼吸运动模型的预测方法、装置及存储介质

Also Published As

Publication number Publication date
CN112515763A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112515763B (zh) 目标物的定位显示方法、系统、装置和电子设备
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
Andrews et al. Registration techniques for clinical applications of three-dimensional augmented reality devices
Gsaxner et al. Markerless image-to-face registration for untethered augmented reality in head and neck surgery
KR20080110738A (ko) 의료용 화상의 표시 방법 및 그 프로그램
CN108969099B (zh) 一种校正方法、手术导航系统、电子设备及存储介质
CN107133637A (zh) 一种手术导航图像自动注册设备以及方法
US20180303557A1 (en) Registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue
CN112515767B (zh) 手术导航装置、设备及计算机可读存储介质
Shao et al. Augmented reality calibration using feature triangulation iteration-based registration for surgical navigation
Alam et al. A review on extrinsic registration methods for medical images
Wang et al. A HoloLens based augmented reality navigation system for minimally invasive total knee arthroplasty
CN115887003A (zh) 手术导航系统的配准方法、装置和手术导航系统
Harders et al. Multimodal augmented reality in medicine
CN113317874B (zh) 一种医学图像处理装置及介质
CN114767270A (zh) 一种用于肺部手术穿刺的导航显示系统
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
Kim et al. Application of augmented reality using automatic markerless registration for facial plastic and reconstructive surgery
US10849696B2 (en) Map of body cavity
Trinh et al. Preliminary design and evaluation of an interfacing mechanism for maneuvering virtual minimally invasive surgical instruments
Zhang et al. Augmented reality display of neurosurgery craniotomy lesions based on feature contour matching
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
CN113940756B (zh) 一种基于移动dr影像的手术导航系统
CN116725663A (zh) 坐标的确定方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant