CN110010249A - 基于视频叠加的增强现实手术导航方法、系统及电子设备 - Google Patents

基于视频叠加的增强现实手术导航方法、系统及电子设备 Download PDF

Info

Publication number
CN110010249A
CN110010249A CN201910253168.6A CN201910253168A CN110010249A CN 110010249 A CN110010249 A CN 110010249A CN 201910253168 A CN201910253168 A CN 201910253168A CN 110010249 A CN110010249 A CN 110010249A
Authority
CN
China
Prior art keywords
point cloud
destination organization
cloud data
image
preoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910253168.6A
Other languages
English (en)
Other versions
CN110010249B (zh
Inventor
王君臣
张晓会
孙振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruiyibo Technology Co ltd
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910253168.6A priority Critical patent/CN110010249B/zh
Publication of CN110010249A publication Critical patent/CN110010249A/zh
Application granted granted Critical
Publication of CN110010249B publication Critical patent/CN110010249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种基于视频叠加的增强现实手术导航方法、系统及电子设备，该方法包括：获取目标组织器官的术前三维解剖模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据；对术前三维模型和点云数据进行配准，根据配准结果，得到术前三维解剖模型和当前腹腔镜视图对应的点云数据的目标变换关系；根据目标变换关系，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜视图上。由此，无需人工手动介入，可实现完全自动化的非刚性配准，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。

Description

基于视频叠加的增强现实手术导航方法、系统及电子设备
技术领域
本发明涉及微创外科手术技术领域，尤其涉及一种基于视频叠加的增强现实手术导航方法、系统及电子设备。
背景技术
腔镜微创手术已经成为软组织器官治疗的主要术式，如肾肿瘤部分切除术、肝肿瘤部分切除术、胰十二指肠切除术等。然而，微创手术和腹腔镜下有限的手术环境感知和手术时间限制等，使手术对医生的经验和技巧有很高要求。增强现实手术导航可以有效缓解医生术中环境感知有限的问题，为医生提供手术引导，成为近些年的研究热点。
相关技术中，基于视频叠加的增强现实手术导航技术是当前腹腔镜增强现实导航的主要形式。实现方式主要是从患者CT/MRI医学图像中重建出目标组织器官的解剖结构模型，通过图像配准技术实现解剖结构模型与术中腹腔镜图像的配准，最后通过增强现实显示技术完成对术中场景的增强显示，实现图像引导。其中，配准可大体分为基于点的配准和基于面的配准两种方式。
但是，目前存在的问题是：基于点的配准的手术导航系统方式往往需要人工干预完成，这打断了正常的手术流程，分散了医生的注意力并增加了并发症的风险，而植入标记点的配准方式对人体有侵略性，临床应用困难，且该系统往往需要额外的跟踪设备；基于面的配准的手术导航方式需要进行术中组织形态测量，获取术中目标组织的表面信息，而术中腹腔镜成像环境复杂(烟雾、反光等)造成获取术中目标组织器官的密集重建结果困难。同时，由于术中有限的腹腔镜视野，目标组织表面重建面积小，自动配准难以实现，当前公开的腹腔镜增强现实导航系统大部分为手动配准或半自动配准完成，其中，半自动配准系统指需要人工干预完成初始配准的导航系统。此外，由于腹腔的特殊性，软组织器官存在术中变形，而相关技术中的手术导航系统多忽略了软组织的变形，所提供的手术导航系统不能对软组织的变形进行补偿而导致导航精度差。
发明内容
本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于视频叠加的增强现实的手术导航方法，该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
本发明的第二个目的在于提出一种基于视频叠加的增强现实的手术导航系统。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出的一种基于视频叠加的增强现实手术导航方法，包括：获取目标组织器官的术前三维模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；根据所述刚性配准结果，将术中重建的所述第二点云数据与术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；根据非刚性配准结果，得到所述术前三维模型和所述第二点云数据的目标变换关系；根据所述目标变换关系及相机成像基本原理，将所述术前三维解剖模型通过增强现实技术叠加显示在所述当前视图的腹腔镜图像上。
根据本发明实施例的基于视频叠加的增强现实手术导航方法，可获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据，之后对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果，然后根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，之后根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，然后根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜图像上。该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
为达到上述目的，本发明第二方面实施例提出的基于视频叠加的增强现实手术导航系统，包括：第一获取模块，用于获取目标组织器官的术前三维模型；构建模块，用于根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；第一配准模块，用于对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；第二获取模块，用于根据刚性配准结果，将术中重建的所述第二点云数据与术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点；第二配准模块，用于根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；第一确定模块，用于根据非刚性配准结果，确定所述术前三维模型和所述第二点云数据的目标变换关系；显示模块，用于根据所述目标变换关系及相机成像基本原理，将所述术前三维解剖模型通过增强现实技术叠加显示在所述当前视图的腹腔镜图像上。根据本发明实施例的基于视频叠加的增强现实手术导航系统，可获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据，之后对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果，然后根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，之后根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，然后根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜图像上。该系统无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
为达到上述目的，本发明第三方面实施例提出的电子设备，包括：处理器、存储器，其中，所述处理器通过读取所述存储器的可执行程序来运行与所述可执行程序代码对应的程序，以用于实现本发明第一方面的基于视频叠加的增强现实手术导航方法。
为达到上述目的，本发明第四方面实施例提出的非临时性计算机可读存储介质，所述计算机程序被处理器执行时实现本发明第一方面的基于视频叠加的增强现实手术导航方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的增强现实手术导航发方法的流程图。
图2是根据本发明一个具体实施例的增强现实手术导航方法的流程图。
图3是根据本发明一个实施例的增强现实手术导航系统的结构示意图。
图4是根据本发明一个实施例的增强现实手术导航系统的结构示意图。
图5是根据本发明一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，基于视频叠加的增强现实手术导航技术是当前腹腔镜增强现实导航的主要形式。实现方式主要是从患者CT/MRI医学图像中重建出目标组织器官的解剖结构模型，通过图像配准技术实现解剖结构模型与术中腹腔镜图像的配准，最后通过增强现实显示技术完成对术中场景的增强显示，实现图像引导。其中，配准可大体分为基于点的配准和基于面的配准两种方式。
但是，目前存在的问题是：基于点的配准的手术导航系统方式往往需要人工干预完成，这打断了正常的手术流程，分散了医生的注意力并增加了并发症的风险，而植入标记点的配准方式对人体有侵略性，临床应用困难，且该系统往往需要额外的跟踪设备；基于面的配准的手术导航方式需要进行术中组织形态测量，获取术中目标组织的表面信息，而术中腹腔镜成像环境复杂(烟雾、反光等)造成获取术中目标组织器官的密集重建结果困难。同时，由于术中有限的腹腔镜视野，目标组织表面重建面积小，自动配准难以实现，当前公开的腹腔镜增强现实导航系统大部分为手动配准或半自动配准完成。其中，半自动配准系统指需要人工干预完成初始配准的导航系统。此外，由于腹腔的特殊性，软组织器官存在术中变形，而相关技术中的手术导航系统多忽略了软组织的变形，所提供的手术导航系统不能对软组织的变形进行补偿而导致导航精度差。
为此，本发明提出了一种基于视频叠加的增强现实手术导航方法、系统、电子设备和存储介质，本发明通过获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，之后对术前三维模型和点云数据进行配准(包括变形配准)，进而使用增强现实技术实现腹腔镜图像的增强现实叠加显示。由此可见，该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
具体地，下面参考附图描述本发明实施例的基于视频叠加的增强现实手术导航方法、系统、电子设备和非临时性计算机可读存储介质。
图1是根据本发明一个实施例的增强现实手术导航方法。需要说明的是，本发明实施例的增强现实手术导航方法可应用于本发明实施例的增强现实手术导航系统，该系统可被配置于电子设备上。
如图1所示，该基于视频叠加的增强现实手术导航方法可以包括：
S110，获取目标组织器官的术前三维模型。
具体地，可通过患者术前CT或MRI，重建出三维的组织解剖模型，即术前三维模型，该模型包括目标组织及其周围的解剖结构信息，例如，组织内部的肿瘤、血管等。
在本发明的一个实施例中，该重建术前三维模型的具体过程可以为：通过对横断面、冠状面、和矢状面分别完成目标分割后，采用面渲染或体渲染技术进行的组织解剖结构重建。
其中，该目标分割过程可通过采用阈值分割、区域增长或者深度神经网络算法自动完成。
在本发明的另一个实施例中，也可通过使用Mimics(Materiaise's interactivemedical image control system，交互式的医学影像控制系统)，3D-slicer等医学图像处理软件手动完成分割。
S120，根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据。
其中，需要说明的是，在本发明的实施例中，腹腔镜视频信息包括按时间顺序排列的多幅腹腔镜图像。
可选地，可根据预先训练的图像分割模型，对腹腔镜图像进行目标组织器官区域和手术器械区域分割，然后基于分割得到的目标组织器官图像，根据密集立体匹配算法(如SGM算法等)和三维重建技术重建对应目标组织器官的三维点云。
之后对多幅分割得到的目标组织器官腹腔镜图像对应的多个目标组织器官三维点云依此进行两两变换关系计算，并基于两两三维点云的变换关系结果，通过空间映射将多个目标组织器官三维点云拼接到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，即完成点云拼接。对拼接结束后的点云进行降噪、曲面拟合、降采样的点云后处理操作，将拼接结束时获得的拼接点云作为术中获得的目标组织器官表面的第一点云数据。将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据。
其中，拼接结束是指当拼接获得的术中目标组织器官表面的第一点云数据面积足够大可使其与术前三维模型完成预设定刚性配准算法的自动化的刚性配准。比如，拼接获得的第一点云数据的表面面积比例不少于术前三维模型的30％。
可选地，目标组织器官三维点云的两两变换关系计算可通过基于图像特征点匹配算法估计腹腔镜位姿而完成的。通过图像特征点提取算法(如SURF等)检测相邻腹腔镜图像(分割出目标组织器官的图像)中目标组织器官上的特征点，通过BF蛮力匹配算法对腹腔镜图像的目标组织区域进行特征点匹配，并通过随机采样一致性算法(RANSAC)去除错去匹配点对，通过计算匹配特征点对的三维信息，用奇异值分解算法(SVD)确定对应特征点三维的变换关系作为相邻目标组织器官三维点云的变换关系。
其中，相邻目标组织器官三维点云与相邻两幅分割后得到的目标组织器官腹腔镜图像对应。
在本发明的另一个实施例中，为了进一步提高手术指导的效果，实现对医生手术的器械操作引导，在对腹腔镜图像进行目标组织器官区域和手术器械区域分割后，还可根据分割出的手术器械图像信息对手术器械进行追踪。
作为一种示例性的实施方式，可对分割出的手术器械图像进行三维重建获取其对应的点云信息，通过确定器械三维点云的变换关系确定手术器械的位姿变化，实现对手术器械的追踪。
S130，对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果。
可选地，可根据预设的刚性配准算法，对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果。
其中，预设的刚性配准算法可以是电子设备中默认的刚性配准算法，还可以是用户根据需求预先设置的刚性配准算法，以满足用户个性化设置刚性配准算法的个性化。例如，用户可将刚性配准算法设置为ICP算法。
在本发明的一个实施例中，为了防止刚性配准算法陷入局部最优，可通过主成分分析(PCA)算法来计算点云间的初始配准矩阵，然后，根据预设的刚性配准算法完成术前三维模型与拼接点云的刚性配准。
具体的，通过PCA计算拼接点云的三个特征向量，通过计算的它们各自的特征值对每个特征向量进行加权，加上拼接点云的中心，可获得拼接点云共四个特征点。同理，可计算获得术前三维模型的四个特征点。根据奇异值分解算法(SVD)确定拼接点云与术前三维模型两组特征点对的变换关系作为初始配准矩阵。
S140，根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，选择距离中心在预设范围内的模型特征点作为第一待配准特征点。
例如，该预设范围可以是半径为3mm的球形空间内。
S150，根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果。
其中，预设的非刚性配准算法可以是电子设备中默认的非刚性配准算法，还可以是用户根据需求预先设置的非刚性配准算法，以满足用户个性化设置非刚性配准算法的个性化。例如，用户可将刚性配准算法设置为一致性点漂移算法(CPD)算法。
S160，根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系。
也就是说，根据非刚性配准结果，得到术前三维模型和第二点云数据的目标空间变换关系，通过该目标空间变换关系，可将术前三维模型统一到第二点云数据所在的坐标系中。
S170，根据目标变换关系及相机成像基本原理，将术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上，完成增强现实手术导航。
可选地，可以上述增强现实手术导航结果为初步导航结果，后续通过检测追踪腹腔镜图像的特征点估计腹腔镜的位姿变化，将该位姿变化应用到叠加的术前三维模型上实现导航图像的实时随动，实现更快速的实时增强现实手术导航。
也就是说，在本发明的实施例中，可通过跟踪及导航用于完成增强现实手术导航图像的实时增强现实显示。
根据本发明实施例的增强现实手术导航方法，可获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据。之后对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果，然后根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，之后根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，然后根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
图2是根据本发明一个具体实施例的基于视频叠加的增强现实手术导航方法的流程图。如图2所示，该基于视频叠加的增强现实手术导航方法可以包括：
S210，获取目标组织器官的术前三维模型。
S220，根据预先训练的图像分割模型，对腹腔镜图像进行目标组织器官区域和手术器械区域分割。
在本发明的一个实施例中，可采用MASK R-CNN深度学习算法对腹腔镜图像进行目标组织器官区域和手术器械区域分割。在已有的MS COCO数据集模型上针对目标组织器官及手术器械的标注数据集进迁移训练，分别得到能识别分割目标组织器官及手术器械的模型。利用训练得到的模型对未被标注的数据进行识别分割，分别完成对目标组织器官区域及手术器械在术中腹腔镜图像中的自动提取。
其中，标注数据集是通过对多个患者的成千上万幅术中腹腔镜成像图像进行手动标注，利用标注软件手动分割目标器官区域和手术器械，可分别得到目标组织训练数据集和手术器械训练数据集。其中，为了达到理想的分割结果，要保证患者数据多样数据集数量足够多，例如，图像数据不低于1000张。
S230，根据SGM半全局立体匹配算法，对分割出的目标组织器官图像和分割出的手术器械图像分别进行立体匹配处理，以得到目标组织器官视差图以及手术器械视差图图像。
S240，根据三维重建基本原理，基于获取的视差图图像计算对应的目标组织器官的三维点云以及手术器械的三维点云:
其中，xc，yc，zc为左图像像素点c对应的三维坐标。Xleft，Y分别为像素点c在左图像中的横、纵坐标，B为左右相机的基线距离，可通过相机标定获得。
S250，根据分割得到的多幅目标组织器官腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系。
在本发明的实施例中，任意两幅相邻的目标组织器官图像对应的目标组织器官三维点云的变换关系计算过程为：
对腹腔镜视频中相邻两幅分割得到的目标组织器官图像进行特征点匹配。获取腹腔镜视频中分割的到的目标组织器官图像的相邻帧或相隔帧，例如，间隔10帧，以特征点检测算法，如SURF，完成其相邻图像间的特征点检测，通过BF蛮力匹配算法对腹腔镜图像的目标组织区域进行特征点匹配，之后采用随机采样一致性算法(RANSAC)筛选得到正确匹配的特征点匹配对。
根据特征点匹配结果，通过计算匹配特征点对的三维信息，用奇异值分解算法(SVD)确定对应特征点三维点对的变换关系，以该特征点三维点对的变换关系作为对应相邻目标组织器官三维点云的变换关系。
S260，根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，即完成点云拼接。
S270，对拼接的点云进行降噪、曲面拟合和降采样的后处理操作。
具体地，可通过构建三维体素栅格的方式完成降采样。栅格的参数一般为1x1x1，具体视精度要求情况而定。
S280，将拼接结束时获得的三维拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据。
拼接结束是指当拼接获得的术中目标组织器官表面的点云数据面积足够大可使其与术前三维模型完成预设定刚性配准算法的自动化的刚性配准。比如，拼接获得的点云数据的表面面积比例不少于术前三维模型的30％。
S290，基于预设的主成分分析算法，分别确定出第一点云数据中的四个特征点和术前三维模型的四个特征点。
举例而言，可通过主成分分析算法(PCA)计算第一点云数据的三个特征向量，并通过各自的特征值对每个特征向量进行加权，加上拼接点云的中心，可获得第一点云数据共四个特征点。同理，可计算获得术前三维模型的四个特征点。
S300，根据奇异值分解算法(SVD)确定第一点云数据与术前三维模型两组特征点对的变换关系，以该变化关系作为术中目标组织器官表面第一点云数据与术前三维模型的初始配准矩阵。
S310，基于初始配准矩阵，根据预设的ICP刚性配准算法，完成术前三维模型和第一点云数据的自动化刚性配准。
在本发明的实施例中，通过主成分分析算法(PCA)可获得第一点云数据到术前三维模型的初始变换矩阵，基于此，既可运用ICP刚性配准算法实现第一点云数据到术前三维模型的无标记点的自动化配准，记刚性配准过程获得的第一点云数据到术前三维模型的空间变化矩阵为Tpm，则术前三维模型到术中目标组织器官表面的第一点云数据的粗配准矩阵可记作T_coarse＝(Tpm)-1。
S320，根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点。
在本发明的实施例中，基于刚性配准结果T_coarse，可将术前三维模型配准到术中重建的第二点云数据所在坐标系下，以第二点云数据的每个特征点为中心，选择在其半径为3mm(一般为1-5mm)的球形范围内的模型点构成部分术前三维模型参与CPD非刚性配准即作为第一待配准特征点。
S330，根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果。
也就是说，将第一待配准特征点和第二点云数据进行CPD非刚性配准以求取该术前三维模型(点云)到第二点云数据的非刚性变换系数W，进而通过插值原理可求得完整术前三维模型到第二点云数据的变形配准变换为：T_fine＝M+v(M)，M指部分模型点云，v(M)＝Gm*W，Gm是M的高斯关联矩阵,其各元素值为
S340，根据非刚性配准结果，得到完整术前三维模型和第二点云数据的目标变换关系。
基于上述，完整术前三维模型到术中测量信息的目标变换关系为T_registration＝T_coarseT_fine。
S350，根据目标变换关系及相机成像基本原理，将术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。
在本发明的一个实施例中，以对器械的跟踪为例，可对分割出的手术器械图像进行三维重建获取其对应的点云信息，通过确定器械三维点云的变换关系确定手术器械的位姿变化，实现对手术器械的追踪。可使用OpenGL图像处理技术实现当前腹腔镜视图上的完整术前三维模型的覆盖增强显示，即完成病灶(肿瘤)、血管和器官内部结构的术中可视化，完成手术器械方向线的显示，实现对医生手术的器械操作引导。
根据本发明实施例的基于视频叠加的增强现实手术导航方法，可获取目标组织器官的术前三维模型，然后根据预先训练的图像分割模型，对腹腔镜图像进行目标组织器官区域和手术器械区域分割，之后根据半全局立体匹配算法，对分割出的目标组织器官图像和手术器械图像分别进行立体匹配，以得到对应的视差图图像，然后通过三维重建基本原理，求取目标组织三维点云与手术器械三维点云，之后根据腹腔镜视频中的多幅腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系，根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，完成点云拼接，对拼接的点云进行降噪、降采样和曲面拟合的后处理操作，将拼接结束时获得的三维拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据，基于预设的主成分分析算法，计算术中目标组织器官表面第一点云数据与术前三维模型的初始配准矩阵，然后根据预设的刚性配准算法，计算得到术前三维模型和第一点云数据的刚性配准结果，进而根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，进而根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并可通过后续的图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
与上述几种实施例提供的基于视频叠加的增强现实手术导航方法相对应，本发明的一种实施例还提供一种基于视频叠加的增强现实的手术导航系统，由于本发明实施例提供的基于视频叠加的增强现实手术导航系统与上述几种实施例提供的基于视频叠加的增强现实手术导航方法相对应，因此在基于视频叠加的增强现实手术导航方法的实施方式也适用于本实施例提供的基于视频叠加的增强现实手术导航系统，在本实施例中不再详细描述。
图3是根据本发明一个实施例的基于视频叠加的增强现实手术导航系统的结构示意图。
如图3所示，该基于视频叠加的增强现实手术导航系统300包括：第一获取模块310、构建模块320、第一配准模块330、第二获取模块340、第二配准模块350、第一确定模块360和显示模块370，其中：
第一获取模块310用于获取目标组织器官的术前三维模型。
构建模块320用于根据术中立体腹腔镜所采集的腹腔镜视频信息，实时构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据。
作为一种示例，腹腔镜视频信息包括按时间顺序排列的多幅腹腔镜图像。
构建模块320包括：分割单元，用于根据预先训练的图像分割模型，对腹腔镜图像进行目标组织器官区域和手术器械区域分割，得到目标组织器官图像和手术器械图像；重建单元，用于对所分割出的目标组织器官图像和手术器械分割图像进行立体匹配和三维重建，分别得到目标组织器官和手术器械三维点云；计算单元，用于根据分割得到的多幅目标组织器官腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系；拼接单元，用于根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，完成点云拼接，并对拼接的点云进行降噪、曲面拟合和降采样的后处理操作；确定单元，用于将拼接结束时得到的拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据。
其中，重建单元，具体用于：根据半全局立体匹配算法，对分割出的目标组织器官图像和手术器械图像分别进行立体匹配，以得到二者对应的视差图图像；基于获得的视差图图像结果，依据三维重建基本原理，在相机标定获得相机参数后，计算确定目标组织器官和手术器械的三维点云信息。
其中，计算单元，具体用于：获取腹腔镜视频中分割的到的目标组织器官图像的相邻帧或相隔帧，例如，间隔10帧，以SURF特征点检测算法完成其相邻图像间的特征点检测，通过BF蛮力匹配算法对腹腔镜图像的目标组织区域进行特征点匹配，之后采用随机采样一致性算法(RANSAC)筛选得到正确匹配的特征点匹配对。根据特征点匹配结果，通过计算匹配特征点对的三维信息，用奇异值分解算法(SVD)确定对应特征点三维点对的变换关系，以该特征点三维点对的变换关系作为对应相邻目标组织器官三维点云的变换关系。
其中，相邻目标组织器官三维点云与相邻两幅分割后得到的目标组织器官腹腔镜图像对应。
第一配准模块330用于对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果。
其中，第一配准模块330具体用于：根据预设的刚性配准算法，对第一点云数据和术前三维模型进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果。
其中，刚性配准算法的初始配准矩阵可通过预设的主成分分析算法计算获得。
第二获取模块340用于根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点。
第二配准模块350用于根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果。
第一确定模块360用于根据非刚性配准结果，确定术前三维模型和第二点云数据的目标变换关系。
显示模块370用于根据目标变换关系及相机成像基本原理，将术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。
为了进一步增强现实显示，可选地，在本发明的一个实施例中，如图4所示，该基于视频叠加的增强现实手术导航系统还包括：追踪模块380，追踪模块380用于根据分割出的手术器械图像信息，计算手术器械的三维点云，通过点云刚性配准技术计算手术器械三维点云的变换关系，对手术器械进行追踪。
在本发明的一个实施例中，第一配准模块330具体用于：根据预设的刚性配准算法，对第一点云数据和术前三维模型进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果。
其中，刚性配准算法的初始配准矩阵可通过预设的主成分分析算法计算获得。
其中，预设的非刚性配准算法可以是电子设备中默认的非刚性配准算法，还可以是用户根据需求预先设置的非刚性配准算法，以满足用户个性化设置非刚性配准算法的个性化。例如，用户可将刚性配准算法设置为一致性点漂移算法(CPD)算法。
根据本发明实施例的基于视频叠加的增强现实手术导航系统，可获取目标组织器官的术前三维模型，然后根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据。之后对术前三维模型和第一点云数据进行刚性配准，以得到术前三维模型和第一点云数据的刚性配准结果，然后根据刚性配准结果，将术中重建的第二点云数据与术前三维模型进行配准，并以术中重建的第二点云数据中的各个点为中心，将距离中心在预设范围内的模型特征点作为第一待配准特征点，之后根据预设非刚性配准算法，对第一待配准特征点和第二点云数据进行非刚性配准，以得到第一待配准特征点和第二点云数据的非刚性配准结果，然后根据非刚性配准结果，得到术前三维模型和第二点云数据的目标变换关系，最后根据目标变换关系及相机成像基本原理，将术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。该系统无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。
为了实现上述实施例，本发明还提出了一种电子设备。
图5是根据本发明一个实施例的电子设备的结构示意图。如图5所示，该电子设备500可以包括：处理器510、存储器520，其中，处理器510通过读取存储器520的可执行程序530来运行与可执行程序代码对应的程序，以用于实现本发明第一方面的基于视频叠加的增强现实手术导航方法。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，计算机程序被处理器执行时实现本发明第一方面的基于视频叠加的增强现实手术导航方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种基于视频叠加的增强现实手术导航方法，其特征在于，包括：
获取目标组织器官的术前三维模型；
根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；
对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；
根据所述刚性配准结果，将术中重建的所述第二点云数据与所述术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；
根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；
根据非刚性配准结果，得到所述术前三维模型和所述第二点云数据的目标变换关系；
根据所述目标变换关系及相机成像基本原理，将所述术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。
2.如权利要求1所述的方法，其特征在于，所述腹腔镜视频信息包括按时间顺序排列的多幅腹腔镜图像，其中，
所述根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据，包括：
根据预先训练的图像分割模型，对所述腹腔镜图像进行目标组织器官区域和手术器械区域分割，得到目标组织器官图像和手术器械图像；
根据分割出的所述目标组织器官图像及手术器械图像，计算其分别对应的目标组织器官及手术器械三维点云；
根据分割得到的多幅目标组织器官腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系；
根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，完成点云拼接；
对拼接的点云进行降噪、曲面拟合和降采样的后处理操作；
将拼接结束时获得的三维拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
采用MASK R-CNN的深度学习算法进行腹腔镜图像中的目标组织器官与手术器械的分割。
4.如权利要求2所述的方法，其特征在于，所述方法还包括：
根据分割出的手术器械图像信息，计算手术器械的三维点云，通过点云刚性配准技术计算手术器械三维点云的变换关系，对所述手术器械进行追踪。
5.如权利要求2所述的方法，其特征在于，所述根据分割出的所述目标组织器官图像及手术器械图像，计算其分别对应的目标组织器官及手术器械三维点云，包括：
根据半全局立体匹配算法，对分割出的所述目标组织器官图像和手术器械图像分别进行立体匹配，以得到所述目标组织器官图像和手术器械图像的视差图图像；
基于所述视差图图像，依据三维重建基本原理，在相机标定获得相机参数后，计算确定目标组织器官和手术器械三维点云。
6.如权利要求1-5任一项所述的方法，其特征在于，对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果之前，还包括：
基于预设的主成分分析算法进行初始配准矩阵计算；
对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果，包括：
根据预设的刚性配准算法，基于所述初始配准矩阵计算结果进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果。
7.如权利要求1所述的方法，其特征在于，所述预设的非刚性配准算法包括一致性点漂移算法CPD。
8.一种基于视频叠加的增强现实的手术导航系统，其特征在于，包括：
第一获取模块，用于获取目标组织器官的术前三维模型；
构建模块，用于根据术中立体腹腔镜所采集的腹腔镜视频信息，构建术中目标组织器官表面的点云数据，分别得到拼接获得的第一点云数据与拼接结束时当前腹腔镜视图对应的目标组织器官的第二点云数据；
第一配准模块，用于对所述术前三维模型和所述第一点云数据进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果；
第二获取模块，用于根据所述刚性配准结果，将术中重建的所述第二点云数据与术前三维模型进行配准，并以术中重建的所述第二点云数据中的各个点为中心，将距离所述中心在预设范围内的模型特征点作为第一待配准特征点；
第二配准模块，用于根据预设非刚性配准算法，对所述第一待配准特征点和所述第二点云数据进行非刚性配准，以得到所述第一待配准特征点和所述第二点云数据的非刚性配准结果；
第一确定模块，用于根据非刚性配准结果，确定所述术前三维模型和所述第二点云数据的目标变换关系；
显示模块，用于根据所述目标变换关系及相机成像基本原理，将所述术前三维模型通过增强现实技术叠加显示在当前视图的腹腔镜图像上。
9.如权利要求8所述的系统，其特征在于，所述腹腔镜视频信息包括按时间顺序排列的多幅腹腔镜图像，其中，
所述构建模块，包括：
分割单元，用于根据预先训练的图像分割模型，对所述腹腔镜图像进行目标组织器官区域和手术器械区域分割，得到目标组织器官图像和手术器械图像；
重建单元，用于对所分割出的目标组织器官图像和手术器械分割图像进行立体匹配和三维重建，分别得到目标组织器官和手术器械三维点云；
计算单元，用于根据分割得到的多幅目标组织器官腹腔镜图像，计算其对应的多个目标组织器官三维点云间的两两变换关系；
拼接单元，用于根据目标组织器官三维点云的两两变换关系，通过空间映射将多个目标组织器官三维点云变换到当前视图腹腔镜图像对应的目标组织器官三维点云坐标系下，完成点云拼接，并对拼接的点云进行降噪、曲面拟合和降采样的后处理操作；
确定单元，用于将拼接结束时得到的拼接点云作为术中目标组织器官表面的第一点云数据，将拼接结束时，当前视图腹腔镜图像对应的单个目标组织器官三维点云作为目标组织器官表面的第二点云数据。
10.如权利要求9所述的系统，其特征在于，所述系统还包括：
追踪模块，用于根据分割出的手术器械图像信息，计算手术器械的三维点云，通过点云刚性配准技术计算手术器械三维点云的变换关系，对所述手术器械进行追踪。
11.如权利要求9所述的系统，其特征在于，所述重建单元，具体用于：
根据半全局立体匹配算法，对分割出的所述目标组织器官图像和手术器械图像分别进行立体匹配，以得到二者对应的视差图图像；基于获得的视差图图像结果，依据三维重建基本原理，在相机标定获得相机参数后，计算确定目标组织器官和手术器械的三维点云信息。
12.如权利要求8-11任一项所述的系统，其特征在于，还包括：
所述第一配准模块，具体用于：
根据预设的刚性配准算法，对所述第一点云数据和所述术前三维模型进行刚性配准，以得到所述术前三维模型和所述第一点云数据的刚性配准结果。其中，刚性配准算法的初始配准矩阵可通过预设的主成分分析算法计算获得。
13.如权利要求1所述的系统，其特征在于，所述预设的非刚性配准算法包括一致性点漂移算法CPD。
14.一种电子设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一所述的基于视频叠加的增强现实手术导航方法。
15.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的基于视频叠加的增强现实手术导航方法。
CN201910253168.6A 2019-03-29 2019-03-29 基于视频叠加的增强现实手术导航方法、系统及电子设备 Active CN110010249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910253168.6A CN110010249B (zh) 2019-03-29 2019-03-29 基于视频叠加的增强现实手术导航方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910253168.6A CN110010249B (zh) 2019-03-29 2019-03-29 基于视频叠加的增强现实手术导航方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN110010249A true CN110010249A (zh) 2019-07-12
CN110010249B CN110010249B (zh) 2021-04-27

Family

ID=67168991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910253168.6A Active CN110010249B (zh) 2019-03-29 2019-03-29 基于视频叠加的增强现实手术导航方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110010249B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782421A (zh) * 2019-09-19 2020-02-11 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN111091043A (zh) * 2019-10-23 2020-05-01 武汉大学 基于多尺度残余图正则化的sar全图变形场估计方法
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN111986813A (zh) * 2020-07-06 2020-11-24 北京欧应信息技术有限公司 一种基于手术记录自动生成三维手术模型的方法
CN112356019A (zh) * 2020-08-06 2021-02-12 武汉科技大学 一种用于灵巧手抓取的目标物体形体分析方法及装置
CN112686865A (zh) * 2020-12-31 2021-04-20 重庆西山科技股份有限公司 一种3d视图辅助检测方法、系统、装置及存储介质
CN113143459A (zh) * 2020-01-23 2021-07-23 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
CN113229941A (zh) * 2021-03-08 2021-08-10 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法
CN113240645A (zh) * 2021-05-17 2021-08-10 赤峰学院附属医院 显示处理方法、装置、存储介质、处理器及终端设备
CN113256814A (zh) * 2020-02-10 2021-08-13 北京理工大学 一种基于空间注册的增强现实虚实融合方法及装置
CN113554710A (zh) * 2020-04-24 2021-10-26 西门子(深圳)磁共振有限公司 医学影像系统中3d相机的标定方法、系统和存储介质
WO2021242681A1 (en) * 2020-05-29 2021-12-02 Covidien Lp System and method for integrated control of 3d visualization through a surgical robotic system
WO2022068883A1 (zh) * 2020-09-29 2022-04-07 先临三维科技股份有限公司 扫描结果的处理方法、装置、处理器和扫描系统
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
CN114601560A (zh) * 2022-05-11 2022-06-10 中国科学院深圳先进技术研究院 微创手术辅助方法、装置、设备及存储介质
CN115607285A (zh) * 2022-12-20 2023-01-17 长春理工大学 一种单孔腹腔镜定位装置及方法
CN115880469A (zh) * 2023-02-20 2023-03-31 江苏省人民医院（南京医科大学第一附属医院） 一种表面点云数据与三维影像的配准方法
WO2023170618A1 (en) * 2022-03-09 2023-09-14 All India Institute Of Medical Sciences (Aiims) 3-dimensional tracking and navigation simulator for neuro-endoscopy

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103976790A (zh) * 2014-05-21 2014-08-13 周勇 一种脊柱后路手术术中实时评估与校正的方法
US20150138185A1 (en) * 2013-11-20 2015-05-21 Institute For Information Industry Method for building a three-dimensional model and apparatus thereof
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN106344152A (zh) * 2015-07-13 2017-01-25 中国科学院深圳先进技术研究院 腹部外科手术导航配准方法及系统
CN106651752A (zh) * 2016-09-27 2017-05-10 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN106780706A (zh) * 2017-02-06 2017-05-31 青岛海信医疗设备股份有限公司 基于腹腔镜的图像显示方法及装置
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法
CN107330926A (zh) * 2017-08-25 2017-11-07 上海嘉奥信息科技发展有限公司 一种术中导航系统中的非标记医学图像配准系统及方法
CN107392995A (zh) * 2017-07-05 2017-11-24 天津大学 机械轴导航系统中的人体下肢配准方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN108629843A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108778143A (zh) * 2016-03-16 2018-11-09 皇家飞利浦有限公司 用于将腹腔镜图像与超声图像进行叠加的计算设备
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
CN108961256A (zh) * 2018-07-05 2018-12-07 艾瑞迈迪医疗科技（北京）有限公司 图像分割方法、手术导航设备、电子设备及存储介质
US20190026938A1 (en) * 2017-07-18 2019-01-24 Fuscoe Engineering, Inc. Three-dimensional modeling from optical capture
CN109509226A (zh) * 2018-11-27 2019-03-22 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150138185A1 (en) * 2013-11-20 2015-05-21 Institute For Information Industry Method for building a three-dimensional model and apparatus thereof
CN103976790A (zh) * 2014-05-21 2014-08-13 周勇 一种脊柱后路手术术中实时评估与校正的方法
CN106344152A (zh) * 2015-07-13 2017-01-25 中国科学院深圳先进技术研究院 腹部外科手术导航配准方法及系统
CN108778143A (zh) * 2016-03-16 2018-11-09 皇家飞利浦有限公司 用于将腹腔镜图像与超声图像进行叠加的计算设备
CN106651752A (zh) * 2016-09-27 2017-05-10 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN106327587A (zh) * 2016-11-16 2017-01-11 北京航空航天大学 一种用于增强现实手术导航的腹腔镜视频精准融合方法
CN106780706A (zh) * 2017-02-06 2017-05-31 青岛海信医疗设备股份有限公司 基于腹腔镜的图像显示方法及装置
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法
CN108629843A (zh) * 2017-03-24 2018-10-09 成都理想境界科技有限公司 一种实现增强现实的方法及设备
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
CN107392995A (zh) * 2017-07-05 2017-11-24 天津大学 机械轴导航系统中的人体下肢配准方法
US20190026938A1 (en) * 2017-07-18 2019-01-24 Fuscoe Engineering, Inc. Three-dimensional modeling from optical capture
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN107330926A (zh) * 2017-08-25 2017-11-07 上海嘉奥信息科技发展有限公司 一种术中导航系统中的非标记医学图像配准系统及方法
CN108961256A (zh) * 2018-07-05 2018-12-07 艾瑞迈迪医疗科技（北京）有限公司 图像分割方法、手术导航设备、电子设备及存储介质
CN109509226A (zh) * 2018-11-27 2019-03-22 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIUYANG FANG: ""Research on Three-Dimensional Parallel Modeling Algorithm with Movable Point Cloud Data"", 《2016 15TH INTERNATIONAL SYMPOSIUM ON PARALLEL AND DISTRIBUTED COMPUTING (ISPDC)》 *
童立靖: ""基于投影图像SURF特征提取的三维模型配准 "", 《图学学报》 *
邓嘉 等: ""三维点云数据的配准算法综述"", 《信息与电脑(理论版) 》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782421A (zh) * 2019-09-19 2020-02-11 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110782421B (zh) * 2019-09-19 2023-09-26 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN111091043A (zh) * 2019-10-23 2020-05-01 武汉大学 基于多尺度残余图正则化的sar全图变形场估计方法
CN111091043B (zh) * 2019-10-23 2022-07-19 武汉大学 基于多尺度残余图正则化的sar全图变形场估计方法
CN111260765B (zh) * 2020-01-13 2023-04-28 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN111260765A (zh) * 2020-01-13 2020-06-09 浙江未来技术研究院(嘉兴) 一种显微手术术野的动态三维重建方法
CN113143459A (zh) * 2020-01-23 2021-07-23 海信视像科技股份有限公司 腹腔镜增强现实手术导航方法、装置及电子设备
CN113256814A (zh) * 2020-02-10 2021-08-13 北京理工大学 一种基于空间注册的增强现实虚实融合方法及装置
CN113256814B (zh) * 2020-02-10 2023-05-30 北京理工大学 一种基于空间注册的增强现实虚实融合方法及装置
CN113554710A (zh) * 2020-04-24 2021-10-26 西门子(深圳)磁共振有限公司 医学影像系统中3d相机的标定方法、系统和存储介质
WO2021242681A1 (en) * 2020-05-29 2021-12-02 Covidien Lp System and method for integrated control of 3d visualization through a surgical robotic system
CN111986813A (zh) * 2020-07-06 2020-11-24 北京欧应信息技术有限公司 一种基于手术记录自动生成三维手术模型的方法
CN112356019A (zh) * 2020-08-06 2021-02-12 武汉科技大学 一种用于灵巧手抓取的目标物体形体分析方法及装置
WO2022068883A1 (zh) * 2020-09-29 2022-04-07 先临三维科技股份有限公司 扫描结果的处理方法、装置、处理器和扫描系统
CN112686865A (zh) * 2020-12-31 2021-04-20 重庆西山科技股份有限公司 一种3d视图辅助检测方法、系统、装置及存储介质
CN113229941A (zh) * 2021-03-08 2021-08-10 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法
CN113240645A (zh) * 2021-05-17 2021-08-10 赤峰学院附属医院 显示处理方法、装置、存储介质、处理器及终端设备
CN113240645B (zh) * 2021-05-17 2024-04-16 赤峰学院附属医院 显示处理方法、装置、存储介质、处理器及终端设备
WO2023170618A1 (en) * 2022-03-09 2023-09-14 All India Institute Of Medical Sciences (Aiims) 3-dimensional tracking and navigation simulator for neuro-endoscopy
CN114299072A (zh) * 2022-03-11 2022-04-08 四川大学华西医院 一种基于人工智能的解剖变异识别提示方法及系统
CN114601560A (zh) * 2022-05-11 2022-06-10 中国科学院深圳先进技术研究院 微创手术辅助方法、装置、设备及存储介质
CN114601560B (zh) * 2022-05-11 2022-08-19 中国科学院深圳先进技术研究院 微创手术辅助方法、装置、设备及存储介质
CN115607285A (zh) * 2022-12-20 2023-01-17 长春理工大学 一种单孔腹腔镜定位装置及方法
CN115607285B (zh) * 2022-12-20 2023-02-24 长春理工大学 一种单孔腹腔镜定位装置及方法
CN115880469A (zh) * 2023-02-20 2023-03-31 江苏省人民医院（南京医科大学第一附属医院） 一种表面点云数据与三维影像的配准方法

Also Published As

Publication number Publication date
CN110010249B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN110010249A (zh) 基于视频叠加的增强现实手术导航方法、系统及电子设备
US11883118B2 (en) Using augmented reality in surgical navigation
US11842456B2 (en) Flattened view for intra-lumenal navigation
CN110033465B (zh) 一种应用于双目内窥镜医学图像的实时三维重建方法
Bichlmeier et al. Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality
CN114145846B (zh) 基于增强现实辅助的手术导航方法及系统
Shahidi et al. Clinical applications of three-dimensional rendering of medical data sets
US11721020B2 (en) Flattened view for intra-lumenal navigation
Sánchez-González et al. Laparoscopic video analysis for training and image-guided surgery
Halabi et al. Virtual and augmented reality in surgery
Kumar et al. Stereoscopic visualization of laparoscope image using depth information from 3D model
Chan et al. A virtual surgical environment for rehearsal of tympanomastoidectomy
CN111445575A (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
EP3688728A1 (en) Flattened view for intra-lumenal navigation
Meinzer et al. Medical imaging: examples of clinical applications
Li et al. Three-dimensional reconstruction of paracentesis approach in transjugular intrahepatic portosystemic shunt
Wang et al. A monocular SLAM system based on SIFT features for gastroscope tracking
CN115105204A (zh) 一种腹腔镜增强现实融合显示方法
Zhang et al. Online view enhancement for exploration inside medical volumetric data using virtual reality
Vogt Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery
Dubrovin et al. Preoperative planning and intraoperative navigation, based on 3D modeling for retroperitoneal procedures
Neubauer Virtual Endoscopy for preoperative planning and training of endonasal transsphenoidal pituitary surgery
GB2576489A (en) Flattened view for intra-lumenal navigation
Serna-Morales et al. Acquisition of three-dimensional information of brain structures using endoneurosonography
CN113240645B (zh) 显示处理方法、装置、存储介质、处理器及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220913

Address after: Room 503, 5th Floor, Building 9, No. 35, Huayuan North Road, Haidian District, Beijing 100080

Patentee after: Beijing ruiyibo Technology Co.,Ltd.

Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee before: BEIHANG University