CN109035414A - 增强现实手术图像的生成方法、装置、设备及存储介质 - Google Patents
增强现实手术图像的生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109035414A CN109035414A CN201810639689.0A CN201810639689A CN109035414A CN 109035414 A CN109035414 A CN 109035414A CN 201810639689 A CN201810639689 A CN 201810639689A CN 109035414 A CN109035414 A CN 109035414A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- registrated
- endoscopic images
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000001228 spectrum Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000001356 surgical procedure Methods 0.000 description 7
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000002675 image-guided surgery Methods 0.000 description 4
- 206010052428 Wound Diseases 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000010410 layer Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明适用图像处理技术领域，提供了一种增强现实手术图像的生成方法、装置、设备及存储介质，该方法包括：通过摄像头采集手术场景的场景图像，对场景图像进行配准，通过摄像头获取手术场景中内窥镜的位置，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种增强现实手术图像的生成方法、装置、设备及存储介质。
背景技术
传统外科手术必须切断很多健康的组织层才能达到目标组织，对健康组织造成了严重的破坏。为了降低开销同时又解除患者的创伤，传统的外科开刀手术正被微创手术所替代，比如图像引导外科手术系统，它的目标在于通过整合医学图像和其他信息源，如跟踪仪器，增强并补充医生对于骨骼空间结构的理解能力。
图像引导外科手术中医生能够通过利用医学成像技术降低外科手术过程中的创伤，并提高准确性和安全性。然而，现有的图像引导手术系统存在一些问题。首先医生不得不把目光从患者身上移到显示屏上，这就破坏了医生的手眼协调，其次医生不能在显示屏上看到患者，降低了外科手术的安全性，最重要的是，图像引导手术只能增加人眼所不能达到的视觉范围与精度，并不能提供额外的“透视”表层的能力。
发明内容
本发明的目的在于提供一种增强现实手术图像的生成方法、装置、设备及存储介质，旨在解决由于现有技术中通过手术图像引导外科手术时，医生的视线需要在显示屏和患者之间往复移动，也无法为医生提供透视视角，导致手术的效率和安全程度不高的问题。
一方面，本发明提供了一种增强现实手术图像的生成方法，所述方法包括下述步骤：
通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；
通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；
根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；
通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。
另一方面，本发明提供了一种增强现实手术图像的生成装置，所述装置包括：
外部图像配准单元，用于通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；
内窥镜图像获取单元，用于通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；
内部图像配准单元，用于根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；以及
显示输出单元，用于通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。
另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述增强现实手术图像的生成方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述增强现实手术图像的生成方法所述的步骤。
本发明通过摄像头采集手术场景的场景图像，对该场景图像进行配准，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。
附图说明
图1是本发明实施例一提供的增强现实手术图像的生成方法的实现流程图；
图2是本发明实施例二提供的增强现实手术图像的生成装置的结构示意图；
图3是本发明实施例二提供的增强现实手术图像的生成装置的优选结构示意图；以及
图4是本发明实施例三提供的图像处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的增强现实手术图像的生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，通过摄像头采集手术场景的场景图像，对场景图像进行配准。
本发明实施例适用于图像处理平台或系统，通过预先设置在手术场景中的摄像头采集手术场景的场景图像，对场景图像进行配准，以实现手术外景图像的配准。优选地，在对场景图像进行配准时，通过预设的标记点定位方式(例如基于标记点的图像配准算法)对场景图像进行配准，从而有效地提高场景图像的配准效果。
在步骤S102中，通过摄像头获取手术场景中内窥镜的位置，并获取内窥镜采集的内窥镜图像。
在本发明实施例中，在通过摄像头采集场景图像的同时，通过摄像头定位手术场景中内窥镜的位置，并获取内窥镜采集到的内窥镜图像。
在步骤S103中，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像。
在本发明实施例中，获取预先构造的三维CT图像，根据内窥镜的位置，将内窥镜图像和预先构建的三维CT图像进行配准，实现手术内景图像的配准，从而为医生提供内窥镜图像的同时，提供内窥镜图像所在区域的“透视”图像。
在将内窥镜图像和预先构建的三维CT图像进行配准时，摄像头只能定位到内窥镜在手术场景中的位置，无法得到内窥镜顶端的角度，优选地，根据预设的旋转角度，对三维CT图像进行多次旋转，每次旋转后根据内窥镜的位置在三维CT图像上获得相应的伪二维图像，经过三维CT图像的360度旋转，得到多个伪二维图像，将内窥镜图像与每个伪二维图像进行配准，获得每个伪二维图像与内窥镜图像的匹配程度，将这些匹配程度中最高匹配程度对应的伪二维图像设置为内窥镜图像与三维CT图像的配准图像，从而有效地提高了内窥镜图像与三维CT图像配准的效率和准确度。作为示例地，当旋转角度为30度时，旋转次数为12次，得到12个伪二维图像。
进一步优选地，在内窥镜图像分别与每个伪二维图像进行配准时，提取内窥镜图像的多层频谱描述子特征，提取每个伪二维图像的多层频谱描述子特征，将内窥镜图像的多层频谱描述子特征分别与每个伪二维图像的多层频谱描述子特征进行匹配，从而通过多层频谱描述子特征的平移、旋转和缩放不变性质，有效地提高了内窥镜图像与伪二维图像的配准效果。
又优选地，在内窥镜图像分别与每个伪二维图像进行配准时，通过预设的卡尔曼滤波算法和预设的角点匹配算法，将内窥镜图像分别与每个伪二维图像进行配准，从而有效地提高了内窥镜图像与伪二维图像的配准效果
在步骤S104中，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像。
在本发明实施例中，通过增强现实显示设备对配准图像和配准的场景图像同步进行显示输出，得到相应的增强现实手术图像，从而医生在增强现实手术图像中可直接观察到手术外部场景和内窥镜内部场景，并为医生提供透视视角。
优选地，增强现实显示设备为头盔式增强现实显示设备，例如微软全息眼镜(Hololens)，从而有效地提高增强现实手术图像的显示效果。
在本发明实施例中，通过摄像头采集手术场景的场景图像，对该场景图像进行配准，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。
实施例二：
图2示出了本发明实施例二提供的增强现实手术图像的生成装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
外部图像配准单元21，用于通过摄像头采集手术场景的场景图像，对场景图像进行配准。
在本发明实施例中，通过预先设置在手术场景中的摄像头采集手术场景的场景图像，对场景图像进行配准，以实现手术外景图像的配准。优选地，在对场景图像进行配准时，通过预设的标记点定位方式对场景图像进行配准，从而有效地提高场景图像的配准效果。
内窥镜图像获取单元22，用于通过摄像头获取手术场景中内窥镜的位置，并获取内窥镜采集的内窥镜图像。
在本发明实施例中，在通过摄像头采集场景图像的同时，通过摄像头定位手术场景中内窥镜的位置，并获取内窥镜采集到的内窥镜图像。
内部图像配准单元23，用于根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像。
在本发明实施例中，获取预先构造的三维CT图像，根据内窥镜的位置，将内窥镜图像和预先构建的三维CT图像进行配准，实现手术内景图像的配准，从而为医生提供内窥镜图像的同时，提供内窥镜图像所在区域的“透视”图像。
显示输出单元24，用于通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像。
在本发明实施例中，通过增强现实显示设备对配准图像和配准的场景图像同步进行显示输出，得到相应的增强现实手术图像，从而医生在增强现实手术图像中可直接观察到手术外部场景和内窥镜内部场景，并为医生提供透视视角。
优选地，增强现实显示设备为头盔式增强现实显示设备，例如微软全息眼镜(Hololens)，从而有效地提高增强现实手术图像的显示效果。
优选地，内部图像配准单元23包括：
伪二维图像获取单元331，用于根据内窥镜的位置和预设的旋转角度，对三维CT图像进行多次旋转，获得多个伪二维图像；
伪二维图像配准单元332，用于将内窥镜图像分别与每个伪二维图像进行配准，获得每个伪二维图像与内窥镜图像的匹配程度；以及
配准图像获取单元333，用于根据获得每个伪二维图像与内窥镜图像的匹配程度，获得内窥镜图像与三维CT图像的配准图像。
在本发明实施例中，在将内窥镜图像和预先构建的三维CT图像进行配准时，摄像头只能定位到内窥镜在手术场景中的位置，无法得到内窥镜顶端的角度，优选地，根据预设的旋转角度，对三维CT图像进行多次旋转，每次旋转后根据内窥镜的位置在三维CT图像上获得相应的伪二维图像，经过三维CT图像的360度旋转，得到多个伪二维图像，将内窥镜图像与每个伪二维图像进行配准，获得每个伪二维图像与内窥镜图像的匹配程度，将这些匹配程度中最高匹配程度对应的伪二维图像设置为内窥镜图像与三维CT图像的配准图像，从而有效地提高了内窥镜图像与三维CT图像配准的效率和准确度。作为示例地，当旋转角度为30度时，旋转次数为12次，得到12个伪二维图像。
进一步优选地，在内窥镜图像分别与每个伪二维图像进行配准时，提取内窥镜图像的多层频谱描述子特征，提取每个伪二维图像的多层频谱描述子特征，将内窥镜图像的多层频谱描述子特征分别与每个伪二维图像的多层频谱描述子特征进行匹配，从而通过多层频谱描述子特征的平移、旋转和缩放不变性质，有效地提高了内窥镜图像与伪二维图像的配准效果。
优选地，伪二维图像配准单元23包括：
配准子单元，用于通过预设的卡尔曼滤波算法和预设的角点匹配算法，将内窥镜图像分别与每个伪二维图像进行配准。
在本发明实施例中，在内窥镜图像分别与每个伪二维图像进行配准时，通过预设的卡尔曼滤波算法和预设的角点匹配算法，将内窥镜图像分别与每个伪二维图像进行配准，从而有效地提高了内窥镜图像与伪二维图像的配准效果
在本发明实施例中，通过摄像头采集手术场景的场景图像，对该场景图像进行配准，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。
在本发明实施例中，增强现实手术图像的生成装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图4示出了本发明实施例三提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，通过摄像头采集手术场景的场景图像，对该场景图像进行配准，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至24的功能。
在本发明实施例中，通过摄像头采集手术场景的场景图像，对该场景图像进行配准，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种增强现实手术图像的生成方法，其特征在于，所述方法包括下述步骤：
通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；
通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；
根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；
通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。
2.如权利要求1所述的方法，其特征在于，对所述场景图像进行配准的步骤，包括：
通过预设的标记点定位方式对所述场景图像进行配准。
3.如权利要求1所述的方法，其特征在于，对所述内窥镜图像和预先构建的三维CT图像进行配准的步骤，包括：
根据所述内窥镜的位置和预设的旋转角度，对所述三维CT图像进行多次旋转，获得多个伪二维图像；
将所述内窥镜图像分别与所述每个伪二维图像进行配准，获得所述每个伪二维图像与所述内窥镜图像的匹配程度；
根据获得所述每个伪二维图像与所述内窥镜图像的匹配程度，获得所述内窥镜图像与所述三维CT图像的配准图像。
4.如权利要求3所述的方法，其特征在于，将所述内窥镜图像分别与所述每个伪二维图像进行配准的步骤，包括：
通过预设的卡尔曼滤波算法和预设的角点匹配算法，将所述内窥镜图像分别与所述每个伪二维图像进行配准。
5.如权利要求1所述的方法，其特征在于，所述增强现实显示设备为头盔式增强现实显示设备。
6.一种增强现实手术图像的生成装置，其特征在于，所述装置包括：
外部图像配准单元，用于通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；
内窥镜图像获取单元，用于通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；
内部图像配准单元，用于根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；以及
显示输出单元，用于通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。
7.如权利要求6所述的装置，其特征在于，所述内部图像配准单元还包括：
伪二维图像获取单元，用于根据所述内窥镜的位置和预设的旋转角度，对所述三维CT图像进行多次旋转，获得多个伪二维图像；
伪二维图像配准单元，用于将所述内窥镜图像分别与所述每个伪二维图像进行配准，获得所述每个伪二维图像与所述内窥镜图像的匹配程度；以及
配准图像获取单元，用于根据获得所述每个伪二维图像与所述内窥镜图像的匹配程度，获得所述内窥镜图像与所述三维CT图像的配准图像。
8.如权利要求7所述的装置，其特征在于，所述伪二维图像配准单元包括：
配准子单元，用于通过预设的卡尔曼滤波算法和预设的角点匹配算法，将所述内窥镜图像分别与所述每个伪二维图像进行配准。
9.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810639689.0A CN109035414A (zh) | 2018-06-20 | 2018-06-20 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810639689.0A CN109035414A (zh) | 2018-06-20 | 2018-06-20 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109035414A true CN109035414A (zh) | 2018-12-18 |
Family
ID=64610331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810639689.0A Pending CN109035414A (zh) | 2018-06-20 | 2018-06-20 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035414A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109700550A (zh) * | 2019-01-22 | 2019-05-03 | 雅客智慧（北京）科技有限公司 | 一种用于牙科手术的增强现实方法及装置 |
| CN110051434A (zh) * | 2019-04-25 | 2019-07-26 | 厦门强本科技有限公司 | Ar与内窥镜结合手术导航方法及终端 |
| CN110169821A (zh) * | 2019-04-29 | 2019-08-27 | 博瑞生物医疗科技(深圳)有限公司 | 一种图像处理方法、装置及系统 |
| GB2577718A (en) * | 2018-10-03 | 2020-04-08 | Cmr Surgical Ltd | Feature identification |
| CN111193830A (zh) * | 2019-12-03 | 2020-05-22 | 天津大学 | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 |
| CN111583296A (zh) * | 2020-04-28 | 2020-08-25 | 山东大学 | 基于卡尔曼滤波和4d ct图像配准的肺部呼吸运动估计方法 |
| CN111772792A (zh) * | 2020-08-05 | 2020-10-16 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN112132944A (zh) * | 2020-09-30 | 2020-12-25 | 湖南能创科技有限责任公司 | 一种基于增强现实的工业内窥影像实现方法及系统 |
| CN113693738A (zh) * | 2021-08-27 | 2021-11-26 | 南京长城智慧医疗科技有限公司 | 一种基于智能显示的手术系统 |
| CN116449962A (zh) * | 2023-06-14 | 2023-07-18 | 北京水木东方医用机器人技术创新中心有限公司 | 内部场景ar可视化方法、装置以及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002000093A2 (en) * | 2000-06-27 | 2002-01-03 | Insightec-Image Guided Treatment Ltd. | Registration of target object images to stored image data |
| US20020018589A1 (en) * | 2000-06-02 | 2002-02-14 | Beuker Rob Anne | Method and apparatus for merging images into a composit image |
| US20060281971A1 (en) * | 2005-06-14 | 2006-12-14 | Siemens Corporate Research Inc | Method and apparatus for minimally invasive surgery using endoscopes |
| CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
| CA2839854A1 (en) * | 2014-01-17 | 2015-07-17 | Centre For Imaging Technology Commercialization (Cimtec) | 2d-3d rigid registration method to compensate for organ motion during an interventional procedure |
-
2018
- 2018-06-20 CN CN201810639689.0A patent/CN109035414A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020018589A1 (en) * | 2000-06-02 | 2002-02-14 | Beuker Rob Anne | Method and apparatus for merging images into a composit image |
| WO2002000093A2 (en) * | 2000-06-27 | 2002-01-03 | Insightec-Image Guided Treatment Ltd. | Registration of target object images to stored image data |
| US20060281971A1 (en) * | 2005-06-14 | 2006-12-14 | Siemens Corporate Research Inc | Method and apparatus for minimally invasive surgery using endoscopes |
| CN102999902A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位系统及其导航方法 |
| CA2839854A1 (en) * | 2014-01-17 | 2015-07-17 | Centre For Imaging Technology Commercialization (Cimtec) | 2d-3d rigid registration method to compensate for organ motion during an interventional procedure |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2577718B (en) * | 2018-10-03 | 2022-08-24 | Cmr Surgical Ltd | Feature identification |
| GB2577718A (en) * | 2018-10-03 | 2020-04-08 | Cmr Surgical Ltd | Feature identification |
| CN109700550A (zh) * | 2019-01-22 | 2019-05-03 | 雅客智慧（北京）科技有限公司 | 一种用于牙科手术的增强现实方法及装置 |
| CN110051434A (zh) * | 2019-04-25 | 2019-07-26 | 厦门强本科技有限公司 | Ar与内窥镜结合手术导航方法及终端 |
| CN110169821A (zh) * | 2019-04-29 | 2019-08-27 | 博瑞生物医疗科技(深圳)有限公司 | 一种图像处理方法、装置及系统 |
| CN111193830A (zh) * | 2019-12-03 | 2020-05-22 | 天津大学 | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 |
| CN111583296B (zh) * | 2020-04-28 | 2022-09-09 | 山东大学 | 基于卡尔曼滤波和4d ct图像配准的肺部呼吸运动估计方法 |
| CN111583296A (zh) * | 2020-04-28 | 2020-08-25 | 山东大学 | 基于卡尔曼滤波和4d ct图像配准的肺部呼吸运动估计方法 |
| CN111772792A (zh) * | 2020-08-05 | 2020-10-16 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN111772792B (zh) * | 2020-08-05 | 2023-11-28 | 山东省肿瘤防治研究院（山东省肿瘤医院） | 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质 |
| CN112132944A (zh) * | 2020-09-30 | 2020-12-25 | 湖南能创科技有限责任公司 | 一种基于增强现实的工业内窥影像实现方法及系统 |
| CN113693738A (zh) * | 2021-08-27 | 2021-11-26 | 南京长城智慧医疗科技有限公司 | 一种基于智能显示的手术系统 |
| CN116449962A (zh) * | 2023-06-14 | 2023-07-18 | 北京水木东方医用机器人技术创新中心有限公司 | 内部场景ar可视化方法、装置以及设备 |
| CN116449962B (zh) * | 2023-06-14 | 2023-09-29 | 北京水木东方医用机器人技术创新中心有限公司 | 内部场景ar可视化方法、装置以及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035414A (zh) | 增强现实手术图像的生成方法、装置、设备及存储介质 | |
| US11050990B2 (en) | Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays with cameras and 3D scanners | |
| JP7443353B2 (ja) | 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正 | |
| AU2015202805B2 (en) | Augmented surgical reality environment system | |
| AU2014231341A1 (en) | System and method for dynamic validation, correction of registration for surgical navigation | |
| US11910995B2 (en) | Instrument navigation in endoscopic surgery during obscured vision | |
| EP3782529A1 (en) | Systems and methods for selectively varying resolutions | |
| Vogt | Augmented light field visualization and real-time image enhancement for computer assisted endoscopic surgery | |
| US12010285B2 (en) | Augmented reality guidance for spinal surgery with stereoscopic displays | |
| WO2024105607A1 (en) | Apparatus and methods for performing a medical procedure | |
| WO2023126754A1 (en) | Three-dimensional model reconstruction | |
| KR20200132189A (ko) | 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법 | |
| De Paolis et al. | Augmented Visualization of the Patient's Organs through a SlidingWindow. | |
| Navab et al. | Laparoscopic Virtual Mirror | |
| Ciucci | Intraoperative endoscopic augmented reality in third ventriculostomy | |
| CA2892298A1 (en) | Augmented surgical reality environment system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |
|
| RJ01 | Rejection of invention patent application after publication |