CN108335365A - 一种影像引导的虚实融合处理方法及装置 - Google Patents
一种影像引导的虚实融合处理方法及装置 Download PDFInfo
- Publication number
- CN108335365A CN108335365A CN201810102573.3A CN201810102573A CN108335365A CN 108335365 A CN108335365 A CN 108335365A CN 201810102573 A CN201810102573 A CN 201810102573A CN 108335365 A CN108335365 A CN 108335365A
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- virtual reality
- subobject
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000007499 fusion processing Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 title claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 230000003190 augmentative effect Effects 0.000 claims abstract description 18
- 239000011521 glass Substances 0.000 claims abstract description 16
- 210000000115 thoracic cavity Anatomy 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 8
- 230000001052 transient effect Effects 0.000 claims description 7
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 210000004072 lung Anatomy 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 239000011800 void material Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T3/08—
Abstract
本发明实施例公开了一种影像引导的虚实融合处理方法及装置，方法包括：获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。本发明实施例通过结合目标对象的各子对象的平面位置信息和三维位置信息实现目标对象的虚实融合，使得虚实融合后的定位更加快速和准确。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种影像引导的虚实融合处理方法及装置。
背景技术
虚实融合技术是由虚拟物体和真实物体组合在一起形成新环境的技术。通常采用增强现实技术构建虚实融合环境，增强现实技术通过将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到同一个画面或空间同时存在，虚拟和现实信息相互补充、叠加，由此提供了比在真实世界更多的感知信息。
如今虚实融合技术被越来越广泛的应用，如在医疗、维修、建筑、文化遗产保护和生活娱乐等方面。例如医疗领域的肺微小结节术中定位困难，尤其在胸腔镜下定位更为困难，目前的导航系统显示界面与手术区域分离，不直观、不准确。
在实现本发明实施例的过程中，发明人发现现有的虚实融合方法定位不准确。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种影像引导的虚实融合处理方法及装置。
第一方面，本发明实施例提出一种影像引导的虚实融合处理方法，包括：
获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；
获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；
根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；
根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
可选地，所述获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息，具体包括：
获取待处理图像，对所述待处理图像进行深度值计算、遮挡关系处理和可视化渲染，得到预处理图像，并根据目标对象的子对象对所述预处理图像进行分割与重建，得到目标对象的各子对象的平面位置信息。
可选地，所述根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型，具体包括：
根据所述平面位置信息和所述三维位置信息，计算所述目标对象的目标参数，并根据所述目标参数建立所述目标对象的虚拟模型；
其中，所述目标参数包括：胸腔镜镜头畸变参数、胸腔镜镜头内部参数和胸腔镜镜头外部参数。
可选地，所述方法还包括：
根据影像数据的当前帧实时显示虚实融合后的目标对象。
第二方面，本发明实施例还提出一种影像引导的虚实融合处理装置，包括：
图像预处理模块，用于获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；
位置计算模块，用于获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；
模型建立模块，用于根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；
虚实融合模块，用于根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
可选地，所述图像预处理模块具体用于获取待处理图像，对所述待处理图像进行深度值计算、遮挡关系处理和可视化渲染，得到预处理图像，并根据目标对象的子对象对所述预处理图像进行分割与重建，得到目标对象的各子对象的平面位置信息。
可选地，所述模型建立模块具体用于根据所述平面位置信息和所述三维位置信息，计算所述目标对象的目标参数，并根据所述目标参数建立所述目标对象的虚拟模型；
其中，所述目标参数包括：胸腔镜镜头畸变参数、胸腔镜镜头内部参数和胸腔镜镜头外部参数。
可选地，所述装置还包括：
显示模块，用于根据影像数据的当前帧实时显示虚实融合后的目标对象。
第三方面，本发明实施例还提出一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
由上述技术方案可知，本发明实施例通过结合目标对象的各子对象的平面位置信息和三维位置信息建立目标对象的虚拟模型，进一步根据虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，从而实现目标对象的虚实融合，使得虚实融合后的定位更加快速和准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种影像引导的虚实融合处理方法的流程示意图；
图2为本发明一实施例提供的一种影像引导的虚实融合处理装置的结构示意图；
图3为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本实施例提供的一种影像引导的虚实融合处理方法的流程示意图，包括：
S101、获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息。
其中，所述待处理图像为拍摄目标对象得到的图像。
所述目标对象为需要通过虚实融合技术进行研究的对象，例如胸腔镜手术中的肺部。
所述平面位置信息为目标对象的各子对象的二维位置信息。
S102、获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息。
其中，所述影像数据为拍摄所述目标对象内部构造的影像。
所述三维位置信息为目标对象的各子对象的三维坐标的位置信息。
S103、根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型。
其中，所述虚拟模型为通过计算机建立的目标对象的计算机模型。
具体地，通过对根据影像数据计算得到的三维位置信息进行建模，同时通过目标对象外部拍摄得到的待处理图像的平面位置信息对模型进行校正，能够得到与真实的目标对象极为接近的计算机模型。
S104、根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
其中，所述增强现实眼镜为观看影像数据所采用的眼镜，由于影像数据一般为实时拍摄的影像，因此增强现实眼镜采用真实的坐标系。
所述虚拟坐标系为虚拟模型的坐标系，为虚拟的计算机坐标系。
具体地，增强现实眼镜的真实坐标系与虚拟模型的虚拟坐标系之间可以通过空间旋转和平移等操作进行互相切换，因此两者之间存在一定的映射关系，进一步通过该映射关系，能够实现目标对象的虚实融合。
本实施例通过结合目标对象的各子对象的平面位置信息和三维位置信息建立目标对象的虚拟模型，进一步根据虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，从而实现目标对象的虚实融合，使得虚实融合后的定位更加快速和准确。
进一步地，在上述方法实施例的基础上，S101具体包括：
获取待处理图像，对所述待处理图像进行深度值计算、遮挡关系处理和可视化渲染，得到预处理图像，并根据目标对象的子对象对所述预处理图像进行分割与重建，得到目标对象的各子对象的平面位置信息。
具体地，通过对待处理图像进行深度值计算、遮挡关系处理和可视化渲染，能够获取更为清晰的图像，便于后续建模；同时通过对预处理图像进行分割与重建，能够获取更准确的平面位置信息。
进一步地，在上述方法实施例的基础上，S103具体包括：
根据所述平面位置信息和所述三维位置信息，计算所述目标对象的目标参数，并根据所述目标参数建立所述目标对象的虚拟模型。
其中，所述目标参数包括：胸腔镜镜头畸变参数、胸腔镜镜头内部参数和胸腔镜镜头外部参数。
通过先计算目标对象的目标参数，方便建立目标对象的虚拟模型。
进一步地，在上述方法实施例的基础上，所述方法还包括：
S105、根据影像数据的当前帧实时显示虚实融合后的目标对象。
具体地，通过实时显示虚实融合后的目标对象，方便用户实时查看并获知准确的位置。
以下以胸腔镜手术中的肺部为例进行介绍，将胸腔镜与肺微小结节三维模型进行实时注册，通过增强现实技术实现肺微小结节在胸腔镜下虚实融合呈现，使定位与导航同步完成具体包括以下六个步骤：
A1、获取肺结节患者的图像信息，主要通过多种接口获取CT扫描得到的胸部图像数据，主要是术中萎陷状态下的图像数据，并进行必要的格式转换。
A2、对采集的图像信息进行处理，包括肺区域及肺微小结节的自动分割与重建、虚实物体层次关系(深度值计算、遮挡关系处理等)、肺及肺结节的可视化渲染(轮廓、光照、阴影以及纹理等)等。
A3、采用高精度高速双目立体摄像机观察被动或主动目标，然后利用定位算法计算出各种目标在定位坐标系的空间位置，并由此进一步计算目标的位姿信息。
A4、建立描述胸腔镜图像点位置和三维空间点位置之间关系的摄像机模型，通过已知的特征点图像点坐标与胸腔镜点坐标来计算摄像机模型参数，即胸腔镜的内部参数和外参矩阵，包括胸腔镜镜头畸变参数标定、胸腔镜镜头内部参数矩阵标定、胸腔镜镜头外部参数矩阵标定等。
A5、患者的影像空间与手术空间的虚实注册，采用基于外部标记点的点匹配注册方法建立增强现实眼镜坐标系和影像坐标系之间的映射关系，点匹配注册方法以注册坐标系中的一对两两对应的标记点为基础，利用空间旋转和平移将两种坐标系进行转换以达到两组点空间位置上的一致性。
A6、对分割重建出的肺微小结节模型与腔镜真实图像进行透明度融合，在胸腔镜上呈现给手术医师真实生动的虚实融合场景。以前期的跟踪注册为基础，包括虚拟物体的光照、阴影以及纹理等渲染、虚实物体模型的深度值计算、虚实层次关系及虚实物体的遮挡关系处理等，以实现肺微小结节胸腔镜下虚实融合呈现。
本实施例将肺微小结节的三维模型融于胸腔镜视野中，能够为医生提供虚实融合的视觉引导和准确、直观、无创、快速、多角度实时的可视化导航，将使未来肺癌外科更加精准、安全、高效。
图2示出了本实施例提供的一种影像引导的虚实融合处理装置的结构示意图，所述装置包括：图像预处理模块201、位置计算模块202、模型建立模块203和虚实融合模块204，其中：
所述图像预处理模块201用于获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；
所述位置计算模块202用于获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；
所述模型建立模块203用于根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；
所述虚实融合模块204用于根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
具体地，所述图像预处理模块201获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；所述位置计算模块202获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；所述模型建立模块203根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；所述虚实融合模块204根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
本实施例通过结合目标对象的各子对象的平面位置信息和三维位置信息建立目标对象的虚拟模型，进一步根据虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，从而实现目标对象的虚实融合，使得虚实融合后的定位更加快速和准确。
进一步地，在上述装置实施例的基础上，所述图像预处理模块201具体用于获取待处理图像，对所述待处理图像进行深度值计算、遮挡关系处理和可视化渲染，得到预处理图像，并根据目标对象的子对象对所述预处理图像进行分割与重建，得到目标对象的各子对象的平面位置信息。
进一步地，在上述装置实施例的基础上，所述模型建立模块203具体用于根据所述平面位置信息和所述三维位置信息，计算所述目标对象的目标参数，并根据所述目标参数建立所述目标对象的虚拟模型；
其中，所述目标参数包括：胸腔镜镜头畸变参数、胸腔镜镜头内部参数和胸腔镜镜头外部参数。
进一步地，在上述装置实施例的基础上，所述装置还包括：
显示模块，用于根据影像数据的当前帧实时显示虚实融合后的目标对象。
本实施例所述的影像引导的虚实融合处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
参照图3，所述电子设备，包括：处理器(processor)301、存储器(memory)302和总线303；
其中，
所述处理器301和存储器302通过所述总线303完成相互间的通信；
所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种影像引导的虚实融合处理方法，其特征在于，包括：
获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；
获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；
根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；
根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息，具体包括：
获取待处理图像，对所述待处理图像进行深度值计算、遮挡关系处理和可视化渲染，得到预处理图像，并根据目标对象的子对象对所述预处理图像进行分割与重建，得到目标对象的各子对象的平面位置信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型，具体包括：
根据所述平面位置信息和所述三维位置信息，计算所述目标对象的目标参数，并根据所述目标参数建立所述目标对象的虚拟模型；
其中，所述目标参数包括：胸腔镜镜头畸变参数、胸腔镜镜头内部参数和胸腔镜镜头外部参数。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
根据影像数据的当前帧实时显示虚实融合后的目标对象。
5.一种影像引导的虚实融合处理装置，其特征在于，包括：
图像预处理模块，用于获取待处理图像，对所述待处理图像进行预处理，得到目标对象的各子对象的平面位置信息；
位置计算模块，用于获取所述目标对象的影像数据，根据所述影像数据计算得到所述目标对象的各子对象的三维位置信息；
模型建立模块，用于根据所述平面位置信息和所述三维位置信息建立所述目标对象的虚拟模型；
虚实融合模块，用于根据所述虚拟模型建立增强现实眼镜的真实坐标系与所述虚拟模型的虚拟坐标系之间的映射关系，并根据所述映射关系实现所述目标对象的虚实融合。
6.根据权利要求5所述的装置，其特征在于，所述图像预处理模块具体用于获取待处理图像，对所述待处理图像进行深度值计算、遮挡关系处理和可视化渲染，得到预处理图像，并根据目标对象的子对象对所述预处理图像进行分割与重建，得到目标对象的各子对象的平面位置信息。
7.根据权利要求5所述的装置，其特征在于，所述模型建立模块具体用于根据所述平面位置信息和所述三维位置信息，计算所述目标对象的目标参数，并根据所述目标参数建立所述目标对象的虚拟模型；
其中，所述目标参数包括：胸腔镜镜头畸变参数、胸腔镜镜头内部参数和胸腔镜镜头外部参数。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述装置还包括：
显示模块，用于根据影像数据的当前帧实时显示虚实融合后的目标对象。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至4任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810102573.3A CN108335365A (zh) | 2018-02-01 | 2018-02-01 | 一种影像引导的虚实融合处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810102573.3A CN108335365A (zh) | 2018-02-01 | 2018-02-01 | 一种影像引导的虚实融合处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108335365A true CN108335365A (zh) | 2018-07-27 |
Family
ID=62928003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810102573.3A Pending CN108335365A (zh) | 2018-02-01 | 2018-02-01 | 一种影像引导的虚实融合处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108335365A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345573A (zh) * | 2018-08-20 | 2019-02-15 | 联想(北京)有限公司 | 一种位置信息确定方法、电子设备和计算机存储介质 |
| CN109920519A (zh) * | 2019-02-20 | 2019-06-21 | 东软医疗系统股份有限公司 | 处理影像数据的方法、装置及设备 |
| CN110090069A (zh) * | 2019-06-18 | 2019-08-06 | 无锡祥生医疗科技股份有限公司 | 超声穿刺引导方法、引导装置和存储介质 |
| CN110111242A (zh) * | 2019-05-07 | 2019-08-09 | 北京东软医疗设备有限公司 | 一种图像映射方法及装置 |
| CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
| CN110751681A (zh) * | 2019-10-18 | 2020-02-04 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
| CN110784728A (zh) * | 2019-10-21 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种图像数据处理方法、装置、以及计算机可读存储介质 |
| WO2020029504A1 (zh) * | 2018-08-10 | 2020-02-13 | 珠海格力电器股份有限公司 | 设备的定位方法和装置 |
| CN111127661A (zh) * | 2019-12-17 | 2020-05-08 | 北京超图软件股份有限公司 | 一种数据处理方法、装置及电子设备 |
| CN111273763A (zh) * | 2018-12-05 | 2020-06-12 | 扩展知识公司 | 增强现实的实现方法及用于实现增强现实的计算机系统 |
| CN111275776A (zh) * | 2020-02-11 | 2020-06-12 | 北京淳中科技股份有限公司 | 投影增强现实方法、装置和电子设备 |
| CN111275825A (zh) * | 2020-01-14 | 2020-06-12 | 于金明 | 一种基于虚拟智能医疗平台的摆位结果可视化方法及装置 |
| CN111374784A (zh) * | 2018-12-29 | 2020-07-07 | 海信视像科技股份有限公司 | 一种增强现实ar定位系统及方法 |
| CN111931830A (zh) * | 2020-07-27 | 2020-11-13 | 泰瑞数创科技(北京)有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
| CN113034700A (zh) * | 2021-03-05 | 2021-06-25 | 广东工业大学 | 基于移动终端的前交叉韧带重建手术导航方法及系统 |
| CN113168735A (zh) * | 2018-10-22 | 2021-07-23 | 犹尼蒂知识产权有限公司 | 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统 |
| CN113409473A (zh) * | 2021-07-06 | 2021-09-17 | 浙江商汤科技开发有限公司 | 实现虚实融合的方法、装置、电子设备及存储介质 |
| CN115661419A (zh) * | 2022-12-26 | 2023-01-31 | 广东新禾道信息科技有限公司 | 实景三维增强现实可视化方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航系统 |
| US20130095460A1 (en) * | 2010-06-15 | 2013-04-18 | Jonathan Edward Bishop | Assisting human interaction |
| CN106204511A (zh) * | 2016-07-15 | 2016-12-07 | 西安交通大学第附属医院 | 一种二维图像与ct、mr图像的三维融合方法 |
| CN106327587A (zh) * | 2016-11-16 | 2017-01-11 | 北京航空航天大学 | 一种用于增强现实手术导航的腹腔镜视频精准融合方法 |
| CN107430437A (zh) * | 2015-02-13 | 2017-12-01 | 厉动公司 | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 |
| WO2017220092A1 (de) * | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug |
-
2018
- 2018-02-01 CN CN201810102573.3A patent/CN108335365A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航系统 |
| US20130095460A1 (en) * | 2010-06-15 | 2013-04-18 | Jonathan Edward Bishop | Assisting human interaction |
| CN107430437A (zh) * | 2015-02-13 | 2017-12-01 | 厉动公司 | 在虚拟现实/增强现实环境中创建真实的抓取体验的系统和方法 |
| WO2017220092A1 (de) * | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug |
| CN106204511A (zh) * | 2016-07-15 | 2016-12-07 | 西安交通大学第附属医院 | 一种二维图像与ct、mr图像的三维融合方法 |
| CN106327587A (zh) * | 2016-11-16 | 2017-01-11 | 北京航空航天大学 | 一种用于增强现实手术导航的腹腔镜视频精准融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| 么娆 等: "《超声引导机器人系统实时影像处理与导航定位技术》", 31 October 2013, 国防工业出版社 * |
| 周良辅 等: "《神经导航外科学》", 30 June 2008, 上海科技教育出版社 * |
| 王学占: "面向腹腔微创手术的增强现实技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029504A1 (zh) * | 2018-08-10 | 2020-02-13 | 珠海格力电器股份有限公司 | 设备的定位方法和装置 |
| CN109345573A (zh) * | 2018-08-20 | 2019-02-15 | 联想(北京)有限公司 | 一种位置信息确定方法、电子设备和计算机存储介质 |
| CN109345573B (zh) * | 2018-08-20 | 2021-04-13 | 联想(北京)有限公司 | 一种位置信息确定方法、电子设备和计算机存储介质 |
| CN113168735A (zh) * | 2018-10-22 | 2021-07-23 | 犹尼蒂知识产权有限公司 | 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统 |
| CN111273763A (zh) * | 2018-12-05 | 2020-06-12 | 扩展知识公司 | 增强现实的实现方法及用于实现增强现实的计算机系统 |
| CN111374784A (zh) * | 2018-12-29 | 2020-07-07 | 海信视像科技股份有限公司 | 一种增强现实ar定位系统及方法 |
| CN111374784B (zh) * | 2018-12-29 | 2022-07-15 | 海信视像科技股份有限公司 | 一种增强现实ar定位系统及方法 |
| CN109920519A (zh) * | 2019-02-20 | 2019-06-21 | 东软医疗系统股份有限公司 | 处理影像数据的方法、装置及设备 |
| CN110169820A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种关节置换手术位姿标定方法及装置 |
| CN110111242A (zh) * | 2019-05-07 | 2019-08-09 | 北京东软医疗设备有限公司 | 一种图像映射方法及装置 |
| CN110090069A (zh) * | 2019-06-18 | 2019-08-06 | 无锡祥生医疗科技股份有限公司 | 超声穿刺引导方法、引导装置和存储介质 |
| CN110751681B (zh) * | 2019-10-18 | 2022-07-08 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
| CN110751681A (zh) * | 2019-10-18 | 2020-02-04 | 西南科技大学 | 一种增强现实的配准方法、装置、设备及存储介质 |
| CN110784728A (zh) * | 2019-10-21 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种图像数据处理方法、装置、以及计算机可读存储介质 |
| CN110784728B (zh) * | 2019-10-21 | 2022-08-12 | 腾讯科技（深圳）有限公司 | 一种图像数据处理方法、装置、以及计算机可读存储介质 |
| CN111127661B (zh) * | 2019-12-17 | 2023-08-29 | 北京超图软件股份有限公司 | 一种数据处理方法、装置及电子设备 |
| CN111127661A (zh) * | 2019-12-17 | 2020-05-08 | 北京超图软件股份有限公司 | 一种数据处理方法、装置及电子设备 |
| CN111275825A (zh) * | 2020-01-14 | 2020-06-12 | 于金明 | 一种基于虚拟智能医疗平台的摆位结果可视化方法及装置 |
| CN111275825B (zh) * | 2020-01-14 | 2024-02-27 | 上海联影医疗科技股份有限公司 | 一种基于虚拟智能医疗平台的摆位结果可视化方法及装置 |
| CN111275776A (zh) * | 2020-02-11 | 2020-06-12 | 北京淳中科技股份有限公司 | 投影增强现实方法、装置和电子设备 |
| CN111931830A (zh) * | 2020-07-27 | 2020-11-13 | 泰瑞数创科技(北京)有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
| CN111931830B (zh) * | 2020-07-27 | 2023-12-29 | 泰瑞数创科技(北京)股份有限公司 | 视频融合处理方法、装置、电子设备及存储介质 |
| CN113034700A (zh) * | 2021-03-05 | 2021-06-25 | 广东工业大学 | 基于移动终端的前交叉韧带重建手术导航方法及系统 |
| CN113409473B (zh) * | 2021-07-06 | 2023-03-03 | 浙江商汤科技开发有限公司 | 实现虚实融合的方法、装置、电子设备及存储介质 |
| CN113409473A (zh) * | 2021-07-06 | 2021-09-17 | 浙江商汤科技开发有限公司 | 实现虚实融合的方法、装置、电子设备及存储介质 |
| CN115661419A (zh) * | 2022-12-26 | 2023-01-31 | 广东新禾道信息科技有限公司 | 实景三维增强现实可视化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335365A (zh) | 一种影像引导的虚实融合处理方法及装置 | |
| US11410320B2 (en) | Image processing method, apparatus, and storage medium | |
| CN110874864B (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
| Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
| CN104680582B (zh) | 一种面向对象定制的三维人体模型创建方法 | |
| Guerra-Filho | Optical Motion Capture: Theory and Implementation. | |
| JP7456670B2 (ja) | ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム | |
| CN109700550A (zh) | 一种用于牙科手术的增强现实方法及装置 | |
| CN109036548A (zh) | 基于混合现实三维可视化的辅助诊疗系统 | |
| ES2908588T3 (es) | Método para controlar una pantalla de presentación visual, programa informático y dispositivo de presentación visual de realidad mixta | |
| CN110215284A (zh) | 一种可视化系统和方法 | |
| CN110751681B (zh) | 一种增强现实的配准方法、装置、设备及存储介质 | |
| WO2016003258A1 (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
| CN111862333A (zh) | 基于增强现实的内容处理方法、装置、终端设备及存储介质 | |
| US20210158616A1 (en) | Method and device for processing image, and storage medium | |
| Fischer et al. | A hybrid tracking method for surgical augmented reality | |
| CN114863061A (zh) | 一种远程监护医学图像处理的三维重建方法及系统 | |
| CN107198568A (zh) | 一种腹部外科精准手术引导系统及方法 | |
| US20230054394A1 (en) | Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality image guided surgery | |
| CN113842227B (zh) | 医疗辅助三维模型定位匹配方法、系统、设备及介质 | |
| CN115829978A (zh) | 内窥镜图像处理方法、装置、电子设备及计算机存储介质 | |
| Csongei et al. | ClonAR: Rapid redesign of real-world objects | |
| Fischer | Rendering methods for augmented reality | |
| TW201509360A (zh) | 單鏡頭內視鏡立體視覺化系統及其方法 | |
| EP4336459A1 (en) | Information processing device, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180727 |