CN106296805A - 一种基于实时反馈的增强现实人体定位导航方法及装置 - Google Patents

一种基于实时反馈的增强现实人体定位导航方法及装置 Download PDF

Info

Publication number
CN106296805A
CN106296805A CN201610629122.6A CN201610629122A CN106296805A CN 106296805 A CN106296805 A CN 106296805A CN 201610629122 A CN201610629122 A CN 201610629122A CN 106296805 A CN106296805 A CN 106296805A
Authority
CN
China
Prior art keywords
dimensional reconstruction
image
destination object
reconstruction image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610629122.6A
Other languages
English (en)
Other versions
CN106296805B (zh
Inventor
叶健
高寒
万里
邱凌凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ruifeng Technology Co ltd
Original Assignee
Xiamen Mingwei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Mingwei Technology Co Ltd filed Critical Xiamen Mingwei Technology Co Ltd
Priority to US15/292,947 priority Critical patent/US20170053437A1/en
Publication of CN106296805A publication Critical patent/CN106296805A/zh
Priority to PCT/CN2017/086892 priority patent/WO2017211225A1/zh
Application granted granted Critical
Publication of CN106296805B publication Critical patent/CN106296805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06F19/321—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及计算机技术领域，尤其涉及一种基于实时反馈的增强现实人体定位导航方法及装置，包括：根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，且第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。该方法，在AR设备上显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，从而方便了医生在术中提高手术的准确性和效率。

Description

一种基于实时反馈的增强现实人体定位导航方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于实时反馈的增强现实人体定位导航方法及装置。
背景技术
目前临床工作中大量的操作是建立在准确的解剖定位的基础上，如各种穿刺操作，直到现在很多解剖结构定位仍是由医生徒手完成。因而造成定位不准确，造成一定的手术风险。
为解决上述问题，目前临床上也已经在逐渐应用三维可视化软件，如3DSlicer、ImageJ等，或者导航系统专门配置的一些三维重建软件，使用这些软件对患者的身体部位进行三维重建，可以用于术前观察，以便医生可以判断患者身体部位的状况。
上述方法虽然在一定程度上提高了医生进行手术的效率及准确率，但是仍然存在着以下问题：1)这些软件生成的三维重建图像只能用于术前的观察，并不能够在三维重建图像和真实人体间建立直接联系；2)生成最终的三维重建图像没有根据操作环境进行相应调整，生成的定位数据没有和医生或现场的交互输入/反馈进行动态调节。
综上所述，现有技术中的医学三维重建图像没有与真实人体建立直接联系，因而导致无法在手术现场根据真实人体进行实时调整。
发明内容
本发明提供一种基于实时反馈的增强现实人体定位导航方法及装置，用以解决现有技术中存在的医学三维重建图像没有与真实人体建立直接联系，因而导致无法在手术现场根据真实人体进行实时调整的技术问题。
一方面，本发明实施例提供一种基于实时反馈的增强现实人体定位导航方法，包括：
根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；
根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。
本发明实施例提供的方法，首先根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，并且所述第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。该方法可以实现在AR设备显示三维重建图像，并且显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，并且即使AR设备的位置有所移动，AR设备上的三维重建图像也可以实时调整，从而该方法极大地方便了医生在术中提高手术的准确性和效率。
可选地，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，包括：
根据所述特征点信息，确定所述目标对象的特征模式；
根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；
将所述旋转角度和旋转方向，作为所述图像变换参数。
可选地，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数之前，还包括：
接收所述AR设备采集到的目标对象的信息；
所述根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像之后，还包括：
将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。
可选地，根据下列方式生成所述第一三维重建图像：
根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；
根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者
所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。
可选地，所述方法还包括：
根据接收到的用户指令信息，生成图像调整参数；
根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；
在所述AR设备上显示所述第三三维重建图像。
可选地，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：
接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；
根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：
根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像，包括：
根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：
根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；
根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
另一方面，本发明实施例提供一种基于实时反馈的增强现实人体定位导航装置，包括：
生成单元，用于根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；
调整单元，用于根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。
可选地，所述生成单元，具体用于：根据所述特征点信息，确定所述目标对象的特征模式；
根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；
将所述旋转角度和旋转方向，作为所述图像变换参数。
可选地，所述装置还包括接收单元，用于：接收所述AR设备采集到的目标对象的信息；
所述装置还包括发送单元，用于：将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。
可选地，所述调整单元还用于：根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；
根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者
所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。
可选地，所述生成单元，还用于根据接收到的用户指令信息，生成图像调整参数；
所述调整单元，还用于根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；
所述装置还包括显示单元，用于在所述AR设备上显示所述第三三维重建图像。
可选地，所述调整单元，具体用于：
接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；
根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述调整单元，具体用于：
根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述调整单元，具体用于：
根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；
根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于实时反馈的增强现实人体定位导航方法流程图；
图2为本发明实施例提供的基于参数调整系统的参数调整方式示意图；
图3为本发明实施例提供的基于功能模块库的参数调整方式示意图；
图4为本发明实施例提供的使用传感器采集信息示意图；
图5为本发明实施例提供的使用摄像头采集信息示意图；
图6为本发明实施例提供的基于实时反馈的增强现实人体定位导航方法详细流程图；
图7为本发明实施例提供的基于实时反馈的增强现实人体定位导航装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合说明书附图对本发明实施例作进一步详细描述。
如图1所示，本发明实施例提供的基于实时反馈的增强现实人体定位导航方法，包括：
步骤101、根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；
步骤102、根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。
在本发明实施例中，可以是基于AR(Augmented Reality，增强现实)设备进行信息的采集，但实际应用中，还可以是基于其它的通用显示设备进行信息的采集，例如可以是2D(2Dimensions)或3D(3Dimensions)的方式对图像进行显示的所有显示设备，可以是VR(Virtual Reality，虚拟现实)/3D/2D眼镜、VR/3D/2D显示设备或VR/2D/3D可穿戴设备等。目标对象指的是患者本身或者是患者的某个身体部分(如头颅、手臂、上半身部位等)，患者可以是躺在手术台上，然后医生可以通过AR设备，在所述AR设备上显示有目标对象的三维重建图像，例如当需要观察患者头颅时，则AR设备上可以显示有患者头颅的三维重建图像，所述AR设备上安装有摄像头，可以通过摄像头观看到患者本身，当然，如果AR设备是透明的且是可佩带的(如AR设备是AR眼镜)，则还可以直接通过佩戴AR设备，然后透过AR设备来观察患者，医生既可以通过AR设备看到患者本身，同时也可以看到AR设备上的三维重建图像。医生实施手术过程中，可以通过调整所述AR设备的位置，找到合适的位置，使得AR设备上显示的三维重建图像与通过AR设备拍摄到的目标对象重合，以头颅为例，当医生可以在AR设备上看见三维重建图像，然后通过移动AR设备的位置，找到一个合适的位置，使得AR设备上的摄像头拍摄到患者的头颅与AR设备上的头颅三维重建图像重合，从而方便医生通过观看AR设备上的三维重建图像来观察患者的头颅内部结构。
本发明上述步骤101～步骤102可实现自动地将AR设备上的三维重建图像与目标对象进行对准。即当AR设备发生位置变动时，AR设备上显示的三维重建图像可以自动的变换角度和大小，使得AR设备上的摄像头拍摄到的目标对象与变换后的三维重建图像相吻合。
在上述步骤101中，第一三维重建图像是根据目标对象的医学图像数据生成的，例如可以根据患者身上的目标对象的医学图像数据(可以是CT(Computed Tomography，即电子计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)、PET(PositronEmission Computed Tomography，正电子发射型计算机断层显像)等图像数据)进行三维重建，从而得到目标对象的三维重建图像，然后将该三维重建图像作为第一三维重建图像，并且在实际应用中为了提高三维重建图像的准确性，可选地，还可以通过以下方式来生成所述第一三维重建图像：首先根据所述目标对象的医学图像数据，生成目标对象的初始三维重建图像，然后根据医学数据库系统，调整所述初始三维重建图像，从而得到所述目标对象的第一三维重建图像，其中，所述医学数据库系统指的是基于统计意义上的医学信息数据库，可以被当前患者的医学数据更新，并可以根据历史最优结果以及历史平均值对三维重建数据进行优化，从而得到将优化后的初始重建图像作为所述第一三维重建图像。
下面具体给出两种根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像的方法：
方法一、基于预先设定的参数调整系统来调整所述初始三维重建图像
步骤1、接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；
步骤2、根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
下面举例说明上述方法一的具体实现过程。参考图2，为本发明实施例提供的基于参数调整系统的参数调整方式示意图。
在图2中，左上第一三维图像即为初始三维重建图像，如果想要对该三维重建图像进行调整，则可以通过如图2所示的参数调整系统直接进行修改，例如可以通过右边框上的参数调整框进行调整，再比如如果需要得到头颅穿刺路径，则用户(比如医生)可以通过在右上图像以及下排两个图像上根据经验标定一些参考点，然后点击图2中右下角的“生成”按钮，得到调整后的第一三维重建图像，例如经过调整，第一三维重建图像上包含有穿刺路径等增加的信息。
上述方法一种用户(如医生)可以根据平时的经验，在图2所示的参数调整系统上进行参数的微调，从而得到想要的结果，该方式可实现人机交互，尤其是大大地方便了医生在术前进行术前观察和术中手机操作。
上述方法一虽然已经很方便地为医生提供了手术指导，但仍然会遇到如下问题：图2所示的参数调整系统是预先设计好的，一旦建立好这个系统，就意味着只能根据该系统上提供的功能进行相应的参数调整，这将导致无法满足不同用户的不同需求。举例来说，医生想在最终显示的三维重建图像上显示血管图像，但该参数调整系统却事先没有建立该功能，则医生就无法通过图2所述的系统来调整三维重建图像得到想要的显示效果。
为此，本发明实施例还提供另外一种调整初始三维重建图像的方法，具体如下。
方法二、基于用户从预先建立的功能模块库中选择的功能模块调整所述初始三维重建图像
步骤1、根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
步骤2、根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
下面举例说明上述方法二的具体实现过程。参考图3，为本发明实施例提供的基于功能模块库的参数调整方式示意图。
方法二是结合了功能模块库来调整初始三维重建图像，从而得到想要的第一三维重建图像。具体地，功能模块库中包含了多个功能模块，每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，并且功能模块库中的所有功能模块可在一定的规则下进行连接。具体的连接方式可以包括串联、并联、反馈等方式，但不限于这些方式。
例如参考图3，假设想要在初始三维重建图像的基础上进一步地显示脑室，则可以增加一个“显示脑室功能模块”；如果想要进一步地显示头骨，则可以增加一个“显示头骨功能模块”；如果想要进一步地显示皮肤，则可以增加一个“显示皮肤功能模块”；如果想要进一步地指定穿刺轨迹，则可以增加一个“指定穿刺轨迹功能模块”。并且多个功能模块是可以进行连接以及排列组合的(排列组合可确定执行的先后顺序)，在增加相应功能模块之后，还可以删除相应的功能模块，非常灵活方便，并且每个功能模块是可编辑的，具体地，例如可以通过在某个功能模块上单击鼠标右键，弹出一个属性编辑对话框，可通过该对话框在对功能模块的参数进行修改和调整，并且在调整之后，可以立刻预览显示效果，因而通过方法二的实现方式，相较于方法一，更加便捷，尤其是针对像医生这样的用户，使得医生可以更加容易理解和使用该方法。
并且实际应用中，在用户使用了一次功能模块化的组合之后，还可以将该组合存储到医学数据库中，作为一个处理模板进行保存，以便于在以后的使用中进行参考。
此外，本发明还提供另外一种生成初始三维重建图像的方法，具体包括：
步骤1、根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
步骤2、根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；
步骤3、根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
具体地，首先可以基于用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，然后结合输入的目标对象的医学图像数据，得到初始三维重建图像，并且对于初始三维重建图像的调整，可以是根据步骤2和3来完成，即根据用户对所述选择的功能模块进行指令输入(即可以通过在每个选择的功能模块上单击右键，弹出参数调整对话框，然后进行指令输入，得到调整后的参数)，得到第三参数调整指令，然后根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
当然，还可以是直接根据第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
本发明实施例中，可以结合医学图像数据和功能模块库，将医学图像数据输入到功能模块库中，然后输出最终的三维重建图像。
在得到第一三维重建图像之后，为了将该第一三维重建以合适的方式在AR设备上进行显示，还需要对该第一三维重建图像进行角度和方向的调整，使得调整后的第一三维重建图像在AR设备上显示时可以与医生观察到的患者的目标对象向吻合。
为此，在步骤101中，通过AR设备采集目标对象的信息，其中采集的信息可以是特征点，亮度，对比度，景深，举例，色调，色度，边缘等信息。
本发明实施例中，根据采集到的目标对象的信息生成的特征点信息以及目标对象的第一三维重建图像，生成图像变换参数，可选地，所述AR设备可通过至少以下两种方式来采集目标对象的信息：
方式一、AR设备通过AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息
在该方式中，参照图4，为本发明实施例提供的使用传感器采集信息示意图，在AR设备上以内置或者外置的方式安装有传感器401，以及在目标对象402身上安装有特征标签，特征标签用于被传感器401识别，传感器401可主动获取或者被动接收目标对象402身上的传感信息，从而根据AR设备上的传感器可以获取到目标对象的信息，该信息中包含医生与目标对象402当前的位置关系信息(包含角度和方向等信息)，即可以通过传感器获取目标对象的信息。
方式二、AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息
在该方式中，参照图5，为本发明实施例提供的使用摄像头采集信息示意图，在AR设备上以内置或者外置的方式安装有摄像头501，摄像头501可对目标对象502进行拍照，从而可以根据拍照获得的照片信息进行模式识别分析，得到预先设定位置的相关信息，举例来说，参照图5，目标对象为头颅，预设位置为眼睛和鼻子，则通过AR设备上的摄像头进行对目标对象进行拍照，从而获得图像，然后基于模式识别，得到图像中的眼镜和鼻子等特征点的位置信息，从而可以得知AR设备当前与目标对象之间的位置关系(包括角度关系和距离关系)。
不管是以上述何种方式，最终可以获取到目标对象的信息，在根据目标对象的信息生成的特征点信息中包含了医生与目标对象之间的位置关系等信息，进而可以根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，可选地，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，包括：根据所述特征点信息，确定所述目标对象的特征模式；根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；将所述旋转角度和旋转方向，作为所述图像变换参数。
在该方法中，首先根据目标对象的特征点信息，确定目标对象的特征模式，其中，预先存储了多种特征模式，每种特征模式都表示了一种医生与目标对象之间的位置关系，基于目标对象的特征点信息，可以从预先存储的多种特征模式中，匹配出一种特征模式，然后基于该特征模式以及目标对象的第一三维重建图像，就可以得到第一三维重建图像所需要旋转的角度和方向，并将所述旋转角度和旋转方向，作为所述图像变换参数。
举例来说，参照图4，通过传感器401获取到目标对象402的特征点信息之后，然后基于该特征点信息和第一三维重建图像403(即当前三维重建图像)，可以得到图像变换参数，然后在步骤102中，根据所述图像变换参数，调整所述第一三维重建图像403，得到第二三维重建图像404，其中，所述第二三维重建图像中的特征点与所述目标对象的特征点是吻合的。
通过上述方式，使得AR设备上最终显示的是第二三维重建图像404，并且所述第二三维重建图像404与医生通过AR设备看到的目标对象402是吻合的。如果AR设备发生的位置移动，因而使得医生看到的目标对象发生了变化(主要是与AR设备之间的角度和距离的变化)，此时则会重新使用步骤101～步骤102的方式，重新调整AR设备上的三维重建图像，使得调整后的三维重建图像与观察到的目标对象重新保持吻合。因而，本发明方法可以保证医生在手术现场随意移动AR设备时，都可以实时地更新所述AR设备上的三维重建图像，并保持与目标对象重合，使得医生可以通过观看AR设备上的三维重建图像来查看目标对象的内部结构，提高了手术的准确性和效率。
对于图5中通过摄像头获取目标对象信息的方式与上述图4中的方式类似，即可以根据获取到的目标对象502的信息及第一三维重建图像503，得到图像变换参数，然后根据图像变换参数对第一三维重建图像503进行调整，得到第二三维重建图像504，其中第二三维重建图像504与目标对象502是吻合的。
需要说明的是，本发明上述步骤101～步骤102方法的具体实施，可以是由AR设备中的处理器来完成，即AR设备中集成了一个处理器；也可以是由第三方PC(personalcomputer，个人计算机)端来实施上述步骤101～步骤102方法，即AR设备只负责通过采集目标对象的信息，然后发送给PC，由PC对第一三维重建图像进行变换得到第二三维重建图像后发送给AR设备进行显示。
当由PC来执行上述步骤101～步骤102方法时，则需要接收AR设备采集到的目标对象的信息生成的特征点信息；然后根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，以及还需要将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。
通过以上方法，即可实现不管医生如何移动AR设备，都可以实时调整AR设备上的三维重建图像，使得AR设备上显示的三维重建图像与AR设备上拍摄到的目标对象是重合的。
在实际应用中，如果医生发现自动调整的三维重建图像与目标对象并没有完全对准，或者是医生自己想要对三维重建图像进行多种方式的观察时(比如想要放大、旋转等)，医生希望可以通过人为发送指令给AR设备，进行相应调整，因此本发明实施例还提供以下方法来调整AR设备上的三维重建图像：
根据接收到的用户指令信息，生成图像调整参数；根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；在所述AR设备上显示所述第三三维重建图像。
即当前AR设备上显示了已经与目标对象对准后的第二三维重建图像，此时医生可以关闭自动对准功能，从而不会再进行实时校准，此时医生可以发送指令给AR设备，例如可以是通过语音、头部运动、手势或者是手动调整AR设备上的按钮等方式，举例来说，医生通过语音“放大一倍”、“逆时针旋转30度”告知AR设备想要进行的操作，AR设备接收到语音指令后对第二三维重建图像进行相应调整，得到第三三维重建图像，然后在AR设备上显示，或者是AR设备将接收到的语音指令发送给PC，由PC对对第二三维重建图像进行相应调整，得到第三三维重建图像后发送给AR设备进行显示。因而通过该方法可实现由医生自行控制AR设备上的三维重建图像的显示。
本发明实施例提供的方法，首先根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，并且所述第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。该方法可以实现在AR设备显示三维重建图像，并且显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，并且即使AR设备的位置有所移动，AR设备上的三维重建图像也可以实时调整，从而该方法极大地方便了医生在术中提高手术的准确性和效率。
如图6所示，为本发明实施例提供的基于实时反馈的增强现实人体定位导航方法详细流程图，包括：
步骤601、根据目标对象的医学图像数据，生成目标对象的初始三维重建图像；
步骤602、根据医学数据库系统，调整初始三维重建图像，得到目标对象的第一三维重建图像；
步骤603、根据AR设备采集到的目标对象的信息生成的特征点信息，确定目标对象的特征模式；
步骤604、根据目标对象的特征模式及目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；
步骤605、将所述旋转角度和旋转方向，作为所述图像变换参数；
步骤606、根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像；
步骤607、将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像；
步骤608、根据接收到的用户指令信息，生成图像调整参数；
步骤609、根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；
步骤610、在所述AR设备上显示所述第三三维重建图像。
本发明实施例提供的方法，首先根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，并且所述第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。该方法可以实现在AR设备显示三维重建图像，并且显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，并且即使AR设备的位置有所移动，AR设备上的三维重建图像也可以实时调整，从而该方法极大地方便了医生在术中提高手术的准确性和效率。
基于相同的技术构思，如图7所示，本发明实施例还提供一种基于实时反馈的增强现实人体定位导航装置，包括：
生成单元701，用于根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；
调整单元702，用于根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。
可选地，所述生成单元701，具体用于：根据所述特征点信息，确定所述目标对象的特征模式；
根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；
将所述旋转角度和旋转方向，作为所述图像变换参数。
可选地，所述装置还包括接收单元703，用于：接收所述AR设备采集到的目标对象的信息；
所述装置还包括发送单元704，用于：将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。
可选地，所述调整单元702还用于：根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；
根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者
所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。
可选地，所述生成单元701，还用于根据接收到的用户指令信息，生成图像调整参数；
所述调整单元702，还用于根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；
所述装置还包括显示单元705，用于在所述AR设备上显示所述第三三维重建图像。
可选地，所述调整单元702，具体用于：
接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；
根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述调整单元702，具体用于：
根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
可选地，所述调整单元702，具体用于：
根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；
根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
本发明实施例，首先根据AR设备采集到的目标对象的信息生成的特征点信息和目标对象的第一三维重建图像，生成图像变换参数，然后根据图像变换参数调整所述第一三维重建图像，得到第二三维重建图像，并且所述第二三维重建图像中的特征点与所述目标对象的特征点吻合，所述第二三维重建图像用于在AR设备显示。本发明实施例可以实现在AR设备显示三维重建图像，并且显示的三维重建图像是根据采集到的目标对象的信息生成的特征点信息而进行实时调整，使得医生在观看AR设备时，看到的AR设备上的三维重建图像与AR设备上的摄像头拍摄到的目标对象之间是吻合的，并且即使AR设备的位置有所移动，AR设备上的三维重建图像也可以实时调整，从而该方法极大地方便了医生在术中提高手术的准确性和效率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种基于实时反馈的增强现实人体定位导航方法，其特征在于，包括：
根据增强现实AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；
根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。
2.如权利要求1所述的方法，其特征在于，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，包括：
根据所述特征点信息，确定所述目标对象的特征模式；
根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；
将所述旋转角度和旋转方向，作为所述图像变换参数。
3.如权利要求1所述的方法，其特征在于，所述根据AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数之前，还包括：
接收所述AR设备采集到的目标对象的信息；
所述根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像之后，还包括：
将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。
4.如权利要求1所述的方法，其特征在于，根据下列方式生成所述第一三维重建图像：
根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图 像；
根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者
所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。
6.如权利要求1-4中任一项所述的的方法，其特征在于，所述方法还包括：
根据接收到的用户指令信息，生成图像调整参数；
根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；
在所述AR设备上显示所述第三三维重建图像。
7.如权利要求4所述的方法，其特征在于，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：
接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；
根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
8.如权利要求4所述的方法，其特征在于，所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：
根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重 建图像，得到所述目标对象的第一三维重建图像。
9.如权利要求4所述的方法，其特征在于，所述根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像，包括：
根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
所述根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像，包括：
根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；
根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
10.一种基于实时反馈的增强现实人体定位导航装置，其特征在于，包括：
生成单元，用于根据增强现实AR设备采集到的目标对象的信息生成的特征点信息和所述目标对象的第一三维重建图像，生成图像变换参数，所述第一三维重建图像为根据所述目标对象的医学图像数据生成的；
调整单元，用于根据所述图像变换参数，调整所述第一三维重建图像，得到第二三维重建图像，在所述AR设备上显示的所述第二三维重建图像中的特征点与所述目标对象的特征点吻合。
11.如权利要求10所述的装置，其特征在于，所述生成单元，具体用于：
根据所述特征点信息，确定所述目标对象的特征模式；
根据所述目标对象的特征模式及所述目标对象的第一三维重建图像，确定所述第一三维重建图像的旋转角度和旋转方向；
将所述旋转角度和旋转方向，作为所述图像变换参数。
12.如权利要求10所述的装置，其特征在于，所述装置还包括接收单元， 用于：
接收所述AR设备采集到的目标对象的信息；
所述装置还包括发送单元，用于：
将所述第二三维重建图像发送给所述AR设备，以使在所述AR设备上显示所述第二三维重建图像。
13.如权利要求10所述的装置，其特征在于，所述调整单元还用于：
根据所述目标对象的医学图像数据，生成所述目标对象的初始三维重建图像；
根据医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
14.如权利要求10-13中任一项所述的装置，其特征在于，所述AR设备通过所述AR设备上的传感器扫描所述目标对象来采集所述目标对象的信息，或者
所述AR设备通过所述AR设备上的摄像头拍摄所述目标对象来获取所述目标对象的信息。
15.如权利要求10-13中任一项所述的的装置，其特征在于，所述生成单元，还用于根据接收到的用户指令信息，生成图像调整参数；
所述调整单元，还用于根据所述图像调整参数，调整所述第二三维重建图像，得到第三三维重建图像；
所述装置还包括显示单元，用于在所述AR设备上显示所述第三三维重建图像。
16.如权利要求13所述的装置，其特征在于，所述调整单元，具体用于：
接收用户通过预先设定的参数调整系统输入的第一参数调整指令，所述参数调整系统用于以可视化的方式显示三维重建图像信息；
根据所述第一参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
17.如权利要求13所述的装置，其特征在于，所述调整单元，具体用于：
根据用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，确定第二参数调整指令，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据所述第二参数调整指令及所述医学数据库系统，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
18.如权利要求13所述的装置，其特征在于，所述调整单元，具体用于：
根据所述目标对象的医学图像数据、用户从预先建立的功能模块库中选择的功能模块及用户对选择的功能模块的连接方式，生成所述目标对象的初始三维重建图像，所述预先建立的功能模块库中的每个功能模块用于表示一种图像处理方式或多种图像处理方式的组合，所述预先建立的功能模块库中的所有功能模块可在一定的规则下进行连接；
根据用户对所述选择的功能模块进行指令输入，得到第三参数调整指令；
根据所述根据医学数据库系统及所述第三参数调整指令，调整所述初始三维重建图像，得到所述目标对象的第一三维重建图像。
CN201610629122.6A 2016-06-06 2016-08-03 一种基于实时反馈的增强现实人体定位导航方法及装置 Active CN106296805B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/292,947 US20170053437A1 (en) 2016-06-06 2016-10-13 Method and apparatus for positioning navigation in a human body by means of augmented reality based upon a real-time feedback
PCT/CN2017/086892 WO2017211225A1 (zh) 2016-06-06 2017-06-01 一种基于实时反馈的增强现实人体定位导航方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016103953554 2016-06-06
CN201610395355 2016-06-06

Publications (2)

Publication Number Publication Date
CN106296805A true CN106296805A (zh) 2017-01-04
CN106296805B CN106296805B (zh) 2019-02-26

Family

ID=57664405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610629122.6A Active CN106296805B (zh) 2016-06-06 2016-08-03 一种基于实时反馈的增强现实人体定位导航方法及装置

Country Status (3)

Country Link
US (1) US20170053437A1 (zh)
CN (1) CN106296805B (zh)
WO (1) WO2017211225A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341791A (zh) * 2017-06-19 2017-11-10 北京全域医疗技术有限公司 一种基于混合现实的勾靶方法、装置及系统
WO2017211225A1 (zh) * 2016-06-06 2017-12-14 叶健 一种基于实时反馈的增强现实人体定位导航方法及装置
CN108389452A (zh) * 2018-03-23 2018-08-10 四川科华天府科技有限公司 一种电化情景教学模型及教学方法
CN109068063A (zh) * 2018-09-20 2018-12-21 维沃移动通信有限公司 一种三维图像数据的处理、显示方法、装置及移动终端
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110522516A (zh) * 2019-09-23 2019-12-03 杭州师范大学 一种用于手术导航的多层次交互可视化方法
CN110638525A (zh) * 2018-06-26 2020-01-03 长庚大学 整合扩增实境的手术导航方法及系统
CN112773513A (zh) * 2021-03-13 2021-05-11 刘铠瑞 一种病变阑尾切除手术专用病理标本制作器械包

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10861236B2 (en) * 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11128783B2 (en) * 2018-03-07 2021-09-21 Disney Enterprises, Inc. Systems and methods for tracking objects in a field of view
CN112424870A (zh) * 2018-04-30 2021-02-26 非凡健康私人有限公司 医学虚拟现实和混合现实协作平台
US10872690B2 (en) * 2018-11-28 2020-12-22 General Electric Company System and method for remote visualization of medical images
TWI766253B (zh) * 2019-03-19 2022-06-01 鈦隼生物科技股份有限公司 基於影像匹配決定手術路徑之方法與系統
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
TWI793390B (zh) * 2019-12-25 2023-02-21 財團法人工業技術研究院 資訊顯示方法及其處理裝置與顯示系統
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
CN111930231B (zh) * 2020-07-27 2022-02-25 歌尔光学科技有限公司 交互控制方法、终端设备及存储介质
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
TWI818665B (zh) * 2021-11-10 2023-10-11 財團法人工業技術研究院 資訊顯示方法及其資訊顯示系統與處理裝置
CN116107534A (zh) 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324018A1 (en) * 2007-03-05 2009-12-31 Dennis Tell Efficient And Accurate 3D Object Tracking
CN103083065A (zh) * 2011-11-07 2013-05-08 苏州天臣国际医疗科技有限公司 穿刺器套管组件
CN103608843A (zh) * 2011-06-21 2014-02-26 皇家飞利浦有限公司 图像显示装置
CN104470458A (zh) * 2012-07-17 2015-03-25 皇家飞利浦有限公司 用于手术仪器引导的增强现实成像系统
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104013425B (zh) * 2014-06-11 2016-10-05 深圳开立生物医疗科技股份有限公司 一种超声设备显示装置和相关方法
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
CN105748160B (zh) * 2016-02-04 2018-09-28 厦门铭微科技有限公司 一种穿刺辅助方法、处理器及ar眼镜
CN106296805B (zh) * 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090324018A1 (en) * 2007-03-05 2009-12-31 Dennis Tell Efficient And Accurate 3D Object Tracking
CN103608843A (zh) * 2011-06-21 2014-02-26 皇家飞利浦有限公司 图像显示装置
CN103083065A (zh) * 2011-11-07 2013-05-08 苏州天臣国际医疗科技有限公司 穿刺器套管组件
CN104470458A (zh) * 2012-07-17 2015-03-25 皇家飞利浦有限公司 用于手术仪器引导的增强现实成像系统
CN105395252A (zh) * 2015-12-10 2016-03-16 哈尔滨工业大学 具有人机交互的可穿戴式血管介入手术三维立体图像导航装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
臧晓军 等: "基于增强现实的鼻内窥镜手术导航系统", 《北京理工大学学报》 *
钮艳华: "外科手术导航中的增强现实技术研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211225A1 (zh) * 2016-06-06 2017-12-14 叶健 一种基于实时反馈的增强现实人体定位导航方法及装置
CN107341791A (zh) * 2017-06-19 2017-11-10 北京全域医疗技术有限公司 一种基于混合现实的勾靶方法、装置及系统
CN108389452A (zh) * 2018-03-23 2018-08-10 四川科华天府科技有限公司 一种电化情景教学模型及教学方法
CN110638525A (zh) * 2018-06-26 2020-01-03 长庚大学 整合扩增实境的手术导航方法及系统
CN110638525B (zh) * 2018-06-26 2021-12-21 华宇药品股份有限公司 整合扩增实境的手术导航系统
CN109068063A (zh) * 2018-09-20 2018-12-21 维沃移动通信有限公司 一种三维图像数据的处理、显示方法、装置及移动终端
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110522516A (zh) * 2019-09-23 2019-12-03 杭州师范大学 一种用于手术导航的多层次交互可视化方法
CN110522516B (zh) * 2019-09-23 2021-02-02 杭州师范大学 一种用于手术导航的多层次交互可视化方法
CN112773513A (zh) * 2021-03-13 2021-05-11 刘铠瑞 一种病变阑尾切除手术专用病理标本制作器械包

Also Published As

Publication number Publication date
CN106296805B (zh) 2019-02-26
WO2017211225A1 (zh) 2017-12-14
US20170053437A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
CN106296805A (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
US11302005B2 (en) Bone cutting support system, information processing apparatus, image processing method, and image processing program
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
RU2740259C2 (ru) Позиционирование датчика ультразвуковой визуализации
US10070929B2 (en) Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
CN104783821B (zh) 用于提供患者的身体部位的解剖的空间模型的方法
TWI678181B (zh) 手術導引系統
Barfield et al. Basic concepts in wearable computers and augmented reality
TW201912125A (zh) 雙模式增強現實外科手術系統和方法
JP4607399B2 (ja) 三次元画像の表示装置および表示方法
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
CN106569673A (zh) 多媒体病历报告的显示方法及多媒体病历报告的显示设备
CN103948361B (zh) 无标志点的内窥镜定位跟踪方法和系统
AU2017316727A1 (en) Orthopedic fixation control and manipulation
TWI741536B (zh) 基於混合實境的手術導航影像成像方法
WO2014120909A1 (en) Apparatus, system and method for surgical navigation
CN108629845B (zh) 手术导航装置、设备、系统和可读存储介质
JP2016202351A (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
CN110215285A (zh) 手术导航的纠偏方法及系统
US10712837B1 (en) Using geo-registered tools to manipulate three-dimensional medical images
CN110169821B (zh) 一种图像处理方法、装置及系统
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
CN101869501B (zh) 计算机辅助针刀定位系统
CN115515520A (zh) 手术导航系统及其应用
CN114711962A (zh) 一种增强现实手术规划导航系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220826

Address after: Room 101C and 101D, 1st Floor, Section E, No. 1515, Zhongshan North Second Road, Hongkou District, Shanghai, 200092

Patentee after: Shanghai Ruifeng Technology Co.,Ltd.

Address before: Room 314, National University Science Park, Xiamen University, No. 39 Wanghai Road, Siming District, Xiamen City, Fujian 361000

Patentee before: XIAMEN MINGWEI TECHNOLOGY Co.,Ltd.