CN113674430A - 虚拟模型定位配准方法、装置、增强现实设备和存储介质 - Google Patents

虚拟模型定位配准方法、装置、增强现实设备和存储介质 Download PDF

Info

Publication number
CN113674430A
CN113674430A CN202110974669.0A CN202110974669A CN113674430A CN 113674430 A CN113674430 A CN 113674430A CN 202110974669 A CN202110974669 A CN 202110974669A CN 113674430 A CN113674430 A CN 113674430A
Authority
CN
China
Prior art keywords
registration mode
virtual model
coordinate axis
registration
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110974669.0A
Other languages
English (en)
Inventor
陈罡
钱广璞
徐欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Group Corp
Original Assignee
Shanghai Electric Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Group Corp filed Critical Shanghai Electric Group Corp
Priority to CN202110974669.0A priority Critical patent/CN113674430A/zh
Publication of CN113674430A publication Critical patent/CN113674430A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种虚拟模型定位配准方法，涉及增强现实领域。本申请通过初步配准模式和精确配准模式相结合的方式对虚拟模型进行定位配准，用户可以先采用初步配准模式将虚拟模型移动至目标对象的位置附近，然后再采用精确配准模式精确调整模型的位置，由于采用精确配准模式时，是通过对虚拟屏幕上显示的配准参照标志进行控制，来实现对虚拟模型的位置和角度的调整，因此，不会出现松开手时，虚拟模型仍会继续跟随手部移动一定距离的问题，可以减少重复调整虚拟模型的次数，快速将虚拟模型调整至与目标对象重合，在很大程度上减少配准消耗的时间，提高配准效率。

Description

虚拟模型定位配准方法、装置、增强现实设备和存储介质
技术领域
本申请涉及增强现实技术领域，尤其涉及一种虚拟模型定位配准方法、装置、增强现实设备和存储介质。
背景技术
随着科学技术的发展，增强现实技术(Augmented Reality，AR)被越来越广泛的应用到医学手术中，而基于增强现实技术辅助引导医生通过手势来对虚拟模型与标定部位进行定位配准的问题至关重要。
目前，在对虚拟模型与标定部位进行定位配准时，多是使用裸手持握来调整虚拟模型，该方式往往会因为识别不准确，而导致每次将虚拟模型移动到所需位置，松开手时，虚拟模型会继续跟随手部移动一定距离，因此需要反复对虚拟模型进行调整，耗费大量的时间。
发明内容
随着科学技术的发展，AR设备的应用范围也越来越广泛，近几年在医学领域的应用也越来越多。例如，在进行手术的过程中，AR设备的应用，将完全颠覆传统手术过程，可以更清晰、立体地向医师呈现患者体内的各种器官结构，辅助医师更加精确，更加灵活的进行手术操作。
在临床手术中，稍有差池都有可能对病人生命健康造成严重后果。因此，基于增强现实技术辅助引导医师进行手术操作，就要求AR设备呈现的虚拟模型必须十分准确，同时虚拟模型与实际器官的定位匹配也要更加准确，因而，在使用AR设备时，如何对虚拟模型与标定部位进行定位配准的问题至关重要。
本申请实施例提供一种虚拟模型定位配准方法，该方法可以在用户对虚拟模型进行定位配准的时候，使用初步配准调节(裸手持握)和精确配准调节结合的方式在虚拟屏幕上对虚拟模型进行调节配准，不会出现松开手时，虚拟模型仍会继续跟随手部移动一定距离的问题，可以减少重复调整虚拟模型的次数，快速将虚拟模型调整至与目标对象重合，在很大程度上减少配准消耗的时间，提高配准效率。
第一方面，本申请实施例提供一种虚拟模型定位配准方法，所述方法包括：
在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
响应于在所述配准模式菜单中选择初步配准模式的操作，根据持握所述虚拟模型的调整手势对所述虚拟模型的位姿进行调整；
响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志；
根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，以使所述虚拟模型与所述目标对象的位置相互重合。
在本申请实施例中，通过初步配准模式和精确配准模式相结合的方式对虚拟模型进行定位配准，用户可以先采用初步配准模式将虚拟模型移动至目标对象的位置附近，然后再采用精确配准模式精确调整模型的位置，由于采用精确配准模式时，是通过对虚拟屏幕上显示的配准参照标志进行控制，来实现对虚拟模型的位置和角度的调整，因此，不会出现松开手时，虚拟模型仍会继续跟随手部移动一定距离的问题，可以减少重复调整虚拟模型的次数，快速将虚拟模型调整至与目标对象重合，在很大程度上减少配准消耗的时间，提高配准效率。
一种可选的实施方式中，在虚拟屏幕上显示配准模式菜单，包括：
响应于感应到的显示菜单的手势操作，在所述虚拟屏幕上显示所述配准模式菜单；或者，
响应于接收到的显示菜单的语音指令，在所述虚拟屏幕上显示所述配准模式菜单。
在本申请实施例中，在虚拟屏幕上显示配准模式菜单，可以更直观的对各种配准模式进行选择，操作更加方便。
一种可选的实施方式中，所述配准参照标志包括三个方向的坐标轴和滑动控制条；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志，包括：
响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示所述三个方向的坐标轴，以及所述三个方向的坐标轴分别对应的坐标轴选择标志；
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的所述滑动控制条；所述目标坐标轴为被选中的所述坐标轴选择标志对应的坐标轴。
在本申请实施例中，配准参照标志中的三个方向的坐标轴，可以使用户在配准过程中更有方向性，在实际配准过程中可以节省大量的时间，滑动控制条的设置，可以使用户在调节过程中精确操作模型的位置，用户松开手时，虚拟模型不会继续跟随手部移动一定的距离。
一种可选的实施方式中，所述滑动控制条为位移滑动控制条或旋转滑动控制条；所述响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的滑动控制条，包括：
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，针对选中的所述坐标轴选择标志显示位移标志和旋转标志；
若接收到针对所述位移标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，或者，
若接收到针对所述旋转标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条。
在本申请实施例中，针对用户不同的选择，拖动滑块后，虚拟模型会产生不同的变化，可以根据不同的需求进行位置和角度的变化，可以进行专一化的调节，满足调节需求，节省用户时间。
一种可选的实施方式中，所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，则根据针对所述位移滑动控制条上的第一滑块的拖动控制操作，移动所述虚拟模型的位置。
一种可选的实施方式中，所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条，则根据针对所述旋转滑动控制条上的第二滑块的拖动控制操作，旋转所述虚拟模型的角度。
一种可选的实施方式中，所述精确配准模式包括第一精确配准模式和第二精确配准模式；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示三个方向的坐标轴，包括：
响应于在所述配准模式菜单中选择所述第一精确配准模式的操作，基于所述虚拟模型的第一三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴；或者，
响应于在所述配准模式菜单中选择所述第二精确配准模式的操作，根据用户视线为法线的平面生成第二三维坐标轴，并基于所述第二三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴。
在本申请实施例中，用户可以基于两种不同的坐标轴对虚拟模型进行调节配准，在采用第一精确配准模式无法快速达到配准目标时，可以采用第二精确配准模式对虚拟模型进行配准：在采用第二精确配准模式无法快速达到配准目标时，可以采用第一精确配准模式对虚拟模型进行配准。两种精确配准模式交替使用，可以更快地达到配准目标，进一步减少配准过程所消耗的时间
第二方面，本申请实施例提供一种虚拟模型定位配准装置，所述装置包括：
模式选择单元，用于在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
第一配置单元，用于响应于在所述配准模式菜单中选择初步配准模式的操作，根据持握所述虚拟模型的调整手势对所述虚拟模型的位姿进行调整；
第二配置单元，用于响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志；根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，以使所述虚拟模型与所述目标对象的位置相互重合。
第三方面，本申请实施例提供一种增强现实设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现上述第一方面任一种的虚拟模型定位配准方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面中任意一种虚拟模型定位配准方法的步骤。
第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的对虚拟模型进行定位配准的流程示意图；
图2为本申请实施例提供的显示虚拟模型的界面示意图；
图3为本申请实施例提供的用户点击初步配准模式的界面示意图；
图4为本申请实施例提供的用户对虚拟模型的角度进行调整的界面示意图；
图5为本申请实施例提供的用户对虚拟模型的位置进行调整的界面示意图；
图6为本申请实施例提供的用户点击第一精确配准模式的界面示意图；
图7为本申请实施例提供的显示三轴坐标和坐标轴选择标志的界面示意图；
图8为本申请实施例提供的显示旋转滑动控制条和位移滑动控制条的界面示意图；
图9为本申请实施例提供的显示位移标志和旋转标志的界面示意图。
图10为本申请实施例提供的用户点选位移标志的界面示意图；
图11为本申请实施例提供的显示位移滑动控制条的界面示意图；
图12为本申请实施例提供的用户点选旋转标志的界面示意图；
图13为本申请实施例提供的显示旋转滑动控制条的界面示意图；
图14为本申请实施例提供的用户点击第二精确配准模式的界面示意图；
图15为本申请实施例提供的另一种显示三轴坐标和与坐标轴选择标志的界面示意图；
图16为本申请实施例提供的另一种显示位移标志和旋转标志的界面示意图；
图17为本申请实施例提供的用户拖动位移滑动控制条的界面示意图；
图18为本申请实施例提供的用户拖动旋转滑动控制条的界面示意图；
图19为本申请实施例提供的在另一种实施例中进行定位配准的流程示意图；
图20为本申请实施例提供的一种虚拟模型定位配准装置的结构示意图；
图21为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
为了进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在具体方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。具体方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。
图1示出了本申请一种实施例提供的虚拟模型定位配准方法的流程图，示例性地，下文以在手术中使用AR设备进行手势配准的过程进行介绍，说明本申请实施例的虚拟模型定位配准方法的具体实现过程。对其它目标对象执行的具体实施过程与在手术中使用AR设备进行手势配准的过程类似，本文中不再赘述。
本申请提出的虚拟模型定位配准方法不仅适用于使用AR设备的医学手术领域中，在其他领域也同样适用，在其他领域中，若涉及使用AR设备进行虚拟模型的配准调节，均可使用此方法。
如图1所示，该虚拟模型定位配准方法可以包括如下步骤：
步骤S101，在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
在本申请实施例中，现实场景中的目标对象可以是手术过程中的手术部位。在该实施例的附图中，目标对象及其虚拟模型采用圆柱体表示，在实际应用中，可以根据手术部位的具体形状设置虚拟模型。
在一些实施例中，在手术中使用AR设备，需要先对虚拟屏幕上的虚拟模型进行配准调节，使虚拟模型的位置可以和实际的位置相互重合。
在进行配准调节前，将装有AR识别的标记体的定位器刚性固定在需要进行手术的部位上。用户佩戴AR设备后，打开AR设备的开关。其中，用户可以是进行手术操作的医师或助理医师，AR设备可以是AR显示头盔。AR设备接收到用户打开开关触发的系统开始指令，显示AR设备中安装的各个应用程序(Application，APP)的图标。
AR设备接收相关APP的点选操作后，显示如图2所示的虚拟屏幕100，虚拟屏幕100上显示有手术部位的虚拟模型101，手术部位的虚拟模型101显示在定位器附近。
此时，手术部位的虚拟模型未被配准，虚拟模型的位置与实际的手术部位的位置不完全匹配。
本申请实施例设置有多个配准模式，用户可以通过配准模式菜单选择不同的配置模式。例如，用户可以通过手势操作或者语音指令，唤起配准模式菜单。具体地，响应于感应到的显示菜单的手势操作，AR设备在虚拟屏幕上显示配准模式菜单；或者，响应于接收到的显示菜单的语音指令，AR设备在虚拟屏幕上显示配准模式菜单。
图3示出了一种配准模式菜单的示意图。在本申请实施例中，配准模式菜单可以是如图3中的(a)所示的方形菜单，也可以是如图3中的(b)所示的环形菜单，也可以是其他类型的模式菜单。下文以图3中的(a)所示的方形菜单为例进行说明，配准模式菜单中可以包括初步配准模式、第一精确配准模式和第二精确配准模式三种配准模式。用户点选不同的选项后，进入不同的配准界面进行配准调节。
在另一些实施例中，配准模式菜单中也可以包括两种配准模式，例如初步配准模式和精确配准模式。在另一些实施例中，配准模式菜单中也可以包括多于三种配准模式，例如包括四种或更多配准模式。示例性地，当设置四种配准模式时，可以包括初步配准模式和三种精确配准模式。
步骤S102，响应于在配准模式菜单中选择初步配准模式的操作，根据持握虚拟模型的调整手势对虚拟模型的位姿进行调整；
虚拟屏幕上显示配准模式菜单，当用户点选初步配准模式后，菜单消失。AR设备监测并识别用户的手势操作，当识别到用户使用持握手势进行拖动操作时，AR设备虚拟屏幕上虚拟模型的位置发生变化；当识别到用户使用持握手势进行旋转操作时，AR设备虚拟屏幕上虚拟模型的角度发生变化。
图4示出了在图2的基础上，AR设备响应于使用持握手势进行旋转操作，对目标对象的虚拟模型进行旋转，使目标对象的虚拟模型的角度发生相应变化之后，目标对象的虚拟模型与现实场景中的目标对象之间的位置关系。
图5示出了在图4的基础上，AR设备响应于使用持握手势进行拖动操作，对目标对象的虚拟模型进行位移，使目标对象的虚拟模型的位置发生相应变化之后，目标对象的虚拟模型与现实场景中的目标对象之间的位置关系。
此时，虚拟模型的位置和实际目标对象的位置还存在一定的偏差，需要进一步对虚拟模型进行调节，使虚拟模型和目标对象的位置相互重合。
步骤S103，响应于用户在配准模式菜单中选择精确配准模式的操作，在虚拟屏幕上显示配准参照标志；
初步配准调节完成后，虚拟屏幕上虚拟模型和实际目标对象的位置还存在一定的偏差，再次响应于感应到的显示菜单的手势操作或者响应于接收到的显示菜单的语音指令，在虚拟屏幕上显示配准模式菜单，如图6所示，配准模式菜单中包括初步配准模式和精确配准模式，其中，精确配准模式可以包括第一精确配准模式和第二精确配准模式。
AR设备响应于在配准模式菜单中选择第一精确配准模式的操作，基于虚拟模型的第一三维坐标轴在虚拟屏幕上显示三个方向的坐标轴和与三个方向的坐标轴分别对应的坐标轴选择标志。如图7所示，其中，三个方向的坐标轴分别采用圆点型、线段型和点线结合型三种虚线类型箭头表示，每个方向的坐标轴对应的坐标轴选择标志采用与坐标轴相同的虚线类型的圆形标志表示。例如，线段型箭头与线段型圆形标志相对应，线段型箭头表示基于虚拟模型的Z坐标轴，圆点型箭头与圆点型圆形标志对应，圆点型箭头表示基于虚拟模型的Y坐标轴，点线结合型箭头与点线结合型圆形标志对应，点线结合型箭头表示基于虚拟模型的X坐标轴。
在另一些实施例中，可以用不同颜色的线条来区分Z坐标轴，Y坐标轴和X坐标轴，例如，用红色表示Z坐标轴，其对应的坐标轴选择标志用红色图形标志；用蓝色表示Y坐标轴，其对应的坐标轴选择标志用蓝色图形标志；用绿色表示X坐标轴，其对应的坐标轴选择标志用绿色图形标志。
在另一些实施例中，可以用粗细程度不同的线条来区分Z坐标轴，Y坐标轴和X坐标轴，例如，用细线条表示Z坐标轴，其对应的圆形标志用细线条图形标志；用较粗的线条表示Y坐标轴，其对应的圆形标志用线条较粗的图形标志；用最粗的线条表示X坐标轴，其对应的圆形标志用线条最粗的图形标志。在另一些实施例中，与三个方向坐标轴对应的坐标轴选择标志也可以用其他图形表示，例如，五角星形和三角形等。
在一些实施例中，AR设备响应于针对三个坐标轴选择标志中的任一个坐标轴选择标志的选中操作，针对选中的坐标轴选择标志显示位移和旋转的滑动条标志。示例性地，当用户点选Z坐标轴对应的坐标轴选择标志时，AR设备响应于针对Z坐标轴对应的坐标轴选择标志的选中操作，针对Z坐标轴选择标志显示位移和旋转的滑动条标志，如图8所示。
在另一些实施例中，AR设备响应于针对三个坐标轴选择标志中的任一个坐标轴选择标志的选中操作，针对选中的坐标轴选择标志显示位移标志和旋转标志。示例性地，如图9所示，当用户点选Z坐标轴对应的坐标轴选择标志时，AR设备响应于针对Z坐标轴对应的坐标轴选择标志的选中操作，针对Z坐标轴对应的坐标轴选择标志显示位移标志和旋转标志。
AR设备响应于针对位移标志的选中操作，在虚拟屏幕上显示目标坐标轴对应的位移滑动控制条，或者，AR设备响应于针对旋转标志的选中操作，在虚拟屏幕上显示目标坐标轴对应的旋转滑动控制条。其中，目标坐标轴为被选中的坐标轴选择标志对应的坐标轴。示例性地，如图10所示，如果用户点选Z坐标轴对应的位移标志，AR设备接收到针对该位移标志的选中操作，在虚拟屏幕上显示与Z坐标轴对应的位移滑动控制条，如图11所示。如图12所示，如果用户点选Z坐标轴对应的旋转标志，如图13所示，若AR设备接收到针对旋转标志的选中操作，则在虚拟屏幕上显示与目标坐标轴对应的旋转滑动控制条。在虚拟模型发生旋转时，三个方向的坐标轴随虚拟模型一起旋转。
如图14所示，如果用户在配准模式菜单中选择第二精确配准模式，AR设备响应于在配准模式菜单中选择第二精确配准模式的操作，AR设备的虚拟屏幕上显示图15所示的根据用户视线为法线的平面生成第二三维坐标轴，并基于第二三维坐标轴在虚拟屏幕上显示三个方向的坐标轴和与三个方向的坐标轴分别对应的坐标轴选择标志。
当用户点选坐标轴选择标志时，AR设备响应于针对三个坐标轴选择标志中的任一个坐标轴选择标志的选中操作，示出针对选中的坐标轴选择标志显示位移标志和旋转标志，如图16所示。
如果接收到针对位移标志的选中操作，则在AR设备的虚拟屏幕上显示与目标坐标轴对应的位移滑动控制条，如图17所示。如果接收到针对旋转标志的选中操作，则在虚拟屏幕上显示与目标坐标轴对应的旋转滑动控制条，如图18所示。
步骤S104，根据针对配准参照标志的控制操作，对虚拟模型的位姿进行调整，以使虚拟模型与目标对象的位置相互重合。
若在虚拟屏幕上显示与目标坐标轴对应的位移滑动控制条，则根据针对位移滑动控制条上的第一滑块的拖动控制操作，移动虚拟屏幕上的脊椎虚拟模型的位置。
若在虚拟屏幕上显示与目标坐标轴对应的旋转滑动控制条，则根据针对旋转滑动控制条上的第二滑块的拖动控制操作，旋转虚拟屏幕上的脊椎虚拟模型的角度。在虚拟模型发生旋转时，三个方向的坐标轴不随虚拟模型一起旋转。
具体地，在一种实施例中，在图8所示的界面中，用户可以通过拖动位移滑动条上的滑块，使虚拟模型延Z坐标轴发生位移；用户还可以通过拖动旋转滑动条上的滑块，使虚拟模型绕Z坐标轴旋转。
在另一种实施例中，在第一精确配置模式中，基于虚拟模型的第一三维坐标轴在虚拟屏幕上显示三个方向的坐标轴。如图11所示，如果用户拖动目标坐标轴对应的位移滑动控制条标志上设置的第一滑块，虚拟模型延目标坐标轴发生位移。如图13所示，如果用户拖动目标坐标轴对应的旋转滑动控制条标志上设置的第二滑块，虚拟模型绕目标坐标轴旋转。在虚拟模型发生旋转时，三个方向的坐标轴随虚拟模型一起旋转。
在另一种实施例中，在第二精确配置模式中，根据用户视线为法线的平面生成第二三维坐标轴，并基于第二三维坐标轴在虚拟屏幕上显示三个方向的坐标轴。图17是在AR设备针对用户对位移滑动控制条上的第一滑块的拖动控制操作，移动虚拟屏幕上的虚拟模型的位置后，显示目标对象的虚拟模型与现实场景中的目标对象之间的位置关系。
图18是在AR设备针对用户对旋转滑动控制条上的第二滑块的拖动控制操作，旋转虚拟屏幕上的虚拟模型的角度后，显示目标对象的虚拟模型与现实场景中的目标对象之间的位置关系。在虚拟模型发生旋转时，三个方向的坐标轴不随虚拟模型一起旋转。
在本申请实施例中，通过初步配准模式和精确配准模式相结合的方式对虚拟模型进行定位配准，用户可以先采用初步配准模式将虚拟模型移动至目标对象的位置附近，然后再采用精确配准模式精确调整模型的位置，由于采用精确配准模式时，是通过对虚拟屏幕上显示的配准参照标志进行控制，来实现对虚拟模型的位置和角度的调整，因此，不会出现松开手时，虚拟模型仍会继续跟随手部移动一定距离的问题，可以减少重复调整虚拟模型的次数，快速将虚拟模型调整至与目标对象重合。
在一种实施例中，配准模式菜单中的三种配种模式：初步配准模式、第一精确配准模式和第二精确配准模式，用户可以根据实际配准需求选择适合的配准模式，可以减少重复调整虚拟模型的次数，快速将虚拟模型调整至与目标对象重合，在很大程度上减少配准消耗的时间，提高配准效率。
在另一种具体实施方式中，本申请实施例提供的配准方法可以应用于颈椎部位的椎弓根置钉手术中。在椎弓根置钉手术中，使用增强现实技术进行手势配准的方法，如图19所示，具体可以包括如下步骤：
步骤S1901，接收用户发出的打开系统请求，显示虚拟屏幕，通过虚拟屏幕将脊椎棘突的虚拟模型显示在装有AR识别标记体的定位器附近。
步骤S1902，响应于感应到的显示菜单的手势操作，在虚拟屏幕上显示配准模式菜单。
在另一些实施例中，也可以响应于感应到的显示菜单的语音指令，在虚拟屏幕上显示配准模式菜单。配准模式菜单在用户需要对脊椎棘突虚拟模型的位置和实际脊椎棘突所在的位置进行配准时被唤起。
步骤S1903，响应于在配准模式菜单中选择初步配准模式的操作，感应用户持握手势使虚拟模型的位置和角度发生变化。
步骤S1904，响应于感应到的显示菜单的手势操作，在AR设备的虚拟屏幕上显示配准模式菜单。
初步配准完成后，脊椎棘突虚拟模型的位置和实际脊椎棘突所在的位置未完全重合，还存在一定的偏差，用户需要再次唤起配准模式菜单，选择精确配准模式进一步对模型进行调节。
步骤S1905，响应于用户在配准模式菜单中选择第一精确配准模式的操作，在虚拟屏幕上显示基于脊椎的虚拟模型的三个方向的坐标轴以及与三个方向坐标轴分别对应的坐标轴选择标志。
步骤S1906，响应于针对三个坐标轴选择标志中的任一个坐标轴选择标志的选中操作，显示与选中的坐标轴选择标志对应的位移标志和旋转标志。
在一些实施例中，如果用户点击虚拟屏幕上显示的位移标志，AR设备接收到针对位移标志的选中操作，在虚拟屏幕上显示与目标坐标轴对应的位移滑动控制条。响应于针对位移滑动控制条上的第一滑块的拖动控制操作，移动虚拟模型的位置；
在另一些实施例中，如果用户点击虚拟屏幕上显示的旋转标志，AR设备接收到针对旋转标志的选中操作，则在虚拟屏幕上显示与目标坐标轴对应的旋转滑动条；并针对所述旋转滑动控制条上的第二滑块的拖动控制操作，旋转虚拟模型的角度。
步骤S1907，响应于感应到的显示菜单的手势操作，在虚拟屏幕上显示配准模式菜单。
第一精确配准模式完成后，脊椎棘突虚拟模型的位置和实际脊椎棘突所在的位置仍然未完全重合，但在以虚拟模型为基准建立的三个方向的坐标轴不足以满足进一步调节的需求，用户需要再次唤起配准模式菜单，选择另一种精确配准模式进一步对模型进行调节，使脊椎棘突虚拟模型的位置和实际脊椎棘突所在的位置可以相互重合。
步骤S1908，响应用户在配准模式菜单中选择第二精确配准模式的操作，在虚拟屏幕上显示以用户视线为法线的平面生成第二三维坐标轴以及与三个方向坐标轴分别对应的坐标轴选择标志；
步骤S1909，响应于针对三个坐标轴选择标志中的任一个坐标轴选择标志的选中操作，显示与选中的坐标轴选择标志对应的位移标志和旋转标志；
在一些实施例中，如果用户点击虚拟屏幕上显示的位移标志，AR设备接收到针对位移标志的选中操作，在虚拟屏幕上显示与目标坐标轴对应的位移滑动控制条。响应于针对位移滑动控制条上的第一滑块的拖动控制操作，移动虚拟模型的位置；
在另一些实施例中，如果用户点击虚拟屏幕上显示的旋转标志，AR设备接收到针对旋转标志的选中操作，则在虚拟屏幕上显示与目标坐标轴对应的旋转滑动条；并针对所述旋转滑动控制条上的第二滑块的拖动控制操作，旋转虚拟模型的角度。
步骤S1905和步骤S1908可交替进行，在响应用户在配准模式菜单中选择第二精确配准模式的操作后再响应用户在配准模式菜单中选择第一精确配准模式的操作也是允许的。
用户通过初步配准模式和精确配准模式的调节后，耗费较短的时间就可以使脊椎棘突的虚拟模型和实际位置相互重合，可以有效提高配准调节的效率。经实验，将实验人员分为两组，每组各5人。两组分别使用不同的配准方式对虚拟模型进行配准。其中，一组实验人员单纯使用持握手势配准的方式，将虚拟模型移至准确位置，平均耗时35.8分钟。而另一组实验人员使用本申请实施例提供的多种配置方式结合的方式，将虚拟模型移至准确位置，平均耗时仅为7.3分钟。由此可见，本申请提供的虚拟模型定位配准方法可以提高配准调节的效率，节省时间。
在本申请的实施例中，将手势操作融入到手术中，不仅可以提高手术医师对于助手的依赖度，还可以提高环境的无菌程度。
与上述实施例记载的虚拟模型定位配准方法基于同一发明构思，本申请实施例中还提供了一种虚拟模型定位配准装置，该虚拟模型定位配准装置可以布设在AR设备中。由于该装置是本申请虚拟模型定位配准方法对应的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。
图20示出了本申请实施例提供的一种虚拟模型定位配准装置的结构示意图，如图20所示，该虚拟模型定位配准装置包括模式选择单元2001、第一配置单元2002和第二配置单元2003。
模式选择单元2001，用于在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
第一配置单元2002，用于响应于在所述配准模式菜单中选择初步配准模式的操作，根据持握所述虚拟模型的调整手势对所述虚拟模型的位姿进行调整；
第二配置单元2003，用于响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志；根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，以使所述虚拟模型与所述目标对象的位置相互重合。
所述模式选择单元2001，具体可以用于：
响应于感应到的显示菜单的手势操作，在虚拟屏幕上显示配准模式菜单；或者，
响应于接收到的显示菜单的语音指令，在虚拟屏幕上显示配准模式菜单。
配准参照标志包括三个方向的坐标轴和滑动控制条；
所述第二配置单元2003，具体可以用于：
响应于在配准模式菜单中选择精确配准模式的操作，在虚拟屏幕上显示三个方向的坐标轴，以及三个方向的坐标轴分别对应的坐标轴选择标志；
响应于针对三个坐标轴选择标志中的任一个坐标轴选择标志的选中操作，显示目标坐标轴对应的滑动控制条；目标坐标轴为被选中的坐标轴选择标志对应的坐标轴。
所述第二配置单元2003，具体可以用于：
所述滑动控制条为位移滑动控制条或旋转滑动控制条；所述响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的滑动控制条，包括：
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，针对选中的所述坐标轴选择标志显示位移标志和旋转标志；
若接收到针对所述位移标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，或者，
若接收到针对所述旋转标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条。
所述第二配置单元2003，具体可以用于：
所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，则根据针对所述位移滑动控制条上的第一滑块的拖动控制操作，移动所述虚拟模型的位置。
所述第二配置单元2003，具体可以用于：
所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条，则根据针对所述旋转滑动控制条上的第二滑块的拖动控制操作，旋转所述虚拟模型的角度。
所述第二配置单元2003，具体可以用于：
所述精确配准模式包括第一精确配准模式和第二精确配准模式；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示三个方向的坐标轴，包括：
响应于在所述配准模式菜单中选择所述第一精确配准模式的操作，基于所述虚拟模型的第一三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴；或者，
响应于在所述配准模式菜单中选择所述第二精确配准模式的操作，根据用户视线为法线的平面生成第二三维坐标轴，并基于所述第二三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴。
与上述方法实施例和装置实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以是增强现实设备，即AR设备。在一种实施例中，电子设备的结构可以如图21所示，包括存储器2101，无线接口2103以及一个或多个处理器2102。
存储器2101，用于存储处理器2102执行的计算机程序。存储器2101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
存储器101可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器2101也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器2101是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器2101可以是上述存储器的组合。
处理器2102，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等等。处理器2102，用于调用存储器2101中存储的计算机程序时实现上述虚拟模型定位配准方法。
无线接口2103用于连接定位器。在一种实施例中，无线接口2103可以采用WiFi模块实现，AR设备可以通过WiFi模块与电脑连接，电脑通过有线或无线网络连接方式与定位器连接，从而实现AR设备与定位器的连接，使AR设备可以与定位器进行数据传输，并确定定位器所在的位置。
本申请实施例中不限定上述存储器2101、无线接口2103和处理器2102之间的具体连接介质。本申请实施例在图21中以存储器2101和处理器2102之间通过总线2104连接，总线2104在图21中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线2104可以分为地址总线、数据总线、控制总线等。为便于表示，图21中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在一种可选的实施例中，所述处理器2102，具体用于：
在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
响应于在所述配准模式菜单中选择初步配准模式的操作，根据持握所述虚拟模型的调整手势对所述虚拟模型的位姿进行调整；
响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志；
根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，以使所述虚拟模型与所述目标对象的位置相互重合。
在一种可选的实施例中，所述处理器2102，还可以用于：
响应于感应到的显示菜单的手势操作，在所述虚拟屏幕上显示所述配准模式菜单；或者，
响应于接收到的显示菜单的语音指令，在所述虚拟屏幕上显示所述配准模式菜单。
在一种可选的实施例中，所述处理器2102，还可以用于：
所述配准参照标志包括三个方向的坐标轴和滑动控制条；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志，包括：
响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示所述三个方向的坐标轴，以及所述三个方向的坐标轴分别对应的坐标轴选择标志；
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的所述滑动控制条；所述目标坐标轴为被选中的所述坐标轴选择标志对应的坐标轴。
在一种可选的实施例中，所述处理器2102，还可以用于：
所述滑动控制条为位移滑动控制条或旋转滑动控制条；所述响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的滑动控制条，包括：
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，针对选中的所述坐标轴选择标志显示位移标志和旋转标志；
若接收到针对所述位移标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，或者，
若接收到针对所述旋转标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条。
在一种可选的实施例中，所述处理器2102，还可以用于：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，则根据针对所述位移滑动控制条上的第一滑块的拖动控制操作，移动所述虚拟模型的位置。
在一种可选的实施例中，所述处理器2102，还可以用于：
所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条，则根据针对所述旋转滑动控制条上的第二滑块的拖动控制操作，旋转所述虚拟模型的角度。
在一种可选的实施例中，所述处理器2102，还可以用于：
所述精确配准模式包括第一精确配准模式和第二精确配准模式；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示三个方向的坐标轴，包括：
响应于在所述配准模式菜单中选择所述第一精确配准模式的操作，基于所述虚拟模型的第一三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴；或者，
响应于在所述配准模式菜单中选择所述第二精确配准模式的操作，根据用户视线为法线的平面生成第二三维坐标轴，并基于所述第二三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴。
在一些可能的实施方式中，本申请提供的虚拟模型定位配准方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的虚拟模型定位配准方法的步骤。
需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
上文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种虚拟模型定位配准方法，其特征在于，包括：
在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
响应于在所述配准模式菜单中选择初步配准模式的操作，根据持握所述虚拟模型的调整手势对所述虚拟模型的位姿进行调整；
响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志；
根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，以使所述虚拟模型与所述目标对象的位置相互重合。
2.根据权利要求1所述的方法，其特征在于，所述在虚拟屏幕上显示配准模式菜单，包括：
响应于感应到的显示菜单的手势操作，在所述虚拟屏幕上显示所述配准模式菜单；或者，
响应于接收到的显示菜单的语音指令，在所述虚拟屏幕上显示所述配准模式菜单。
3.根据权利要求1或2所述的方法，其特征在于，所述配准参照标志包括三个方向的坐标轴和滑动控制条；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志，包括：
响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示所述三个方向的坐标轴，以及所述三个方向的坐标轴分别对应的坐标轴选择标志；
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的所述滑动控制条；所述目标坐标轴为被选中的所述坐标轴选择标志对应的坐标轴。
4.根据权利要求3所述的方法，其特征在于，所述滑动控制条为位移滑动控制条或旋转滑动控制条；所述响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，显示目标坐标轴对应的滑动控制条，包括：
响应于针对三个所述坐标轴选择标志中的任一个所述坐标轴选择标志的选中操作，针对选中的所述坐标轴选择标志显示位移标志和旋转标志；
若接收到针对所述位移标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，或者，
若接收到针对所述旋转标志的选中操作，则在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条。
5.根据权利要求4所述的方法，其特征在于，所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述位移滑动控制条，则根据针对所述位移滑动控制条上的第一滑块的拖动控制操作，移动所述虚拟模型的位置。
6.根据权利要求4所述的方法，其特征在于，所述根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，包括：
若在所述虚拟屏幕上显示所述目标坐标轴对应的所述旋转滑动控制条，则根据针对所述旋转滑动控制条上的第二滑块的拖动控制操作，旋转所述虚拟模型的角度。
7.根据权利要求3所述的方法，其特征在于，所述精确配准模式包括第一精确配准模式和第二精确配准模式；所述响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示三个方向的坐标轴，包括：
响应于在所述配准模式菜单中选择所述第一精确配准模式的操作，基于所述虚拟模型的第一三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴；或者，
响应于在所述配准模式菜单中选择所述第二精确配准模式的操作，根据用户视线为法线的平面生成第二三维坐标轴，并基于所述第二三维坐标轴在所述虚拟屏幕上显示所述三个方向的坐标轴。
8.一种虚拟模型定位配准装置，其特征在于，所述装置包括：
模式选择单元，用于在虚拟屏幕上显示现实场景中目标对象的虚拟模型和配准模式菜单；
第一配置单元，用于响应于在所述配准模式菜单中选择初步配准模式的操作，根据持握所述虚拟模型的调整手势对所述虚拟模型的位姿进行调整；
第二配置单元，用于响应于在所述配准模式菜单中选择精确配准模式的操作，在所述虚拟屏幕上显示配准参照标志；根据针对所述配准参照标志的控制操作，对所述虚拟模型的位姿进行调整，以使所述虚拟模型与所述目标对象的位置相互重合。
9.一种增强现实设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～7中任一项所述的方法。
CN202110974669.0A 2021-08-24 2021-08-24 虚拟模型定位配准方法、装置、增强现实设备和存储介质 Pending CN113674430A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110974669.0A CN113674430A (zh) 2021-08-24 2021-08-24 虚拟模型定位配准方法、装置、增强现实设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110974669.0A CN113674430A (zh) 2021-08-24 2021-08-24 虚拟模型定位配准方法、装置、增强现实设备和存储介质

Publications (1)

Publication Number Publication Date
CN113674430A true CN113674430A (zh) 2021-11-19

Family

ID=78545706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110974669.0A Pending CN113674430A (zh) 2021-08-24 2021-08-24 虚拟模型定位配准方法、装置、增强现实设备和存储介质

Country Status (1)

Country Link
CN (1) CN113674430A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和系统
CN104081307A (zh) * 2012-02-10 2014-10-01 索尼公司 图像处理装置、图像处理方法和程序
CN104252561A (zh) * 2014-09-05 2014-12-31 北京尔宜居科技有限责任公司 一种在单一界面中同时展示同一装修场景的2d图像和3d图像的方法
JP2016139201A (ja) * 2015-01-26 2016-08-04 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
CN106095103A (zh) * 2016-06-16 2016-11-09 世源科技工程有限公司 虚拟现实的显示控制方法、装置及相关设备
JP2016218547A (ja) * 2015-05-15 2016-12-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US20180150969A1 (en) * 2016-11-30 2018-05-31 Canon Kabushiki Kaisha Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
US20180158247A1 (en) * 2016-12-06 2018-06-07 Fanuc Corporation Augmented reality simulation device and computer-readable medium
US20180185100A1 (en) * 2017-01-03 2018-07-05 Mako Surgical Corp. Systems And Methods For Surgical Navigation
WO2019203952A1 (en) * 2018-04-17 2019-10-24 Pearson Education, Inc. Systems and methods for applications of augmented reality
CN111352505A (zh) * 2020-01-13 2020-06-30 维沃移动通信有限公司 操作控制方法、头戴式设备及介质
US20200242280A1 (en) * 2019-01-30 2020-07-30 Augmntr, Inc. System and methods of visualizing an environment

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262830A (zh) * 2005-07-20 2008-09-10 布拉科成像S.P.A.公司 用于把对象的虚拟模型映射到对象的方法和系统
CN104081307A (zh) * 2012-02-10 2014-10-01 索尼公司 图像处理装置、图像处理方法和程序
CN104252561A (zh) * 2014-09-05 2014-12-31 北京尔宜居科技有限责任公司 一种在单一界面中同时展示同一装修场景的2d图像和3d图像的方法
JP2016139201A (ja) * 2015-01-26 2016-08-04 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
JP2016218547A (ja) * 2015-05-15 2016-12-22 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN106095103A (zh) * 2016-06-16 2016-11-09 世源科技工程有限公司 虚拟现实的显示控制方法、装置及相关设备
US20180150969A1 (en) * 2016-11-30 2018-05-31 Canon Kabushiki Kaisha Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
US20180158247A1 (en) * 2016-12-06 2018-06-07 Fanuc Corporation Augmented reality simulation device and computer-readable medium
US20180185100A1 (en) * 2017-01-03 2018-07-05 Mako Surgical Corp. Systems And Methods For Surgical Navigation
WO2019203952A1 (en) * 2018-04-17 2019-10-24 Pearson Education, Inc. Systems and methods for applications of augmented reality
US20200242280A1 (en) * 2019-01-30 2020-07-30 Augmntr, Inc. System and methods of visualizing an environment
CN111352505A (zh) * 2020-01-13 2020-06-30 维沃移动通信有限公司 操作控制方法、头戴式设备及介质

Similar Documents

Publication Publication Date Title
JP7267209B2 (ja) 滅菌野及び他の作業環境のためのユーザインターフェースシステム
US8554307B2 (en) Image annotation in image-guided medical procedures
JP2021528786A (ja) 視線に基づく拡張現実環境のためのインターフェース
JP2022512274A (ja) ナビゲーション支援
CN105956395A (zh) 医学影像处理方法、装置及系统
US20140218397A1 (en) Method and apparatus for providing virtual device planning
CN112043359B (zh) 乳腺穿刺方法、装置、设备及存储介质
US20230074630A1 (en) Surgical systems and methods for positioning objects using augmented reality navigation
CN115500940A (zh) 手术针的定位显示方法及相关装置
EP4003205A1 (en) Positioning a camera for perspective sharing of a surgical site
CN112515763A (zh) 目标物的定位显示方法、系统、装置和电子设备
Van Gestel et al. Neuro-oncological augmented reality planning for intracranial tumor resection
US20200077924A1 (en) System and method to register anatomy without a probe
CN113674430A (zh) 虚拟模型定位配准方法、装置、增强现实设备和存储介质
JP7460201B2 (ja) 手術対象物の整合確認方法、その装置及びそれを含むシステム
WO2022091006A1 (en) Tool for inserting an implant and method of using same
US10350010B2 (en) Method and system for verifying panoramic images of implants
US20130061152A1 (en) Three dimensional graphical user interface
Berger et al. Design and validation of a medical robotic device system to control two collaborative robots for ultrasound-guided needle insertions
CN112674874B (zh) 植入物规划方法、装置、存储介质及电子设备
US11304757B2 (en) Orthopedic fixation control and visualization
CN111544113A (zh) 手术导航中的靶点跟踪及距离动态图形化显示方法及装置
US11893737B2 (en) Hinge detection for orthopedic fixation
CN106097325B (zh) 一种基于三维重建图像的定位指示生成方法及装置
Chiou et al. Augmented Reality Surgical Navigation System for External Ventricular Drain. Healthcare 2022, 10, 1815

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination