CN116954367A - 一种虚拟现实的交互方法、系统及设备 - Google Patents

一种虚拟现实的交互方法、系统及设备 Download PDF

Info

Publication number
CN116954367A
CN116954367A CN202310817457.0A CN202310817457A CN116954367A CN 116954367 A CN116954367 A CN 116954367A CN 202310817457 A CN202310817457 A CN 202310817457A CN 116954367 A CN116954367 A CN 116954367A
Authority
CN
China
Prior art keywords
target object
virtual
user
image
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310817457.0A
Other languages
English (en)
Inventor
李梓佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202310817457.0A priority Critical patent/CN116954367A/zh
Publication of CN116954367A publication Critical patent/CN116954367A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本申请公开了一种虚拟现实的交互方法、系统及设备，方法包括通过用户设备获取用户前方图像，并获取用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；基于感兴趣区域确定目标物体相对于用户设备的位姿数据；基于姿态信息对目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。本申请通过识别用户前方图像中携带的现实物体来渲染虚拟物体的虚拟图像，并通过显示设备来显示虚拟图像，这样通过对现实物体进行拍摄来进行虚拟交互，无需用户进行手动操作，从而降低了用户使用疲劳感。同时，用户还可以通过触摸现实物体来感受力觉，触摸等感知反馈，增加了用户的娱乐性和使用体验。

Description

一种虚拟现实的交互方法、系统及设备
技术领域
本申请涉及虚拟现实技术领域，特别涉及一种虚拟现实的交互方法、系统及设备。
背景技术
现有的虚拟现实技术主要通过将虚拟物体放置在特定位置来让用户获得视觉体验。而当需要进行交互时，用户需要通过虚拟按钮或者游戏手柄来与虚拟物体进行交互，然而通过虚拟按钮或者游戏手柄进行交互，一方面需要用户进行按键操作，容易导致用户疲劳。另一方面，无法为用户带来力觉，触摸等感知反馈，从而降低了用户的娱乐性和使用体验，给用户使用带来不便。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种虚拟现实的交互方法、系统及设备。
为了解决上述技术问题，本申请实施例第一方面提供了一种虚拟现实的交互方法，其中，所述的交互方法包括：
通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；
基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；
基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。
所述的虚拟现实的交互方法，其中，所述虚拟物体为不同于目标物体的其他物体，且虚拟物体与所述目标物体的形态相似度大于预设相似度阈值。
所述的虚拟现实的交互方法，其中，所述方法还包括：
预设构建现实物体数据库和虚拟物体数据库，其中，虚拟物体数据库包括有若干虚拟物体的三维模型，和/或若干设定物体的局部部件。
所述的虚拟现实的交互方法，其中，所述取所述用户前方图像中的目标物体对应的感兴趣区域具体包括：
基于预设的现实物体数据库检测用户前方图像中是否存在目标物体；
当存在目标物体时，截取所述目标物体所对应的图像区域，以得到所述目标物体对应的感兴趣区域。
所述的虚拟现实的交互方法，其中，所述截取所述目标物体所对应的图像区域，以得到所述目标物体对应的感兴趣区域具体包括：
当查找到目标物体时，检测所述目标物体是否与人手交互；
若所述目标物体与人手交互，则在所述用户前方图像中截取包含目标物体和人手的图像区域，以得到所述目标物体对应的感兴趣区域；
若所述目标物体未与人手交互，则在所述用户前方图像中截取包含目标物体的图像区域，以得到所述目标物体对应的感兴趣区域。
所述的虚拟现实的交互方法，其中，所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据具体包括：
将所述感兴趣区域输入经过训练的位姿识别模型；
通过所述位姿识别模型输出所述目标物体的位置数据和姿态数据，以得到目标物体相对于所述用户设备的位姿数据。
所述的虚拟现实的交互方法，其中，所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据具体包括：
识别所述目标物体所携带的各标记符号对应的特征点；
对各标记符号对应的特征点进行三角化以得到各特征点的三维坐标；
基于各三维坐标点计算所述目标物体相对于所述用户设备的位姿数据。
本申请实施例第二方面提供了一种虚拟现实的交互系统，所述虚拟现实的交互系统包括
物体处理模块，用于通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；
姿态检测模块，用于基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；
虚拟图像渲染模块，用于基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的虚拟现实的交互方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的虚拟现实的交互方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种虚拟现实的交互方法、系统及设备，所述方法包括通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。本申请通过识别用户前方图像中携带的现实物体来渲染虚拟物体的虚拟图像，并通过显示设备来显示虚拟图像，这样通过对现实物体进行拍摄来进行虚拟交互，无需用户进行手动操作，从而降低了用户使用疲劳感。同时，用户可以通过触摸现实物体来感受力觉，触摸等感知反馈，增加了用户的娱乐性和使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的虚拟现实的交互方法的流程图。
图2为用户设备的结构原理图。
图3为真实场景的示意图。
图4为虚拟场景的示意图。
图5为本申请提供的虚拟现实的交互系统的结构原理图。
图6为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种虚拟现实的交互方法、系统及设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，现有的虚拟现实技术主要通过将虚拟物体放置在特定位置来让用户获得视觉体验。而当需要进行交互时，用户需要通过虚拟按钮或者游戏手柄来与虚拟物体进行交互，然而通过虚拟按钮或者游戏手柄进行交互，一方面需要用户进行按键操作，容易导致用户疲劳。另一方面，无法为用户带来力觉，触摸等感知反馈，从而降低了用户的娱乐性和使用体验，给用户使用带来不便。
为了解决上述问题，在本申请实施例中，通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。本申请通过识别用户前方图像中携带的现实物体来渲染虚拟物体的虚拟图像，并通过显示设备来显示虚拟图像，这样通过对现实物体进行拍摄来进行虚拟交互，无需用户进行手动操作，从而降低了用户使用疲劳感。同时，用户可以通过触摸现实物体来感受力觉，触摸等感知反馈，增加了用户的娱乐性和使用体验。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种虚拟现实的交互方法，如图1所示，所述方法包括：
S10、通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体。
具体地，用户设备可以为头戴设备，例如，虚拟现实头戴式一体机等。其中，用户前方图像可以通过用户设备配置的图像采集装置采集得到的，也可以是通过装配于用户设备上的外接设备(例如，手机等)拍摄得到的等，其中，用户前方图像可以为RGB图像和/或深度图像。在本实施例中，用户前方图像为通过用户设备配置的图像采集装置采集得到的，相应的，如图2所示，用户设备可以包括数据处理单元110、通讯单元140、图像采集单元120、显示装置130和外部按钮150，数据处理单元110分别与图像采集单元140、显示装置130以及通讯单元140相连接，通讯单元140与外部按钮150相连接。其中，数据处理单元110包括存储器和处理器，存储器内存储有本地数据库，本地数据库用于存储用户设备通过通讯单元从远处数据库获取的数据信息。
目标物体为预先设置的现实物体数据库中的现实物体，其中，现实物体数据库包含有若干现实物体，若干现实物体中的每个现实物体均用于进行虚拟交互。也就是说，当用户前方图像中携带有现实物体数据库中的任意现实物体时，均会将该显示物体作为目标物体，以便于基于目标物体进行虚拟交互。虚拟物体为预先设置的虚拟物体数据库中的虚拟物体，其中，虚拟物体数据库包括有若干虚拟物体的三维模型，和/或若干设定物体的局部部件(例如，玩偶的头部、五官位置等)。
现实物体数据库和虚拟物体数据库均预先构建的，其中，现实物体数据库和虚拟物体数据库可以存储于远程数据库内，例如，存储于服务器中的数据库内，或者云端中的数据库内等。用户设备可以直接访问远程数据库来访问现实物体数据库和虚拟物体数据库，也可以将远程数据库中的现实物体数据库和虚拟物体数据库下载至用户设备中，例如，下载至用户设备的本地数据库内等。
现实物体数据库与虚拟物体数据库相对应，对于现实物体数据库中的每个现实物体，均可以在虚拟物体数据库中查找到虚拟物体，该虚拟物体与显示物体不同，但虚拟物体与现实物体的形态相似度大于预设相似度阈值。也就是说，在基于所述目标物体对应的虚拟物体为不同于目标物体的其他物体，且虚拟物体与所述目标物体的形态相似度大于预设相似度阈值。例如，如图3和图4所示，目标物体为真实物体场景下的球体，虚拟物体为虚拟物体场景下的苹果。此外，在实际应用中，对于每个现实物体，虚拟物体数据库中可以存在一个虚拟物体与该现实物体相对应，也可以存在多个虚拟物体与该现实物体相对应。
在一个实现方式中，由于预先设置有用于进行虚拟交互的现实物体数据库，从而在获取到用户前方图像后，需要检测用户前方图像中是否存在包含于现实物体数据库中的目标物体。基于此，所述取所述用户前方图像中的目标物体对应的感兴趣区域具体包括：
基于预设的现实物体数据库检测用户前方图像中是否存在目标物体；
当存在目标物体时，截取所述目标物体所对应的图像区域，以得到所述目标物体对应的感兴趣区域。
具体地，基于预设的现实物体数据库检测用户前方图像中是否存在目标物体指的是检测用户前方图像所携带的候选物体是否包含于现实物体数据库中，当候选物体包含于现实物体数据库时，说明用户前方图像携带有目标物体，反之，当候选物体未包含于现实物体数据库时，说明用户前方图像未携带有目标物体。
现实物体数据库可以存储有现实物体的物体信息，检测用户前方图像所携带的候选物体是否包含于现实物体数据库时，获取候选物体的候选物体信息，然后将候选物体的候选物体信息与现实物体数据库中的物体信息进行匹配，当匹配成功时，说明用户前方图像所携带的候选物体包含于现实物体数据库，反之，说明用户前方图像所携带的候选物体不包含于现实物体数据库。其中，物体信息可以为物体类别及用于识别现实物体的神经网络模型、特征信息、符号标记(例如，二维码，AR标记等)、多组物体图像以及现实物体的三维模型(例如，点云模型，网络模型等)中的一种或者多种。也就是说，在基于物体信息进行匹配时，可以基于一种物体信息进行匹配，也可以基于多种物体信息进行匹配，其中，当基于多种物体信息进行匹配时，可以其中一种物体信息匹配成功时判定用户前方图像包含有目标物体，也可以是当多种物体信息均匹配成功时判定用户前方图像包含有目标物体。此外，值得说明的是，当物体信息为符号标记时，用于交互的现实物体上粘贴有符号标记。
在一个典型实现方式中，用于交互的现实物体上粘贴有符号标记，现实物体数据库中存储有现实物体的符号标记。基于预设的现实物体数据库检测用户前方图像中是否存在目标物体的具体过程可以为：提取用户前方图像携带的候选物体，并获取候选物体上的候选符号标记，然后在现实物体数据库中查找候选符号标记，若查找到，则判定用户前方图像中存在目标物体，若未查找到，则判定用户前方图像中不存在目标物体。此外，在实际应用中，由于在通过用户设备获取用户前方图像时，现实物体可能会因为部分区域被遮挡而未显示于用户前方图像中，从而可以从多个角度来采集多张用户前方图像，然后基于预设的现实物体数据库分别对多张用户前方图像进行检测，提高目标物体检测的准确性。
在一个实现方式中，所述截取所述目标物体所对应的图像区域，以得到所述目标物体对应的感兴趣区域具体包括：
当查找到目标物体时，检测所述目标物体是否与人手交互；
若所述目标物体与人手交互，则在所述用户前方图像中截取包含目标物体和人手的图像区域，以得到所述目标物体对应的感兴趣区域；
若所述目标物体未与人手交互，则在所述用户前方图像中截取包含目标物体的图像区域，以得到所述目标物体对应的感兴趣区域。
具体地，所述目标物体与人手交互指的是人手与目标物体间存在互动，例如，人手与目标物体相接触，或者是，人手与目标物体间的距离小于预设距离阈值等，其中，人手与目标物体间的距离可以为人手所处图像区域中的像素点与目标物体所处图像区域中的像素点间的最小像素距离，也可以为人手所处图像区域中的预设区域(例如，手指区域，手掌区域等)与目标物体间的距离(其中，该距离可以为预设区域中的像素点与目标物体所处图像区域中的像素点间的最小像素距离，也可为预设区域中各像素点的目标物体所处图像区域距离均值等)，或者是，只要用户前方图像中同时存在目标物体和人手，即判定目标物体与人手交互等。此外，当目标物体与人手交互时，将包含人手和目标物体的图像区域从用户前方图像中分割处理，在确定虚拟物体时基于目标物体确定，再候选渲染虚拟物体对应的虚拟图像时，将在人手渲染至虚拟图像中，并且虚拟图像中人手与虚拟物体的位置关系与用户前方图像中人手与目标物体的位置关系相同，这样可以提升沉浸感。
S20、基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据。
具体地，位姿数据用于反映目标物体相对于用户设备的位置信息以及目标物体的姿态信息，其中，位姿数据可以包括位置数据和姿态数据，位置数据用于反映目标物体相对于用户设备的位置，姿态数据用于反映目标物体的姿态。此外，当目标物体与人交互时，还可以识别并提取目标人物的骨架位置，虚拟图像渲染模块根据骨架位置渲染虚拟人物。当用户与真实人物互动时通过显示设备看到的却是在和虚拟人物互动，以此提高用户在虚拟体验中的趣味性。
在一个实现方式中，所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据具体包括：
将所述感兴趣区域输入经过训练的位姿识别模型；
通过所述位姿识别模型输出所述目标物体的位置数据和姿态数据，以得到目标物体相对于所述用户设备的位姿数据。
具体地，位姿识别模型可以为预先训练的，用于识别目标物体相对于用户设备的位姿数据的。也就是说，在获取到的目标物体对应的感兴趣区域后，可以直接将感兴趣区域输入位姿识别模型，通过位姿识别模型输出位姿数据。其中，位姿识别模型的训练过程可以为：预先收集多个训练图像组，每个训练图像组均包括若干训练图像数据，每个训练图像数据均包括携带有一现实物体的训练图像和该现实物体对应的标注位姿数据，其中，每个训练图像组的各训练图像所携带的现实物体相同，当各训练图像中的现实物体的位姿数据不同。然后基于收集到的多个训练图像组中的每个训练图像数据对神经网络模型进行训练，以得到位姿识别模型。
在一个实现方式中，所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据具体包括：
识别所述目标物体所携带的各标记符号对应的特征点；
对各标记符号对应的特征点进行三角化以得到各特征点的三维坐标；
基于各三维坐标点计算所述目标物体相对于所述用户设备的位姿数据。
具体地，目标物体粘贴有若干标记符号，在获取到携带有目标物体的用户前方图像后，识别目标物体上显示用户前方图像中各标记符号对应的特征点，然后基于用户前方图像对应的图像采集设备的设备参数(例如，相机内参和相机外参)将各标记符号对应的特征点进行三角化以得到各特征点的三维坐标，然后根据各特征点的三维坐标可以计算出目标物体相对于所述用户设备的位姿数据。
在一个实现方式中，现实物体数据库中可以存储有现实物体的多个历史图像以及每个历史图像所对应的特征点。所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据的具体过程可以为遍历多个历史图像以在多个历史图像中选取用户前方图像的相似度最高的目标历史图像，然后将用户前方图像的特征点投影至目标历史图像的特征来计算目标物体的位置数据。
在一个实现方式中，现实物体数据库中可以存储有现实物体的三维模型，用户前方图像包括RGB图像和深度图像，RGB图像用于确定感兴趣区域，深度图像用于进行点云配准。所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据的具体过程可以为利用深度图像得到目标物体的点云，然后利用点云配准的方法计算出目标物的位姿数据。
当然，值得说明的是，本实施例可以通过上述实现方式中的一种实现方式确定位姿数据，也可以通过上述实现方式中的多种实现方式确定位姿数据，其中，当通过多种实现方式确定位姿数据时，可以将多种实现方式确定的位姿数据进行加权来得到最后的位姿数据，也可以是将多种实现方式确定的位姿数据的均值作为最后的位姿数据等。
S30、基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过用设备显示渲染后的虚拟图像。
具体地，基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染时可以采用虚拟物体替换目标物体，也可以对目标物体的局部进行渲染，也可以是采用一虚拟物体a替换目标物体，并将另一虚拟物体b作为部件添加到虚拟物体b等。其中，采用虚拟物体替换目标物体指的是直接将虚拟物体渲染至虚拟图像中。对目标物体的局部进行渲染指的是将虚拟物体添加至目标物体的设置部分，以将携带有虚拟物体的目标物体渲染至虚拟图像中，例如，在目标物体上添加表情或者动作等。
在一个实现方式中，当用户需要变换虚拟场景，或者变换虚拟物体时，可以触发用户设备上的外部按钮，此时触发信号通过通信单元传到数据处理单元，数据处理单元做出响应并将选项显示到显示装置上，此时用户可以根据不同的选项选择虚拟场景或者虚拟物体。或者是，当用户需要变换虚拟场景，或者变换虚拟物体时，可以通过手势识别来实现，其中，具体过程可以为：实时采集用户前方图像，并识别用户双手在用户前方图像中的位置数据以记录双手划过的运动轨迹，检测运动轨迹是否与预设手势轨迹一致，如果一致，则将触发信号发送到数据处理单元，数据处理单元做出响应并将选项显示到显示装置上，此时会持续跟踪用户手指在画面的投影位置以及户手指向前的动作来判断用户是否选择了菜单中的某个选项。
综上所述，本实施例提供了一种虚拟现实的交互方法，方法包括通过用户设备获取用户前方图像，并获取用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；基于感兴趣区域确定目标物体相对于用户设备的位姿数据；基于姿态信息对目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。本申请通过识别用户前方图像中携带的现实物体来渲染虚拟物体的虚拟图像，并通过显示设备来显示虚拟图像，这样通过对现实物体进行拍摄来进行虚拟交互，无需用户进行手动操作，从而降低了用户使用疲劳感。同时，用户还可以通过触摸现实物体来感受力觉，触摸等感知反馈，增加了用户的娱乐性和使用体验。
基于上述虚拟现实的交互方法，本实施例提供了一种虚拟现实的交互系统，如图5所示，所述虚拟现实的交互系统包括
物体处理模块100，用于通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；
姿态检测模块200，用于基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；
虚拟图像渲染模块300，用于基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。
基于上述虚拟现实的交互方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的虚拟现实的交互方法中的步骤。
基于上述虚拟现实的交互方法，本申请还提供了一种终端设备，如图6所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟现实的交互方法，其特征在于，所述的交互方法包括：
通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；
基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；
基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。
2.根据权利要求1所述的虚拟现实的交互方法，其特征在于，所述虚拟物体为不同于目标物体的其他物体，且虚拟物体与所述目标物体的形态相似度大于预设相似度阈值。
3.根据权利要求2所述的虚拟现实的交互方法，其特征在于，所述方法还包括：
预设构建现实物体数据库和虚拟物体数据库，其中，虚拟物体数据库包括有若干虚拟物体的三维模型，和/或若干设定物体的局部部件。
4.根据权利要求1所述虚拟现实的交互方法，其特征在于，所述取所述用户前方图像中的目标物体对应的感兴趣区域具体包括：
基于预设的现实物体数据库检测用户前方图像中是否存在目标物体；
当存在目标物体时，截取所述目标物体所对应的图像区域，以得到所述目标物体对应的感兴趣区域。
5.根据权利要求4所述虚拟现实的交互方法，其特征在于，所述截取所述目标物体所对应的图像区域，以得到所述目标物体对应的感兴趣区域具体包括：
当查找到目标物体时，检测所述目标物体是否与人手交互；
若所述目标物体与人手交互，则在所述用户前方图像中截取包含目标物体和人手的图像区域，以得到所述目标物体对应的感兴趣区域；
若所述目标物体未与人手交互，则在所述用户前方图像中截取包含目标物体的图像区域，以得到所述目标物体对应的感兴趣区域。
6.根据权利要求1所述的虚拟现实的交互方法，其特征在于，所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据具体包括：
将所述感兴趣区域输入经过训练的位姿识别模型；
通过所述位姿识别模型输出所述目标物体的位置数据和姿态数据，以得到目标物体相对于所述用户设备的位姿数据。
7.根据权利要求1所述的虚拟现实的交互方法，其特征在于，所述基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据具体包括：
识别所述目标物体所携带的各标记符号对应的特征点；
对各标记符号对应的特征点进行三角化以得到各特征点的三维坐标；
基于各三维坐标点计算所述目标物体相对于所述用户设备的位姿数据。
8.一种虚拟现实的交互系统，其特征在于，所述虚拟现实的交互系统包括
物体处理模块，用于通过用户设备获取用户前方图像，并获取所述用户前方图像中的目标物体对应的感兴趣区域以及所述目标物体对应的虚拟物体；
姿态检测模块，用于基于所述感兴趣区域确定目标物体相对于所述用户设备的位姿数据；
虚拟图像渲染模块，用于基于所述位姿数据对所述目标物体对应的虚拟物体进行渲染，并通过显示设备显示渲染后的虚拟图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的虚拟现实的交互方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的虚拟现实的交互方法中的步骤。
CN202310817457.0A 2023-07-04 2023-07-04 一种虚拟现实的交互方法、系统及设备 Pending CN116954367A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310817457.0A CN116954367A (zh) 2023-07-04 2023-07-04 一种虚拟现实的交互方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310817457.0A CN116954367A (zh) 2023-07-04 2023-07-04 一种虚拟现实的交互方法、系统及设备

Publications (1)

Publication Number Publication Date
CN116954367A true CN116954367A (zh) 2023-10-27

Family

ID=88441967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310817457.0A Pending CN116954367A (zh) 2023-07-04 2023-07-04 一种虚拟现实的交互方法、系统及设备

Country Status (1)

Country Link
CN (1) CN116954367A (zh)

Similar Documents

Publication Publication Date Title
CN106845335B (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
US8199115B2 (en) System and method for inputing user commands to a processor
KR20130099317A (ko) 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
EP2903256B1 (en) Image processing device, image processing method and program
CN111401318B (zh) 动作识别方法及装置
CN111259751A (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN111672109B (zh) 一种游戏地图生成的方法、游戏测试的方法以及相关装置
CN111698646B (zh) 一种定位方法及装置
CN111638797A (zh) 一种展示控制方法及装置
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
CN112419388A (zh) 深度检测方法、装置、电子设备和计算机可读存储介质
CN113190109A (zh) 头戴式显示设备的输入控制方法、装置及头戴式显示设备
CN112905014A (zh) Ar场景下的交互方法、装置、电子设备及存储介质
CN114170407B (zh) 输入设备的模型映射方法、装置、设备和存储介质
CN113238705A (zh) 虚拟键盘交互方法及系统
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
CN112991555B (zh) 数据展示方法、装置、设备以及存储介质
EP3885883A1 (en) Imaging system and method for producing images with virtually-superimposed functional elements
CN111901518B (zh) 显示方法、装置和电子设备
CN111782041A (zh) 打字方法及装置、设备、存储介质
CN111638794A (zh) 一种虚拟文物的显示控制方法及装置
CN111639615A (zh) 一种虚拟建筑物的触发控制方法及装置
CN115061577B (zh) 手部投影交互方法、系统及存储介质
CN113963355B (zh) Ocr文字识别方法、装置、电子设备及存储介质
CN116954367A (zh) 一种虚拟现实的交互方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination