CN107992188A - 虚拟现实交互方法、装置与系统 - Google Patents

虚拟现实交互方法、装置与系统 Download PDF

Info

Publication number
CN107992188A
CN107992188A CN201710339131.6A CN201710339131A CN107992188A CN 107992188 A CN107992188 A CN 107992188A CN 201710339131 A CN201710339131 A CN 201710339131A CN 107992188 A CN107992188 A CN 107992188A
Authority
CN
China
Prior art keywords
default
virtual reality
interactive
page
exchange method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710339131.6A
Other languages
English (en)
Other versions
CN107992188B (zh
Inventor
王勃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Priority to TW106136916A priority Critical patent/TWI654539B/zh
Priority to US15/794,016 priority patent/US10698475B2/en
Priority to EP17198547.6A priority patent/EP3316080B1/en
Publication of CN107992188A publication Critical patent/CN107992188A/zh
Priority to US16/405,975 priority patent/US10853651B2/en
Application granted granted Critical
Publication of CN107992188B publication Critical patent/CN107992188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种虚拟现实交互方法、装置与系统。虚拟现实交互方法包括：持续获取用户面前的图像信息；通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识；通过所述图像信息识别用户的手部动作；根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。本公开提供的虚拟现实交互方法可以准确地在虚拟现实环境中模拟用户对真实物体的交互动作，改善了虚拟现实的用户体验。

Description

虚拟现实交互方法、装置与系统
技术领域
本公开涉及虚拟现实技术领域，具体而言，涉及一种用于准确模拟用户与真实物体交互动作的虚拟现实交互方法、装置与系统。
背景技术
随着科技发展，虚拟现实技术在生活中得到了越来越多的应用。
在现有技术中，当用户希望在虚拟环境中得到逼真的与真实物体的交互体验时，往往需要通过在手上佩戴定位器或者通过其他特殊的电子仪器或操纵器来实现。当用户在虚拟现实环境中需要与真实物体互动，例如阅读虚拟图书时，现有技术无法提供方便的操作方式以在虚拟世界中阅读虚拟图书。
因此，需要一种能准确模拟用户与真实物体交互动作方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
根据上述，在阅读虚拟图书时，现有技术无法很好地结合用户手部动作与虚拟物体之间的位置分辨其操作关系，以达到方便地操作，例如翻动书页。
因此，本公开的目的在于提供一种用于准确模拟用户与真实物体交互动作的虚拟现实交互方法、装置与系统，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。
根据本公开实施例的第一方面，提供一种虚拟现实交互方法，包括：持续获取用户面前的图像信息；通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识；通过所述图像信息识别用户的手部动作；根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
在本公开的一种示例性实施例中，所述识别预设交互物体包括识别所述预设交互物体的位置和/或表面状态。
在本公开的一种示例性实施例中，所述识别用户的手部动作包括识别手部姿态和/或手部位置。
在本公开的一种示例性实施例中，所述预设标识包括虚拟内容信息，识别所述图像信息中的预设标识还包括识别所述虚拟内容信息。
根据本公开实施例的第二方面，提供一种虚拟现实交互装置，包括：
图像采集模块，用于持续获取用户面前的图像信息；
标识识别模块，用于通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识；
手势识别模块，用于通过所述图像信息识别用户的手部动作；
图像输出模块，用于根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
在本公开的一种示例性实施例中，所述识别预设交互物体包括识别所述预设交互物体的位置和/或表面状态。
在本公开的一种示例性实施例中，所述识别用户的手部动作包括识别手部姿态和/或手部位置。
在本公开的一种示例性实施例中，所述预设标识包括虚拟内容信息，所述标识识别模块还用于识别所述虚拟内容信息。
在本公开的一种示例性实施例中，还包括：数据库模块，用于记录所述预设标识与所述虚拟内容信息的对应关系。
根据本公开实施例的第三方面，提供一种虚拟现实交互系统，包括：虚拟现实显示装置，用于对用户显示虚拟现实图像；预设交互物体，用于辅助识别用户的交互动作；以及，如上文所述的虚拟现实交互装置。
根据本公开实施例的第四方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的虚拟现实交互方法。
根据本公开实施例的第五方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的虚拟现实交互方法。
根据本公开实施例的第六方面，提供一种虚拟现实交互方法，包括：获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识；根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数；根据所述至少一种参数执行预设交互操作。
在本公开的一种示例性实施例中，所述至少一种参数包括所述预设交互物体的弯曲持续时间、弯曲方向、弯曲形状中的一种或者多种。
在本公开的一种示例性实施例中，所述预设交互操作包括向后翻页、向前翻页、连续向后翻页、连续向前翻页操作中的一种或者多种。
在本公开的一种示例性实施例中，所述预设交互物体为一柔性材料制成的书册，其包括至少一页面，所述至少一页面的表面具有多个所述预设标识。
在本公开的一种示例性实施例中，根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数包括：选取所述至少一页面上的多个所述预设标识中的第一标识和第二标识；根据所述第一标识和所述第二标识的位置坐标分别获取所述第一标识的第一法向量和所述第二标识的第二法向量；根据所述第一法向量和所述第二法向量确定所述第一标识和所述第二标识之间的夹角。
在本公开的一种示例性实施例中，根据所述至少一种参数执行预设交互操作包括：判断所述夹角随着时间变化的曲线是否落入预定义区域内；当所述夹角随着时间变化的曲线落入所述预定义区域内时，执行一向后翻页操作。
在本公开的一种示例性实施例中，所述预定义区域由预定义的第一曲线和第二曲线以及所述第一曲线和所述第二曲线分别与时间轴的交点确定。
在本公开的一种示例性实施例中，根据所述至少一种参数执行预设交互操作包括：当所述夹角大于第一阈值且持续时间超过预设时间时，执行一连续向后翻页操作。
在本公开的一种示例性实施例中，当所述夹角大于第一阈值且持续时间超过预设时间时，执行一连续向后翻页操作包括：当所述夹角大于等于所述第一阈值且小于第二阈值时，按照第一翻页动画速度执行所述连续向后翻页操作；和/或当所述夹角大于等于所述第二阈值且小于第三阈值时，按照第二翻页动画速度执行所述连续向后翻页操作；和/或当所述夹角大于等于所述第三阈值且小于第四阈值时，按照第三翻页动画速度执行所述连续向后翻页操作；和/或当所述夹角小于所述第一阈值时，停止所述连续向后翻页操作。
根据本公开实施例的第七方面，提供一种虚拟现实交互装置，包括：图像采集模块，用于获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识；参数获取模块，用于根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数；交互执行模块，用于根据所述至少一种参数执行预设交互操作。
根据本公开实施例的第八方面，提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的虚拟现实交互方法。
根据本公开实施例的第九方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的虚拟现实交互方法。
本公开的虚拟现实交互方法通过辨识预设交互物体上的预设标识判断预设交互物体的位置以及判断用户手部动作，准确地定位预设交互物体以及用户手部与预设交互物体的相对位置关系，从而准确地在虚拟现实环境中模拟用户对真实物体的交互动作，改善了虚拟现实的用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种虚拟现实交互方法的流程图。
图2示意性示出本公开示例性实施例中一种虚拟现实头盔的示意图。
图3示意性示出本公开示例性实施例中一种预设标识的示意图。
图4示意性示出本公开示例性实施例中一种单页小册子的示意图。
图5示意性示出本公开示例性实施例中一种多页小册子的示意图。
图6示意性示出本公开示例性实施例中手部挡住小册子上标识的示意图。
图7～图11示意性示出本公开示例性实施例中手部校准过程的示意图。
图12～图15示意性示出本公开示例性实施例中启动手势命令的过程示意图。
图16～图21示意性示出本公开示例性实施例中模拟用户翻页的过程示意图。
图22～图27示意性示出了本公开示例实施方式中用户选择图书的过程示意图。
图28示意性示出本公开示例性实施例中一种虚拟现实交互装置的方框图。
图29示意性示出本公开示例性实施例中另一种虚拟现实交互方法的流程图。
图30示意性示出本公开示例性实施例中一种小册子一般状态的示意图。
图31示意性示出本公开示例性实施例中一种小册子右页面被向内弯曲的示意图。
图32示意性示出本公开示例性实施例中一种小册子左页面被向内弯曲的示意图。
图33示意性示出本公开示例性实施例中另一种小册子右页面被向内弯曲的示意图。
图34示意性示出本公开示例性实施例中小册子上的定位标签的法向量的示意图。
图35示意性示出本公开示例性实施例中第一标识的第一法向量和第二标识的第二法向量的示意图。
图36示意性示出本公开示例性实施例中一种右页面随时间发生弯曲变形的示意图。
图37示意性示出基于图36的第一法向量和第二法向量之间的夹角随时间变化的示意图。
图38示意性示出本公开实施例中图37所示的夹角曲线落入预定义区域内的一种示意图。
图39示意性示出本公开实施例中夹角曲线落入预定义区域内的另一种示意图。
图40示意性示出本公开实施例中一种执行连续向后翻页操作的示意图。
图41示意性示出本公开实施例中一种执行连续向后翻页操作时夹角曲线的示意图。
图42示意性示出本公开实施例中另一种执行连续向后翻页操作时夹角曲线的示意图。
图43示意性示出本公开示例性实施例中另一种虚拟现实交互装置的方框图。
图44示意性示出本公开示例性实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例性实施方式进行详细说明。
图1是本公开一种虚拟现实交互方法的流程图。参考图1，虚拟现实交互方法100可以包括：
步骤S102，持续获取用户面前的图像信息。
步骤S104，通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识。
步骤S106，通过所述图像信息识别用户的手部动作。.
步骤S108，根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
可以根据上述步骤计算出的预设交互物体的位置和朝向、预设标识所关联的虚拟内容，以及用户的手势和其位置及手势在系统中的互动结果，构造出一个高度沉浸的混合现实体验。
本公开的虚拟现实交互方法100通过辨识预设交互物体上的预设标识判断预设交互物体的位置以及判断用户手部动作，准确地定位预设交互物体以及用户手部与预设交互物体的相对位置关系，从而准确地在虚拟现实环境中模拟用户对真实物体的交互动作，改善了虚拟现实的用户体验。
下面结合具体实施例来对上述虚拟现实交互方法进行详细说明。
图2示意性示出本公开示例性实施例中一种虚拟现实头盔(VR，Virtual Reality)的示意图，例如可以为头戴式显示器(HMD，Head-Mounted Display)。头盔200可以包括虚拟现实显示装置202和图像获取装置(相机)204。
上述方法100可以通过佩戴虚拟现实头戴式显示器(HMD，Head-Mounted Display)来实现。本公开的虚拟现实头戴式显示器包括一个或多个图像采集装置，例如可以为相机，这些相机可以被以内置或外置的形式安装在头戴式显示器上，用来捕获在HMD前方的环境，以持续获取用户面前的图像信息。
HMD一般带有两个显示屏幕，分别在眼睛前方位置，用来显示虚拟现实系统的图像输出结果。在这个系统中，还会有一个处理器及其他相关模块，用来实时执行每个模块的计算工作和显示渲染结果到HMD的显示屏幕上。其中处理器及其他相关模块可内建于HMD本身，或可为一外部装置而以有线或无线的方式与HMD连接以传输数据。
在一般虚拟现实系统中，当用户带上HMD后，用户的视线几乎可被全部阻挡以隔绝外部的光源。此外，在本公开带有相机的HMD的虚拟现实系统中，相机可以捕获用户所看见的外部环境。本实施例中提及的相机可以是基于RGB通道的相机、带有深度的(RGB-D)相机或者双眼相机等VR和AR系统中常见的相机。
要提供给用户带有混合现实的体验，用户在HMD前方所看到的或可以进行交互的物体都应该可以以虚拟物体的方式显示在HMD中的显示屏上。其中一个方法是：通过对从HMD的相机捕获的图像进行计算机视觉算法计算，跟踪预设交互物体的位置、朝向以及姿态。另一个方法是：在预设交互物体中附上传感器。在不依赖HMD及预设交互物体额外传感器的前提下，虚拟现实交互方法100可以通过第一种方法来提供混合现实体验。
图3示意性示出本公开示例性实施例中一种预设标识的示意图。参考图3，预设标识可以为包括二维码、条形码或者其他二维图案在内的二维标识，也可以是其他能被虚拟现实图像获取装置识别到并且在之后可以由处理器分析的标识。其中，每一个预设标识皆具有独立的辨识性(ID)，以与其他的预设标识作区分。
为了提高系统跟踪预设交互物体的位置、朝向以及不同姿态的鲁棒性，预设标识可以被印在预设交互物体的表面上。预设标识与预设交互物体的结合可以是将图像(如AprilTag)打印在或贴在预设交互物体上，或是以任何方式附着于预设交互物体的表面。
预设交互物体例如可以为一个小册子或书本，或是以硬或软的材质所作成的类似小册子或书本形状的物体，可为一页或多页，也可做成可折迭的形式。而小册子可以作为目标跟踪物体，根据不同的设计和所需显示数据。基于预设标识可能被其他物体(如手)遮蔽，并且为了增加跟踪物体位置的精确度，可以在每一页的小册子上打印或贴上多个预设标识。在一实施例中，小册子可为单页，并印有一个或多个预设标识；在另一实施例中，小册子可为可翻面的一页正反面且两面都印有一个或多个预设标识；在另一实施例中，小册子可为可折迭的两页或多页且每页上都印有一个或多个预设标识。例如，图4示意性示出本示例性实施例中一种单页小册子的示意图；图5示意性示出本示例性实施例中一种多页小册子的示意图。
可以根据所获取的图像信息中一个或多个预设标识的影像，而判断此一个或多个预设标识的位置和其朝向，并根据它们对于小册子的相对位置，来计算出小册子的位置和其朝向。这个相对位置的数据可以是预先定义，也可以是通过预设标识的唯一编码查找在数据库中的对应信息。
根据上述获得的小册子位置和其朝向，可以在HMD中根据这些数据显示出一个虚拟小册子。为了进一步提升沉浸感，除了位置和朝向外，小册子的真实尺寸和其显示在头盔中的虚拟尺寸可以是按照1比1对应，也可以是根据一个固定的比例或其他能令用户感觉到高度沉浸的非线性比例对应。
如果这本小册子中附有多页，通过跟踪预设标识，当用户翻动小册子至下一页时，虚拟小册子会对应地显示此页面内容。在此场景下，虚拟小册子和实体的小册子的页数是需要一致的。不过，通过手势识别，可以降低对实体小册子的页数要求。当用户执行翻页手势，可以触发虚拟小册子翻页并显示翻页的过程和结果。因此，本方法可以支持用户通过操作最少一页的实体小册子来在虚拟环境模拟出浏览一本无限页数的虚拟小册子。
除了显示一般在实体小册子里的文字和图片内容外，多媒体内容(如动画，视频，声音)，3D内容和360虚拟现实内容都可以显示在虚拟小册子中，例如显示在虚拟小册子中或显示在虚拟空间中对应虚拟小册子的位置。通过手势或其他控制设备对小册子或对系统中的其他物体的互动操作，来显示该内容，或进行该交互。
图6示意性示出本公开示例性实施例中手部挡住小册子上标识的示意图。可以通过相机所获取到的相片，来读取小册子上预设标识的唯一编码(ID)，和计算出小册子相对于相机的位置及其朝向。
通过这个模块中的计算机视觉跟踪算法，系统能追踪到出现在相机中的目标物件，例如：小册子，或者其他类似的物体。跟踪算法提取这个物体的关键特征，如颜色，边缘，纹理等。这是一个已经被深入研究的题目。为了提供一个高质量的混合现实系统，这个模块的跟踪算法需要能达到高精确度(如毫米级)，在不同类型的物体(形状，颜色，表面)和不同的外围环境(如灯光，背景)都有高鲁棒性表现，和高实时地(如达到60帧/秒)计算出结果。
为了避免上述的种种问题，我们把一个已知的图案附上或打印在预设交互物体上。根据这个已知的图案，其物理大小，和相机的参数(如焦距，和镜头类型)，我们可以通过几何图形学，计算出这个图案相对于相机的位置及其朝向，再通过图案相对于预设交互物体的位置及其朝向，来计算出物体相对于相机的位置及其朝向。
其中一种图案的例子为，April Tag。利用现代高速的中央处理器和通用图形处理器的高计算性能，图案解码和其位置计算都可以实时进行(如，少于1/60秒)。为了避免用户晕眩和提供高刷新率(如60Hz)，这种实时计算，在VR和AR(Augmented Reality，增强现实)系统中都是必须的。
此外，还存在其他可以提高跟踪质量的手段，例如可以为预测法，用于预测下一步跟踪的结果，用来提高系统的反应速度。或者也可以为平滑和缓冲法：用于通过前一段物体的移动数据，通过过滤或平滑噪声的算法，来降低由于跟踪错误，物体的快速移动或其他拍摄图片不良质量情况下的所产生的误差。
可以通过相机获取到的相片，用来识别手的姿态及其位置。
手，是用户和外界交互最自然的方法。这个系统包含一个手部位置跟踪和手势识别模块。
RGB相机可以用来捕获2D的场景，因为其价格合适，是市面上最为广泛使用的相机类型。手部位置和所述的跟踪和识别，一般都需要通过背景分割和对其定位。不过，单单通过对2D相片中的信息很难保证能获取到高可靠的手部位置和手势，因为1)手是非刚性(non-rigid)物体，2)不同人种的肤色和不同人群的皮肤纹理，3)不同环境里的灯光情况，4)不同环境下背景物体的干扰。
不过，通过利用这个系统中的其他信息，可以用来提高这方面的结果。当用户和系统中的小册子进行交互时，因为用户的手是在小册子上方操作，小册子中的一个或一系列的预设标识会被移动中的手所阻挡，而使得预设标识的影像并非完整的影像。当系统中检测出多个手部候选区域时，可以通过被阻挡的预设标识的影像和不同的候选手部位置是否有重叠来进行过滤。这比单单只有手部位置而没有小册子的预设标识阻挡信息更能提供高可靠的跟踪结果。
同时，在一实施例中，这个系统包括了一个能识别皮肤颜色的模型。不过，因为各人种的不同肤色特性，和不同的灯光环境，用户可以选择建立自己的皮肤颜色模型。以下描述这流程：
指导用户带上头盔(HMD)和把小册子放在头盔相机的前方(如在前方的桌面上，或用手握住)。同时，系统通过编码跟踪模块来计算出小册子的位置。
头盔里显示出在虚拟小册子上方，会显示出一块区域，指导用户把手覆盖在其上方，并停留一段短的时间(如5秒)。
系统可以通过如覆盖前后的颜色变动，或区域上的预设标识是否已经被盖上等，来判断手部是否已经在这块区域上停留。
在系统检查到手部覆盖在这块区域后，通过颜色分割来获取到手部的颜色范围。利用这个资料，可以建立出一个根据颜色的准确手部分割模型。因为这模型是根据对用户的肤色特性和所在环境而建立的。所以，能提高其后的手部分割的精确度。
图7～图11示意性示出本公开示例性实施例中手部校准过程的示意图。参考图7～图11：
在图7中，引导用户将手放置在小册子上。
在图8中，当用户在小册子上方移动手时，指示标记的颜色由红色变为绿色。
在图9中，要求用户将手在小册子上停留一会儿，计算过程在屏幕上显示。
在图10中，手部定位过程将要完成，屏幕上显示的手为白色。
在图11中，手部定位完成，基于颜色的手部分割模型得到校准。
另外，如果HMD带有深度相机(RGB-Dcamera)，手部分割和其三维位置结果可以通过RGB-D中，从带有深度信息的图像直接获取。
在获取手部分割的结果后，系统对手势作出识别。手势识别可以通过技术如等高线提取法或图形分类器等实现。系统识别手势后，会触发相对命令，如翻页或点开命令。
为了区分开系统支持的手势和用户的一般手部活动，可以定义一激活序列，规定用户需根据设计的激活序列来激活手势命令。在虚拟头盔的屏幕上，用户会获得激活过程中的反馈。
图12～图15示意性示出本公开示例性实施例中以手势命令启动或开启物件的过程示意图。
可以在虚拟小册子中的页面中心使用户看到一个例如为拇指图标或是其他形状图标的起指示作用的操作图标。当虚拟小册子对应实体小册子的时候，为了激活动作，用户可以移动手指到小册子中心，此时可以通过显示一个绿色点来表示用户手指的位置。
作为激活手势命令的顺序，首先可以要求用户将手指在图标位置停留一段预设时间。在屏幕上，可以在图标位置显示一个例如逐渐变完整的圆形或者环形，用以提示用户还有多久可以移开手指以启动或开启物件。如果在此过程中用户将手指移动至上述图标位置的区域外，手势命令将不会被激活。
如果用户遵守了激活程序，动作将被激活。此时，虚拟环境中可以显示手指位置所对应的物件，例如图片、照片、影片、声音、3D立体物件等。
图16～图21示意性示出本公开示例性实施例中模拟用户翻页的过程示意图。
参考图16和图17，当用户处于静止状态时，手指在小册子的区域外。图17示出了在图16的状态下显示在用户眼前的图像。
参考图18和图19，当用户想要翻到另一页时，可以将手指或手部移动到小册子的右边沿。在屏幕上，对应地显示页面边缘轻微翻动。
参考图20和图21，示出了用户通过在一预设时间段将手指或手部移动到右边来执行完整的激活动作。
由上述的图18至图21所例示，藉由监测小册子上预设标识的影像，例如检测预设标识的影像是否完整，可判断使用者的手指或手部在一开始的状态下是遮住小册子右边沿的预设标识(图18)，而在最终状态下使用者的手指或手部是遮住小册子中间的预设标识(图21)。而藉由被遮住的预设标识的位置顺序，可判断使用者的手指或手部是由右往左移动，因此在虚拟世界中所显示的虚拟小册子可以执行由右至左的翻页动作。
上文所述的小册子除了可以代表虚拟世界中的小册子外，也可以代表其他元素或物件，同时，通过改变小册子的姿态和对其所述的操作，可以进一步扩大它的功能。不但，可以用作小册子中一些附加媒体(如杂志中的小游戏，教科书中的互动实验)，也可以成为不依赖于小册子作为载体的一个独立单元。以下列举一些例子：
教科书中互动实验的操作面板(小册子可以显示为一个操作平面，内有按钮和其他交互的工具)；
杂志上的广告小游戏：如一个车的广告，可以把小册子模拟成驾驶盘(通过左右移动小册子来模拟驾驶盘的左右摆动，前后移动作为车加速或减速。
图22～图27示意性示出了本示例实施方式中用户选择图书的过程示意图。
首先，用户可以通过手中持有的预设交互物体(图书)作为选择工具进入图书选择界面。其中，使用者可藉由预设的特定的手势操作，或是使用HMD或预设交互物体上的按键或触控面板进入图书选择界面。
用户可以将手中的图书移动至目标图书的显示位置。这一步骤可以通过计算用户与图书的3D相对位置来实现。
用户可以将手中图书的姿态转换到HMD中虚拟目标图书的姿态，并通过保持这个动作一段时间来确认这项选择意图。标记界面使用目标图书封面替换原始图书封面。
对应于以上方法实施例，本公开示例实施方式还提供一种虚拟现实交互装置，可以用于执行以上方法实施例。
图28是本公开示例实施方式的虚拟现实交互装置的方框图。参考图10，虚拟现实交互装置300可以包括图像采集模块302、标识识别模块304、手势识别模块306以及图像输出模块308。
图像采集模块302可以用于持续获取用户面前的图像信息，例如相机。
标识识别模块304可以用于通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识。
手势识别模块306可以用于通过所述图像信息识别用户的手部动作。
图像输出模块308可以用于根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
在示例性实施例中，所述识别预设交互物体可以包括识别所述预设交互物体的位置和/或表面状态。
在示例性实施例中，所述识别用户的手部动作可以包括识别手部姿态和/或手部位置。
在示例性实施例中，所述预设标识可以包括虚拟内容信息，所述标识识别模块还用于识别所述虚拟内容信息。
在示例性实施例中，还可以包括：数据库模块，用于记录所述预设标识与所述虚拟内容信息的对应关系。用来关联小册子上的预设标识的ID所对应显示在HMD上的虚拟内容。
由于虚拟现实装置300的各模块功能在对应的方法实施例中已详细描述，本公开于此不再赘述。
基于以上实施例，本公开还提供一种虚拟现实交互系统，可以包括：虚拟现实显示装置，用于对用户显示虚拟现实图像；预设交互物体，用于辅助识别用户的交互动作；以及，如上述实施例中所述的虚拟现实交互装置。
本公开的虚拟现实交互方法、装置与系统通过辨识预设交互物体上的预设标识判断预设交互物体的位置以及判断用户手部动作，准确地定位预设交互物体以及用户手部与预设交互物体的相对位置关系，从而准确地在虚拟现实环境中模拟用户对真实物体的交互动作，改善了虚拟现实的用户体验。
图29示意性示出本公开示例性实施例中另一种虚拟现实交互方法的流程图。如图29所示，该虚拟现实交互方法400可以包括以下步骤。
在步骤S402中，获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识。
在示例性实施例中，所述预设交互物体可以为一柔性材料制成的书册(又可以称为“小册子”，booklet)，其可以包括至少一页面，所述至少一页面的表面具有多个所述预设标识(例如定位标签tag)。
下面的实施例中以小册子作为操作VR书籍的实物载体，是主要的交互工具。本公开下述实施例描述了在小册子上的一组交互。
在步骤S404中，根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数。
在示例性实施例中，所述至少一种参数包括所述预设交互物体的弯曲持续时间、弯曲方向、弯曲形状等中的一种或者多种。
在示例性实施例中，根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数可以包括：选取所述至少一页面上的多个所述预设标识中的第一标识和第二标识；根据所述第一标识和所述第二标识的位置坐标分别获取所述第一标识的第一法向量和所述第二标识的第二法向量；根据所述第一法向量和所述第二法向量确定所述第一标识和所述第二标识之间的夹角。
在步骤S406中，根据所述至少一种参数执行预设交互操作。
在示例性实施例中，所述预设交互操作包括向后翻页、向前翻页、连续向后翻页、连续向前翻页操作等中的一种或者多种。
需要说明的是，虽然本发明实施例中以所述预设交互操作为翻页控制为例进行说明，但本公开并不限定于此，可以根据识别的所述至少一种参数预先定义任意一种或者多种预设交互操作，例如执行打开网页、跳转到下一个视频等等。
在示例性实施例中，根据所述至少一种参数执行预设交互操作包括：判断所述夹角随着时间变化的曲线是否落入预定义区域内；当所述夹角随着时间变化的曲线落入所述预定义区域内时，执行一向后翻页操作。
在示例性实施例中，所述预定义区域由预定义的第一曲线和第二曲线以及所述第一曲线和所述第二曲线分别与时间轴的交点确定。
在示例性实施例中，根据所述至少一种参数执行预设交互操作包括：当所述夹角大于第一阈值且持续时间超过预设时间时，执行一连续向后翻页操作。
在示例性实施例中，当所述夹角大于第一阈值且持续时间超过预设时间时，执行一连续向后翻页操作包括：当所述夹角大于等于所述第一阈值且小于第二阈值时，按照第一翻页动画速度执行所述连续向后翻页操作；和/或当所述夹角大于等于所述第二阈值且小于第三阈值时，按照第二翻页动画速度执行所述连续向后翻页操作；和/或当所述夹角大于等于所述第三阈值且小于第四阈值时，按照第三翻页动画速度执行所述连续向后翻页操作；和/或当所述夹角小于所述第一阈值时，停止所述连续向后翻页操作。
下面通过图30-42对上述发明实施例进行举例说明。下面的实施例中均以通过弯曲小册子的页面进行翻页控制为例进行示例性说明。
本发明实施例中，以该小册子包括左右两个页面为例进行说明，且该左右两个页面相对的内侧表面均打印有多个定位标签。小册子本身由柔性材料制成，因此它是可以形变的。在通常情况下，小册子两侧页面没有形变，如图30。
在图30所示的小册子一般状态下，用户可以通过手弯曲页面。例如，当用户将该小册子右页面向内弯曲时，如图31所示；当用户将该小册子左页面向内弯曲时，如图32所示。
由于该小册子两侧页面材料弹性较好，在离开手的作用时可以恢复原状至如图30所示。
小册子的页面发生弯曲时，其弯曲程度和弯曲角度都可以通过用摄像头或相机或其他硬件设备检测到。这种弯曲持续的时间、弯曲方向以及形状等都可以分别或组合定义一种交互操作。
当小册子发生弯曲形变时，一部分定位标签(tag)被遮挡，这些定位标签的位置和法向量不能由空间几何关系直接计算得到。由于小册子上定位标签的位置是预先确定的，并且小册子的弯曲形变具有较大的限制，即变形自由度很低，因此可以通过页面上的可见定位标签的空间位置和法向量推断其他不可见定位标签的位置和法向量。
图33示意性示出本公开示例性实施例中另一种小册子右页面被向内弯曲的示意图。
例如，当小册子发生如图33所示的弯曲形变的时候，右页面内侧三个定位标签不能被摄像头捕捉。但是可以通过左页面可见定位标签的位置和右页面可见定位标签的位置和法向量推测右页面上的这些不可见标签的空间位置和法向量。
图34示意性示出本公开示例性实施例中小册子上的定位标签的法向量的示意图。
本发明实施例中，假设利用VR的前置摄像头可以获取用户手持booklet的实时图像(如图34所示)。利用空间几何关系，可以计算出图中每个定位标签(tag)相对于摄像头的空间位置和法向量方向摄像头的空间位置由VR系统提供。那么，可以计算出第i个定位标签在世界坐标中的位置Pi和法向量Ni。
这里假设定位标签上，可见面朝外的方向定义为该定位标签的法向量方向。如图34所示。
其中假设：
1.VR系统提供的HMD在世界坐标的位置为在世界坐标中的旋转姿态为
2.摄像头相对于HMD的位置和姿态分别为和
3.第i个定位标签相对于摄像头的位置和姿态分别为和(定位标签相对于摄像头空间的位置和姿态的计算在行业中有现有的算法，在此不再赘述)。
那么，第i个定位标签在世界坐标系中的位置和姿态分别为：
在得到第i个定位标签的姿态后，可以得到第i个定位标签的法向量Ni：
Ni＝RiN0
其中N0为定位标签的位置和姿态分别为和时的法向量。
图35示意性示出本公开示例性实施例中第一标识的第一法向量和第二标识的第二法向量的示意图。
如图35所示，选取位置如图35所示的两个定位标签，其法向量分别为和
图35的实施例中选择了小册子右页面上最左一列三个定位标签中的中间那个不可见定位标签作为所述第一标识，同时选择了小册子右页面上最右一列三个定位标签中的中间那个可见定位标签作为所述第二标识，这样选择的好处是，同一页面上，当该页面发生弯曲形变时，最左列和最右列的两个定位标签的法向量之间的夹角变化最明显，有利于识别该夹角的变化程度。
但是，本公开并不限定于此，在其他实施例中，可以选择发生弯曲形变的同一页面上的任意两个定位标签作为所述第一标识和所述第二标识。
图36示意性示出本公开示例性实施例中一种右页面随时间发生弯曲变形的示意图。
在图36所示的实施例中，以上述图35所选择的第一法向量和第二法向量之间的夹角来定义右页面随时间发生弯曲形变的程度和方向。
图37示意性示出基于图36的第一法向量和第二法向量之间的夹角随时间变化的示意图。
假设上述第一法向量和第二法向量之间的夹角记为θ。θ随时间变化的函数记为θ＝θ(t)。例如，当页面随时间发生如图36所示的变化时，θ＝θ(t)的形态如图37所示。
在一些实施例中，可以预先定义如图36的将右页面向内弯曲为一个向后翻页(goto next page)操作。但本公开并不限定于此。
图38示意性示出本公开实施例中图37所示的夹角曲线落入预定义区域内的一种示意图。
图38的实施例中，当图37所示的θ＝θ(t)的曲线如果落在f1(t)，f2(t)和线段t1t2所包围的预定义区域中时，可以定义一个向后翻页操作。
其中θε的可取值范围为[0，180]度。本发明实施例中假设θε＝10。θε表示当页面弯曲角度θ到θε时开始检查后续操作是否满足一个翻页动作。当θ＜θε时，不作判断。这是为了避免一些细微的动作导致页面发生轻微的角度变化引起误操作。
其中t1定义了作为翻页操作的页面弯曲持续的最短时间，可取值范围是[0，60]秒，本发明实施例中取t1＝0.1s。
其中t2定义了作为翻页操作的页面弯曲持续的最长时间，可取值范围是[t1，60]秒，本发明实施例中取t2＝1s。
本发明实施例中，f1(t)可以如下公式所示：
其中p1可取值范围为[θε，180]度。本发明实施例中，p1＝15度。
本发明实施例中，f2(t)可以如下公式所示：
其中p2可取值范围为[p1，180]度。本发明实施例中，p2＝45度。
图39示意性示出本公开实施例中夹角曲线落入预定义区域内的另一种示意图。
如图39所示，其中θ还是为第一法向量和第二法向量之间的夹角。区域R(OE1E2O)为预先定义的区域。当翻页过程页面弯曲夹角曲线在区域R中并与直线相交时，则触发一次向后翻页操作。例如曲线
在一些实施例中，还可以预先定义将小册子左页面向内弯曲满足一定条件时，触发一次向前翻页操作(go to previous page)，其实现过程可以参考上述与向后翻页操作，在此不再赘述。
图40示意性示出本公开实施例中一种执行连续向后翻页操作的示意图。
如图40所示，可以预先定义将小册子的右页面向内弯曲满足一定条件时，触发一次连续向后翻页操作(也可以称为快速向后翻页，quick flip forward)。此外，还可以预先定义右页面向内弯曲的角度满足一定条件时，增加/保持/减少翻页速度或者停止翻页。
本发明实施例中，设定当θ＞θ1且持续超过tb秒时，开始持续进行翻页动画，tb的取值范围可以为[0.01，100]秒。本发明实施例中取tb＝1s。
当θ1＜θ＜θ2时，设定翻页动画速度S1page/s。其中θ1的取值范围可以是[θ0，180]度；θ0的取值范围可以是[0，180]度；θ2的取值范围可以是[θ1，180]度。
当θ2＜θ＜θ3时，设定翻页动画速度S2page/s。其中θ3的取值范围可以是[θ2，180]度。
本发明实施例中，θ0＝10度，θ1＝30度，θ2＝60度，θ3＝90度。但本公开并不限定于此。
当θ＞θ3时，设定翻页动画速度S3page/s。
当θ≤θ1时，设定为停止连续向后翻页操作。
其中S1的取值范围可以是[1，100]。S2的取值范围可以是[S1，100]。S3的取值范围可以是[S2，100]。
本发明实施例中，S1＝1，S2＝3，S3＝5。
需要说明的是，上述角度、翻页速度、翻页时间的取值和取值范围均可以根据具体应用场合的需要进行灵活调整和选择，并不限于所例举的数值。此外，连续向后翻页操作的触发、停止以及翻页速度的增加、保持、减少均是可以根据具体需要进行设置的。
图41示意性示出本公开实施例中一种执行连续向后翻页操作时夹角曲线的示意图。
基于图40所示的，假设选取的两个定位标签的法向量之间的夹角θ＝θ(t)形态如图41所示。
当在t1时刻θ＞θ1，并且持续tb＝1s后，在时刻ts＝t1+tb时启动快速翻页动画；
在ts到t2时，θ1＜θ＜θ2，翻页动画速度为1page/s；
在t2到t3时，θ2＜θ＜θ3，翻页动画速度3page/s；
在t3到t4时，θ＞θ3，翻页动画速度5page/s；
在t4到t5时，θ2＜θ＜θ3，翻页动画速度3page/s；
在t5到t6时，θ1＜θ＜θ2，翻页动画速度1page/s；
在t6到t7时，θ2＜θ＜θ3，翻页动画速度3page/s；
在t7到t8时，θ＞θ3，翻页动画速度5page/s；
在t8到t9时，θ2＜θ＜θ3，翻页动画速度3page/s；
在t9到t10时，θ1＜θ＜θ2，翻页动画速度1page/s；
在t>t10时，θ＜θ1，翻页动画停止。
图42示意性示出本公开实施例中另一种执行连续向后翻页操作时夹角曲线的示意图。
如图42所示，当θ0＜θ＜θ1时，翻页动画速度可以为1page/s；
当θ1＜θ＜θ2时，翻页动画速度可以为3page/s；
当θ2＜θ＜θ3时，翻页动画速度可以为5page/s；
当θ≤θ0时，停止翻页动画。
在另一些实施例中，还可以定义将小册子的左页面进行弯曲并满足预设条件时，触发一连续向前翻页操作(快速向前翻页，quick flip backward)，具体的实现可以参考上述的连续向后翻页操作，在此不再赘述。
图43示意性示出本公开示例性实施例中另一种虚拟现实交互装置的方框图。
如图43所示，该虚拟现实交互装置500可以包括图像采集模块502、参数获取模块504以及交互执行模块506。
图像采集模块502可以用于获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识。
参数获取模块504可以用于根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数。
交互执行模块506可以用于根据所述至少一种参数执行预设交互操作。
由于虚拟显示交互装置500的各模块功能在对应的方法实施例中已详细描述，本公开实施例于此不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
图44示意性示出本公开示例性实施例中一种电子设备的结构示意图。
下面参考图44，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。图44示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图44所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：持续获取用户面前的图像信息；通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识；通过所述图像信息识别用户的手部动作；根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
作为另一方面，本申请还提供了另一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识；根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数；根据所述至少一种参数执行预设交互操作。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (24)

1.一种虚拟现实交互方法，其特征在于，包括：
持续获取用户面前的图像信息；
通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识；
通过所述图像信息识别用户的手部动作；
根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
2.根据权利要求1所述的虚拟现实交互方法，其特征在于，所述识别预设交互物体包括识别所述预设交互物体的位置和/或表面状态。
3.根据权利要求1所述的虚拟现实交互方法，其特征在于，所述识别用户的手部动作包括识别手部姿态和/或手部位置。
4.根据权利要求1所述的虚拟现实交互方法，其特征在于，所述预设标识包括虚拟内容信息，识别所述图像信息中的预设标识还包括识别所述虚拟内容信息。
5.一种虚拟现实交互装置，其特征在于，包括：
图像采集模块，用于持续获取用户面前的图像信息；
标识识别模块，用于通过识别所述图像信息中的预设标识来识别预设交互物体，所述预设交互物体的表面具有一个或多个所述预设标识；
手势识别模块，用于通过所述图像信息识别用户的手部动作；
图像输出模块，用于根据所述手部动作与所述预设交互物体的位置，在虚拟现实环境中模拟用户对所述预设交互物体的交互动作。
6.根据权利要求5所述的虚拟现实交互装置，其特征在于，所述识别预设交互物体包括识别所述预设交互物体的位置和/或表面状态。
7.根据权利要求5所述的虚拟现实交互装置，其特征在于，所述识别用户的手部动作包括识别手部姿态和/或手部位置。
8.根据权利要求5所述的虚拟现实交互装置，其特征在于，所述预设标识包括虚拟内容信息，所述标识识别模块还用于识别所述虚拟内容信息。
9.根据权利要求8所述的虚拟现实交互装置，其特征在于，还包括：
数据库模块，用于记录所述预设标识与所述虚拟内容信息的对应关系。
10.一种虚拟现实交互系统，其特征在于，包括：
虚拟现实显示装置，用于对用户显示虚拟现实图像；
预设交互物体，用于辅助识别用户的交互动作；以及，
如权利要求5～9任一项所述的虚拟现实交互装置。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一项所述的虚拟现实交互方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一项所述的虚拟现实交互方法。
13.一种虚拟现实交互方法，其特征在于，包括：
获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识；
根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数；
根据所述至少一种参数执行预设交互操作。
14.根据权利要求13所述的虚拟现实交互方法，其特征在于，所述至少一种参数包括所述预设交互物体的弯曲持续时间、弯曲方向、弯曲形状中的一种或者多种。
15.根据权利要求13所述的虚拟现实交互方法，其特征在于，所述预设交互操作包括向后翻页、向前翻页、连续向后翻页、连续向前翻页操作中的一种或者多种。
16.根据权利要求13所述的虚拟现实交互方法，其特征在于，所述预设交互物体为一柔性材料制成的书册，其包括至少一页面，所述至少一页面的表面具有多个所述预设标识。
17.根据权利要求16所述的虚拟现实交互方法，其特征在于，根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数包括：
选取所述至少一页面上的多个所述预设标识中的第一标识和第二标识；
根据所述第一标识和所述第二标识的位置坐标分别获取所述第一标识的第一法向量和所述第二标识的第二法向量；
根据所述第一法向量和所述第二法向量确定所述第一标识和所述第二标识之间的夹角。
18.根据权利要求17所述的虚拟现实交互方法，其特征在于，根据所述至少一种参数执行预设交互操作包括：
判断所述夹角随着时间变化的曲线是否落入预定义区域内；
当所述夹角随着时间变化的曲线落入所述预定义区域内时，执行一向后翻页操作。
19.根据权利要求18所述的虚拟现实交互方法，其特征在于，所述预定义区域由预定义的第一曲线和第二曲线以及所述第一曲线和所述第二曲线分别与时间轴的交点确定。
20.根据权利要求17所述的虚拟现实交互方法，其特征在于，根据所述至少一种参数执行预设交互操作包括：当所述夹角大于第一阈值且持续时间超过预设时间时，执行一连续向后翻页操作。
21.根据权利要求17所述的虚拟现实交互方法，其特征在于，当所述夹角大于第一阈值且持续时间超过预设时间时，执行一连续向后翻页操作包括：
当所述夹角大于等于所述第一阈值且小于第二阈值时，按照第一翻页动画速度执行所述连续向后翻页操作；和/或
当所述夹角大于等于所述第二阈值且小于第三阈值时，按照第二翻页动画速度执行所述连续向后翻页操作；和/或
当所述夹角大于等于所述第三阈值且小于第四阈值时，按照第三翻页动画速度执行所述连续向后翻页操作；和/或
当所述夹角小于所述第一阈值时，停止所述连续向后翻页操作。
22.一种虚拟现实交互装置，其特征在于，包括：
图像采集模块，用于获取预设交互物体的图像信息，所述预设交互物体的表面具有预设标识；
参数获取模块，用于根据所述预设标识识别所述图像信息，获取所述预设交互物体的至少一种参数；
交互执行模块，用于根据所述至少一种参数执行预设交互操作。
23.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求13-21中任一项所述的虚拟现实交互方法。
24.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求13-21中任一项所述的虚拟现实交互方法。
CN201710339131.6A 2016-10-26 2017-05-15 虚拟现实交互方法、装置与系统 Active CN107992188B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW106136916A TWI654539B (zh) 2016-10-26 2017-10-26 虛擬實境交互方法、裝置與系統
US15/794,016 US10698475B2 (en) 2016-10-26 2017-10-26 Virtual reality interaction method, apparatus and system
EP17198547.6A EP3316080B1 (en) 2016-10-26 2017-10-26 Virtual reality interaction method, apparatus and system
US16/405,975 US10853651B2 (en) 2016-10-26 2019-05-07 Virtual reality interaction method, apparatus and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610946978 2016-10-26
CN2016109469786 2016-10-26

Publications (2)

Publication Number Publication Date
CN107992188A true CN107992188A (zh) 2018-05-04
CN107992188B CN107992188B (zh) 2021-12-07

Family

ID=62029647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710339131.6A Active CN107992188B (zh) 2016-10-26 2017-05-15 虚拟现实交互方法、装置与系统

Country Status (2)

Country Link
CN (1) CN107992188B (zh)
TW (1) TWI654539B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109603089A (zh) * 2018-11-20 2019-04-12 北京农业信息技术研究中心 虚拟骑行系统的骑行数据的获取方法及装置
CN112416133A (zh) * 2020-11-30 2021-02-26 魔珐(上海)信息科技有限公司 手部动作捕捉方法、装置、电子设备及存储介质
CN112515661A (zh) * 2020-11-30 2021-03-19 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
WO2022022028A1 (zh) * 2020-07-31 2022-02-03 北京市商汤科技开发有限公司 虚拟对象控制方法及装置、设备、计算机可读存储介质
WO2022036475A1 (zh) * 2020-08-17 2022-02-24 南京翱翔智能制造科技有限公司 一种多源数据融合的增强现实室内定位系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3677997B1 (en) * 2019-01-03 2021-10-13 HTC Corporation Electronic system and controller
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
TWI696981B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用紅外線攝影機的互動影像處理系統
TWI696149B (zh) * 2019-04-26 2020-06-11 未來市股份有限公司 使用深度引擎的互動影像處理方法、裝置及媒體
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
TWI727421B (zh) * 2019-09-16 2021-05-11 藏識科技有限公司 混合實境系統
TWI740361B (zh) * 2020-01-22 2021-09-21 國眾電腦股份有限公司 智慧操作輔助系統及智慧操作輔助方法
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060167696A1 (en) * 2005-01-27 2006-07-27 Chaar Jarir K Systems and methods for predicting consequences of misinterpretation of user commands in automated systems
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CN103700128A (zh) * 2013-12-30 2014-04-02 无锡触角科技有限公司 移动设备及其增强显示方法
US20140344762A1 (en) * 2013-05-14 2014-11-20 Qualcomm Incorporated Augmented reality (ar) capture & play
CN104436634A (zh) * 2014-11-19 2015-03-25 重庆邮电大学 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
CN104463296A (zh) * 2014-11-10 2015-03-25 吴涛军 一种二维码结构化信息的生成、获取及处理方法和系统
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法
CN105723306A (zh) * 2014-01-30 2016-06-29 施政 改变标记在物体上的用户界面元素的状态的系统和方法
WO2016130860A2 (en) * 2015-02-13 2016-08-18 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060167696A1 (en) * 2005-01-27 2006-07-27 Chaar Jarir K Systems and methods for predicting consequences of misinterpretation of user commands in automated systems
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CN102831401A (zh) * 2012-08-03 2012-12-19 樊晓东 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统
US20140344762A1 (en) * 2013-05-14 2014-11-20 Qualcomm Incorporated Augmented reality (ar) capture & play
CN103700128A (zh) * 2013-12-30 2014-04-02 无锡触角科技有限公司 移动设备及其增强显示方法
CN105723306A (zh) * 2014-01-30 2016-06-29 施政 改变标记在物体上的用户界面元素的状态的系统和方法
CN104463296A (zh) * 2014-11-10 2015-03-25 吴涛军 一种二维码结构化信息的生成、获取及处理方法和系统
CN104436634A (zh) * 2014-11-19 2015-03-25 重庆邮电大学 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法
WO2016130860A2 (en) * 2015-02-13 2016-08-18 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN104699247A (zh) * 2015-03-18 2015-06-10 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MANUEL PRÄTORIUS.ETC: "Sensing Thumb-to-Finger Taps for Symbolic Input in VR/AR Environments", 《VIRTUAL REALITY SOFTWARE AND TECHNOLOGY》 *
谢敏: "场景变化及标识顶点被遮挡情形的增强现实研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109603089A (zh) * 2018-11-20 2019-04-12 北京农业信息技术研究中心 虚拟骑行系统的骑行数据的获取方法及装置
WO2022022028A1 (zh) * 2020-07-31 2022-02-03 北京市商汤科技开发有限公司 虚拟对象控制方法及装置、设备、计算机可读存储介质
WO2022036475A1 (zh) * 2020-08-17 2022-02-24 南京翱翔智能制造科技有限公司 一种多源数据融合的增强现实室内定位系统
CN112416133A (zh) * 2020-11-30 2021-02-26 魔珐(上海)信息科技有限公司 手部动作捕捉方法、装置、电子设备及存储介质
CN112515661A (zh) * 2020-11-30 2021-03-19 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
CN112515661B (zh) * 2020-11-30 2021-09-14 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
WO2022111525A1 (zh) * 2020-11-30 2022-06-02 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TW201816548A (zh) 2018-05-01
CN107992188B (zh) 2021-12-07
TWI654539B (zh) 2019-03-21

Similar Documents

Publication Publication Date Title
CN107992188A (zh) 虚拟现实交互方法、装置与系统
EP3316080B1 (en) Virtual reality interaction method, apparatus and system
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
TW202119199A (zh) 虛擬鍵盤
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
US10853651B2 (en) Virtual reality interaction method, apparatus and system
JP4663077B2 (ja) オブジェクト検証方法及び拡張現実感ディスプレイシステム
US20090278915A1 (en) Gesture-Based Control System For Vehicle Interfaces
WO2022005717A1 (en) Generating ground truth datasets for virtual reality experiences
CN105929958A (zh) 一种手势识别方法，装置和头戴式可视设备
CN109598198A (zh) 用于识别手势移动方向的方法、装置、介质、程序及设备
CN109448050A (zh) 一种目标点的位置的确定方法及终端
CN108628455A (zh) 一种基于触摸屏手势识别的虚拟沙画绘制方法
CN107450717A (zh) 一种信息处理方法及穿戴式设备
US20230274460A1 (en) Ar data simulation with gaitprint imitation
US12014645B2 (en) Virtual tutorials for musical instruments with finger tracking in augmented reality
Ali et al. Augmented reality based online application for e-shopping
CN117897682A (zh) 在物理表面上显示数字媒体内容
Bai Mobile augmented reality: Free-hand gesture-based interaction
US20230298283A1 (en) Gesture based tactile interaction in extended reality using form factor of a physical object
Piechaczek et al. Popular strategies and methods for using augmented reality
Pelser Mapping Real-World Objects into Virtual Reality to Facilitate Interaction using 6DoF Pose Estimation
CN104914981A (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant