CN117289792A - Ar交互方法、装置和电子设备 - Google Patents

Ar交互方法、装置和电子设备 Download PDF

Info

Publication number
CN117289792A
CN117289792A CN202311112473.6A CN202311112473A CN117289792A CN 117289792 A CN117289792 A CN 117289792A CN 202311112473 A CN202311112473 A CN 202311112473A CN 117289792 A CN117289792 A CN 117289792A
Authority
CN
China
Prior art keywords
target object
data
motion
interaction
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311112473.6A
Other languages
English (en)
Inventor
范泓杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202311112473.6A priority Critical patent/CN117289792A/zh
Publication of CN117289792A publication Critical patent/CN117289792A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种AR交互方法、装置和电子设备，属于AR交互技术领域。其中，该AR交互方法包括：所述方法通过AR交互输入设备实现，所述AR交互输入设备包括：图像采集组件和运动数据采集组件；所述方法包括：接收所述图像采集组件采集的目标对象的图像数据，以及所述运动数据采集组件采集的所述目标对象的运动数据；根据所述运动数据和所述图像数据确定所述目标对象的状态数据；响应于所述状态数据满足预设条件，输出交互指令。

Description

AR交互方法、装置和电子设备
技术领域
本申请涉及交互技术领域，特别是涉及AR交互方法、装置和电子设备。
背景技术
随着机器视觉的兴起，AR体感游戏日益火爆，AR体感游戏的交互输入方式的丰富性和交互效果也极大地影响着用户的体验感。
现有的AR体感游戏的交互输入主要依赖于单一的触发方式，比如使用摄像头识别手势或者操作手环来实现。运动手环主要用于获取佩戴者的速度和位移信息。手势识别主要利用计算机视觉识别算法，通过处理摄像机捕获的手势图像，并对图像加以分析，进而对手势进行识别。
目前的AR体感游戏交互输入的效果受到输入设备本身的限制，识别精准度较低，交互效果不佳，影响用户体验。
发明内容
本申请实施例提供了一种AR交互方法、装置和电子设备，以至少解决相关技术中交互输入的效果受到输入设备本身的限制，识别精准度较低，交互效果不佳的问题。
第一方面，本申请实施例提供了一种AR交互方法，包括：所述方法通过AR交互输入设备实现，所述AR交互输入设备包括：图像采集组件和运动数据采集组件；所述方法包括：
接收所述图像采集组件采集的目标对象的图像数据，以及所述运动数据采集组件采集的所述目标对象的运动数据；
根据所述运动数据和所述图像数据确定所述目标对象的状态数据；
响应于所述状态数据满足预设条件，输出交互指令。
在一个实施例中，所述状态数据包括所述目标对象的第一运动终点位置，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
根据所述运动数据判断所述目标对象运动速度是否大于或者等于第一阈值；
响应于判断所述目标对象运动速度大于或者等于第一阈值，根据所述图像数据识别所述第一运动终点位置。
在一个实施例中，所述响应于所述状态数据满足预设条件，输出交互指令，包括：
响应于所述第一运动终点位置在预设目标区域内，输出所述交互指令。
在一个实施例中，所述状态数据包括所述目标对象的运动方向，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
响应于根据所述运动参数获取沿设定方向的加速度，根据所述图像数据获取所述目标对象的第二运动终点位置，以及预设特征点的位置；
根据所述第二运动终点位置和预设特征点的位置确定所述运动方向。
在一个实施例中，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
根据所述图像数据判断所述目标对象的手势是否与预设手势相同；
响应于判断所述目标对象的手势与预设手势相同，根据所述运动数据确定所述状态数据。
在一个实施例中，所述响应于所述状态数据满足预设条件，输出交互指令，包括：
响应于根据所述状态数据确定所述运动目标对象处于运动状态，输出所述交互指令。
在一个实施例中，在所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据之后，所述方法还包括：
所述状态数据包括目标对象的手势和位置，响应于所述目标对象的手势与预设手势相同，根据所述位置实时输出所述交互显示信息指令；或者
所述状态数据包括目标对象位置，根据所述位置实时输出所述交互显示信息指令；或者
所述预设条件包括目标对象的位置，响应于所述目标对象的运动速度小于或者等于第二阈值，输出所述交互显示信息指令。
在一个实施例中，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
根据所述图像数据判断目标对象是否在所述图像数据采集组件的采集范围内；
响应于所述目标对象不在所述图像数据采集组建的采集范围内，根据所述运动数据确定所述目标的状态数据。
第二方面，本申请实施例提供了一种AR交互装置，所述装置用于AR交互输入设备配合，所述AR交互输入设备包括：图像采集组件和运动数据采集组件；所述装置包括：
接收模块，用于接收所述图像采集组件采集的目标对象的图像数据，以及所述运动数据采集组件采集的所述目标对象的运动数据；
确定模块，用于根据所述运动数据和所述图像数据确定所述目标对象的状态数据；
输出模块，用于响应于所述状态数据满足预设条件，输出交互指令。
第三方面，本申请实施例提供了一种电子设备，包括：存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如第一方面所提供的AR交互方法。
本申请实施例提供的AR交互方法、装置和电子设备至少具有以下技术效果。
本申请实施例提供的AR交互方法，通过持续接收图像采集组件采集的目标对象的图像数据和运动数据采集组件采集的目标对象的运动数据，确定目标对象的状态数据。结合图像采集组件使用方便、交互方式丰富和数据采集组件延迟低、实时性高的优势，得到更为准确的状态数据。根据状态数据的预设条件，输出交互指令。解决了单一图像采集组件和单一运动数据采集组件在AR交互时效果受到组件本身的限制而造成的识别精准度较低，交互效果不佳的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据一示例性实施例示出的AR交互方法的流程图；
图2是根据另一示例性实施例示出的AR交互方法的流程图；
图3是根据一示例性实施例示出的AR交互场景示意图；
图4是根据另一示例性实施例示出的AR交互方法的流程图；
图5是根据另一示例性实施例示出的AR交互场景示意图；
图6是根据另一示例性实施例示出的AR交互方法的流程图；
图7是根据另一示例性实施例示出的AR交互场景示意图；
图8是根据另一示例性实施例示出的AR交互场景示意图；
图9是根据另一示例性实施例示出的AR交互方法的流程图；
图10是根据另一示例性实施例示出的AR交互场景示意图；
图11是根据本申请实施例的AR交互装置的框图；
图12为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
第一方面
本申请实施例提供了一种AR交互方法。该方法通过AR交互输入设备实现，AR交互输入设备包括：图像采集组件和运动数据采集组件。可选地，图像采集组件为手机摄像头、平板摄像头、电脑摄像头、可穿戴设备摄像头中的至少一种，但并不局限于此；运动数据采集组件为运动手环的传感器、手柄传感器，在体感游戏中一般使用六轴传感器，六轴传感器包含三轴陀螺仪和三轴加速度计，三轴陀螺仪用于检测角度旋转和平衡，三轴加速度器用于检测横向加速。
图1是根据一示例性实施例示出的AR交互方法的流程图。如图1所示，所述方法包括：
步骤S101、接收图像采集组件采集的目标对象的图像数据，以及运动数据采集组件采集的目标对象的运动数据。
步骤S102、根据运动数据和图像数据确定目标对象的状态数据。
步骤S103、响应于状态数据满足预设条件，输出交互指令。
其中，运动数据包括加速度和角速度，图像数据为摄像头采集到的图像。
本申请实施例提供的AR交互方法，通过持续接收图像采集组件采集的目标对象的图像数据和运动数据采集组件采集的目标对象的运动数据，确定目标对象的状态数据。结合图像采集组件使用方便、交互方式丰富和数据采集组件延迟低、实时性高的优势，得到更为准确的状态数据。根据状态数据的预设条件，输出交互指令。解决了单一图像采集组件和单一运动数据采集组件在AR交互时效果受到组件本身的限制而造成的识别精准度较低，交互效果不佳的问题。
在一个示例中，状态数据包括目标对象的第一运动终点位置，第一运动终点位置为目标对象停止第一运动时的坐标位置。图2是根据另一示例性实施例示出的AR交互方法的流程图，如图2所示，步骤S102具体包括：
步骤S1021、根据运动数据判断目标对象运动速度是否大于或等于第一阈值。
步骤S1022、响应于判断目标对象处于运动状态，根据图像数据识别第一运动终点位置。
本示例在目标对象满足运动速度大于或等于第一阈值的预设条件的前提下，通过处理器处理摄像头采集到的图像信息，获取标对象停止第一运动终点位置，解决了直接使用图像采集设备识别在运动状态下容易识别错误并且存在一定的延迟的问题，使得交互时的识别结果更准确，识别速度和相应的响应速度更快，提升用户的使用体验感。
继续参照图1，在该示例中，步骤S103具体包括：响应于第一运动终点位于预设目标区域内，输出交互指令。可选地，对比第一运动终点位置的坐标与预设目标区域边缘的坐标，来确定第一运动终点是否位于预设目标区域内。
图3是根据一示例性实施例示出的AR交互场景示意图，参照图3，在该示例中，识别用户手部(也即，目标对象)以第一运动的方式击打到空间虚拟目标，并依据识别结果输出交互指令。
结合图1，在该示例中，步骤S102中处理器利用手环检测上传的加速度信息，确定手部的运动速度，当运动速度大于或者等于第一阈值时，对摄像头采集的图像信息进行图像识别，确定第一运动的终点位置(也即，获取状态数据)。
步骤S103中，响应于识别到的终点位置在预设的虚拟目标的范围内，则识别为击破，进而输出与击破相对应的交互指令(例如，目标区域动画显示指令，设定字样显示指令)。
在该示例中，通过运动数据采集组件准确检测目标对象的运动，通过图像采集组件准确识别目标对象的位置，提高了对于通过设定运动击破虚拟目标的识别准确性，进而有效基于该动作输出交互信息，优化用户体验。
在一个示例中，状态数据包括目标对象的运动方向，图4是根据另一示例性实施例示出的AR交互方法的流程图，如图4所示，步骤S102具体包括：
步骤S1023、根据运动参数获取沿设定方向的加速度，根据图像数据获取目标对象的第二运动终点位置，以及预设特征点的位置。其中运动参数包括目标对象的加速度和角速度，第二终点位置为目标对象停止运动的位置，预设特征点可根据实际情况或实际需要设定。
步骤S1024、根据第二运动终点位置和预设特征点的位置确定运动方向。可选的，以第二运动终点位置和预设特征点的位置的连线延长线方向为发射方向。
本示例，通过运动数据采集组件准确检测目标对象的运动，通过图像采集组件准确识别目标对象的第二运动终点位置，根据预设特征点位置和目标对象终点位置确定运动方向，提高了体感游戏的逼真性以及交互识别的准确性，优化了用户体验。
图5是根据另一示例性实施例示出的AR交互场景示意图，参照图5，在该示例中，识别用户手部(也即，目标对象)，按照设定方向移动，并依据识别结果输出交互指令。
结合图1，在该示例中，步骤S102中处理器利用手环检测上传的加速度信息，确定用户手部处于运动状态；利用摄像头采集上传的图像信息，确定第二运动终点位置(也即，获取状态数据)。
步骤S103中，响应于根据第二运动终点位置和预设特征点的位置确定运动方向。以手部为发射起点，发射方向设定为三种方式：
1.模拟肘部位置与手掌根部位置的连线延长线为发射方向。其中预设特征点的位置为手掌根部位置和肘部位置。
2.模拟肩部位置与手掌根部位置的连线延长线为发射方向。其中预设特征点的位置为手掌根部位置和肩部位置。
3.以手部位置为起点，以手部与头显设备屏幕中心点的连线为发射方向。其中预设特征点的位置为手掌根部位置和屏显设备屏幕中心点位置。
在该示例中，通过运动数据采集组件准确检测目标对象的运动，通过图像采集组件准确识别目标对象的位置，模拟攻击方向，解决了一般攻击动作从头显设备发出，而非从手部发出的问题，提高了体感游戏的逼真性以及交互识别的准确性，优化了用户体验。
在一个示例中，图6是根据另一示例性实施例示出的AR交互方法的流程图，如图6所示，步骤S102具体包括：
步骤S1025、根据图像数据判断目标对象的手势是否与预设手势相同。其中预设手势不做限定，可根据需求设定。
步骤S1026、响应于判断目标对象的手势与预设手势相同，根据运动数据确定状态数据。其中运动数据为目标对象的加速度信息或速度信息。
继续参照图1，在该示例中，步骤S103具体包括：响应于根据状态数据确定运动目标对象处于运动状态，输出交互指令。
本示例结合手势识别和手环识别方法，在满足目标对象手势与预设手势相同的前提下，通过处理器处理接受到的手环数据确定目标对象的运动状态。解决了只有运动信息采集设备作为输入设备时，使用手作为载体却无法准确获得手部的准确位置的问题，提高了交互时的识别准确性；加入手势识别后，比单独使用运动信息采集设备识别的交互方式更为丰富，提升了用户的体验感。
图7是根据另一示例性实施例示出的AR交互场景示意图，参照图7，在该示例中，识别用户手部(也即，目标对象)作出一种特定手势并进行挥动，据识别结果输出交互指令。
结合图1，在该示例中，步骤S102中处理器利用摄像头采集上传的图像信息进行图像识别，并将手势与预设手势对比，若相同，则对手环检测上传的加速度信息进行处理，确定手部的运动状态(也即，获取状态数据)。
步骤S103中，响应于根据状态数据确定运动目标对象处于运动状态，则还别为发出攻击，进而输出与攻击相对应的交互指令(例如，目标区域显示攻击动画，设定字样显示指令)。
在该示例中，通过图像采集组件准确识别目标对象的位置与形状，通过运动数据采集组件准确检测目标对象的运动，提高了对于通过设定发出攻击的识别准确性，也丰富了交互方式，提升用户体验感。
在一个示例中，状态数据包括目标对象的手势和位置。可选地，步骤S102具体包括：响应于目标对象的手势与预设手势相同，根据位置实时输出交互显示信息指令。其中预设手势不做限定，可根据需求设定。
可选地，步骤S102具体包括：根据位置实时输出交互显示信息指令。
可选地，步骤S102具体包括：响应于目标对象的运动速度小于或者等于第二阈值，输出交互显示信息指令。
在以上两种可选方式中，通过处理器接收和处理图像采集组件采集到的图像信息，获取目标对象的位置，通过运动数据采集组件获取目标对象的运动信息。这样的方式，解决了仅使用仅根据运动数据无法获取手部位置，进而无法实现显示信息需要锚定头显界面的问题。具体来说，通过上述可选方式，使得交互信息可以跟踪显示在目标对象附近，而不是固定在屏幕中的设定位置，提高了交互中的识别准确性，增强用户体验感。
图8是根据另一示例性实施例示出的AR交互场景示意图，参考图8，在该示例中，识别用户手部(也即，目标对象)的位置信息和运动信息，并分情况输出交互指令。
结合图1，在该示例中，步骤S102中处理器利用摄像头采集的图像信息进行图像识别。步骤S103中，响应于目标对象的手势与预设手势相同，根据位置实时输出交互显示信息指令(例如某些与攻击相关的信息，比如fps游戏中的弹药余量)。
结合图1，在该示例中，步骤S102中处理器利用摄像头采集的图像信息进行图像识别。步骤S103中，根据手部位置实时显示信息指令(例如某些与攻击相关的信息，比如fps游戏中的弹药余量)。
结合图1，在该示例中，步骤S102中处理器利用手环获取的运动信息。步骤S103中，响应于目标对象的运动速度小于或者等于第二阈值，输出交互显示信息指令(例如某些与攻击相关的信息，比如fps游戏中的弹药余量)。
在该实例中，通过运动数据采集组件准确检测目标对象的运动，通过图像采集组件准确识别目标对象的位置。考虑到VR/AR的空间体验属性，脱离了“界面”的概念，一些关键信息不是在屏幕界面上固定显示，而是放置在空间中，模拟真实的体验，提升了用户的体验感。
在一个示例中，图9是根据另一示例性实施例示出的AR交互方法的流程图，如图9所示，步骤S102具体包括：
步骤S1027，根据图像数据判断目标对象是否在图像数据采集组件的采集范围内。
步骤S1028，响应于目标对象不在图像数据采集组建的采集范围内，根据运动数据确定目标的状态数据。运动数据为目标对象的加速度和角速度，状态数据为目标是否处于运动中。
本示例在目标对象超出图像采集组件的采集范围时，将手环作为辅助组件，通过处理器处理手环上传的运动信息，确定目标对象的运动状态。解决了目标对象超出图像采集组件的采集范围时无法识别的问题，扩大了交互范围，提高了交互时的准确度。
图10是根据另一示例性实施例示出的AR交互场景示意图，参照图10，在该示例中，识别用户需要持续挥动手臂(也即，目标对象)。
结合图1，在该示例中，步骤S102中处理器利用摄像头采集上传的图像信息，确定目标对象是否在图像数据采集组件的采集范围内。利用手环上传的运动数据信息确定目标的状态数据。
步骤S103中，响应于目标对象不在图像数据采集组建的采集范围内，且目标对象处于运动中，则判定游戏继续，进而输出相对应的交互指令(例如，游戏继续动画指令，或者连续攻击指令)。
在该示例中，通过运动数据采集组件准确检测目标对象的运动，通过图像采集组件准确识别目标对象的位置。该示例在目标对象超出手势检测范围时，利用运动数据采集组件中的传感器，判断目标对象是否依然处于运动状态。解决了目标对象超出图像采集组件的采集范围时无法识别的问题，扩大了交互范围，提高了交互时的准确度，提升了用户体验感。
在一个示例中，本申请提供的AR交互方法在步骤S1027之后还包括：判断目标对象不在图像数据采集组件的采集范围内，则根据运动数据模拟目标对象的运动轨迹。进而，基于所述运动轨迹输出交互指令。
具体地，以目标对象为用户手部来说，通过图像数据判断手部不在当前采集范围内时，通过手部的速度、角速度和加速度等运动数据模拟手部在采集范围外的轨迹。例如，根据角速度和加速度模拟出手部在采集范围外旋转，则根据该旋转动作输出打开旋钮等交互指令。
在该示例中，通过运动数据采集组件准确检测目标对象的运动，通过图像采集组件准确识别目标对象最后出现的位置。该示例在目标对象超出手势检测范围时，处理器利用目标对象的状态数据，模拟目标对象运动轨迹。解决了目标对象超出图像采集组件的采集范围时无法识别的问题，扩大了交互范围，提高了交互时的准确度，优化了用户体验。
综上所述，本申请实施例提供的AR交互方法，通过持续接收图像采集组件采集的目标对象的图像数据和运动数据采集组件采集的目标对象的运动数据，确定目标对象的状态数据。结合图像采集组件使用方便、交互方式丰富和数据采集组件延迟低、实时性高的优势，得到更为准确的状态数据。根据状态数据的预设条件，输出交互指令。解决了单一图像采集组件和单一运动数据采集组件在AR交互时效果受到组件本身的限制而造成的识别精准度较低，交互效果不佳的问题。
第二方面
本申请实施例提供了一种AR交互装置，AR交互装置用于AR输入交互设备配合，AR交互输入设备包括：图像采集组件和运动数据采集组件。图11是根据本申请实施例的AR交互装置的框图。如图11所示，AR交互装置包括：接收模块100、确定模块200、输出模块300。
接收模块100，用于接收图像采集组件采集的目标对象的图像数据，以及运动数据采集组件采集的目标对象的运动数据；
确定模块200，用于根据运动数据和图像数据确定目标对象的状态数据。
输出模块300，用于响应于状态数据满足预设条件，输出交互指令。
在一个示例中，所述状态数据包括所述目标对象的第一运动终点位置，确定模块200包括：
判断单元，用于根据所述运动数据判断所述目标对象运动速度是否大于或者等于第一阈值；
识别单元，用于响应于判断所述目标对象运动速度大于或者等于第一阈值，根据所述图像数据识别所述第一运动终点位置。
在一个示例中，输出模块300具体用于：响应于所述第一运动终点位置在预设目标区域内，输出所述交互指令。
在一个示例中，所述状态数据包括所述目标对象的运动方向，确定模块200包括：
获取单元，用于响应于根据所述运动参数获取沿设定方向的加速度，根据所述图像数据获取所述目标对象的第二运动终点位置，以及预设特征点的位置；
确定单元，用于根据所述第二运动终点位置和预设特征点的位置确定所述运动方向。
在一个示例中，确定模块200包括：
判断单元，用于根据所述图像数据判断所述目标对象的手势是否与预设手势相同；
确定单元，用于响应于判断所述目标对象的手势与预设手势相同，根据所述运动数据确定所述状态数据。
在一个示例中，输出模块300具体用于：响应于根据所述状态数据确定所述运动目标对象处于运动状态，输出所述交互指令。
在一个示例中，状态数据包括目标对象的手势和位置。可选地，输出模块300包括具体用于：响应于所述目标对象的手势与预设手势相同，根据所述位置实时输出所述交互显示信息指令。
可选地，输出模块300具体用于：根据位置实时输出交互显示信息指令。
可选地，输出模块300具体用于：响应于目标对象的运动速度小于或者等于第二阈值，输出交互显示信息指令。
在一个示例中，确定模块200具体用于：根据所述图像数据判断目标对象是否在所述图像数据采集组件的采集范围内；
输出模块300具体用于：响应于所述目标对象不在所述图像数据采集组建的采集范围内，根据所述运动数据确定所述目标的状态数据。
综上所述，本申请实施例提供的AR交互装置，通过持续接收图像采集组件采集的目标对象的图像数据和运动数据采集组件采集的目标对象的运动数据，确定目标对象的状态数据。结合图像采集组件使用方便、交互方式丰富和数据采集组件延迟低、实时性高的优势，得到更为准确的状态数据。根据状态数据的预设条件，输出交互指令。解决了单一图像采集组件和单一运动数据采集组件在AR交互时效果受到组件本身的限制而造成的识别精准度较低，交互效果不佳的问题。
第三方面
本申请实施例提供了一种电子设备。图12为本申请实施例提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面提供的AR交互方法，图12显示的电子设备60仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。
总线63包括数据总线、地址总线和控制总线。
存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。
存储器62还可以包括具有一组(至少一个)程序模块624的程序/实用工具625，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如本申请实施例1的消息的自动提示方法。
电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
第四方面
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面提供的AR交互方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1的消息的自动提示方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现第一方面提供的AR交互输入方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种AR交互方法，其特征在于，包括：所述方法通过AR交互输入设备实现，所述AR交互输入设备包括：图像采集组件和运动数据采集组件；所述方法包括：
接收所述图像采集组件采集的目标对象的图像数据，以及所述运动数据采集组件采集的所述目标对象的运动数据；
根据所述运动数据和所述图像数据确定所述目标对象的状态数据；
响应于所述状态数据满足预设条件，输出交互指令。
2.根据权利要求1所述的AR交互方法，其特征在于，所述状态数据包括所述目标对象的第一运动终点位置，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
根据所述运动数据判断所述目标对象运动速度是否大于或者等于第一阈值；
响应于判断所述目标对象运动速度大于或者等于第一阈值，根据所述图像数据识别所述第一运动终点位置。
3.根据权利要求2所述的AR交互方法，其特征在于，所述响应于所述状态数据满足预设条件，输出交互指令，包括：
响应于所述第一运动终点位置在预设目标区域内，输出所述交互指令。
4.根据权利要求1所述的AR交互方法，其特征在于，所述状态数据包括所述目标对象的运动方向，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
响应于根据所述运动参数获取沿设定方向的加速度，根据所述图像数据获取所述目标对象的第二运动终点位置，以及预设特征点的位置；
根据所述第二运动终点位置和预设特征点的位置确定所述运动方向。
5.根据权利要求1所述的AR交互方法，其特征在于，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
根据所述图像数据判断所述目标对象的手势是否与预设手势相同；
响应于判断所述目标对象的手势与预设手势相同，根据所述运动数据确定所述状态数据。
6.根据权利要求5所述的AR交互方法，其特征在于，所述响应于所述状态数据满足预设条件，输出交互指令，包括：
响应于根据所述状态数据确定所述运动目标对象处于运动状态，输出所述交互指令。
7.根据权利要求1所述的AR交互方法，其特征在于，在所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据之后，所述方法还包括：
所述状态数据包括目标对象的手势和位置，响应于所述目标对象的手势与预设手势相同，根据所述位置实时输出所述交互显示信息指令；或者
所述状态数据包括目标对象位置，根据所述位置实时输出所述交互显示信息指令；或者
所述预设条件包括目标对象的位置，响应于所述目标对象的运动速度小于或者等于第二阈值，输出所述交互显示信息指令。
8.根据权利要求1所述的AR交互方法，其特征在于，所述根据所述运动数据和所述图像数据确定所述目标对象的状态数据，包括：
根据所述图像数据判断目标对象是否在所述图像数据采集组件的采集范围内；
响应于所述目标对象不在所述图像数据采集组建的采集范围内，根据所述运动数据确定所述目标的状态数据。
9.一种AR交互装置，其特征在于，所述装置用于AR交互输入设备配合，所述AR交互输入设备包括：图像采集组件和运动数据采集组件；所述装置包括：
接收模块，用于接收所述图像采集组件采集的目标对象的图像数据，以及所述运动数据采集组件采集的所述目标对象的运动数据；
确定模块，用于根据所述运动数据和所述图像数据确定所述目标对象的状态数据；
输出模块，用于响应于所述状态数据满足预设条件，输出交互指令。
10.一种电子设备，包括：
存储器和，
处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1-8中任一项所述的AR交互方法。
CN202311112473.6A 2023-08-30 2023-08-30 Ar交互方法、装置和电子设备 Pending CN117289792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311112473.6A CN117289792A (zh) 2023-08-30 2023-08-30 Ar交互方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311112473.6A CN117289792A (zh) 2023-08-30 2023-08-30 Ar交互方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN117289792A true CN117289792A (zh) 2023-12-26

Family

ID=89243465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311112473.6A Pending CN117289792A (zh) 2023-08-30 2023-08-30 Ar交互方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN117289792A (zh)

Similar Documents

Publication Publication Date Title
KR102182607B1 (ko) 가상 콘트롤러를 위한 손쓰임을 결정하는 방법
CN110457414B (zh) 离线地图处理、虚拟对象显示方法、装置、介质和设备
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
EP4006847A1 (en) Virtual object processing method and apparatus, and storage medium and electronic device
US20140009384A1 (en) Methods and systems for determining location of handheld device within 3d environment
US20170242495A1 (en) Method and device of controlling virtual mouse and head-mounted displaying device
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
US20180321754A1 (en) Remote control of a desktop application via a mobile device
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
CN109992111B (zh) 增强现实扩展方法和电子设备
CN108549487A (zh) 虚拟现实交互方法与装置
CN112791382A (zh) Vr场景的控制方法、装置、设备及存储介质
WO2021244650A1 (zh) 控制方法、装置、终端及存储介质
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
WO2021004413A1 (zh) 一种手持输入设备及其指示图标的消隐控制方法和装置
CN108874141B (zh) 一种体感浏览方法和装置
CN117289792A (zh) Ar交互方法、装置和电子设备
Guliani et al. Gesture controlled mouse navigation: Hand landmark approach
CN116069157A (zh) 虚拟对象显示方法、装置、电子设备及可读介质
CN115047966A (zh) 交互方法、电子设备与交互系统
TW202221474A (zh) 延伸實境中透過手勢的操作方法和頭戴式顯示器系統
Schade et al. On the advantages of hand gesture recognition with data gloves for gaming applications
US20240193812A1 (en) Hand pose construction method, electronic device, and non-transitory computer readable storage medium
US20240176143A1 (en) Head-mounted display, controlling method and non-transitory computer readable storage medium thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination