CN112817447A - 一种ar内容显示方法及系统 - Google Patents

一种ar内容显示方法及系统 Download PDF

Info

Publication number
CN112817447A
CN112817447A CN202110100497.4A CN202110100497A CN112817447A CN 112817447 A CN112817447 A CN 112817447A CN 202110100497 A CN202110100497 A CN 202110100497A CN 112817447 A CN112817447 A CN 112817447A
Authority
CN
China
Prior art keywords
display
area
content
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110100497.4A
Other languages
English (en)
Other versions
CN112817447B (zh
Inventor
王青
王宇翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMAI Guangzhou Co Ltd
Original Assignee
DMAI Guangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMAI Guangzhou Co Ltd filed Critical DMAI Guangzhou Co Ltd
Priority to CN202110100497.4A priority Critical patent/CN112817447B/zh
Publication of CN112817447A publication Critical patent/CN112817447A/zh
Application granted granted Critical
Publication of CN112817447B publication Critical patent/CN112817447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种AR内容显示方法及系统，该方法包括：在监测到目标用户存在显示需求时，获取待显示区域包含目标用户手部图像的图像数据；从图像数据中提取目标用户的手指轮廓信息；基于手指轮廓信息，在待显示区域确定目标显示位置；将显示需求对应的AR内容在目标显示位置进行显示。从而通过根据用户在有显示需求时所获取的包含手部图像的图像数据，并利用图像数据中的手指轮廓信息确定待显示区域的目标显示位置，从而精准的将显示需求对应的AR内容显示在用户期望位置，实现了精细化的AR服务，为用户提供了良好的人机交互体验。

Description

一种AR内容显示方法及系统
技术领域
本发明涉及AR技术领域，具体涉及一种AR内容显示方法及系统。
背景技术
当前AR技术因其可以生成基于现实的信息内容的优势，并具有直观、可交互、不受空间限制的特点，已广泛运用于军事、商业、医疗、教育、游戏等领域。不同AR产品基于的场景与现实内容大小不同，有在户外广阔空间、基于人体行走交互的探索式AR；也有较固定空间内，依赖人移动AR“镜头”对某现实物体进行多方位观察。
其中，室内桌面环境具有相对稳定单一的环境条件和现实物体即桌面，也是AR应用广泛的一个场景。在该环境下的人类活动常常是坐在桌前，观看或阅读资料，具有行动范围有限、观看的现实内容小而密集的特点，进行这类活动时人以手部行为动作为主，具有注意力跟随手动的特点。综上基于小区域现实内容、手部行为引导注意力焦点的活动特点，当前桌面AR产品无法提供基于指尖级别现实的AR服务，在向用户手指指定位置进行AR内容显示时，容易出现AR内容和指尖及指尖现实割裂的现象，影响用户的使用体验。
发明内容
有鉴于此，本发明实施例提供了一种AR内容显示方法及系统，以克服现有技术中AR产品无法提供基于指尖级别现实的AR服务，容易出现AR内容和指尖及指尖现实割裂的问题。
本发明实施例提供了一种AR内容显示方法，包括：
在监测目标用户存在显示需求时，获取待显示区域包含所述目标用户手部图像的图像数据；
从所述图像数据中提取所述目标用户的手指轮廓信息；
基于所述手指轮廓信息，在所述待显示区域确定目标显示位置；
将所述显示需求对应的AR内容在所述目标显示位置进行显示。
可选地，所述基于所述手指轮廓信息，在所述待显示区域确定目标显示位置，包括：
根据所述手指轮廓信息确定当前手指的指示方向及手指轮廓上各点对应的位置信息；
基于所述指示方向和所手指轮廓上各点对应的位置信息，确定当前指尖位置；
基于所述当前指尖位置确定所述目标显示位置。
可选地，所述方法还包括：
获取目标用户的监测数据；
判断所述监测数据是否存在需求特征信息；
当所述监测数据中存在需求特征信息时，基于所述需求特征信息确定所述目标用户的显示需求。
可选地，所述基于所述需求特征信息确定所述目标用户的显示需求，包括：
分别计算所述需求特征信息与预设AR内容显示数据库中不同标准显示需求对应的标准特征信息的相似度，所述预设AR内容显示数据库存储有标准显示需求及其对应的AR内容；
基于相似度从大到小的排序结果，确定所述目标用户的显示需求。
可选地，所述基于所述当前指尖位置确定所述目标显示位置，包括：
基于所述当前指尖位置的位置坐标和预设显示内容区域设置规则，确定显示内容区域的关键点坐标；
基于所述显示内容区域的关键点坐标确定所述目标显示位置。
可选地，所述方法还包括：
获取预设现实区域的位置信息；
基于预设现实区域的位置信息，判断是否存在所述显示内容区域的关键点坐标位于所述预设现实区域；
当不存在所述显示内容区域的关键点坐标位于所述预设现实区域时，基于所述显示内容区域的关键点坐标确定所述目标显示位置。
可选地，当存在所述显示内容区域的关键点坐标位于所述预设现实区域时，生成异常操作提示信息。
本发明实施例还提供了一种AR内容显示系统，包括：
第一处理模块，用于在监测目标用户存在显示需求时，获取待显示区域包含所述目标用户手部图像的图像数据；
第二处理模块，用于从所述图像数据中提取所述目标用户的手指轮廓信息；
第三处理模块，用于基于所述手指轮廓信息，在所述待显示区域确定目标显示位置；
第四处理模块，用于将所述显示需求对应的AR内容在所述目标显示位置进行显示。
本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的方法。
本发明技术方案，具有如下优点：
本发明实施例提供了AR内容显示方法及系统，包括：在监测到目标用户存在显示需求时，获取待显示区域包含目标用户手部图像的图像数据；从图像数据中提取目标用户的手指轮廓信息；基于手指轮廓信息，在待显示区域确定目标显示位置；将显示需求对应的AR内容在目标显示位置进行显示。从而通过根据用户在有显示需求时所获取的包含手部图像的图像数据，并利用图像数据中的手指轮廓信息确定待显示区域的目标显示位置，从而精准的将显示需求对应的AR内容显示在用户期望位置，实现了精细化的AR服务，为用户提供了良好的人机交互体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的AR内容显示方法的流程图；
图2为本发明实施例中的虚拟现实人机交互系统的工作过程示意图；
图3为本发明实施例中的AR内容显示系统的结构示意图；
图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
当前AR技术因其可以生成基于现实的信息内容的优势，并具有直观、可交互、不受空间限制的特点，已广泛运用于军事、商业、医疗、教育、游戏等领域。不同AR产品基于的场景与现实内容大小不同，有在户外广阔空间、基于人体行走交互的探索式AR；也有较固定空间内，依赖人移动AR“镜头”对某现实物体进行多方位观察。
其中，室内桌面环境具有相对稳定单一的环境条件和现实物体即桌面，也是AR应用广泛的一个场景。在该环境下的人类活动常常是坐在桌前，观看或阅读资料，具有行动范围有限、观看的现实内容小而密集的特点，进行这类活动时人以手部行为动作为主，具有注意力跟随手动的特点。综上基于小区域现实内容、手部行为引导注意力焦点的活动特点，当前桌面AR产品无法提供基于指尖级别现实的AR服务，在向用户手指指定位置进行AR内容显示时，容易出现AR内容和指尖及指尖现实割裂的现象，影响用户的使用体验。
基于上述问题，本发明实施例提供了一种AR内容显示方法，应用于虚拟现实人机交互系统，如图1所示，该AR内容显示方法具体包括如下步骤：
步骤S101：在监测到目标用户存在显示需求时，获取待显示区域包含目标用户手部图像的图像数据。
其中，该显示需求为用户期望通过虚拟现实人机交互系统为用户提供相应AR内容通过用户的手指指尖的人机交互方式进行显示，如该显示需求可以是显示虚拟现实人机交互系统的主菜单、或者某个选项菜单等。待显示区域为用户需要将AR内容显示的平面区域，如桌面或物体表面等，本发明实施例以桌面作为待显示区域为例，本发明并不以此为限。上述的图像数据可以通过设置于桌面上的摄像头来拍摄目标用户手部照片得到，也可以通过用户自己上传手部图像得到等。
步骤S102：从图像数据中提取目标用户的手指轮廓信息。
其中，可以通过利用现有的图像识别算法例如：边缘检测算法等从图像数据中提取目标用户的手指轮廓信息，该手指轮廓信息包括手指轮廓上各个关键点的在桌面平面预设坐标系中的二维坐标信息，具体地，该关键点设置可以是按照预设间隔进行采样，也可以根据手指轮廓的部位确定，如在指尖部分提高关键点的采样密度，而在手指根部降低关键点的采样密度，由于指尖部分用于确定用户期望显示AR内容的目标显示位置，通过提高指尖部分的关键点设置密度可以提高目标显示位置的准确性，以提高用户使用体验。
步骤S103：基于手指轮廓信息，在待显示区域确定目标显示位置。
其中，该目标显示位置为用户在桌面上指定的区域，即用户希望通过人机交互系统让AR内容在此区域进行显示。
步骤S104：将显示需求对应的AR内容在目标显示位置进行显示。
其中，该AR内容可以是虚拟现实人机交互系统的系统界面、菜单页面或者系统根据用户的需求所生成的虚拟图像等，本发明并不以此为限。
通过执行上述步骤，本发明实施例提供的AR内容显示方法，通过根据用户在有显示需求时所获取的包含手部图像的图像数据，并利用图像数据中的手指轮廓信息确定待显示区域的目标显示位置，从而精准的将显示需求对应的AR内容显示在用户期望位置，实现了精细化的AR服务，为用户提供了良好的人机交互体验。
具体地，在一实施例中，上述的步骤S103，具体包括如下步骤：
步骤S201：根据手指轮廓信息确定当前手指的指示方向及手指轮廓上各点对应的位置信息。
具体地，可以通过手指轮廓上各个关键点的坐标确定当前手指的指示方向，，该指示方向在桌面预设坐标系中可以用向量的形式表示，由于手指近似为直线，具体可以通过手指轮廓上指根上关键点的坐标和指尖上关键点的坐标确定该向量，进而确定当前手指的指示方向，手指轮廓上各点对应的位置信息即为手指轮廓上各个关键点的坐标。
步骤S202：基于指示方向和所手指轮廓上各点对应的位置信息，确定当前指尖位置。
具体地，通过确定当前手指的指示方向，并延该指示方向从上述的各个关键点中选择距离指示方向起点最远的关键点坐标作为当前指尖位置，在存在多个关键点坐标距离指示方向起点距离相同时，可以将各个关键点坐标的平均值作为当前指尖位置，也可以从多个满足要求的关键点中任选一个关键点作为当前指尖位置，本发明并不以此为限。
步骤S203：基于当前指尖位置确定目标显示位置。
具体地，上述步骤S203可以通过如下方式实现：基于当前指尖位置的位置坐标和预设显示内容区域设置规则，确定显示内容区域的关键点坐标；基于显示内容区域的关键点坐标确定目标显示位置。
其中，该预设显示内容区域设置规则包括：显示区域的形状、大小及与当前指尖位置的位置关系等，如：显示内容区域为正方形，边长为10里面，当前指尖位置为正方形坐下方的顶点坐标等，只要能够实现显示内容区域的设置即可，本发明并不以此为限。该显示内容区域的关键点可以根据显示内容区域的形状进行设置，只要能够根据关键点唯一确定显示内容区域即可，如正方形的四个顶点为关键点。
在实际应用中，在基于显示内容区域的关键点坐标确定目标显示位置之前，上述方法还包括如下步骤：将获取预设现实区域的位置信息；基于预设现实区域的位置信息，判断是否存在显示内容区域的关键点坐标位于预设现实区域；当不存在显示内容区域的关键点坐标位于预设现实区域时，基于显示内容区域的关键点坐标确定目标显示位置。当存在显示内容区域的关键点坐标位于预设现实区域时，生成异常操作提示信息。
具体地，假设虚拟现实人机交互系统的应用场景为用户在桌面进行阅读时，桌面上放置的书籍即为现实区域，用户在利用虚拟现实人机交互系统进行虚拟AR影像显示时，如果其显示位置遮挡了书籍，则会造成虚拟影像影响现实区域的情况，分散用户的注意力，造成虚拟影像与现实的割裂，影响用户的虚拟影像体验。为了避免出现上述问题，给用户提供更为逼真的现实体验，本发明实施例通过获取预设现实区域的位置信息，即获取上述书籍所在区域的位置信息，然后通过判断上述显示内容区域的关键点坐标是否在该区域内，并且只有在显示内容区域与书籍所在区域没有重叠时，才以此来确定目标显示位置。否则直接通过虚拟现实人机交互系统通过声音或者其它发送发出异常操作提示信息，以提示用户移动手指，然后重新执行上述步骤，直至确定符合上述条件的目标显示位置，然后在该目标显示位置上显示上述显示需求对应的AR内容。
具体地，在一实施例中，在执行上述步骤S101之前，上述AR内容显示方法还包括如下步骤：
步骤S301：获取目标用户的监测数据。
其中，该监测数据可以通过预设的监测设备采集的数据，具体可以根据系统的设置需求进行选择，如系统中以声音为监测目标，则可通过声音采集设备作为监测设备，如果系统中以色彩作为监测目标，则可以通过摄像头作为监测设备等，此外，该监测目标还可以根据实际需要设置为振动、文字、气味等，监测设备也可以对应选择传感器、控制器即电子信息接收器等，本发明并不以此为限。
步骤S302：判断监测数据是否存在需求特征信息。
其中，该需求特征信息为根据监测数据的类型预先设置好的需求特征信息，以上述监测目标为声音为例，则对应的监测数据为语音数据，其对应的需求特征信息为“打开”、“显示”等预设关键字。
步骤S303：当监测数据中存在需求特征信息时，基于需求特征信息确定目标用户的显示需求。
具体地，以上述监测目标为声音为例，则对应的监测数据为语音数据，通过现有技术中的语音识别算法对语音数据进行识别，并根据识别结果判断是否存在“主菜单”、“打开”等预设关键字，如果存在预设关键字，则判定检测数据中存在需求特征信息。
通过分别计算需求特征信息与预设AR内容显示数据库中不同标准显示需求对应的标准特征信息的相似度，预设AR内容显示数据库存储有标准显示需求及其对应的AR内容；基于相似度从大到小的排序结果，确定目标用户的显示需求。
其中，预设AR内容显示数据库为虚拟现实人机交互系统存储AR内容的数据库，其以标准显示需求及其对应的标准特征信息和预设AR内容的对应关系进行存储，每一个标准显示需求分别与一个标准特征信息及预设AR内容对应，如：标准显示需求为“打开主菜单”，其对应的标准特征信息为“打开”和“主菜单”其对应的AR内容为系统主菜单的用户界面等。从而为用户可使用指尖，针对指尖现实就近地操作AR内容提供技术基础，如用户通过指尖操作虚拟显示的主菜单以得到进一步的虚拟影像的显示结果等，为用户提供了良好的人机交互体验，进一步提高了用户的现实感。
下面将结合具体应用示例，对本发明实施例提供的AR内容显示方法进行详细的说明。
如图2所示，为虚拟现实人机交互系统的规则过程示意图，通过使用一个摄像头作为指尖跟踪器，持续获取用户指尖移动图像；使用语音传感器为意图接收器，可识别若干个语音指令。该传感器持续开启并接收所有声音信息。此处，可识别的语音指令必须具有可被上层系统解析的业务意义，例如“打开主菜单”、“打开设置菜单”等，当语音传感器接收到“打开主菜单”语音信息时，该信息被判别为“打开主菜单”语音指令，并发送给上层系统，由上层系统生成对应的AR菜单内容，AR显示器依接收到上层系统返回的AR菜单内容，按照指尖位置信息，显示在指尖周围。从而克服了现有技术中无法跟随指尖生成AR内容，AR和指尖及指尖现实割裂，容易分散用户注意力的问题，为用户提供了更为逼真的虚拟现实感受，提高了用户体验。
通过执行上述步骤，本发明实施例提供的AR内容显示方法，通过根据用户在有显示需求时所获取的包含手部图像的图像数据，并利用图像数据中的手指轮廓信息确定待显示区域的目标显示位置，从而精准的将显示需求对应的AR内容显示在用户期望位置，实现了精细化的AR服务，为用户提供了良好的人机交互体验。
本发明实施例还提供了一种AR内容显示系统，如图3所示，该AR内容显示系统包括：
第一处理模块101，用于在监测目标用户存在显示需求时，获取待显示区域包含目标用户手部图像的图像数据。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第二处理模块102，用于从图像数据中提取目标用户的手指轮廓信息。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第三处理模块103，用于基于手指轮廓信息，在待显示区域确定目标显示位置。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第四处理模块104，用于将显示需求对应的AR内容在目标显示位置进行显示。详细内容参见上述方法实施例中步骤S104的相关描述，在此不再进行赘述。
本发明实施例提供的AR内容显示系统，用于执行上述实施例提供的AR内容显示方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的AR内容显示系统，通过根据用户在有显示需求时所获取的包含手部图像的图像数据，并利用图像数据中的手指轮廓信息确定待显示区域的目标显示位置，从而精准的将显示需求对应的AR内容显示在用户期望位置，实现了精细化的AR服务，为用户提供了良好的人机交互体验。
根据本发明实施例还提供了一种电子设备，如图4所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图4中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种AR内容显示方法，其特征在于，包括：
在监测到目标用户存在显示需求时，获取待显示区域包含所述目标用户手部图像的图像数据；
从所述图像数据中提取所述目标用户的手指轮廓信息；
基于所述手指轮廓信息，在所述待显示区域确定目标显示位置；
将所述显示需求对应的AR内容在所述目标显示位置进行显示。
2.根据权利要求1所述的方法，其特征在于，所述基于所述手指轮廓信息，在所述待显示区域确定目标显示位置，包括：
根据所述手指轮廓信息确定当前手指的指示方向及手指轮廓上各点对应的位置信息；
基于所述指示方向和所手指轮廓上各点对应的位置信息，确定当前指尖位置；
基于所述当前指尖位置确定所述目标显示位置。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取目标用户的监测数据；
判断所述监测数据是否存在需求特征信息；
当所述监测数据中存在需求特征信息时，基于所述需求特征信息确定所述目标用户的显示需求。
4.根据权利要求3所述的方法，其特征在于，所述基于所述需求特征信息确定所述目标用户的显示需求，包括：
分别计算所述需求特征信息与预设AR内容显示数据库中不同标准显示需求对应的标准特征信息的相似度，所述预设AR内容显示数据库存储有标准显示需求及其对应的AR内容；
基于相似度从大到小的排序结果，确定所述目标用户的显示需求。
5.根据权利要求2所述的方法，其特征在于，所述基于所述当前指尖位置确定所述目标显示位置，包括：
基于所述当前指尖位置的位置坐标和预设显示内容区域设置规则，确定显示内容区域的关键点坐标；
基于所述显示内容区域的关键点坐标确定所述目标显示位置。
6.根据权利要求5所述的方法，其特征在于，还包括：
获取预设现实区域的位置信息；
基于预设现实区域的位置信息，判断是否存在所述显示内容区域的关键点坐标位于所述预设现实区域；
当不存在所述显示内容区域的关键点坐标位于所述预设现实区域时，基于所述显示内容区域的关键点坐标确定所述目标显示位置。
7.根据权利要求6所述的方法，其特征在于，当存在所述显示内容区域的关键点坐标位于所述预设现实区域时，生成异常操作提示信息。
8.一种AR内容显示系统，其特征在于，包括：
第一处理模块，用于在监测目标用户存在显示需求时，获取待显示区域包含所述目标用户手部图像的图像数据；
第二处理模块，用于从所述图像数据中提取所述目标用户的手指轮廓信息；
第三处理模块，用于基于所述手指轮廓信息，在所述待显示区域确定目标显示位置；
第四处理模块，用于将所述显示需求对应的AR内容在所述目标显示位置进行显示。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行权利要求1－7任一项所述的方法。
CN202110100497.4A 2021-01-25 2021-01-25 一种ar内容显示方法及系统 Active CN112817447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110100497.4A CN112817447B (zh) 2021-01-25 2021-01-25 一种ar内容显示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110100497.4A CN112817447B (zh) 2021-01-25 2021-01-25 一种ar内容显示方法及系统

Publications (2)

Publication Number Publication Date
CN112817447A true CN112817447A (zh) 2021-05-18
CN112817447B CN112817447B (zh) 2024-05-07

Family

ID=75859254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110100497.4A Active CN112817447B (zh) 2021-01-25 2021-01-25 一种ar内容显示方法及系统

Country Status (1)

Country Link
CN (1) CN112817447B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115532A (zh) * 2021-11-11 2022-03-01 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
WO2023272604A1 (zh) * 2021-06-30 2023-01-05 东莞市小精灵教育软件有限公司 基于生物特征识别的定位方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN104076930A (zh) * 2014-07-22 2014-10-01 北京智谷睿拓技术服务有限公司 盲操作控制方法、装置和系统
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109343716A (zh) * 2018-11-16 2019-02-15 Oppo广东移动通信有限公司 一种图像显示方法及装置、计算机可读存储介质
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN110019689A (zh) * 2019-04-17 2019-07-16 北京网聘咨询有限公司 职位匹配方法和职位匹配系统
CN111078083A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读内容的确定方法及电子设备
CN111367414A (zh) * 2020-03-10 2020-07-03 简吉波 虚拟现实对象控制方法、装置、虚拟现实系统及设备
CN111880657A (zh) * 2020-07-30 2020-11-03 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN112150583A (zh) * 2020-09-02 2020-12-29 广东小天才科技有限公司 一种口语发音测评方法及终端设备
CN112198962A (zh) * 2020-09-30 2021-01-08 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184021A (zh) * 2011-05-27 2011-09-14 华南理工大学 一种基于手写输入和指尖鼠标的电视人机交互方法
CN104076930A (zh) * 2014-07-22 2014-10-01 北京智谷睿拓技术服务有限公司 盲操作控制方法、装置和系统
CN109255324A (zh) * 2018-09-05 2019-01-22 北京航空航天大学青岛研究院 手势处理方法、交互控制方法及设备
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN109343716A (zh) * 2018-11-16 2019-02-15 Oppo广东移动通信有限公司 一种图像显示方法及装置、计算机可读存储介质
CN110019689A (zh) * 2019-04-17 2019-07-16 北京网聘咨询有限公司 职位匹配方法和职位匹配系统
CN111078083A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读内容的确定方法及电子设备
CN111367414A (zh) * 2020-03-10 2020-07-03 简吉波 虚拟现实对象控制方法、装置、虚拟现实系统及设备
CN111880657A (zh) * 2020-07-30 2020-11-03 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
CN112150583A (zh) * 2020-09-02 2020-12-29 广东小天才科技有限公司 一种口语发音测评方法及终端设备
CN112198962A (zh) * 2020-09-30 2021-01-08 聚好看科技股份有限公司 一种与虚拟现实设备交互的方法及虚拟现实设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023272604A1 (zh) * 2021-06-30 2023-01-05 东莞市小精灵教育软件有限公司 基于生物特征识别的定位方法及装置
CN114115532A (zh) * 2021-11-11 2022-03-01 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统
CN114115532B (zh) * 2021-11-11 2023-09-29 珊瑚石(上海)视讯科技有限公司 一种基于显示内容的ar标注方法及系统

Also Published As

Publication number Publication date
CN112817447B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
CN107077197B (zh) 3d可视化图
US10409443B2 (en) Contextual cursor display based on hand tracking
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US11893702B2 (en) Virtual object processing method and apparatus, and storage medium and electronic device
EP3176677A1 (en) Method and apparatus for providing interface recognizing movement in accordance with user's view
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
EP2972950B1 (en) Segmentation of content delivery
CN110986969B (zh) 地图融合方法及装置、设备、存储介质
CN109919077B (zh) 姿态识别方法、装置、介质和计算设备
CN109725724B (zh) 有屏设备的手势控制方法和装置
US10733799B2 (en) Augmented reality sensor
CN111259751A (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
US11094079B2 (en) Determining a pose of an object from RGB-D images
WO2017084319A1 (zh) 手势识别方法及虚拟现实显示输出设备
CN111950521A (zh) 一种增强现实交互的方法、装置、电子设备及存储介质
US10228762B2 (en) Analysis of user interface interactions within a virtual reality environment
JP2016514865A (ja) 現実世界の分析可視化
CN112817447B (zh) 一种ar内容显示方法及系统
US10789766B2 (en) Three-dimensional visual effect simulation method and apparatus, storage medium, and display device
WO2019085519A1 (zh) 面部跟踪方法及装置
CN110286906B (zh) 用户界面显示方法、装置、存储介质与移动终端
US11106949B2 (en) Action classification based on manipulated object movement
JP2021170391A (ja) 商品案内方法、装置、デバイス、記憶媒体、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant