CN116974497A - 增强现实显示方法、装置、设备及存储介质 - Google Patents

增强现实显示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116974497A
CN116974497A CN202210428172.3A CN202210428172A CN116974497A CN 116974497 A CN116974497 A CN 116974497A CN 202210428172 A CN202210428172 A CN 202210428172A CN 116974497 A CN116974497 A CN 116974497A
Authority
CN
China
Prior art keywords
information
glasses
target
labeling
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210428172.3A
Other languages
English (en)
Inventor
何俊
卢栋才
夏命榛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210428172.3A priority Critical patent/CN116974497A/zh
Priority to PCT/CN2023/087318 priority patent/WO2023202404A1/zh
Publication of CN116974497A publication Critical patent/CN116974497A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

本申请提供一种增强现实显示方法、装置、设备及存储介质,涉及增强现实领域。该方法应用于终端设备,终端设备具有增强现实功能。该方法包括:显示第一界面,第一界面为第一场景对应的增强现实界面,第一界面包括终端设备拍摄到的第一场景的图像以及第一信息,第一信息为第一场景的图像中的第一目标的标注信息;接收用户的标注操作,标注操作为对第一信息进行修正的操作;响应于标注操作,对第一信息进行修正。本申请中根据用户的标注操作对第一信息进行修正,可以有效提高增强现实界面中所显示的第一信息的准确性。

Description

增强现实显示方法、装置、设备及存储介质
技术领域
本申请涉及增强现实领域,尤其涉及一种增强现实显示方法、装置、设备及存储介质。
背景技术
具有增强现实(augmented reality,AR)功能的可穿戴设备可以称为AR可穿戴设备或可穿戴AR设备。例如,AR眼镜、AR头戴显示器设备、AR头显、以及AR头盔等都可以称为AR可穿戴设备。AR可穿戴设备可以利用仿真技术、计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术,为用户提供观看多媒体文件或体验AR应用的功能。例如,当用户处在实际场景中并佩戴AR可穿戴设备时,AR可穿戴设备中可以为用户展示实际场景中的一些关键目标信息(如山脉名称,公园景点名称,建筑名称等),供用户查看。
目前,AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式主要包括:根据AR可穿戴设备的位置信息、方位信息、垂直朝向角度信息,以及物体兴趣点(point ofinterest,POI)信息库中的已知的目标的POI信息,确定AR可穿戴设备的显示画面中可以看到哪些目标以及这些目标在显示画面中的位置;然后,根据这些目标在显示画面中的位置,在AR可穿戴设备的显示画面中每个目标的上方叠加显示目标对应的标注信息。目标可以是山峰、建筑、景区、湖泊、河流等,标注信息可以包括目标的名称、范围、标签等。AR可穿戴设备的显示画面中显示的标注信息即实际场景中的关键目标信息。
但是,目前AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式中,AR可穿戴设备的显示画面中所显示的关键目标信息不够准确。
发明内容
本申请提供一种增强现实显示方法、装置、设备及存储介质,可以根据用户反馈对终端设备的显示画面中所显示的第一信息进行修正,提高第一信息的准确性。终端设备的显示画面可以是第一场景对应的增强现实界面,第一信息可以是拍摄到的第一场景的图像中的第一目标的标注信息。
第一方面,本申请提供一种增强现实显示方法,所述方法应用于终端设备,终端设备具有增强现实功能,所述方法包括:显示第一界面,第一界面为第一场景对应的增强现实界面,第一界面包括终端设备拍摄到的第一场景的图像以及第一信息,第一信息为第一场景的图像中的第一目标的标注信息;接收用户的标注操作,标注操作为对第一信息进行修正的操作;响应于标注操作,对第一信息进行修正。
该方法中,接收用户的标注操作,标注操作为对第一信息进行修正的操作;响应于标注操作,对第一信息进行修正,可以实现根据用户的标注操作对第一信息进行修正,能够大提高第一信息的准确性。
可选地,所述响应于标注操作,对第一信息进行修正,包括:响应于标注操作,获取修正后的第一信息以及修正后的第一信息在第一界面中的位置;根据修正后的第一信息在第一界面中的位置,将第一界面中的第一信息更新为修正后的第一信息。
可选地,所述显示第一界面,包括:获取第一信息;根据第一信息,显示第一界面。
一些实现方式中,终端设备与服务器连接;所述获取第一信息,包括:向服务器发送第一场景的图像、终端设备的方位信息、垂直朝向角度信息、以及位置信息;接收来自服务器的第一信息。
例如,服务器可以获取(接收)第一场景的图像、终端设备的方位信息、垂直朝向角度信息、以及位置信息,并根据位置信息在物体POI信息库中查询距离终端设备的位置信息预设距离范围内的目标的POI信息;然后,服务器可以将第一场景的图像、终端设备的方位信息、垂直朝向角度信息、以及位置信息、距离终端设备的位置信息预设距离范围内的目标的POI信息输入第一识别模型,得到第一识别模型输出的第一信息、以及第一信息在终端设备的显示画面中的位置。之后,服务器可以向终端设备发送第一信息,终端设备可以接收第一信息。服务器向终端设备发送第一信息时,可以一并发送第一信息在终端设备的显示画面中的位置。终端设备根据第一信息,显示第一界面,可以包括:根据第一信息在终端设备的显示画面中的位置,在终端设备的显示画面中显示第一信息。
第一识别模型在服务器上实现,可以减轻终端设备的负载和处理压力。
一些实现方式中,所述标注操作包括通过指示性语音指令、手势控制、眼球追踪交互、终端设备的物理按键、以及终端设备的外接设备中的一种或多种,对第一信息进行修正的操作。
一些实现方式中,所述第一信息包括以下一种或多种:第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的物体兴趣点信息。
可选地,所述对第一信息进行修正,包括:修改或添加第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的物体兴趣点信息中的一种或多种。
一些实现方式中,所述方法还包括:接收用户的第一指令,第一指令用于控制终端设备进入标注模式;响应于第一指令,进入标注模式;标注操作是终端设备进入标注模式后用户所执行的操作。
标注模式可以使得用户能够更直观地看到当前是否可以进行标注操作,在界面呈现上能够与正常的显示模式进行区分,给用户更好地视觉反馈。
可选地,所述第一指令包括:指示性语音指令、手势控制指令、眼球追踪交互指令、通过终端设备的物理按键发出的指令、以及通过终端设备的外接设备发出的指令中的一种或多种。
一些实现方式中,所述方法还包括:在第一界面中显示提示信息,提示信息用于提示用户终端设备当前为标注模式。
通过在第一界面中显示提示信息,可以更好地提示用户当前可以进行标注操作,能够提升用户的交互体验。
可选地,所述方法还包括:接收用户的第二指令,第二指令用于控制终端设备退出标注模式;响应于第二指令,退出标注模式。
可选地,所述第二指令包括:指示性语音指令、手势控制指令、眼球追踪交互指令、通过终端设备的物理按键发出的指令、以及通过终端设备的外接设备发出的指令中的一种或多种。
可选地,所述退出标注模式之后,所述方法还包括:显示第二界面,第二界面为第一场景对应的增强现实界面,第二界面包括终端设备拍摄到的第一场景的图像以及第二信息,第二信息是根据修正后的第一信息所获取的。
第二信息即可以理解为根据用户反馈生成的更准确的第一信息。例如,原本显示的第一信息不准确,但用户修正的第一信息是准确的,则根据用户修正的第一信息所获取的第二信息的准确性可以远远高于原本显示的第一信息。
可选地,所述显示第二界面,包括:获取第二信息;根据第二信息,显示第二界面。
一些实现方式中,所述响应于标注操作,对第一信息进行修正,还包括:向服务器发送终端设备的方位信息、垂直朝向角度信息、以及位置信息,以使得(或用于)服务器根据位置信息,确定距离位置信息预设范围内的目标的物体兴趣点信息,并将第一场景的图像、方位信息、垂直朝向角度信息、位置信息、以及距离位置信息预设范围内的目标的物体兴趣点信息作为输入,将修正后的第一信息、以及修正后的第一信息在第一界面中的位置作为输出,对第一识别模型进行优化训练,训练获取第二识别模型。第二识别模型具有根据第一场景的图像、终端设备的方位信息、垂直朝向角度信息、以及位置信息,输出第一场景对应的增强现实界面能够显示的第一信息、以及能够显示的第一信息在第一场景对应的增强现实界面中的位置的功能。
所述获取第二信息,包括:向服务器发送所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、位置信息,用于服务器将所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、位置信息、以及距离所述位置信息预设范围内的目标的物体兴趣点信息输入第二识别模型,得到第二识别模型输出的第二信息;接收来自服务器的第二信息;获取接收到的所述第二信息。
第二识别模型在服务器上实现,可以有效减轻终端设备的负载和处理压力。
一些实现方式中,所述第一信息为自动推荐的第一目标的标注信息或者用户搜索的第一目标的标注信息。
一些实现方式中,所述方法还包括:接收用户搜索第一目标的操作;响应于搜索第一目标的操作,在第一界面中显示第一信息。
一些实现方式中,所述第一目标包括山峰、建筑、湖泊、河流、以及景区中的一种或多种。
一些实现方式中,所述终端设备包括:增强现实可穿戴设备或增强显示非可穿戴设备。
第二方面,本申请提供一种增强现实显示装置,该装置可以应用于终端设备,终端设备具有增强现实功能。该装置用于实现上述第一方面所述的增强现实显示方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如,该装置可以包括:显示单元、接收单元、以及处理单元等。
其中,显示单元,用于显示第一界面,第一界面为第一场景对应的增强现实界面,第一界面包括终端设备拍摄到的第一场景的图像以及第一信息,第一信息为第一场景的图像中的第一目标的标注信息。接收单元,用于接收用户的标注操作,标注操作为对第一信息进行修正的操作。处理单元,用于响应于标注操作,对第一信息进行修正。
可选地,处理单元,具体用于响应于标注操作,获取修正后的第一信息以及修正后的第一信息在第一界面中的位置;根据修正后的第一信息在第一界面中的位置,将第一界面中的第一信息更新为修正后的第一信息。
可选地,显示单元,具体用于获取第一信息;根据第一信息,显示第一界面。
一些实现方式中,终端设备与服务器连接;该装置还包括发送单元,发送单元用于向服务器发送第一场景的图像、终端设备的方位信息、垂直朝向角度信息、以及位置信息;接收单元,用于接收来自服务器的第一信息。显示单元,具体用于获取接收单元接收的第一信息。
一些实现方式中,所述标注操作包括通过指示性语音指令、手势控制、眼球追踪交互、终端设备的物理按键、以及终端设备的外接设备中的一种或多种,对第一信息进行修正的操作。
一些实现方式中,所述第一信息包括以下一种或多种:第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的物体兴趣点信息。
可选地,所述对第一信息进行修正,包括:修改或添加第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的物体兴趣点信息中的一种或多种。
一些实现方式中,接收单元,还用于接收用户的第一指令,第一指令用于控制终端设备进入标注模式;处理单元,还用于响应于第一指令,进入标注模式;标注操作是终端设备进入标注模式后用户所执行的操作。
可选地,所述第一指令包括:指示性语音指令、手势控制指令、眼球追踪交互指令、通过终端设备的物理按键发出的指令、以及通过终端设备的外接设备发出的指令中的一种或多种。
一些实现方式中,显示单元,还用于在第一界面中显示提示信息,提示信息用于提示用户终端设备当前为标注模式。
可选地,接收单元,还用于接收用户的第二指令,第二指令用于控制终端设备退出标注模式;处理单元,还用于响应于第二指令,退出标注模式。
可选地,所述退出标注模式之后,显示单元,还用于显示第二界面,第二界面为第一场景对应的增强现实界面,第二界面包括终端设备拍摄到的第一场景的图像以及第二信息,第二信息是根据修正后的第一信息所获取的。
可选地,显示单元,具体用于获取第二信息;根据第二信息,显示第二界面。
一些实现方式中,发送单元,还用于向服务器发送终端设备的方位信息、垂直朝向角度信息、以及位置信息,用于服务器根据位置信息,确定距离位置信息预设范围内的目标的物体兴趣点信息,并将第一场景的图像、方位信息、垂直朝向角度信息、位置信息、以及距离位置信息预设范围内的目标的物体兴趣点信息作为输入,将修正后的第一信息、以及修正后的第一信息在第一界面中的位置作为输出,对第一识别模型进行优化训练,训练获取第二识别模型。
发送单元,还用于向服务器发送所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、位置信息;服务器可以将所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、位置信息、以及距离所述位置信息预设范围内的目标的物体兴趣点信息输入第二识别模型,得到第二识别模型输出的第二信息。接收单元,还用于接收来自服务器的第二信息。显示单元,具体用于获取接收单元接收的第二信息。
一些实现方式中,所述第一信息为自动推荐的第一目标的标注信息或者用户搜索的第一目标的标注信息。
一些实现方式中,接收单元,还用于接收用户搜索第一目标的操作;处理单元,还用于响应于搜索第一目标的操作,控制显示单元在第一界面中显示第一信息。
一些实现方式中,所述第一目标包括山峰、建筑、湖泊、河流、以及景区中的一种或多种。
一些实现方式中,所述终端设备包括:增强现实可穿戴设备或增强显示非可穿戴设备。
应当理解,该增强现实显示装置可以用于实现前述第一方面中所述的增强现实显示方法的全部功能,不再一一赘述。
第三方面,本申请提供一种电子设备,包括:处理器;存储器;以及计算机程序;其中,所述计算机程序存储在所述存储器上,当所述计算机程序被所述处理器执行时,使得所述电子设备实现如第一方面及第一方面的任意一种可能的实现方式中所述的方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备实现如第一方面及第一方面的任意一种可能的实现方式中所述的方法。
第五方面,本申请还提供一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器实现如第一方面及第一方面的任意一种可能的实现方式中所述的方法。
上述第三方面至第五方面中,电子设备可以是第一方面中所述的终端设备。
上述第二方面至第五方面所具备的有益效果,可参考第一方面中所述,在此不再赘述。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1为AR眼镜的显示画面的一种示意图;
图2为AR眼镜的显示画面的另一种示意图;
图3为AR眼镜的显示画面的又一种示意图;
图4为AR眼镜的显示画面的又一种示意图;
图5为本申请实施例提供的AR显示系统的组成示意图;
图6为本申请实施例提供的AR眼镜当前所在的实际场景的一种示意图;
图7为本申请实施例提供的确定M1在AR眼镜的显示画面中的位置的原理示意图;
图8为图5所示的AR显示系统的一种部署示意图;
图9为本申请实施例提供的AR显示方法的流程示意图;
图10为本申请实施例提供的更新后的AR眼镜的显示画面的示意图;
图11为本申请实施例提供的更新后的AR眼镜的显示画面的另一示意图;
图12为本申请实施例提供的AR显示方法的另一流程示意图;
图13为本申请实施例提供的AR显示方法的又一流程示意图;
图14为本申请实施例提供的增强现实显示装置的结构示意图;
图15为本申请实施例提供的增强现实显示装置的另一结构示意图。
具体实施方式
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
在本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
具有增强现实(augmented reality,AR)功能的可穿戴设备可以称为AR可穿戴设备或可穿戴AR设备。例如,AR眼镜、AR头戴显示器设备、AR头显、以及AR头盔等都可以称为AR可穿戴设备。
AR可穿戴设备可以利用仿真技术、计算机图形学人机接口技术、多媒体技术、传感技术、网络技术等多种技术,为用户提供观看多媒体文件或体验AR应用的功能。例如,当用户处在一些实际场景中并佩戴AR可穿戴设备时,AR可穿戴设备中可以为用户展示实际场景中的一些关键目标信息(如山脉名称,公园景点名称,建筑名称等),供用户查看。
示例性地,以AR可穿戴设备为AR眼镜为例,图1为AR眼镜的显示画面的一种示意图。如图1所示,假设用户佩戴AR眼镜处在某个景区范围内,且该景区内有A山峰和B湖泊,则当用户面向A山峰和B湖泊时,AR眼镜的显示画面中可以为用户展示包含A山峰和B湖泊的实际场景的图像。同时,AR眼镜的显示画面中还可以显示关于A山峰和B湖泊的一些关键目标信息。如:在显示画面中A山峰所在的位置处叠加显示一个A山峰的标注框101,A山峰的标注框101中可以用文字显示A山峰的名称“A山”;在显示画面中B湖泊所在的位置处叠加显示一个B湖泊的标注框102,B湖泊的标注框102中可以用文字显示B湖泊的名称“B湖”。用户通过图1所示的AR眼镜的显示画面即可清晰地了解到当前看到的实际场景中的山峰和湖泊的名称。
目前,AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式主要包括:根据AR可穿戴设备的位置信息(如全球定位系统(global positioning system,GPS)坐标)、方位信息、垂直朝向角度信息,以及物体兴趣点(point of interest,POI)信息库中的已知的目标的POI信息(如每个目标的名称、类别、坐标、分类等),确定AR可穿戴设备的显示画面中可以看到哪些目标以及这些目标在显示画面中的位置;然后,根据这些目标在显示画面中的位置,在AR可穿戴设备的显示画面中每个目标的上方叠加显示目标对应的标注信息。目标可以是山峰、建筑、景区、湖泊、河流等,标注信息可以包括目标的名称、范围、标签等。AR可穿戴设备的显示画面中显示的标注信息即实际场景中的关键目标信息。
可选地,目标对应的标注信息可以是人为预设的,如可以由人工预先为每个目标标注好对应的标注信息,建立标注信息和目标的对应关系。在显示某个目标的标注信息时,可以通过查询该对应关系来确定该目标对应的标注信息。
但是,目前AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式中,AR可穿戴设备的显示画面中所显示的关键目标信息往往不够准确。
一些可能的场景中,AR可穿戴设备的显示画面中关键目标信息与目标的匹配可能存在偏差,导致AR可穿戴设备的显示画面中所显示的关键目标信息不够准确。
例如,以图1所示的场景为例,图2为AR眼镜的显示画面的另一种示意图。如图2所示,对于图1所示的场景,目前AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式中所表示的A山峰的范围是A山峰的标注框101所围成的区域,但AR眼镜的显示画面中可以看到的A山峰的实际范围应当是虚线框201所围成的区域,A山峰的标注框101所围成的区域与虚线框201所围成的区域存在较大的偏差。也即,关键目标信息与目标的匹配存在偏差可以包括:关键目标信息所表示的目标的范围与目标的实际范围可能不完全对应。
又例如,同样以图1所示的场景为例,图3为AR眼镜的显示画面的又一种示意图。如图3所示,对于图1所示的场景,目前AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式中,AR眼镜的显示画面中B湖泊的标注框102可能会偏移至A山峰所在的位置上,与B湖泊实际所在的位置有偏差。也即,AR可穿戴设备的显示画面中关键目标信息与目标的匹配存在的偏差也可能是某个目标对应的关键目标信息显示在了其他目标的上方。
另外一些可能的场景中,AR可穿戴设备的显示画面中部分目标的关键目标信息可能丢失或未显示,导致AR可穿戴设备的显示画面中所显示的关键目标信息不够准确。
例如,同样以图1所示的场景为例,图4为AR眼镜的显示画面的又一种示意图。如图4所示,对于图1所示的场景,目前AR可穿戴设备中为用户展示实际场景中的关键目标信息的方式中,AR眼镜的显示画面中可能只显示A山峰的关键目标信息(如标注框101),丢失了B湖泊的关键目标信息。
针对目前AR可穿戴设备的显示画面中所显示的关键目标信息不够准确的问题,本申请实施例提供了一种AR显示方法,可以根据用户反馈对关键目标信息进行修正,提高AR可穿戴设备的显示画面中所显示的关键目标信息的准确性。
需要说明的是,本申请实施例提供的AR显示方法并不仅限于AR可穿戴设备的AR显示场景,还可以适用于其他具有AR功能的非可穿戴设备的AR显示场景。例如,该AR显示方法还适用于具有AR功能的手机、平板、电脑等其他终端设备进行AR显示的场景。
以手机为例,手机可以通过地图为用户提供AR导航功能。用户在使用手机的AR导航功能时,手机可以实时显示前方的实际场景,并显示实际场景中的关键目标信息。通过本申请实施例提供的AR显示方法,同样可以根据用户反馈对关键目标信息进行修正,提高手机的显示画面中所显示的关键目标信息的准确性。
在本申请中,AR可穿戴设备、其他具有AR功能的非可穿戴设备等都可以称为AR终端设备。下面仅以AR终端设备为AR眼镜为例,对本申请实施例提供的AR显示方法进行示例性说明。
示例性地,本申请实施例提供了一种AR显示系统,可以用于实现该AR显示方法。图5为本申请实施例提供的AR显示系统的组成示意图。
如图5所示,该AR显示系统可以包括:POI信息文件识别模块501、POI信息处理模块502、物体POI信息库503、AR实景采集模块504、AR传感器模块505、AR位置信息采集模块506、显示目标处理模块507、目标标注模块508、模型训练模块509、识别推理模块510、以及AR前端显示模块511。
POI信息文件识别模块501用于获取已知的目标的POI信息文件,对POI信息文件进行抽取-转换-装载(extract-transform-load,ETL)处理,以及对POI信息文件中的错误数据、异常数据等进行清洗处理,并进行必要的数据转换(如转换数据格式)。
其中,已知的目标的POI信息文件可以从地图或第三方获取。例如,对于一些建筑目标而言,建筑的POI信息文件可以从建筑的拥有方获取。又例如,对于道路、景区、城市等目标而言,POI信息文件也可以从已有的一些地图中获取。在此对获取POI信息文件的途径不作限制。
POI信息处理模块502用于将POI信息文件识别模块501处理后的POI信息加载到物体POI信息库503中备查。如:显示目标处理模块507后续可以从物体POI信息库503获取目标的POI信息。
AR实景采集模块504可以为显示目标处理模块507提供AR眼镜当前所拍摄到的实际场景的图像或画面。如:AR眼镜可以通过摄像头拍摄实际场景的图像。AR实景采集模块504可以是AR眼镜的摄像头。
AR传感器模块505可以为显示目标处理模块507提供AR眼镜的方位信息、垂直朝向角度信息等。例如,AR传感器模块505可以包括AR眼镜的方位传感器、角度传感器等,能够采集AR眼镜的方位信息、垂直朝向角度信息。如:AR眼镜的方位信息可以包括AR眼镜面向的方位,如西北方向、东北方向、正北方向等,根据AR眼镜面向的方位和AR眼镜的位置可以确定AR眼镜的可视角度范围;AR眼镜的垂直朝向角度信息可以包括AR眼镜的朝向相对于水平面的夹角。
AR位置信息采集模块506可以为显示目标处理模块507提供AR眼镜的位置信息,如:AR眼镜的位置信息可以包括AR眼镜的GPS坐标或北斗坐标。
一种可能的实现方式中,AR眼镜自身可以配置有位置传感器(如GPS),AR位置信息采集模块506可以是AR眼镜自身配置的位置传感器。
另一种可能的实现方式中,AR眼镜可以与其他终端设备(如手机连接),其他终端设备可以配置有位置传感器,AR位置信息采集模块506可以是其他终端设备配置的位置传感器。也即,AR眼镜的位置信息可以由与AR眼镜连接的其他终端设备的位置传感器来提供,在此不作限制。
显示目标处理模块507用于根据AR眼镜的位置信息在物体POI信息库503中查询距离AR眼镜的位置信息(即AR眼镜的当前位置)预设距离范围内的目标的POI信息。
可选地,预设距离范围可以是以AR眼镜的位置信息为中心的方圆N公里范围,N为大于0的数,如3,5等。N的大小可以是人为设定的预设值,在此不做限制。
在查询到距离AR眼镜的位置信息预设距离范围内的目标的POI信息后,显示目标处理模块507还用于根据AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息,确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息(即标注信息)、以及关键目标信息在AR眼镜的显示画面中的位置。其中,关键目标信息在AR眼镜的显示画面中的位置可以为关键目标信息在AR眼镜的显示画面中的坐标,或者,关键目标信息在AR眼镜的显示画面中的位置也可以表示为关键目标信息在AR眼镜的显示画面中所占据的像素点的坐标。
可选地,上述显示目标处理模块507根据AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息,确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置的步骤,可以通过一个预训练的目标识别模型来实现。
例如,显示目标处理模块507可以将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息输入到预训练的目标识别模型中,预训练的目标识别模型可以输出当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置。
其中,目标识别模型可以是预先训练好后预设在显示目标处理模块507中的。训练目标识别模型的样本可以包括多组。每组样本可以包括AR眼镜所拍摄到的实际场景的图像、拍摄图像时AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息、该组样本对应的AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置。在训练目标识别模型时,可以将每组样本中的AR眼镜所拍摄到的实际场景的图像、拍摄图像时AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息等作为输入,将该组样本对应的AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置作为输出,对神经网络进行训练,得到目标识别模型。
示例性地,图6为本申请实施例提供的AR眼镜当前所在的实际场景的一种示意图。如图6所示,假设显示目标处理模块507根据AR眼镜的位置信息在物体POI信息库503中查询得到以AR眼镜的位置信息为中心的方圆N公里范围内包含M1、M2、以及M3等三个目标,其中,用户佩戴AR眼镜朝向北方,在AR眼镜的可视角度范围内只有M1。则,将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息(即M1、M2、以及M3的POI信息)输入到预训练的目标识别模型后,目标识别模型可以根据AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及M1、M2、以及M3的POI信息,确定当前AR眼镜的显示画面中可以显示M1的关键目标信息。
在确定当前AR眼镜的显示画面中可以显示M1的关键目标信息后,目标识别模型可以根据AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、以及M1的位置信息(从M1的POI信息中获取,如可以是M1的经纬度坐标,M1相对水平位置坐标和M1相对垂直位置坐标等),确定M1在AR眼镜的显示画面中的位置。
例如,图7为本申请实施例提供的确定M1在AR眼镜的显示画面中的位置的原理示意图。如图7所示,已知AR眼镜的垂直朝向角度、AR眼镜的位置信息、以及M1的位置信息后,根据AR眼镜的位置信息、以及M1的位置信息可以计算得到M1相对于AR眼镜的深度;根据AR眼镜的垂直朝向角度、AR眼镜的位置信息、以及M1的位置信息,可以计算得到M1相对于AR眼镜的高度。根据M1相对于AR眼镜的深度、以及M1相对于AR眼镜的高度即可确定M1在AR眼镜的显示画面中的位置。
在确定M1在AR眼镜的显示画面中的位置后,目标识别模型可以对AR眼镜当前所拍摄到的实际场景的图像进行识别,确定AR眼镜当前所拍摄到的实际场景的图像中包含的每个目标在图像中的位置,然后将每个目标在图像中的位置与M1在AR眼镜的显示画面中的位置进行匹配,确定M1的关键目标信息在AR眼镜的显示画面中的位置。如:M1的关键目标信息在AR眼镜的显示画面中的位置为叠加显示在M1的位置上方。
可选地,当前AR眼镜的显示画面中可以显示的目标的关键目标信息可以包括以下一种或多种:目标的名称、目标的POI信息(如每个目标的名称、类别、坐标、分类等)、目标对应的标注信息的标注形状及参数(如标注形状可以包括圆形、矩形、点、以及其他不规则的区域等,标注信息的参数可以包括前述标注形状的面积大小、直径大小等,在此不作限制)。
可选地,目标识别模型在根据AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息,确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息(即标注信息)、以及关键目标信息在AR眼镜的显示画面中的位置时,还可以考虑到AR眼镜的型号、AR眼镜的水平朝向角度、AR眼镜的移动轨迹、AR眼镜的加速度等。例如,显示目标处理模块507向目标识别模型中输入AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息时,还可以一并输入AR眼镜的型号、AR眼镜的水平朝向角度、AR眼镜的移动轨迹、AR眼镜的加速度等。本申请对目标识别模型的具体算法实现不作限制。
以上介绍了确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置的过程。在确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置后,显示目标处理模块507还用于将当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置发送至AR前端显示模块511,供AR前端显示模块511将当前AR眼镜的显示画面中可以显示的目标的关键目标信息显示在AR眼镜的显示画面中。例如,AR前端显示模块511可以获取并显示AR眼镜当前所拍摄到的实际场景的图像,并根据关键目标信息在AR眼镜的显示画面中的位置将当前AR眼镜的显示画面中可以显示的目标的关键目标信息进行显示。
目标标注模块508用于响应于用户的标注操作,对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正。如:对已有的关键目标信息进行调整或对新目标的关键目标信息进行标注。
例如,用户在查看当前AR眼镜的显示画面中显示的目标的关键目标信息时,可以判断当前AR眼镜的显示画面中显示的目标的关键目标信息是否存在偏差或丢失的情况。如果当前AR眼镜的显示画面中显示的目标的关键目标信息是否存在偏差或丢失的情况,则用户可以主动通过标注操作来修正当前AR眼镜的显示画面中显示的目标的关键目标信息。
可选地,当前AR眼镜的显示画面中显示的目标可以称为第一目标。第一目标的关键目标信息包括以下一种或多种:第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍(如景点介绍、建筑介绍等)、以及第一目标的POI信息。
可选地,对第一目标的关键目标信息进行修正,包括:修改或添加第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的POI信息中的一种或多种。在此不作限制。
其中,用户的标注操作包括但不限于通过AR眼镜上的语音指令、手势或眼球追踪交互方式等进行的控制操作,在此不作限制。
目标标注模块508响应于用户的标注操作,对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正,可以包括:目标标注模块508响应于用户的标注操作,获取用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置;目标标注模块508向AR前端显示模块511发送用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置,以使得显示AR前端显示模块511根据用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置,更新AR眼镜的显示画面,将AR眼镜的显示画面中的关键目标信息及时更新为用户修正后的关键目标信息。
与前述实施例中所述的关键目标信息在AR眼镜的显示画面中的位置类似,用户修正后的关键目标信息在AR眼镜的显示画面中的位置也可以为用户修正后的关键目标信息在AR眼镜的显示画面中的坐标,或者,用户修正后的关键目标信息在AR眼镜的显示画面中的位置也可以表示为用户修正后的关键目标信息在AR眼镜的显示画面中所占据的像素点的坐标。
另外,目标标注模块508还用于将用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置、以及AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息,发送至模型训练模块509(或称为识别模型训练平台)。
模型训练模块509可以部署在AR眼镜中或服务器中,用于将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息等信息作为输入,将用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置作为输出,对上述目标识别模型继续进行优化训练,得到优化后的目标识别模型。优化后的目标识别模型可以称为基于用户反馈的目标识别模型。基于用户反馈的目标识别模型具有根据AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息等信息,输出当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置的功能。与目标识别模型相比,基于用户反馈的目标识别模型输出的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置的会更精确。
识别推理模块510可以将模型训练模块509训练得到的基于用户反馈的目标识别模型作为目标识别推理服务部署到显示目标处理模块507中,供显示目标处理模块507下次进行目标识别时使用。例如,识别推理模块510可以用基于用户反馈的目标识别模型更新显示目标处理模块507中原有的目标识别模型。
可选地,目标标注模块508向模型训练模块509发送的信息还可以包括:用户进行标注操作的时间、AR眼镜的型号、AR眼镜的移动轨迹以及加速度等。这些信息均可以一并作为训练基于用户反馈的目标识别模型时的输入,用于模型训练模块509训练获取基于用户反馈的目标识别模型。
在图5所示的AR显示系统中,当AR前端显示模块511在AR眼镜的显示画面中显示的目标的关键目标信息不准确时,目标标注模块508、模型训练模块509、识别推理模块510等通过用户的标注操作(即用户反馈)实现了对关键目标信息进行修正,后续显示目标处理模块507通过基于用户反馈的目标识别模型所输出的当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置的准确性可以大大提升。
示例性地,图8为图5所示的AR显示系统的一种部署示意图。如图8所示,一些实施例中,POI信息文件识别模块501、POI信息处理模块502、物体POI信息库503、显示目标处理模块507、模型训练模块509、以及识别推理模块510等模块可以部署在服务器(如云端)中。AR实景采集模块504、AR传感器模块505、AR位置信息采集模块506、目标标注模块508、以及AR前端显示模块511等模块可以部署在AR眼镜中。AR眼镜可以与服务器连接。也即,AR系统中的POI信息文件识别模块501、POI信息处理模块502、物体POI信息库503、显示目标处理模块507、模型训练模块509、以及识别推理模块510等模块的功能均可以在在服务器上实现,以减轻AR眼镜的负载和处理压力。
例如,AR实景采集模块504、AR传感器模块505、AR位置信息采集模块506等模块在采集到AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、以及AR眼镜的位置信息后,AR眼镜可以向服务器发送AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、以及AR眼镜的位置信息。服务器接收到AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、以及AR眼镜的位置信息后,显示目标处理模块507可以按照前述实施例中所述的方式,确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置。然后,服务器可以向AR眼镜中的AR前端显示模块511发送当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置。
又例如,目标标注模块508获取到用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置、以及AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息后,AR眼镜可以向服务器中的模型训练模块509发送目标标注模块508获取到的前述信息。
另外一些实施例中,POI信息文件识别模块501、POI信息处理模块502、物体POI信息库503、显示目标处理模块507、模型训练模块509、以及识别推理模块510等模块中的一个或多个也可以部署在AR眼镜中,在此不作限制。
应当理解的是,上述提到的AR显示系统的部署在AR眼镜和服务器上的各模块实际上是基于功能逻辑的划分,在实际实现时,这些部署在AR眼镜上的各模块也可以有其他划分方式或集成在一个模块中实现。例如,这些部署在AR眼镜上的各模块的功能都由AR眼镜中的处理器来实现。基于这样的理解,上面提到的部署在AR眼镜上的各模块所执行的步骤,均可以认为是AR眼镜所执行的步骤。
下面以图5和图8所示的AR显示系统为例,结合AR显示系统中的各模块的功能,对本申请实施例提供的AR显示方法的实现步骤进行示例性说明。
示例性地,图9为本申请实施例提供的AR显示方法的流程示意图。如图9所示,该AR显示方法可以包括:
901、显示目标处理模块507获取AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息。
如前面的实施例中所述,AR实景采集模块504、AR传感器模块505、AR位置信息采集模块506等可以采集AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息,并将这些信息发送给显示目标处理模块507。
示例性地,当用户佩戴AR眼镜,且启动AR眼镜(如打开AR眼镜电源开关)时,显示目标处理模块507可以获取AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息。
902、显示目标处理模块507根据AR眼镜的位置信息在物体POI信息库503中查询距离AR眼镜的位置信息预设距离范围内的目标的POI信息。
步骤902的具体实现可以参见前面实施例所述,不再赘述。
903、显示目标处理模块507将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息输入第一识别模型,得到第一识别模型输出的第一信息、以及第一信息在AR眼镜的显示画面中的位置。
其中,第一信息即图9所示的流程中得到的当前AR眼镜的显示画面中可以显示的目标的关键目标信息;第一识别模型即前述实施例中所述的预训练的目标识别模型。
步骤903具体可以参见前面实施例所述,不再赘述。
904、显示目标处理模块507向AR前端显示模块511发送第一信息、以及第一信息在AR眼镜的显示画面中的位置。
相应地,AR前端显示模块511接收第一信息、以及第一信息在AR眼镜的显示画面中的位置。
905、AR前端显示模块511根据第一信息在AR眼镜的显示画面中的位置,在AR眼镜的显示画面中显示第一信息。
例如,可以参考图1所示的场景,假设用户佩戴AR眼镜处在某个景区范围内,且该景区内有A山峰和B湖泊,则当用户面向A山峰和B湖泊时,AR眼镜的显示画面中可以在A山峰所在的位置处叠加显示一个A山峰的标注框101,A山峰的标注框101中可以用文字显示A山峰的名称“A山”;AR眼镜的显示画面中可以在B湖泊所在的位置处叠加显示一个B湖泊的标注框102,B湖泊的标注框102中可以用文字显示B湖泊的名称“B湖”。用户查看图1所示的AR眼镜的显示画面时,通过标注框101中的文字“A山”可以了解到当前看到的山峰的名称,通过标注框101所围成的区域可以了解到当前看到的山峰的范围;通过标注框102中的文字“B湖”可以了解到当前看到的湖泊的名称,通过标注框102所围成的区域可以了解到当前看到的湖泊的范围。标注框101中的文字“A山”以及标注框101即A山峰的关键目标信息,标注框102中的文字“B湖”以及标注框102即B湖泊的关键目标信息。
请继续参考图2所示的AR眼镜的显示画面,对于图1所示的场景,当前AR眼镜的显示画面中A山峰的范围是通过A山峰的标注框101所围成的区域来表示的,但AR眼镜的显示画面中可以看到的A山峰的实际范围应当是虚线框201所围成的区域,A山峰的标注框101所围成的区域与虚线框201所围成的区域存在较大的偏差。也即,A山峰的关键目标信息并不准确。对于这种情况,在本申请实施例中,用户在查看AR眼镜的显示画面、发现A山峰的关键目标信息不准确时,可以主动进行标注操作,对A山峰的关键目标信息进行修正。目标标注模块508可以接收用户的标注操作,并响应于用户的标注操作,对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正。具体修正过程请参见下述步骤906至步骤909。
906、目标标注模块508接收用户的标注操作。
其中,标注操作为对第一信息进行修正的操作。
907、响应于用户的标注操作,目标标注模块508获取用户修正后的第一信息、以及用户修正后的第一信息在AR眼镜的显示画面中的位置。
用户修正后的第一信息即用户修正后的关键目标信息。
可选地,用户的标注操作可以是通过指示性语音指令、手势控制、眼球追踪交互等方式中的一种或多种,对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正的操作。
本申请实施例中,对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正,可以包括:对当前AR眼镜的显示画面中显示的目标的关键目标信息(即已有的关键目标信息)进行调整(如移动关键目标信息的位置、调整关键目标信息中标注框的大小等),和/或,在当前AR眼镜的显示画面中增加要显示的目标的关键目标信息(如为某个目标增加关键目标信息)。前述调整后的关键目标信息、增加的关键目标信息等即为用户修正后的关键目标信息。
目标标注模块508获取到用户修正后的关键目标信息、以及用户修正后的关键目标信息在AR眼镜的显示画面中的位置后,可以通过下述步骤908-步骤909,及时根据用户的修正,刷新AR眼镜的显示画面中显示的关键目标信息。
908、目标标注模块508向AR前端显示模块511发送用户修正后的第一信息、以及用户修正后的第一信息在AR眼镜的显示画面中的位置。
909、AR前端显示模块511根据用户修正后的第一信息、以及用户修正后的第一信息在AR眼镜的显示画面中的位置,更新AR眼镜的显示画面。
步骤907至步骤908也即为响应于标注操作,对第一信息进行修正的过程,可以根据修正后的第一信息在第一界面中的位置,将第一界面中的第一信息更新为修正后的第一信息。
例如,AR前端显示模块511在接收到用户修正后的关键目标信息、以及用户修正后的关键目标信息在AR眼镜的显示画面中的位置后,可以重复执行步骤905,将显示在AR眼镜的显示画面中的关键目标信息及时更新为用户修正后的关键目标信息。
在本申请中,步骤905中终端设备通过AR前端显示模块511显示的界面可以称为第一界面,当前所拍摄到的实际场景可以称为第一场景。也即,第一界面为第一场景对应的增强现实界面,第一界面包括终端设备拍摄到的第一场景的图像以及第一信息,第一信息为第一场景的图像中的第一目标的标注信息。步骤901至步骤903即获取第一信息的过程,在获取到第一信息后,步骤905中可以根据第一信息显示第一界面。
应当理解,用户在执行标注操作的过程中,步骤906至步骤909是跟随用户的标注操作不断重复执行的。即,用户每执行一次标注操作,都会触发步骤906至步骤909按顺序执行一次。
下面以用户的标注操作为通过指示性语音指令对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正的操作为例,结合图2所示的场景,对步骤906至步骤909所述的过程进行举例说明。
示例性地,假设一种可能的场景中,当前AR眼镜的显示画面如上述图2所示,当用户发现当前AR眼镜的显示画面中A山峰的标注框101所围成的区域与A山峰的实际范围(虚线框201所围成的区域)不吻合,即,A山峰的标注框101不准确时,用户可以发出指示性语音指令(或称为语音命令)来对当前AR眼镜的显示画面中显示的A山峰的标注框101进行修正。
例如,用户发出的指示性语音指令可以是“在中间标注方框,名称为‘A山’”。用户发出指示性语音指令“在中间标注方框,名称为‘A山’”的操作即为用户的标注操作。
当用户发出该指示性语音指令后,步骤906中,AR眼镜中配置的麦克风或其他收音设备可以采集到用户发出的指示性语音指令,并将该指示性语音指令传递给目标标注模块508。即,目标标注模块508接收指示性语音指令的过程即步骤906所述的接收用户的标注操作的过程。
目标标注模块508接收到该指示性语音指令后,步骤907中,目标标注模块508可以响应于该指示性语音指令,获取用户修正后的关键目标信息、以及用户修正后的关键目标信息在AR眼镜的显示画面中的位置。如:目标标注模块508获取到的用户修正后的关键目标信息为“标注方框,名称为‘A山’”,“标注方框,名称为‘A山’”在AR眼镜的显示画面中的位置为当前AR眼镜的显示画面中的中间位置。
步骤908中,目标标注模块508可以向AR前端显示模块511发送“标注方框,名称为‘A山’”,以及“标注方框,名称为‘A山’”在AR眼镜的显示画面中的位置。
步骤909中,AR前端显示模块511可以根据“标注方框,名称为‘A山’”,以及“标注方框,名称为‘A山’”在AR眼镜的显示画面中的位置,更新AR眼镜的显示画面。更新后的AR眼镜的显示画面中,关键目标信息被更新为“标注方框,名称为‘A山’”,“标注方框,名称为‘A山’”在AR眼镜的显示画面中的位置为当前AR眼镜的显示画面中的中间位置。
例如,图10为本申请实施例提供的更新后的AR眼镜的显示画面的示意图。如图10所示,AR前端显示模块511将“标注方框,名称为‘A山’”显示在AR眼镜的显示画面中时,当前AR眼镜的显示画面中的中间位置可以叠加显示一个标注方框1001,标注方框1001中可以用文字显示A山峰的名称“A山”。
结合图10可以看到,标注方框1001所围成的区域与A山峰的实际范围(图2中虚线框201所围成的区域)不吻合。此时,用户可以继续执行标注操作,对标注方框1001进行修正,以调整标注方框1001所围成的区域与A山峰的实际范围吻合。
示例性地,用户可以继续发出指示性语音指令来对标注方框1001的大小和位置进行调整。如:此时用户发出的指示性语音指令可以是“放大标注方框1001、向上移动标注方框1001”等。当用户继续发出该指示性语音指令后,该AR显示方法可以继续按照上述步骤906-步骤909所述的过程对标注方框1001进行修正(具体过程与前述示例相同,不再赘述)。通过一次或多次的标注操作后,标注方框1001所围成的区域与A山峰的实际范围可以基本吻合,标注方框1001能够较为准确地表达A山峰的实际范围。
例如,图11为本申请实施例提供的更新后的AR眼镜的显示画面的另一示意图。如图11所示,用户通过标注操作最终可以达到标注方框1001所围成的区域与A山峰的实际范围基本吻合的效果,使得标注方框1001能够较为准确地表达A山峰的实际范围,提高了标注方框1001的准确性。
以上以用户的标注操作为通过指示性语音指令,对当前AR眼镜的显示画面中显示的目标的关键目标信息进行修正的操作为例进行了示例性说明。在另外一些可能的示例中,用户的标注操作可以通过手势控制、或者眼球追踪交互中的任意一种来实现,或者通过指示性语音指令、手势控制、以及眼球追踪交互中的多种方式配合来实现。
例如,上面的示例中,用户继续执行标注操作对标注方框1001进行修正时,也可以采用其他手势控制、或者眼球追踪交互等方式。如,用户也可以通过手势控制来调整标注方框1001的方位和大小,使得标注方框1001的边缘与A山峰的实际范围相吻合等。
还有一些可能的示例中,用户执行标注操作的方式还可以包括:使用AR眼镜上的物理按键或者AR眼镜的外接设备(简称外设,如:手机、AR手柄等)执行标注操作。本申请对用户选用何种方式执行标注操作并不作限制。
另外,上面给出的示例中,由于是对A山峰的标注框101进行修正,所以更新后的AR眼镜的显示画面中仅显示了更新后的标注方框1001,并不会再显示之前的A山峰的标注框101。也即,本申请实施例中,当对某个目标的关键目标信息进行修正时,更新后的AR眼镜的显示画面中应当显示用户修正后的关键目标信息,不再显示修正前的关键目标信息。
还应当理解的是,以上仅以图2所示的场景中对A山峰的标注框101进行修正作为示例进行了说明,但上述图9所示的过程,同样适用于对其他目标(如B湖泊)的关键目标信息进行修正、以及新增关键目标信息的场景,在此不再一一赘述。
可选地,一些实施例中,当对某个已有的目标的关键目标信息进行修正时,用户也可以直接通过标注操作对已有的目标的关键目标信息进行调整,如:用户可以通过标注操作直接控制标注框101的大小和位置,使得标注框101所围成的区域与A山峰的实际范围基本吻合。
一些实施例中,AR眼镜还可以具备标注模式(或称为修正模式)。用户在进行标注操作前,需要先通过指令控制AR眼镜进入标注模式。在AR眼镜进入标注模式后,用户可以进行标注操作。其中,控制AR眼镜进入标注模式的指令也可以是指示性语音指令、手势控制指令、眼球追踪交互指令、使用AR眼镜上的物理按键或者AR眼镜的外接设备发出的指令中的任意一种或多种。
标注模式可以使得用户能够更直观地看到当前是否可以进行标注操作,在界面呈现上能够与正常的显示模式进行区分,给用户更好地视觉反馈。其中,正常的显示模式是指没有接收到用于控制AR眼镜进入标注模式的指令之前,正常显示第一信息的模式。
在本申请中,用于控制AR眼镜进入标注模式的指令可以称为第一指令。也即,本申请中,AR眼镜可以接收用户的第一指令,第一指令用于控制AR眼镜进入标注模式;AR眼镜可以响应于第一指令,进入标注模式;标注操作是AR眼镜进入标注模式后用户所执行的操作。
可选地,当AR眼镜进入标注模式后,AR前端显示模块511还可以在AR眼镜的显示界面中发出提示信息,提示用户当前为标注模式。例如,AR眼镜的显示界面中可以显示文字提示“标注模式”,或者,AR眼镜的显示界面中显示的关键目标虚线可以改变显示效果,如虚化、悬浮等,以提示用户当前为标注模式。本申请在此对提示信息的具体实现方式不作限制。
通过在第一界面中显示提示信息,可以更好地提示用户当前可以进行标注操作,能够提升用户的交互体验。
与进入标注模式类似,一些实施例中,用户在完成标注操作后,还可以通过指令控制AR眼镜退出标注模式。在AR眼镜退出标注模式后,用户无法进行标注操作。其中,控制AR眼镜退出标注模式的指令也可以是指示性语音指令、手势控制指令、眼球追踪交互指令、使用AR眼镜上的物理按键或者AR眼镜的外接设备发出的指令中的任意一种或多种。例如,用户可以发出指示性语音指令“标注完成”,AR眼镜接收到该指示性语音指令后,可以退出标注模式。
或者,其他一些实施例中,AR眼镜在预设时长(如1分钟、2分钟等)内没有在接收到新的标注操作时,也可以自动退出标注模式。
在本申请中,用于控制AR眼镜退出标注模式的指令可以称为第二指令。也即,本申请中,AR眼镜可以接收用户的第二指令,第二指令用于控制AR眼镜退出标注模式;AR眼镜可以响应于第二指令,退出标注模式。
可选地,如前述关于AR显示系统的描述中所述,该AR显示方法中,目标标注模块508还可以将用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置、以及AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息,发送至模型训练模块509。
模型训练模块509可以将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息等信息作为输入,将用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置作为输出,训练获取基于用户反馈的目标识别模型。
基于用户反馈的目标识别模型可以具有根据AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息等信息,输出当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置的功能。
识别推理模块510可以将模型训练模块509训练得到的基于用户反馈的目标识别模型作为目标识别推理服务部署到显示目标处理模块507中,供显示目标处理模块507下次进行目标识别时使用。
例如,图12为本申请实施例提供的AR显示方法的另一流程示意图。如图12所示,在图9所示的流程的基础上,该AR显示方法还可以包括:
1201、目标标注模块508向模型训练模块509发送用户修正后的关键目标信息、用户修正后的关键目标信息在AR眼镜的显示画面中的位置、以及AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、距离AR眼镜的位置信息预设距离范围内的目标的POI信息。
示例性地,用户修正后的关键目标信息在AR眼镜的显示画面中的位置可以包括:标注框的高度、顶点坐标、长度、形状等。
1202、模型训练模块509将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息作为输入,将用户修正后的关键目标信息、以及用户修正后的关键目标信息在AR眼镜的显示画面中的位置作为输出,训练获取第二识别模型。
其中,第二识别模型即前述实施例中所述的基于用户反馈的目标识别模型。
1203、识别推理模块510将第二识别模型作为目标识别推理服务部署到显示目标处理模块507中。
后续显示目标处理模块507在根据AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息,确定当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置时,可以将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息等信息输入到第二识别模型,通过第二识别模型可以输出当前AR眼镜的显示画面中可以显示的目标的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置。基于用户反馈的目标识别模型可以输出的关键目标信息、以及关键目标信息在AR眼镜的显示画面中的位置是基于用户反馈得到的,准确性得到了大大提升。如:关键目标信息在AR眼镜的显示画面中的目标定位会更加准确,减少了偏差。
例如,图13为本申请实施例提供的AR显示方法的又一流程示意图。当用户再次启动AR眼镜、或者AR眼镜继续运行时、又或者其他用户启动了其他的AR眼镜时,AR眼镜均可以按照图13所示的方法显示画面。如图13所示,该AR显示方法可以包括:
1301、显示目标处理模块507获取AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息。
1302、显示目标处理模块507根据AR眼镜的位置信息在物体POI信息库503中查询距离AR眼镜的位置信息预设距离范围内的目标的POI信息。
1303、显示目标处理模块507将AR眼镜当前所拍摄到的实际场景的图像、AR眼镜的方位信息、AR眼镜的垂直朝向角度信息、AR眼镜的位置信息、以及距离AR眼镜的位置信息预设距离范围内的目标的POI信息输入第二识别模型,得到第二识别模型输出的第二信息、以及第二信息在AR眼镜的显示画面中的位置。
其中,第二信息即图13所示的流程中得到的当前AR眼镜的显示画面中可以显示的目标的关键目标信息。由于第二识别模型是根据用户修正后的第一信息进行训练得到的,所以第二信息也即是根据用户修正后的第一信息所获取的。
1304、显示目标处理模块507向AR前端显示模块511发送第二信息、以及第二信息在AR眼镜的显示画面中的位置。
相应地,AR前端显示模块511接收第二信息、以及第二信息在AR眼镜的显示画面中的位置。
1305、AR前端显示模块511根据第二信息在AR眼镜的显示画面中的位置,在AR眼镜的显示画面中显示第二信息。
步骤1301至步骤1305可以参考前述实施例所述,不再详细描述具体实现。
可以理解的,本申请实施例中,图13所示的实施例应当是在用户进行标注操作后,AR眼镜退出标注模式后实现的。图13所示的实施例中,步骤1305中AR眼镜所显示的界面可以称为第二界面。第二界面为第一场景对应的增强现实界面,第二界面包括终端设备拍摄到的所述第一场景的图像以及第二信息,第二信息是根据修正后的第一信息所获取的。步骤1301至步骤1304即获取第二信息的过程。AR眼镜获取到第二信息后,可以根据第二信息,显示第二界面。
应当理解的是,本申请实施例中所述的用户的标注操作可以是一个或多个用户的标注操作,进行标注操作的用户越多,该AR显示方法所显示出来的关键目标信息会越准确。当用户标注操作的数据足够多时,本申请实施例中,AR眼镜能够推理出处于任意角度下的关键目标信息。
可选地,该AR显示方法中,目标标注模块508向模型训练模块509发送的信息还可以包括:用户进行标注操作的时间、AR眼镜的型号、AR眼镜的移动轨迹以及加速度等。这些信息均可以一并作为训练基于用户反馈的目标识别模型时的输入,用于模型训练模块509训练获取基于用户反馈的目标识别模型。通过将这些信息一并作为训练基于用户反馈的目标识别模型时的输入,可以进一步提高基于用户反馈的目标识别模型在推理关键目标信息的准确性。
另外,本申请实施例中,当用户佩戴AR眼镜转动头部时,AR眼镜还可以根据转动的角度,速度、距离等信息,对显示的关键目标信息进行调整,保持关键目标信息在实际看到的位置上方。
可选地,AR眼镜的显示画面中显示的关键目标信息可以是由AR眼镜推理出的所有目标的关键目标信息。或者,AR眼镜的显示画面中显示的关键目标信息也可以是AR眼镜基于推荐算法,从推理出的所有目标的关键目标信息中自动推荐的部分关键目标信息。又或者,AR眼镜的显示画面中显示的关键目标信息还可以是用户搜索的目标的关键目标信息等,在此不作限制、
例如,本申请实施例中,当用户佩戴AR眼镜站在某个位置时,如果用户想知道当前看到的实际场景中有什么景点,则用户可以发出语音命令“附近景点”,AR眼镜可以根据用户发出的语音命令,从推理出的所有目标的关键目标信息中选择类型为景点的目标的关键目标信息,并显示在AR眼镜的显示画面中。
也即,上述第一信息为自动推荐的第一目标的标注信息或者用户搜索的第一目标的标注信息。基于这样的理解,本申请实施例中,AR眼镜还可以接收用户搜索第一目标的操作,并响应于搜索第一目标的操作,在第一界面中显示第一信息。
可选地,上述第一目标包括山峰、建筑、湖泊、河流、以及景区中的一种或多种,在此不作限制。
对应于前述实施例中所述的增强现实显示方法,本申请实施例还提供一种增强现实显示装置,该装置可以应用于具有增强现实功能的终端设备,用于实现前述实施例所述的增强现实显示方法。该装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。
例如,图14为本申请实施例提供的增强现实显示装置的结构示意图。如图14所示,该装置可以包括:显示单元1401、接收单元1402、以及处理单元1403等。
其中,显示单元1401,用于显示第一界面,第一界面为第一场景对应的增强现实界面,第一界面包括终端设备拍摄到的第一场景的图像以及第一信息,第一信息为第一场景的图像中的第一目标的标注信息。接收单元1402,用于接收用户的标注操作,标注操作为对第一信息进行修正的操作。处理单元1403,用于响应于标注操作,对第一信息进行修正。
可选地,处理单元1403,具体用于响应于标注操作,获取修正后的第一信息以及修正后的第一信息在第一界面中的位置;根据修正后的第一信息在第一界面中的位置,将第一界面中的第一信息更新为修正后的第一信息。
可选地,显示单元1401,具体用于获取第一信息;根据第一信息,显示第一界面。
一些实现方式中,终端设备与服务器连接;图15为本申请实施例提供的增强现实显示装置的另一结构示意图。如图15所示,该装置还包括发送单元1404,发送单元1404用于向服务器发送第一场景的图像、终端设备的方位信息、垂直朝向角度信息、以及位置信息;接收单元1402,用于接收来自服务器的第一信息。显示单元1401,具体用于获取接收单元1402接收的第一信息。
一些实现方式中,所述标注操作包括通过指示性语音指令、手势控制、眼球追踪交互、终端设备的物理按键、以及终端设备的外接设备中的一种或多种,对第一信息进行修正的操作。
一些实现方式中,所述第一信息包括以下一种或多种:第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的物体兴趣点信息。
可选地,所述对第一信息进行修正,包括:修改或添加第一目标的名称、用于标注第一目标所处范围的标注框、第一目标的介绍、以及第一目标的物体兴趣点信息中的一种或多种。
一些实现方式中,接收单元1402,还用于接收用户的第一指令,第一指令用于控制终端设备进入标注模式;处理单元1403,还用于响应于第一指令,进入标注模式;标注操作是终端设备进入标注模式后用户所执行的操作。
可选地,所述第一指令包括:指示性语音指令、手势控制指令、眼球追踪交互指令、通过终端设备的物理按键发出的指令、以及通过终端设备的外接设备发出的指令中的一种或多种。
一些实现方式中,显示单元1401,还用于在第一界面中显示提示信息,提示信息用于提示用户终端设备当前为标注模式。
可选地,接收单元1402,还用于接收用户的第二指令,第二指令用于控制终端设备退出标注模式;处理单元1403,还用于响应于第二指令,退出标注模式。
可选地,所述退出标注模式之后,显示单元1401,还用于显示第二界面,第二界面为第一场景对应的增强现实界面,第二界面包括终端设备拍摄到的第一场景的图像以及第二信息,第二信息是根据修正后的第一信息所获取的。
可选地,显示单元1401,具体用于获取第二信息;根据第二信息,显示第二界面。
一些实现方式中,发送单元1404,还用于向服务器发送终端设备的方位信息、垂直朝向角度信息、以及位置信息,用于服务器根据位置信息,确定距离位置信息预设范围内的目标的物体兴趣点信息,并将第一场景的图像、方位信息、垂直朝向角度信息、位置信息、以及距离位置信息预设范围内的目标的物体兴趣点信息作为输入,将修正后的第一信息、以及修正后的第一信息在第一界面中的位置作为输出,对第一识别模型进行优化训练,训练获取第二识别模型。
发送单元1404,还用于向服务器发送所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、位置信息;服务器可以将所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、位置信息、以及距离所述位置信息预设范围内的目标的物体兴趣点信息输入第二识别模型,得到第二识别模型输出的第二信息。接收单元1402,还用于接收来自服务器的第二信息。显示单元1401,具体用于获取接收单元1402接收的第二信息。
一些实现方式中,所述第一信息为自动推荐的第一目标的标注信息或者用户搜索的第一目标的标注信息。
一些实现方式中,接收单元1402,还用于接收用户搜索第一目标的操作;处理单元1403,还用于响应于搜索第一目标的操作,控制显示单元1401在第一界面中显示第一信息。
一些实现方式中,所述第一目标包括山峰、建筑、湖泊、河流、以及景区中的一种或多种。
一些实现方式中,所述终端设备包括:增强现实可穿戴设备或增强显示非可穿戴设备。
类似地,该增强现实显示装置可以用于实现前述方法实施例中所述的增强现实显示方法的全部功能,不再一一赘述。
应当理解,该增强现实显示装置还可能包括用于实现前述实施例所述的增强现实显示方法的其他模块或单元,在此并未一一示出。
可选地,上述服务器也可以包括发送单元、接收单元、处理单元等,用于实现以上实施例中所述的服务器的功能。例如,发送单元用于实现服务器发送信息的功能,接收单元用于实现服务器接收信息的功能,处理单元用于实现服务器训练第一识别模型、第二识别模型,或者通过第一识别模型、第二识别模型进行目标识别等处理信息的功能。在此不再对服务器中单元的划分进行详细说明。
应理解以上装置中单元(或称为模块)的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元以硬件的形式实现。
例如,各个单元可以为单独设立的处理元件,也可以集成在装置的某一个芯片中实现,此外,也可以以程序的形式存储于存储器中,由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件又可以称为处理器,可以是一种具有信号的处理能力的集成电路。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
在一个例子中,以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个专用集成电路(application specific integrated circuit,ASIC),或,一个或多个数字信号处理器(digital signal process,DSP),或,一个或者多个现场可编辑逻辑门阵列(field programmable gate array,FPGA),或这些集成电路形式中至少两种的组合。
再如,当装置中的单元可以通过处理元件调度程序的形式实现时,该处理元件可以是通用处理器,例如中央处理器(central processing unit,CPU)或其它可以调用程序的处理器。再如,这些单元可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在一种实现中,以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如,该装置可以包括处理元件和存储元件,处理元件调用存储元件存储的程序,以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件,即片内存储元件。
在另一种实现中,用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件,即片外存储元件。此时,处理元件从片外存储元件调用或加载程序于片内存储元件上,以调用并执行以上方法实施例所述的方法。
例如,本申请实施例还可以提供一种装置,如:电子设备。该电子设备可以包括:处理器;存储器;以及计算机程序;其中,所述计算机程序存储在所述存储器上,当所述计算机程序被所述处理器执行时,使得所述电子设备实现如前述实施例所述的方法。该存储器可以位于该电子设备之内,也可以位于该电子设备之外。且该处理器包括一个或多个。
示例性地,该电子设备可以是AR眼镜、AR头戴显示器设备、AR头显、以及AR头盔等AR可穿戴设备,或者具有AR功能的手机、平板、电脑等其他终端设备,本申请实施例对电子设备的具体类型不作限制。
在又一种实现中,该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件,这里的处理元件可以为集成电路,例如:一个或多个ASIC,或,一个或多个DSP,或,一个或者多个FPGA,或者这些类集成电路的组合。这些集成电路可以集成在一起,构成芯片。
例如,本申请实施例还提供一种芯片,该芯片可以应用于上述电子设备。芯片包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;处理器通过接口电路从电子设备的存储器接收并执行计算机指令,以实现如前述实施例所述的方法。
本申请实施例还提供一种计算机程序产品,包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器实现如前述实施例所述的方法。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。
基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,如:程序。该软件产品存储在一个程序产品,如计算机可读存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
例如,本申请实施例还可以提供一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备实现如前述实施例所述的方法。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种增强现实显示方法,其特征在于,所述方法应用于终端设备,所述终端设备具有增强现实功能,所述方法包括:
显示第一界面,所述第一界面为第一场景对应的增强现实界面,所述第一界面包括所述终端设备拍摄到的所述第一场景的图像以及第一信息,所述第一信息为所述第一场景的图像中的第一目标的标注信息;
接收用户的标注操作,所述标注操作为对所述第一信息进行修正的操作;
响应于所述标注操作,对所述第一信息进行修正。
2.根据权利要求1所述的方法,其特征在于,所述响应于所述标注操作,对所述第一信息进行修正,包括:
响应于所述标注操作,获取修正后的第一信息以及所述修正后的第一信息在所述第一界面中的位置;
根据所述修正后的第一信息在所述第一界面中的位置,将所述第一界面中的所述第一信息更新为所述修正后的第一信息。
3.根据权利要求2所述的方法,其特征在于,所述显示第一界面,包括:
获取所述第一信息;
根据所述第一信息,显示所述第一界面。
4.根据权利要求3所述的方法,其特征在于,所述终端设备与服务器连接;所述获取所述第一信息,包括:
向所述服务器发送所述第一场景的图像、所述终端设备的方位信息、垂直朝向角度信息、以及位置信息;
接收来自所述服务器的所述第一信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述标注操作包括通过指示性语音指令、手势控制、眼球追踪交互、所述终端设备的物理按键、以及所述终端设备的外接设备中的一种或多种,对所述第一信息进行修正的操作。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述第一信息包括以下一种或多种:所述第一目标的名称、用于标注所述第一目标所处范围的标注框、所述第一目标的介绍、以及所述第一目标的物体兴趣点信息。
7.根据权利要求6所述的方法,其特征在于,所述对所述第一信息进行修正,包括:修改或添加所述第一目标的名称、用于标注所述第一目标所处范围的标注框、所述第一目标的介绍、以及所述第一目标的物体兴趣点信息中的一种或多种。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
接收用户的第一指令,所述第一指令用于控制所述终端设备进入标注模式;
响应于所述第一指令,进入标注模式;所述标注操作是所述终端设备进入所述标注模式后用户所执行的操作。
9.根据权利要求8所述的方法,其特征在于,所述第一指令包括:指示性语音指令、手势控制指令、眼球追踪交互指令、通过所述终端设备的物理按键发出的指令、以及通过所述终端设备的外接设备发出的指令中的一种或多种。
10.根据权利要求8或9所述的方法,其特征在于,所述方法还包括:
在所述第一界面中显示提示信息,所述提示信息用于提示用户所述终端设备当前为标注模式。
11.根据权利要求8-10任一项所述的方法,其特征在于,所述方法还包括:
接收用户的第二指令,所述第二指令用于控制所述终端设备退出所述标注模式;
响应于所述第二指令,退出所述标注模式。
12.根据权利要求11所述的方法,其特征在于,所述退出所述标注模式之后,所述方法还包括:
显示第二界面,所述第二界面为所述第一场景对应的增强现实界面,所述第二界面包括所述终端设备拍摄到的所述第一场景的图像以及第二信息,所述第二信息是根据所述修正后的第一信息所获取的。
13.根据权利要求12所述的方法,其特征在于,所述显示第二界面,包括:
获取所述第二信息;
根据所述第二信息,显示所述第二界面。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述第一信息为自动推荐的所述第一目标的标注信息或者用户搜索的所述第一目标的标注信息。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
接收用户搜索第一目标的操作;
响应于所述搜索第一目标的操作,在所述第一界面中显示所述第一信息。
16.根据权利要求1-15任一项所述的方法,其特征在于,所述第一目标包括山峰、建筑、湖泊、河流、以及景区中的一种或多种。
17.根据权利要求1-16任一项所述的方法,其特征在于,所述终端设备包括:增强现实可穿戴设备。
18.一种增强现实显示装置,其特征在于,所述装置应用于终端设备,所述终端设备具有增强现实功能,所述装置包括:
显示单元,用于显示第一界面,所述第一界面为第一场景对应的增强现实界面,所述第一界面包括所述终端设备拍摄到的所述第一场景的图像以及第一信息,所述第一信息为所述第一场景的图像中的第一目标的标注信息;
接收单元,用于接收用户的标注操作,所述标注操作为对所述第一信息进行修正的操作;
处理单元,用于响应于所述标注操作,对所述第一信息进行修正。
19.一种电子设备,其特征在于,包括:处理器;存储器;以及计算机程序;其中,所述计算机程序存储在所述存储器上,当所述计算机程序被所述处理器执行时,使得所述电子设备实现如权利要求1-17任一项所述的方法。
20.一种计算机可读存储介质,所述计算机可读存储介质包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备实现如权利要求1-17任一项所述的方法。
CN202210428172.3A 2022-04-22 2022-04-22 增强现实显示方法、装置、设备及存储介质 Pending CN116974497A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210428172.3A CN116974497A (zh) 2022-04-22 2022-04-22 增强现实显示方法、装置、设备及存储介质
PCT/CN2023/087318 WO2023202404A1 (zh) 2022-04-22 2023-04-10 增强现实显示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210428172.3A CN116974497A (zh) 2022-04-22 2022-04-22 增强现实显示方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116974497A true CN116974497A (zh) 2023-10-31

Family

ID=88419079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210428172.3A Pending CN116974497A (zh) 2022-04-22 2022-04-22 增强现实显示方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN116974497A (zh)
WO (1) WO2023202404A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740425A (zh) * 2018-11-23 2019-05-10 上海扩博智能技术有限公司 基于增强现实的图像标注方法、系统、设备及存储介质
CN111445583B (zh) * 2020-03-18 2023-08-01 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN114009003A (zh) * 2020-05-28 2022-02-01 北京小米移动软件有限公司南京分公司 图像采集方法、装置、设备及存储介质
CN111917918B (zh) * 2020-07-24 2021-09-21 腾讯科技(深圳)有限公司 基于增强现实的事件提醒管理方法、装置以及存储介质
CN112598805A (zh) * 2020-12-24 2021-04-02 浙江商汤科技开发有限公司 一种提示信息展示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023202404A1 (zh) 2023-10-26

Similar Documents

Publication Publication Date Title
JP5443134B2 (ja) シースルー・ディスプレイに現実世界の対象物の位置をマークする方法及び装置
US11710322B2 (en) Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program
JP2020064068A (ja) 視覚強化ナビゲーション
WO2019037489A1 (zh) 地图显示方法、装置、存储介质及终端
AU2015265416B2 (en) Method and system for image georegistration
US9569898B2 (en) Wearable display system that displays a guide for a user performing a workout
JP6025433B2 (ja) 携帯ナビゲーション装置
JP6123120B2 (ja) 拡張現実オブジェクトを発見するための方法および端末
US20130342713A1 (en) Cloud service based intelligent photographic method, device and mobile terminal
US20140160170A1 (en) Provision of an Image Element on a Display Worn by a User
CN108154558B (zh) 一种增强现实方法、装置和系统
CN111540059A (zh) 提供加强环境感知的增强视频系统
JP4969053B2 (ja) 携帯端末装置及び表示方法
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
CN111131904B (zh) 视频播放方法及头戴电子设备
EP4030391A1 (en) Virtual object display method and electronic device
CN106525065A (zh) 电子地图导航方法及装置
US10912916B2 (en) Electronic display adjustments to mitigate motion sickness
CN110263615A (zh) 车辆拍摄中的交互处理方法、装置、设备及客户端
CN113160427A (zh) 虚拟场景的创建方法、装置、设备及存储介质
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
CN112525185B (zh) 基于定位的ar导览方法及ar头戴式显示装置
CN114608591B (zh) 车辆定位方法、装置、存储介质、电子设备、车辆及芯片
KR102578119B1 (ko) 모바일 디바이스와 연동하는 스마트 안경 작동 방법
US20210312658A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination