CN112669578A - 余光区域中基于声源的感兴趣对象告警方法和系统 - Google Patents

Abstract

本发明提供了一种余光区域中基于声源的感兴趣对象告警方法和系统，包括：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。本发明通过声音来跟踪并判断感兴趣对象与AR眼镜佩戴者的相对位置，节省了通过图像识别对感兴趣现实对象进行跟踪的计算量。

Description

余光区域中基于声源的感兴趣对象告警方法和系统

技术领域

本发明涉及AR领域，具体地，涉及余光区域中基于声源的感兴趣对象告警方法和系统。

背景技术

专利文献CN109145566A提供了一种基于注视点信息解锁AR眼镜的方法、装置及AR眼镜，涉及虚拟现实技术领域。本发明实施例提供的基于注视点信息解锁AR眼镜的方法、装置及AR眼镜，采集用户的注视点的信息，根据注视点的信息，生成解锁信息，将解锁信息与预存的解锁秘钥进行比对；根据比对结果，判断是否解锁AR眼镜。与现有的解锁方式相比，提高了解锁操作的便捷性，改善了用户体验。在已知解锁信息的情况下不易犯错，在不知解锁信息的情况下，很难通过穷举法破解，进一步提高了设备的使用安全性。

专利文献CN109298780A提供一种基于AR的信息处理方法、装置、AR设备及存储介质。本发明实施例的方法，通过在用户使用AR设备过程中，当用户眼球注视目标物体时，能够获取到用户眼球所注视的目标物体的图像信息，根据目标物体的图像信息获取目标物体的相关信息，并将目标物体的相关信息叠加到用户视野范围内的AR场景图像中，从而可以实时地根据用户注视点，将搜索到用户所注视的物体的任何相关信息叠加到AR场景图像中，极大地丰富了叠加到AR场景中的虚拟信息；并且可以根据用户关注点的不同，向用户展示用户所关注的物体的相关信息，无需为AR场景或者AR场景中的部分物体绑定对应的虚拟信息，可以实现AR场景中虚拟信息个性化叠加。

专利文献CN206178657U公开了一种AR互动展示系统和博物馆文物互动展示系统。上述AR互动展示系统包括：摄像装置、声音采集设备、实时渲染电路、声音识别电路、图像识别电路和智能显示装置；所述声音采集设备采集用户的声音信号，将所述声音信号发送至声音识别电路，所述声音识别电路将声音识别结果发送至智能显示装置，所述智能显示装置控制摄像装置对目标物体进行摄像，摄像装置将摄像得到的图像信息发送至图像识别电路进行识别，所述图像识别电路将识别后的图像信息发送至实时渲染电路，所述实时渲染电路对图像信息进行渲染后，发送至智能显示装置，所述智能显示装置展示目标物体对应的图像信息。其可以针对上述声音信息进行展示，有效提高了展示效果。

专利文献CN107045816A公开了基于AR眼镜和数据手套的空战对抗训练模拟装置，飞行模拟座舱分别连接全数字仿真平台、AR眼镜、数据采集分析装置，AR眼镜上分别设置有立体音响、三轴惯性姿态传感器、摄像头；全数字仿真平台生成飞行员所感知的真实场景和音频信号，将真实场景投影至AR眼镜的镜片上，音频信号发送至立体音响；三轴惯性姿态传感器用于测量飞行员的头部动作信息；摄像头用于采集飞行员观察到的真实场景信息；通过飞行员佩戴AR虚拟现实增强眼镜，与飞行模拟座舱共同营造出一种高逼真度的飞行训练环境。

现有技术的不足之处是，没有充分利用余光区域，尤其是没有结合感兴趣现实对象的声源方位与余光区域之间的关系。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种余光区域中基于声源的感兴趣对象告警方法和系统。

根据本发明提供的一种余光区域中基于声源的感兴趣对象告警方法，包括：

注视点获取步骤：获取AR眼镜佩戴者的注视点；

余光区域获取步骤：根据AR眼镜佩戴者的注视点，确定AR眼镜佩戴者的余光区域；

感兴趣声源检测步骤：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。

优选地，事先对感兴趣现实对象的声源进行录制，记录为感兴趣现实对象声源模版；当在感兴趣声源检测步骤中检测到有声音来源时，将所述声音来源与所述感兴趣现实对象声源模版进行匹配；若匹配度高于匹配阈值，则认为所述声音来源为感兴趣声源，并确认感兴趣声源的传播来源方位，将感兴趣声源的传播来源方位与AR眼镜的余光区域的视界角度范围进行比较；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围外部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域外；若匹配度低于等于匹配阈值，则认为所述声音来源不是感兴趣声源。

优选地，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域；根据AR眼镜的姿态与朝向、余光区域在AR眼镜佩戴者的视界区域中的分布位置，得到余光区域的视界角度范围。

优选地，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；根据当前的AR眼镜的姿态与朝向，判断感兴趣声源的传播来源方位是否属于AR眼镜佩戴者的视角范围之内；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之内，且没有位于注视点位置，则认为感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之外，则认为感兴趣声源的传播来源方位没有落在AR眼镜的余光区域的视界角度范围内部。

优选地，包括：

偏好获取步骤：对余光区域中的现实环境中的现实对象进行识别，并将被识别到的次数超过次数阈值的现实对象作为AR眼镜佩戴者的感兴趣现实对象，根据所述偏好向AR眼镜佩戴者提供推荐信息；

若一现实对象在余光区域中持续出现的时间大于时间阈值，且然后被AR眼镜佩戴者的注视点注视，则将该现实对象被识别到的次数增加1次；将AR眼镜佩戴者的注视点注视过的现实对象的图像作为比对模版存储，在余光区域识别现实对象时，将待识别的现实对象与比对模版进行匹配，来识别现实对象。

根据本发明提供的一种余光区域中基于声源的感兴趣对象告警系统，包括：

注视点获取模块：获取AR眼镜佩戴者的注视点；

余光区域获取模块：根据AR眼镜佩戴者的注视点，确定AR眼镜佩戴者的余光区域；

感兴趣声源检测模块：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。

优选地，事先对感兴趣现实对象的声源进行录制，记录为感兴趣现实对象声源模版；当在感兴趣声源检测模块中检测到有声音来源时，将所述声音来源与所述感兴趣现实对象声源模版进行匹配；若匹配度高于匹配阈值，则认为所述声音来源为感兴趣声源，并确认感兴趣声源的传播来源方位，将感兴趣声源的传播来源方位与AR眼镜的余光区域的视界角度范围进行比较；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围外部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域外；若匹配度低于等于匹配阈值，则认为所述声音来源不是感兴趣声源。

优选地，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域；根据AR眼镜的姿态与朝向、余光区域在AR眼镜佩戴者的视界区域中的分布位置，得到余光区域的视界角度范围。

优选地，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；

根据当前的AR眼镜的姿态与朝向，判断感兴趣声源的传播来源方位是否属于AR眼镜佩戴者的视角范围之内；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之内，且没有位于注视点位置，则认为感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之外，则认为感兴趣声源的传播来源方位没有落在AR眼镜的余光区域的视界角度范围内部。

优选地，包括：

偏好获取模块：对余光区域中的现实环境中的现实对象进行识别，并将被识别到的次数超过次数阈值的现实对象作为AR眼镜佩戴者的感兴趣现实对象，根据所述偏好向AR眼镜佩戴者提供推荐信息；

若一现实对象在余光区域中持续出现的时间大于时间阈值，且然后被AR眼镜佩戴者的注视点注视，则将该现实对象被识别到的次数增加1次；将AR眼镜佩戴者的注视点注视过的现实对象的图像作为比对模版存储，在余光区域识别现实对象时，将待识别的现实对象与比对模版进行匹配，来识别现实对象。

与现有技术相比，本发明具有如下的有益效果：

本发明通过声音来跟踪并判断感兴趣对象与AR眼镜佩戴者的相对位置，节省了通过图像识别对感兴趣现实对象进行跟踪的计算量，并在感兴趣现实对象发出声音且没有位于余光区域时向AR眼镜佩戴者进行告警。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法的步骤流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种余光区域中基于声源的感兴趣对象告警方法，包括：

注视点获取步骤：获取AR眼镜佩戴者的注视点；具体地，根据AR眼镜佩戴者的眼部信息可以得到AR眼镜佩戴者的注视点的位置。本领域技术人员至少可以参照专利文献CN105812777B实现注视点的获取，在此不予赘述。

余光区域获取步骤：根据AR眼镜佩戴者的注视点，确定AR眼镜佩戴者的余光区域；在一个优选例中，将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域。其中，所述网格采用行列排布的网格。进一步优选地，网格化可以是分别将每个眼镜的视界区域划分为5行6列的网格。

感兴趣声源检测步骤：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。具体地，感兴趣现实对象是儿童、狗、猫，例如宠物狗、宠物猫。当宠物狗发出叫声时，可能预示着危险的发生，此时若宠物狗等感兴趣现实对象不在余光区域内，且不在注视点位置处，则要告警AR眼镜佩戴者，以提示AR眼镜佩戴者转动头部寻找查看感兴趣现实对象。

在优选例中，事先对感兴趣现实对象的声源进行录制，记录为感兴趣现实对象声源模版；当在感兴趣声源检测步骤中检测到有声音来源时，将所述声音来源与所述感兴趣现实对象声源模版进行匹配；若匹配度高于匹配阈值，则认为所述声音来源为感兴趣声源，并确认感兴趣声源的传播来源方位，将感兴趣声源的传播来源方位与AR眼镜的余光区域的视界角度范围进行比较；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围外部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域外；若匹配度低于等于匹配阈值，则认为所述声音来源不是感兴趣声源。进一步优选地，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域；根据AR眼镜的姿态与朝向、余光区域在AR眼镜佩戴者的视界区域中的分布位置，得到余光区域的视界角度范围。具体地，通过AR眼镜的姿态与朝向，能够得知AR眼镜本身坐标系与大地XYZ坐标系之间的转换关系，将余光区域在AR眼镜本身坐标系的坐标根据转换关系进行转换，则得到余光区域在大地XYZ坐标系中的坐标。

在一个变化例中，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；根据当前的AR眼镜的姿态与朝向，判断感兴趣声源的传播来源方位是否属于AR眼镜佩戴者的视角范围之内；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之内，且没有位于注视点位置，则认为感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之外，则认为感兴趣声源的传播来源方位没有落在AR眼镜的余光区域的视界角度范围内部。在本变化例中，是利用了人类眼部能够观察到的视角范围是有限的，对传播来源的方位进行识别获取。

偏好获取步骤：对余光区域中的现实环境中的现实对象进行识别，并将被识别到的次数超过次数阈值的现实对象作为AR眼镜佩戴者的感兴趣现实对象，根据所述偏好向AR眼镜佩戴者提供推荐信息。本发明中余光区域也是使用者的感兴趣区域，例如使用者始终让自己的宠物狗位于自己的余光区域中，以持续注意宠物狗的行为。通过比较不同时间下余光区域中内容的共性信息，从而可以发现余光区域中的感兴趣现实对象。

若一现实对象在余光区域中持续出现的时间大于时间阈值，且然后被AR眼镜佩戴者的注视点注视，则将该现实对象被识别到的次数增加1次。将AR眼镜佩戴者的注视点注视过的现实对象的图像作为比对模版存储，在余光区域识别现实对象时，将待识别的现实对象与比对模版进行匹配，来识别现实对象。对于作为AR眼镜佩戴者的偏好的现实对象，在余光区域中进行高亮现实。例如宠物狗曾被注视过，将宠物狗的图像作为比对模版进行存储，将余光区域中的待识别现实对象与模版匹配，得到该现实对象为宠物狗，大为增加了识别率。且同时利用了注视点与余光区域的兴趣信息。

余光区域图像处理步骤：将位于AR眼镜佩戴者的余光区域中的虚拟对象进行降画质处理后显示。所述降画质处理包括：降低虚拟对象的分辨率。所述降画质处理包括：令虚拟对象模糊。本发明考虑到余光区域在现实视觉中是模糊的，因此没必要在余光区域中投入图形处理能力，并且余光区域很清晰反而不真实，因此经过较简单的算力处理后显示为余光区域。具体地，所述虚拟对象为程序界面，降低画质处理中可以仅仅显示程序界面的轮廓或者边缘，或者不对程序界面进行渲染。

尤其是，所述余光区域中基于声源的感兴趣对象告警方法包括：

提前加载步骤：根据注视点的运动轨迹预判注视点将到达的当前的余光区域，令所述注视点将到达的余光区域的程序界面按照非降画质的要求提前加载渲染；其中，可以将注视点的超过设定距离阈值的运动轨迹的延长线所接触的当前的余光区域，例如延长线所接触到的当前作为余光区域的网格区域，认为是所述注视点将到达的余光区域。

根据本发明提供的一种余光区域中基于声源的感兴趣对象告警方法系统，包括：

注视点获取模块：获取AR眼镜佩戴者的注视点；具体地，根据AR眼镜佩戴者的眼部信息可以得到AR眼镜佩戴者的注视点的位置。本领域技术人员至少可以参照专利文献CN105812777B实现注视点的获取，在此不予赘述。

余光区域获取模块：根据AR眼镜佩戴者的注视点，确定AR眼镜佩戴者的余光区域；在一个优选例中，将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域。其中，所述网格采用行列排布的网格。

感兴趣声源检测模块：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。具体地，感兴趣现实对象是儿童、狗、猫，例如宠物狗、宠物猫。当宠物狗发出叫声时，可能预示着危险的发生，此时若宠物狗等感兴趣现实对象不在余光区域内，且不在注视点位置处，则要告警AR眼镜佩戴者，以提示AR眼镜佩戴者转动头部寻找查看感兴趣现实对象。

在优选例中，事先对感兴趣现实对象的声源进行录制，记录为感兴趣现实对象声源模版；当在感兴趣声源检测模块中检测到有声音来源时，将所述声音来源与所述感兴趣现实对象声源模版进行匹配；若匹配度高于匹配阈值，则认为所述声音来源为感兴趣声源，并确认感兴趣声源的传播来源方位，将感兴趣声源的传播来源方位与AR眼镜的余光区域的视界角度范围进行比较；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围外部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域外；若匹配度低于等于匹配阈值，则认为所述声音来源不是感兴趣声源。进一步优选地，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域；根据AR眼镜的姿态与朝向、余光区域在AR眼镜佩戴者的视界区域中的分布位置，得到余光区域的视界角度范围。具体地，通过AR眼镜的姿态与朝向，能够得知AR眼镜本身坐标系与大地XYZ坐标系之间的转换关系，将余光区域在AR眼镜本身坐标系的坐标根据转换关系进行转换，则得到余光区域在大地XYZ坐标系中的坐标。

在一个变化例中，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；根据当前的AR眼镜的姿态与朝向，判断感兴趣声源的传播来源方位是否属于AR眼镜佩戴者的视角范围之内；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之内，且没有位于注视点位置，则认为感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之外，则认为感兴趣声源的传播来源方位没有落在AR眼镜的余光区域的视界角度范围内部。在本变化例中，是利用了人类眼部能够观察到的视角范围是有限的，对传播来源的方位进行识别获取。

偏好获取模块：对余光区域中的现实环境中的现实对象进行识别，并将被识别到的次数超过次数阈值的现实对象作为AR眼镜佩戴者的感兴趣现实对象，根据所述偏好向AR眼镜佩戴者提供推荐信息。本发明中余光区域也是使用者的感兴趣区域，例如使用者始终让自己的宠物狗位于自己的余光区域中，以持续注意宠物狗的行为。通过比较不同时间下余光区域中内容的共性信息，从而可以发现余光区域中的感兴趣现实对象。

若一现实对象在余光区域中持续出现的时间大于时间阈值，且然后被AR眼镜佩戴者的注视点注视，则将该现实对象被识别到的次数增加1次。将AR眼镜佩戴者的注视点注视过的现实对象的图像作为比对模版存储，在余光区域识别现实对象时，将待识别的现实对象与比对模版进行匹配，来识别现实对象。对于作为AR眼镜佩戴者的偏好的现实对象，在余光区域中进行高亮现实。例如宠物狗曾被注视过，将宠物狗的图像作为比对模版进行存储，将余光区域中的待识别现实对象与模版匹配，得到该现实对象为宠物狗，大为增加了识别率。且同时利用了注视点与余光区域的兴趣信息。

余光区域图像处理模块：将位于AR眼镜佩戴者的余光区域中的虚拟对象进行降画质处理后显示。所述降画质处理包括：降低虚拟对象的分辨率。所述降画质处理包括：令虚拟对象模糊。本发明考虑到余光区域在现实视觉中是模糊的，因此没必要在余光区域中投入图形处理能力，并且余光区域很清晰反而不真实，因此经过较简单的算力处理后显示为余光区域。具体地，所述虚拟对象为程序界面，降低画质处理中可以仅仅显示程序界面的轮廓或者边缘，或者不对程序界面进行渲染。

尤其是，所述余光区域中基于声源的感兴趣对象告警方法系统包括：

提前加载模块：根据注视点的运动轨迹预判注视点将到达的当前的余光区域，令所述注视点将到达的余光区域的程序界面按照非降画质的要求提前加载渲染；其中，可以将注视点的超过设定距离阈值的运动轨迹的延长线所接触的当前的余光区域，例如延长线所接触到的当前作为余光区域的网格区域，认为是所述注视点将到达的余光区域。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种余光区域中基于声源的感兴趣对象告警方法，其特征在于，包括：

注视点获取步骤：获取AR眼镜佩戴者的注视点；

余光区域获取步骤：根据AR眼镜佩戴者的注视点，确定AR眼镜佩戴者的余光区域；

感兴趣声源检测步骤：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。

2.根据权利要求1所述的余光区域中基于声源的感兴趣对象告警方法，其特征在于，事先对感兴趣现实对象的声源进行录制，记录为感兴趣现实对象声源模版；当在感兴趣声源检测步骤中检测到有声音来源时，将所述声音来源与所述感兴趣现实对象声源模版进行匹配；若匹配度高于匹配阈值，则认为所述声音来源为感兴趣声源，并确认感兴趣声源的传播来源方位，将感兴趣声源的传播来源方位与AR眼镜的余光区域的视界角度范围进行比较；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围外部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域外；若匹配度低于等于匹配阈值，则认为所述声音来源不是感兴趣声源。

3.根据权利要求2所述的余光区域中基于声源的感兴趣对象告警方法，其特征在于，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域；根据AR眼镜的姿态与朝向、余光区域在AR眼镜佩戴者的视界区域中的分布位置，得到余光区域的视界角度范围。

4.根据权利要求2所述的余光区域中基于声源的感兴趣对象告警方法，其特征在于，

通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；

根据当前的AR眼镜的姿态与朝向，判断感兴趣声源的传播来源方位是否属于AR眼镜佩戴者的视角范围之内；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之内，且没有位于注视点位置，则认为感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之外，则认为感兴趣声源的传播来源方位没有落在AR眼镜的余光区域的视界角度范围内部。

5.根据权利要求1所述的余光区域中基于声源的感兴趣对象告警方法，其特征在于，包括：

偏好获取步骤：对余光区域中的现实环境中的现实对象进行识别，并将被识别到的次数超过次数阈值的现实对象作为AR眼镜佩戴者的感兴趣现实对象，根据所述偏好向AR眼镜佩戴者提供推荐信息；

若一现实对象在余光区域中持续出现的时间大于时间阈值，且然后被AR眼镜佩戴者的注视点注视，则将该现实对象被识别到的次数增加1次；将AR眼镜佩戴者的注视点注视过的现实对象的图像作为比对模版存储，在余光区域识别现实对象时，将待识别的现实对象与比对模版进行匹配，来识别现实对象。

6.一种余光区域中基于声源的感兴趣对象告警系统，包括：

注视点获取模块：获取AR眼镜佩戴者的注视点；

余光区域获取模块：根据AR眼镜佩戴者的注视点，确定AR眼镜佩戴者的余光区域；

感兴趣声源检测模块：对感兴趣声源进行检测，当检测到感兴趣声源时，判断感兴趣声源对应的感兴趣现实对象是否位于AR眼镜佩戴者的余光区域内；若感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内，则不进行告警；若感兴趣声源对应的感兴趣现实对象没有位于AR眼镜佩戴者的余光区域内，则进行告警。

7.根据权利要求6所述的余光区域中基于声源的感兴趣对象告警系统，其特征在于，事先对感兴趣现实对象的声源进行录制，记录为感兴趣现实对象声源模版；当在感兴趣声源检测模块中检测到有声音来源时，将所述声音来源与所述感兴趣现实对象声源模版进行匹配；若匹配度高于匹配阈值，则认为所述声音来源为感兴趣声源，并确认感兴趣声源的传播来源方位，将感兴趣声源的传播来源方位与AR眼镜的余光区域的视界角度范围进行比较；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域内；若感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围外部，则认为感兴趣声源对应的感兴趣现实对象位于AR眼镜佩戴者的余光区域外；若匹配度低于等于匹配阈值，则认为所述声音来源不是感兴趣声源。

8.根据权利要求7所述的余光区域中基于声源的感兴趣对象告警系统，其特征在于，通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；将距离注视点设定距离之外的区域作为余光区域；或者是，将AR眼镜佩戴者的视界区域网格化划分，将与AR眼镜佩戴者的注视点所在网格不相邻的网格区域作为余光区域；根据AR眼镜的姿态与朝向、余光区域在AR眼镜佩戴者的视界区域中的分布位置，得到余光区域的视界角度范围。

9.根据权利要求7所述的余光区域中基于声源的感兴趣对象告警系统，其特征在于，

通过AR眼镜具有的加速度传感器检测AR眼镜的姿态与朝向；

根据当前的AR眼镜的姿态与朝向，判断感兴趣声源的传播来源方位是否属于AR眼镜佩戴者的视角范围之内；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之内，且没有位于注视点位置，则认为感兴趣声源的传播来源方位落在AR眼镜的余光区域的视界角度范围内部；若感兴趣声源的传播来源方位属于AR眼镜佩戴者的视角范围之外，则认为感兴趣声源的传播来源方位没有落在AR眼镜的余光区域的视界角度范围内部。

10.根据权利要求6所述的余光区域中基于声源的感兴趣对象告警系统，其特征在于，包括：

偏好获取模块：对余光区域中的现实环境中的现实对象进行识别，并将被识别到的次数超过次数阈值的现实对象作为AR眼镜佩戴者的感兴趣现实对象，根据所述偏好向AR眼镜佩戴者提供推荐信息；

若一现实对象在余光区域中持续出现的时间大于时间阈值，且然后被AR眼镜佩戴者的注视点注视，则将该现实对象被识别到的次数增加1次；将AR眼镜佩戴者的注视点注视过的现实对象的图像作为比对模版存储，在余光区域识别现实对象时，将待识别的现实对象与比对模版进行匹配，来识别现实对象。

Images