CN109683707A - 一种使ar眼镜投影颜色自适应的方法及系统 - Google Patents

Abstract

本发明公开了一种使AR眼镜投影颜色自适应的方法及系统，所述方法包括：步骤S1，捕捉使用者所看到的现实场景；步骤S2，根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应，本发明使得AR眼镜投影的内容可根据背景颜色投影出不同的效果，把某些增强内容自动调节为与背景反差较大的色调，便于使用者看清内容，增强用户的体验。

Description

一种使AR眼镜投影颜色自适应的方法及系统

技术领域

本发明涉及AR(Augmented Reality，即增强现实)技术领域，特别是涉及一种使AR眼镜投影颜色自适应的方法及系统。

背景技术

随着智能计算机技术的发展，智能产品不断涌现，继智能手机、平板电脑之后，增强现实(AR)已有潜力成为下一个重大通用计算平台。AR头显设备是一种实现AR(AugmentedReality，即增强现实，也称之为混合现实)技术且可佩戴在人体头部进行展示的穿戴式设备，它通过计算机技术可将虚拟的信息叠加到真实世界，使真实的环境和虚拟的物体能够实时地叠加到同一个画面中，实现两种信息的相互补充，并通过诸如头盔显示其等设备在用户眼前进行画面展示，增强用户的现实感。例如由谷歌公司开发出的AR智能眼镜，其属于眼镜+摄像头+微处理器+微型摄影设备的结合体，可以将虚拟数据叠加到由摄像头采集到的实时图像中，并通过微型摄影设备在人体眼球前进行画面展示，从而可以实现多种应用功能，例如进行导航或显示周围建筑的参数等。

然而，目前，一般AR眼镜的投影内容都由程序预先确定，不受外在环境影响，这造成使用者只能到适合的环境中操作。

例如，在漆黑一片的环境中，若AR眼镜投影的图案或字体也为黑色，使用者将难以辨别投影内容，又例如，在亮蓝色的环境中，若投影的内容为亮黄色，使用者会因对比度不足而难以辨别其内容。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种使AR眼镜投影颜色自适应的方法及系统，以使AR眼镜投影的内容可根据背景颜色投影出不同的效果，把某些增强内容自动调节为与背景反差较大的色调，便于使用者看清内容。

为达上述目的，本发明提出一种使AR眼镜投影颜色自适应的方法，包括：

步骤S1，捕捉使用者所看到的现实场景；

步骤S2，根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应。

优选地，步骤S1进一步包括：

步骤S100，利用AR眼镜的第一摄像模组采集现场环境图像；

步骤S101，利用AR眼镜的第二摄像模组采集使用者的眼部图片，确定使用者的视线角度；

步骤S102，将步骤S100采集的现场环境图像以及步骤S101得到的使用者的视线角度结合分析，获得使用者的所看到的现实场景。

优选地，于步骤S100中，利用所述AR眼镜的前置摄像头采集现场环境图像。

优选地，于步骤S101中，于所述AR眼镜内侧装上若干个小的摄像头，当眼球移动时，各摄像头采集到多张眼部图片，对该多张眼部图片进行分析处理，确定使用者的视线角度。

优选地，于步骤S101中，可根据所述眼部图像定位使用者的瞳孔位置，然后根据所述瞳孔位置确定用户的视线角度。

优选地，于步骤S102后还包括如下步骤：

若所述使用者的所看到的现实场景图片中包含多种颜色，则将各种颜色和对应的区域进行标记。

优选地，于步骤S2中，对所述现实场景图片中标记的每个小区域的颜色单独进行分析，对投影在其上的投影内容选取相应的对比度高的投影色。

优选地，于步骤S2前，还包括如下步骤：

确定所要增强显示的内容；

确定所要增强显示的内容投影所在位置的现实场景颜色，并进入步骤S2。

优选地，所述方法还包括如下步骤：

对所要增强显示的内容添加轮廓线以加大视觉分辨度。

为达到上述目的，本发明还提供一种使AR眼镜投影颜色自适应的系统，包括：

第一摄像模组，用于采集现场环境图像；

第二摄像模组，用于采集使用者的眼部图片；

视线角度判断单元，用于获取第二摄像模组采集的使用者的眼部图片，对所述眼部图片进行分析处理，确定使用者的视线角度；

现实场景确定单元，用于将所述第一摄像模组采集的现场环境图像以及视线角度判断单元得到的使用者的视线角度配合分析，获得使用者的所看到的现实场景；

颜色自适应匹配单元，用于根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应。

与现有技术相比，本发明一种使AR眼镜投影颜色自适应的方法及系统可使AR眼镜投影的内容根据看到的现实场景背景颜色投影出不同的效果，也可以把某些增强内容可以自动调节为与背景反差较大的色调，使得使用者可以随时随地舒适地看到对比度高的内容，AR眼镜的佩戴体验感更好。

附图说明

图1为本发明一种使AR眼镜投影颜色自适应的方法的步骤流程图；

图2为本发明具体实施例中步骤S1的细部流程图；

图3为本发明一种使AR眼镜投影颜色自适应的系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种使AR眼镜投影颜色自适应的方法的步骤流程图。如图1所示，本发明一种使AR眼镜投影颜色自适应的方法，包括：

步骤S1，捕捉使用者所看到的现实场景，这里使用者所看到的现实场景即为投影的背景。

具体地，如图2所示，步骤S1进一步包括：

步骤S100，利用AR眼镜的第一摄像模组采集现场环境图像。也就是说，在本发明具体实施例中，所述第一摄像模组为设置于AR眼镜上的前置摄像头，即利用AR眼镜的前置摄像头采集现场环境图像。

步骤S101，利用AR眼镜的第二摄像模组采集使用者的眼睛图片，确定使用者的视线角度。在本发明具体实施例中，第二摄像模组为多个小摄像头，即安装于AR眼镜内侧且能采集到眼部图像的小摄像头，具体地说，于AR眼镜内侧装上若干个小的摄像头，当眼球移动时，各摄像头采集到多张眼部图片，对该多张眼部图片进行分析处理，确定使用者的视线角度。在本发明具体实施例中，可根据所述眼部图像定位使用者的瞳孔位置，然后根据所述瞳孔位置确定用户的视线角度。也就是说，在采集用户的眼部图像之后，为了获取用户的视线角度，将根据所述眼部图像定位用户的瞳孔位置，根据所述瞳孔位置确定用户的视线方向。对所述眼部图像进行图像像素遍历以完成二值化处理，得到所述眼部图像对应的二值化图像，然后根据二值化图像中的白点像素，确定瞳孔区域，根据二值化图像中的瞳孔区域及非瞳孔区域，计算瞳孔中心坐标，进而确定使用者的视线角度。

步骤S102，将步骤S100采集的现场环境图像以及步骤S101得到的使用者的视线角度配合，获得使用者的所看到的现实场景。也就是说，步骤S100采集的现场环境图像为使用者头部前方范围的180度的全景画面，步骤S101得到佩戴者视线与头部正前方的夹角，通过两者即可得到使用者眼睛看到的区域的画面。

优选地，由于获得的使用者所看到的现实场景可能是色彩斑斓的，也可能是单一颜色，因此，于步骤S102后还包括如下步骤：

若所述使用者的所看到的现实场景图片中包含多种颜色，则将各种颜色和对应的区域进行标记。

步骤S2，根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应，即，使投影内容选取对比度高的投影色，之后统一显示。具体地说，对所述现实场景图片中标记的每个小区域的颜色单独进行分析，对投影在其上的投影内容选取相应的对比度高的投影色。例如，现实场景中有两种颜色，白色和淡黄，则根据分析，在现实场景的白色区域，投影内容的文字选择对比度高的黑色，而在现实场景的淡黄色区域，投影内容的文字选择与淡黄色对比度高的蓝色。这里需说明的是，各种颜色的对应关系可预先存储，也就是说，可预先存储各种颜色及其对对比度高的颜色的对应信息，例如，白色对应黑色，黄色对应蓝色等，当对所述现实场景图片中标记的每个小区域的颜色进行分析时，则可根据预先存储的对应关系获得与每个小区域的颜色对比度高的投影色。

在本发明具体实施例中，也可以不对整个投影内容进行自适应调整，而只需增强某些投影内容，即把某些增强内容可以自动调节为与背景反差较大的色调，以便于使用者看清内容或确定重点，优选地，于步骤S2前，还包括如下步骤：

确定所要增强显示的内容，在本发明具体实施例中，可以通过用户勾选相应的内容作为需要增强显示的内容，也可以是投影内容中的重点内容，本发明不以此为限。

确定所要增强显示的内容投影所在位置的现实场景颜色，并进入步骤S2，这里需说明的是，这里获得现实场景颜色也可能是混合的背景颜色，因此也需对不同区域的颜色单独进行分析，对投影在其上的投影内容选取相应的对比度高的投影色。

优选地，本发明一种使AR眼镜投影颜色自适应的方法，还包括如下步骤：

对所要增强显示的内容添加轮廓线以加大视觉分辨度。

通过本发明，可使AR眼镜投影的内容根据看到的现实场景背景颜色投影出不同的效果，也可以把某些增强内容可以自动调节为与背景反差较大的色调，使得使用者可以随时随地舒适地看到对比度高的内容，AR眼镜的佩戴体验感更好。

图3为本发明一种使AR眼镜投影颜色自适应的系统的结构示意图。如图3所示，本发明一种使AR眼镜投影颜色自适应的系统，包括：

第一摄像模组201，用于采集现场环境图像。在本发明具体实施例中，所述第一摄像模组设置于AR眼镜上的外侧，具体地，所述第一摄像模组可为设置于AR眼镜外侧的前置摄像头，即利用AR眼镜的前置摄像头采集现场环境图像第二摄像模组202，用于采集使用者的眼部图片。在本发明具体实施例中，第二摄像模组为多个小摄像头，即安装于AR眼镜内侧且能采集到眼部图像的小摄像头，具体地说，于AR眼镜内侧装上若干个小的摄像头，当眼球移动时，各摄像头采集到多张眼部图片。

视线角度判断单元203，用于获取第二摄像模组采集的使用者的眼部图片，对所述眼部图片进行分析处理，确定使用者的视线角度。

在本发明具体实施例中，视线角度判断单元203可根据所述眼部图像定位使用者的瞳孔位置，然后根据所述瞳孔位置确定用户的视线角度。也就是说，在采集用户的眼部图像之后，为了获取用户的视线角度，将根据所述眼部图像定位用户的瞳孔位置，根据所述瞳孔位置确定用户的视线方向。对所述眼部图像进行图像像素遍历以完成二值化处理，得到所述眼部图像对应的二值化图像，然后根据二值化图像中的白点像素，确定瞳孔区域，根据二值化图像中的瞳孔区域及非瞳孔区域，计算瞳孔中心坐标，进而确定使用者的视线角度。

现实场景确定单元204，用于将第一摄像模组201采集的现场环境图像以及视线角度判断单元203得到的使用者的视线角度配合，获得使用者的所看到的现实场景。

优选地，由于获得的使用者所看到的现实场景可能是色彩斑斓的，也可能是单一颜色，因此，本发明之使AR眼镜投影颜色自适应的系统还包括：

标记单元205，若所述使用者的所看到的现实场景图片中包含多种颜色，则将各种颜色和对应的区域进行标记。

颜色自适应匹配单元206，用于根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应，即，使投影内容选取对比度高的投影色，之后统一显示。具体地说，对所述现实场景图片中标记的每个小区域的颜色单独进行分析，对投影在其上的投影内容选取相应的对比度高的投影色。例如，现实场景中有两种颜色，白色和淡黄，则根据分析，在现实场景的白色区域，投影内容的文字选择对比度高的黑色，而在现实场景的淡黄色区域，投影内容的文字选择与淡黄色对比度高的蓝色。这里需说明的是，各种颜色的对应关系可预先存储，也就是说，可预先存储各种颜色及其对对比度高的颜色的对应信息，例如，白色对应黑色，黄色对应蓝色等，当对所述现实场景图片中标记的每个小区域的颜色进行分析时，则可根据预先存储的对应关系获得与每个小区域的颜色对比度高的投影色。

在本发明具体实施例中，也可以不对整个投影内容进行自适应调整，而只需增强某些投影内容，即把某些增强内容可以自动调节为与背景反差较大的色调，以便于使用者看清内容或确定重点，优选地，本发明之使AR眼镜投影颜色自适应的系统还包括：

增强内容确定单元，用于确定所要增强显示的内容，在本发明具体实施例中，可以通过用户勾选相应的内容作为需要增强显示的内容，也可以是投影内容中的重点内容，本发明不以此为限。

增强内容投影位置确定单元，用于确定所要增强显示的内容投影所在位置的现实场景颜色，并启动颜色自适应匹配单元206，这里需说明的是，这里获得现实场景颜色也可能是混合的背景颜色，因此也需对不同区域的颜色单独进行分析，对投影在其上的投影内容选取相应的对比度高的投影色。

优选地，本发明一种使AR眼镜投影颜色自适应的系统，还包括：

轮廓线添加单元，用于对所要增强显示的内容添加轮廓线以加大视觉分辨度。

综上所述，本发明一种使AR眼镜投影颜色自适应的方法及系统可使AR眼镜投影的内容根据看到的现实场景背景颜色投影出不同的效果，也可以把某些增强内容可以自动调节为与背景反差较大的色调，使得使用者可以随时随地舒适地看到对比度高的内容，AR眼镜的佩戴体验感更好。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种使AR眼镜投影颜色自适应的方法，包括：

步骤S1，捕捉使用者所看到的现实场景；

步骤S2，根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应。

2.如权利要求1所述的一种使AR眼镜投影颜色自适应的方法，其特征在于，步骤S1进一步包括：

步骤S100，利用AR眼镜的第一摄像模组采集现场环境图像；

步骤S101，利用AR眼镜的第二摄像模组采集使用者的眼部图片，确定使用者的视线角度；

步骤S102，将步骤S100采集的现场环境图像以及步骤S101得到的使用者的视线角度结合分析，获得使用者的所看到的现实场景。

3.如权利要求2所述的一种使AR眼镜投影颜色自适应的方法，其特征在于：于步骤S100中，利用所述AR眼镜的前置摄像头采集现场环境图像。

4.如权利要求3所述的一种使AR眼镜投影颜色自适应的方法，其特征在于：于步骤S101中，于所述AR眼镜内侧装上若干个小的摄像头，当眼球移动时，各摄像头采集到多张眼部图片，对该多张眼部图片进行分析处理，确定使用者的视线角度。

5.如权利要求4所述的一种使AR眼镜投影颜色自适应的方法，其特征在于：于步骤S101中，可根据所述眼部图像定位使用者的瞳孔位置，然后根据所述瞳孔位置确定用户的视线角度。

6.如权利要求4所述的一种使AR眼镜投影颜色自适应的方法，其特征在于，于步骤S102后还包括如下步骤：

若所述使用者的所看到的现实场景图片中包含多种颜色，则将各种颜色和对应的区域进行标记。

7.如权利要求6所述的一种使AR眼镜投影颜色自适应的方法，其特征在于，于步骤S2中，对所述现实场景图片中标记的每个小区域的颜色单独进行分析，对投影在其上的投影内容选取相应的对比度高的投影色。

8.如权利要求7所述的一种使AR眼镜投影颜色自适应的方法，其特征在于，于步骤S2前，还包括如下步骤：

确定所要增强显示的内容；

确定所要增强显示的内容投影所在位置的现实场景颜色，并进入步骤S2。

9.如权利要求8所述的一种使AR眼镜投影颜色自适应的方法，其特征在于，所述方法还包括如下步骤：

对所要增强显示的内容添加轮廓线以加大视觉分辨度。

10.一种使AR眼镜投影颜色自适应的系统，包括：

第一摄像模组，用于采集现场环境图像；

第二摄像模组，用于采集使用者的眼部图片；

视线角度判断单元，用于获取第二摄像模组采集的使用者的眼部图片，对所述眼部图片进行分析处理，确定使用者的视线角度；

现实场景确定单元，用于将所述第一摄像模组采集的现场环境图像以及视线角度判断单元得到的使用者的视线角度配合分析，获得使用者的所看到的现实场景；

颜色自适应匹配单元，用于根据所获得的现实场景的颜色，使所述AR眼镜各部分的投影内容的颜色与之自适应。