CN106740581A - 一种车载设备的控制方法、ar装置及ar系统 - Google Patents

Abstract

本发明实施例提供的车载设备的控制方法、AR装置及AR系统，涉及智能控制技术领域，解决现有技术中由于智能车载终端与用户间的交互较为单一，所导致出现安全隐患的问题。该方法包括：采集眼睛图像；根据眼睛图像识别眼仁在眼眶中的位置；当识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与眼仁在眼眶中的位置对应的显示信息，并显示该显示信息。本发明应用于AR装置。

Description

一种车载设备的控制方法、AR装置及AR系统

技术领域

本发明涉及智能控制技术领域，尤其涉及一种车载设备的控制方法、AR装置及AR系统。

背景技术

在随着工业4.0和信息技术的快速发展，汽车电子在智能化和便捷性方面越来越朝着安全、舒适、智能的方向发展。

越来越多的中高端汽车和电动汽车都原装了智能车机、智能倒车后视镜、智能左右后视镜、椅背电视等智能车载终端，这些都大大方便了驾驶员和乘客的行车体验，这些智能车载终端的主要功能有4G通讯、蓝牙、导航、媒体播放、录像、行车记录等。

然而，上述的智能车载终端与用户间的交互较为单一，不利于驾驶员安全驾驶。例如，驾驶员在进行倒车时，为了掌握智能车机中显示的车辆后方的影像，需要驾驶员的眼睛持续盯着智能车机方向，这样当前方出现紧急状况时，由于驾驶员眼睛一直盯着智能车机方向而无法得知车辆前方状况，从而出现安全隐患的问题。

发明内容

本发明的实施例提供一种车载设备的控制方法、AR装置及AR系统，用以解决现有技术中由于智能车载终端与用户间的交互较为单一，所导致出现安全隐患的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供一种车载设备的控制方法，所述方法包括：

采集眼睛图像；

根据所述眼睛图像识别眼仁在眼眶中的位置；

当识别到所述眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息，并显示所述显示信息。

第二方面，提供一种AR装置，所述AR装置包括控制模块、与所述控制模块连接的眼球姿态检测灰度图像采集模块以及与所述控制模块连接的车载设备，其中：

所述眼球姿态检测灰度图像采集模块，用于采集眼睛图像；

所述控制器，用于根据所述眼睛图像识别眼仁在眼眶中的位置；还用于当识别到所述眼仁在眼眶中的位置为有效眼位时，从所述车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息，并显示显示信息。

第三方面，提供一种AR系统，包括第二方面所述的AR装置和至车载设备。

本发明实施例提供的车载设备的控制方法、AR装置及AR系统，相比于现有技术中由于智能车载终端与用户间的交互较为单一，会出现安全隐患的问题，本方案通过识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与该眼仁在眼眶中的位置对应的显示信息，并显示该显示信息，这样就无需人眼一直盯着车载设备，当前方出现紧急事件或车辆时，驾驶员仍然可以及时发现，从而避免交通事故，保障安全驾驶。例如，当需要倒车时，驾驶员的眼睛仅需扫描一下智能车机，AR装置识别到驾驶员的眼仁在眼眶中的位置为有效眼位时，从智能车机中获取车辆后面的影像，并将该影像显示出来，此时驾驶员无需一直盯着智能车机，在AR装置上观看车辆后方信息进行倒车的同时，还可以注意到车辆前方的信息，从而避免出现安全隐患的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车载设备的控制方法的方法流程图；

图2为本发明实施例提供的五种眼位的示意图；

图3为本发明实施例基于图2提供的眼位对应预设区域的示意图；

图4为本发明实施例提供的双眼正视前方的示意图；

图5为本发明实施例提供的双眼朝向智能车机方向的示意图；

图6为本发明实施例提供的双眼朝向后视镜方向的示意图；

图7为本发明实施例提供的双眼朝向左视镜方向的示意图；

图8为本发明实施例提供的双眼朝向右视镜方向的示意图；

图9为本发明实施例提供的一种AR装置的结构示意图；

图10为本发明实施例提供的一种AR系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，除非另有明确的规定和限制，术语“设置”、“连接”等术语应做广义理解，例如，可以是固定连接，也可以是拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能或作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

本发明实施例中提及的增强现实(英文：Augmented Reality，简称：AR)装置包括但不限于：AR眼镜和包括AR显示器的AR装置，该AR装置可以直接佩戴在驾驶员的头部，也可以直接设置在驾驶舱中驾驶员的座位的正上方，以便于驾驶员坐在座位上眼睛对准AR显示器或AR眼镜的镜片上，该AR装置具有两片透光玻璃片，该镜片同时是AR装置的内容显示器。

本发明实施例中的车载设备包括外接设备和车载智能终端，该外接设备包括位于车辆左侧的摄像头、位于车辆右侧的摄像头以及车内的全息摄像头，而该车载智能终端包括智能车机以及后视镜，该车载智能终端是车辆自带的带有操作系统、图形人机交互界面和显示屏的智能设备。

本发明实施例提供一种车载设备的控制方法，如图1所示，该方法包括：

101、采集眼睛图像。

优选的，可以通过AR装置中的眼球姿态检测灰度图像采集模块采集人体眼睛的灰度图像，并为眼位识别功能提供准确、清晰的图像数据。示例性的，也可以通过AR装置去采集人体眼睛的彩色图像，这里并不进行限定，仅以示例进行说明。

102、根据眼睛图像识别眼仁在眼眶中的位置。

为了快速准确的确定出眼仁在眼眶中的位置，优选的，上述的步骤102具体包括以下内容：

102a、对眼睛图像做二值化处理得到二值图像。

102b、根据二值图像中两种颜色的像素点的分布确定眼仁在眼眶中的位置。

示例性的，对眼睛图像做二值化处理得到二值图像，该二值图像中包括黑白这两种颜色的像素点，该眼仁对应二值图像中的黑色像素点，而二值图像中的其他地方对应白色的像素点，根据该黑色像素点以及白色像素点分布，从而可以确定出眼仁在眼眶中的位置。可选的，上述得到的二值图像中还可以是其他的两种颜色，这里并不限定为黑白色，仅以示例进行说明。

103、当识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与眼仁在眼眶中的位置对应的显示信息，并显示该显示信息。

示例性的，在上述的步骤103之前，上述的方法还包括：

103a1、识别眼仁在眼眶中的位置为朝向第一方向的眼位。

示例性的，上述的第一方向为朝向左视镜方向、右视镜方向、后视镜方向、智能车机方向或正视前方。具体的，看以参照图2给出的五个固定眼位示意图。其中，图2中的眼位一为双眼正视前方，眼位二为双眼朝向智能车机方向，眼位三为双眼朝向后视镜方向，眼位四位双眼朝向左视镜方向以及眼位五为双眼朝向右视镜方向的这五个固定眼位。

103a2、求取位于朝向第一方向的眼位对应的预设区域中的眼仁的面积，并将眼仁的面积与预设区域的面积的作比值得到面积比值。

示例性性的，参照图3所示的眼位对应预设区域的示意图，其中，图3中的(a)为眼位一对应的预设区域，图3中的(b)为眼位二对应的预设区域，图3中的(c)为眼位三对应的预设区域，图3中的(d)为眼位四对应的预设区域，图3中的(e)为眼位五对应的预设区域。这里以图(a)为例进行说明，具体的，眼位一为正视前方的眼位，该正视前方的眼位所对应的预设区域为图3中的(a)中所画的四个圆圈所形成的重叠区域。对于其他眼位所对应的预设区域具体见图3中的除(a)以外的其他示意图。

优选的，为了准确定位出眼仁在眼眶中的位置，上述的预设区域为多个圆圈所形成的重叠区域，这里的圆圈的个数越多越好。对于图中仅是以四个圆圈为例进行说明预设区域，并不进行限定。

示例性的，只要能够定位出眼仁在眼眶中的位置，上述的预设区域为至少两个圆圈所形成的重叠区域。

103a3、若比值大于第一预设值，且朝向第一方向的眼位持续预设时间，则眼仁在眼眶中的位置为朝向第一方向的有效眼位。

优选的，为了便于进行数据处理，上述的五种眼位所对应的第一预设值是相同的。例如，该五种眼位对应的第一预设值均为70％。

示例性的，上述的五种眼位所对应的第一预设值可以是不同的。例如，第一眼位所对应的预设值为70％，第二眼位所对应的预设值可以75％，第三眼位所对应的预设值为77％，第四眼位所对应的预设值可以80％以及第五眼位所对应的预设值为82％。

示例性的，上述的预设时间可以根据实际的需求进行设定，可以为10ms，也可以为20ms或30ms，这里并不进行限定，仅以示例进行说明。

示例性的，这里给出一个具体的例子说明上述确定有效眼位的过程。例如，识别眼仁在眼眶中的位置为朝向左视镜方向的眼位，参照图3中所示的(d)，求取图3中(d)所示的四个圆圈所形成的重叠区域中的眼仁的面积与该重叠区域面积的比值为80％，该比值大于第一预设值70％，且该朝向左视镜方向的眼位持续了10ms，则该眼仁在眼眶中的位置为朝向左视镜方向上的有效眼位。

示例性的，上述的步骤103中的当识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与眼仁在眼眶中的位置对应的显示信息具体包括以下五部分的内容：

A1、当识别到眼仁在眼眶中的位置为朝向左视镜方向的有效眼位时，从左摄像头中获取影像，该左摄像头安装在车身外的左侧；和/或

A2、当识别到眼仁在眼眶中的位置为朝向右视镜方向的有效眼位时，从右摄像头中获取影像，该右摄像头安装在车身外的右侧；和/或

A3、当识别到眼仁在眼眶中的位置为正视前方的有效眼位时，从智能车机中获取车辆基本信息，该车辆基本信息包括车辆的时速、瞬时耗油以及发动机水温中的至少一个；和/或

A4、当识别到眼仁在眼眶中的位置为朝向智能车机方向的有效眼位时，获取智能车机上显示的图标；和/或

A5、当识别到眼仁在眼眶中的位置为朝向后视镜方向的有效眼位时，获取后视镜上显示的图标。

示例性的，上述的和/或使得本方案中在获取车载设备上的显示信息时，满足上述的五种中的任意一种、任意两种、任意三种、任意四种以及上述五种所形成的方案均属于本专利的保护范围。

优选的，上述的AR装置包括AR显示器，为了能够将智能车机以及后视镜上的显示信息准确完整到显示到AR装置上，当眼仁在眼眶中的位置为朝向智能车机方向或后视镜方向的有效眼位时，上述的步骤103中的从车载设备中获取与眼仁在眼眶中的位置对应的显示信息，并在AR装置上显示显示信息具体包括以下内容：

103b1、采用无线传屏技术获取智能车机或后视镜上显示的图标。

103b2、将智能车机或后视镜上显示的图标投射到AR装置的AR显示器上。

进一步的，由于现有技术中车载智能终端与用户间的交互界面比较单一，基本都是平面的电子屏幕，驾驶员在该平面的电子屏幕上的操作会时，会比较繁琐，从而影响驾驶员安全驾车。尽管一些智能车载终端上配备了语音控制，但是，该语音控制功能会因噪声问题，在超过100公里/小时的时速时便会失效，仍然无法便捷操作平面的电子屏幕。为了解决由于语音控制功能回音噪声问题失效，而无法便捷操作平面的电子屏幕，出现驾驶隐患的问题。本方案中的方法还包括以下内容：

B1、当车内全息摄像头检测到有人手伸向智能车机或后视镜时，在AR显示器上显示人体的虚拟人手，该虚拟人手与人体的真实人手的操作动作同步。

B2、通过真实人手操控虚拟人手去触碰AR显示器上的图标来执行图标对应的操作。

优选的，上述的虚拟人手为3D虚拟人手。示例性的，上述的虚拟人手可以为2D虚拟人手。

示例性的，当车内全息摄像头检测到有人手伸向智能车机时，在AR显示器上显示人体的3D虚拟人手，通过真实的人手去操控3D虚拟人手去触碰AR显示器上的图标来执行图标对应的操作。例如操作智能车机上的图标所对应的操作包括但不限于：开启空调、设定温度、打开或关闭收音机、打开或关闭DVD、播放或暂停影音播放器、进行路径导航、拨打车载电话。

示例性的，当车内全息摄像头检测到有人手伸向后视镜时，在AR眼镜上显示人体的3D虚拟人手，通过真实的人手去操控3D虚拟人手去触碰AR显示器上的图标来执行图标对应的操作。例如操作后视镜上的图标所对应的操作包括但不限于：打开或关闭GPS或北斗导航、开启或结束路径导航、拨打蓝牙电话、打开或关闭FM发射、音乐播放。

示例性的，上述的全息摄像头还采集车辆驾驶员身体姿态，采集包括但不限于：探头、转头、扭脖颈、伸展等肢体动作。但这些动作不在本发明互联互动动作范围之内，属于肢体识别方面，仅对本发明的AR装置与车载设备的互联互动正常工作起到辅助作用。

本发明实施例提供的车载设备的控制方法，相比于现有技术中由于智能车载终端与用户间的交互较为单一，会出现安全隐患的问题，本方案通过识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与该眼仁在眼眶中的位置对应的显示信息，并显示该显示信息，这样就无需人眼一直盯着车载设备，当前方出现紧急事件或车辆时，驾驶员仍然可以及时发现，从而避免交通事故，保障安全驾驶。例如，当需要倒车时，驾驶员的眼睛仅需扫描一下智能车机，AR装置识别到驾驶员的眼仁在眼眶中的位置为有效眼位时，从智能车机中获取车辆后面的影像，并将该影像显示出来，此时驾驶员无需一直盯着智能车机，在AR装置上观看车辆后方信息进行倒车的同时，还可以注意到车辆前方的信息，从而避免出现安全隐患的问题。

可选的，当驾驶员出现疲劳驾驶时，为了保障驾驶员安全以及避免交通意外的发生，该方法还包括以下内容：

103c1、当确定出眼仁的面积小于第二预设值时，则发出告警。

示例性的，上述的第二预设值是根据实际的需求进行设定的。例如，参照成年人的眼仁平均面积为109平方毫米，可以将该预设值设为105。而在晚上时，光线不好加上人体容易出现疲劳，可以将该预设值相对于105设置的更大一些，从而避免出现安全隐患。

可选的，为了能够方便的使得AR装置进行模式的切换，该方法还包括以下内容：

103c2、当识别到眼仁在眼眶中的位置为有效眼位时，等待预设时间后，再去识别下一个有效眼位。

示例性的，可以通过判断车辆熄火或AR装置被摘下时，该与车载设备的互动过程结束或退出。

下面给出上述的五种眼位对应的实际应用场景的具体实例，进行说明用户如何通过AR装置与车载设备间进行互动，这里的AR装置以AR眼镜为例。

参照图4所示的双眼正视前方的示意图，即眼位一对应的实际场景图。车辆驾驶员盯住行驶方向正前方，此时，眼睛图像中的眼仁位置为上述图2中的眼位一，该眼位一对应的预设区域内，预设区域内的眼仁的面积与预设区域的面积的比值大于一定的百分比，例如大于70％，并且该眼位一超过预设时间阈值，例如超过30秒，即判断为生效眼位，该车载设备为AR眼镜提供车辆的发动机冷却液水温、车辆瞬时油耗、车辆时速等基础信息，并清楚的呈现给驾驶员，既具备良好的沉浸感，又不会干扰车辆驾驶员正常驾驶汽车。

参照图5所示的双眼朝向智能车机的示意图，即眼位二对应的实际场景图。车辆驾驶员盯住智能车机方向，此时，眼睛图像中的眼仁位置为上述图2中的眼位二，该眼位二对应的预设区域内，预设区域内的眼仁的面积与预设区域的面积的比值大于一定的百分比，例如大于70％，并且该眼位二超过预设时间阈值，例如超过300毫秒，即判断为生效眼位，该车载设备为AR眼镜提供智能车机互联操控，将该智能车机的主屏上的图标投射到驾驶员的AR眼镜上。驾驶员不需要看实际的智能车机，而正常目视前方，保持开车方式，并且只需要向智能车机伸手，安装在车内的全息捕捉摄像头就会将驾驶员人手的3D虚拟画面呈现给驾驶员，此时，驾驶员利用AR眼镜跟智能车机产生互动，3D虚拟人手所触碰的AR眼镜上的图标，即是驾驶员自己的手触碰的智能车机的图标，相应功能，就在车机上真实打开或关闭了。

参照图6所示的双眼朝向后视镜的示意图，即眼位三对应的实际场景图。车辆驾驶员盯住后视镜方向，此时，眼睛图像中的眼仁位置为上述图2中的眼位三，该眼位三对应的预设区域内，预设区域内的眼仁的面积与预设区域的面积的比值大于一定的百分比，例如大于70％，并且该眼位三超过预设时间阈值，例如超过300毫秒，即判断为生效眼位，该车载设备为AR眼镜提供后视镜的互联操控，将该后视镜的主屏上的图标投射到驾驶员的AR眼镜上，驾驶员不需要看实际的后视镜，而正常目视前方，保持开车方式，并且只需要向后视镜伸手，安装在车内的全息捕捉摄像头就会将驾驶员人手的3D虚拟画面呈现给驾驶员，此时，驾驶员利用AR眼镜跟后视镜产生互动，3D虚拟人手所触碰的AR眼镜上的图标，即是驾驶员自己的手触碰的后视镜上的图标，相应功能，就在车机上真实打开或关闭了。此外，除上述类似场景外，AR眼镜在车辆倒车时，默认同智能倒车后视镜的后拉摄像头互联，获取倒车真实影像，从而方便感知外部环境状况，减少交通事故。

参照图7所示的双眼朝向左视镜的示意图，即眼位四对应的实际场景图。车辆驾驶员盯住左视镜方向，此时，眼睛图像中的眼仁位置为上述图2中的眼位四，该眼位四对应的预设区域内，预设区域内的眼仁的面积与预设区域的面积的比值大于一定的百分比，例如大于70％，并且该眼位四超过预设时间阈值，例如超过300毫秒，即判断为生效眼位。该车载设备为AR眼镜提供车身外左侧摄像头拍摄的影像，将影像传递给AR眼镜上，从而方便车辆驾驶人员更加真实的获取车外影像，安全驾驶。

参照图8所示的双眼朝向右视镜的示意图，即眼位五对应的实际场景图。车辆驾驶员盯住右视镜方向，此时，眼睛图像中的眼仁位置为上述图2中的眼位五，该眼位五对应的预设区域内，预设区域内的眼仁的面积与预设区域的面积的比值大于一定的百分比，例如大于70％，并且该眼位四超过预设时间阈值，例如超过300毫秒，即判断为生效眼位。该车载设备为AR眼镜提供车身外右侧摄像头拍摄的影像，将影像传递给AR眼镜上，从而方便车辆驾驶人员更加真实的获取车外影像，安全驾驶。

本发明实施例提供一种AR装置，如图9所示，该AR装置包括控制模块21、与控制模块21连接的眼球姿态检测灰度图像采集模块22以及与控制模块连接的车载设备，其中：

眼球姿态检测灰度图像采集模块22，用于采集眼睛图像。

控制模块21，用于根据眼睛图像识别眼仁在眼眶中的位置；还用于当识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与眼仁在眼眶中的位置对应的显示信息，并显示该显示信息。

示例性的，上述的控制模块21可以为微控制器(英文：Microcontroller Unit，简称：MCU)或中央处理器(英文：Central Process Unit，简称：CPU)，该控制模块21负责整个AR装置的主要控制功能、运算和资源配置，并负责眼位识别时的眼位判断和调度车外智能设备，给这些车载设备输出相关的动作指令。

可选的，如图9所示，上述的AR装置还包括：与控制模块21连接的高清晰度多媒体接口(英文：High Definition Multimedia Interface，简称：HDMI)转移动产业处理器接口(Mobile Industry Processor Interface，简称：MIPI)电路模块23，其中：

HDMI转MIPI电路模块23，用于将控制模块输出到AR装置上的显示信息正确显示。

可选的，如图9所示，上述的AR装置还包括：无线保真(英文：Wireless Fidelity，简称：WIFI)蓝牙电路模块24，其中：该WIFI蓝牙电路模块24，用于保证各车载设备与主控制器间进行通信。

可选的，如图9所示，上述的AR装置还包括：重力加速度模块25和陀螺仪地磁电路模块26，这两个模块主要为实现AR装置同车载设备间的互联互动，提供搭建好的基础电路和射频通路。

可选的，如图9所示，上述的AR装置还包括：LED电路模块27，该LED电路模块27主要负责AR装置的一些动作指示，包括但不限于：外设互联状态、电量报警以及信息提示。

示例性的，如图9所示，上述的AR装置还包括存储模块28，该存储模块28用于存储控制模块21进行运算时的数据。示例性的，该存储模块28包括但不限于：ROM、PROM、EPROM以及EEPROM。

可选的，上述的控制模块在根据眼睛图像识别眼仁在眼眶中的位置具体用于：

对眼睛图像做二值化处理得到二值图像。

根据二值图像中两种颜色的像素点的分布确定眼仁在眼眶中的位置。

可选的，上述的控制模块还用于：

识别眼仁在眼眶中的位置为朝向第一方向的眼位；第一方向为朝向左视镜方向、右视镜方向、后视镜方向、智能车机方向或正视前方。

求取位于朝向第一方向的眼位对应的预设区域中的眼仁的面积，并将眼仁的面积与预设区域的面积作比值得到面积比值。

若面积比值大于第一预设值，且朝向第一方向的眼位持续预设时间，则眼仁在眼眶中的位置为朝向第一方向的有效眼位。

示例性的，上述的控制模块在当识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与眼仁在眼眶中的位置对应的显示信息具体用于：

当识别到眼仁在眼眶中的位置为朝向左视镜方向的有效眼位时，从左摄像头中获取影像，左摄像头用于安装在车身外的左侧；和/或

当识别到眼仁在眼眶中的位置为朝向右视镜方向的有效眼位时，从右摄像头中获取影像，右摄像头用于安装在车身外的右侧；和/或

当识别到眼仁在眼眶中的位置为正视前方的有效眼位时，从智能车机中获取车辆基本信息，车辆基本信息包括车辆的时速、瞬时耗油以及发动机水温中的至少一个；和/或

当识别到眼仁在眼眶中的位置为朝向智能车机方向的有效眼位时，获取智能车机上显示的图标；和/或

当识别到眼仁在眼眶中的位置为朝向后视镜方向的有效眼位时，获取后视镜上显示的图标。

示例性的，上述的AR装置包括AR显示器，为了能够将智能车机以及后视镜上的显示信息准确完整到显示到AR装置上，当眼仁在眼眶中的位置为朝向智能车机方向或后视镜方向的有效眼位时，上述的控制模块在从车载设备中获取与眼仁在眼眶中的位置对应的显示信息，并显示该显示信息具体用于：

采用无线传屏技术获取智能车机或后视镜上显示的图标。

将智能车机或后视镜上显示的图标投射到AR装置的AR显示器上。

进一步的，由于现有技术中车载智能终端与用户间的交互界面比较单一，基本都是平面的电子屏幕，驾驶员在该平面的电子屏幕上的操作会时，会比较繁琐，从而影响驾驶员安全驾车。尽管一些智能车载终端上配备了语音控制，但是，该语音控制功能会因噪声问题，在超过100公里/小时的时速时便会失效，仍然无法便捷操作平面的电子屏幕。为了解决由于语音控制功能回音噪声问题失效，而无法便捷操作平面的电子屏幕，出现驾驶隐患的问题，上述的控制模块还用于：

当车内全息摄像头检测到有人手伸向智能车机或后视镜时，在AR显示器上显示人体的3D虚拟人手，该3D虚拟人手与人体的真实人手的操作动作同步。

通过真实人手操控3D虚拟人手去触碰AR显示器上的图标来执行图标对应的操作。

示例性的，当驾驶员出现疲劳驾驶时，为了保障驾驶员安全以及避免交通意外的发生，上述的控制模块还用于：

当确定出眼仁的面积小于第二预设值时，则发出告警。

示例性的，为了能够方便的使得AR装置进行模式的切换，上述的控制模块还用于：

当识别到眼仁在眼眶中的位置为有效眼位时，等待预设时间后，再去识别下一个有效眼位。

示例性的，上述的控制模块可以通过判断车辆熄火或AR装置被摘下时，该与车载设备的互动过程结束或退出。

本发明实施例提供的AR装置，相比于现有技术中由于智能车载终端与用户间的交互较为单一，会出现安全隐患的问题，本方案通过识别到眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与该眼仁在眼眶中的位置对应的显示信息，并显示该显示信息，这样就无需人眼一直盯着车载设备，当前方出现紧急事件或车辆时，驾驶员仍然可以及时发现，从而避免交通事故，保障安全驾驶。例如，当需要倒车时，驾驶员的眼睛仅需扫描一下智能车机，AR装置识别到驾驶员的眼仁在眼眶中的位置为有效眼位时，从智能车机中获取车辆后面的影像，并将该影像显示出来，此时驾驶员无需一直盯着智能车机，在AR装置上观看车辆后方信息进行倒车的同时，还可以注意到车辆前方的信息，从而避免出现安全隐患的问题。

本发明实施例提供一种AR系统，如图10所示，该AR系统3包括：AR装置31以及车载设备，该车载设备包括：智能车机32、后视镜33、车身外左侧摄像头(左摄像头)34、车身外右侧摄像头(右摄像头)35以及车内全息图像摄像头36。该AR装置31的内容具体参照上文的描述，这里不再赘述。

本发明实施例提供的AR系统，基于五种固定眼位，实现驾驶员对车载设备操控的便捷操控，解决了现有各车载智能终端互联互动方式单一，操作不便的问题，为车载设备未来发展方向提供了新思路、新方案、新技术，获取驾驶员是否疲劳驾驶的信息，及时预警，使得驾驶员更加安全、舒适、便捷的体验驾驶乐趣。

在本申请所提供的几个实施例中，应该理解到，所揭露的AR装置，可以通过其它的方式实现。例如，以上所描述的AR装置的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各业务板可以集成在一个处理单元中，也可以是各个模块单独物理包括，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件业务板的形式实现。

上述以软件业务板的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件业务板存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种车载设备的控制方法，其特征在于，所述方法包括：

采集眼睛图像；

根据所述眼睛图像识别眼仁在眼眶中的位置；

当识别到所述眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息，并显示所述显示信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述眼睛图像识别眼仁在眼眶中的位置具体包括：

对所述眼睛图像做二值化处理得到二值图像；

根据所述二值图像中两种颜色的像素点的分布确定眼仁在眼眶中的位置。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述眼仁在眼眶中的位置为朝向第一方向的眼位；所述第一方向为朝向左视镜方向、右视镜方向、后视镜方向、智能车机方向或正视前方；

求取位于所述朝向第一方向的眼位对应的预设区域中的所述眼仁的面积，并将所述眼仁的面积与所述预设区域的面积作比值得到面积比值；

若所述面积比值大于第一预设值，且所述朝向第一方向的眼位持续预设时间，则所述眼仁在眼眶中的位置为朝向所述第一方向的有效眼位。

4.根据权利要求1所述的方法，其特征在于，当识别到所述眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息具体包括：

当识别到所述眼仁在眼眶中的位置为朝向左视镜方向的有效眼位时，从左摄像头中获取影像，所述左摄像头安装在车身外的左侧；和/或

当识别到所述眼仁在眼眶中的位置为朝向右视镜方向的有效眼位时，从右摄像头中获取影像，所述右摄像头安装在车身外的右侧；和/或

当识别到所述眼仁在眼眶中的位置为正视前方的有效眼位时，从智能车机中获取车辆基本信息，所述车辆基本信息包括车辆的时速、瞬时耗油以及发动机水温中的至少一个；和/或

当识别到所述眼仁在眼眶中的位置为朝向智能车机方向的有效眼位时，获取所述智能车机上显示的图标；和/或

当识别到所述眼仁在眼眶中的位置为朝向后视镜方向的有效眼位时，获取所述后视镜上显示的图标。

5.根据权利要求4所述的方法，其特征在于，当所述眼仁在眼眶中的位置为朝向智能车机方向或后视镜方向的有效眼位时，从车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息，并将所述显示信息显示出来具体包括：

采用无线传屏技术获取智能车机或后视镜上显示的图标；

将所述智能车机或后视镜上显示的图标投射到增强现实AR装置的AR显示器上。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当车内全息摄像头检测到有人手伸向智能车机或后视镜时，在所述AR显示器上显示人体的虚拟人手，所述虚拟人手与人体的真实人手的操作动作同步；

通过所述真实人手操控所述虚拟人手去触碰AR显示器上的图标来执行所述图标对应的操作。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当确定出所述眼仁的面积小于第二预设值时，则发出告警。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

当识别到所述眼仁在眼眶中的位置为有效眼位时，等待预设时间后，再去识别下一个有效眼位。

9.一种AR装置，其特征在于，所述AR装置包括控制模块、与所述控制模块连接的眼球姿态检测灰度图像采集模块以及与所述控制模块连接的车载设备，其中：

所述眼球姿态检测灰度图像采集模块，用于采集眼睛图像；

所述控制器，用于根据所述眼睛图像识别眼仁在眼眶中的位置；还用于当识别到所述眼仁在眼眶中的位置为有效眼位时，从所述车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息，并显示所述显示信息。

10.根据权利要求9所述的装置，其特征在于，所述控制模块在根据所述眼睛图像识别眼仁在眼眶中的位置具体用于：

对所述眼睛图像做二值化处理得到二值图像；

根据所述二值图像中两种颜色的像素点的分布确定眼仁在眼眶中的位置。

11.根据权利要求9所述的装置，其特征在于，所述控制模块还用于：

识别所述眼仁在眼眶中的位置为朝向第一方向的眼位；所述第一方向为朝向左视镜方向、右视镜方向、后视镜方向、智能车机方向或正视前方；

求取位于所述朝向第一方向的眼位对应的预设区域中的所述眼仁的面积，并将所述眼仁的面积与所述预设区域的面积作比值得到面积比值；

若所述面积比值大于第一预设值，且所述朝向第一方向的眼位持续预设时间，则所述眼仁在眼眶中的位置为朝向所述第一方向的有效眼位。

12.根据权利要求9所述的装置，其特征在于，所述控制模块在当识别到所述眼仁在眼眶中的位置为有效眼位时，从车载设备中获取与所述眼仁在眼眶中的位置对应的显示信息具体用于：

当识别到所述眼仁在眼眶中的位置为朝向左视镜方向的有效眼位时，从左摄像头中获取影像，所述左摄像头用于安装在车身外的左侧；和/或

当识别到所述眼仁在眼眶中的位置为朝向右视镜方向的有效眼位时，从右摄像头中获取影像，所述右摄像头用于安装在车身外的右侧；和/或

当识别到所述眼仁在眼眶中的位置为正视前方的有效眼位时，从智能车机中获取车辆基本信息，所述车辆基本信息包括车辆的时速、瞬时耗油以及发动机水温中的至少一个；和/或

当识别到所述眼仁在眼眶中的位置为朝向智能车机方向的有效眼位时，获取所述智能车机上显示的图标；和/或

当识别到所述眼仁在眼眶中的位置为朝向后视镜方向的有效眼位时，获取所述后视镜上显示的图标。

13.一种AR系统，其特征在于，包括权利要求9-12任一项所述的AR装置和车载设备。