CN109614953A - 一种基于图像识别的控制方法、车载设备及存储介质 - Google Patents

Abstract

本发明实施例涉及电子技术领域，公开了一种基于图像识别的控制方法、车载设备及存储介质。本发明应用于车载设备，包括：预先采集面部特征样本和手势特征样本；其中，手势特征样本与面部特征样本的组合用于对应对车辆的控制指令；在检测到驾驶员手势时，获取驾驶员的面部特征和驾驶员的手势特征；若获取的驾驶员的面部特征和驾驶员的手势特征的组合，与采集到的手势特征样本与面部特征样本的组合相匹配，则执行匹配的采集到的手势特征样本与面部特征样本的组合所对应的对车辆的控制指令。通过每一位驾驶员形成唯一驾驶行为特征，根据行为特征执行相应的控制指令，提高了识别率和准确率，使执行的控制指令更加准确，从而保证了行车安全性及舒适性。

Description

一种基于图像识别的控制方法、车载设备及存储介质

技术领域

本发明实施例涉及电子技术领域，特别涉及一种基于图像识别的控制方法。

背景技术

随着电子技术的发展，人们可以通过手势识别实现与机器的通信，无需借助机械设备即可自然交互，在汽车驾驶方面，通过手势的识别可以实现对汽车的控制，从而简化了驾驶员驾驶过程中的操作。

发明人发现相关技术中至少存在如下问题：目前手势识别的方法主要有两种，一种通过接触电场强度分布识别手势，这样的方式手势识别率较低，并且识别的手势类型较少；另一种通过摄像头识别手势，以这种方式识别手势对摄像头要求较高，成本较大。

发明内容

本发明实施方式的目的在于提供一种基于图像识别的控制方法、车载设备及存储介质，使图像识别的识别精度提高，从而提升驾驶的安全性，保证驾驶员的行车安全及舒适性。

为解决上述技术问题，本发明的实施方式提供了一种基于图像识别的控制方法，应用于车载设备，包括：预先采集面部特征样本和手势特征样本；其中，手势特征样本与面部特征样本的组合用于对应对车辆的控制指令；在检测到驾驶员手势时，获取驾驶员的面部特征和驾驶员的手势特征；若获取的驾驶员的面部特征和驾驶员的手势特征的组合，与采集到的手势特征样本与面部特征样本的组合相匹配，则执行匹配的采集到的手势特征样本与面部特征样本的组合所对应的对车辆的控制指令。

本发明的实施方式还提供了一种车载设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行基于图像识别的控制方法。

本发明的实施方式还提供了一种存储介质，存储有计算机程序，计算机程序被处理器执行时上述的基于图像识别的控制方法。

本发明实施方式相对于现有技术而言，将手势特征与面部特征识别融合用于对应车辆的控制指令，相较于仅用手势特征进行车辆的控制，使车辆控制的方式更加多样化，在获取的手势特征和面部特征组合与预先采集的面部特征样本和手势特征样本的组合相匹配的情况下执行控制指令，大大提高了识别的识别率和识别精度，使执行的控制指令更加准确，从而保证了行车安全。

另外，通过以下方式判断获取的驾驶员的面部特征和驾驶员的手势特征的组合，与采集到的手势特征样本与面部特征样本的组合是否匹配：将获取的驾驶员的面部特征和驾驶员的手势特征的组合输入到预先建立的增强学习网络模型中，根据增强学习网络模型的输出结果，判断获取的驾驶员的面部特征和驾驶员的手势特征的组合，是否与采集到的手势特征样本与面部特征样本的组合相匹配；其中，增强学习网络模型根据预先采集的多个面部特征样本和手势特征样本训练得到。建立增强学习网络模型，实现对面部特征和手势特征的精确判断，通过计算得到的特征值，准确的判断出是否需要执行控制指令，并确定执行何种控制指令，提高了图像识别的识别率，且增加了图像识别的精度。

另外，检测到驾驶员手势，具体包括：在检测到手势时，检测手势到驾驶员头部的距离；若手势到驾驶员头部的距离处于第一预设距离范围之内，则判定手势为驾驶员手势。由于驾驶员在驾驶过程中手部与头部的距离满足人体力学，即手部与头部的距离处于一定范围内，通过手势与驾驶员头部的距离，判断该手势是否为驾驶员手势，从而区分驾驶员手势和乘客手势，针对驾驶员手势判断是否有相应的控制指令，忽略乘客的手势，从而提高了识别率，减少误动作，另外，准确的区分驾驶员手势和乘客的手势，可以保障驾驶员的行车安全，防止乘客误操作导致驾驶员分心造成交通事故，保障驾驶员及乘客的生命安全。

另外，在判定手势为驾驶员手势后，还包括：判断驾驶员手势是否为有效手势；若驾驶员手势与驾驶员头部的距离未处于第二预设范围内，则判定手势为有效手势。这样做可以排除驾驶员在驾驶过程中的一些明显不是用于控制车辆的手势动作，从而提高了识别率，减少误动作。

另外，检测到驾驶员手势，具体包括：在检测到手势时，分析手势的轨迹变化；若手势的轨迹变化与预设轨迹变化相匹配，则判定手势为驾驶员手势。由于驾驶员和前排乘客的手势轨迹完全相反，所以根据手势的轨迹变化可以判定驾驶员手势，从而提高图像识别的识别率。

另外，获取驾驶员的面部特征，具体包括：获取车内图像中的人脸图像；根据人脸图像的图像深度信息，通过人脸面部图像与相对应的手势在空间图层中的相对位置，判断所述人脸图像是否为驾驶员的人脸图像，则根据驾驶员的人脸图像获取驾驶员的面部特征。获取驾驶员的面部特征后，还包括：根据驾驶员的面部特征，判断驾驶员是否违规驾驶；其中，违规驾驶至少包括疲劳驾驶；若驾驶员违规驾驶，则发出警报。这样做可以在驾驶员疲劳驾驶的时候发出警报，避免疲劳驾驶带来的驾驶危险，从而保证行车安全。

另外，在预先建立的增强学习网络模型后，还包括：根据预设周期内获取的驾驶员的面部特征和驾驶员的手势特征的组合，优化增强学习网络模型。这样做可以持续化的优化模型，逐渐提高图像识别的识别率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式中的基于图像识别的控制方法流程图；

图2是根据本发明第二实施方式中的基于图像识别的控制方法流程图；

图3是根据本发明第三实施方式中的基于图像识别的控制方法流程图；

图4是根据本发明第四实施方式中的车载设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种基于图像识别的控制方法，应用于车载设备，包括：预先采集面部特征样本和手势特征样本；其中，手势特征样本与面部特征样本的组合用于对应对车辆的控制指令；在检测到驾驶员手势时，获取驾驶员的面部特征和驾驶员的手势特征；若获取的驾驶员的面部特征和驾驶员的手势特征的组合，与采集到的手势特征样本与面部特征样本的组合相匹配，则执行匹配的采集到的手势特征样本与面部特征样本的组合所对应的对车辆的控制指令。将手势特征与面部特征结合用于对应车辆的控制指令，相较于仅用手势特征进行车辆的控制，使车辆控制的方式更加多样化，在获取的手势特征和面部特征组合与预先采集的面部特征样本和手势特征样本的组合相匹配的情况下执行控制指令，大大提高了识别的精度准确，使执行的控制指令更加准确，从而保证了行车安全。下面对本实施方式的基于图像识别的控制方法进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施方式的具体流程如图1所示：

步骤101，预先采集面部特征样本和手势特征样本。

步骤102，获取驾驶员的面部特征和驾驶员手势特征。

步骤103，判断获取的驾驶员面部特征和驾驶员手势特征组合与预先采集的面部特征样本和手势特征样本的组合是否匹配，若匹配，则进入步骤104，若不匹配，则返回步骤102。

步骤104，执行获取的驾驶员面部特征和驾驶员手势特征组合对应的对车辆的控制指令。

具体地说，为了方便驾驶员在驾驶过程中对车载设备的操控，驾驶员可以预先设定对车辆的控制指令对应的手势，通过对手势的识别实现对车载设备的控制，比如，用户预先存储勾手指的动作，对应的指令为打开汽车的天窗，当识别到驾驶员做出勾手指的动作时，控制车辆的天窗开启，避免驾驶员分心操作而引起安全隐患，提高驾驶安全性。而在识别手势的基础上融合面部特征的识别，来提高识别率和准确率，由于汽车的驾驶员并不固定，汽车拥有者的家庭成员及朋友都有几率驾驶这辆汽车，而每个人的习惯动作或多或少都会有些不同，例如，某一家庭中的男主人在勾手指的时候习惯于用除拇指之外的四个手指完成这一动作，而女主人在勾手指时则习惯于仅使用食指完成这一动作，这两个动作在细节上有不同之处，但是在本质上并无较大差异，只是机器无法识别这一动作，而导致相应的指令无法完成，从而降低了识别率。本发明中通过采集面部特征样本和手势特征样本的组合，通过深度算法学习形成每一位驾驶员唯一的面部特征与驾驶行为特征，在实际应用中可以将面部特征与手势特征一一对应形成特征域，从而解决识别率较低的问题，以上述勾手指的动作为例，在预先采集样本的过程中，预先采集男主人的面部特征，并且采集男主人的手势特征，将男主人的面部特征和手势特征组合，作为匹配样本，同样在采集女主人的面部特征和手势特征后，将其组合存储为样本。在驾驶过程中，若识别到勾手指的手势，则获取驾驶员面部特征，以区分目前驾驶员为男主人还是女主人，将识别到的手势特征及驾驶员面部特征与预先采集的样本相匹配，很大程度避免了手势无法识别的情况发生，大大提高了图像识别的识别率和识别精度，保障了驾驶员的行车安全和舒适性。

值得一提的是，本实施方式中通过摄像头识别驾驶员的面部特征和手势特征，摄像头采用共基板结构双目视觉相机，两个相机可以一个设置为RGB相机(彩色相机)，另一个设置为TOF相机(time of flight飞行时间)，这样做可以在保障相机分辨率的同时，降低相机的成本，两个相机摄像头的中心轴同轴线的偏差范围在3°以内，确保获取白昼与黑夜驾驶过程中图层深度信息和采集数据的准确性。摄像头可以识别到驾驶员在车辆方向盘的范围内做出手势，无需在指定空间区域内做出手势，可以最大限度的减少驾驶员驾驶过程中的分心操作，从而确保了驾驶员行车过程中的驾驶安全性，保障了驾驶员及乘客的生命安全。

本发明实施方式相对于现有技术而言，将手势特征与面部特征结合用于对应车辆的控制指令，相较于仅用手势特征进行车辆的控制，使车辆控制的方式更加多样化，在获取的手势特征和面部特征组合与预先采集的面部特征样本和手势特征样本的组合相匹配的情况下执行控制指令，大大提高了识别的识别率和精度准确，使执行的控制指令更加准确，从而保证了行车安全。

本发明的第二实施方式涉及一种基于图像识别的控制方法。第二实施方式在第一实施方式的基础上做了改进，主要改进之处在于：在本发明第二实施方式中，通过建立增强学习网络模型，根据模型输出结果，判定获取的驾驶员面部特征和手势特征的组合与预先采集的手势特征样本和面部特征样本组合是否匹配，并在预设周期优化上述增强学习网络模型，逐步提高图像识别的识别率识别率。具体流程如图2所示。

步骤201，预先采集面部特征样本和手势特征样本。

步骤202，建立增强学习网络模型。

步骤203，获取驾驶员的面部特征和驾驶员手势特征。

步骤204，判断获取的驾驶员面部特征和驾驶员手势特征组合与预先采集的面部特征样本和手势特征样本的组合是否匹配，若匹配，则进入步骤205，若不匹配，则返回步骤203。

步骤205，执行获取的驾驶员面部特征和驾驶员手势特征组合对应的对车辆的控制指令。

具体地说，在建立增强学习网络模型时，利用摄像头采集面部图像和手势图像信息，经过误差补偿和滤波后，绘制成带有深度信息的图像，通过机器学习算法识别图像中的面部特征和手势特征，在识别手势特征时，可以通过手势分割技术将图片中的手势部分分割出来，并提取手势的质心以及面积的大小作为特征向量，综合考虑面部特征和手势特征组合的特征值，通过卷积神经网络训练预先采集的图片样本，从而建立增强学习网络模型。在检测到驾驶员手势时，同时获取驾驶员面部特征，将获取到的驾驶员的面部特征和驾驶员的手势特征的组合输入到预先建立的增强学习网络模型中，根据增强学习网络模型的输出结果，判断获取的驾驶员的面部特征和驾驶员的手势特征的组合，是否与采集到的手势特征样本与面部特征样本的组合相匹配，若匹配则执行获取的驾驶员面部特征和驾驶员手势特征组合对应的对车辆的控制指令。通过建立模型，实现对面部特征和手势特征的精确判断，准确的判断出驾驶员是否需要执行控制指令，以及需要执行何种控制指令，从而提高了图像识别的识别率和识别精度。

步骤206，根据预设周期内获取的驾驶员的面部特征和驾驶员的手势特征的组合，优化增强学习网络模型。

具体地说，收集一定时间内满足模型要求的经验数据，经验数据可以是过去一段时间内驾驶员通过手势识别执行控制指令的数据，增强学习网络模型利用收集到的经验数据进行持续深度学习优化，使识别的结果更加准确，逐步提高整体识别率。

在本实施方式中，通过建立并优化增强学习网络模型，实现对面部特征和手势特征的精确判断，准确的判断出驾驶员是否需要执行控制指令，以及需要执行何种控制指令，从而实现逐步提高图像识别率，并且增加了图像识别的识别精度。

本发明的第三实施方式涉及一种基于图像识别的控制方法。第三实施方式在第二实施方式的基础上做了改进，主要改进之处在于：在本发明第三实施方式中，以具体的方式判断识别到的手势是否为驾驶员手势，识别到的人脸图像是否为驾驶员面部图像。具体流程如图3所示。

步骤301，预先采集面部特征样本和手势特征样本。

步骤302，建立增强学习网络模型。

步骤303，检测手势到驾驶员的头部的距离。

步骤304，判断手势到驾驶员头部的距离是否处于第一预设距离范围之内，若判断结果为是，则进入步骤305，若判断结果为否，则重复步骤303。

步骤305，判断手势到驾驶员头部的距离是否处于第二预设距离范围之内，若判断结果为是，则重复步骤303，若判断结果为否，则进入步骤306。

步骤306，获取驾驶员面部特征和驾驶员的手势特征。

具体地说，在识别到手势时，通过摄像头计算出该手势到驾驶员头部的距离，由于驾驶员在驾驶过程中手部与头部的距离满足人体力学，即手部与头部的距离处于一定范围内，若超过该距离范围，则为乘客手势。在判定手势为驾驶员手势后，还可以判断驾驶员手势是否有效，在检测到手势为无效手势后，即可将无效手势忽略，提高设备的工作效率。无效手势可能出现的情况如下：在驾驶员驾驶过程中，可能会做出抓脸摸头推眼镜等动作，通过摄像头算法识别过滤非有效控制车辆动作，因此滤除掉乘客手势及驾驶员的无效动作，仅针对驾驶员的有效手势输入增强学习网络模型，可以提高工作效率，并且减少车辆设备的误动作，另外，准确的区分驾驶员手势和乘客的手势，可以保障驾驶员的行车安全，防止乘客误操作导致驾驶员分心造成交通事故，保障驾驶员及乘客的生命安全。

区分驾驶员手势和乘客手势的方式不仅仅通过距离的判断，还可以通过手势在空间运动轨迹进行判断，驾驶员和前排乘客做出某一相同动作时，由于驾驶员使用的为右手而乘客使用的是左手，同样的动作，因为使用的手不同，做出来的动作轨迹刚好相反，通过手势轨迹的变化判断该手势是否为驾驶员手势。

在实际应用中，在获取到驾驶员面部特征和手势特征之前，还可以对获取的面部图像进行判断，判断人脸图像是属于驾驶员还是乘客，具体可以通过图像深度来判断，摄像头采用背景虚化的拍摄手法，将除驾驶员外的图像虚化，从而降低了除驾驶员之外的图像的分辨率，根据分辨率的不同，判定驾驶员面部图像，从而获取驾驶员面部特征。另外，根据驾驶员面部特征，可以判断驾驶员是否违规驾驶，根据人脸特征，比如，眼睛开合状态，眼睛持续闭合时间，视线方向，头部的姿态及动作，注意力的区域等，判断驾驶员是否处于疲惫状态，若处于疲惫状态，则此时驾驶员驾车有很大几率会发生危险，需要提醒驾驶员注意休息，避免疲劳驾驶，从而避免疲劳驾驶带来的风险，保障驾驶员及乘客的安全。

步骤307，判断获取的驾驶员面部特征和驾驶员手势特征组合与预先采集的面部特征样本和手势特征样本的组合是否匹配，若匹配，则进入步骤308，若不匹配，则返回步骤306。

步骤308，执行获取的驾驶员面部特征和驾驶员手势特征组合对应的对车辆的控制指令。

步骤309，根据预设周期内获取的驾驶员的面部特征和驾驶员的手势特征的组合，优化增强学习网络模型。

步骤307至309与第二实施方式中步骤204至206一致，在此不再赘述。

本实施方式中，在获取驾驶员面部特征和手势特征的组合之前，判定获取的手势为驾驶员手势，通过区分驾驶员手势和乘客手势，针对驾驶员手势判断是否有相应的控制指令，忽略乘客的手势，从而提高了设备的工作效率，减少了设备的功耗，另外，准确的区分驾驶员手势和乘客的手势，可以保障驾驶员的行车安全，防止乘客误操作导致驾驶员分心造成交通事故，保障驾驶员及乘客的生命安全。还通过驾驶员面部特征，判断驾驶员是否疲劳驾驶，在源头上防范疲劳驾驶导致的交通事故的发生，确保驾驶员和乘客的安全。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第四实施方式涉及一种车载设备，如图4所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述基于图像识别的控制方法。

其中，存储器402和处理器401采用总线方式连接，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、图像处理器和电源管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。

处理器401负责图像识别、算法运行、逻辑控制，外围接口，电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是MCU(Microcontroller Unit)芯片、SOC(System on Chip)芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种基于图像识别的控制方法，其特征在于，应用于车载设备，包括：

预先采集面部特征样本和手势特征样本；其中，所述手势特征样本与所述面部特征样本的组合用于对应对车辆的控制指令；

在检测到驾驶员手势时，获取所述驾驶员的面部特征和驾驶员的手势特征；

若获取的所述驾驶员的面部特征和所述驾驶员的手势特征的组合，与所述采集到的所述手势特征样本与所述面部特征样本的组合相匹配，则执行匹配的所述采集到的所述手势特征样本与所述面部特征样本的组合所对应的对车辆的控制指令。

2.根据权利要求1所述的基于图像识别的控制方法，其特征在于，通过以下方式判断获取的所述驾驶员的面部特征和所述驾驶员的手势特征的组合，与所述采集到的所述手势特征样本与所述面部特征样本的组合是否匹配：

将获取的所述驾驶员的面部特征和所述驾驶员的手势特征的组合输入到预先建立的增强学习网络模型中，根据所述增强学习网络模型的输出结果，判断所述获取的所述驾驶员的面部特征和所述驾驶员的手势特征的组合，是否与所述采集到的所述手势特征样本与所述面部特征样本的组合相匹配；

其中，所述增强学习网络模型根据预先采集的多个面部特征样本和手势特征样本训练得到。

3.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述检测到驾驶员手势，具体包括：

在检测到手势时，检测所述手势到驾驶员头部的距离；

若所述手势到驾驶员头部的距离处于第一预设距离范围之内，则判定所述手势为驾驶员手势。

4.根据权利要求3所述的基于图像识别的控制方法，其特征在于，在所述判定所述手势为驾驶员手势后，还包括：

判断所述驾驶员手势是否为有效手势；

若所述驾驶员手势与所述驾驶员头部的距离未处于第二预设范围内，则判定所述手势为有效手势。

5.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述检测到驾驶员手势，具体包括：

在检测到手势时，分析所述手势的轨迹变化；

若所述手势的轨迹变化与预设轨迹变化相匹配，则判定所述手势为驾驶员手势。

6.根据权利要求1所述的基于图像识别的控制方法，其特征在于，所述获取所述驾驶员的面部特征，具体包括：

获取车内图像中的人脸图像；

根据人脸图像的图像深度信息，判断所述人脸图像是否为驾驶员的人脸图像；

若所述人脸图像为驾驶员的人脸图像，则根据驾驶员的人脸图像获取驾驶员的面部特征。

7.根据权利要求6所述的基于图像识别的控制方法，其特征在于，所述获取驾驶员的面部特征后，还包括：

根据所述驾驶员的面部特征，判断所述驾驶员是否违规驾驶；

其中，所述违规驾驶至少包括疲劳驾驶；

若所述驾驶员违规驾驶，则发出警报。

8.根据权利要求2所述的基于图像识别的控制方法，其特征在于，在所述预先建立的增强学习网络模型后，还包括：

根据预设周期内获取的所述驾驶员的面部特征和驾驶员的手势特征的组合，优化所述增强学习网络模型。

9.一种车载设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的基于图像识别的控制方法。

10.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于图像识别的控制方法。