CN110659543A

CN110659543A - 基于手势识别的车辆控制方法、系统及车辆

Info

Publication number: CN110659543A
Application number: CN201810702755.4A
Authority: CN
Inventors: 贾壮; 白军明; 刘效飞; 范波
Original assignee: BYD Co Ltd
Current assignee: BYD Co Ltd
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2020-01-07
Anticipated expiration: 2038-06-29
Also published as: CN110659543B

Abstract

本发明公开了一种基于手势识别的车辆控制方法、系统及车辆，其中，基于手势识别的车辆控制方法包括：获取摄像头捕捉到的车辆前方的图像信息，并识别出车辆前方的图像信息中的人物；提取位于车辆前方的人物的特征信息，并根据特征信息判断位于车辆前方的人物是否为交警；如果位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式；在交警手势识别模式下，识别出交警的控制手势；根据交警的控制手势生成车辆控制指令，并根据车辆控制指令进行驾驶。本发明实施例的基于手势识别的车辆控制方法、系统及车辆，能够对交警手势的识别更加精准，降低了成本，实时性强。

Description

基于手势识别的车辆控制方法、系统及车辆

技术领域

本发明涉及汽车技术领域，尤其涉及一种基于手势识别的车辆控制方法、系统及车辆。

背景技术

随着人工智能的高速发展，无人驾驶技术已逐步成型。其中，对于车辆如何识别物体、标示牌、交警手势等技术的研究也逐渐增多。在各种识别技术中，以交警手势的识别最为困难。目前，对于交警手势的识别主要包括两种方式。第一种方式，交警穿戴如智能手套等智能设备，通过检测智能设备的运动轨迹信号来识别交警手势；第二种方式，利用车载摄像头拍摄连续帧数图像，选取关键帧图像来识别交警手势。但是，第一种方式需要交警穿戴智能设备，成本高，普及推广难度大。第二种方式，交警手势是立体的动态手势，而拍摄到的图像均为平面图像，如果要求准确识别，则计算量大，耗时长，实时性差。如果要求实时性强，则识别准确度相对会变差。

发明内容

本发明提供一种基于手势识别的车辆控制方法、系统及车辆，以解决上述技术问题中的至少一个。

本发明实施例提供一种基于手势识别的车辆控制方法，包括：

获取摄像头捕捉到的车辆前方的图像信息，并识别出所述车辆前方的图像信息中的人物；

提取所述位于车辆前方的人物的特征信息，并根据所述特征信息判断所述位于车辆前方的人物是否为交警；

如果所述位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式；

在所述交警手势识别模式下，识别出所述交警的控制手势；

根据所述交警的控制手势生成车辆控制指令，并根据所述车辆控制指令进行驾驶。

可选的，方法还包括：

如果所述位于车辆前方的人物不为交警，则控制所述车辆保持信号灯识别模式；

在所述信号灯识别模式下，识别出所述信号灯的信号指令，并根据所述信号指令生成对应的车辆控制指令。

可选的，方法还包括：

在识别出所述车辆前方的图像信息中的人物之后，对识别出的人物进行标注。

可选的，所述特征信息包括服装颜色、服装造型、服装特定位置的标识中的一种或多种。

可选的，识别出所述交警的控制手势，包括：

通过激光雷达建立人体点云模型；

基于所述人体点云模型生成动作手势；

将所述动作手势与预设交通手势进行比对；

当所述动作手势与所述预设交通手势同步比例大于等于预设阈值时，确定所述动作手势为所述交警的控制手势。

可选的，识别出所述交警的控制手势，还包括：

通过所述摄像头获取多帧图像，并根据所述多帧图像生成人体线段模型；

通过激光雷达建立人体点云模型；

基于所述人体线段模型和所述人体点云模型生成动作手势；

将所述动作手势与预设交通手势进行比对；

可选的，根据所述多帧图像生成人体线段模型，包括：

识别出所述多帧图像中人物的动作的差异信息；

基于人体部位尺寸因子，根据所述差异信息计算出所述人物的肢体关节点的位置信息；

利用随机森林算法，并根据人体生理结构，将位置信息为相邻的肢体关节点用直线进行连接，以构建所述人体线段模型。

可选的，通过激光雷达建立人体点云模型，包括：

向交警发射激光，并接收通过交警的反射激光；

利用分类识别算法，提取所述反射激光对应的点云数据；

根据所述点云数据建立所述人体点云模型。

本发明另一实施例提供一种基于手势识别的车辆控制系统，包括：

摄像头，所述摄像头用于捕捉车辆前方的图像信息；

信号识别处理器，与所述摄像头相连，用于接收所述摄像头捕捉到的车辆前方的图像信息，并识别出所述车辆前方的图像信息中的人物，以及提取所述位于车辆前方的人物的特征信息，并根据所述特征信息判断所述位于车辆前方的人物是否为交警，如果所述位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式，并在所述交警手势识别模式下，识别出所述交警的控制手势，以及根据所述交警的控制手势生成车辆控制指令，并根据所述车辆控制指令进行驾驶。

可选的，所述信号识别处理器，还用于：

可选的，所述系统还包括激光雷达，所述激光雷达与所述信号识别处理器相连，

所述信号识别处理器，用于：

通过激光雷达建立人体点云模型；

基于所述人体点云模型生成动作手势；

将所述动作手势与预设交通手势进行比对；

可选的，所述信号识别处理器，还用于：

通过所述激光雷达建立人体点云模型；

基于所述人体线段模型和所述人体点云模型生成动作手势；

将所述动作手势与预设交通手势进行比对；

可选的，所述信号识别处理器，具体用于：

识别出所述多帧图像中人物的动作的差异信息；

可选的，所述信号识别处理器，具体用于：

通过所述激光雷达向交警发射激光，并接收通过交警的反射激光；

利用分类识别算法，提取所述反射激光对应的点云数据；

根据所述点云数据建立所述人体点云模型。

本发明还一实施例提供一种车辆，所述车辆包括上一方面实施例所述的基于手势识别的车辆控制系统。

本发明再一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面实施例所述的基于手势识别的车辆控制方法。

本发明实施例提供的技术方案可以包括以下有益效果：

通过获取摄像头捕捉到的车辆前方的图像信息，并识别出所述车辆前方的图像信息中的人物，以及提取所述位于车辆前方的人物的特征信息，并根据所述特征信息判断所述位于车辆前方的人物是否为交警，如果所述位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式，并在所述交警手势识别模式下，识别出所述交警的控制手势，以及根据所述交警的控制手势生成车辆控制指令，并根据所述车辆控制指令进行驾驶，能够对交警手势的识别更加精准，降低了成本，实时性强。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于手势识别的车辆控制方法的流程图；

图2是根据本发明一个实施例的识别交警的控制手势的流程图；

图3是根据本发明另一个实施例的识别交警的控制手势的流程图；

图4是根据本发明另一个实施例的基于手势识别的车辆控制方法的流程图；

图5是根据本发明一个实施例的基于手势识别的车辆控制系统的结构框图；

图6是根据本发明另一个实施例的基于手势识别的车辆控制系统的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的基于手势识别的车辆控制方法、系统及车辆。

图1是根据本发明一个实施例的基于手势识别的车辆控制方法的流程图。

如图1所示，该基于手势识别的车辆控制方法包括：

S101，获取摄像头捕捉到的车辆前方的图像信息，并识别出车辆前方的图像信息中的人物。

目前，对于交警手势的识别主要包括两种方式。第一种方式，交警穿戴如智能手套等智能设备，通过检测智能设备的运动轨迹信号来识别交警手势；第二种方式，利用车载摄像头拍摄连续帧数图像，选取关键帧图像来识别交警手势。但是，第一种方式需要交警穿戴智能设备，成本高，普及推广难度大。第二种方式，交警手势是立体的动态手势，而拍摄到的图像均为平面图像，如果要求准确识别，则计算量大，耗时长，实时性差。如果要求实时性强，则识别准确度相对会变差。另外，还有一点就是，当前的交警手势识别，并不会对交警的身份进行识别。也就是说，拍摄到的图像中出现的人物并不一定是交警，如果是路人的行为动作和交警手势相似，就无法正确地识别出时路人行为还是交警指挥，容易产生错误的判断。为此，本发明提出一种基于手势识别的车辆控制方法，首先可以对人物的身份进行判断，确定是交警后，再对交警的行为动作进行进一步地识别，识别出交警手势后，执行相应的驾驶指令，实时性强，准确率高。

在本发明的一个实施例中，车辆在启动后，车辆上安装的摄像头可开始工作，实时地捕捉车辆前方的图像信息。然后将捕捉到的车辆前方的图像信息发送给车辆的处理器，由处理器对图像信息进行识别处理。处理器可利用图像识别技术，识别出车辆前方的图像信息中的人物。即识别出摄像头的视野范围内是否有行人出现。

此外，在识别出车辆前方的图像信息中的人物之后，还可对识别出的人物进行标注，例如以方框形式将识别出的人物用方框框住，从而提示车辆前方的图像信息中有人物出现。在之后的计算中，只需对方框内的人物进行动作识别，而无需对整体图像中的人物进行动作识别，计算量更低，效率更高。

S102，提取位于车辆前方的人物的特征信息，并根据特征信息判断位于车辆前方的人物是否为交警。

在识别出图像信息中的人物之后，便可以进一步地对人物的身份进行识别。具体来说，可以提取位于车辆前方的人物的特征信息，并根据特征信息判断位于车辆前方的人物是否为交警。

其中，特征信息可包括服装颜色、服装造型、服装特定位置的标识中的一种或多种。

例如，一般情况下交警身穿的制服为：黑色的上衣和裤子，白色的沿帽，黄绿色的荧光背心，白色的手套等。特定位置上，如沿帽上具有警徽，胸前有警员编号胸牌，肩部有肩章等标识。具有上述特征信息的人物，可确定为交警。否则，可确定人物为路人或其他行人。

进一步来说，为了提高识别的准确性，可通过多帧识别的方式来判断车辆前方的人物是否为交警。即获取多帧图像，当图像中的人物的特征信息符合交警的特征，且连续符合的次数达到5次时，便可确定该人物为交警。

S103，如果位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式。

在确定出现在车辆前方的人物为交警之后，便可控制车辆进入交警手势识别模式。在该模式下，优先识别交警手势。

S104，在交警手势识别模式下，识别出交警的控制手势。

在进入到交警手势识别模式之后，便可以识别出交警的控制手势。

识别出交警的控制手势，可具体分为三种方式：第一种方式为仅通过图像来识别，第二种方式为仅通过激光雷达来识别，第三种方式为将以上两种方式结合来进行识别。

由于第一种方式，通过二维的图像来识别交警的控制手势，在背景技术中已经介绍，其为现有技术，二维的图像用来识别三维的控制手势，准确度不高，故此处不再赘述。

第二种方式，具体可如图2所示，包括以下步骤：

S201，通过激光雷达建立人体点云模型。

具体地，可通过激光雷达向交警发射激光。激光在照射到交警后，会产生反射激光，此时激光雷达的接收装置可接收反射激光。然后处理器可以利用分类识别算法，来提取反射激光对应的点云数据，再根据点云数据建立人体点云模型。人体点云模型为一个三维立体模型。

S202，基于人体点云模型生成动作手势。

S203，将动作手势与预设交通手势进行比对。

S204，当动作手势与预设交通手势同步比例大于等于预设阈值时，确定动作手势为交警的控制手势。

例如，通过摄像头和激光雷达识别出的动作手势，与预设交通手势进行比对。如果两者的同步比例大于0.75，说明两者相似度比较高，那么该动作手势便可确定为交警的控制手势。其中，预设交通手势可包括直行手势、左转弯手势、右转弯手势、停止手势、变道缓行手势、减速缓行手势等。

第三种方式，具体可如图3所示，包括以下步骤：

S301，通过摄像头获取多帧图像，并根据多帧图像生成人体线段模型。

具体地，首先可识别出多帧图像中人物的动作的差异信息，然后基于人体部位尺寸因子，根据差异信息计算出人物的肢体关节点的位置信息，再利用随机森林算法，并根据人体生理结构，将位置信息为相邻的肢体关节点用直线进行连接，以构建人体线段模型。其中，人体线段模型也可以成为人体三维骨架图，是一个将头、躯干和四肢用线段来表示，四肢的关节用点来表示的线段图形。其中，由于距离越远，人物在图像中就会越小，因此引入人体部位尺寸因子，做等比例的变换。

S302，通过激光雷达建立人体点云模型。

此处与上一方式相同，不赘述。

S303，基于人体线段模型和人体点云模型生成动作手势。

将人体线段模型和人体点云模型放置在同一坐标系中，将两者进行结合，生成动作手势。

S304，将动作手势与预设交通手势进行比对。

S305，当动作手势与预设交通手势同步比例大于等于预设阈值时，确定动作手势为交警的控制手势。

此处与上一方式相同，不赘述。

S105，根据交警的控制手势生成车辆控制指令，并根据车辆控制指令进行驾驶。

在识别出交警的控制手势之后，便可根据交警的控制手势生成车辆控制指令。车辆可以基于生成的车辆控制指令进行驾驶。例如：在正确识别交警的控制手势之后，便可将控制手势转换成相应的车辆控制指令。如识别到左转弯等待手势后，可对当前行驶车道进行识别，控制车辆驶入左转车道，然后根据停车线或者前车位置进行停车控制，等待下一控制手势。

应当理解的是，控制手势仅针对车辆当前行驶的方向，针对其他行驶方向上的控制手势，车辆禁止执行。

此外，在驶离交警指挥范围后，可自动将交警手势识别模式恢复至信号灯识别模式。

本发明实施例的基于手势识别的车辆控制方法，通过获取摄像头捕捉到的车辆前方的图像信息，并识别出车辆前方的图像信息中的人物，以及提取位于车辆前方的人物的特征信息，并根据特征信息判断位于车辆前方的人物是否为交警，如果位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式，并在交警手势识别模式下，识别出交警的控制手势，以及根据交警的控制手势生成车辆控制指令，并根据车辆控制指令进行驾驶，能够对交警手势的识别更加精准，降低了成本，实时性强。

在本发明的另一个实施例中，如图4所示，方法还可包括以下步骤：

S106，如果位于车辆前方的人物不为交警，则控制车辆保持信号灯识别模式。

也就是说，摄像头捕捉的图像信息中出现的人物并不是交警，因此车辆无需理会非交警产生的动作手势，只识别交通信号灯产生的信号指令，并按照该信号指令生成相应的车辆控制指令进行驾驶。

S107，在信号灯识别模式下，识别出信号灯的信号指令。

S108，根据信号指令生成对应的车辆控制指令。

为了实现上述实施例，本发明还提出了一种基于手势识别的车辆控制系统。

图5是根据本发明一个实施例的基于手势识别的车辆控制系统的结构框图，如图5所示，该系统包括摄像头510和信号识别处理器520。

摄像头510，摄像头用于捕捉车辆前方的图像信息。

信号识别处理器520，与摄像头510相连，用于接收摄像头510捕捉到的车辆前方的图像信息，并识别出车辆前方的图像信息中的人物，以及提取位于车辆前方的人物的特征信息，并根据特征信息判断位于车辆前方的人物是否为交警，如果位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式，并在交警手势识别模式下，识别出交警的控制手势，以及根据交警的控制手势生成车辆控制指令，并根据车辆控制指令进行驾驶。

在本发明的另一个实施例中，如图6所示，系统还可包括激光雷达530。

激光雷达530与信号识别处理器520相连。

信号识别处理器520，用于通过激光雷达530建立人体点云模型，并基于人体点云模型生成动作手势，然后将动作手势与预设交通手势进行比对，当动作手势与预设交通手势同步比例大于等于预设阈值时，确定动作手势为交警的控制手势。

此外，信号识别处理器520，用于通过摄像头510获取多帧图像，并根据多帧图像生成人体线段模型。然后，通过激光雷达530建立人体点云模型，再基于人体线段模型和人体点云模型生成动作手势，并将动作手势与预设交通手势进行比对，当动作手势与预设交通手势同步比例大于等于预设阈值时，可确定动作手势为交警的控制手势。

需要说明的是，前述对基于手势识别的车辆控制方法的解释说明，也适用于本发明实施例的基于手势识别的车辆控制系统，本发明实施例中未公布的细节，在此不再赘述。

本发明实施例的基于手势识别的车辆控制系统，通过获取摄像头捕捉到的车辆前方的图像信息，并识别出车辆前方的图像信息中的人物，以及提取位于车辆前方的人物的特征信息，并根据特征信息判断位于车辆前方的人物是否为交警，如果位于车辆前方的人物为交警，则控制车辆进入交警手势识别模式，并在交警手势识别模式下，识别出交警的控制手势，以及根据交警的控制手势生成车辆控制指令，并根据车辆控制指令进行驾驶，能够对交警手势的识别更加精准，降低了成本，实时性强。

为了实现上述实施例，本发明还提出了一种车辆，该车辆可包括上一方面实施例的基于手势识别的车辆控制系统。

为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面实施例的基于手势识别的车辆控制方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于手势识别的车辆控制方法，其特征在于，包括：

在所述交警手势识别模式下，识别出所述交警的控制手势；

2.如权利要求1所述的方法，其特征在于，还包括：

3.如权利要求1所述的方法，其特征在于，还包括：

4.如权利要求1所述的方法，其特征在于，所述特征信息包括服装颜色、服装造型、服装特定位置的标识中的一种或多种。

5.如权利要求1所述的方法，其特征在于，识别出所述交警的控制手势，包括：

通过激光雷达建立人体点云模型；

基于所述人体点云模型生成动作手势；

将所述动作手势与预设交通手势进行比对；

6.如权利要求5所述的方法，其特征在于，识别出所述交警的控制手势，还包括：

通过激光雷达建立人体点云模型；

基于所述人体线段模型和所述人体点云模型生成动作手势；

将所述动作手势与预设交通手势进行比对；

7.如权利要求6所述的方法，其特征在于，根据所述多帧图像生成人体线段模型，包括：

识别出所述多帧图像中人物的动作的差异信息；

8.如权利要求6所述的方法，其特征在于，通过激光雷达建立人体点云模型，包括：

向交警发射激光，并接收通过交警的反射激光；

利用分类识别算法，提取所述反射激光对应的点云数据；

根据所述点云数据建立所述人体点云模型。

9.一种基于手势识别的车辆控制系统，其特征在于，包括：

摄像头，所述摄像头用于捕捉车辆前方的图像信息；

10.一种车辆，其特征在于，包括如权利要求9所述的基于手势识别的车辆控制系统。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-8任一项所述的基于手势识别的车辆控制方法。