CN108830148A - 交通手势识别方法、装置、计算机可读存储介质及车辆 - Google Patents
交通手势识别方法、装置、计算机可读存储介质及车辆 Download PDFInfo
- Publication number
- CN108830148A CN108830148A CN201810421522.7A CN201810421522A CN108830148A CN 108830148 A CN108830148 A CN 108830148A CN 201810421522 A CN201810421522 A CN 201810421522A CN 108830148 A CN108830148 A CN 108830148A
- Authority
- CN
- China
- Prior art keywords
- gesture
- gesture information
- traffic police
- information
- micromotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种交通手势识别方法、装置、计算机可读存储介质及车辆。方法包括:获取当前采集到的图片帧中的手势信息;当手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配、且目标交警手势包括多个连续分解动作时,获取N个连续的目标图片帧中的M个手势信息;判断M个手势信息中是否存在与第一个分解动作所属交警手势的P个后续分解动作一一相匹配的P个手势信息,且P个手势信息各自对应的目标图片帧的采集时间顺序是否与P个后续分解动作的先后顺序一致;在满足上述条件时,将目标交警手势作为识别结果。由此,通过连续图片帧的分析,即可实现由多个组合动作构成的交警手势的识别,时间短且准确率高,从而提升了驾驶安全性。
Description
技术领域
本公开涉及自动驾驶领域,具体地,涉及一种交通手势识别方法、装置、计算机可读存储介质及车辆。
背景技术
车载视觉是基于机器视觉、并结合光学、微电子技术、计算机技术等知识及车辆运动的特点而形成的,它是自动驾驶技术的重要组成部分,相当于驾驶员的眼睛。随着自动驾驶技术的发展,图像识别技术在车道线识别、交通标志识别、障碍物识别等方面得到了很大发展,但是在特殊的情况下,对交警手势的识别变得更为重要。自动驾驶车辆只有通过识别交警手势来获取交警的意图,才能在特殊的交通场景下实现智能化的驾驶。虽然当前的自动驾驶识别技术在识别静态对象方面准确率得到了很大提升,但其在获取对象意图方面并没有得到充分利用,例如,特殊交通场景下对交警手势的理解。
发明内容
本公开的目的是针对现有技术中对于静态交通手势识别准确率低的问题,提供一种交通手势识别方法、装置、计算机可读存储介质及车辆
为了实现上述目的,本公开提供一种交通手势识别方法,包括:
获取当前采集到的图片帧中的手势信息;
当所述手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,将与所述手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,判断所述目标交警手势是否包括多个连续分解动作,其中,每个所述交警手势包括用于唯一标识所述交警手势的多个连续的分解动作或一个分解动作;
当所述目标交警手势包括多个连续分解动作时,获取N个连续的目标图片帧中的M个手势信息,其中,所述N个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第一预设时长内采集到的图片帧,N>1,M>1,且M≤N;
判断所述M个手势信息中是否存在与所述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序是否与所述P个后续分解动作的先后顺序一致;
在判定所述M个手势信息中存在所述P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序与所述P个后续分解动作的先后顺序一致的情况下,将所述目标交警手势作为识别结果。
可选地,所述手势信息通过以下方式来获取:
通过卷积神经网络算法,识别图片帧中的所述手势信息。
可选地,所述方法还包括:
当所述目标交警手势包括一个分解动作时,获取Q个连续的目标图片帧中的R个手势信息,其中,所述Q个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第二预设时长内采集到的图片帧,Q>1,R>1,且R≤Q;
判断所述R个手势信息中、与所述第一个分解动作相匹配的手势信息的数量是否达到T个,其中,T≥1;
在所述手势信息的数量数达到T个时,执行所述将所述目标交警手势作为识别结果的步骤。
可选地,所述方法还包括以下中的至少一者:
显示所述识别结果;
语音播报所述识别结果;
根据所述识别结果,生成相应的控制指令。
本公开还提供一种交通手势识别装置,包括:
第一获取模块,用于获取当前采集到的图片帧中的手势信息;
第一判断模块,用于当所述第一获取模块获取到的所述手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,将与所述手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,判断所述目标交警手势是否包括多个连续分解动作,其中,每个所述交警手势包括用于唯一标识所述交警手势的多个连续的分解动作或一个分解动作;
第二获取模块,用于当所述第一判断模块确定所述目标交警手势包括多个连续分解动作时,获取N个连续的目标图片帧中的M个手势信息,其中,所述N个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第一预设时长内采集到的图片帧,N>1,M>1,且M≤N;
第二判断模块,用于判断所述M个手势信息中是否存在与所述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序是否与所述P个后续分解动作的先后顺序一致;
确定模块,用于在所述第二判断模块判定所述M个手势信息中存在所述P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序与所述P个后续分解动作的先后顺序一致的情况下,将所述目标交警手势作为识别结果。
可选地,所述手势信息通过以下方式来获取:
通过卷积神经网络算法,识别图片帧中的所述手势信息。
可选地,所述装置还包括:
第三获取模块,用于当所述第一判断模块确定所述交警手势包括一个分解动作时,获取Q个连续的目标图片帧中的R个手势信息,其中,所述Q个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第二预设时长内采集到的图片帧,Q>1,R>1,且R≤Q;
第三判断模块,用于判断所述R个手势信息中、与所述第一个分解动作相匹配的手势信息的数量是否达到T个,其中,T≥1;
触发模块,用于在所述手势信息的数量达到T个时,触发所述确定模块将所述目标交警手势作为识别结果。
可选地,所述装置还包括以下中的至少一者:
显示模块,用于显示所述确定模块确定出的所述识别结果;
语音模块,用于语音播报所述确定模块确定出的所述识别结果;
生成模块,用于根据所述确定模块确定出的所述述识别结果,生成相应的控制指令。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开提供的上述交通手势识别方法的步骤。
本公开还提供一种车辆,包括:
图像采集装置;以及
本公开提供的所述交通手势识别装置。
通过上述技术方案,在当前采集到的图片帧的手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配、且目标交警手势中包括多个连续分解动作时,获取后续N个连续目标图片帧中的M个手势信息;之后,判定该M个手势信息中是否包含上述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且该P个手势信息各自对应的目标图片帧的采集时间顺序是否与上述P个后续分解动作的先后顺序一致;在判定上述M个手势信息中存在上述P个手势信息,且该P个手势信息各自对应的目标图片帧的采集时间顺序与P个后续分解动作的先后顺序一致的情况下,将上述目标交警手势作为识别结果。这样,通过连续图片帧的分析,即可实现由多个组合动作构成的交警手势的识别,时间短且准确率高,从而提升了驾驶安全性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种交通手势识别方法的流程图。
图2是根据一示例性实施例示出的一种通过卷积神经网络来获取图片帧中的手势信息的方法的流程图。
图3A-图3C是根据一示例性实施例示出的一种直行信号手势的三个连续分解动作的示意图。
图4A是根据一示例性实施例示出一种确定识别结果的过程的示意图。
图4B是根据另一示例性实施例示出一种确定识别结果的过程的示意图。
图5A和图5B是根据一示例性实施例示出的一种减速慢行信号手势的两个连续分解动作的示意图。
图6是根据另一示例性实施例示出一种确定识别结果的过程的示意图。
图7A是根据一示例性实施例示出的一种停止信号手势的分解动作的示意图。
图7B是根据另一示例性实施例示出一种确定识别结果的过程的示意图。
图8是根据另一示例性实施例示出的一种交通手势识别方法的流程图。
图9是根据另一示例性实施例示出的一种交通手势识别方法的流程图。
图10是根据一示例性实施例示出的一种交通手势识别装置的框图。
图11是根据另一示例性实施例示出的一种交通手势识别装置的框图。
图12是根据另一示例性实施例示出的一种交通手势识别装置的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是根据一示例性实施例示出的一种交通手势识别方法的流程图。如图1所示,该方法可以包括以下步骤。
在步骤101中,获取当前采集到的图片帧中的手势信息。
在本公开中,该方法可以应用于车辆,在该车辆上可以设置有图像采集装置,例如,摄像头,以用于实时采集车辆前方的图片帧,或者按照固定周期采集该车辆前方的图片帧。
在采集到车辆前方的图片帧后,可以通过多种方式来获取该图片帧中的手势信息,即当前采集到的图片帧中的手势信息。在本公开中,在采集到上述图片帧后,可以通过贝叶斯分类法、模板匹配法、集成神经网络、深度学习算法等图像识别技术来识别该图片帧,以获取到该图片帧中的手势信息。
优选地,在采集到上述图片帧后,可以通过卷积神经网络这一深度学习算法来识别该图片帧中的手势信息,其中,该卷积神经网络可以是通过预先采集的多个交警手势的图片帧,以及该图片帧中的手势信息提前进行网络训练而得到的,这样,可以随时向该卷积神经网络中增加新的训练数据类型(即交警手势类型),便于功能扩展,从而进一步提升了识别准确率。具体来说,可以通过图2中所示的步骤1011~1017来识别该图片帧中的手势信息。
在步骤1011中,采集图片帧。
在步骤1012中,将图片帧输入到卷积神经网络。
在本公开中,在采集到上述图片帧后,可以将其输入到卷积神经网络中。
在步骤1013中,卷积处理。
在步骤1014中,池化。
在步骤1015中,非线性转化。
在步骤1016中,判定卷积次数是否达到卷积神经网络的卷积层数。
在本公开中,在将当前采集到的图片帧输入到卷积神经网络中后,可以利用图片帧跟卷积核进行乘运算来提取特征值,之后通过池化操作缩小图片帧的空间大小(即尺寸);最后可以利用非线性变换函数,即Sigmoid函数(又称S函数)对经过池化处理后的图片帧进行非线性转化,其中,该S函数可以为单极性S型函数也可以为双极性S型函数
另外,卷积神经网络的卷积层数通常不止一层,示例地,该卷积层数为3,因此,在完成非线性转化后,可以先判定卷积次数是否达到卷积神经网络的卷积层数,即执行以上步骤1016;当该卷积次数未达到卷积神经网络的卷积层数时,继续进行卷积处理、池化、非线性转化操作,即返回上述步骤1014继续执行,直到该卷积次数达到卷积神经网络的卷积层数时,对上述经过多次卷积处理、池化、非线性转化后的图片帧进行全连接操作,即执行以下步骤1017,从而获得上述当前采集到的图片帧的手势信息。
在步骤1017中,全连接,以得到图片帧中的手势信息。
另外,需要说明的是,由于上述卷积处理、池化、非线性转化的具体方式属于本领域技术人员公知的,在本公开中不再赘述。此外,上述当前采集到的图片帧中可以包含手势信息,也可以不包含手势信息,在本公开中不作具体限定,其中,当获取到该图片帧中不包含手势信息时,可以重新采集图片帧,并获取该图片帧中的手势信息。
返回图1,在步骤102中,判断手势信息是否与预先存储的一个或多个交警手势的第一个分解动作相匹配。
在本公开中,在车辆上可以设置有存储模块,用于预先存储多个交警手势,其中,每个交警手势可以包括用于唯一标识该交警手势的多个连续的分解动作或一个分解动作,其中,该多个交警手势可以包括直行信号手势、左转弯信号手势、左转弯待转信号手势、右转弯信号手势、变道信号手势、减速慢行信号手势、示意车辆靠边停车信号手势、停止信号手势等。
示例地,直行信号手势可以包括图3A-图3C所示的三个分解动作;减速慢行信号手势可以包括图5A和图5B所示的两个分解动作;停止信号手势可以包括图7A中所示的一个分解动作。
在通过上述步骤101获取到当前采集到的图片帧中的手势信息后,可以通过访问上述存储模块来判定该手势信息是否与该存储模块中存储的一个或多个交警手势的第一个分解动作相匹配,即,上述存储模块中存储的各交警手势的第一个分解动作可能相同,这样,上述存储模块中可以有一个或多个交警手势的第一个分解动作与上述手势信息相匹配。
当上述手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,可以执行以下步骤103;当上述手势信息与预先存储的一个或多个交警手势的第一个分解动作不匹配时,可以重新采集图片帧,并获取该图片帧中的手势信息,即返回上述步骤101。
在步骤103中,将与手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,判断目标交警手势是否包括多个连续分解动作。
在本公开中,当上述步骤101获取到的手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,可以将该与手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,之后,判定该目标交警手势是否包括多个连续分解动作。当该目标交警手势包括多个连续分解动作时,可以执行以下步骤104。
在步骤104中,获取N个连续的目标图片帧中的M个手势信息。
在本公开中,该N个连续的目标图片帧可以为在采集到与上述第一个分解动作相匹配的手势信息对应的图片帧之后的第一预设时长内采集到的图片帧,其中,N>1,M>1,且M≤N(该N个连续的目标图片帧中可能有部分目标图片帧中不包含手势信息)。并且,可以采用与上述获取当前采集到图片帧中的手势信息同样的方式来获取上述N个连续的目标图片帧中的M个手势信息,这里不再赘述。
另外,需要说明的是,上述第一预设时长可以是用户综合考虑各交警手势的各分解动作的停留时间而设定的时长,也可以是默认的经验值,在本公开中不作具体限定。
在步骤105中,判断M个手势信息中是否存在与目标交警手势的P个后续分解动作一一相匹配的P个手势信息。
在步骤106中,判断P个手势信息各自对应的目标图片帧的采集时间顺序是否与P个后续分解动作的先后顺序一致。
在步骤107中,将目标交警手势作为识别结果。
在本公开中,在上述步骤104获取到M个手势信息后,可以先判定该M个手势信息中是否存在与上述步骤103确定出的目标交警手势的P个后续分解动作一一相匹配的P个手势信息;当上述M个手势信息中存在上述P个手势信息时,再次判定该P个手势信息各自对应的目标图片帧的采集时间顺序是否与上述P个后续分解动作的先后顺序一致,即执行以上步骤106。
当上述M个手势信息中存在上述P个手势信息,且该P个手势信息各自对应的目标图片帧的采集时间顺序与P个后续分解动作的先后顺序一致的情况下,可以将上述步骤103确定出的目标交警手势作为识别结果,即执行以上步骤107;在上述M个手势信息中不存在上述P个手势信息,或者,上述M个手势信息中存在上述P个手势信息,但该P个手势信息各自对应的目标图片帧的采集时间顺序与P个后续分解动作的先后顺序不一致的情况下,可以重新采集图片帧,并获取该图片帧中的手势信息,即返回上述步骤101。
示例地,如图4A、4B所示,N=6,M=5,其中,目标图片帧11中包含有手势信息21,目标图片帧12中包含有手势信息22,目标图片帧13中不含有手势信息,目标图片帧14中包含有手势信息23,目标图片帧15中包含有手势信息24,目标图片帧16中包含有手势信息25,目标图片帧11~目标图片帧16的采集时间为从早到晚,并且,上述步骤101获取到的手势信息与预先存储的直行信号手势的第一个分解动作(如图3A中所示)相匹配。这样,在获取到上述6个连续目标图片帧中的5个手势信息(手势信息21、手势信息22、手势信息23、手势信息24、手势信息25)后,可以先判定该5个手势信息中是否存在与上述直行信号手势的2个后续分解动作(包括图3B所示的直行信号手势的第二分解动作和图3C所示的直行信号手势的第三个分解动作)一一相匹配的2个手势信息,并在确定该5个手势信息中存在上述2个手势信息时,再次判定该2个手势信息各自对应的目标图片帧的采集时间顺序是否与该2个后续分解动作的先后顺序一致。
例如,如图4A所示,手势信息22与直行信号手势的第二分解动作相匹配,手势信息24与该直行信号手势的第三个分解动作相匹配,并且,手势信息22对应的目标图片帧12的采集时间早于手势信息24对应的目标图片帧15的采集时间,即手势信息22、手势信息24各自对应的目标图片帧的采集时间顺序与该上述直行信号手势的第二分解动作和第三分解动作的先后顺序一致,此时,可以将上述直行信号手势作为识别结果。
又例如,如图4B所示,手势信息25与直行信号手势的第二分解动作相匹配,手势信息22与该直行信号手势的第三个分解动作相匹配,由于手势信息25对应的目标图片帧16的采集时间晚于手势信息22对应的目标图片帧12的采集时间,即手势信息25、手势信息22各自对应的目标图片帧的采集时间顺序与该上述直行信号手势的第二分解动作和第三分解动作的先后顺序不一致,此时,无法识别交警手势,可以重新获取图片帧,并获取该图片帧中的手势信息,即返回上述步骤101。
又示例地,如图6所示,N=4,M=4,其中,目标图片帧11中包含有手势信息21,目标图片帧12中包含有手势信息22,目标图片帧13中包含有手势信息23,目标图片帧14中包含有手势信息24,目标图片帧11~目标图片帧14的采集时间为从早到晚,并且,上述101获取到的手势信息与预先存储的减速慢行信号手势的第一个分解动作(如图5A中所示)相匹配。这样,在获取到上述4个连续目标图片帧中的4个手势信息(手势信息21、手势信息22、手势信息23、手势信息24)后,可以先判定该4个手势信息中是否存在与上述减速慢行信号手势的第二分解动作(如图5B中所示)相匹配的手势信息,并在确定该4个手势信息中存在与上述减速慢行信号手势的第二分解动作相匹配的手势信息时(如图6中所示,手势信息23与上述图5B中所示的减速慢行信号手势的第二个分解动作相匹配),可以直接将上述减速慢行信号手势作为识别结果。
另外,当与上述步骤103确定出的目标交警手势为多个时,可以针对每个目标交警手势,分别判断M个手势信息中是否存在与该交警手势的P个后续分解动作一一相匹配的P个手势信息,且该P个手势信息各自对应的目标图片帧的采集时间顺序是否与P个后续分解动作的先后顺序一致。
另外,当与上述步骤103确定出的目标交警手势包括一个分解动作时,可以直接将该目标交警手势作为识别结果,即执行上述步骤107。
示例地,上述步骤101获取到的手势信息与预先存储的停止信号手势的第一个分解动作(如图7A中所示)相匹配,由于该停止信号手势包括一个分解动作,此时,可以直接将该停止信号手势作为识别结果。
通过上述技术方案,在当前采集到的图片帧的手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配、且目标交警手势中包括多个连续分解动作时,获取后续N个连续目标图片帧中的M个手势信息;之后,判定该M个手势信息中是否包含上述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且该P个手势信息各自对应的目标图片帧的采集时间顺序是否与上述P个后续分解动作的先后顺序一致;在判定上述M个手势信息中存在上述P个手势信息,且该P个手势信息各自对应的目标图片帧的采集时间顺序与P个后续分解动作的先后顺序一致的情况下,将上述目标交警手势作为识别结果。这样,通过连续图片帧的分析,即可实现由多个组合动作构成的交警手势的识别,时间短且准确率高,从而提升了驾驶安全性。
此外,为了使得上述识别结果能够为自动驾驶车辆安全行驶提供有效指导,在与上述步骤103确定出的目标交警手势包括一个分解动作时,在上述步骤107将该目标交警手势作为识别结果的步骤之前,上述方法还可以包括图8中所示的步骤108和步骤109。
在步骤108中,获取Q个连续的目标图片帧中的R个手势信息。
在本公开中,上述Q个连续的目标图片帧为在采集到与上述步骤101获取到的手势信息相匹配的第一个分解动作相匹配的手势信息对应的图片帧之后的第二预设时长内采集到的图片帧,Q>1,R>1,且R≤Q,并且,Q可以与上述N相等,也可以不等,R可以与上述M相等,也可以不等,在本公开中均不作具体限定。
当上述步骤103确定出的目标交警手势包括一个分解动作时,可以获取Q个连续的目标图片帧中的R个手势信息。
另外,需要说明的是,上述第二预设时长可以是用户根据上述交警手势中的那个分解动作的停留时间而设定的时长,也可以是默认的经验值,并且,该第二预设时长可以与上述第一预设时长相等,也可以不相等,在本公开中均不作具体限定。
在步骤109中,判断R个手势信息中、与第一个分解动作相匹配的手势信息的数量是否达到T个。
在本公开中,T≥1。当上述步骤108中获取到的R个手势信息中、与上述步骤101获取到的手势信息相匹配的第一个分解动作相匹配的手势信息的数量达到T个时,表明上述步骤101中获取到手势信息所对应的手势在后续一段时间内处于静止状态,此时,可以将上述步骤103确定出的目标交警手势作为识别结果;当上述步骤108中获取到R个手势信息中、与上述步骤101获取到的手势信息相匹配的第一个分解动作相匹配的手势信息的数量未达到T个时,可以返回上述步骤101。
示例地,如图7B所示,Q=4,R=4,T=2,其中,目标图片帧11中包含手势信息21,目标图片帧12中包含手势信息22,目标图片帧13中包含手势信息23,目标图片帧14中包含手势信息24,上述步骤101获取到的手势信息与预先存储的停止信号手势的第一个分解动作(如图7A中所示)相匹配。这样,在获取到上述4个连续目标图片帧中的4个手势信息(手势信息21、手势信息22、手势信息23、手势信息24)后,可以先判定该4个手势信息中、与上述停止信号手势的第一个分解动作(如图7A中所示)相匹配的手势信息的数量是否大于或等于2。在该4个手势信息中、与上述停止信号手势的第一个分解动作相匹配的手势信息的数量大于或等于2时,可以将上述减速慢行信号手势作为识别结果;在该4个手势信息中、与上述停止信号手势的第一个分解动作相匹配的手势信息的数量小于2时,返回上述步骤101。
例如,如图7B中所示,手势信息21、手势信息22以及手势信息23均与上述图7A中所示的停止信号手势的第一个分解动作相匹配,即,在上述4个手势信息中、与该停止信号手势的第一个分解动作相匹配的手势信息的数量大为3,所以,在上述4个手势信息中、与该停止信号手势的第一个分解动作相匹配的手势信息的数量大于2,此时,可以将上述减速慢行信号手势作为识别结果。
图9是根据另一示例性实施例示出的一种交通手势识别方法的流程图。如图9所示,上述方法还可以包括以下步骤。
在步骤110中,显示识别结果。
在步骤111中,语音播报识别结果。
在本公开中,在上述步骤107确定出识别结果后,可以输出该识别结果,示例地,可以通过车载显示屏显示该识别结果,也可以将该识别结果发送至与车辆绑定的用户终端,还可以语音播报该识别结果等,这样,便于用户及时获知交警手势信息,以便于采取相应措施,进一步提升了驾驶安全性。
在步骤112中,根据识别结果,生成相应的控制指令。
在本公开中,在上述步骤107确定出识别结果后,可以生成根据该识别结果,生成相应的控制指令,这样,可以根据该控制指令,直接控制车辆采取相应措施,从而可以有效避免因用户反应慢导致的车辆安全隐患,进一步提升了驾驶安全性。
图10是根据一示例性实施例示出的一种交通手势识别装置的框图。参照图10,该装置1000可以包括:第一获取模块1001,用于获取当前采集到的图片帧中的手势信息;第一判断模块1002,用于当所述第一获取模块1001获取到的所述手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,将与所述手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,判断所述目标交警手势是否包括多个连续分解动作,其中,每个所述交警手势包括用于唯一标识所述交警手势的多个连续的分解动作或一个分解动作;第二获取模块1003,用于当所述第一判断模块1002确定所述目标交警手势包括多个连续分解动作时,获取N个连续的目标图片帧中的M个手势信息,其中,所述N个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第一预设时长内采集到的图片帧,N>1,M>1,且M≤N;第二判断模块1004,用于判断所述M个手势信息中是否存在与所述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序是否与所述P个后续分解动作的先后顺序一致;确定模块1005,用于在所述第二判断模块1004判定所述M个手势信息中存在所述P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序与所述P个后续分解动作的先后顺序一致的情况下,将所述目标交警手势作为识别结果。
可选地,所述手势信息通过以下方式来获取:通过卷积神经网络算法,识别图片帧中的所述手势信息。
图11是根据另一示例性实施例示出的一种交通手势识别装置的框图。参照图11,上述装置1000还可以包括:第三获取模块1006,用于当所述第一判断模块1002确定所述目标交警手势包括一个分解动作时,获取Q个连续的目标图片帧中的R个手势信息,其中,所述Q个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第二预设时长内采集到的图片帧,Q>1,R>1,且R≤Q;第三判断模块1007,用于判断所述第三获取模块1006获取到的所述R个手势信息中、与所述第一个分解动作相匹配的手势信息的数量是否达到T个,其中,T≥1;触发模块1008,用于在所述手势信息的数量达到T个时,触发所述确定模块1005将所述目标交警手势作为识别结果。
图12是根据另一示例性实施例示出的一种交通手势识别装置的框图。参照图12,上述装置1000还可以包括以下中的至少一者:显示模块1009,用于显示所述确定模块1005确定出的所述识别结果;语音模块1010,用于语音播报所述确定模块1005确定出的所述识别结果;生成模块1011,用于根据所述确定模块1005确定出的所述述识别结果,生成相应的控制指令。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种车辆,该车辆可以包括图像采集装置以及上述的交通手势识别装置1000。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种交通手势识别方法,其特征在于,包括:
获取当前采集到的图片帧中的手势信息;
当所述手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,将与所述手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,判断所述目标交警手势是否包括多个连续分解动作,其中,每个所述交警手势包括用于唯一标识所述交警手势的多个连续的分解动作或一个分解动作;
当所述目标交警手势包括多个连续分解动作时,获取N个连续的目标图片帧中的M个手势信息,其中,所述N个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第一预设时长内采集到的图片帧,N>1,M>1,且M≤N;
判断所述M个手势信息中是否存在与所述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序是否与所述P个后续分解动作的先后顺序一致;
在判定所述M个手势信息中存在所述P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序与所述P个后续分解动作的先后顺序一致的情况下,将所述目标交警手势作为识别结果。
2.根据权利要求1所述的方法,其特征在于,所述手势信息通过以下方式来获取:
通过卷积神经网络算法,识别图片帧中的所述手势信息。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述目标交警手势包括一个分解动作时,获取Q个连续的目标图片帧中的R个手势信息,其中,所述Q个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第二预设时长内采集到的图片帧,Q>1,R>1,且R≤Q;
判断所述R个手势信息中、与所述第一个分解动作相匹配的手势信息的数量是否达到T个,其中,T≥1;
在所述手势信息的数量数达到T个时,执行所述将所述目标交警手势作为识别结果的步骤。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述方法还包括以下中的至少一者:
显示所述识别结果;
语音播报所述识别结果;
根据所述识别结果,生成相应的控制指令。
5.一种交通手势识别装置,其特征在于,包括:
第一获取模块,用于获取当前采集到的图片帧中的手势信息;
第一判断模块,用于当所述第一获取模块获取到的所述手势信息与预先存储的一个或多个交警手势的第一个分解动作相匹配时,将与所述手势信息相匹配的第一个分解动作所属交警手势作为目标交警手势,判断所述目标交警手势是否包括多个连续分解动作,其中,每个所述交警手势包括用于唯一标识所述交警手势的多个连续的分解动作或一个分解动作;
第二获取模块,用于当所述第一判断模块确定所述目标交警手势包括多个连续分解动作时,获取N个连续的目标图片帧中的M个手势信息,其中,所述N个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第一预设时长内采集到的图片帧,N>1,M>1,且M≤N;
第二判断模块,用于判断所述M个手势信息中是否存在与所述目标交警手势的P个后续分解动作一一相匹配的P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序是否与所述P个后续分解动作的先后顺序一致;
确定模块,用于在所述第二判断模块判定所述M个手势信息中存在所述P个手势信息,且所述P个手势信息各自对应的目标图片帧的采集时间顺序与所述P个后续分解动作的先后顺序一致的情况下,将所述目标交警手势作为识别结果。
6.根据权利要求5所述的装置,其特征在于,所述手势信息通过以下方式来获取:
通过卷积神经网络算法,识别图片帧中的所述手势信息。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于当所述第一判断模块确定所述交警手势包括一个分解动作时,获取Q个连续的目标图片帧中的R个手势信息,其中,所述Q个连续的目标图片帧为在采集到与所述第一个分解动作相匹配的手势信息对应的图片帧之后的第二预设时长内采集到的图片帧,Q>1,R>1,且R≤Q;
第三判断模块,用于判断所述R个手势信息中、与所述第一个分解动作相匹配的手势信息的数量是否达到T个,其中,T≥1;
触发模块,用于在所述手势信息的数量达到T个时,触发所述确定模块将所述目标交警手势作为识别结果。
8.根据权利要求5-7中任一项所述的装置,其特征在于,所述装置还包括以下中的至少一者:
显示模块,用于显示所述确定模块确定出的所述识别结果;
语音模块,用于语音播报所述确定模块确定出的所述识别结果;
生成模块,用于根据所述确定模块确定出的所述述识别结果,生成相应的控制指令。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-4中任一项所述方法的步骤。
10.一种车辆,其特征在于,包括:
图像采集装置;以及
根据权利要求5-8中任一项所述的交通手势识别装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421522.7A CN108830148A (zh) | 2018-05-04 | 2018-05-04 | 交通手势识别方法、装置、计算机可读存储介质及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421522.7A CN108830148A (zh) | 2018-05-04 | 2018-05-04 | 交通手势识别方法、装置、计算机可读存储介质及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108830148A true CN108830148A (zh) | 2018-11-16 |
Family
ID=64147467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810421522.7A Pending CN108830148A (zh) | 2018-05-04 | 2018-05-04 | 交通手势识别方法、装置、计算机可读存储介质及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108830148A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109559538A (zh) * | 2018-12-29 | 2019-04-02 | 汉腾汽车有限公司 | 一种基于前视摄像头的交通手势识别系统和方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102122350A (zh) * | 2011-02-24 | 2011-07-13 | 浙江工业大学 | 基于骨架化和模板匹配的交警手势识别方法 |
CN105204351A (zh) * | 2015-08-24 | 2015-12-30 | 珠海格力电器股份有限公司 | 空调机组的控制方法及装置 |
CN105354551A (zh) * | 2015-11-03 | 2016-02-24 | 北京英梅吉科技有限公司 | 基于单目摄像头的手势识别方法 |
US20160091976A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Dynamic hand-gesture-based region of interest localization |
-
2018
- 2018-05-04 CN CN201810421522.7A patent/CN108830148A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102122350A (zh) * | 2011-02-24 | 2011-07-13 | 浙江工业大学 | 基于骨架化和模板匹配的交警手势识别方法 |
US20160091976A1 (en) * | 2014-09-30 | 2016-03-31 | Xerox Corporation | Dynamic hand-gesture-based region of interest localization |
CN105204351A (zh) * | 2015-08-24 | 2015-12-30 | 珠海格力电器股份有限公司 | 空调机组的控制方法及装置 |
CN105354551A (zh) * | 2015-11-03 | 2016-02-24 | 北京英梅吉科技有限公司 | 基于单目摄像头的手势识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109559538A (zh) * | 2018-12-29 | 2019-04-02 | 汉腾汽车有限公司 | 一种基于前视摄像头的交通手势识别系统和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Caicedo et al. | Active object localization with deep reinforcement learning | |
CN109325418A (zh) | 基于改进YOLOv3的道路交通环境下行人识别方法 | |
Hoang et al. | Enhanced detection and recognition of road markings based on adaptive region of interest and deep learning | |
CN109829467A (zh) | 图像标注方法、电子装置及非暂态电脑可读取储存媒体 | |
CN106845406A (zh) | 基于多任务级联卷积神经网络的头肩检测方法及装置 | |
CN108537117A (zh) | 一种基于深度学习的乘客检测方法和系统 | |
CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
CN107077601A (zh) | 使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析 | |
CN112418360B (zh) | 卷积神经网络的训练方法、行人属性识别方法及相关设备 | |
CN103793926B (zh) | 基于样本重选择的目标跟踪方法 | |
CN113657409A (zh) | 车辆损失检测方法、装置、电子设备及存储介质 | |
CN111444850B (zh) | 一种图片检测的方法和相关装置 | |
CN113378675A (zh) | 一种同时检测和特征提取的人脸识别方法 | |
CN109086765B (zh) | 车牌识别方法、装置、介质、服务器和行车记录仪 | |
CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
CN114973425A (zh) | 一种交警手势识别方法及装置 | |
CN108830148A (zh) | 交通手势识别方法、装置、计算机可读存储介质及车辆 | |
CN114359892A (zh) | 三维目标检测方法、装置及计算机可读存储介质 | |
CN116872961B (zh) | 用于智能驾驶车辆的控制系统 | |
CN116664873B (zh) | 图像信息处理方法、装置及存储介质 | |
CN117275093A (zh) | 一种地铁司机驾驶动作检测方法及系统 | |
CN113269038A (zh) | 一种基于多尺度的行人检测方法 | |
CN110154896A (zh) | 一种检测障碍物的方法以及设备 | |
CN106446837B (zh) | 一种基于运动历史图像的挥手检测方法 | |
Kumar et al. | Modified YOLOv4 Framework with Thermal Images for Pedestrian Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181116 |
|
RJ01 | Rejection of invention patent application after publication |