CN112241706A - 弱势交通参与者的手势识别方法、相应的装置和程序载体 - Google Patents

弱势交通参与者的手势识别方法、相应的装置和程序载体 Download PDF

Info

Publication number
CN112241706A
CN112241706A CN202011118573.6A CN202011118573A CN112241706A CN 112241706 A CN112241706 A CN 112241706A CN 202011118573 A CN202011118573 A CN 202011118573A CN 112241706 A CN112241706 A CN 112241706A
Authority
CN
China
Prior art keywords
gesture
vulnerable traffic
vulnerable
traffic participant
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011118573.6A
Other languages
English (en)
Inventor
方志杰
郭子杰
王宝锋
支蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to CN202011118573.6A priority Critical patent/CN112241706A/zh
Publication of CN112241706A publication Critical patent/CN112241706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及弱势交通参与者的识别领域，具体涉及一种用于弱势交通参与者的手势识别方法，所述手势识别方法包括以下步骤：采集并且标注弱势交通参与者的手势数据集，其中，将所述弱势交通参与者识别为不同身份；基于所述手势数据集训练出手势识别器，其中，由所述手势数据集提取出不同身份的弱势交通参与者的各个手势的姿态特征，并且以所述姿态特征作为输入通过分类器训练出相应于不同身份的弱势交通参与者的手势识别器；利用所述手势识别器实时检测所述弱势交通参与者的手势。本发明还涉及一种用于弱势交通参与者的手势识别装置和相应的计算机可读程序载体。通过根据本发明的方法，可以更准确地识别弱势交通参与者的手势。

Description

弱势交通参与者的手势识别方法、相应的装置和程序载体
技术领域
本发明涉及一种用于弱势交通参与者的手势识别方法以及一种相应的用于弱势交通参与者的手势识别装置。此外，本发明还涉及一种相应的计算机可读程序载体。
背景技术
随着车辆的普及与发展，在方便人类交通的同时也带来很多问题。据WHO报道，在2016年有大约一百三十万人死于交通事故，其中行人和骑行者分别占了23％和3％，弱势交通参与者(VRU:Vulnerable Road Users)在交通中容易受到伤害。
近年来，迅速发展的人工智能技术已经能够很好检测行人和骑行者，检测到的弱势交通参与者的位置消息能够提供给车辆更多的帮助。例如，当车辆检测到弱势交通参与者出现在道路前方而且有碰撞可能时，系统能够将该消息提供给司机或者自动驾驶以用于路径规划决策。但只检测弱势交通参与者的存在是不足够的，因为实际的弱势交通参与者有着更多的行为模式。
在道路交通中，弱势交通参与者通常通过肢体来表达他们的意图。例如，普通行人会比划停车让行的手势来表达他们过马路意图，或者他们通过停车手势来叫停出租车。骑行者可以通过手势来表达转向或者停止的意图，从而让后面的车辆更好的预留空间保证骑行者的安全。交警可以通过不同的手势来指挥交通。警察在执行任务的时候也会通过手势来叫停路过车辆。
在现存的手势识别装置中，同一个动作会被认为是同一个手势，这可能会引起混淆。例如，同样是面对摄像头水平伸出右手，骑行者是表达想向右转弯的意图，而普通行人是表达停车打车的意图。此外，车辆驾驶员针对不同身份的弱势交通参与者的手势需要做出不同的反应，警察发出的手势是必须遵守的，而针对普通行人的手势可以视情况做出相应的反应。此外，人体的三维姿态没有被充分利用到弱势交通参与者的手势识别领域中。
发明内容
因此，本发明的目的在于提出一种用于弱势交通参与者的手势识别方法，所述手势识别方法能够在区分弱势交通参与者的身份的基础上更好地辅助驾驶员检测弱势交通参与者的手势并且由此做出更好的行驶轨迹预测和规划。本发明的目的还在于提出一种相应的用于弱势交通参与者的手势识别装置和一种相应的计算机可读程序载体。
根据本发明的第一方面，提供一种用于弱势交通参与者的手势识别方法，所述手势识别方法包括以下步骤：
-采集并且标注弱势交通参与者的手势数据集，其中，
-将所述弱势交通参与者识别为不同身份；
-基于所述手势数据集训练出手势识别器，其中，
-由所述手势数据集提取出不同身份的弱势交通参与者的各个手势的姿态特征，并且
-以所述姿态特征作为输入通过分类器训练出相应于不同身份的弱势交通参与者的手势识别器；
-利用所述手势识别器实时检测所述弱势交通参与者的手势。
相比于现有技术，根据本发明的用于弱势交通参与者的手势识别方法首先对弱势交通参与者进行身份识别，针对不同身份的弱势交通参与者训练出不同的手势识别器，并且将弱势交通参与者的姿态特征输入到相应的手势识别器中，从而能够更清楚和更准确地实时检测出弱势交通参与者的手势。由此更好地帮助驾驶员理解当前的交通情况并且确保车辆和弱势交通参与者的交通安全。
根据本发明的示例性实施方式，所述弱势交通参与者的身份包括普通行人、骑行者和交警。当然也可以考虑考虑本领域技术人员认为有意义的其它身份，例如警察、平衡轮用户。各个身份的弱势交通参与者具有特定的手势，例如行人手势、交警手势和骑行者手势。
根据本发明的示例性实施方式，所述弱势交通参与者的身份的划分或识别通过身份识别器根据所述弱势交通参与者的衣帽特征和/或行为特征实现。
根据本发明的示例性实施方式，实时检测弱势交通参与者的手势的步骤包括以下子步骤：
-识别出所检测的弱势交通参与者的身份，
-提取所述弱势交通参与者的姿态特征，并且
-将所述姿态特征输入到相应身份的手势识别器中。
根据本发明的示例性实施方式，所述手势数据集的采集通过以下步骤实现：由直接输入的所述弱势交通参与者的图片和/或由车载摄像头拍摄的所述弱势交通参与者的图片通过姿态检测器识别出所述弱势交通参与者的二维姿态，和/或，通过车载摄像头拍摄所述弱势交通参与者的动作序列视频，和/或，通过动作捕捉工具或仿真工具生成所述弱势交通参与者的三维姿态。
根据本发明的示例性实施方式，所述手势数据集的采集还通过以下步骤实现：由所述弱势交通参与者的所述三维姿态投影到不同方向得出所述弱势交通参与者的二维姿态。
根据本发明的示例性实施方式，所述手势数据集的采集还通过以下步骤实现：由所述弱势交通参与者的二维姿态通过神经网络估算出三维姿态。
由此，除了基于图片的手势数据集之外，能够有效地增大用于训练手势识别器的手势数据集并且从多个角度全面地考虑所有可能出现的手势，这样既能够避免在数据训练时出现数据量不足的问题，也能够减少出现检测不出弱势交通参与者的手势的情况。
根据本发明的示例性实施方式，所述姿态特征包括二维姿态特征和/或三维姿态特征，其中，二维姿态特征包含各个特征点之间的距离和/或角度，其中，三维姿态特征包含各个特征点的三维位置坐标。
根据本发明的示例性实施方式，分类器能够从以下分类器中选择：递归神经网络分类器，随机森林分类器，支持向量机。当然也可以考虑本领域技术人员认为有意义的其它分类器，例如卷积神经网络分类器等。
根据本发明的示例性实施方式，手势数据集包括测试数据集，利用该测试数据集能够对训练出的所述手势识别器进行测试。
本发明的第二方面提出一种用于弱势交通参与者的手势识别装置，所述手势识别装置配置成用于实施根据本发明的手势识别方法。
本发明的第三方面提出一种计算机可读程序载体，所述计算机可读程序载体存储有程序指令，所述程序指令被处理器执行时实施所述用于弱势交通参与者的手势识别方法。
附图说明
下面，通过参看附图更详细地描述本发明，可以更好地理解本发明的原理、特点和优点。附图包括：
图1示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别装置的示意图；
图2示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的示意流程图；
图3示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的步骤S1的详细的示意流程图；
图4示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的步骤S2的详细的示意流程图；
图5a和图5b分别示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的弱势交通参与者的二维姿态和三维姿态的示例性示图；
图6a至图6c分别示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的不同身份的弱势交通参与者的特有姿态；以及
图7示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的步骤S3的详细的示意流程图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不用于限定本发明的保护范围。
图1示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别装置10的示意图。在此，手势识别装置10尤其使用在车辆中并且配置成用于实施根据本发明的手势识别方法。
如图1所示，手势识别装置10包括：配置成用于识别或划分弱势交通参与者的身份的身份识别器1；配置成用于拍摄弱势交通参与者的图片或动作序列视频的车载摄像头2；配置成用于生成弱势交通参与者的三维姿态的动作捕捉工具或仿真工具3；配置成用于识别出弱势交通参与者的二维姿态的姿态检测器4；以及配置成用于根据手势数据集进行训练的分类器5；和由此训练出的手势识别器6。
示例性地，手势识别装置10还可以包括本领域技术人员认为有意义的其它部件，例如用于直接输入弱势交通参与者的图片的输入器或者用于存储数据集的存储器。示例性地，手势识别装置10所包括的各个部件能够集成到同一个处理单元中。当然也可以考虑的是，这些部件分开地构造或者分别集成到不同的模块中。
图2示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的示意流程图。
如图2所示，根据本发明的用于弱势交通参与者的手势识别方法包括以下步骤：
S1：采集并且标注弱势交通参与者的手势数据集；
S2：基于所述手势数据集训练出手势识别器；
S3：利用所训练出的手势识别器实时检测所述弱势交通参与者的手势。
针对各个步骤的详细描述结合下面的附图进行阐释。
图3示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的步骤S1的详细的示意流程图。
如图3所示，在采集并且标注弱势交通参与者P的手势数据集S时，在子步骤S11中将弱势交通参与者P划分为不同身份I。在此，弱势交通参与者P的身份I可以是普通行人、骑行者或交警。当然也可以考虑另外的身份，例如警察或平衡车用户等。不同身份的弱势交通参与者P具有特有的手势。在此，示例性地利用身份识别器1基于弱势交通参与者P的衣帽特征和/或行为特征识别出弱势交通参与者P的身份I。例如，一般情况下交警的衣帽特征为白色的沿帽、黄绿色的荧光背心、白色的手套和/或位于衣帽上的警徽等。当身份识别器1识别出这些衣帽特征时，可以将检测到的弱势交通参与者P识别为交警。由现有技术已知不同的身份识别器，在这里不进行详细描述。
此外，在步骤S1中，弱势交通参与者P的手势数据集S的采集可以通过不同的途径或者说子步骤实现。示例性地，在步骤S12中，能够可选地通过车载摄像头2拍摄弱势交通参与者P的手势动作序列视频A，该动作序列视频包含连续的动作序列图片，由所述动作序列图片的标注能够得出相应的手势序列，所述手势序列包含弱势交通参与者P的姿态关节点、边框图像、手势类别、手势开始和结束时间、身份类别等。当然也可以考虑，通过车载摄像头2拍摄弱势交通参与者P的单个图片或不连续的图片，由这些图片的标注也能够得出手势数据。
示例性地，在子步骤S12中，能够可选地通过动作捕捉工具或仿真工具3捕捉并且生成弱势交通参与者P的三维姿态序列，通过所述三维姿态序列中的三维姿态Q的标注能够得出关于三维姿态关节点、手势类别、手势开始和结束时间、身份类别等的数据。
示例性地，在步骤S12中，能够可选地从弱势交通参与者P的由输入器直接输入的图片和/或由车载摄像头2拍摄的图片通过姿态检测器4识别出弱势交通参与者P的二维姿态T，通过所述二维姿态的标注同样能够得出关于弱势交通参与者P的关节点的位置数据。在此，能够使用Hrnet检测器作为姿态检测器4。
通过上述各个数据的组合或者单独使用能够得出弱势交通参与者P的手势数据集S。通过动作捕捉工具或仿真工具3以及姿态检测器4的使用能够有效地增大手势数据集S。
为了进一步增大弱势交通参与者P的手势数据集S，还能够在子步骤S13中将子步骤S12中得出的弱势交通参与者P的三维姿态序中的各个三维姿态Q沿不同方向投影得出弱势交通参与者的另外的二维姿态。此外，还能够在子步骤S14中将弱势交通参与者P的直接识别出的和/或投影得到的二维姿态T通过神经网络估算出另外的三维姿态。由此能够从各个角度全面地采集弱势交通参与者P的手势并且显著地扩充了弱势交通参与者P的手势数据集S。
在此，步骤S1中的各个子步骤并不一定按图3中示出的次序实施。这些子步骤能够符合需要地串联或并联地实施。
图4示出了示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的步骤S2的详细的示意流程图。
如图4所示，在步骤S2中基于手势数据集S训练手势识别器6时，首先在子步骤S21中由标注的手势数据集S提取出不同身份的弱势交通参与者P的各个手势的姿态特征Z。在此，姿态特征Z示例性地包括二维姿态特征和/或三维姿态特征，其中，二维姿态特征包含各个特征点之间的距离和/或角度，其中，三维姿态特征包含各个特征点的三维位置坐标。这在下面会进一步阐释。
在提取出姿态特征Z之后，在子步骤S22中将所述姿态特征Z作为输入通过分类器5训练出相应于不同身份的弱势交通参与者P的手势识别器6。在此，分类器5例如是递归神经网络分类器、随机森林分类器或支持向量机。当然也可以考虑这些分类器的组合或者本领域技术人员认为有意义的其它算法分类器，例如卷积神经网络分类器。
在此，通过分类器5训练出的手势识别器6能够针对弱势交通参与者P的各个身份I更准确地识别出相应身份的弱势交通参与者的手势。示例性地，训练出的手势识别器6包含相应于弱势交通参与者的身份I的子手势识别器，例如交警手势识别器、骑行者手势识别器和普通行人手势识别器。
示例性地，手势数据集S包括训练数据集和测试数据集，其中，训练数据集用于手势识别器6的训练，并且测试数据集用于训练出的手势识别器6的测试。测试结果能够用于检测手势识别器6的准确率并且进一步优化所述手势识别器。
图5a和图5b分别示出了根据本发明的弱势交通参与者P的二维姿态T和三维姿态Q的示例性示图。
如图5a所示，每个弱势交通参与者P的二维姿态T示例性地包括十八个姿态关节点，这十八个关节点包含了左右眼睛、左右耳朵、鼻子、脖子、左右肩膀、左右肘关节、左右手腕、左右髋关节、左右膝盖、左右踝关节。在图5a中，每个圆圈代表弱势交通参与者P的一个关节点，每个关节点具有沿坐标轴x和y的坐标位置。当然也可以考虑标注人体的其它关节点作为二维姿态关节点。
在此，在步骤S21中，为了提取二维姿态T的二维姿态特征，首先示例性地对关节点的坐标进行归一化处理，即沿y方向的最高关节点和最低关节点的纵向距离是1单位长度。基于此，计算每两个特征点之间的沿x方向的距离dx、沿y方向的距离dy、总距离Dxy以及两个特征点的连线相对于x轴的角度Θ，并且计算每三个特征点之间的角度Θa、Θb、Θc。通过所述距离和角度构成特征向量，例如(Θ，dx，dy，Dxy)，并且由此构建二维姿态T的二维姿态特征。
如图5b所示，每个弱势交通参与者P的三维姿态Q示例性地包括十七个姿态关节点，这十七个关节点包含了头顶部、鼻子、脖子、髋关节中心、腰部、左右肩膀、左右肘关节、左右手腕、左右髋关节、左右膝盖、左右踝关节。在图5b中，每个圆圈代表弱势交通参与者P的一个关节点，每个关节点具有沿坐标轴x、y和z的坐标位置。当然也可以考虑标注人体的其它关节点作为三维姿态关节点。
在此，在步骤S21中，为了提取三维姿态Q的三维姿态特征，示例性地以左右髋关节长度为1单位长度，左右髋关节中心点为整个人体中心点，由此构建每个关节点的特征向量(x，y，z)、即三维姿态Q的三维姿态特征。
在步骤S22中，将所构建的二维姿态特征和/或三维姿态特征输入到分类器5中进行训练。分类器5例如是递归神经网络分类器，其中，递归神经网络分类器可以选择GRU网络或者LSTM网络，训练的长度可以设置为约半秒。示例性地，当选择LSTM网络时，可以包含FC1、LSTM1、LSTM2、FC2、SoftMax等，Loss函数选择Cross Entropy，优化方法选择Adam等。当然也可以考虑本领域技术人员认为有意义的其它算法和参数。
由此，通过分类器5对于从手势数据集S中提取出的二维姿态特征和/或三维姿态特征的训练，能够得出相应于不同身份的弱势交通参与者P的手势识别器6。
图6a至图6c分别示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的不同身份的弱势交通参与者的特有姿态。
如图6a所示，交警的特有姿态能够示例性地包括：右转、左转、停车、减速、左转待转弯、靠边停车、直行、靠边等。在此，交警通过其特有姿态来指挥交通，并且车辆驾驶员应该严格遵守这些姿态所代表的指令。如图6b所示，骑行者的特有姿态示例性地包括：左转、右转、停车等。如图6c所示，普通行人的特有姿态示例性地包括：停车过马路、打的停车等。
在此，每种身份的弱势交通参与者P的特有姿态对应于不同的姿态特征Z。通过弱势交通参与者P的身份I和其姿态特征的配属能够更有效地训练相应身份的手势识别器，从而能够更准确地识别出弱势交通参与者的手势并且更好地辅助驾驶员做出反应。
图7示出了根据本发明的示例性实施例的用于弱势交通参与者的手势识别方法的步骤S3的详细的示意流程图。
如图7所示，在实时检测弱势交通参与者P的手势时，首先在子步骤S31中示例性地通过身份识别器1识别出检测到的弱势交通参与者P的身份I。然后在子步骤S32中提取出检测到的弱势交通参与者P的、相应于其身份I的姿态特征Z。在此，例如通过Hrnet姿态识别器实现姿态特征的识别。然后将所提取出的姿态特征Z输入到相应身份的手势识别器6中，从而识别出检测到的弱势交通参与者P的手势。由此能够通过训练出的相应于弱势交通参与者的身份的手势识别器根据各个身份的弱势交通参与者的特有姿态特征更加准确地识别出弱势交通参与者的手势。
前面对于实施方式的阐释仅在所述示例的框架下描述本发明。当然，只要在技术上有意义，实施方式的各个特征能够自由地相互组合，而不偏离本发明的框架。
对于本领域的技术人员而言，本发明的其它优点和替代性实施方式是显而易见的。因此，本发明就其更宽泛的意义而言并不局限于所示和所述的具体细节、代表性结构和示例性实施例。相反，本领域的技术人员可以在不脱离本发明的基本精神和范围的情况下进行各种修改和替代。

Claims (10)

1.一种用于弱势交通参与者(P)的手势识别方法，所述手势识别方法包括以下步骤：
S1：采集并且标注弱势交通参与者(P)的手势数据集(S)，其中，
S11：将所述弱势交通参与者(P)识别为不同身份(I)；
S2：基于所述手势数据集(S)训练出手势识别器(6)，其中，
S21：由所述手势数据集(S)提取出不同身份的弱势交通参与者(P)的各个手势的姿态特征(Z)，并且
S22：以所述姿态特征(Z)作为输入通过分类器(5)训练出相应于不同身份的弱势交通参与者(P)的手势识别器(6)；
S3：利用所述手势识别器(6)实时检测所述弱势交通参与者(P)的手势。
2.根据权利要求1所述的手势识别方法，其中，所述弱势交通参与者(P)的身份(I)包括普通行人、骑行者和交警。
3.根据权利要求1或2所述的手势识别方法，其中，所述弱势交通参与者(P)的身份(I)的识别通过身份识别器(1)根据所述弱势交通参与者(P)的衣帽特征和/或行为特征实现。
4.根据权利要求1-3中任一所述的手势识别方法，其中，步骤S3包括以下子步骤：
S31：识别出所检测的弱势交通参与者(P)的身份(I)，
S32：提取所述弱势交通参与者(P)的姿态特征(Z)，并且
S33：将所述姿态特征(Z)输入到相应身份的手势识别器(6)中。
5.根据权利要求1-4中任一所述的手势识别方法，其中，在步骤S1中，所述手势数据集(S)的采集通过以下步骤实现：
S12：由直接输入的所述弱势交通参与者(P)的图片和/或由车载摄像头(2)拍摄的所述弱势交通参与者(P)的图片通过姿态检测器(4)识别出所述弱势交通参与者的二维姿态(T)，和/或，通过所述车载摄像头(2)拍摄所述弱势交通参与者的动作序列视频(A)，和/或，通过动作捕捉工具或仿真工具(3)生成所述弱势交通参与者的三维姿态(Q)。
6.根据权利要求5所述的手势识别方法，其中，在步骤S1中，所述手势数据集(S)的采集还通过以下步骤实现：
S13：由所述弱势交通参与者(P)的所述三维姿态投影到不同方向得出所述弱势交通参与者的二维姿态。
7.根据权利要求5所述的手势识别方法，其中，在步骤S1中，所述手势数据集的采集还通过以下步骤实现：
S14：由所述弱势交通参与者的二维姿态通过神经网络估算出三维姿态。
8.根据权利要求1-7中任一所述的手势识别方法，其中，
所述姿态特征(Z)包括二维姿态特征和/或三维姿态特征，其中，二维姿态特征包含各个特征点之间的距离和/或角度，其中，三维姿态特征包含各个特征点的三维位置坐标；和/或
所述分类器(5)能够从以下分类器中选择：递归神经网络分类器，随机森林分类器，支持向量机；和/或
所述手势数据集(S)包括测试数据集，利用该测试数据集能够对训练出的所述手势识别器进行测试。
9.一种用于弱势交通参与者的手势识别装置，所述手势识别装置包括处理器，所述处理器被配置成用于实施根据权利要求1-8中任一项所述的手势识别方法。
10.一种计算机可读程序载体，所述计算机可读程序载体存储有程序指令，所述程序指令被处理器执行时实施根据权利要求1-8中任一项所述的手势识别方法。
CN202011118573.6A 2020-10-19 2020-10-19 弱势交通参与者的手势识别方法、相应的装置和程序载体 Pending CN112241706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011118573.6A CN112241706A (zh) 2020-10-19 2020-10-19 弱势交通参与者的手势识别方法、相应的装置和程序载体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011118573.6A CN112241706A (zh) 2020-10-19 2020-10-19 弱势交通参与者的手势识别方法、相应的装置和程序载体

Publications (1)

Publication Number Publication Date
CN112241706A true CN112241706A (zh) 2021-01-19

Family

ID=74169057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011118573.6A Pending CN112241706A (zh) 2020-10-19 2020-10-19 弱势交通参与者的手势识别方法、相应的装置和程序载体

Country Status (1)

Country Link
CN (1) CN112241706A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128339A (zh) * 2021-03-15 2021-07-16 同济大学 一种基于行为识别的智能车辆运行控制系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128339A (zh) * 2021-03-15 2021-07-16 同济大学 一种基于行为识别的智能车辆运行控制系统和方法

Similar Documents

Publication Publication Date Title
JP7280865B2 (ja) 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御
Fang et al. Intention recognition of pedestrians and cyclists by 2d pose estimation
Fang et al. Is the pedestrian going to cross? answering by 2d pose estimation
CN109635793A (zh) 一种基于卷积神经网络的无人驾驶行人轨迹预测方法
CN108196535A (zh) 基于增强学习和多传感器融合的自动驾驶系统
Martin et al. Body pose and context information for driver secondary task detection
CN110659543B (zh) 基于手势识别的车辆控制方法、系统及车辆
WO2017040519A1 (en) Method and system for monitoring driving behaviors
WO2018061616A1 (ja) 監視システム
EP2629241A1 (en) Control of a wearable device
Padmaja et al. A novel design of autonomous cars using IoT and visual features
CN109703554A (zh) 泊车车位确认方法及装置
Tan et al. Bidirectional posture-appearance interaction network for driver behavior recognition
CN111294564A (zh) 信息显示方法及可穿戴设备
Yu et al. Continuous pedestrian orientation estimation using human keypoints
TW202125441A (zh) 安全警示語音提示方法
CN112241706A (zh) 弱势交通参与者的手势识别方法、相应的装置和程序载体
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
US11157754B2 (en) Road marking determining apparatus for automated driving
JP2021051470A (ja) 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
CN105718908A (zh) 一种基于衣帽特征与姿态检测的交警检测方法和系统
CN110232300A (zh) 一种旁车道车辆换道意图识别方法及系统
CN105740783B (zh) 基于姿态检测与衣帽特征的交警检测方法和系统
CN108961838B (zh) 道路行人分类系统
CN115280379A (zh) 识别交通参与者的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination