CN111033512A - 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置 - Google Patents

用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置 Download PDF

Info

Publication number
CN111033512A
CN111033512A CN201880051413.9A CN201880051413A CN111033512A CN 111033512 A CN111033512 A CN 111033512A CN 201880051413 A CN201880051413 A CN 201880051413A CN 111033512 A CN111033512 A CN 111033512A
Authority
CN
China
Prior art keywords
person
skeletal
camera device
monocular camera
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880051413.9A
Other languages
English (en)
Other versions
CN111033512B (zh
Inventor
E·卡夫
N·哈里奇
S·塞姆勒
P·德雷塞特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Technologies GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN111033512A publication Critical patent/CN111033512A/zh
Application granted granted Critical
Publication of CN111033512B publication Critical patent/CN111033512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于借助一单目摄像装置进行动作识别的方法和设备，所述方法和设备尤其可应用于半自动行驶车辆中的车载摄像装置中。用于从一单目摄像装置的至少一幅图像中识别人的动作的方法，该方法包括以下步骤：a)在单目摄像装置的至少一幅图像中检测人的关键点，b)将关键点连接为人的各部分的类似骨骼的图示，其中，类似骨骼的图示反映人的各个身体部分的相对位置和方向，c)从人的类似骨骼的图示中识别一动作，以及d)输出识别到的动作。

Description

用于基于简单的二维平面摄像装置与自主行驶车辆通信的动 作控制装置
本发明涉及一种用于借助一单目摄像装置进行动作/手势识别的方法和设备，所述方法和设备尤其可应用于一半自动行驶车辆中的车载摄像装置中。
用于检测动作的现有技术包括例如三维立体摄像装置Kinect。对大多已知方法或系统，需要三维立体信息(例如Kinect)，以便能对动作进行识别。
(2017年9月11日检索的https://arxiv.org/pdf/1611.08050.pdf)由Cao等人出版的“使用部分亲和字段进行实时多人二维平面姿势估计(Realtime Multi-Person 2DPose Estimation using Part Affinity Fields)”显示了一种用于在一图像中对多人进行二维平面姿势估计的方法。在此，属于一人的各身体部分以类似骨骼的方式相互联系。由此将建立一关键点(key points)清单，该清单由内骨骼的关联构件构成。
DE 10 2014 207 802 B3展示一种用于主动识别道路交通中一交通参与者动作的方法和系统。在此，借助至少一摄像装置检测交通参与者(例如行人)的一以图像点形式结构化的图像，并生成相应的图像数据。多个图像点的图像数据分别按单元分组，其中，所述图像包括多个单元。根据一单元内的图像数据分别确定一重点/重心。对每一个图像点分别确定到多个单元的重点的距离，其中，根据各相应图像点及其重点的坐标，构成一被分配给图像点的特征向量。所述特征向量与至少一参考向量聚类进行比较，并基于所述比较，分配给交通参与者一姿势，该姿势表示交通参与者所执行活动。在该方法中假设，根据一交通参与者的姿势，在其执行实际动作前已可识别其意图(例如横穿斑马线的意图)。然后，基于该姿势识别，同样可在实施动作前就已主动采取防范措施，例如向驾驶员和/或通过测量技术检测到的交通参与者发出一音频和/或视觉警告和/或在一诸如制动装置或转向装置的车辆系统中采取一控制性干预。
一姿势例如可以与交通参与者或行人的一种类似骨骼的简化示意图示相对应。另一方面，所述姿势又可以是一被分配给交通参与者的预期动作，据此可分析评估交通情形，推导出可能的危险并在必要时能全自动或半自动启动进一步的控制措施。例如，典型情况下表示一人要开始奔跑的部分弯腰姿势，如果在一“来自前方”方向检测到该姿势，即该人朝向车辆运动，则会被归类为一道路交通的危险。
这种方法的缺点是特征向量的构成很繁复。
相对于现有技术要解决的问题是，基于车辆中的一单目摄像装置的图像，改善动作识别，并能据此建立一车辆功能的控制。
本发明的各方面例如涉及：
·例如警察在十字路口用于向一车辆发出指令的一动作控制装置(右手表示向右行驶)
·用于基于一简单的二维平面摄像装置与一自主行驶车辆进行通信的一动作控制装置
·在道路交通中对交通参与者注意力的检查(例如检查行人是否被智能手机分散了注意力)
动作或姿势识别的目的尤其是分析评估人的静态姿势(动作)。例如，由此可识别，人是否抬起左臂或右臂或展开双臂。
所述问题通过根据独立权利要求所述的一种方法和一种设备解决。
有益的其他结构形式是从属权利要求的主题。
所述解决方案的基础是，基于一骨骼图示描述不同的动作，使这些不同动作进入一分类装置，并随后在人的图像中对这些动作加以识别。
在一摄像装置图像中所反映的人的骨骼图示尤其可基于以示意图方式分类的目标部分，例如人的身体部分。
根据本发明所述的一种用于从一单目摄像装置的至少一幅图像识别人的动作/手势的方法，该方法包括以下步骤：
a)在单目摄像装置的至少一幅图像中检测人的关键点，
b)将关键点连接为人的各部分的类似骨骼的图示，其中，类似骨骼的图示反映人的各个身体部分的相对位置和方向/取向，
c)从人的类似骨骼的图示中识别一动作，以及
d)输出识别到的动作。
为此，在检测到关键点并将其组合为骨骼后，例如以表格形式设置一相连结/连接身体部分的清单。所述身体部分可是完整的，但也可以是不完整的(半遮挡的人)。即也可能缺少身体某部分。
类似骨骼的图示例如以相互连结的关键点、包括其位置的清单形式反映人的各个身体部分的相对位置和方向。
由此，人的不同关键点被转换成一稳定的图示。
为此，优选将不同身体部分分成几组(例如带有手臂的上半身、带有左臂的头部、带有右臂的头部、纯头部)。这种冗余划分使所述方法相对于部分被遮挡的人(仅显示上半身的车后的人，仅垂直显示半身的广告柱后的人)非常稳定。
优选由一个或多个属于同一整体的/息息相关的/配套的身体部分构成各组(相互连结的关键点)。一个组对应于人的部分姿势或人所采取动作的一部分。
有益的是，一身体部分属于多个组，例如第一局部姿势可包含头部和左臂，而第二局部姿势可包含头部和右臂。
组或局部姿势的数量是一能以变量形式设置的自由参数。
理想情况下，关键点的编码可转换为一紧凑的、可语义解释的特征空间，它例如通过深度神经网络分析评估。换句话说，可为每组或局部姿势分配一特征向量。所述特征向量例如以在该组中组合的关键点坐标为基础。
组或局部姿势的特征向量优选借助一经聚类的姿势目录(一姿势字典)，通过一聚合方法合并成一最终特征向量。
在该聚合中，例如可生成一有关姿势目录的直方图，或构成姿势目录的各个聚类中心之间的差异之和。所述姿势目录本身可借助一聚类方法生成，例如kNN聚类，即考虑k个近邻的聚类，或GMM聚类，即借助高斯混合模型的聚类。
最终特征向量(由局部姿势的特征向量组成)优选用于姿势/动作分类。
优选基于类似骨骼的图示分析估计人的注视方向。
可优选检查人的注视方向是否朝向单目摄像装置。
有益的方式是，通过一事先已经训练的动作分类装置识别动作。作为分类方法，可使用一例如SVM(支持向量机)或深度神经网络等适宜的、本身已知的分类方法。
优选分配给一人的关键点的数量最多为20。
一低着头并且其视线方向朝向他/她的一只手的人优选被分类为注意力分散的交通参与者。
基于动作识别，可建立用于与一自主行驶车辆通信的一动作控制装置。为了与例如一自助行驶出租车的车主或一未来乘客进行通信，要求车辆方进行反馈，以便相关人员知道，已看到他或已理解其诉求。以此方式，可实现车辆与人之间的交互。但是，在警告如果一人在道路上行走并有与一车辆发生碰撞的危险时，车辆向相关人员发出反馈会很有帮助，说明车辆已注意到相关人员并会避免发生碰撞。
本发明的另一主题是一种用于从一单目摄像装置的图像中识别人的动作的相应设备。该设备配置用于，
a)在单目摄像装置的至少一幅图像中检测人的关键点，
b)将关键点连接为人的各部分的类似骨骼的图示，其中，类似骨骼的图示反映人的各个身体部分的相对位置和方向/取向，
c)从人的类似骨骼的图示中识别一动作，以及
d)生成和输出一代表所识别动作的输出信号。
所述设备尤其可包括一微控制器或微处理器，一数字信号处理器(DSP)，一ASIC(专用集成电路)，一FPGA(现场可编程门阵列)等，以及用于执行相应方法步骤的软件等。
因此，本发明可在数字电子电路、计算机硬件、固件或软件中实现。
所述设备尤其可与例如车辆中的前置摄像装置、倒车摄像装置或侧面摄像装置等的单目摄像装置一起设置和操作使用。
本发明还涉及一种具有单目摄像装置和根据本发明所述的设备的车辆。
下面将更详细地解释实施例和附图。
在此，一动作识别装置的一实施例使用两阶段方法：
1.人的检测
先检测图像中的人。在此，使用人物探测器。优选的方式是使用一种特殊探测器，该探测器发现人的各个身体部分并将其连接起来以产生骨骼。
图1以范例性方式说明一已由一车载摄像装置拍摄成像的一真人的骨骼图示。从车载摄像装置的图像中已提取出关键点，并确定了关键点的连结。关键点是例如肩膀、脖子、手肘、手(腕)、臀部、膝盖、踝关节；嘴、右眼和左眼以及头部顶点。
所述关键点通过直线彼此连接，使它们构成一类似骨骼的图示。例如，人的左手腕和手肘的关键点彼此连接以形成“左下臂”，左肩(图中经标记的“关键点”)连接到左手肘以形成“左上臂”。
关键点的聚类例如可通过“高斯混合模型”进行，并且人体部分可转换成一费舍尔向量图示。由此，一费舍尔向量仅对单一人员的信息进行编码。由此，重叠的人被予以排除。
就像对一特殊动作有益的那样，通过一表格，相应人员的不同部分被划分为不同动作组。该表格也可通过一学习方法进行学习。在一简单情况下(对相对较少动作进行区分)，如果可非常清楚地将姿势分配给不同的身体部分，则该表格可用手设置。
根据人头部区域中的关键点可估计人的视线方向。视线方向向下并看向人的右手方向。
据此，借助动作识别装置识别出，所述人员估计正在看其手中的物体，并且目前没有对交通情况予以关注。基于所述人员正在看其智能手机的假设，该动作被分类为“Smombie(僵尸)”(Smartphone-Zombie(智能手机僵尸))。
该信息由动作识别装置传输给车辆的另一控制装置。自主行驶车辆现在可在其行驶计划中考虑该行人注意力不集中并且/或者如果行人身处危险之中，则向其发出一警告。
2.动作和姿势的分类
对每个人，都基于骨骼连接点(关键点、关节)的坐标生成特征向量。
图2示出动作分类的过程：
与传统情况一样，每人不仅使用一个特征向量。取而代之的是，基于不同局部姿势，为每人生成数量为N个的特征向量。这些局部姿势之一例如只包含头部和左臂，另一局部姿势例如只包含头部和右臂。这些局部姿势的数量N是可以变量形式设置的自由参数。
所述局部姿势的特征向量借助一经聚类的姿势目录(姿势字典)通过一聚合方法合并成一最终特征向量。在该聚合中，例如可生成一有关姿势目录的直方图，或构成姿势目录的M个聚类中心之间的差异之和。所述姿势目录本身可借助一聚类方法生成(例如kNN聚类，即考虑k个近邻的聚类，或GMM聚类，即借助高斯混合模型的聚类)。
所述最终特征向量(由局部姿势的特征向量组合而成)用于对姿势/动作进行分类。为此，可使用例如SVMs(支持向量机)或深度神经网络等任意分类方法。
图2以范例性方式展示，局部姿势的特征向量怎样借助一经聚类的姿势目录(姿势字典)通过一聚合方法组合以生成一最终特征向量。
在左侧，可看到能与图1所示相比拟的一骨骼图示。实线形直线表示骨骼相应两个连结关键点、即“骨头”之间的连接。整个人的骨骼图示分解为局部姿势1、2、3、...、N，其中，在图2左侧的前三个局部姿势被表示为虚线矩形。在此，局部姿势1例如包含人的头部和左臂。局部姿势2包含人的头部、右臂和上身。在局部姿势3中，包含右上臂和左上臂、上身和大腿。每个局部姿势都被分配有一相应的特征向量。每个特征向量被传输到姿势目录的一个(或每个)聚类中心1、2、3、...、M。最后，姿势目录输出一用于对人的姿势或动作进行分类的最终特征向量。
在另一实施例中，根据在类似骨骼的图示中的一下臂的相应运动，借助一动作识别装置，从一图像序列中识别出车辆周围环境中一人在挥手。在该示例中，带有摄像装置和动作识别装置的车辆是一自主行驶的出租车。对于该动作重要的是必须判定，该行人的动作是否是向该出租车发出的。在此，对视线方向的估计对实现目标非常重要。否则会发生这样的情况，尽管一行人是向另一行人招手，但该出租车停车以便让该行人上车。或者也会发生另一种情况，行人向一前面的自主行驶出租车挥手，但两辆出租车都停了下来。

Claims (14)

1.用于从一单目摄像装置的至少一幅图像中识别人的动作的方法，该方法包括以下步骤：
a)在单目摄像装置的至少一幅图像中检测人的关键点，
b)将关键点连接为人的各部分的类似骨骼的图示，其中，类似骨骼的图示反映人的各个身体部分的相对位置和方向，
c)从人的类似骨骼的图示中识别一动作，以及
d)输出识别到的动作。
2.根据权利要求1所述的方法，其中，由一个或多个属于同一整体的身体部分构成组。
3.根据权利要求2所述的方法，其中，同一个身体部分属于多个组。
4.根据权利要求2或3所述的方法，其中，组数N被设定。
5.根据权利要求2到4中任一权利要求所述的方法，其中，为每个组分配一特征向量，该特征向量基于合并在各相应组中的关键点的坐标。
6.根据权利要求5所述的方法，其中，借助一经聚类的姿势目录将同一个人的各个组的特征向量合并成一最终特征向量。
7.根据权利要求6所述的方法，其中，根据最终特征向量的分类进行动作的识别。
8.根据上述权利要求中任一权利要求所述的方法，其中，基于类似骨骼的图示，进行人的视线方向的估计。
9.根据权利要求8所述的方法，其中，检查人的视线方向是否朝向单目摄像装置。
10.根据上述权利要求中任一权利要求所述的方法，其中，通过先前已经训练过的一动作分类进行动作识别。
11.根据上述权利要求中任一权利要求所述的方法，其中，分配给同一个人的关键点的数量最多为20。
12.根据权利要求8到11中任一权利要求所述的方法，其中，低着头并且其视线方向朝向他/她的一只手的人被分类为注意力被分散的交通参与者。
13.用于从一单目摄像装置的图像中识别人的动作的设备，其中，所述设备配置用于，
a)在单目摄像装置的至少一幅图像中检测人的关键点，
b)将关键点连接为人的各部分的类似骨骼的图示，其中，类似骨骼的图示反映人的各个身体部分的相对位置和方向，
c)从人的类似骨骼的图示中识别一动作，以及
d)生成和输出一代表所识别动作的输出信号。
14.带有单目摄像装置和根据权利要求13所述的设备的车辆。
CN201880051413.9A 2017-09-11 2018-09-10 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置 Active CN111033512B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017216000.4 2017-09-11
DE102017216000.4A DE102017216000A1 (de) 2017-09-11 2017-09-11 Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
PCT/DE2018/200085 WO2019048011A1 (de) 2017-09-11 2018-09-10 Gestensteuerung zur kommunikation mit einem autonomen fahrzeug auf basis einer einfachen 2d kamera

Publications (2)

Publication Number Publication Date
CN111033512A true CN111033512A (zh) 2020-04-17
CN111033512B CN111033512B (zh) 2024-03-19

Family

ID=63685530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880051413.9A Active CN111033512B (zh) 2017-09-11 2018-09-10 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置

Country Status (7)

Country Link
US (1) US11557150B2 (zh)
EP (1) EP3682367B1 (zh)
JP (1) JP7280865B2 (zh)
KR (1) KR20200051529A (zh)
CN (1) CN111033512B (zh)
DE (2) DE102017216000A1 (zh)
WO (1) WO2019048011A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
CN108491820B (zh) * 2018-04-02 2022-04-12 京东方科技集团股份有限公司 图像中肢体表示信息的识别方法、装置及设备、存储介质
US11850514B2 (en) 2018-09-07 2023-12-26 Vulcan Inc. Physical games enhanced by augmented reality
US11670080B2 (en) 2018-11-26 2023-06-06 Vulcan, Inc. Techniques for enhancing awareness of personnel
CN111488773B (zh) * 2019-01-29 2021-06-11 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
US11950577B2 (en) 2019-02-08 2024-04-09 Vale Group Llc Devices to assist ecosystem development and preservation
WO2020178876A1 (en) * 2019-03-01 2020-09-10 Nec Corporation Image forming apparatus, determination apparatus, image forming method, and non-transitory computer readable medium storing image forming program
WO2020198070A1 (en) 2019-03-22 2020-10-01 Vulcan Inc. Underwater positioning system
WO2020206672A1 (en) * 2019-04-12 2020-10-15 Intel Corporation Technology to automatically identify the frontal body orientation of individuals in real-time multi-camera video feeds
US11435845B2 (en) * 2019-04-23 2022-09-06 Amazon Technologies, Inc. Gesture recognition based on skeletal model vectors
CN113892112B (zh) 2019-07-10 2024-08-09 赫尔实验室有限公司 用于动作识别的系统、方法和计算机程序产品
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
EP4053791A4 (en) * 2019-10-31 2022-10-12 NEC Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND NON-TRANSITORY COMPUTER READABLE MEDIA ON WHICH AN IMAGE PROCESSING PROGRAM IS STORED
US11308800B2 (en) 2019-12-05 2022-04-19 Toyota Motor North America, Inc. Transport impact reporting based on sound levels
US10832699B1 (en) 2019-12-05 2020-11-10 Toyota Motor North America, Inc. Impact media sharing
US11107355B2 (en) 2019-12-05 2021-08-31 Toyota Motor North America, Inc. Transport dangerous driving reporting
DE102020200572A1 (de) * 2019-12-18 2021-06-24 Conti Temic Microelectronic Gmbh Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern
US11587329B2 (en) * 2019-12-27 2023-02-21 Valeo Schalter Und Sensoren Gmbh Method and apparatus for predicting intent of vulnerable road users
GB2616114A (en) * 2020-01-03 2023-08-30 Mobileye Vision Technologies Ltd Vehicle navigation with pedestrians and determining vehicle free space
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
US20210304595A1 (en) 2020-03-31 2021-09-30 Toyota Motor North America, Inc. Traffic manager transports
CN113639760A (zh) * 2020-04-27 2021-11-12 福特全球技术公司 一种导航系统及导航地图的显示方法
CN111681283B (zh) * 2020-05-11 2023-04-07 哈尔滨工业大学 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
US20230219597A1 (en) * 2021-11-22 2023-07-13 Cybernet Systems Corp. Gesture recognition system for autonomous vehicle traffic control
DE102022209561A1 (de) * 2022-09-13 2024-03-14 Zf Friedrichshafen Ag System zur Erkennung der vorausliegenden Fußgängerintension eines Fußgängers in einem Umfeld, Fahrzeug und Verkehrsüberwachungssystem
US20240221425A1 (en) * 2023-01-02 2024-07-04 Valeo North America, Inc. Systems and methods for person classification and gesture recognition

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100150399A1 (en) * 2008-12-12 2010-06-17 Miroslav Svajda Apparatus and method for optical gesture recognition
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
CN103020885A (zh) * 2011-11-01 2013-04-03 微软公司 深度图像压缩
US20130230211A1 (en) * 2010-10-08 2013-09-05 Panasonic Corporation Posture estimation device and posture estimation method
CN103345744A (zh) * 2013-06-19 2013-10-09 北京航空航天大学 一种基于多图像的人体目标部件自动解析方法
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的系统
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
JP2015069410A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
US20170102738A1 (en) * 2015-10-12 2017-04-13 Samsung Electronics Co., Ltd. Electronic device and method for processing gesture thereof

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4134891B2 (ja) 2003-11-28 2008-08-20 株式会社デンソー 衝突可能性判定装置
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
CN101789125B (zh) * 2010-01-26 2013-10-30 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
US20120327091A1 (en) * 2010-03-08 2012-12-27 Nokia Corporation Gestural Messages in Social Phonebook
US9274594B2 (en) * 2010-05-28 2016-03-01 Microsoft Technology Licensing, Llc Cloud-based personal trait profile data
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US9606647B1 (en) * 2012-07-24 2017-03-28 Palantir Technologies, Inc. Gesture management system
JP2014048936A (ja) 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
JP2015095164A (ja) 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6091407B2 (ja) 2013-12-18 2017-03-08 三菱電機株式会社 ジェスチャ登録装置
DE102014207802B3 (de) 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
US9946354B2 (en) * 2014-08-29 2018-04-17 Microsoft Technology Licensing, Llc Gesture processing using a domain-specific gesture language
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
JP6722400B2 (ja) 2015-06-24 2020-07-15 スズキ株式会社 車両の運転支援装置
CN104899927A (zh) * 2015-07-07 2015-09-09 安徽瑞宏信息科技有限公司 一种人体姿态重建方法
US9983591B2 (en) * 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
MX2018008945A (es) * 2016-02-18 2018-11-09 Apple Inc Casco para realidad virtual y mixta con seguimiento de la posicion, del cuerpo del usuario y del ambiente, de adentro hacia afuera.
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100150399A1 (en) * 2008-12-12 2010-06-17 Miroslav Svajda Apparatus and method for optical gesture recognition
US20110317871A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Skeletal joint recognition and tracking system
US20130230211A1 (en) * 2010-10-08 2013-09-05 Panasonic Corporation Posture estimation device and posture estimation method
CN103597515A (zh) * 2011-06-06 2014-02-19 微软公司 用于识别张开的或闭合的手的系统
CN103020885A (zh) * 2011-11-01 2013-04-03 微软公司 深度图像压缩
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
CN103345744A (zh) * 2013-06-19 2013-10-09 北京航空航天大学 一种基于多图像的人体目标部件自动解析方法
JP2015069410A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
US20170102738A1 (en) * 2015-10-12 2017-04-13 Samsung Electronics Co., Ltd. Electronic device and method for processing gesture thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CLESHAIN SOLOMON 等: "Driver Attention and Behavior Detection with Kinect" *

Also Published As

Publication number Publication date
KR20200051529A (ko) 2020-05-13
CN111033512B (zh) 2024-03-19
DE112018001957A5 (de) 2020-02-20
DE102017216000A1 (de) 2019-03-14
WO2019048011A1 (de) 2019-03-14
JP2020533662A (ja) 2020-11-19
US20200394393A1 (en) 2020-12-17
EP3682367A1 (de) 2020-07-22
US11557150B2 (en) 2023-01-17
EP3682367B1 (de) 2022-11-09
JP7280865B2 (ja) 2023-05-24

Similar Documents

Publication Publication Date Title
CN111033512B (zh) 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置
Bila et al. Vehicles of the future: A survey of research on safety issues
Wang et al. A survey on driver behavior analysis from in-vehicle cameras
Trivedi et al. Looking-in and looking-out of a vehicle: Computer-vision-based enhanced vehicle safety
Wiederer et al. Traffic control gesture recognition for autonomous vehicles
CN109074748A (zh) 图像处理设备、图像处理方法和可移动体
CN111837156A (zh) 利用神经网络进行图像分析、视点感知模式识别以及生成多视图车辆表示的车辆重识别技术
JP2019040465A (ja) 行動認識装置，学習装置，並びに方法およびプログラム
EP3345127A1 (en) Method and system for monitoring driving behaviors
García et al. Driver monitoring based on low-cost 3-D sensors
JP6448880B1 (ja) 危険情報収集装置
EP2629241A1 (en) Control of a wearable device
CN104834887A (zh) 运动行人表示方法、识别方法及其装置
Weyers et al. Action and object interaction recognition for driver activity classification
Wang et al. A survey on datasets for the decision making of autonomous vehicles
WO2022093655A1 (en) Markerless motion capture of animate subject with prediction of future movement
JP2022033805A (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
Martin et al. Real time driver body pose estimation for novel assistance systems
CN110803170B (zh) 智能用户接口的驾驶辅助系统
JP2016024534A (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
Bruno et al. CARINA Project: Visual Perception Systems Applied for Autonomous Vehicles and Advanced Driver Assistance Systems (ADAS)
Hwu et al. Matching Representations of Explainable Artificial Intelligence and Eye Gaze for Human-Machine Interaction
Koesdwiady et al. Driver inattention detection system: A PSO-based multiview classification approach
Ch et al. Automatic system for driver drowsiness detection system using deep learning
Englund Action intention recognition of cars and bicycles in intersections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20240315

Address after: Hannover

Applicant after: Continental Automotive Technology Co.,Ltd.

Country or region after: Germany

Address before: Nuremberg, Germany

Applicant before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany

TA01 Transfer of patent application right