CN115280379A - 识别交通参与者的方法 - Google Patents

识别交通参与者的方法 Download PDF

Info

Publication number
CN115280379A
CN115280379A CN202080082507.XA CN202080082507A CN115280379A CN 115280379 A CN115280379 A CN 115280379A CN 202080082507 A CN202080082507 A CN 202080082507A CN 115280379 A CN115280379 A CN 115280379A
Authority
CN
China
Prior art keywords
person
movement
tool
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080082507.XA
Other languages
English (en)
Inventor
M·普菲泽
S·海因里希
M·杜博伊斯
F·哈奇菲尔德
E·施特里格尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Zhixing Germany Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Zhixing Germany Co ltd filed Critical Continental Zhixing Germany Co ltd
Publication of CN115280379A publication Critical patent/CN115280379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种识别交通参与者，尤其是识别道路交通中人员的方法，所述方法具有下列步骤：‑借助车辆的光学传感器(2)拍摄(S1)至少一周围环境图像或周围环境图像序列，‑在周围环境图像中检测(S2)人员，‑确定(S3)所检测到的人员的姿势；‑确定(S4)是否存在人员的运动工具；‑基于人员的所确定的运动工具，为相关人员分配(S5)运动特性。

Description

识别交通参与者的方法
技术领域
本发明涉及一种识别交通参与者、尤其是识别道路交通中人员的方法。
背景技术
现有技术中已知借助诸如摄像机传感器、雷达传感器或激光雷达传感器等高级驾驶员辅助系统(ADAS)传感器对交通参与者进行识别，并将识别到的交通参与者大致分为人、车辆或动物。此外，还已知的是例如为预测运动对这些交通参与者进行跟踪。
例如，DE102014207802B3展示了一种用于主动识别交通参与者行动的方法和系统。为此，借助摄像机像素式检测交通参与者的结构图像，并生成相应的图像数据。
然而，这样做的缺点是，目前并不总能充分地对人员进行检测和分类，因为道路交通中的人员可能有各种各样的行为方式和运动方式。
发明内容
因此，本发明的任务是提供一种能对人员进行更精确和更稳定检测和分类的方法。
该任务通过独立权利要求1和6的主题解决。其他有益的设计方案是从属权利要求的主题。
一般来说，交通参与者的互动和通信可能性是极为复杂的。原则上可对分类方法进行扩展，从而不仅能够识别例如人或车辆等粗略的分类结果，而且还能够识别例如描述人的更详细特征等更具体的分类结果。
然而，该方法在实践中很难实现，因为它在需处理的数据量和与数据采集、标记等相关方面需要很大的投入，因为分类通常应用的是例如摄像机图像等原始数据。
对于实现可靠的轨迹规划而言，特别重要的是知道人员是否被归类为行人，或该人员是否正在例如用运动工具运动。
因此，根据本发明所述提出了一种识别交通参与者、尤其是道路交通中人员的方法，所述方法具有下列步骤：
-借助车辆的光学传感器拍摄至少一周围环境图像或拍摄周围环境图像序列，
-在周围环境图像中检测人员，
-确定所检测到的人员的姿势；
-确定是否存在人员的运动工具；
-基于人员的所确定的运动工具，为人员分配运动特性。
在此，光学传感器优选是单目摄像机或立体摄像机系统。也可想象使用全景环视摄像机系统或上述替代选择的组合。使用这类摄像机中的至少一种来拍摄周围环境图像或周围环境图像序列。然后针对该周围环境图像或周围环境图像序列应用识别图像中的目标物体和人员的算法。为此适用例如所谓的卷积神经网络(CNN)或神经网络。这类卷积神经网络(CNN)还可被训练用于人员识别，以便能根据周围环境图像中的特定特征推断出人员。
为确定人员的姿势，可为人员生成类似骨架的表征。该类似骨架的表征是借助对关键点的检测生成的，方法是将识别到的关键点彼此相连。因此，类似骨架的表征说明了行人各身体部分的相对位置和方向。从这些信息可确定人员的姿势。为此，例如可在检测到的姿势和查找表之间进行比较，以便能更迅速地对相关人员的方向或姿势进行分类。
为确定是否存在运动工具，考虑根据其接近程度配属于人员的目标物体。在此也可对神经网络进行相应训练，以便将特定的目标物体识别为运动工具，并将其与所携带的行李件加以区分。
如果运动工具被确认无疑，就可在此基础上分配可能的、预限定的运动特性。在此，也同样可针对例如自行车、滑板或直排轮滑鞋等特定运动工具存储结合到运动特性选择中的框架参数。
在一优选的实施方式中，通过观察姿势状态的时间序列或观察单个图像确定是否存在运动工具。观察姿势状态的时间序列是有益的，因为在使用特定运动工具时，要么会采用持续的姿势，要么至少重复特定运动模式，并由此重复不同姿势。例如，骑自行车者保持特定姿势。就滑板运动者而言，当用脚驱动时，会重复特定运动模式，并由此在特定时间段内会多次重复特定姿势。
然而，基于单个图像也可确定是否存在运动工具。这尤其可在传感器数据融合、例如雷达传感器与摄像机传感器之间的数据融合的情况下加以确定。例如，通过雷达传感器，可基于可供使用的多普勒速度确定特定肢体的速度。再结合摄像机的图像，能够以此方式识别运动工具，因为使用运动工具时，例如有特定的腿部运动模式。
在另一优选的设计方案中，运动工具通过相应的分类器被分类。为此，可对分类器进行相应的训练，以便基于姿势、尤其是基于典型的腿部动作，对例如直排轮滑运动者、滑板运动者、普通行人或骑自行车者等进行区分。
进一步优选的是，基于所确定的运动工具确定人员的危急性/临界情况。该危急性描述的是，例如相关人员穿越行车道的概率。根据不同的运动工具，可较快地改变方向。与高于正常行人的速度相关地，使用相应运动工具的人员具有更高的风险，并必须进行相应的分析评估或分类，以便必要时能相应调整行驶功能或干预阈值。在此例如可以在确定所识别到的人员具有较高的危急性的情况下降低车辆行驶速度或降低紧急制动辅助(EBA)系统的干预阈值。此外，可更频繁地对包含有所识别的人员的区域进行扫描，或扩大感兴趣区域(ROI)，以确保在一定时间段内识别该人员，或直接针对该人员进行识别。
在一特别优选的实施方式中，预测的运动特性包括最大速度、人员的自由度和/或运动方向。这些不同参数可针对每一单个的、潜在可识别到的运动工具被储存在例如查找表中。根据本发明，自由度是指与方向有关的各种方向改变可能性、与当前运动方向有关的角度和方向改变的速度。根据运动工具的不同，能够有更多或更快的方向变化。例如，直排轮滑运动者相比于例如骑自行车者能够以更大角度更快地改变方向。通过运动特性，尤其是鉴于结合运动工具最大可达到的速度，也可优化基于模型的跟踪。此外，车辆可更快地针对相关人员运动方向的变化进行调整适配，因为能够更精准预测相关人员在下一时间步长中的位置。
此外根据本发明提出了一种用于识别交通参与者、尤其是识别道路交通中人员的系统，所述系统包括至少一个用于拍摄周围环境图像或用于拍摄周围环境图像序列的光学传感器以及数据处理装置，该数据处理装置被配置用于：
-对所拍摄周围环境图像进行分析并实施人员识别，
-实施人员姿势识别，
-在图像中确定是否存在运动工具，以及
-基于运动工具为人员分配运动特性。
在此，数据处理装置使用例如卷积神经网络(CNN)。数据处理装置可借助经训练的分类器实施人员和姿势识别。此外，可对分类器进行训练，借助所述分类器可基于特定特征推断出特定的运动工具。然后，可为每一种运动工具分配一运动特性。
附图说明
从附图中可得出其他有益的设计方案和实施方式。其中：
图1这是本发明实施方式的流程示意图；
图2这是本发明实施方式的示意图。
具体实施方式
图1展示的是本发明一实施方式的流程示意图。在步骤S1中，借助至少一光学传感器2拍摄周围环境图像或拍摄图像序列。在步骤S2，在周围环境图像中进行人员识别。在另一步骤S3中，确定所检测到的人员的姿势。此外，在步骤S4中，确定是否存在运动工具。在下一步骤S5中，基于所确定的运动工具为人员分配运动特性。
图2展示的是本发明一实施方式示意图。在此，以示意图方式展示用于识别交通参与者、尤其是道路交通中人员的系统1。在此，系统1包括光学传感器2和数据处理装置3。在此，光学传感器2和数据处理装置3通过数据连接D相连接，借助该数据连接，图像数据可从光学传感器2传输到数据处理装置。可以想象，数据处理装置与一个或多个执行装置相连接，执行装置基于数据处理装置的结果对车辆进行相应控制。在此，数据连接D优选设置成有线连接。然而，也可想象诸如无线局域网(WLAN)、蓝牙等无线连接。
附图标记列表
1 系统
2 光学传感器
3 数据处理装置
D 数据连接
S1-S5 方法步骤

Claims (6)

1.一种用于识别交通参与者、尤其是识别道路交通中人员的方法，所述方法具有下列步骤：
-借助车辆的光学传感器(2)拍摄(S1)至少一周围环境图像或拍摄周围环境图像序列，
-在周围环境图像中检测(S2)人员，
-确定(S3)所检测到的人员的姿势；
-确定(S4)是否存在人员的运动工具；
-基于人员的所确定的运动工具，为人员分配(S5)运动特性。
2.根据权利要求1所述的方法，
其特征在于，
通过观察姿势状态的时间序列或通过观察单个图像确定是否存在运动工具。
3.根据权利要求2所述的方法，
其特征在于，
通过相应的分类器对运动工具进行分类。
4.根据上述权利要求中任一权利要求所述的方法，
其特征在于，
基于所确定的运动工具确定人员的危急性。
5.根据权利要求1所述的方法，
其特征在于，
预测的运动特性包括最大速度、人员的自由度和/或运动方向。
6.一种用于识别交通参与者、尤其是识别道路交通中人员的系统(1)，所述系统包括用于拍摄周围环境图像或用于拍摄周围环境图像序列的至少一个光学传感器(2)以及数据处理装置(3)，该数据处理装置被配置用于：
-对所拍摄周围环境图像进行分析并实施人员识别，
-实施人员姿势识别，
-在图像中确定是否存在运动工具，以及
-基于运动工具为人员分配运动特性。
CN202080082507.XA 2019-12-18 2020-12-08 识别交通参与者的方法 Pending CN115280379A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019220009.5A DE102019220009A1 (de) 2019-12-18 2019-12-18 Verfahren zur Erkennung von Verkehrsteilnehmern
DE102019220009.5 2019-12-18
PCT/DE2020/200111 WO2021121490A1 (de) 2019-12-18 2020-12-08 Verfahren zur erkennung von verkehrsteilnehmern

Publications (1)

Publication Number Publication Date
CN115280379A true CN115280379A (zh) 2022-11-01

Family

ID=74184332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080082507.XA Pending CN115280379A (zh) 2019-12-18 2020-12-08 识别交通参与者的方法

Country Status (5)

Country Link
US (1) US20230343105A1 (zh)
EP (1) EP4078436A1 (zh)
CN (1) CN115280379A (zh)
DE (2) DE102019220009A1 (zh)
WO (1) WO2021121490A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022209561A1 (de) 2022-09-13 2024-03-14 Zf Friedrichshafen Ag System zur Erkennung der vorausliegenden Fußgängerintension eines Fußgängers in einem Umfeld, Fahrzeug und Verkehrsüberwachungssystem

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207802B3 (de) * 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
WO2017056382A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10913454B2 (en) * 2017-12-13 2021-02-09 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent

Also Published As

Publication number Publication date
US20230343105A1 (en) 2023-10-26
DE102019220009A1 (de) 2021-06-24
EP4078436A1 (de) 2022-10-26
WO2021121490A1 (de) 2021-06-24
DE112020006188A5 (de) 2022-09-22

Similar Documents

Publication Publication Date Title
Fang et al. Is the pedestrian going to cross? answering by 2d pose estimation
US20200211395A1 (en) Method and Device for Operating a Driver Assistance System, and Driver Assistance System and Motor Vehicle
Zangenehpour et al. Automated classification based on video data at intersections with heavy pedestrian and bicycle traffic: Methodology and application
US8364311B2 (en) Driver assistance system or robot with dynamic attention module
CN102792314B (zh) 交叉通行碰撞警报系统
US11527078B2 (en) Using captured video data to identify pose of a vehicle
US11308717B2 (en) Object detection device and object detection method
CN112513873A (zh) 根据摄像机图像识别行人的运动意图
US8977001B2 (en) Device and method for monitoring video objects
JP2018516799A (ja) 路面反射を認識し評価するための方法及び装置
Bieshaar et al. Cooperative starting intention detection of cyclists based on smart devices and infrastructure
Yuen et al. Looking at hands in autonomous vehicles: A convnet approach using part affinity fields
JP2023532045A (ja) マイクロモビリティユーザーのリスクを判断するための外観と動きに基づくモデル
Zhao et al. Video based estimation of pedestrian walking direction for pedestrian protection system
Martin et al. Real time driver body pose estimation for novel assistance systems
Gonner et al. Vehicle recognition and TTC estimation at night based on spotlight pairing
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
CN115280379A (zh) 识别交通参与者的方法
US20210312198A1 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
Petrovskaya et al. Model based vehicle tracking in urban environments
Masalov et al. Cydet: Improving camera-based cyclist recognition accuracy with known cycling jersey patterns
Schamm et al. Obstacle detection with a Photonic Mixing Device-camera in autonomous vehicles
Englund Action intention recognition of cars and bicycles in intersections
CN113917453A (zh) 一种基于雷达和视频的多传感器融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination