CN114651278A - 基于摄像机的倾翻运动探测 - Google Patents

基于摄像机的倾翻运动探测 Download PDF

Info

Publication number
CN114651278A
CN114651278A CN202080078080.6A CN202080078080A CN114651278A CN 114651278 A CN114651278 A CN 114651278A CN 202080078080 A CN202080078080 A CN 202080078080A CN 114651278 A CN114651278 A CN 114651278A
Authority
CN
China
Prior art keywords
camera
optical flow
vehicle
expected
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080078080.6A
Other languages
English (en)
Inventor
马库斯·比尔克
加布里埃拉·雅格
迪特尔·巴尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Publication of CN114651278A publication Critical patent/CN114651278A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明涉及用于识别车辆(101)的倾翻运动的方法，车辆具有至少一个固定在车辆(101)上的摄像机(103)，方法具有以下步骤：通过摄像机(103)拍摄图像序列；获知图像序列的光流；获知基于车辆(101)的行驶运动和地面的形貌而预期的光流；以及检查图像序列的光流和预期的光流的偏差。

Description

基于摄像机的倾翻运动探测
技术领域
本发明涉及根据权利要求1的方法和根据产品独立权利要求的车辆。
背景技术
由现有技术已知防止乘用车辆或载重车辆翻倒的系统。这些系统通过干预车辆的制动和/或转向来稳定车辆。
地面运输车和建筑机械由于提升的负载的静态位移，经常面临翻倒的危险。由现有技术已知的系统在这里是无效的，因为它们是动态作用的并且前提是车辆充分快速地运动。
发明内容
本发明基于的任务是改进车辆在低速度时的倾翻安全性。该任务由根据权利要求1的方法和根据产品独立权利要求的车辆来解决。
根据本发明的方法被用来识别车辆的倾翻运动。倾翻运动是一种滚动运动，即绕车辆纵轴线的转动运动，或者是一种俯仰运动，即绕车辆横轴线的转动运动，其导致车辆失去平衡而翻车。
车辆例如是轮式装载机、叉车或翻斗车。车辆具有摄像机。摄像机是一种用于在成像介质上拍摄环境图像的器件。其优选是光学摄像机，其中，可见光是成像的。摄像机固定在车辆上。
该方法设置的是，利用摄像机拍摄图像序列。图像序列是至少两个图像的次序。
在拍摄到的图像序列中获知光流。这是至少一个由摄像机拍摄的对象的可见点的投射到摄像机的图像平面中速度的矢量场。
除了拍摄的图像序列中实际存在的光流之外，还获知预期的光流。该获知是基于车辆的行驶运动和地面的形貌。行驶运动是指车辆相对于地面的运动。地面的形貌是指地面的表面状况。
在车辆不倾翻的前提下，其行驶运动和地面的形貌明确地决定了摄像机相对于相对地面位置固定的对象的运动。这就得到了摄像机所拍摄的对象的预期光流。
最后，检查图像序列中实际存在的光流与预期光流的偏差程度。这些偏差就是针对车辆倾翻运动的推定迹象。
如果由于光流的偏差而识别到即将发生的倾翻运动，就可以启动对策。因此能够降低车辆的速度和/或其转向角度。如果负载提升，则可以停止提升和/或放弃负载。
在优选的改进方案中，获知预期的光流的步骤被细分为多个子步骤。因此，为了获知预期的光流，获知车辆的行驶运动。优选地，在拍摄图像序列期间获知行驶运动。在必要时，还获知地面的形貌。如果地面是平坦的，则可以取消这一步。
基于行驶运动和形貌，在车辆不倾翻的前提下，摄像机相对于一个或多个由摄像机所拍摄的对象(即包含在图像序列中的对象)的运动被明确地限定。在另一个子步骤中获知该运动。这些对象是位置固定布置的对象，即相对于地面来说是不能运动的对象。特别地，地面本身也可以是这样的对象。
在最后的按照改进方案的子步骤中，获知基于所获知的摄像机的运动而预期的光流。
在进一步优选的改进方案中，获知基于摄像机的运动而预期的光流的子步骤又被细分为多个子步骤。在第一个子步骤中，识别在图像序列中的由摄像机拍摄的对象。相应的自动化或计算机实施的用于图像识别的方法由现有技术对本领域技术人员来说是已知的。特别地，神经网络或随机算法能够被用于图像识别。
通过在图像序列中识别对象，鉴别出图像序列的将对象成像于其中的区域。在另一个子步骤中，获知该区域的光流。这意味着，不是获知整个图像区域的光流，而是只获知图像序列中的对象的光流。由此使得获知更加有效率并避免了例如由运动的对象或人员造成的干扰。
在另一个子步骤中，获知图像序列中的对象的由于摄像机的运动而预期的相应光流。具体来说，获知在上述的其中将对象成像的区域内的由于摄像机的运动而预期的光流。
根据本发明的车辆具有至少一个摄像机和至少一个评估单元，评估单元实施根据本发明的方法或优选的改进方案，即其被构造成用于施行这样的方法。
附图说明
在图1中示出本发明的一个优选实施例。具体而言：
图1示出车辆。
具体实施方式
图1中所示的车辆101具有摄像机103和评估单元105。摄像机103以信号传导的方式与评估单元105连接。对象107位于摄像机103的图像区域内，即位于被摄像机103拍摄的区域内。
评估单元105获知由对象107在摄像机103拍摄的图像序列中的光流。此外，评估单元105检测车辆101的行驶运动。由此得到了对象107的预期的光流，评估单元105将该预期的光流与实际光流进行比较。如果存在偏差，则推断出车辆101的倾翻运动。在这种情况下，评估单元105启动对策以稳定车辆101。
附图标记列表
101 车辆
103 摄像机
105 评估单元
107 对象

Claims (4)

1.用于识别车辆(101)的倾翻运动的方法，所述车辆具有至少一个固定在所述车辆(101)上的摄像机(103)，所述方法具有以下步骤：
-通过所述摄像机(103)拍摄图像序列；
-获知所述图像序列的光流；
-获知基于所述车辆(101)的行驶运动和地面的形貌而预期的光流；以及
-检查所述图像序列的光流和预期的光流的偏差。
2.根据权利要求1所述的方法；其特征在于，
获知预期的光流的步骤包括以下子步骤：
-获知所述车辆(101)的行驶运动；
-获知所述摄像机(103)相对于至少一个由所述摄像机(103)拍摄的对象(107)的基于所述行驶运动和所述形貌而预期的运动；以及
-获知基于所述摄像机(103)的运动而预期的光流。
3.根据前一项权利要求所述的方法；其特征在于，
获知预期的光流的步骤包括以下子步骤：
-在所述图像序列中识别所述对象(107)，
-获知所述图像序列的将所述对象成像于其中的区域的光流；以及
-获知所述区域的基于所述摄像机(103)的运动而预期的光流。
4.车辆(101)，所述车辆具有至少一个摄像机(103)和至少一个控制单元(105)；其特征在于，
所述控制单元(105)实施根据前述权利要求中任一项所述的方法。
CN202080078080.6A 2019-11-21 2020-11-09 基于摄像机的倾翻运动探测 Pending CN114651278A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019217988.6 2019-11-21
DE102019217988.6A DE102019217988A1 (de) 2019-11-21 2019-11-21 Kamerabasierte Detektion von Kippbewegungen
PCT/EP2020/081404 WO2021099149A1 (de) 2019-11-21 2020-11-09 Kamerabasierte detektion von kippbewegungen

Publications (1)

Publication Number Publication Date
CN114651278A true CN114651278A (zh) 2022-06-21

Family

ID=73198317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080078080.6A Pending CN114651278A (zh) 2019-11-21 2020-11-09 基于摄像机的倾翻运动探测

Country Status (6)

Country Link
US (1) US20220414893A1 (zh)
EP (1) EP4062370A1 (zh)
JP (1) JP2023503915A (zh)
CN (1) CN114651278A (zh)
DE (1) DE102019217988A1 (zh)
WO (1) WO2021099149A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19918597C2 (de) * 1999-04-23 2001-03-08 Deutsch Zentr Luft & Raumfahrt Verfahren zur Reduktion der Kippgefahr von Straßenfahrzeugen
DE10326190A1 (de) * 2003-06-06 2004-12-30 Daimlerchrysler Ag Vorrichtung und Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Auflegers oder Anhängers
DE102011055795A1 (de) * 2011-11-29 2013-05-29 Continental Automotive Gmbh Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
DE102012110082A1 (de) * 2012-10-23 2014-04-24 Continental Automotive Gmbh Verfahren zum Steuern von Sicherheitseinrichtungen eines Kraftfahrzeugs im Falle einer Böschungsfahrt
DE102014007900A1 (de) * 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs
DE102016209900A1 (de) * 2016-06-06 2017-12-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines seitlichen Kippens eines Fahrzeugs und Fahrzeug
US10657654B2 (en) * 2017-12-28 2020-05-19 Denso Ten Limited Abnormality detection device and abnormality detection method
DE102018102287A1 (de) * 2018-02-01 2019-08-01 Sick Ag Optoelektronische Sensorvorrichtung

Also Published As

Publication number Publication date
EP4062370A1 (de) 2022-09-28
US20220414893A1 (en) 2022-12-29
JP2023503915A (ja) 2023-02-01
WO2021099149A1 (de) 2021-05-27
DE102019217988A1 (de) 2021-05-27

Similar Documents

Publication Publication Date Title
US9947228B1 (en) Method for monitoring blind spot of vehicle and blind spot monitor using the same
US9361528B2 (en) Vehicle-to-vehicle distance calculation apparatus and method
US9665781B2 (en) Moving body detection device and moving body detection method
US20060244579A1 (en) Device and method for determining an orientation of a semitrailer or trailer
CN103718224B (zh) 三维物体检测装置和三维物体检测方法
US20110068934A1 (en) Method and system for monitoring driver
US10183659B2 (en) Vehicle underside impact avoidance
WO2020203253A1 (ja) 重量推定システム
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
US20220196395A1 (en) Method for ascertaining an operating angle between a tractor and a trailer of the tractor
WO2014073571A1 (ja) 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法
WO2019183981A1 (en) Vehicle and method for avoiding a collision of a vehicle with one or more obstacles
US20220414927A1 (en) Method for determining object information relating to an object in a vehicle environment, control unit and vehicle
US11521494B2 (en) Vehicle eccentricity mapping
US20220398852A1 (en) Method for determining object information relating to an object in a vehicle environment, control unit and vehicle
CN114651278A (zh) 基于摄像机的倾翻运动探测
JP6171608B2 (ja) 物体検出装置
KR20180081966A (ko) 차량 인식을 통한 영상 교정 방법
KR20210098501A (ko) 카메라 오정렬 탐지를 위한 방법, 카메라 시스템, 컴퓨터 프로그램 제품 및 컴퓨터 판독 가능 매체
JP6868996B2 (ja) 障害物検知システム及び建設機械
JP6877636B2 (ja) 車載カメラ装置
TWI723657B (zh) 車輛控制方法與車用控制系統
US20230177842A1 (en) Object detection
DE102020215149A1 (de) Verfahren zum Betreiben eines Fahrzeugs in einem Regalgang in Abhängigkeit von einer Fahrweginformation
JP2023067558A (ja) 車両及び車両制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination