JP2023503915A - カメラに基づく傾斜運動の検知 - Google Patents
カメラに基づく傾斜運動の検知 Download PDFInfo
- Publication number
- JP2023503915A JP2023503915A JP2022529749A JP2022529749A JP2023503915A JP 2023503915 A JP2023503915 A JP 2023503915A JP 2022529749 A JP2022529749 A JP 2022529749A JP 2022529749 A JP2022529749 A JP 2022529749A JP 2023503915 A JP2023503915 A JP 2023503915A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- optical flow
- determining
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
カメラに基づく傾斜運動の検知を開示する。【課題】本発明は、車両(101)の傾斜運動を検出する方法に関する。車両(101)は、車両(101)に固定された少なくとも1つのカメラ(103)を備える。方法は、カメラ(103)で画像シーケンスを記録するステップと、画像シーケンスのオプティカルフローを決定するステップと、車両(101)の走行動作および地面の地形に基づいて予想しうるオプティカルフローを決定するステップと、画像シーケンスのオプティカルフローと予想しうるオプティカルフローに逸脱がないか確認するステップと、を含む。【選択図】図1
Description
本発明は、請求項1に記載の方法、および装置に関する独立装置請求項に記載の車両に関する。
自動車またはトラックの転倒を防止するシステムは、従来技術から既知である。これらのシステムは、車両のブレーキおよび/または操舵に介入することによって、車両を安定させる。
産業用トラックおよび建設機械は、リフトされた荷物の静的変位に起因して、転倒の危険にさらされることが多い。従来技術から既知のシステムは、動的に作用して、車両の十分に速い走行動作を前提とする。そのため、この場合には有効ではない。
本発明は、低速走行時の車両の傾き安全性を向上させることを課題とする。この課題は、請求項1に記載の方法と、装置に関する独立請求項に記載の車両と、によって解決される。
本発明による方法は、車両の傾斜運動を検出する役割を果たす。傾斜運動とは、すなわち車両の縦軸を中心とする回転運動であるローリング運動、または、すなわち車両の横軸を中心とする回転運動であるピッチング運動である。傾斜運動によって、車両は、バランスを崩して、転倒へと至る。
車両は、例えば、ホイールローダー、フォークリフト、ダンプトラックなどである。車両は、カメラを備える。カメラは、環境の画像を撮像媒体に記録する手段である。可視光が画像を形成する光学カメラが好適である。カメラは車両に固定されている。
この方法では、カメラで画像シーケンスを記録する。画像シーケンスとは、少なくとも2枚の画像の並びのことである。
記録した画像シーケンスにおいて、オプティカルフローを決定する。これは、カメラで記録した少なくとも一つの物体の可視点の、カメラの画像平面に投影した速度のベクトル場である。
記録した画像シーケンスに実際に存在するオプティカルフローに加えて、予想しうるオプティカルフローを決定する。決定は、車両の走行動作および地面の地形に基づく。走行動作とは、地面に対して車両が相対的に動くことをいう。地面の地形とは、その地表の状態である。
車両が傾かないという前提で、その走行動作と地面の地形によって、地面に対して静止している物体に対するカメラの動きを一意的に確定する。これから、カメラで記録した物体の予想しうるオプティカルフローが生じる。
最後に、実際に画像シーケンスに存在するオプティカルフローが、予想しうるオプティカルフローからどの程度逸脱しているかを確認する。逸脱は、車両の傾斜運動の指標である。
オプティカルフローの逸脱に基づいて、差し迫った傾斜運動が検出されると、対策を講じることができる。このようにして、車両の速度および/またはその操舵角を低減することができる。荷物がリフトされる場合は、リフトをストップする、および/または荷物を降ろすことができる。
好適な発展形態において、予想しうるオプティカルフローを決定するステップを、複数のサブステップに細分する。したがって、予想しうるオプティカルフローを決定するために、車両の走行動作を決定する。好適には、走行動作を、画像シーケンスが記録されている間に決定する。必要に応じて、さらに面の地形も決定する。地面が平坦であれば、このステップを省略することができる。
走行動作および地形に基づいて、車両が傾かないという前提で、カメラで記録した1つまたは複数の物体、すなわち画像シーケンスに含まれる物体に対するカメラの動きを一意的に定義する。この動きは、更なるサブステップにおいて決定する。物体は、静止して配置された物体、すなわち地面に対して不動な状態で配置された物体である。特に、地面そのものが、そのような物体であってもよい。
発展形態による最後のサブステップにおいて、決定したカメラの動きに基づいて予想することができるオプティカルフローを決定する。
カメラの動きに基づいて予想しうるオプティカルフローを決定するサブステップを、さらに、好適な発展形態において、再びサブステップに細分する。第1サブステップにおいて、カメラで記録した物体を、画像シーケンスにおいて認識する。画像認識のための対応する自動化された方法、またはコンピュータで実施される方法は、従来技術から当業者にとって既知である。特に、ニューラルネットワークまたは確率アルゴリズムを、画像認識のために使用できる。
画像シークエンスにおいて物体を認識することによって、画像シークエンスにおいて、物体が撮像される領域を識別する。更なるサブステップにおいて、この領域のオプティカルフローを決定する。つまり、画像領域全体のオプティカルフローではなく、画像シークエンスにおける物体のオプティカルフローのみを決定するのである。これによって、より効率的な決定が可能になり、例えば移動する物体または人による妨害が回避される。
更なるサブステップにおいて、カメラの動きに基づいて予想しうる、画像シーケンスにおける物体の対応するオプティカルフローを決定する。具体的には、物体が撮像される上述の領域において、カメラの動きに基づいて予想しうるオプティカルフローを決定する。
本発明による車両は、少なくとも1つのカメラと、少なくとも1つの評価ユニットと、を備える。評価ユニットは、本発明による方法または好適な発展形態を実装する。すなわち、評価ユニットは、そのような方法を実施するように構成されている。
本発明の好適な実施形態は、図1に示される。詳細は、以下の通りである。
図1に示す車両101は、カメラ103および評価ユニット105を備える。カメラ103は、評価ユニット105と、信号伝導方式で接続されている。カメラ103の画像領域、すなわちカメラ103によって記録される領域には、物体107が存在する。
評価ユニット105は、カメラ103によって記録された画像シーケンスにおける物体107のオプティカルフローを決定する。さらに、評価ユニット105は、車両101の走行動作をキャプチャする。これから、物体107の予想されるオプティカルフローが生じる。評価ユニット105は、予想されるオプティカルフローを実際のオプティカルフローと比較する。逸脱が存在する場合は、それが車両101の傾斜運動を示唆する。この場合、評価ユニット105は、車両101を安定させるための対策を開始する。
101 車両
103 カメラ
105 評価ユニット
107 物体
103 カメラ
105 評価ユニット
107 物体
Claims (4)
- 車両(101)の傾斜運動を検出する方法であって、前記車両(101)は、前記車両(101)に固定された少なくとも1つのカメラ(103)を備え、前記方法は、
前記カメラ(103)で画像シーケンスを記録するステップと、
前記画像シーケンスのオプティカルフローを決定するステップと、
前記車両(101)の走行動作および地面の地形に基づいて予想しうるオプティカルフローを決定するステップと、
前記画像シーケンスの前記オプティカルフローと前記予想しうるオプティカルフローに逸脱がないか確認するステップと、を含む方法。 - 請求項1に記載の方法であって、
前記予想しうるオプティカルフローを前記決定するステップは、以下のサブステップ、すなわち、
前記車両(101)の前記走行動作を決定するステップと、
前記カメラ(103)で記録した少なくとも1つの物体(107)に対する、前記走行動作および前記地形に基づいて予想しうる前記カメラ(103)の動きを決定するステップと、
前記カメラ(103)の前記動きに基づいて予想しうるオプティカルフローを決定するステップと、を含むことを特徴とする方法。 - 請求項1または2に記載の方法であって、前記予想しうるオプティカルフローを前記決定するステップは、以下の複数のサブステップ、すなわち、
前記物体(107)を前記画像シーケンスにおいて認識するステップと、
前記画像シーケンスの、前記物体が撮像される領域のオプティカルフローを決定するステップと、
前記領域の、前記カメラ(103)の前記動きに基づいて予想しうるオプティカルフローを決定するステップと、を含むことを特徴とする、方法。 - 少なくとも1つのカメラ(103)と、少なくとも1つの制御装置(105)と、を備える車両(101)であって、前記制御装置(105)は、請求項1~3の何れか一項に記載の方法を実施することを特徴とする、車両(101)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019217988.6A DE102019217988A1 (de) | 2019-11-21 | 2019-11-21 | Kamerabasierte Detektion von Kippbewegungen |
DE102019217988.6 | 2019-11-21 | ||
PCT/EP2020/081404 WO2021099149A1 (de) | 2019-11-21 | 2020-11-09 | Kamerabasierte detektion von kippbewegungen |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023503915A true JP2023503915A (ja) | 2023-02-01 |
Family
ID=73198317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022529749A Pending JP2023503915A (ja) | 2019-11-21 | 2020-11-09 | カメラに基づく傾斜運動の検知 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220414893A1 (ja) |
EP (1) | EP4062370A1 (ja) |
JP (1) | JP2023503915A (ja) |
CN (1) | CN114651278A (ja) |
DE (1) | DE102019217988A1 (ja) |
WO (1) | WO2021099149A1 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19918597C2 (de) * | 1999-04-23 | 2001-03-08 | Deutsch Zentr Luft & Raumfahrt | Verfahren zur Reduktion der Kippgefahr von Straßenfahrzeugen |
DE10326190A1 (de) * | 2003-06-06 | 2004-12-30 | Daimlerchrysler Ag | Vorrichtung und Verfahren zur Ermittlung einer räumlichen Ausrichtung eines Auflegers oder Anhängers |
DE102011055795A1 (de) * | 2011-11-29 | 2013-05-29 | Continental Automotive Gmbh | Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs |
DE102012110082A1 (de) * | 2012-10-23 | 2014-04-24 | Continental Automotive Gmbh | Verfahren zum Steuern von Sicherheitseinrichtungen eines Kraftfahrzeugs im Falle einer Böschungsfahrt |
DE102014007900A1 (de) * | 2014-05-27 | 2015-12-03 | Man Truck & Bus Ag | Verfahren und Fahrerassistenzsystem zur Ermittlung fahrdynamischer Zustände eines Nutzfahrzeugs |
DE102016209900A1 (de) * | 2016-06-06 | 2017-12-07 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines seitlichen Kippens eines Fahrzeugs und Fahrzeug |
US10657654B2 (en) * | 2017-12-28 | 2020-05-19 | Denso Ten Limited | Abnormality detection device and abnormality detection method |
DE102018102287A1 (de) * | 2018-02-01 | 2019-08-01 | Sick Ag | Optoelektronische Sensorvorrichtung |
-
2019
- 2019-11-21 DE DE102019217988.6A patent/DE102019217988A1/de active Pending
-
2020
- 2020-11-09 WO PCT/EP2020/081404 patent/WO2021099149A1/de unknown
- 2020-11-09 CN CN202080078080.6A patent/CN114651278A/zh active Pending
- 2020-11-09 EP EP20803815.8A patent/EP4062370A1/de active Pending
- 2020-11-09 JP JP2022529749A patent/JP2023503915A/ja active Pending
- 2020-11-09 US US17/778,186 patent/US20220414893A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN114651278A (zh) | 2022-06-21 |
US20220414893A1 (en) | 2022-12-29 |
EP4062370A1 (de) | 2022-09-28 |
DE102019217988A1 (de) | 2021-05-27 |
WO2021099149A1 (de) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9947228B1 (en) | Method for monitoring blind spot of vehicle and blind spot monitor using the same | |
JP4780614B2 (ja) | 車体挙動測定装置 | |
US10227017B2 (en) | Camera-based vehicle position determination with known target | |
CN101402363B (zh) | 用于车辆和拖车联接车的拖车晃动探测与补偿方法 | |
JP3897305B2 (ja) | 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体 | |
US20200063401A1 (en) | Terrain Feed Forward Calculation | |
US9952115B2 (en) | Angle of repose detector for hauling machines | |
JP6072064B2 (ja) | 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 | |
US10183659B2 (en) | Vehicle underside impact avoidance | |
CN108884667A (zh) | 轮式装载机以及轮式装载机的控制方法 | |
WO2020203253A1 (ja) | 重量推定システム | |
JP2015527579A (ja) | 車両の重量を推定するための方法 | |
JP3952305B2 (ja) | 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 | |
KR20220090651A (ko) | 자율 주행 제어 장치, 그를 포함하는 차량 시스템, 및 그 방법 | |
CN110815220A (zh) | 一种消防机器人的遇障处理方法 | |
US20160236606A1 (en) | Method for controlling hoisting of an articulated machine | |
JP2023503915A (ja) | カメラに基づく傾斜運動の検知 | |
KR20220014477A (ko) | 인공지능 기법과 탐지 센서 및 환경 센서를 이용한 건설 장비 안전 시스템 | |
JP6943004B2 (ja) | 産業車両 | |
KR102191097B1 (ko) | 사람 감지 시스템 | |
KR102595117B1 (ko) | 전자제어 서스펜션의 횡풍 제어장치 및 방법 | |
JP6868996B2 (ja) | 障害物検知システム及び建設機械 | |
KR20210083516A (ko) | 안전사고 방지 기능이 탑재된 지게차 | |
US20190102902A1 (en) | System and method for object detection | |
JP7167834B2 (ja) | 障害物・段差検知システム、及び移動体の注意喚起システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230829 |