JP2022543023A - ミラー置換システムのためのカメラ画像及びセンサ融合 - Google Patents
ミラー置換システムのためのカメラ画像及びセンサ融合 Download PDFInfo
- Publication number
- JP2022543023A JP2022543023A JP2022506344A JP2022506344A JP2022543023A JP 2022543023 A JP2022543023 A JP 2022543023A JP 2022506344 A JP2022506344 A JP 2022506344A JP 2022506344 A JP2022506344 A JP 2022506344A JP 2022543023 A JP2022543023 A JP 2022543023A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- camera
- image
- data
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims description 14
- 230000033001 locomotion Effects 0.000 claims abstract description 240
- 238000001514 detection method Methods 0.000 claims abstract description 88
- 238000005259 measurement Methods 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 42
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 238000006073 displacement reaction Methods 0.000 claims description 17
- 238000010191 image analysis Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000006641 stabilisation Effects 0.000 claims description 6
- 238000011105 stabilization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000004091 panning Methods 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 13
- 239000000725 suspension Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C9/00—Measuring inclination, e.g. by clinometers, by levels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
- G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/42—Devices characterised by the use of electric or magnetic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
車両用測定システムは、対応する光軸を有する視野を画定する第1のカメラと、第1のカメラに機械的に固定される運動検出センサとを含み、運動検出センサは光軸の運動を検出するように構成される。
Description
本開示は、一般に、カメラからの画像データと対応する運動インジケータからの運動データとの融合を含むビデオフィードデータセットを生成するための構造に関する。
(関連出願への相互参照)
本出願は、2019年8月1日に出願された米国仮出願第62/881506号への優先権を主張する。
本出願は、2019年8月1日に出願された米国仮出願第62/881506号への優先権を主張する。
商用車で使用されるようなミラー置換システムは、車両操作者に強化された視野を提供するために1つ以上のカメラを利用する。ミラー置換システムは、従来のミラーよりも広い視野をカバーする。ミラー置換システムの動作の一部として、各ミラー置換構造内のカメラによって相当量の画像データが生成される。ミラー置換システムに加えて、他の車両システムも同様にカメラを含むか又は利用することができる。カメラからの画像データは、コントローラによって分析され、車両の動作及びミラー置換を強化する複数の機能を実行するために使用される。
1つの例示的な実施形態では、車両用の測定システムは、対応する光軸を有する視野を画定する第1のカメラと、前記第1のカメラに機械的に固定される運動検出センサとを含み、前記運動検出センサは、前記光軸の運動を検出するように構成される。
上述の車両用の測定システムの別の例では、前記運動検出センサは、加速度計、ジャイロスコープ、及び傾斜計のうちの1つを含む。
上述の車両用の測定システムのいずれかの別の例では、前記運動検出センサは、ASIC(特定用途向け集積回路)の運動が前記光軸の運動に一対一で対応するように、前記第1のカメラの前記ASICに機械的に接続される。
上述の車両用の測定システムのいずれかの別の例では、前記ASICは、前記第1のカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される。
上述の車両用の測定システムのいずれかの別の例では、前記融合データは、時間相関データである。
上述の車両用の測定システムのいずれかの別の例は、前記融合データセットを受信するように構成されるコントローラをさらに含み、前記コントローラは、機械学習に基づく分析を用いて前記融合データセットを分析するように構成される。
上述の車両用の測定システムのいずれかの別の例では、前記機械学習に基づく分析は、前記カメラの向きを決定し、前記第1のカメラが誤った方向を向いていることに応答して操作者に警告するように構成される。
上述の車両用の測定システムのいずれかの別の例では、前記ASICはコントローラに接続され、前記コントローラは、運動センサ出力及びカメラ出力を受信するように構成され、前記コントローラは、前記運動センサ出力及び前記カメラ出力を融合することによって融合データセットを生成するように構成される。
上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは、自動車安全水準(ASIL)分割融合を使用して生成される。
上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは、カメラ方向監視システム、物体検出システム、カメラ不整合システム、視野調整システム、物体検出冗長システム、画像安定化システム、エンドオブライン較正システム、改ざん認識システム、及び自動カメラパンニングシステム、カメラ変位検出システム、及び遮蔽検出システムのうちの少なくとも1つに提供される。
上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは前記遮蔽検出システムに提供され、前記遮蔽検出システムは、前記融合データの画像に基づく運動検出とセンサに基づく運動検出とを比較して、前記カメラが少なくとも部分的に遮蔽されているかどうかを決定する。
上述の車両用の測定システムのいずれかの別の例では、前記融合データセットは前記カメラ変位検出システムに提供され、前記カメラ変位検出システムは、前記画像分析によって検出された運動の速度と前記センサ分析によって検出された運動の速度とを比較し、前記画像分析によって検出された運動の速度が前記センサ分析によって検出された運動の速度を既定の量だけ上回ったことに応答して、カメラ変位が発生したと決定するように構成される。
上述の車両用の測定システムのいずれかの別の例では、複数の第2のカメラ及び複数の運動検出センサをさらに含み、前記複数の第2のカメラの各々は、対応する光軸を有する視野を画定し、前記複数の運動検出センサにおける各運動検出センサは、対応する特定用途向け集積回路(ASIC)を介して、前記複数の第2のカメラにおける対応する第2のカメラの1つに機械的に固定され、前記複数の第2のカメラにおける各カメラの運動と前記第1のカメラの運動とは、互いのカメラの運動とは独立して決定される。
上述の車両用の測定システムのいずれかの別の例では、対応するASICの各々は、対応するカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される。
車両用の遮蔽されたカメラレンズを検出するための方法は、カメラシステムから画像データ及びIMU(慣性運動ユニット)データを受信するステップと、前記IMUデータを分析して、センサに基づく運動検出システムを用いて前記カメラシステムの運動を検出するステップと、前記画像データを分析して、画像に基づく運動検出分析を用いて前記カメラの運動を検出するステップと、前記画像に基づく運動検出分析は運動がないことを示しかつ及び前記センサに基づく運動検出は運動を示すことに応答して、少なくとも部分的に遮蔽されたレンズの存在を決定するステップとを含む。
上述の車両用の遮蔽されたカメラレンズを検出するための方法の別の例では、前記カメラシステムは、対応する光軸を有する視野を画定する第1のカメラと、前記第1のカメラに機械的に固定される運動検出センサとを含み、前記運動検出センサは、前記光軸の運動を検出するように構成される。
上述の車両用の遮蔽されたカメラレンズを検出するためのいずれかの方法の別の例では、前記画像に基づく運動検出分析は、前記画像データの第1のフレームにおいて参照を識別すること、前記画像データの第2のフレームにおいて前記参照を識別すること、及びフレーム間の前記参照の位置の変化が閾値を超えていることに応答して、前記カメラシステムが運動していることを決定することを含む。
車両用の遮蔽されたカメラレンズを検出するための上述の方法のいずれかの別の例では、前記第2のフレームは前記第1のフレームの後に続くものである。
上述の車両用の遮蔽されたカメラレンズを検出するためのいずれかの方法の別の例では、前記画像データ及び前記IMUデータは、単一の融合データセットである。
上述の車両用の遮蔽されたカメラレンズを検出するためのいずれかの方法の別の例では、少なくとも部分的に遮蔽されたレンズの存在を決定するステップの間に、前記画像データ及び前記IMUデータは融合される。
車両用の変位したカメラシステムを検出するための例示的な方法は、画像部分及びIMU(慣性運動ユニット)部分を含む融合データをカメラシステムから受信するステップと、画像に基づく運動検出システムを用いて前記画像部分を分析して、前記画像内の少なくとも1つの物体における運動の少なくとも1つのパラメータを決定するステップと、センサに基づく運動検出システムを用いて前記IMU部分を分析して、前記IMUの運動の少なくとも1つのパラメータを決定するステップと、前記画像内の少なくとも1つの物体の運動の前記少なくとも1つのパラメータと、前記IMUの運動の前記少なくとも1つのパラメータとを比較して、前記少なくとも1つの物体の運動の前記少なくとも1つのパラメータが、前記IMUの運動と少なくとも既定の量だけ異なる場合に、カメラシステムの変位が発生したことを決定するステップと含む。
上述の車両用の変位したカメラシステムを検出するための方法の別の例では、前記少なくとも1つのパラメータは、運動の速度である。
上述の車両用の変位したカメラシステムを検出するための方法のいずれかの別の例では、前記画像内の前記少なくとも1つの物体は、前記画像の外周にある。
上述の車両用の変位したカメラシステムを検出するための方法のいずれかの別の例では、前記画像に基づく運動検出システムが運動を検出しないこと及び前記センサに基づく運動検出システムが運動を検出することに応答して、前記カメラの少なくとも部分的な遮蔽を決定するステップをさらに含む。
図1は、トラクタトレーラ等の商用車両10を概略的に示す。例示的な商用車両10は、運転室20及びトレーラ30を含む。トレーラ30は、連結装置32又は他の接続を介して運転室20に接続される。また、運転室20には複数のサイドビューカメラ40が接続されており、それぞれがコントローラ60と通信して車両10のサイドビューのデジタル画像を生成する。トレーラ30には、リアビューカメラ50が取り付けられている。サイドビューカメラ40と同様に、リアビューカメラ50はコントローラ60と通信し、コントローラ60に画像フィードを提供する。単純化された3つのカメラシステムを介して図1に示されているが、ミラー置換システムは、同様の位置に配置された、又は任意の必要な構成で車両10の周りに分散された任意の数の追加のカメラを含み得ることが理解される。
引き続き図1の車両を参照しながら、図2は、運転室72内に配置された複数のカメラ70を含む例示的な運転室72及び運転席74の構成を概略的に示す。図2の例では、運転席74は、サスペンション76を介して運転室72に取り付けられる。運転室72は、別のサスペンション76を介して車両フレーム78に取り付けられる。次にフレーム78は、別の車両サスペンション76を介してタイヤ79に取り付けられる。複数のサスペンション76の結果として、各構成要素は、他の構成要素に対して移動(又は浮動)することができる。その結果、車両運動(すなわち、車両フレーム78の運動)は、運転室72の運動、運転席74の運動、又は運転室72若しくは運転席74に接続されたセンサの運動と1:1ベースで相関しない。図1の単純化されたミラー置換システムに加えて、図2のシステムは、運転室内に又は運転室72に取り付けられた複数の追加のカメラ70を示す。複数のサスペンション76により、カメラ40、50、70の各々は、他のカメラ40、50、70の一部又は全部から独立して又は半独立して動く。また、これにより、カメラ40、50、70の移動を追跡するには車両フレームの移動の測定が不十分になる。
車両10内のコントローラ60は、各カメラ40、50、70によって生成された画像データを受信してフォーマットし、車両10の制御を支援するために画像データを車両10の操作者に提示する。コントローラ60は、画像データを操作者に提示することに加えて、そのデータをリアルタイム又は準リアルタイムで分析し、その分析に基づいてデータを補強する。いくつかの例において、補強は、画像内に存在する異物の決定、さらなる画像分析からの自己部分の除外、識別された物体との差し迫った衝突の検出、並びに任意の他の数の運転支援機能を含み得る。補強は、画像を操作者に提示する前に画像に適用され、コントローラ60が、操作者が認識すべき画像の要素及び/又は操作者が通知されるべき画像に関する情報をハイライト又は強調することを可能にする。
運転者支援機能の一部、又は画像データを使用する他の特徴は、カメラ40、50、70の向き、視野内の遮蔽物、衝突検出システムのための接近する車両又は物体等を決定するために、機械学習システムを使用して決定されたアルゴリズムと組み合わせて、画像フィード自体の中のコンテキスト情報を利用する。これらのシステムの画像分析は、カメラ40、50が移動している可能性があり、場合によっては、車両10の他の部分の運転室20から独立して、又は半独立して移動している可能性があるという事実によって妨げられる。一例として、カメラ40、50と物体が衝突すると、カメラ40、50の向きがずれることがあり、独立した運動によって、通常の移動と物体の衝突によって生じる移動との差を決定することが困難になる。別の例として、運転室72に取り付けられたカメラ70と車両フレーム78との間には、ある程度の浮動(すなわち、相対運動)が存在するとともに、多数の累積サスペンション76が存在するために様々なカメラ40、50、70によって生成された画像の角度の間には、ある程度の浮動が存在する。
図1に記載されかつ示されているようなミラー置換システムに加えて、本明細書に記載されている統合慣性測定ユニット(IMU)及びカメラ構成は、カメラ40、50、70の全てだけでなく、他の同様の車両カメラシステムにも適用することができる。
引き続き図1を参照しながら、図3は、特定用途向け集積回路(ASIC)120に取り付けられたカメラ110を含む例示的なカメラ装置100を概略的に示す。カメラ110はレンズ112を含み、レンズ112は視野(すなわち、カメラ110によって取り込まれた画像)を画定する。レンズ軸114は、レンズ112に対して垂直かつ視野に対して垂直に引かれた線である。また、ASIC120には、慣性測定ユニット(IMU)130も接続されている。IMU130は、相対運動を検出するように構成された加速度計(例えば、3軸加速度計)、ジャイロスコープ(例えば、3軸ジャイロスコープ)、傾斜計、それらの任意の組み合わせ、又は任意の他のセンサタイプ、又はセンサタイプの組み合わせを含み得る。例示的なIMU130は、ロール、ピッチ及びヨーを含む運動を検出するように構成される。代替的なIMUは、これらの運動のサブセット及び/又は追加の運動を検出することができる。
カメラ110とIMU130の両方が単一のASIC120に物理的に取り付けられているので、カメラ110の軸114はIMU130に物理的に結び付けられ、IMU130のいかなる移動もカメラ110の移動に対応する。代替例では、カメラ110及びIMU130は、コネクタ、又は任意の他の剛性接続を介して物理的に接続されて、軸114の運動をIMU130の運動に対応させてもよい。このように、カメラ110によって画定される視野とIMU130の運動とは一対一の相関関係にある。代替例では、IMU130と軸114とが互いに機械的に固定されている場合、IMU130は、別個の物理的構造又は第2のASICに取り付けられ、同様の機能を提供することができる。本明細書では、機械的に互いに固定された構成とは、2つの構成要素が単一のユニットとして移動するように接続された構成を指す。
車両10の動作中、カメラ110からの画像データとIMU130からの運動データは、コントローラ60(図1)に提供される前に融合される。他の例では、画像データ及び運動データはそれぞれタイムスタンプを含み、コントローラ60は、それぞれからデータを受信した後で、データを単一のデータセットに融合することができる。一例において、融合は、自動車安全水準(ASIL)分割融合方法を用いて達成され得る。代替例では、カメラ40、50、70からのデータをIMU130からのデータに融合する別の方法は、任意の既知のデータ融合方法に従って利用され得る。各カメラ40、50、70がそれ自身の運動センサを含むので、カメラ40、50、70からの画像データに融合された運動データは、車体の運動ではなく特定のカメラ軸に結び付けられる。
コントローラ60が融合データを受信すると、コントローラ60は、運動データ及び画像データの組み合わせを利用して複数の分析を実行し、追加の制御特徴の機能を強化する。
一例では、コントローラ60は、軸114の相対運動を決定するために画像データを分析し、IMU130から受信した運動データを分析し、分析間の比較を監視機能として使用する。この例では、IMU130からの運動データは、画像分析によって検出された運動の精度を検証するように作用する。画像分析データがIMU130からの運動データと一致しない場合、コントローラ60は、画像データの分析からの運動が誤っていると決定し、それに応じて調整することができる。この決定が画像分析の欠陥であるか又はIMU130データの欠陥であるかは、この決定のコンテキストに依存し、画像内で識別される物体の予想される移動についての、画像内の固定位置を有するべき構成要素に対する画像の分析を含み得る。一旦決定がなされると、コントローラ60は、ミラー置換システムの1つ以上の機能の操作性を維持するために、ミラー置換システムに必要な調整を行うことができる。図4及び5を参照して、比較プロセスの1つの特定の例を以下に説明する。
別の例では、IMU130は、ロール、ピッチ及びヨーを検出又は測定し、コントローラ60が画像の各フレームにおけるカメラの傾きを決定することを可能にする。カメラの傾きを検出することにより、コントローラ60は、カメラ110が正しい位置に方向付けられ、変位していないことを確認するために、短いランチェックを行うことが可能になる。また、これは物体検出を支援し、車両10の光軸114及び加速度軸の不整合を調整することによって、車両10に対する物体の位置を決定するコントローラ60の能力を向上させる。
IMU130がロール、ピッチ及びヨーを検出又は測定する別の例では、IMU130によってカメラの傾きの突然の変化を検出し得る。一例として、カメラ40、50、70が、低く垂れ下がった枝、他の車両によって跳ね上げられた岩、又は他の何らかの異物に衝突された場合、カメラ40、50、70は、車両10から完全に外れることなく位置がずれることがある。このような突然の方向変化が発生すると、カメラ40、50、70の視野が大幅に変化する可能性があり、再調整が必要となる。適切に装備された車両10では、車両10の後方軸又は他の構造部分は、IMU130によって検出された突然の運動に対応する視野の変化を補償するために、その高さをオンザフライで調整することができる。代替例では、カメラ40、50、70を調整するための他の任意の機械システムが同様の効果のために利用され得る。さらに他の例では、操作者が最初の機会に手動でカメラを調整又は再配置する必要があることを示す警告が車両操作者に提供され得る。いくつかの例では、突然の位置変化は、1つ又は2つの運動角のみを検出することが可能なIMU130によって検出することができ、完全な運動検出は必要ではない。
別の例では、IMU130からの融合データは、上述の相対運動分析と同様の遮蔽に対する安全チェック警告のための追加センサとして動作する。この例では、融合された運動データは、CANシステムから検出された画像に基づく運動検出及び自己部分車両情報に関する冗長性チェックを提供する。付加的なセンサ情報は、車両が移動しているか又は回転しているかを測定し、画像内の物体検出及び画像遮蔽検出に関する冗長性チェックを提供する。例えば、データのIMU130部分が特定の速度又は軸を中心とした回転での移動を検出するが、画像がほとんど静的なシーンを提示する場合、コントローラ60は、検出された物体の信頼度の変化を操作者に警告し得る。別の例では、車両10が移動又は軸の周りを回転し、融合画像データが変化せず、画像分析がカメラ110の遮蔽を示さない場合、コントローラ60は、画像遮蔽検出アルゴリズムを再実行するか、又はIMU130からの運動と画像遮蔽検出アルゴリズムが一致しないことを操作者に通知し得る。
さらに別の例では、融合画像及びIMU130データを利用して、コントローラ60のビデオ安定化機能を支援することができる。運転者等の操作者が車両10自体の中に位置する場合、その操作者は、キャビン20と共に揺動するか又は浮動する。また、キャビン20は、カメラ110と略同じ大きさで揺動又は浮動し、画像を自己解釈することができる。しかしながら、操作者が遠隔制御操作スキームを介して遠隔に位置する場合、カメラ110によって提供される画像の視覚的安定化を提供することが重要である。このような場合、コントローラ60は、画像データのフレーム間の相対運動を比較し、遠隔操作者に提供されるビデオフィードにおける相対運動を補償することができる。これは、ビデオ安定化のために必要なサンプリングレートを減少させてもよく、安定化を実行するためにコントローラ60によって必要とされるフィルタリングの量を潜在的に減少させ得る。
別の例では、融合データは、物体検出能力を向上させることによってエンドオブライン較正要件を低減し、エンドオブラインシステムを較正するためにコントローラ60によって使用され得る。別の例では、融合データは、認識の改ざん及び自動カメラパンニングシステムを支援するために使用され得る。上記の概念のいずれかを単独で、又は上記の他の概念のいずれか若しくは全てと組み合わせて使用され得ることがさらに理解される。
引き続き図1~3を参照しながら、図4及び5は、図1~3に関して上述した、カメラ視軸とIMUとの間の固定関係によって可能となる融合された運動データを利用して、カメラの遮蔽された又は遮蔽されていない状態を検証する例示的なプロセス200を示す。動作を実行するコントローラは、カメラから画像データ210を受信し、対応するIMUからIMUデータ220を受信する。IMUは、一例では加速度計であるが、別のIMUセンサタイプを使用して、別のシステムで同様の影響を与えることができる。次に、コントローラは、画像に基づく運動検出分析230を用いて画像データ210を分析し、画像が運動を示すかどうかを決定する。同時に、又は略同時に、コントローラは、IMU分析ブロック240においてIMUデータ220を分析する。得られた分析結果は比較250で比較され、カメラが運動の欠如を示し、IMUが運動の存在を示す場合、コントローラによって警告260が出力される。警告260は、画像データ210を提供するカメラが視覚障害物を含んでおり、所定の車両システムに依存すべきではないことを、車両操作者及び他の車両システムに通知する。
次に、画像に基づく運動検出分析ブロック230を参照すると、一例では、画像に基づく運動検出分析ブロック230は、2つのサブブロック、特徴抽出プログラム232及び運動検出プログラム234を含む。画像に基づく運動検出分析ブロック230は、特徴抽出に基づく画像分析方法を使用する。最初に、画像の1つ以上の特徴が、特徴抽出プログラム232を介して画像から抽出される。いくつかの例では、特徴は、各フレームの関心領域内の特徴であり得る。特徴が抽出されると、運動検出プログラム234は、連続フレームにわたって特徴の運動を追跡する。
一例では、図5に示すように、テンプレートマッチング手法を用いて運動を追跡する。テンプレートマッチング手法では、運動検出プログラム234は、フレーム300の少なくとも一部310内で、事前定義されたテンプレート320(例えば人間の形)との最良の一致を見つけようとする。運動テンプレートマッチングシステムは、ビデオの最初のフレーム300からテンプレート320のための参照画像を抽出し、次いで、参照画像を次のフレーム300’に適用し、それによって、システムがフレーム300’を又はフレーム300,300’の部分310’を横切る参照画像320,320’の移動を追跡することを可能にする。いくつかの例では、後続フレーム300’は、最初のフレーム300の直後のフレームを含む、最初のフレームの後の任意のフレームとすることができる。別の例では、後続のフレーム300’は、フレーム間の時間よりも長い時間だけ最初のフレームから分離されたフレームであり、その結果、1つ以上のフレームが画像に基づく分析に含まれない。この例では人間の形状として示されているが、参照画像は第1の画像内の任意の独自の形状であってもよく、参照画像に対する人間の形状の利用は純粋に例示的であることが理解される。さらなる例では、複数の参照を単一の画像フィード内で使用して、独立した移動追跡を提供することができ、それによって、画像に基づく移動追跡の冗長的な追跡及び/又は検証を可能にする。
運動追跡を実行するための例示的なアルゴリズムでは、検索されるフレーム300,300’の部分310,310’は、参照画像320のテンプレートのサイズの二倍のサイズになるようにサイズ設定されたフレームの領域322に制限される。サイズ設定は、車両が動いている場合に参照画像が合理的に移動する画像310,310’の領域に検索領域を限定する。画像フィードの後続フレーム300,300’で検索される画像の領域を制限することにより、運動検出プログラム234で画像分析を実行するのに必要な処理能力及び時間が低減される。代替例では、参照画像のサイズに基づいてサイズ設定される代替的なサイズ設定領域322を利用して、運動検出プログラム234で必要とされる処理を同様に低減することができる。
参照画像のインスタンスが後続のフレーム300,300’で識別されると、参照画像が移動したx-y距離が分析され、車両が移動しているか又は静止しているかが決定される。運動検出プログラム234が運動がないと決定した場合、車両は2つの状態のうちの1つであることが分かる。第1の状態では、車両は運動していない。第2の状態では、画像のフィードを提供するカメラが遮蔽されているか又は部分的に遮蔽されている。当業者は、これらの状態が相互に排他的でないことを理解するであろう。
参照要素が画像内で検出された物体であるというコンテキストの中で上述したが、この説明による代替法は、限定されないが、画像の領域までの距離の識別、マルチモーダル画像登録、各フレームの特徴の相関付け等を含む代替特徴を含み得る。本明細書で使用される「参照」という用語は、任意の形態の参照に適用され、物体識別の範囲に限定されない。別の代替案では、移動検出は、既知の方法論に従って後続フレームと参照フレームとの間の相関を最大化する最適化問題を介して行うことができる。
次にIMU分析ブロック240を参照すると、コントローラ内のIMU分析ブロック240の動作は、2つの別々のグループに分離され得る。最初に、(複数の)IMUセンサからのデータ220は、(複数の)センサからの電気信号を実行可能な情報に変換する前処理手順242を用いて処理される。一例として、(複数の)センサが3軸加速度計等の加速度計を含む場合、(複数の)センサは3軸の力を測定する。運動していない場合、垂直軸は真上方向の重力加速度のみを測定し、その他の軸は0プラス又はマイナスのノイズを測定する。運動中、他の軸の一方又は両方は、車両の運動の方向及び速度を示す測定値を出力する。車両コントローラは、加速度計によって出力された電気信号を前処理して、IMUセンサデータ220に基づいて、車両がどの方向にどのくらい速く移動しているかを決定するように構成される。前処理は、IMUセンサデータ220を提供する特定のセンサタイプに対応する運動データに信号を変換するための任意の方法論であってもよい。
一旦、運動データに処理されると、IMU分析ブロック240は、感知された運動データを使用して、運動検出プロセス244において、車両が運動しているかどうかを決定する。画像に基づく検出と同様に、IMU検出は、車両が2つの状態のうちの1つであり得ることを示す。第1の状態は運動中の車両であり、第2の状態は非運動中の車両である。いくつかの例では、運動検出プロセス244は、車両の運動の特定の方向及び速度を決定するが、他の例では、運動検出プロセス244は、車両が運動しているかどうかのバイナリ状態を検出することに限定される。
画像データ210及びセンサデータ220の両方を用いて車両が運動しているかどうかを決定した後で、比較モジュール250においてタイムスタンプ相関によってデータを融合する。代替システムでは、IMU及びカメラからのデータを調整するための代替方法論が、同様の効果に対するタイムスタンプ構成の代わりに利用され得る。
融合されると、比較250は、画像データ210とセンサデータ220との間の「運動中」/「非運動中」の不一致についてデータストリームをサンプリングする。次に、比較250は、画像データ210が運動がないことを示し、センサデータ220が運動を示すと決定し、比較プロセス250は、遮蔽された又は部分的に遮蔽された(別の言い方で閉塞とも呼ばれる)カメラが存在することを認識し、警告260を出力する。警告260は、図1~3に関して上述したように、他のシステム及び/又は車両操作者に提供される。
別の例では、カメラ及びIMUから融合データを受信するコントローラ、又はカメラ及びIMUからのデータを融合するコントローラは、画像に基づく分析及びセンサに基づく分析から別々の運動の検出を利用して、検出された運動の間の差に基づいて事象の発生を決定し得る。そのような事象の1つは、車両の操作中にカメラハウジングが樹木又は基礎構造等の異物と接触するときに起こり得るようなカメラの変位である。代替例では、同様の比較によって代替事象を検出することができる。
引き続き図1~5を参照しながら、図6は、カメラ及びIMUを含むミラー置換システムの変位を決定するための分析方法500を示す。最初に、プロセスを実行するコントローラは融合データを受信し、定義された期間にわたってセンサに基づく運動分析510及び画像に基づく運動分析520を実行する。画像に基づく運動分析520は、機械学習派生分析、ベクトル分析等を含む任意の既存の運動検出分析を利用して、画像内の少なくとも1つの物体の運動を決定することができる。一例では、少なくとも1つの物体は、画像の周辺で追跡されて識別される。画像の周辺で物体を追跡することは、物体の速度とIMUによって感知された速度との間の不一致が、変位の場合に最大化されることを保証する。同様に、センサに基づく運動分析510は、任意の従来の運動検出構成を用いてカメラ軸に対して機械的に固定されたIMUからのセンサ信号を用いて運動を検出する。
図6の例示的なプロセスでは、センサに基づく運動分析510及び画像に基づく運動分析520は、他の可能なパラメータの中で、運動の速度を検出するように構成される。代替例において、代替運動パラメータは、運動速度に加えて、又はそれに伴って検出され、対応する比較に利用され得る。センサに基づく運動分析510及び画像に基づく運動分析520の各々において、期間にわたる運動が決定されると、比較ステップ530において、決定された運動が比較される。
図示の例では、決定された運動は、IMUによって測定された運動の速度と、カメラの画像フレームの周辺で検出された1つ以上の物体の運動の速度とを含む。比較は、画像に基づく運動分析520によって検出された運動の速度が、センサに基づく運動分析510によって検出された運動の速度を既定の量を超えて上回っているかどうかを確認するために行われる。コントローラは、不一致が既定の量を超えた場合に、変位検出ステップ540において、カメラとIMUの変位が生じたと決定する。既定の量は、既定の量を超える画像からの運動の検出が、画像の周辺における運動の速度がIMUによって感知される運動の速度を超えることを示すように、画像に基づく検出分析520の予測される誤差のマージンになるように選択され得る。また、これは、カメラが変位されていることを示す。
画像に基づく運動分析520によって検出された運動が、センサに基づく運動分析510によって検出された運動と略同じ速度である(例えば、上述した誤差のマージン内である)場合、比較530は、正常運動検出ステップ550において正常動作が発生していると決定する。
プロセス500のいくつかの反復において、図4及び5に関して上述した遮蔽されたカメラ検出プロセスも同様に組み込まれ得る。このような反復において、比較モジュール530が、画像に基づく運動分析がゼロであり、かつセンサに基づく運動分析がゼロより大きいことを検出すると(すなわち、IMUが運動を検出すると)、コントローラは、遮蔽カメラ検出ステップ560においてカメラが遮蔽されていると決定する。
車両全体が運動している車両環境を一般的に参照して上述したが、いくつかの例では、検出される運動は、ドアの閉鎖によるカメラ及びIMUの移動、カメラ及びIMUのハウジングと異物との衝突、アイドリングエンジンの振動、又は車両全体の運動以外のカメラ及びIMUの任意の他のソースの移動を含み得ることが理解される。IMUによって検出される移動データのタイプは、本明細書で生成された融合データの実用的な応用に影響を与えることが理解される。
本発明の例示的な実施形態が開示されているが、当業者であれば、所定の変更が本発明の範囲内に入ることを理解するであろう。そのため、本発明の真の範囲及び内容を決定するために、以下の請求項が検討されるべきである。
Claims (24)
- 対応する光軸を有する視野を画定する第1のカメラと、
前記第1のカメラに機械的に固定される運動検出センサであって、前記光軸の運動を検出するように構成される運動検出センサと
を備える、車両用の測定システム。 - 前記運動検出センサは、加速度計、ジャイロスコープ、及び傾斜計のうちの1つを含む、請求項1に記載の測定システム。
- 前記運動検出センサは、ASIC(特定用途向け集積回路)の運動が前記光軸の運動に一対一で対応するように、前記第1のカメラの前記ASICに機械的に接続される、請求項1又は2に記載の測定システム。
- 前記ASICは、前記第1のカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される、請求項3に記載の測定システム。
- 融合データは、時間相関データである、請求項4に記載の測定システム。
- 前記融合データセットを受信するように構成されるコントローラをさらに備え、前記コントローラは、機械学習に基づく分析を用いて前記融合データセットを分析するように構成される、請求項4又は5に記載の測定システム。
- 前記機械学習に基づく分析は、前記カメラの向きを決定し、前記第1のカメラが誤った方向を向いていることに応答して操作者に警告するように構成される、請求項6に記載の測定システム。
- 前記ASICはコントローラに接続され、前記コントローラは、運動センサ出力及びカメラ出力を受信するように構成され、前記コントローラは、前記運動センサ出力及び前記カメラ出力を融合することによって融合データセットを生成するように構成される、請求項3に記載の測定システム。
- 前記融合データセットは、自動車安全水準(ASIL)分割融合を使用して生成される、請求項5又は8に記載の測定システム。
- 前記融合データセットは、カメラ方向監視システム、物体検出システム、カメラ不整合システム、視野調整システム、物体検出冗長システム、画像安定化システム、エンドオブライン較正システム、改ざん認識システム、及び自動カメラパンニングシステム、カメラ変位検出システム、及び遮蔽検出システムのうちの少なくとも1つに提供される、請求項8又は9に記載の測定システム。
- 前記融合データセットは前記遮蔽検出システムに提供され、前記遮蔽検出システムは、前記融合データの画像に基づく運動検出とセンサに基づく運動検出とを比較して、前記カメラが少なくとも部分的に遮蔽されているかどうかを決定する、請求項10に記載の測定システム。
- 前記融合データセットは前記カメラ変位検出システムに提供され、前記カメラ変位検出システムは、画像分析によって検出された運動の速度とセンサ分析によって検出された運動の速度とを比較し、前記画像分析によって検出された運動の速度が前記センサ分析によって検出された運動の速度を既定量だけ上回ったことに応答して、カメラ変位が発生したと決定するように構成される、請求項10に記載の測定システム。
- 複数の第2のカメラ及び複数の運動検出センサをさらに備え、前記複数の第2のカメラの各々は、対応する光軸を有する視野を画定し、前記複数の運動検出センサにおける各運動検出センサは、対応するASIC(特定用途向け集積回路)を介して、前記複数の第2のカメラにおける対応する第2のカメラの1つに機械的に固定され、
前記複数の第2のカメラにおける各カメラの運動と前記第1のカメラの運動とは、互いのカメラの運動とは独立して決定される、請求項1~12のいずれか1項に記載の測定システム。 - 前記対応するASICの各々は、前記対応するカメラによって生成された画像データと前記運動検出センサによって生成された運動データとの組合せを含む融合データセットを出力するように構成される、請求項13に記載の測定システム。
- 車両用の遮蔽されたカメラレンズを検出するための方法であって、
カメラシステムから画像データ及びIMU(慣性運動ユニット)データを受信するステップと、
前記IMUデータを分析して、センサに基づく運動検出システムを用いて前記カメラシステムの運動を検出するステップと、
前記画像データを分析して、画像に基づく運動検出分析を用いて前記カメラの運動を検出するステップと、
前記画像に基づく運動検出分析は運動がないことを示しかつ及び前記センサに基づく運動検出は運動を示すことに応答して、少なくとも部分的に遮蔽されたレンズの存在を決定するステップと
を含む、方法。 - 前記カメラシステムは、対応する光軸を有する視野を画定する第1のカメラと、前記第1のカメラに機械的に固定される運動検出センサとを含み、前記運動検出センサは、前記光軸の運動を検出するように構成される、請求項15に記載の方法。
- 前記画像に基づく運動検出分析は、
前記画像データの第1のフレームにおいて参照を識別すること、
前記画像データの第2のフレームにおいて前記参照を識別すること、及び
フレーム間の前記参照の位置の変化が閾値を超えていることに応答して、前記カメラシステムが運動していることを決定すること
を含む、請求項15又は16に記載の方法。 - 前記第2のフレームは前記第1のフレームの後に続くものである、請求項17に記載の方法。
- 前記画像データ及び前記IMUデータは、単一の融合データセットである、請求項15~18のいずれか1項に記載の方法。
- 少なくとも部分的に遮蔽されたレンズの存在を決定するステップの間に、前記画像データ及び前記IMUデータは融合される、請求項15~19のいずれか1項に記載の方法。
- 車両用の変位したカメラシステムを検出するための方法であって、
画像部分及びIMU(慣性運動ユニット)部分を含む融合データをカメラシステムから受信するステップと、
画像に基づく運動検出システムを用いて前記画像部分を分析して、前記画像内の少なくとも1つの物体における運動の少なくとも1つのパラメータを決定するステップと、
センサに基づく運動検出システムを用いて前記IMU部分を分析して、前記IMUの運動の少なくとも1つのパラメータを決定するステップと、
前記画像内の前記少なくとも1つの物体の運動の前記少なくとも1つのパラメータと、前記IMUの運動の前記少なくとも1つのパラメータとを比較して、前記少なくとも1つの物体の運動の前記少なくとも1つのパラメータが前記IMUの運動と少なくとも既定の量だけ異なる場合に、カメラシステムの変位が発生したことを決定するステップと
を含む、方法。 - 前記少なくとも1つのパラメータは、運動の速度である、請求項21に記載の方法。
- 前記画像内の前記少なくとも1つの物体は、前記画像の外周にある、請求項21又は22に記載の方法。
- 前記画像に基づく運動検出システムが運動を検出しないこと及び前記センサに基づく運動検出システムが運動を検出することに応答して、カメラの少なくとも部分的な遮蔽を決定するステップをさらに含む、請求項21~23のいずれか1項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962881506P | 2019-08-01 | 2019-08-01 | |
US62/881,506 | 2019-08-01 | ||
PCT/EP2020/071612 WO2021019060A1 (en) | 2019-08-01 | 2020-07-30 | Camera image and sensor fusion for mirror replacement system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022543023A true JP2022543023A (ja) | 2022-10-07 |
Family
ID=71899761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022506344A Pending JP2022543023A (ja) | 2019-08-01 | 2020-07-30 | ミラー置換システムのためのカメラ画像及びセンサ融合 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11445169B2 (ja) |
EP (1) | EP4008101A1 (ja) |
JP (1) | JP2022543023A (ja) |
CN (1) | CN114731374A (ja) |
BR (1) | BR112022001726A2 (ja) |
WO (1) | WO2021019060A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019111512B4 (de) * | 2019-05-03 | 2022-09-01 | Mekra Lang Gmbh & Co. Kg | Sichtsystem und Spiegelersatzsystem für ein Fahrzeug |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08223471A (ja) * | 1995-02-14 | 1996-08-30 | Techno Kapura:Kk | 電子画像カメラおよびその画像ぶれ防止方法 |
DE102006042022A1 (de) * | 2006-09-07 | 2008-03-27 | Christian Sebler | Rundumsichtkamera |
GB2485969A (en) * | 2010-11-12 | 2012-06-06 | Sony Corp | Video surveillance with anticipated arrival time of object in another camera view |
GB2492529B (en) * | 2011-05-31 | 2018-01-10 | Skype | Video stabilisation |
US9900526B2 (en) * | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
US9303999B2 (en) * | 2013-12-30 | 2016-04-05 | Google Technology Holdings LLC | Methods and systems for determining estimation of motion of a device |
US11017558B2 (en) * | 2016-06-29 | 2021-05-25 | Seeing Machines Limited | Camera registration in a multi-camera system |
US10371530B2 (en) * | 2017-01-04 | 2019-08-06 | Qualcomm Incorporated | Systems and methods for using a global positioning system velocity in visual-inertial odometry |
US10936884B2 (en) * | 2017-01-23 | 2021-03-02 | Magna Electronics Inc. | Vehicle vision system with object detection failsafe |
US20190068829A1 (en) * | 2017-08-24 | 2019-02-28 | Qualcomm Incorporated | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions |
CN108322698B (zh) * | 2017-12-28 | 2020-09-22 | 北京交通大学 | 基于多摄像机和惯性测量单元融合的系统和方法 |
US11042156B2 (en) * | 2018-05-14 | 2021-06-22 | Honda Motor Co., Ltd. | System and method for learning and executing naturalistic driving behavior |
-
2020
- 2020-07-30 JP JP2022506344A patent/JP2022543023A/ja active Pending
- 2020-07-30 BR BR112022001726A patent/BR112022001726A2/pt unknown
- 2020-07-30 EP EP20750247.7A patent/EP4008101A1/en active Pending
- 2020-07-30 WO PCT/EP2020/071612 patent/WO2021019060A1/en unknown
- 2020-07-30 CN CN202080055891.4A patent/CN114731374A/zh active Pending
- 2020-07-31 US US16/944,338 patent/US11445169B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210037236A1 (en) | 2021-02-04 |
US11445169B2 (en) | 2022-09-13 |
WO2021019060A1 (en) | 2021-02-04 |
CN114731374A (zh) | 2022-07-08 |
EP4008101A1 (en) | 2022-06-08 |
BR112022001726A2 (pt) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115668182A (zh) | 自主车辆环境感知软件架构 | |
KR100466458B1 (ko) | 운전지원장치 | |
US6310546B1 (en) | Stereo type vehicle monitoring apparatus with a fail-safe function | |
EP3493179B1 (en) | Driving assisting method and driving assisting device using the same | |
US20150098633A1 (en) | Face detection apparatus, face detection method, and program | |
US20150258997A1 (en) | Driver Attentiveness Detection Method and Device | |
US20060280336A1 (en) | System and method for discriminating passenger attitude in vehicle using stereo image junction | |
US10821895B2 (en) | Apparatus and method for checking the playback of a video sequence of a mirror replacement camera | |
JP2022543023A (ja) | ミラー置換システムのためのカメラ画像及びセンサ融合 | |
JP5498183B2 (ja) | 行動検出装置 | |
JP7112255B2 (ja) | 車両データの時刻同期装置及び方法 | |
US20210240991A1 (en) | Information processing method, information processing device, non-transitory computer-readable recording medium recording information processing program, and information processing system | |
WO2013169185A1 (en) | A vision system and method for a motor vehicle | |
KR20170139717A (ko) | 차량용 사고영상 기록장치의 차량 속도 측정 장치 및 방법 | |
WO2020110435A1 (ja) | 外界認識装置 | |
JP2019007739A (ja) | 自己位置推定方法及び自己位置推定装置 | |
KR101729482B1 (ko) | 차량용 스테레오 카메라의 오정보 방지 장치 및 방법 | |
JP2015005168A (ja) | 車線逸脱(ldws)及び前方衝突(fcws)警報機能を具えるドライブレコーダ(dr) | |
JP4840638B2 (ja) | 車両の乗員監視装置 | |
KR101311112B1 (ko) | 차량 사고 판단 장치 및 그 방법 | |
KR20220150164A (ko) | 객체 검출 장치, 객체 검출 방법 및 자율 주행 차량 | |
WO2021106510A1 (ja) | 障害物認識装置 | |
KR101750201B1 (ko) | 차량의 거동을 이용한 bsd | |
WO2022064641A1 (ja) | 車両行動推定装置、不安全運転検出装置、方法、及びコンピュータ可読媒体 | |
US11945383B2 (en) | Control system for travelling system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230711 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |