JP2020178193A - 状態計測装置 - Google Patents
状態計測装置 Download PDFInfo
- Publication number
- JP2020178193A JP2020178193A JP2019078091A JP2019078091A JP2020178193A JP 2020178193 A JP2020178193 A JP 2020178193A JP 2019078091 A JP2019078091 A JP 2019078091A JP 2019078091 A JP2019078091 A JP 2019078091A JP 2020178193 A JP2020178193 A JP 2020178193A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- images
- shooting
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
このような構成によれば、2つの撮影条件を環境情報等に応じて調整できるので、環境情報等から得られる輝度特徴に応じて撮影条件が定められ、移動体周辺の環境にて生じる輝度変化への対応性が高められる。例えば、環境情報としては晴天、雨天時の天候等が挙げられ、地図情報としては市街地や郊外、トンネルの内外等が挙げられ、時間情報としては昼夜の別や太陽高度が挙げられる。
このような構成によれば、周囲の明るさに基づいて撮影条件が調整されるので、現在の撮影画像が適切に撮影されるとともに、現在の明るさから変化する明るさについてもその対応可能な輝度範囲を適切に設定し、移動体の状態を計測するための撮影画像の連続的な取得を可能にできる。
このような構成によれば、同じ撮影部が撮影した撮影画像であれば、比較するときの補正が不要か、少なくて済むため、トラッキングが容易である。
このような構成によれば、移動体の速度が計測できる。これにより、速度計測で避けがたいタイヤのスリップ等による精度低下の影響を排除できる。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、高精度、かつ、短周期に車速が計測される構成を採用している。すなわち、GPS車速算出部31は、GPS衛星から出力されている搬送波のドップラー効果から車速を求める。
そして、車両10が実際に移動した距離Lは、第1カメラ画像上での移動量(画素数)Δpと、式(1)に示される1画素当たりの実際の長さsとの積(式(2))によって求められる。
また、画像車速算出部32は、路面100から第1カメラ22までの高さを第1カメラ画像毎に対応付けられた距離情報から取得する。つまり、画像車速算出部32は、ステレオカメラ21が計測した距離情報に基づいて路面100までの距離を取得する。そして、この取得した距離をレンズ中心から測定対象までの距離Dとすることで、式(1)に基づいて1画素の実際の長さsを逐次定め、所定の撮影間隔で撮影された2枚の第1カメラ画像P11,P12に含まれる同一の観測位置TPの移動した距離Lに基づいて車速を高精度に算出する。
図1及び図5〜図10を参照して、車載制御装置25が画像車速算出部32で画像車速を計測する態様について説明する。
一般に、適正な露出により撮影された画像は、明暗の幅が広く表現される、いわゆるコントラストが強くなる。これに対して、適正な値よりも大きくて過剰な露出により撮影された画像は、全体として最大輝度値となる部分が多くなるため明暗の幅が狭くなる、いわゆるコントラストが弱くなる。また、適正な値よりも小さくて不足する露出により撮影された画像は、全体として最小輝度値となる部分が多くなるため明暗の幅が狭くなる、いわゆるコントラストが弱くなる。
図6(a)に示すように、コントラストが強いと、横軸である明暗方向に対して幅広い輝度分布を有する輝度ヒストグラムが得られる。逆に、図6(b)に示すように、コントラストが弱いと、横軸である明暗方向に対して狭い範囲に輝度分布を有する輝度ヒストグラムが得られる。
dx,dy:切出した画像における画素番号
g:探査フレーム(つまり次のフレーム)全体の中におけるある1画素の輝度値
f:切出したテンプレート画像のある1画素の輝度値
なお、式(3)のSSDは、2つの画像の輝度レベル(ゲイン)がずれている場合、不都合が生じることがある。この不都合に対応するため、設定として利用したゲインの値で補正してから計算する方法、あるいは、式(4)に示す「Zero−mean Normalized Cross−Correlation」(ZNCC)等を利用してマッチする位置を探索する方法がある。
図7を参照して、状態計測装置1における車速計測の動作について説明する。状態計測装置1は、車速の計測を、状態計測装置1のスタートボタンが押されたことや、車両10がエンジン始動等で走行可能になることで開始し、状態計測装置1のストップボタンが押されたことや、車両10がエンジン停止等で走行不可能な状態になることで終了する。また、車載制御装置25は、「画像車速」のみを選択するものとする。よって、車載制御装置25は、「画像車速」をそれぞれ一定周期で算出するとともに、算出された「画像車速」は常に取得可能であるとする。ここでは「GPS車速」についての説明は割愛する。
図7に示すように、画像車速算出部32は、撮影タイミングの相違する2つの第2の画像PT1,PT2において観測位置TPが移動した距離(図4参照)を算出する(ステップS14)。画像車速算出部32は、2つの第2の画像PT1,PT2(図4参照)に含まれる特徴点を観測位置TP(図4参照)とし、2つの第2の画像PT1,PT2の間でのトラッキングに基づいて、2つの第2の画像PT1,PT2において観測位置TPが移動した距離を算出する。なお、トラッキングが可能であるならば、2つの第2の画像PT1,PT2は、相互に隣接する撮影タイミングで撮影された画像であってもよいし、時間間隔を確保するため、相互に隣接していない撮影タイミングを有する画像であってもよい。また、2つの第2の画像PT1,PT2の撮影タイミングの相違する時間間隔は、2つの第2の画像PT1,PT2の少なくとも一部に路面100の同じ範囲が写る時間間隔である。撮影間隔は、短ければ高速移動する車両10の車速計測を可能とし、逆に、長ければ観測位置の移動距離が長くなるため速度の計測精度が高くなる。
続いて、車載制御装置25は車速計測の終了条件が成立しているか否かを判定する(ステップS17)。車速計測の終了条件は、状態計測装置1のストップボタンが押されたことや、エンジンが停止されたこと等に基づいて判定される。車速計測の終了条件が成立しないと判定された場合(ステップS17でNO)、車載制御装置25は、状態計測装置1の処理をステップS10に戻して、ステップS10に続く処理を実行する。一方、車速計測の終了条件が成立すると判定された場合(ステップS17でYES)、状態計測装置1の車速を計測する処理が終了される。
図8〜図10を参照して、状態計測装置1におけるパラメータ設定処理の動作について説明する。パラメータ設定処理は、車速計測が可能なとき、所定の周期、任意の周期で行われてもよい。また、算出された輝度ヒストグラムの輝度方向における輝度分布の態様に基づいて行われてもよい。図5に示すように、本実施形態では、撮影タイミングが同じである2つの第1の画像PC1,PC2として、第1カメラ画像P11と第2カメラ画像P21が選択されるものとする。
例えば、図10に示すように、輝度ヒストグラムのピークのうち、右側第1ピークの輝度の位置に基づいて管理することもできる。輝度ヒストグラムの右側第1ピークの位置で管理する場合、第1カメラ22の輝度ヒストグラムの右側第1ピークの位置R41が、第2カメラ23の輝度ヒストグラムの右側第1ピークの位置R42に対して「ビット深度×(1/4)」以上の開きD4となるよう、第1カメラ22のアナログゲインを調整する。または、第2カメラ23の輝度ヒストグラムの右側第1ピークの位置R42が、第1カメラ22の輝度ヒストグラムの右側第1ピークの位置R41に対して「ビット深度×(1/4)」以上の開きD4となるよう、第2カメラ23のアナログゲインを調整する。ここで利用した輝度ヒストグラムC31,C32は、第1の画像PC1,PC2の全画素についての集計結果とする必要はなく、第1の画像PC1,PC2から切り出した一部に対して行ってもよい。
パラメータ設定部33は、過去のヒストグラム代表値の統計値(例えば輝度平均値の振れ幅)を逐次更新しながら参考にすることで、例えば、比較的暗い街路樹路等を経て、現在明るい場所を走っていて、この後、再度比較的暗い街路樹路等に入ることを予測してもよい。そして、こうした予測に基づいて、アナログゲインの設定に偏りをもたせるようにしてもよい。ここでは、比較的暗い街路樹路等に入ることを予測することに基づいて、露出が大きくなるようにパラメータを設定しておくことで、その後に遭遇する可能性のある暗い街路樹路に対して対応力を高めることができる。露出が大きくなるパラメータの設定としては、絞りを大きくすることや、アナログゲインを高くすることが挙げられる。
(1)第1カメラ22と第2カメラ23との露出が相違するので2つの第1の画像は、同じコントラストになるか、又は、環境光の影響によって少なくとも一方の画像のコントラストが、他方の画像のコントラストよりも強いものとなる。そこで、コントラストの強い方の画像である第2の画像に基づいて車両10の状態を計測することで、幅広い輝度範囲の路面100に対して計測精度の低下が抑制される。換言すると、2つの露出は適切な輝度の範囲が相違することから、2つの露出で撮影された各撮影画像のうちから適切な一方を選択することで、路面100を適切に撮影できる輝度範囲が広くなり、一時的に露出過剰や露出不足が生じるおそれを減少できる。すなわち、複数のカメラで撮影した撮影画像に基づいて車両10の状態を、精度を維持しつつ、連続的に計測することができる。
(4)2つの撮影条件を環境情報等に応じて調整することができ、環境情報等から得られる輝度特徴に応じて撮影条件が定められ、車両10周辺の環境で生じる輝度変化への対応性が高められる。環境情報としては晴天、雨天時の天候等が挙げられ、地図情報としては市街地や郊外、トンネルの内外等が挙げられ、時間情報としては昼夜の別や太陽高度が挙げられる。
(7)2つの第1カメラ22又は第2カメラ23が設けられているステレオカメラ21を利用して車両10の状態を計測することができる。
(9)速度計測に必要とされるピクセル当たりの路面100の実際の長さが高精度で算出されるので、速度の計測精度を高めることができる。なお、相対速度は、2つの第2の画像に含まれる観測位置TPの移動した距離(ピクセル変位)と、カメラのフレームレートの逆数である撮影タイミングの時間間隔を用いることで算出できる。
上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ステレオカメラ21の光軸が路面100に対して略垂直である場合について例示した。しかしこれに限らず、ステレオカメラは、路面の模様をトラッキング可能な程度に撮影することができるのであれば、光軸が路面に対して略垂直でなくてもよい。例えば、路面に対するカメラの光軸が、車両の前後方向に傾きを有していたり、車両の幅方向に傾きを有していたりしてもよい。こうした傾きによる影響は、傾きを考慮した演算処理等によって適切に処理可能であり、傾きを補正する演算により垂直であることと同様に処理することができる。なお、画像車速の計測には、路面100に対する傾きが垂直(90°)に近いほうが非常に好ましいが、45°以上であれば好ましく、45°未満であっても数m以内の路面100が撮影可能であれば可能である。
Claims (11)
- 撮影画像に基づいて移動体の状態を計測する状態計測装置であって、
前記移動体に固定された2つの撮影部を有する走行面撮影部であって、前記移動体が走行する走行面を前記2つの撮影部で同じタイミングで撮影する前記走行面撮影部と、
前記撮影部が前記走行面を撮影する際に適用される前記撮影部の露出を規定する撮影条件を記憶する記憶部と、
前記2つの撮影部が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とするとき、2つの前記第1の画像のうちから輝度ヒストグラムの分布がより広い一方の前記第1の画像を前記走行面撮影部における撮影タイミング毎に第2の画像として選択する選択部と、
前記撮影タイミングが相違する2つの前記第2の画像であって、同じ撮影範囲を含んでいる前記2つの第2の画像に基づいて前記移動体の状態を計測する計測部とを備え、
前記記憶部には、前記2つの撮影部の各露出が相違するように設定された前記2つの撮影部の各前記撮影条件が記憶されている
状態計測装置。 - 前記撮影条件は、前記撮影部の露出に影響を与えるパラメータである絞り、露出時間、可変減光フィルタ、及び、アナログゲインの少なくとも一つのパラメータを含んでいる
請求項1に記載の状態計測装置。 - 前記2つの撮影部の各撮影条件は、前記2つの撮影部の出力から得られる各輝度ヒストグラムの代表値の間にビット深度の1/4以上の差が生じるように設定されている
請求項1又は2に記載の状態計測装置。 - 前記2つの撮影部の各前記撮影条件を環境情報、地図情報、及び時間情報の少なくとも1つの情報に基づいて調整する調整装置を備える
請求項1〜3のいずれか一項に記載の状態計測装置。 - 前記環境情報には前記移動体の周囲の明るさを含む
請求項4に記載の状態計測装置。 - 前記2つの第2の画像は、前記2つの撮影部のうちの同じ撮影部で撮影された画像である
請求項1〜5のいずれか一項に記載の状態計測装置。 - 前記2つの第2の画像は、それぞれ異なる撮影部で撮影された画像であり、
前記計測部は、前記2つの撮影部のうちの一方の撮影部の撮影範囲を他方の撮影部の撮影範囲と比較可能にする補正情報に基づいて前記一方の撮影部の前記第2の画像を補正することに基づいて前記移動体の状態を計測する
請求項1〜5のいずれか一項に記載の状態計測装置。 - 前記計測部が計測する前記移動体の状態は、前記移動体の速度である
請求項1〜7のいずれか一項に記載の状態計測装置。 - 前記走行面撮影部はさらに、前記2つの撮影部で同じタイミングで撮影した2つの前記第1の画像に基づいて計測された前記走行面撮影部の前記走行面からの高さを取得し、
前記取得した走行面からの高さに基づいて、前記第1の画像に写っている前記走行面のスケールを算出する
請求項1〜8のいずれか一項に記載の状態計測装置。 - 前記走行面撮影部は、前記2つの撮影部で同じタイミングで撮影した2つの前記第1の画像に基づいて計測された前記2つの第1の画像に含まれる複数箇所の高さを取得することに基づいて前記移動体の姿勢を計測する
請求項1〜8のいずれか一項に記載の状態計測装置。 - 撮影画像に基づいて対象物の状態を計測する状態計測装置であって、
前記対象物に固定された2つの撮影部を有する支持面撮影部であって、前記対象物が支持される支持面を前記2つの撮影部で同じタイミングで撮影する前記支持面撮影部と、
前記撮影部が前記支持面を撮影する際に適用される前記撮影部の露出を規定する撮影条件を記憶する記憶部と、
前記2つの撮影部が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とするとき、2つの前記第1の画像のうちから輝度ヒストグラムの分布がより広い一方の前記第1の画像を前記支持面撮影部における撮影タイミング毎に第2の画像として選択する選択部と、
前記撮影タイミングが相違する2つの前記第2の画像であって、同じ撮影範囲を含んでいる前記2つの第2の画像に基づいて前記対象物の状態を計測する計測部とを備え、
前記記憶部には、前記2つの撮影部の各露出が相違するように設定された前記2つの撮影部の各前記撮影条件が記憶されている
状態計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078091A JP7174667B2 (ja) | 2019-04-16 | 2019-04-16 | 状態計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019078091A JP7174667B2 (ja) | 2019-04-16 | 2019-04-16 | 状態計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020178193A true JP2020178193A (ja) | 2020-10-29 |
JP7174667B2 JP7174667B2 (ja) | 2022-11-17 |
Family
ID=72937484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019078091A Active JP7174667B2 (ja) | 2019-04-16 | 2019-04-16 | 状態計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7174667B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114500870A (zh) * | 2021-12-30 | 2022-05-13 | 北京罗克维尔斯科技有限公司 | 图像处理方法、装置及电子设备 |
CN114500870B (zh) * | 2021-12-30 | 2024-05-31 | 北京罗克维尔斯科技有限公司 | 图像处理方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004304303A (ja) * | 2003-03-28 | 2004-10-28 | Fuji Heavy Ind Ltd | 対象物認識装置および対象物認識方法 |
JP2017027220A (ja) * | 2015-07-17 | 2017-02-02 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
WO2018225516A1 (ja) * | 2017-06-07 | 2018-12-13 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
-
2019
- 2019-04-16 JP JP2019078091A patent/JP7174667B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004304303A (ja) * | 2003-03-28 | 2004-10-28 | Fuji Heavy Ind Ltd | 対象物認識装置および対象物認識方法 |
JP2017027220A (ja) * | 2015-07-17 | 2017-02-02 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
WO2018225516A1 (ja) * | 2017-06-07 | 2018-12-13 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114500870A (zh) * | 2021-12-30 | 2022-05-13 | 北京罗克维尔斯科技有限公司 | 图像处理方法、装置及电子设备 |
CN114500870B (zh) * | 2021-12-30 | 2024-05-31 | 北京罗克维尔斯科技有限公司 | 图像处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP7174667B2 (ja) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109246364B (zh) | 摄像装置调整方法及相关设备 | |
US10860871B2 (en) | Integrated sensor calibration in natural scenes | |
JP6657925B2 (ja) | 車載カメラ・システム並びに画像処理装置 | |
US10565459B2 (en) | Retroreflectivity measurement system | |
US20130322697A1 (en) | Speed Calculation of a Moving Object based on Image Data | |
CN108759823B (zh) | 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法 | |
JP2010537331A (ja) | ビデオ画像のオンライン較正方法およびシステム | |
JP2017085551A (ja) | ドローンに搭載されたカメラの露出時間を決定する方法、および関連するドローン | |
JP7463530B2 (ja) | 機械視点を用いた工作機械上の装置の制御システムおよび方法 | |
CN110293973B (zh) | 驾驶支援系统 | |
JP5910180B2 (ja) | 移動物体位置姿勢推定装置及び方法 | |
US20180205863A1 (en) | Imaging apparatus | |
JP7172434B2 (ja) | 撮像システム、撮像方法、及びプログラム | |
US20210231457A1 (en) | Apparatus and method for collecting data for map generation, and vehicle | |
JP5328815B2 (ja) | 撮像装置及び撮像方法 | |
JP7174667B2 (ja) | 状態計測装置 | |
JP7003972B2 (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
CN109309785B (zh) | 拍摄控制装置以及拍摄控制方法 | |
JP7182520B2 (ja) | 状態計測装置 | |
JP2014235022A (ja) | ナビゲーション装置およびナビゲーション方法 | |
JP7213158B2 (ja) | 状態計測装置及び状態計測方法 | |
JP2018194417A (ja) | 位置推定装置、移動装置 | |
JP2019203732A (ja) | 状態計測装置 | |
JP2014135612A (ja) | カメラ露出設定装置及びカメラ露出設定プログラム | |
JP2014240785A (ja) | 情報生成装置、情報生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |