JP2020178193A - 状態計測装置 - Google Patents

状態計測装置 Download PDF

Info

Publication number
JP2020178193A
JP2020178193A JP2019078091A JP2019078091A JP2020178193A JP 2020178193 A JP2020178193 A JP 2020178193A JP 2019078091 A JP2019078091 A JP 2019078091A JP 2019078091 A JP2019078091 A JP 2019078091A JP 2020178193 A JP2020178193 A JP 2020178193A
Authority
JP
Japan
Prior art keywords
camera
image
images
shooting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019078091A
Other languages
English (en)
Other versions
JP7174667B2 (ja
Inventor
計 山田
Kazu Yamada
計 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ono Sokki Co Ltd
Original Assignee
Ono Sokki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ono Sokki Co Ltd filed Critical Ono Sokki Co Ltd
Priority to JP2019078091A priority Critical patent/JP7174667B2/ja
Publication of JP2020178193A publication Critical patent/JP2020178193A/ja
Application granted granted Critical
Publication of JP7174667B2 publication Critical patent/JP7174667B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】複数のカメラで撮影した撮影画像に基づいて対象物の状態を、精度を維持しつつ、環境の変化があったとしても、連続的に計測することのできる状態計測装置を提供する。【解決手段】状態計測装置1は、第1カメラ22及び第2カメラ23の走行面撮影に適用される露出を規定する撮影条件を記憶する記憶部と、第1カメラ22及び第2カメラ23が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とし、2つの第1の画像のうちから輝度ヒストグラムの分布がより広い一方の第1の画像をステレオカメラ21における撮影タイミング毎に第2の画像として選択し、撮影タイミングが相違し、かつ、同じ撮影範囲を含む2つの第2の画像に基づいて車両10の車速を計測する画像車速算出部32とを備えている。記憶部には、2つの第1カメラ22及び第2カメラ23の各露出が相違するように設定された各パラメータ22G,23Gが記憶されている。【選択図】図1

Description

本発明は、対象物の状態を計測する状態計測装置に関する。
従来、自動車には様々な性能の評価が求められている。そうした評価のひとつに排ガス計測がある。排ガス計測は、シャシダイナモメータを利用した模擬走行により求めることもできるが、模擬走行と実路走行とでは計測結果に乖離が発生することもあり、実路走行が重要視されてきている。
自動車の実路走行による性能評価において、自動車の状態の一つとして速度を計測することが求められ、この計測される速度は、低速度域から高速度域まで精度の良いことが求められる。例えば、自動車の速度を精度良く計測する技術の一例が特許文献1に記載されている。
特許文献1に記載の状態計測装置は、光学式の速度計測装置であって、車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ、自身の速度を精度良く推定可能な速度計測装置である。この状態計測装置は、移動体に備えられ、撮影平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮影する撮影部を備える。そして、この状態計測装置は、撮影部が時系列的に撮影した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から移動体の速度を求める。
国際公開第2016/016959号
走行面の明るさである輝度は、日中と夜間との相違はもちろん、走行環境が日向であるか、日陰であるか、また、空の開けた場所であるか、高架下やトンネル等の空の開けていない場所であるかによっても大きく相違する。撮影部は、走行面等の撮影対象の輝度に応じて露出を変化できても、露出を変化させる制御には応答遅れが伴うため、移動体とその走行面との相対移動による急激な輝度変化に追従することは困難である。そのため、移動体に搭載されて走行面を撮影する撮影部は、撮影する走行面の画像が露出過剰になったり、露出不足になったりして、適切な画像を連続的に撮影できないおそれがある。結果として、撮影された画像において走行面のコントラストが低下すると、一時的にそのときの移動体の速度を画像から精度良く計測できなくなる。
なお、こうした課題は、走行環境に輝度変化のおそれがあれば、移動体の速度の計測に限られるものではなく、速度に関連する距離や加速度の計測等にあっても同様である。また、こうした課題は、撮影環境に輝度変化のおそれがあれば、移動体以外の対象物の姿勢の計測にあっても同様である。
本発明は、このような実情に鑑みてなされたものであり、その目的は、複数のカメラで撮影した撮影画像に基づいて対象物の状態を、精度を維持しつつ、環境の変化があったとしても、連続的に計測することのできる状態計測装置を提供することにある。
上記課題を解決する状態計測装置は、撮影画像に基づいて移動体の状態を計測する状態計測装置であって、前記移動体に固定された2つの撮影部を有する走行面撮影部であって、前記移動体が走行する走行面を前記2つの撮影部で同じタイミングで撮影する前記走行面撮影部と、前記撮影部が前記走行面を撮影する際に適用される前記撮影部の露出を規定する撮影条件を記憶する記憶部と、前記2つの撮影部が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とするとき、2つの前記第1の画像のうちから輝度ヒストグラムの分布がより広い一方の前記第1の画像を前記走行面撮影部における撮影タイミング毎に第2の画像として選択する選択部と、前記撮影タイミングが相違する2つの前記第2の画像であって、同じ撮影範囲を含んでいる前記2つの第2の画像に基づいて前記移動体の状態を計測する計測部とを備え、前記記憶部には、前記2つの撮影部の各露出が相違するように設定された前記2つの撮影部の各前記撮影条件が記憶されている。
上記課題を解決する状態計測装置は、撮影画像に基づいて対象物の状態を計測する状態計測装置であって、前記対象物に固定された2つの撮影部を有する支持面撮影部であって、前記対象物が支持される支持面を前記2つの撮影部で同じタイミングで撮影する前記支持面撮影部と、前記撮影部が前記支持面を撮影する際に適用される前記撮影部の露出を規定する撮影条件を記憶する記憶部と、前記2つの撮影部が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とするとき、2つの前記第1の画像のうちから輝度ヒストグラムの分布がより広い一方の前記第1の画像を前記支持面撮影部における撮影タイミング毎に第2の画像として選択する選択部と、前記撮影タイミングが相違する2つの前記第2の画像であって、同じ撮影範囲を含んでいる前記2つの第2の画像に基づいて前記対象物の状態を計測する計測部とを備え、前記記憶部には、前記2つの撮影部の各露出が相違するように設定された前記2つの撮影部の各前記撮影条件が記憶されている。
撮影部は、撮影の際、明暗の幅が広く表現された撮影画像を得られる適切な露出に設定される。そして、適切な値よりも露出が過剰であれば最大輝度値となる部分が多くなりコントラストが低下する。逆に、露出が不足すれば最小輝度値となる部分が多くなり、やはりコントラストが低下する。そこで、このような構成によれば、露出が相違するので2つの第1の画像の少なくとも一方の画像のコントラストが、他方の画像のコントラストよりも高いものとなる。そして、コントラストの高い方の画像である第2の画像に基づいて移動体や対象物の状態を計測することで、幅広い輝度範囲の走行面や支持面に対して計測精度の低下が抑制される。換言すると、2つの露出は適切な輝度の範囲が異なることから、2つの露出で撮影された各撮影画像のうちから適切な一方を選択することで、走行面や支持面を適切に撮影できる輝度範囲が広くなり、一時的に露出過剰や露出不足が生じるおそれを減少できる。すなわち、複数のカメラで撮影した撮影画像に基づいて移動体や対象物の状態を、精度を維持しつつ、環境の変化があったとしても、連続的に計測することができる。
好ましい構成として、前記撮影条件は、前記撮影部の露出に影響を与えるパラメータである絞り、露出時間、可変減光フィルタ、及び、アナログゲインの少なくとも一つのパラメータを含んでいる。
このような構成によれば、露出が、絞り、露出時間、可変減光フィルタ、及び、アナログゲインの少なくとも一つのパラメータで変化させられる。例えば、絞りは取り込む光束の断面積を、露出時間は光を取り込む時間を、可変減光フィルタは光を取り込む量を、アナログゲインは感度を変化させることで露出を変化させる。なお、これらの設定は、カメラに一般に設けられているパラメータであり、設定も容易である。
好ましい構成として、前記2つの撮影部の各撮影条件は、前記2つの撮影部の出力から得られる各輝度ヒストグラムの代表値の間にビット深度の1/4以上の差が生じるように設定されている。
このような構成によれば、一方の露出で撮影できる輝度範囲と、他方の露出で撮影できる輝度範囲との間のずれを適切に、かつ、広く確保できるため、計測利用可能な輝度範囲が広がる。
好ましい構成として、前記2つの撮影部の各前記撮影条件を環境情報、地図情報、及び時間情報の少なくとも1つの情報に基づいて調整する調整装置を備える。
このような構成によれば、2つの撮影条件を環境情報等に応じて調整できるので、環境情報等から得られる輝度特徴に応じて撮影条件が定められ、移動体周辺の環境にて生じる輝度変化への対応性が高められる。例えば、環境情報としては晴天、雨天時の天候等が挙げられ、地図情報としては市街地や郊外、トンネルの内外等が挙げられ、時間情報としては昼夜の別や太陽高度が挙げられる。
好ましい構成として、前記環境情報には前記移動体の周囲の明るさを含む。
このような構成によれば、周囲の明るさに基づいて撮影条件が調整されるので、現在の撮影画像が適切に撮影されるとともに、現在の明るさから変化する明るさについてもその対応可能な輝度範囲を適切に設定し、移動体の状態を計測するための撮影画像の連続的な取得を可能にできる。
好ましい構成として、前記2つの第2の画像は、前記2つの撮影部のうちの同じ撮影部で撮影された画像である。
このような構成によれば、同じ撮影部が撮影した撮影画像であれば、比較するときの補正が不要か、少なくて済むため、トラッキングが容易である。
好ましい構成として、前記2つの第2の画像は、それぞれ異なる撮影部で撮影された画像であり、前記計測部は、前記2つの撮影部のうちの一方の撮影部の撮影範囲を他方の撮影部の撮影範囲と比較可能にする補正情報に基づいて前記一方の撮影部の前記第2の画像を補正することに基づいて前記移動体の状態を計測する。
このような構成によれば、2つの撮影部の撮影範囲についての補正情報に基づいて2つのうちの一方の第2の画像を補正して移動体の状態を計測する。これにより、別々の撮影部で撮影された2つの第2の画像に基づいて移動体の状態を計測できる。
好ましい構成として、前記計測部が計測する前記移動体の状態は、前記移動体の速度である。
このような構成によれば、移動体の速度が計測できる。これにより、速度計測で避けがたいタイヤのスリップ等による精度低下の影響を排除できる。
好ましい構成として、前記走行面撮影部はさらに、前記2つの撮影部で同じタイミングで撮影した2つの前記第1の画像に基づいて計測された前記走行面撮影部の前記走行面からの高さを取得し、前記取得した走行面からの高さに基づいて、前記第1の画像に写っている前記走行面のスケールを算出する。
このような構成によれば、速度計測に必要とされるピクセル当たりの走行面の実際の長さ、いわゆる走行面のスケールが逐次算出されるので、速度の計測精度を高めることができる。なお、相対速度は、2つの第2の画像に含まれる観測位置の移動距離(ピクセル変位)と、カメラのフレームレートの逆数である撮影時間間隔を用い算出できる。
好ましい構成として、前記走行面撮影部は、前記2つの撮影部で同じタイミングで撮影した2つの前記第1の画像に基づいて計測された前記2つの第1の画像に含まれる複数箇所の高さを取得することに基づいて前記移動体の姿勢を計測する。
このような構成によれば、同時に撮影された2つの第1の画像に基づいて走行面撮影部の固定された移動体の姿勢を計測することができる。例えば、画像範囲に含まれる2点の高さから該2点を結ぶ軸方向への勾配が得られ、画像範囲に含まれる3点の高さから3点で囲まれる平面の勾配が得られる。
この発明によれば、複数のカメラで撮影した撮影画像に基づいて対象物の状態を、精度を維持しつつ、環境の変化があったとしても、連続的に計測することができる。
状態計測装置の一実施形態を示すブロック図。 同実施形態において、車両におけるカメラの配置を示す側面図。 同実施形態において、車両におけるカメラの配置を示す正面図。 同実施形態において、異なるタイミングで撮影された撮影画像であって、(a)は撮影タイミングが先である画像、(b)は撮影タイミングが後である画像。 同実施形態において、撮影タイミングは同じで露出が相違する2つのカメラの撮影画像であって、(a)は露出が適正である画像、(b)は露出が過剰である画像。 同実施形態において、露出が相違する2つのカメラの撮影画像の輝度ヒストグラムであって、(a)は露出が適正である画像の輝度ヒストグラム、(b)は露出が過剰である画像の輝度ヒストグラム。 同実施形態において、車速を計測する手順を示すフローチャート。 同実施形態において、露出を調整する手順を示すフローチャート。 同実施形態において、露出の調整について説明するグラフ。 同実施形態において、露出の調整について説明するグラフ。 状態計測装置のその他の実施形態を示す側面図。 状態計測装置のその他の実施形態を示す車両におけるカメラの配置を示す図であって、(a)は側面図、(b)は正面図。 状態計測装置のその他の実施形態を示す車両におけるカメラの配置を示す図であって、(a)は側面図、(b)は正面図。
図1〜図10を参照して、状態計測装置の一実施形態について説明する。本実施形態の状態計測装置は、移動体に用いられる状態計測装置である。本実施形態の移動体は、自動車等の車両10である。
図1に示すように、車両10は、当該車両10の車両状態を計測する状態計測装置1を備えている。車両状態としては、車両10が停止又は走行している路面100(図2参照)に対する車両10の速度(以下、車速と記す)、及び車両10の姿勢等の少なくとも1つが挙げられる。本実施形態では、車両状態は車速であり、走行面や支持面は路面100(図2参照)から構成される。
車両10は、GPS(グローバルポジショニングシステム)アンテナ20、ステレオカメラ21、及び車載制御装置25を備える。車載制御装置25は、信号処理部30、切替部35及び出力部40を備える。
GPSアンテナ20は、複数のGPS衛星が送信するGPS信号を受信する。GPSアンテナ20は、受信したGPS信号を信号処理部30に送信する。GPS信号には、GPSアンテナ20の現在の緯度、経度、GPS誤差及び測位時刻を取得可能な情報が含まれている。
図2及び図3に示すように、ステレオカメラ21は、2つのカメラで対象物を撮影することに基づいて撮影対象までの距離を計測する撮影機器である。本実施形態では、ステレオカメラ21は、車両10が停止又は走行している路面100を撮影し、路面100までの距離(高さ)を計測する。具体的には、走行面撮影部としてのステレオカメラ21は、いわゆるパッシブ型であって、視差が得られるように車両10の幅方向にカメラ間隔を空けて配置された第1カメラ22及び第2カメラ23を有している。第1カメラ22及び第2カメラ23は、例えばCCDカメラや、CMOSカメラ等である。
図1に示すように、第1カメラ22及び第2カメラ23は、路面100を撮影する露出を規定するパラメータ22G,23Gを記憶する記憶部をそれぞれ備える。露出を規定するパラメータ22G,23Gには、絞り(レンズ絞り値)、露出時間、可変減光フィルタ、及び、アナログゲイン(感度)の少なくとも一つのパラメータと、その設定値とが含まれている。ステレオカメラ21は、第1カメラ22で第1カメラ画像を撮影し、第2カメラ23で第2カメラ画像を撮影する。ステレオカメラ21は、第1カメラ画像と第2カメラ画像とに重複して撮影された範囲の視差に基づいて撮影された路面100(図2参照)までの距離を計測し、計測された距離情報を撮影画像に対応付ける。
図2及び図3に示すように、走行中の車両10は、上下に振動するため、路面100とステレオカメラ21との間の距離が逐次変動する。そこで、路面100とステレオカメラ21との距離を逐次算出し、この算出した距離を撮影画像に対応させ、この距離に基づいて撮影範囲におけるスケールとしての1画素の長さ(ピクセル当たりの路面100の実際の長さ)を規定する。
第1カメラ22及び第2カメラ23は、路面100に対して垂直方向から撮影可能なように車両10の後部に設けられ、車両10から略垂直方向下方となる路面100を撮影する。また、第1カメラ22及び第2カメラ23は、車両10の幅方向に所定のカメラ間隔を有している。また、第1カメラ22及び第2カメラ23は、それらの光軸が互いに平行になるように設けられている。ステレオカメラ21は、路面100の撮影画像である第1カメラ画像と第2カメラ画像とそれら画像に対応付けられている距離(高さ)情報を信号処理部30(図1参照)に送信する。
なお、本実施形態では、後述するように露出が異なっていることから、第1カメラ22から得られる第1カメラ画像、及び第2カメラ23から得られる第2カメラ画像は、同じコントラストになることもあるが、環境光の影響によりそれらカメラ画像のうちの一方のカメラ画像のコントラストが相対的に弱くなることもある。そこで、距離(高さ)を求める際、コントラストが同じ又は相違する2つのカメラ画像から路面100までの距離を算出してもよいし、コントラストが相違する2つのカメラ画像にデジタルゲインを掛けることによって同じコントラストにしてから距離(高さ)を算出してもよい。また、コントラストの狭い一方の画像における、あるいは2つのカメラ両方の画像における適切でない画素(値が飽和している画素及びゼロの画素)を除外して、あるいは閾値を超えていることを考慮して距離(高さ)を算出してもよい。
図1に示すように、車載制御装置25は、CPU、ROM、RAM、その他の記憶装置からなる記憶部34を有するコンピュータを含み構成されている。車載制御装置25は、ROMや記憶部34に記憶されているプログラムをCPUで演算処理することで、所定の処理である、信号処理部30、切替部35、及び出力部40のそれぞれに必要とされる各演算処理を実行する。
信号処理部30は、車両状態として車速を算出するが、走行位置や加速度を算出してもよい。信号処理部30は、GPSアンテナ20から取得したGPS信号に基づいて走行位置や車速を算出するGPS車速算出部31と、ステレオカメラ21から取得した路面100の撮影画像に基づいて車速を算出する選択部及び計測部としての画像車速算出部32とを備える。本実施形態では、GPS信号に基づいて算出された車速がGPS車速であり、路面100の撮影画像に基づいて算出された車速が画像車速である。
GPS車速算出部31は、GPS信号に基づいて車両10の現在位置を計測する。具体的には、GPS車速算出部31は、車両10の位置情報として緯度及び経度を算出する。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、高精度、かつ、短周期に車速が計測される構成を採用している。すなわち、GPS車速算出部31は、GPS衛星から出力されている搬送波のドップラー効果から車速を求める。
また、GPS信号に基づいて車速を計測する一態様として、算出した緯度、経度及び経過時間に基づいて計測する技術もある。この技術によって計測される車速は高精度ではなく、更新間隔が長いものとなる。
画像車速算出部32は、路面100の撮影画像に基づいて車速を計測する。路面100の撮影画像には、第1カメラ画像及び第2カメラ画像の少なくとも一方が含まれる。なお、車速は、第1カメラ画像、又は第2カメラ画像のいずれか一方の画像から算出することができるので、ここでは説明の便宜上、第1カメラ画像に基づいて車速を計測する場合について例示する。
画像車速算出部32は、例えばアスファルト舗装された路面100を、第1カメラ22で撮影し、撮影タイミングの時間間隔である撮影間隔の空いた2枚の第1カメラ画像P11,P12(図4(a),(b)参照)を取得する。画像車速算出部32は、取得した2枚の第1カメラ画像P11,P12(図4(a),(b)参照)に含まれる同一の観測位置TPをトラッキングして撮影間隔の間に移動した距離Lを取得し、車速を算出する。すなわち、撮影間隔だけ時間の異なる2枚の第1カメラ画像P11,P12において、同一の観測位置TPが移動した距離Lと、前記撮影間隔との商に基づいて車速が計測される。撮影間隔の間に車両10が実際に移動した距離Lは、第1カメラ画像上で移動した画素数と、式(1)に示される1画素当たりの実際の長さとの積によって求めることができる。
まず式(1)について説明する。2つの撮影位置(間隔は既知)に2つのカメラが配置されているとき、注目している同一領域までの距離dは、2つのカメラがそれぞれ撮影した2つのカメラ画像から求められる。具体的には、2つのカメラ間の基線(単に2つのカメラ同士を結んだ線)の長さと、カメラ画像において注目している同一領域に対する一方のカメラの主光線の角度α1と、他方のカメラの主光線の角度β1とから基線に対する距離dを得る。また、カメラの画角をθ、画像一辺の画素数Qとすれば、前記基線に対する距離dとともに1画素当たりの実際の長さsが式(1)で求められる。
s=2d/Q・tan(θ/2)…(1)
そして、車両10が実際に移動した距離Lは、第1カメラ画像上での移動量(画素数)Δpと、式(1)に示される1画素当たりの実際の長さsとの積(式(2))によって求められる。
L=Δp・s…(2)
また、画像車速算出部32は、路面100から第1カメラ22までの高さを第1カメラ画像毎に対応付けられた距離情報から取得する。つまり、画像車速算出部32は、ステレオカメラ21が計測した距離情報に基づいて路面100までの距離を取得する。そして、この取得した距離をレンズ中心から測定対象までの距離Dとすることで、式(1)に基づいて1画素の実際の長さsを逐次定め、所定の撮影間隔で撮影された2枚の第1カメラ画像P11,P12に含まれる同一の観測位置TPの移動した距離Lに基づいて車速を高精度に算出する。
なお、2つの第1カメラ画像P11,P12から相違する高さが得られたとき、古い方の第1カメラ画像P11に含まれる高さに設定されてもよいし、新しい方の第1カメラ画像P12に含まれる高さに設定されてもよいし、2つの第1カメラ画像P11,P12の高さの平均値に設定されてもよい。
なお、画像車速算出部32による車速計測では、2枚の第1カメラ画像P11,P12の両方に同一の観測位置TP等の同一地点が含まれる必要がある。車速が遅ければ、両方に含まれる同一地点は多くなり、逆に、車速が速ければ、両方に含まれる同一地点が少なくなる。よって、車速が速くなることで2つの第1カメラ画像P11,P12での重複範囲が減少し、車速の計測精度が低下するおそれがある。仮に、重複範囲がなくなる程度に車速が速くなると車速を計測することができなくなる。車速が速くなったときは、重複範囲が得られるようにステレオカメラ21のフレームレートを速くする必要がある。
以上のことから、画像車速算出部32は、まず、レンズ中心から測定対象までの距離Dを逐次計測して、第1カメラ画像P11,P12の1画素に対応する実際の長さ(スケール)を逐次算出する。次に、2つの第1カメラ画像P11,P12において同一の観測位置TPが移動した距離を算出する。そして、画像車速算出部32は、算出した画像上での移動した距離と、2つの第1カメラ画像P11,P12の1画素に対応する実際の距離Lと、2つの第1カメラ画像P11,P12の撮影間隔とに基づいて車速を計測する。
切替部35は、画像車速算出部32が算出したGPS車速と、画像車速とのうち、いずれか一方の車速を選択する。切替部35は、所定の選択条件に基づいていずれか一方の車速を選択してもよいし、運転者等の指示に基づいていずれか一方の車速を選択してもよい。
出力部40は、切替部35で選択された車速を外部へ出力する。なお、本実施形態では、出力部40から出力される画像車速は、車両10の実路走行における走行評価のための計測結果として測定装置に記憶してもよい。また、表示装置等を介して車速を表示してもよい。
本実施形態の画像車速算出部32は、路面100に大きな輝度変化が生じても、精度を維持しつつ、連続的に画像車速を出力することができるようになっている。
図1及び図5〜図10を参照して、車載制御装置25が画像車速算出部32で画像車速を計測する態様について説明する。
まず、図1に示すように、信号処理部30は、ステレオカメラ21の各カメラのパラメータ22G,23Gを設定するパラメータ設定部33を有している。パラメータ設定部33は、第1カメラ22の露出と第2カメラ23の露出とが相互に異なる値になるように、第1カメラ22のパラメータ22Gと、第2カメラ23のパラメータ23Gをそれぞれ設定することができる。例えば、パラメータ設定部33は、第1カメラ22の露出と第2カメラ23の露出との相対比が、1.1倍以上になるように、好ましくは1.5倍以上になるように、より好ましくは2倍以上になるように、各パラメータ22G,23Gを設定する。各パラメータ22G,23Gは、絞り、露出時間、可変減光フィルタ、及び、アナログゲインを含んでいる。例えば、第1カメラ22及び第2カメラ23に、車速に対応した露出時間を優先的に定める場合、絞りの値や、アナログゲインの値を調整することで、2つのカメラの露出が目的の輝度代表値を得られる相対比になるようにする。
一般的に、露出は、露出時間と絞りとの関係により定まるので、当該関係に基づいて、必要な露出になる絞りが選択される。同様に、露出は、露出時間とアナログゲインとの関係によっても定まるので、当該関係に基づいて、2つのカメラの露出が目的の輝度代表値を得られるようにアナログゲインを選択してもよい。以上のことより、露出は、露出時間とアナログゲインと絞りとの関係によっても定まるので、当該関係に基づいて、2つのカメラの露出が目的の輝度代表値を得られるようにアナログゲインと絞りとを選択してもよい。なお、可変減光フィルタは、光を取り込む量を調整することができる。
そして、画像車速算出部32は、選択した露出時間とアナログゲインと絞りとをそれぞれ第1カメラ22のパラメータ22G及び第2カメラ23のパラメータ23Gに設定する。
よって、ステレオカメラ21は、パラメータ22Gに基づく露出に設定された第1カメラ22で第1カメラ画像を撮影し、パラメータ23Gに基づく露出に設定された第2カメラ23で第2カメラ画像を撮影する。
図5(a),(b)を参照して、露出の異なるカメラによって撮影された路面100について説明する。なお、第1カメラ22の露出と、第2カメラ23の露出とが異なったとしても、環境光によっては、同じコントラストが得られることもあるが、以下の説明では、環境光の影響によってコントラストが相違している場合を例に説明する。
図5(a)は、露出が適正である第1カメラ22により撮影された第1カメラ画像P11を示し、図5(b)は、露出が過剰である第2カメラ23により撮影された第2カメラ画像P21を示す。第1カメラ画像P11は、適正な露出に基づく適切なコントラストを有し、第2カメラ画像P21は、過剰な露出に基づく明るすぎる(狭い)コントラストを有している。
ここで、図6を参照して、適切なコントラストについて輝度ヒストグラムに基づいて説明する。
一般に、適正な露出により撮影された画像は、明暗の幅が広く表現される、いわゆるコントラストが強くなる。これに対して、適正な値よりも大きくて過剰な露出により撮影された画像は、全体として最大輝度値となる部分が多くなるため明暗の幅が狭くなる、いわゆるコントラストが弱くなる。また、適正な値よりも小さくて不足する露出により撮影された画像は、全体として最小輝度値となる部分が多くなるため明暗の幅が狭くなる、いわゆるコントラストが弱くなる。
図6(a)は第1カメラ画像P11の輝度ヒストグラムであり、図6(b)は第2カメラ画像P21の輝度ヒストグラムである。
図6(a)に示すように、コントラストが強いと、横軸である明暗方向に対して幅広い輝度分布を有する輝度ヒストグラムが得られる。逆に、図6(b)に示すように、コントラストが弱いと、横軸である明暗方向に対して狭い範囲に輝度分布を有する輝度ヒストグラムが得られる。
例えば、画像処理によって路面100を認識するとき、画像全体の輝度が同じである画像からは何も認識することができないが、複数の輝度が分散していれば、輝度の差に基づいてトラッキングできる可能性は高まる。また、輝度の差は、小さいよりも、大きい方が精度のよいトラッキングが可能になる。つまり、同一の対象物を撮影した画像において、輝度の差が小さいとトラッキング性能が低く、輝度の差が大きいとトラッキング性能が高くなる。よって、画像処理で対象物を探索する際、一般に、コントラストの強い画像である方が好ましい。換言すると、コントラストの弱い画像は、画像処理による対象物の探索精度が低下する傾向にある。
本実施形態では、まず、アスファルト舗装された路面100を撮影して第1カメラ画像P11及び第2カメラ画像P21を取得し、取得した第1カメラ画像P11及び第2カメラ画像P21からコントラストの強い画像を特定する。続いて、相違する2つの撮影タイミングにおけるコントラストの強い画像に基づいてトラッキングを行い同一の観測位置TPの距離を取得する。
つまり、第1カメラ画像P11又は第2カメラ画像P21には、同一の観測位置TPを精度良くトラッキングすることが可能なコントラストが必要とされる。特に、アスファルト舗装された路面100は、一見すると、似た模様の繰り返しに近いことから、トラッキングを行うには、コントラストの強い画像であることが好ましい。逆に、コントラストの弱い画像であると、2つの画像において類似部分を特定することが難しくなり、観測位置TPをトラッキングすることが困難になる。
画像車速算出部32は、第1カメラ画像P11の輝度ヒストグラムC11及び第2カメラ画像P21の輝度ヒストグラムC21を算出する。そして、画像車速算出部32は、算出された2つの輝度ヒストグラムC11,C21を比較し、コントラストの強い画像を速度算出に使用する画像として選択する。
ここでは、第1カメラ22が撮影した第1カメラ画像P11のコントラストが第2カメラ画像P21のコントラストよりも高いものとする。画像車速算出部32は、2つの第1カメラ画像P11,P12のトラッキングに基づいて車速を計測する。トラッキングは、周知の技術によって行うことができるが、まず、トラッキングの一例について説明する。
画像車速算出部32は、第1カメラ画像P11と第2カメラ画像P21との変位量を、テンプレートマッチングによって算出する。テンプレートマッチングは、特定のパターンを検出するために用意された画像のある箇所を、観測画像から検出する方法である。換言すると、テンプレートマッチングは、2つのフレーム間で一部の領域がどこへ変異したのかを算出するために利用される。本実施形態では、第1カメラ画像P11の観測位置TPを含む範囲を、第1カメラ画像P12から検出する。
一般的に、それぞれのフレームから切出した同じ大きさの2つの画像について、式(3)で「Sum of Squared Difference」(SSD)を計算し、最も小さな値となった位置がマッチした場所として決定される。
但し、
dx,dy:切出した画像における画素番号
g:探査フレーム(つまり次のフレーム)全体の中におけるある1画素の輝度値
f:切出したテンプレート画像のある1画素の輝度値
なお、式(3)のSSDは、2つの画像の輝度レベル(ゲイン)がずれている場合、不都合が生じることがある。この不都合に対応するため、設定として利用したゲインの値で補正してから計算する方法、あるいは、式(4)に示す「Zero−mean Normalized Cross−Correlation」(ZNCC)等を利用してマッチする位置を探索する方法がある。
上述のように、パラメータ設定部33は、第1カメラ22と第2カメラ23との露出が異なるようにパラメータ22G,23Gを設定する。詳述すると、パラメータ設定部33は、第1カメラ画像P11の輝度ヒストグラムC11及び第2カメラ画像P21の輝度ヒストグラムC21のいずれか一方のコントラストが強く、他方のコントラストが弱くなるように第1カメラ22のパラメータ22G及び第2カメラ23のパラメータ23Gを設定する。つまり、一方の画像は、輝度ヒストグラムに示される輝度方向に幅広く輝度が分布したコントラストの強い画像となり、他方の画像は、輝度ヒストグラムに示される輝度方向の狭い範囲に輝度が分布したコントラストの弱い画像となる。
また、パラメータ設定部33は、他方のカメラ画像の輝度ヒストグラムの輝度が明るい側に分布するようにパラメータを設定するか、輝度が暗い側に分布するようにパラメータを設定するかを定める。詳述すると、パラメータ設定部33は、環境情報、地図情報、及び時間情報の少なくとも1つの情報に基づいて露出を大きくするか小さくするかを定めてパラメータを設定する。なお、環境情報には、天候、照度が含まれる。地図情報には、経路、道路環境が含まれる。時間情報には、日時、昼夜、太陽高度が含まれる。
例えば、環境情報に基づいて天候が晴天で、かつ、現在の露出における輝度が予め決められた値よりも高ければ、車両10の周囲の明るさは最大であると考えられるので、一方のカメラは、建物等の陰による暗がりに対応できるように露出が大きくなるパラメータを設定する。また、市街地は、郊外に比べて複雑な道路環境であることにより、輝度の大きい変化が生じやすいことから、地図情報に基づいて、市街地は郊外に比べて露出が大きくなるように、パラメータを設定する。また、昼間、地図情報に基づいて、トンネル内であれば、トンネルから出たときに備え、一方の露出が小さくなるようにパラメータを設定する。逆に、昼間、地図情報に基づいて、トンネルに接近していれば、トンネルに入ったときに備え、一方の露出が大きくなるようにパラメータを設定する。また、昼間に比べ、夜間は相対的に露出が大きく設定される。夜間、地図情報に基づいて、大きなトンネル内であれば、トンネルから道路照明の少ない夜道に出たときに備え、一方の露出が大きくなるようにパラメータを設定する。逆に、夜間、地図情報に基づいて、トンネルに接近していれば、夜道から照明のあるトンネルに入ったときに備え、一方の露出が小さくなるようにパラメータを設定する。また、太陽高度が高ければ、露出の差が大きくなるようにし、太陽高度が低ければ、露出の差が小さくなるようにパラメータを設定する。また、昼間、日向と日陰との間に生じる大きな輝度差に対応するように、露出の差が大きくなるようにパラメータを設定する。逆に、夜間、計測用補助照明装置を持つことにより小さな輝度差にできるため、露出の差が小さくなるようにパラメータを設定する。
(車速計測の動作)
図7を参照して、状態計測装置1における車速計測の動作について説明する。状態計測装置1は、車速の計測を、状態計測装置1のスタートボタンが押されたことや、車両10がエンジン始動等で走行可能になることで開始し、状態計測装置1のストップボタンが押されたことや、車両10がエンジン停止等で走行不可能な状態になることで終了する。また、車載制御装置25は、「画像車速」のみを選択するものとする。よって、車載制御装置25は、「画像車速」をそれぞれ一定周期で算出するとともに、算出された「画像車速」は常に取得可能であるとする。ここでは「GPS車速」についての説明は割愛する。
車速の計測が開始されると、状態計測装置1は、ステレオカメラ21の第1カメラ22で第1カメラ画像P11を撮影し、第2カメラ23で第2カメラ画像P21を撮影する(ステップS10)。第1カメラ22及び第2カメラ23は、同じ撮影タイミングで、それぞれの画像を撮影する。状態計測装置1は、撮影した2つの画像である第1カメラ画像P11及び第2カメラ画像P21をステレオカメラ21から信号処理部30に入力するとともに、同じ撮影タイミングで撮影された画像であることを識別可能な状態で記憶部34に記憶する(ステップS11)。状態計測装置1の画像車速算出部32は、入力された第1カメラ画像P11及び第2カメラ画像P21のそれぞれの輝度ヒストグラムを算出する(ステップS12)。そして、画像車速算出部32は、第1カメラ画像P11及び第2カメラ画像P21のそれぞれの輝度ヒストグラムを相互に比較して、第1カメラ画像P11及び第2カメラ画像P21のいずれか一方を車速計測に利用するカメラ画像としての第2の画像として選択する(ステップS13)。例えば、第1カメラ画像P11及び第2カメラ画像P21のうち、コントラストの強い画像が第2の画像として選択される。画像車速算出部32は、選択された第2の画像を撮影タイミングの識別が可能である状態で記憶部34に記憶させる。
図4に示すように、本実施形態では、撮影タイミングの相違する2つの第2の画像PT1,PT2として、2つの第1カメラ画像P11,P12が選択されるものとする。
図7に示すように、画像車速算出部32は、撮影タイミングの相違する2つの第2の画像PT1,PT2において観測位置TPが移動した距離(図4参照)を算出する(ステップS14)。画像車速算出部32は、2つの第2の画像PT1,PT2(図4参照)に含まれる特徴点を観測位置TP(図4参照)とし、2つの第2の画像PT1,PT2の間でのトラッキングに基づいて、2つの第2の画像PT1,PT2において観測位置TPが移動した距離を算出する。なお、トラッキングが可能であるならば、2つの第2の画像PT1,PT2は、相互に隣接する撮影タイミングで撮影された画像であってもよいし、時間間隔を確保するため、相互に隣接していない撮影タイミングを有する画像であってもよい。また、2つの第2の画像PT1,PT2の撮影タイミングの相違する時間間隔は、2つの第2の画像PT1,PT2の少なくとも一部に路面100の同じ範囲が写る時間間隔である。撮影間隔は、短ければ高速移動する車両10の車速計測を可能とし、逆に、長ければ観測位置の移動距離が長くなるため速度の計測精度が高くなる。
画像車速算出部32は、2つの第2の画像上の距離を実際の距離Lに変換するとともに、その距離Lの移動に要した時間間隔とに基づいて車両10の速度を算出する(ステップS15)。例えば、撮影タイミングの相違する2つの第2の画像PT1,PT2は、最新に選択された第2の画像PT1と、最新の一回前に選択された第2の画像PT2とである。このとき、2つの第2の画像PT1,PT2の撮影タイミングの相違は、第1カメラ22及び第2カメラ23のフレームレートの逆数であって、ステレオカメラ21の有している撮影間隔でよい。
画像車速算出部32は、算出した速度を、車両10の車速の計測結果として出力する(ステップS16)。
続いて、車載制御装置25は車速計測の終了条件が成立しているか否かを判定する(ステップS17)。車速計測の終了条件は、状態計測装置1のストップボタンが押されたことや、エンジンが停止されたこと等に基づいて判定される。車速計測の終了条件が成立しないと判定された場合(ステップS17でNO)、車載制御装置25は、状態計測装置1の処理をステップS10に戻して、ステップS10に続く処理を実行する。一方、車速計測の終了条件が成立すると判定された場合(ステップS17でYES)、状態計測装置1の車速を計測する処理が終了される。
(露出設定の動作)
図8〜図10を参照して、状態計測装置1におけるパラメータ設定処理の動作について説明する。パラメータ設定処理は、車速計測が可能なとき、所定の周期、任意の周期で行われてもよい。また、算出された輝度ヒストグラムの輝度方向における輝度分布の態様に基づいて行われてもよい。図5に示すように、本実施形態では、撮影タイミングが同じである2つの第1の画像PC1,PC2として、第1カメラ画像P11と第2カメラ画像P21が選択されるものとする。
図8に示すように、パラメータ設定処理が開始されると、パラメータ設定部33は、最新の撮影タイミングにおける2つの第1の画像PC1,PC2(図5参照)のそれぞれについて算出された輝度ヒストグラムC31,C32(図9参照)からヒストグラムの代表値R31,R32(図9参照)を取得する(ステップS20)。ヒストグラムの代表値R31,R32は、例えば、ヒストグラムの平均値である。しかしこれに限らず、第1カメラ22及び第2カメラ23に設定するパラメータを算出することができれば、代表値は、平均値以外の中央値や最頻値等であってもよい。
次に、パラメータ設定部33は、第1カメラ22及び第2カメラ23に設定するパラメータをそれぞれ算出する(ステップS21)。例えば、周辺環境の輝度低下に応じて、2つのヒストグラムの代表値R31,R32の輝度が明るい方向に移動するようにパラメータを設定する。
なお、通常、相対速度を有する対象物を撮影する際、露出時間を調整すると被写体のモーションブラーが問題になる。そこで、本実施形態では露出時間を固定し、アナログゲインを調整する場合について例示する。また、以下では、ビット深度は、1ピクセルで表現できる色数であって、ビット深度が8ビットであれば、表現できる色数は256である。
例えば、図9に示すように、第1カメラ22の輝度ヒストグラムの平均値からなる代表値R31が、第2カメラ23の輝度ヒストグラムの平均値からなる代表値R32に対して「ビット深度×(1/4)」以上の開きD3になるよう、第1カメラ22のアナログゲインを調整する。または、第2カメラ23の輝度ヒストグラムの平均値からなる代表値R32が、第1カメラ22の輝度ヒストグラムの平均値からなる代表値R31に対して「ビット深度×(1/4)」以上の開きD3になるよう、第2カメラ23のアナログゲインを調整する。
これらの調整を平均値以外の他の統計値や輝度ヒストグラムの極値に基づいて行ってもよい。
例えば、図10に示すように、輝度ヒストグラムのピークのうち、右側第1ピークの輝度の位置に基づいて管理することもできる。輝度ヒストグラムの右側第1ピークの位置で管理する場合、第1カメラ22の輝度ヒストグラムの右側第1ピークの位置R41が、第2カメラ23の輝度ヒストグラムの右側第1ピークの位置R42に対して「ビット深度×(1/4)」以上の開きD4となるよう、第1カメラ22のアナログゲインを調整する。または、第2カメラ23の輝度ヒストグラムの右側第1ピークの位置R42が、第1カメラ22の輝度ヒストグラムの右側第1ピークの位置R41に対して「ビット深度×(1/4)」以上の開きD4となるよう、第2カメラ23のアナログゲインを調整する。ここで利用した輝度ヒストグラムC31,C32は、第1の画像PC1,PC2の全画素についての集計結果とする必要はなく、第1の画像PC1,PC2から切り出した一部に対して行ってもよい。
また、パラメータ設定部33は、路面100の輝度変化の傾向を考慮してもよい。その一例について説明する。
パラメータ設定部33は、過去のヒストグラム代表値の統計値(例えば輝度平均値の振れ幅)を逐次更新しながら参考にすることで、例えば、比較的暗い街路樹路等を経て、現在明るい場所を走っていて、この後、再度比較的暗い街路樹路等に入ることを予測してもよい。そして、こうした予測に基づいて、アナログゲインの設定に偏りをもたせるようにしてもよい。ここでは、比較的暗い街路樹路等に入ることを予測することに基づいて、露出が大きくなるようにパラメータを設定しておくことで、その後に遭遇する可能性のある暗い街路樹路に対して対応力を高めることができる。露出が大きくなるパラメータの設定としては、絞りを大きくすることや、アナログゲインを高くすることが挙げられる。
具体的には、平均値を代表値R31,R32とするとき、代表値R31,R32に対して輝度平均の変動量αを見積もる。第1カメラ22には、第1カメラ画像P11の輝度ヒストグラムの平均値が「ビット深度×(1/4)+α」以上「ビット深度×(2/4)+α」以下となるようにパラメータを設定する。また、第2カメラ23には、第2カメラ画像P21の輝度ヒストグラムの平均値が「ビット深度×(2/4)+α」より大きく「ビット深度×(3/4)+α」以下となるパラメータを設定してもよい。
以上説明したように、本実施形態によれば、以下に記載する効果が得られる。
(1)第1カメラ22と第2カメラ23との露出が相違するので2つの第1の画像は、同じコントラストになるか、又は、環境光の影響によって少なくとも一方の画像のコントラストが、他方の画像のコントラストよりも強いものとなる。そこで、コントラストの強い方の画像である第2の画像に基づいて車両10の状態を計測することで、幅広い輝度範囲の路面100に対して計測精度の低下が抑制される。換言すると、2つの露出は適切な輝度の範囲が相違することから、2つの露出で撮影された各撮影画像のうちから適切な一方を選択することで、路面100を適切に撮影できる輝度範囲が広くなり、一時的に露出過剰や露出不足が生じるおそれを減少できる。すなわち、複数のカメラで撮影した撮影画像に基づいて車両10の状態を、精度を維持しつつ、連続的に計測することができる。
(2)露出が、絞り、露出時間、可変減光フィルタ、及び、アナログゲインの少なくとも一つのパラメータ22G,23Gで変化させられる。絞りは取り込む光束の断面積を、露出時間は光を取り込む時間を、可変減光フィルタは光を取り込む量を、アナログゲインは感度を変化させることで露出を変化させる。これらの設定は、カメラに一般に設けられているパラメータであり、設定も容易である。
(3)一方の露出で撮影できる輝度範囲と、他方の露出で撮影できる輝度範囲との間のずれを適切に、かつ、広く確保できるため、状態計測可能な輝度範囲が広がる。
(4)2つの撮影条件を環境情報等に応じて調整することができ、環境情報等から得られる輝度特徴に応じて撮影条件が定められ、車両10周辺の環境で生じる輝度変化への対応性が高められる。環境情報としては晴天、雨天時の天候等が挙げられ、地図情報としては市街地や郊外、トンネルの内外等が挙げられ、時間情報としては昼夜の別や太陽高度が挙げられる。
(5)周囲の明るさに基づいて撮影条件が調整されるので、現在の第1の画像が適切に撮影されるとともに、現在の明るさから変化する明るさについても対応可能な輝度範囲を適切に設定し、車両10の状態を計測するための撮影画像の連続的な取得を可能にできる。
(6)第1カメラ22又は第2カメラ23の一方が撮影した撮影画像であれば、比較するときの補正が不要か、少なくて済むため、トラッキングが容易である。
(7)2つの第1カメラ22又は第2カメラ23が設けられているステレオカメラ21を利用して車両10の状態を計測することができる。
(8)車両10の速度が計測できる。これにより、速度計測で避けがたいタイヤのスリップ等による精度低下の影響を排除できる。
(9)速度計測に必要とされるピクセル当たりの路面100の実際の長さが高精度で算出されるので、速度の計測精度を高めることができる。なお、相対速度は、2つの第2の画像に含まれる観測位置TPの移動した距離(ピクセル変位)と、カメラのフレームレートの逆数である撮影タイミングの時間間隔を用いることで算出できる。
(その他の実施形態)
上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ヒストグラム算出(ステップS12)、ヒストグラムの選択(ステップS13)、及び距離算出(ステップS14)の順に処理される場合について例示した。しかしこれに限らず、これらの処理の順序は、距離算出が先に行われ、次にヒストグラム算出及びヒストグラムの選択が行われてもよい。
・車載制御装置25は、信号処理部30や、切替部35や、出力部40の処理を実行するプログラムを有するパーソナルコンピュータ(PC)等であってもよい。
・上記実施形態では、ステレオカメラ21の光軸が路面100に対して略垂直である場合について例示した。しかしこれに限らず、ステレオカメラは、路面の模様をトラッキング可能な程度に撮影することができるのであれば、光軸が路面に対して略垂直でなくてもよい。例えば、路面に対するカメラの光軸が、車両の前後方向に傾きを有していたり、車両の幅方向に傾きを有していたりしてもよい。こうした傾きによる影響は、傾きを考慮した演算処理等によって適切に処理可能であり、傾きを補正する演算により垂直であることと同様に処理することができる。なお、画像車速の計測には、路面100に対する傾きが垂直(90°)に近いほうが非常に好ましいが、45°以上であれば好ましく、45°未満であっても数m以内の路面100が撮影可能であれば可能である。
例えば、図11には、バックモニタ用のカメラ21Cを画像車速の計測に使用する一例が記載されている。バックモニタ用のカメラ21Cは、車両10後方の駐車区画を認識することができる。また、障害物等を認識できるように撮影可能範囲が広角である。そして、カメラ21Cが撮影した画像のうち、路面100が鮮明に撮影されている範囲を取得することで、カメラ21Cの高さ、及び、画像車速を計測することができる。
・ステレオカメラ21は、車両10の後部に設置される場合に限られず、路面100の撮影が可能であるならば車両10の前方、車両10の側方、車両10の下方の少なくとも1か所に設けられていてもよい。
例えば、図12(a)及び(b)に示すように、ステレオカメラ21Aを車両10の底面に取り付けてもよい。一般に、カメラは周囲の明るさの変化が急激であると、露出の調整が終わるまで適切な輝度の画像を撮影できない。この点、車両10の底面は、車両10に覆われていることから相対的には暗いものの、輝度の変化が相対的に小さく、露出の調整も少なくて済むため、走行環境によらず画像を適切な輝度で撮影することのできる可能性が高められる。
・上記実施形態では、ステレオカメラ21の2つのカメラは車幅方向にカメラ間隔を空けて配置される場合について例示したが、これに限らず、カメラの路面からの距離を計測することができるのであれば、カメラが車長方向など、車幅方向以外にカメラ間隔を空けて配置されてもよい。
例えば、図13(a)及び(b)に示すように、ステレオカメラ21Bを構成する2台のカメラを車両10の底面において車長方向にカメラ間隔を空けて取り付けてもよい。これによっても、三角測量の原理に基づいて路面に対するステレオカメラ21Bの高さを計測できる。
・上記実施形態では、状態計測装置1は、車速を計測する場合について例示したが、これに限らず、状態計測装置1は、車両等の姿勢を計測してもよい。例えば、第1カメラ画像と第2カメラ画像と(同時に撮影された2つの第1の画像)の重複する範囲に含まれている2点について路面や床面等の支持面との間の距離(高さ)を計測することにより、2点を結ぶ方向に対する車両の傾き(勾配)を計測できる。3点以上について路面や床面等の支持面との間の距離(高さ)を計測することにより支持面に載置されている車両の支持面に対する姿勢(勾配)を計測できる。
・上記実施形態では、撮影範囲に対応する高さ(距離)がステレオカメラ21で計測される場合について例示した。しかし、これに限らず、ステレオカメラの第1カメラ画像と第2カメラ画像とを得た車載制御装置の信号処理部で撮影範囲に対応する距離を計測してもよい。
・上記実施形態では、ステレオカメラ21は、パッシブ型である場合について例示した。しかし、これに限らず、ステレオカメラは、レーザ発振器から照射したレーザ光をカメラで受光し、この受光したレーザ光の変位に基づいて物体の奥行情報である3次元形状を計測するアクティブ型であってもよい。
・上記実施形態では、ステレオカメラ21で路面100との距離(高さ)を計測する場合について例示した。しかし、これに限らず、距離(高さ)は光学式の距離計、レーザ式の距離計、超音波式の距離計等で計測してもよい。
・上記実施形態では、第1カメラ22及び第2カメラ23のレンズ中心から路面100までの距離を逐次算出する場合について例示した。しかし、これに限らず、路面からステレオカメラまでの高さ(レンズ中心から測定対象までの距離)の変動が小さいようであれば、1画素に対応する実際の長さを予め設定した長さとしてもよい。この場合も、車両の振動が小さければ、一定の精度で車速を計測できる。
・上記実施形態では、状態計測装置1は、GPS車速算出部31と画像車速算出部32とを備える場合について例示した。しかしこれに限らず、状態計測装置は、GPS車速算出部を備えていなくてもよい。車両は、通常の速度計を備えれば走行でき、画像車速算出部による速度計測が可能であれば、画像車速算出部を備えればよい。
・上記実施形態では、状態計測装置1は、車速を計測する場合について例示したが、これに限らず、状態計測装置1は、車速に基づいて計測できる走行位置や加速度を計測してもよい。
・上記実施形態では、路面100の第2の画像に基づいて車速が算出される場合について例示したが、これに限らず、第2の画像に基づいて旋回等を計測してもよい。車両の直進方向に対して第1カメラ画像や第2カメラ画像の向きは予め分かっているので、同一地点の幅方向の位置の変化によって車両の旋回も計測できる。
・ステレオカメラ21は、第1カメラ22及び第2カメラ23の光軸が平行である場合に限らず、2つのカメラの間の相対角度及びカメラ間隔等の相対関係が明確であれば、第1カメラ22及び第2カメラ23の光軸が平行でなくてもよい。
・ステレオカメラ21は、第1カメラ22及び第2カメラ23の2つのカメラを有する場合に限られず、それぞれ適当な露光条件に設定された3つ以上のカメラを有し、3つ以上のカメラのなかから選択される2つであってもよい。
・上記実施形態では、トラッキングに利用される2つの第2の画像PT1,PT2は、第1カメラ22又は第2カメラ23のいずれか一方で撮影された画像である場合について示した。しかしこれに限らず、第1カメラの撮影範囲と第2カメラの撮影範囲とを一致させる補正等の処理ができれば、トラッキングに利用される2つの第2の画像は、一方が第1カメラで撮影された画像であり、他方が第2カメラで撮影された画像であってもよい。例えば、明暗の切り替わりで、適切な露出で撮影できるカメラが第1カメラと第2カメラとの間で切り替わっても、2つの第2の画像を比較して車両の状態を計測できる。これにより、別々のカメラで撮影された2つの第2の画像に基づいて車両の状態が計測できる。
・信号処理部30は、GPS車速算出部31を外部装置として有し、外部装置で計測した車速を取得してもよい。例えば、外部装置としては、LC−8300(小型高感度速度計、株式会社小野測器社製)等が挙げられる。
・上記実施形態では、車載制御装置25の信号処理部30にパラメータ設定部33を設ける場合について例示した。しかしこれに限らず、各カメラに適切なパラメータを予め設定できれば、車載制御装置の信号処理部にパラメータ設定部を設けなくてもよい。
すなわち、第1カメラ22のパラメータ22Gと、第2カメラ23のパラメータ23Gを予め適切な値に設定しておいてもよい。例えば、テストコース走行など、予め路面100の輝度とその変動とが分かっているとき、パラメータに予め適切な値を設定し、パラメータ設定部33により設定しなくてもよい。これにより、状態測定装置におけるパラメータに係る処理を軽減できる。
・上記実施形態では、第1カメラ画像と第2カメラ画像とから輝度ヒストグラムの輝度分布が最も広い、換言するとコントラストの強い一方を選択する場合を示した。しかしこれに限らず、十分な輝度の広がり幅を有する画像を判定する所定の閾値を設定し、第1カメラ画像又は第2カメラ画像の輝度の広がり幅が所定の閾値よりも大きければ、その画像を第2の画像としてもよい。
・上記実施形態では、第1カメラ22及び第2カメラ23が記憶部にパラメータ22G,23Gを保持している場合について示した。しかしこれに限らず、車載制御装置からの信号操作が可能ならば、カメラにパラメータを保持する記憶部を備えなくてもよい。この場合、パラメータは車載制御装置に保持される。
・上記実施形態では、状態計測装置1は、車両10の状態を計測する場合について示した。これに限らず、状態計測装置1は、路面や床面等を移動する移動体の速度等の状態を計測してもよいし、路面や床面等の支持面に対する姿勢が変化する物体の姿勢等の状態を計測してもよい。
1…状態計測装置、10…車両、20…GPSアンテナ、21,21A,21B…ステレオカメラ、21C…カメラ、22…第1カメラ、22G…パラメータ、23…第2カメラ、23G…パラメータ、25…車載制御装置、30…信号処理部、31…GPS車速算出部、32…画像車速算出部、33…パラメータ設定部、34…記憶部、35…切替部、40…出力部、100…路面、P11,P12…第1カメラ画像、P21…第2カメラ画像、PC1,PC2…第1の画像、PT1,PT2…第2の画像。

Claims (11)

  1. 撮影画像に基づいて移動体の状態を計測する状態計測装置であって、
    前記移動体に固定された2つの撮影部を有する走行面撮影部であって、前記移動体が走行する走行面を前記2つの撮影部で同じタイミングで撮影する前記走行面撮影部と、
    前記撮影部が前記走行面を撮影する際に適用される前記撮影部の露出を規定する撮影条件を記憶する記憶部と、
    前記2つの撮影部が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とするとき、2つの前記第1の画像のうちから輝度ヒストグラムの分布がより広い一方の前記第1の画像を前記走行面撮影部における撮影タイミング毎に第2の画像として選択する選択部と、
    前記撮影タイミングが相違する2つの前記第2の画像であって、同じ撮影範囲を含んでいる前記2つの第2の画像に基づいて前記移動体の状態を計測する計測部とを備え、
    前記記憶部には、前記2つの撮影部の各露出が相違するように設定された前記2つの撮影部の各前記撮影条件が記憶されている
    状態計測装置。
  2. 前記撮影条件は、前記撮影部の露出に影響を与えるパラメータである絞り、露出時間、可変減光フィルタ、及び、アナログゲインの少なくとも一つのパラメータを含んでいる
    請求項1に記載の状態計測装置。
  3. 前記2つの撮影部の各撮影条件は、前記2つの撮影部の出力から得られる各輝度ヒストグラムの代表値の間にビット深度の1/4以上の差が生じるように設定されている
    請求項1又は2に記載の状態計測装置。
  4. 前記2つの撮影部の各前記撮影条件を環境情報、地図情報、及び時間情報の少なくとも1つの情報に基づいて調整する調整装置を備える
    請求項1〜3のいずれか一項に記載の状態計測装置。
  5. 前記環境情報には前記移動体の周囲の明るさを含む
    請求項4に記載の状態計測装置。
  6. 前記2つの第2の画像は、前記2つの撮影部のうちの同じ撮影部で撮影された画像である
    請求項1〜5のいずれか一項に記載の状態計測装置。
  7. 前記2つの第2の画像は、それぞれ異なる撮影部で撮影された画像であり、
    前記計測部は、前記2つの撮影部のうちの一方の撮影部の撮影範囲を他方の撮影部の撮影範囲と比較可能にする補正情報に基づいて前記一方の撮影部の前記第2の画像を補正することに基づいて前記移動体の状態を計測する
    請求項1〜5のいずれか一項に記載の状態計測装置。
  8. 前記計測部が計測する前記移動体の状態は、前記移動体の速度である
    請求項1〜7のいずれか一項に記載の状態計測装置。
  9. 前記走行面撮影部はさらに、前記2つの撮影部で同じタイミングで撮影した2つの前記第1の画像に基づいて計測された前記走行面撮影部の前記走行面からの高さを取得し、
    前記取得した走行面からの高さに基づいて、前記第1の画像に写っている前記走行面のスケールを算出する
    請求項1〜8のいずれか一項に記載の状態計測装置。
  10. 前記走行面撮影部は、前記2つの撮影部で同じタイミングで撮影した2つの前記第1の画像に基づいて計測された前記2つの第1の画像に含まれる複数箇所の高さを取得することに基づいて前記移動体の姿勢を計測する
    請求項1〜8のいずれか一項に記載の状態計測装置。
  11. 撮影画像に基づいて対象物の状態を計測する状態計測装置であって、
    前記対象物に固定された2つの撮影部を有する支持面撮影部であって、前記対象物が支持される支持面を前記2つの撮影部で同じタイミングで撮影する前記支持面撮影部と、
    前記撮影部が前記支持面を撮影する際に適用される前記撮影部の露出を規定する撮影条件を記憶する記憶部と、
    前記2つの撮影部が同じタイミングで撮影した2つの撮影画像をそれぞれ第1の画像とするとき、2つの前記第1の画像のうちから輝度ヒストグラムの分布がより広い一方の前記第1の画像を前記支持面撮影部における撮影タイミング毎に第2の画像として選択する選択部と、
    前記撮影タイミングが相違する2つの前記第2の画像であって、同じ撮影範囲を含んでいる前記2つの第2の画像に基づいて前記対象物の状態を計測する計測部とを備え、
    前記記憶部には、前記2つの撮影部の各露出が相違するように設定された前記2つの撮影部の各前記撮影条件が記憶されている
    状態計測装置。
JP2019078091A 2019-04-16 2019-04-16 状態計測装置 Active JP7174667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019078091A JP7174667B2 (ja) 2019-04-16 2019-04-16 状態計測装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019078091A JP7174667B2 (ja) 2019-04-16 2019-04-16 状態計測装置

Publications (2)

Publication Number Publication Date
JP2020178193A true JP2020178193A (ja) 2020-10-29
JP7174667B2 JP7174667B2 (ja) 2022-11-17

Family

ID=72937484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019078091A Active JP7174667B2 (ja) 2019-04-16 2019-04-16 状態計測装置

Country Status (1)

Country Link
JP (1) JP7174667B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500870A (zh) * 2021-12-30 2022-05-13 北京罗克维尔斯科技有限公司 图像处理方法、装置及电子设备
CN114500870B (zh) * 2021-12-30 2024-05-31 北京罗克维尔斯科技有限公司 图像处理方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304303A (ja) * 2003-03-28 2004-10-28 Fuji Heavy Ind Ltd 対象物認識装置および対象物認識方法
JP2017027220A (ja) * 2015-07-17 2017-02-02 日立オートモティブシステムズ株式会社 車載環境認識装置
WO2018225516A1 (ja) * 2017-06-07 2018-12-13 日立オートモティブシステムズ株式会社 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304303A (ja) * 2003-03-28 2004-10-28 Fuji Heavy Ind Ltd 対象物認識装置および対象物認識方法
JP2017027220A (ja) * 2015-07-17 2017-02-02 日立オートモティブシステムズ株式会社 車載環境認識装置
WO2018225516A1 (ja) * 2017-06-07 2018-12-13 日立オートモティブシステムズ株式会社 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500870A (zh) * 2021-12-30 2022-05-13 北京罗克维尔斯科技有限公司 图像处理方法、装置及电子设备
CN114500870B (zh) * 2021-12-30 2024-05-31 北京罗克维尔斯科技有限公司 图像处理方法、装置及电子设备

Also Published As

Publication number Publication date
JP7174667B2 (ja) 2022-11-17

Similar Documents

Publication Publication Date Title
CN109246364B (zh) 摄像装置调整方法及相关设备
US10860871B2 (en) Integrated sensor calibration in natural scenes
JP6657925B2 (ja) 車載カメラ・システム並びに画像処理装置
US10565459B2 (en) Retroreflectivity measurement system
US20130322697A1 (en) Speed Calculation of a Moving Object based on Image Data
CN108759823B (zh) 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法
JP2010537331A (ja) ビデオ画像のオンライン較正方法およびシステム
JP2017085551A (ja) ドローンに搭載されたカメラの露出時間を決定する方法、および関連するドローン
JP7463530B2 (ja) 機械視点を用いた工作機械上の装置の制御システムおよび方法
CN110293973B (zh) 驾驶支援系统
JP5910180B2 (ja) 移動物体位置姿勢推定装置及び方法
US20180205863A1 (en) Imaging apparatus
JP7172434B2 (ja) 撮像システム、撮像方法、及びプログラム
US20210231457A1 (en) Apparatus and method for collecting data for map generation, and vehicle
JP5328815B2 (ja) 撮像装置及び撮像方法
JP7174667B2 (ja) 状態計測装置
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
JP7182520B2 (ja) 状態計測装置
JP2014235022A (ja) ナビゲーション装置およびナビゲーション方法
JP7213158B2 (ja) 状態計測装置及び状態計測方法
JP2018194417A (ja) 位置推定装置、移動装置
JP2019203732A (ja) 状態計測装置
JP2014135612A (ja) カメラ露出設定装置及びカメラ露出設定プログラム
JP2014240785A (ja) 情報生成装置、情報生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R150 Certificate of patent or registration of utility model

Ref document number: 7174667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150