JP2010177780A - 撮像装置 - Google Patents

Abstract

【課題】物体等を適切な状態で撮像した画像を撮像可能とする撮像装置を提供する。
【解決手段】移動体に搭載され、当該移動体の周囲を撮像した撮像画像を取得する撮像手段と、撮像画像中において、移動体と同一軌道上を移動する他の移動体を示す補正基準画像を検出する補正基準画像検出手段と、撮像画像における少なくとも一部分の画像領域を出力範囲として設定する出力範囲設定手段と、出力範囲内の出力画像を出力する出力手段とを備え、出力範囲設定手段は、出力範囲の移動および回転の少なくとも一方を行って補正するための補正量を、補正基準画像に基づいて算出する補正量算出手段と、補正量に基づいて出力範囲の移動および回転の少なくとも一方を行って、当該出力範囲を補正する出力範囲補正手段とを含む、撮像装置である。
【選択図】図２

Description

本発明は撮像装置に関し、より特定的には、車両に搭載する撮像装置に関する。

従来、車両周囲の画像を撮像することを目的として車両に搭載される撮像装置が開発されている。一般的には、上記ような撮像装置で撮像された画像は、画像処理装置により処理され、車両周囲の障害物、人物、車線を示す白線等の検出に用いられる。そして、検出した車両周囲の障害物、人物、車線を示す白線等のデータに応じて車両を制御することによって、より安全な走行が可能となる。

ところで、上記のような撮像装置は、車両の走行中の振動等により、取り付け位置にずれが生じる場合がある。このようなずれが生じた場合、車両周囲の障害物、人物、車線を示す白線等を撮像範囲内に捉えることができなくなる可能性がある。そこで、近年、上記のような撮像装置の撮像範囲を補正する方法が開発されている。

上記のような撮像装置の撮像範囲を補正する方法が、例えば、特許文献１に開示されている。特許文献１に開示される撮像装置は、各時点で撮影した画像において、自車が走行する車線の両端を示す一対の車線区分線を検出し、当該区分線を各々延長して得られる交点を検出する。上記交点の画像中の位置は、車両が左右へ移動した場合、車両の動きに合わせて左右方向へ移動する。ここで、撮像装置がロール方向へ傾いていない場合、上記交点は略水平方向へ移動する。一方、撮像装置がロール方向へ傾いている場合、上記交点は当該傾きに応じて画像中斜め方向へ移動する。そこで、上記撮像装置は、上記交点の軌跡を直線近似し、当該近似直線の傾きから当該撮像装置のロール方向へのずれを検出する。そして、上記撮像装置は、撮像装置の撮像範囲を、検出した撮像装置のロール方向のずれに応じて補正する。

特開２００７−３４９８９号公報

しかしながら、上記特許文献１に開示される撮像装置のずれの補正方法では、撮像装置を搭載した自車両が左右へ移動しなければ、上記交点が移動することがなく、近似直線を求めることができない。そのため、上記特許文献１に開示される撮像装置では、例えば、車両が直進し続けている場合など、撮像装置のロール方向のずれを補正することができない場合がある。そのため、先行車や、車線を示す白線などの、車両の進行先に存在する物体を適切な状態で撮像した画像を取得することができない場合がある。

本発明は上記の課題を鑑みて成されたものであり、物体等を適切な状態で撮像した画像を取得可能とする撮像装置を提供することを目的とする。

上記の課題を解決するため、本願は以下の構成を採用した。すなわち、第１の発明は、移動体に搭載され、当該移動体の周囲を撮像した撮像画像を取得する撮像手段と、撮像画像中において、移動体と同一軌道上を移動する他の移動体を示す補正基準画像を検出する補正基準画像検出手段と、撮像画像における少なくとも一部分の画像領域を出力範囲として設定する出力範囲設定手段と、出力範囲内の出力画像を出力する出力手段とを備え、出力範囲設定手段は、出力範囲の移動および回転の少なくとも一方を行って補正するための補正量を、補正基準画像に基づいて算出する補正量算出手段と、補正量に基づいて出力範囲の移動および回転の少なくとも一方を行って、当該出力範囲を補正する出力範囲補正手段とを含む、撮像装置である。

第２の発明は、第１の発明において、補正量算出手段は、補正基準画像として撮像された他の移動体に対して縦方向に設けられる軸であり、当該軸を中心として当該他の移動体の左右が対称となる対称軸を検出する対称軸検出手段と、予め定められた出力範囲の基準軸と、対称軸とが成す角度を算出する角度算出手段と、出力範囲を回転させて補正する場合の回転方向の補正量を、少なくとも角度に基づいて算出する回転補正量算出手段とを含み、出力範囲補正手段は、出力範囲を、回転方向の補正量に応じて回転させて補正することを特徴とする。

第３の発明は、第１の発明において、補正量算出手段は、撮像画像中において、他の移動体が無限遠方へ進行した場合の到達点を算出する到達点算出手段と、予め定められた出力範囲の縦方向の基準軸から到達点までの距離に基づいて、出力範囲を撮像画像に対して左右方向に移動する補正量を算出する左右補正量算出手段とを含み、出力範囲補正手段は、出力範囲を、左右方向の補正量に応じて撮像画像に対して左右方向へ移動させて補正することを特徴とする。

第４の発明は、第１の発明において、補正量算出手段は、撮像画像中において、補正基準画像の中心点を検出する中心点検出手段と、予め定められた出力範囲の縦方向の基準軸から中心点までの距離に基づいて、出力範囲を撮像画像に対して左右方向に移動する補正量を算出する左右補正量算出手段とを含み出力範囲補正手段は、出力範囲を、左右方向の補正量に応じて撮像画像に対して左右方向へ移動させて補正することを特徴とする。

第５の発明は、第１の発明において、補正量算出手段は、撮像画像中において、他の移動体が無限遠方へ進行した場合の到達点を算出する到達点算出手段と、予め定められた出力範囲の縦方向の基準軸から到達点までの距離に基づいて、出力範囲を撮像画像に対して上下方向に移動する補正量を算出する上下補正量算出手段とを含み出力範囲補正手段は、出力範囲を、上下方向の補正量に応じて撮像画像に対して上下方向へ移動させて補正することを特徴とする。

第６の発明は、第１の発明において、補正量算出手段は、撮像画像中において、補正基準画像の中心点を検出する中心点検出手段と、予め定められた出力範囲の縦方向の基準軸から中心点までの距離に基づいて、出力範囲を撮像画像に対して上下方向に移動する補正量を算出する上下補正量算出手段とを含み出力範囲補正手段は、出力範囲を、上下方向の補正量に応じて上下方向へ移動させて撮像画像に対して補正することを特徴とする。

第７の発明は、第３または第５の発明において、補正量算出手段は、撮像画像中において、補正基準画像の左端点および当該補正基準画像の右端点をそれぞれ検出する端部検出手段と、左端点および右端点をそれぞれ記憶する端部記憶手段とを、さらに含み、到達点算出手段は、記憶された左端点の軌跡を直線近似して成る第１の直線と、記憶された右端点の軌跡を直線近似して成る第２の直線との交点を到達点として算出することを特徴とする。

第８の発明は、第１の発明において、移動体のヨーレートを取得するヨーレート取得手段と、移動体の速度を取得する速度取得手段とを、さらに備え、出力範囲設定手段は、補正量の算出に用いる係数を、速度が小さいほど係数が小さくなるよう、また、ヨーレートが大きいほど係数が小さくなるよう算出する係数算出手段を含み、補正量算出手段は、係数が小さい程、補正量を減少させて当該補正量を算出する補正量調整手段を含むことを特徴とする。

第９の発明は、第８の発明において、補正量調整手段は、係数の変化量が大きい場合、補正量の減少幅を大きくして当該補正量を算出することを特徴とする。

第１０の発明は、第１の発明において、移動体のヨーレートを取得するヨーレート取得手段を、さらに備え、補正量算出手段は、ヨーレートが予め定められた閾値以下である場合にのみ、補正量を算出することを特徴とする。

第１１の発明は、第１の発明において、移動体の速度を取得する速度取得手段を、さらに備え、補正量算出手段は、速度が予め定められた閾値以上である場合にのみ、補正量を算出することを特徴とする。

第１２の発明は、第１の発明において、移動体は、車両であり、補正基準画像検出手段は、撮像装置が搭載される車両と同一車線上を走行する先行車を示す補正基準画像を検出することを特徴とする。

第１３の発明は、移動体に搭載され、当該移動体の周囲を撮像した撮像画像を取得する撮像手段と、撮像画像中において、移動体と同一軌道上を移動する他の移動体を示す補正基準画像を検出する補正基準画像検出手段と、撮像画像の撮像範囲の移動および回転の少なくとも一方を行って補正するための補正量を、補正基準画像に基づいて算出する補正量算出手段と、撮像手段が撮像する方向を補正量に基づいて変化させることによって撮像範囲の移動および回転の少なくとも一方を行って、当該撮像範囲を補正する撮像範囲補正手段と、撮像画像における少なくとも一部分の画像領域を出力範囲として設定する出力範囲設定手段と、出力範囲内の出力画像を出力する出力手段とを備える、撮像装置である。

第１の発明によれば、略同一軌道上を移動する他の移動体の画像に基づいて撮像範囲が補正されるため、撮像装置が搭載される移動体の進行先に存在する物体等を適切な状態で撮像範囲に収めることが可能である。また、撮像範囲の補正のために、補正の基準となるターゲットを撮像装置の前に設置して撮影する必要がない。

第２の発明によれば、撮像装置の撮像面を前方とした場合に、撮像範囲をロール方向に回転して補正することができる。

第３の発明によれば、撮像画像において出力画像を取得する範囲を、撮像画像に対して左右方向に移動して補正することができる。すなわち、撮像装置の撮像面を前方とした場合に、ヨー方向に撮像装置を回転させて行う補正と同様の効果を得られる。また、同一軌道上に存在する他の移動体が無限遠方へ進行した場合の到達点に追従するように撮像範囲の位置が補正されるため、当該軌道の先を予測して撮像することができる。

第４の発明によれば、撮像画像において出力画像を取得する範囲を、撮像画像に対して左右方向に移動して補正することができる。すなわち、撮像装置の撮像面を前方とした場合に、ヨー方向に撮像装置を回転させて行う補正と同様の効果を得られる。また、同一軌道上の他の移動体に追従して、当該他の移動体を撮像画像の左右方向の略中心に捉えるよう、撮像範囲を補正することができる。

第５の発明によれば、撮像画像において出力画像を取得する範囲を、撮像画像に対して上下方向に移動して補正することができる。すなわち、撮像装置の撮像面を前方とした場合に、ピッチ方向に撮像装置を回転させて行う補正と同様の効果を得られる。また、同一軌道上に存在する他の移動体が無限遠方へ進行した場合の到達点に追従するように撮像範囲の位置が補正されるため、当該軌道の先を予測して撮像することができる。

第６の発明によれば、撮像画像において出力画像を取得する範囲を、撮像画像に対して上下方向に移動して補正することができる。すなわち、撮像装置の撮像面を前方とした場合に、ピッチ方向に撮像装置を回転させて行う補正と同様の効果を得られる。また、同一軌道上の他の移動体に追従して、当該他の移動体を撮像画像の上下方向の略中心に捉えるよう、撮像範囲を補正することができる。

第７の発明によれば、簡単な処理で、他の移動体の到達点を算出することができる。

第８の発明によれば、補正量の算出に用いる係数を、速度が小さいほど当該係数が小さくなるよう、また、ヨーレートが大きいほど当該係数が小さくなるよう算出できる。ここで、移動体の速度が遅く、且つヨーレートが大きい場合は、当該移動体は直進していない可能性が高い。したがって、上記の係数は、移動体が直進している可能性が高い場合に大きな値となり、移動体が直進している可能性が低い場合に小さな値となる。そして、移動体が直進していない状況では、撮像される他の移動体の画像が変形し易く、誤った補正が実行され易くなるため、当該状況では係数を小さくして補正量を小さくし、誤った補正が実行された場合の影響を小さくすることができる。

第９の発明によれば、係数が急激に増加した場合であっても、補正量の急激な増加を抑制することができる。すなわち、移動体の進行方向が激しく変化した場合でも、出力画像中において、撮影された物体の位置の急激な変動を抑制することができる。

第１０の発明によれば、移動体が直進している可能性が高い状況、すなわち、他の移動体を正確に検出し易く正確な補正が行い易い状況においてのみ、撮像範囲を補正することができる。

第１１の発明によれば、移動体が直進している可能性が高い状況、すなわち、他の移動体を正確に検出し易く正確な補正が行い易い状況においてのみ、撮像範囲を補正することができる。

第１２の発明によれば、撮像装置を車両に搭載し、撮像した先行車の画像に基づいて撮像範囲を補正することができる。

第１３の発明によれば、撮像装置を物理的に移動させる機構を備えることなく、撮像範囲を補正することができる。また、範囲の補正のために撮像装置を移動させるスペースを、搭載される移動体に空けておく必要がない。

撮像装置１、および、撮像装置１を搭載する車両１００の構成を示すブロック図の一例 制御装置１２が実行する処理を示すフローチャートの一例 周囲画像、および有効画像範囲Ｆの一例を示す図 画像範囲補正処理を示すフローチャートの一例 係数テーブルの一例を示す図 第１の実施形態に係るθ方向補正処理のサブルーチンを示すフローチャートの一例 回転補正後の有効画像範囲Ｆを示す図の一例 有効画像範囲Ｆの左端に先行車５００が撮影された周囲画像を示す図 第１の実施形態に係るＸ方向補正処理のサブルーチンを示すフローチャートの一例 Ｘ方向の補正後の有効画像範囲Ｆを示す図 第１の実施形態に係るＹ方向補正処理のサブルーチンを示すフローチャートの一例 有効画像範囲Ｆの下方に先行車５００が撮影された周囲画像を示す図 Ｙ方向の補正後の有効画像範囲Ｆを示す図 第２の実施形態に係る画像範囲補正処理を示すフローチャートの一例 第２の実施形態に係るθ方向補正処理のサブルーチンを示すフローチャートの一例 第２の実施形態に係るＸ方向補正処理のサブルーチンを示すフローチャートの一例 第２の実施形態に係るＹ方向補正処理のサブルーチンを示すフローチャートの一例

（第１の実施形態）
以下、本発明の第１の実施形態に係る撮像装置１について説明する。なお、第１の実施形態では、撮像装置１が車両１００に搭載される例について説明する。

先ず、撮像装置１、および、撮像装置１を搭載する車両１００の構成について、図１を参照して説明する。図１は、撮像装置１、および、撮像装置１を搭載する車両１００の構成を示すブロック図の一例である。図１に示すように、車両１００は、撮像装置１、車速計２１、ヨーレートセンサ２２、および車両制御装置２３を備える。撮像装置１は、イメージセンサ１１および制御装置１２を備える。

イメージセンサ１１は、例えばＣＣＤ（Charge Coupled Device）センサ等の一般的なイメージセンサである。イメージセンサ１１は、車両１００の周囲を撮像可能な位置に配置され、車両周囲の画像（以下、周囲画像と呼称する）を撮像する。なお、第１の実施形態においては、イメージセンサ１１により、車両１００の前方の画像が撮像される例について説明する。イメージセンサ１１は、撮像した周囲画像を制御装置１２へ出力する。

制御装置１２は、典型的には、ＣＰＵ（Central Processing Unit：中央処理装置）などの情報処理装置、メモリなどの記憶装置、およびインターフェース回路などを備える処理装置である。制御装置１２は、イメージセンサ１１、車速計２１、ヨーレートセンサ２２、および車両制御装置２３と接続される。制御装置１２の処理の詳細については後述するが、制御装置１２は、イメージセンサ１１から得られた周囲画像のうち、有効とする範囲（以下、有効画像範囲Ｆと呼称する）に含まれる画像（以下、有効画像と呼称する）のみを、当該画像を車両制御装置２３へ出力する。制御装置１２は、イメージセンサ１１、車速計２１、およびヨーレートセンサ２２から各々取得したデータに基づいて、有効画像範囲Ｆを補正する。

車速計２１は、車両１００の走行速度を計測する一般的なセンサ装置である。車速計２１は、車両１００の走行速度（以下、自車速度Ｖと呼称する）を計測し、当該速度を示すデータを制御装置１２に対して出力する。

ヨーレートセンサ２２は、車両１００のヨーレートを計測する一般的なセンサ装置である。ヨーレートセンサ２２は、車両１００のヨーレートωを計測し、当該ヨーレートωを示すデータを制御装置１２に対して出力する。

車両制御装置２３は、車両１００の動作を制御する装置である。車両制御装置２３は、制御装置１２から取得した有効画像を画像処理し、車両１００の周囲の物体を検出する。そして、車両制御装置２３は、検出した物体に応じて車両の走行を制御する。例えば、車両制御装置２３は、車両１００の前方に人を検出した場合には、車両１００の走行速度を減速させるなどの制御を行う。

次いで、制御装置１２の処理について図２を参照して説明する。図２は、制御装置１２が実行する処理を示すフローチャートの一例である。制御装置１２は、例えば、車両１００のイグニッション電源がオンに設定されている間、図２に示す処理を実行する。なお、制御装置１２は、車両１００が走行している場合にのみ図２に示す処理を実行しても構わない。制御装置１２は、図２のフローチャートの処理を開始すると、先ずステップＡ１の処理を実行する。

ステップＡ１において、制御装置１２は、自車速度Ｖを取得する。具体的には、制御装置１２は、車速計２１から出力される自車速度Ｖを示すデータを取得し、記憶装置に記憶する。ステップＡ１の処理を完了すると制御装置１２は処理をステップＡ２へ進める。

ステップＡ２において、制御装置１２は、自車速度Ｖが閾値Ｖｔｈより大きいか否かを判定する。閾値Ｖｔｈは、制御装置１２の記憶装置に予め記憶された任意の定数である。閾値Ｖｔｈには、例えば、６０ｋｍ／ｈ等の数値が設定される。制御装置１２は、記憶装置から、自車速度Ｖの値、および閾値Ｖｔｈの値を各々読み出し、自車速度Ｖの値と、当該閾値Ｖｔｈとの大きさを比較する。制御装置１２は、自車速度Ｖが閾値Ｖｔｈより大きいと判定した場合。処理をステップＡ３へ進める。一方、制御装置１２は、自車速度Ｖが閾値Ｖｔｈ未満であると判定した場合、処理をステップＡ７へ進める。

ステップＡ３において、制御装置１２は、ヨーレートωを取得する。具体的には、制御装置１２は、ヨーレートセンサ２２から出力されるヨーレートωを示すデータを取得し、記憶装置に記憶する。ステップＡ３の処理を完了すると制御装置１２は処理をステップＡ４へ進める。

ステップＡ４において、制御装置１２は、ヨーレートωが閾値ωｔｈより大きいか否かを判定する。閾値ωｔｈは、制御装置１２の記憶装置に予め記憶された任意の定数である。閾値ωｔｈには、例えば、４ｄｅｇ／ｓ等の数値が設定される。制御装置１２は、記憶装置からヨーレートωの値、および閾値ωｔｈの値を各々読み出し、ヨーレートωの値と閾値ωｔｈと、の大きさを比較する。制御装置１２は、ヨーレートωが閾値Ｖｔｈより大きいと判定した場合。処理をステップＡ３へ進める。一方、制御装置１２は、自車速度Ｖが閾値Ｖｔｈ以下であると判定した場合、処理をステップＡ７へ進める。

ステップＡ５において、制御装置１２は、先行車を検出したか否かを判定する。具体的には、制御装置１２は、イメージセンサ１１から取得した周囲画像中の有効画像範囲Ｆ内において、先行車が撮影されているか否かを当該周囲画像を画像処理して判定する。

図３は、周囲画像、および有効画像範囲Ｆの一例を示す図である。以下では、周囲画像において左下端を原点とし、横方向をＸ軸、縦方向をＹ軸とする座標系を定義して説明する。また、有効画像範囲Ｆは長方形を成すものとする。また、以下では周囲画像中に先行車５００、白線６０１、および白線６０２が各々撮像されている例について説明する。なお、白線６０１、および白線６０２は、道路上において車両１００が走行する車線（以下、自車走行車線と呼称する）を示す白線である。また、先行車５００は、車両１００と同じ車線で前方を走行する車両である。

制御装置１２は、例えば、有効画像範囲Ｆ内で、輝度値が所定値より明るく、且つ所定面積以上である領域を先行車５００として検出する。そして、制御装置１２は、有効画像範囲Ｆ中で上記の条件に適合する領域が存在する場合、先行車５００が撮像されていると判定する。制御装置１２は、先行車を検出したと判定した場合、処理をステップＡ６へ進める。一方、制御装置１２は、先行車を検出していないと判定した場合、処理をステップＡ７へ進める。

なお、上記先行車の検出方法は一例であり、制御装置１２は、従来既知の任意の画像処理手法を用いて周囲画像中の先行車を検出しても構わない。例えば、制御装置１２は、予め一般的な車両形状を示すテンプレート画像を記憶しておき、有効画像範囲Ｆ中において、当該テンプレート画像と一致する領域が存在する場合、先行車５００が撮像されていると判定する等しても構わない。また、上記では、制御装置１２がイメージセンサ１１から取得した画像に基づいて先行車を検出する例について説明したが、制御装置１２は、当該画像以外のデータを用いて先行車の有無を判定しても構わない。例えば、車両１００が、前方の物体を検出するレーダー装置を備えている場合、制御装置１２は、当該レーダー装置による物体の検出情報を用いて、先行車の有無を判定しても構わない。さらに、制御装置１２は、上記画像情報とレーダー装置による検出情報を組み合わせて、先行車の有無を判定しても構わない。

上記ステップＡ１からステップＡ５の処理によれば、制御装置１２は、自車速度Ｖが閾値Ｖｔｈ以上であり、且つヨーレートωが閾値ωｔｈより小さい場合であって、且つ先行車が検出されている場合にのみ、後述ステップＡ６の処理を実行して有効画像範囲Ｆを補正する。ここで、一般的に、車両が直進走行している場合、カーブ走行等している場合に比べ、自車速度Ｖが大きくなり、また、ヨーレートωが小さくなる。したがって、上記ステップＡ１からステップＡ５の処理によれば、制御装置１２は、車両１００が直進走行している可能性が高い場合であって、且つ先行車を検出した場合にのみ有効画像範囲Ｆを補正する。詳細は後述するが、制御装置１２は、周囲画像中の先行車の画像に基づいて有効画像範囲Ｆの補正を行うため、周囲画像中で先行車を正確に検出することが望ましい。そして、車両１００が直進走行している場合、カーブ走行等している場合に比べ、周囲画像中の先行車５００の画像の形状が変形し難く、先行車５００を正確に検出し易い。したがって、上記ステップＡ１からステップＡ５の処理によれば、制御装置１２は、当該有効画像範囲Ｆを適切なタイミングで補正することができる。

一方、制御装置１２は、自車速度Ｖが閾値Ｖｔｈ未満である場合や、ヨーレートωが閾値ωｔｈ以上である場合、または、先行車が検出されていない場合は、後述ステップＡ６の処理を省略して、後述のステップＡ７の処理を実行する。

ステップＡ６において、制御装置１２は、画像範囲補正処理を実行する。画像範囲補正処理は有効画像範囲Ｆを補正する処理である。以下、図４を参照して画像範囲補正処理について説明する。図４は、画像範囲補正処理を示すフローチャートの一例である。制御装置１２は、画像範囲補正処理を開始するとステップＡ６０の処理を実行する。

ステップＡ６０において、制御装置１２は、補正係数ｋを算出する。補正係数ｋは、後述の有効画像範囲Ｆを補正する処理において、補正量の算出に用いる係数である。制御装置１２は、予め記憶装置に記憶した係数テーブルに基づいて補正係数ｋを算出する。

図５は、係数テーブルの一例を示す図である。係数テーブルにおいて、各行は自車速度Ｖの値に対応する。具体的には、１行目は６０≦Ｖ＜８０に、２行目は８０≦Ｖ＜１００に、３行目は１００≦Ｖ＜１２０に、４行目は１２０≦Ｖに、各々対応する。また、係数テーブルにおいて、各列はヨーレートωの値に対応する。具体的には、１列目は０≦ω＜２に、２列目は２≦ω＜４に、３列目は４≦ωに各々対応する。そして、各行に示す自車速度Ｖ、および各列に示すヨーレートωの値に各々対応する補正係数ｋの値が、対応するセルに格納される。

例えば、制御装置１２は、上記処理において取得した自車速度Ｖの値が９２ｋｍ／ｈである場合、係数テーブルにおいて、当該自車速度Ｖの値に対応する２行目のセルを参照する。また、制御装置１２は、上記処理において取得したヨーレートωの値が２．７ｄｅｇ／ｓである場合、当該ヨーレートωの値に対応する２列目のセルを参照する。このようにして、制御装置１２は、２行２列目のセルを参照して、補正係数ｋの値を４として算出する。

なお、係数テーブルにおいて、補正係数ｋの値は、自車速度Ｖの値が大きくなるほど、大きくなるよう設定される。また、係数テーブルにおいて、補正係数ｋの値は、ヨーレートωの値が小さくなるほど、大きくなるよう設定される。このように補正係数ｋを、自車速度Ｖおよびヨーレートωの値に応じて設定することにより、車両１００が直進走行している可能性が高い場合に補正量（後述の、角度補正量θＴ、Ｘ方向補正量ＸＴ、Ｙ方向補正量ＹＴ）を大きくし、車両１００が直進走行していない可能性が高い場合には補正量を小さくすることができる。ここで、上述の通り、車両１００が直進走行していない場合、車両１００が直進走行している場合に比べ、正確な補正が困難となる。したがって、車両１００が直進走行していない状況、すなわち正確な補正が困難な状況では、上記のように係数ｋを小さくして補正量を小さくすることで、誤った補正がされてもその影響を小さく抑えることがきる。

なお、上記ステップＡ６０の処理では、制御装置１２が自車速度Ｖおよびヨーレートωの値に応じて補正係数ｋを算出する例について説明したが、制御装置１２は、自車速度Ｖおよびヨーレートωの何れか一つの値に応じて補正係数ｋを算出しても構わない。

ステップＡ６０の処理を完了すると、制御装置１２は、処理をステップＡ６１へ進める。

ステップＡ６１において、制御装置１２は、先行車５００の輪郭形状を取得する。具体的には、イメージセンサ１１から取得した周囲画像中で、先行車の輪郭を示すピクセルの位置を各々検出する。例えば、制御装置１２は、上記ステップＡ５の処理において検出した先行車の近傍において、隣り合うピクセルとの輝度値の差が所定値より大きな箇所を先行車の輪郭として検出する。なお、上記輪郭の検出方法は一例であり、制御装置１２は従来既知の任意の手法を用いて上記輪郭を検出して構わない。ステップＡ６１の処理を完了すると、制御装置１２は処理をステップＡ６２へ進める。

ステップＡ６２において、制御装置１２は、θ方向補正処理のサブルーチンを実行する。θ方向補正処理は、有効画像範囲を回転させて補正する処理である。以下、図６を参照してθ方向補正処理のサブルーチンについて説明する。なお、図６は、θ方向補正処理のサブルーチンを示すフローチャートの一例である。制御装置１２は、θ方向補正処理を開始すると、先ず、図６のステップＡ６２１の処理を実行する。

ステップＡ６２１において、制御装置１２は、先行車画像の対称軸ＡＳを算出する。一般的な車両は、概ね左右対称的な外観形状をしているため、当該車両を撮影した画像中において、対称軸を定義することができる。制御装置１２は、ステップＡ６１において取得した先行車の輪郭に基づいて、周囲画像中における当該先行車の画像の対称軸ＡＳを算出する。なお、図３では対称軸ＡＳを破線で示す。ステップＡ６２１の処理を完了すると、制御装置１２は、処理をステップＡ６２２へ進める。

ステップＡ６２２において、制御装置１２は、先行車の中心点ＣＰの位置を算出する。中心点ＣＰは、周囲画像中における先行車の画像の中心点である（図３参照）。制御装置１２は、ステップＡ６１において取得した先行車の輪郭に基づいて、中心点ＣＰの位置を算出する。例えば、制御装置１２は、上記輪郭の左右端点を結ぶ直線と、上記輪郭の上下端点を結ぶ直線との交点を、中心点ＣＰとして算出する。なお、上記中心点ＣＰの検出方法は一例であり、制御装置１２は、従来既知の任意の手法を用いて中心点ＣＰを算出して構わない。制御装置１２は、ステップＡ６２２の処理を完了すると、処理をステップＡ６２３へ進める。

ステップＡ６２３において、制御装置１２は、角度ずれ量Δθを算出する。角度ずれ量Δθは、基準軸Ｂａと対称軸ＡＳとが成す角度である（図３参照）。基準軸Ｂａは後述ステップＡ１８６において周囲画像中で定義され、記憶装置に記憶される軸線である。制御装置１２は、当該基準軸Ｂａと上記処理において算出した対称軸ＡＳとが成す角度を、角度ずれ量Δθとして算出する。なお、対称軸ＡＳが基準軸Ｂａから時計回りに回転している場合、Δθの値が正の値となるものとし、対称軸ＡＳが基準軸Ｂａから反時計回りに回転している場合、Δθの値が負の値となるものとする。また、基準軸Ｂａが未定義である場合、前記制御装置１２は、例えば、中心点ＣＰを通るＹ軸方向の直線を基準軸Ｂａとして定義する。なお、上記基準軸Ｂａの初期位置の定義方法は一例であり、基準軸Ｂａの初期定義は任意に定義して構わない。ステップＡ６２３の処理を完了すると、制御装置１２は、処理をステップＡ６２４へ進める。

ステップＡ６２４において、制御装置１２は、補正係数ｋおよび角度ずれ量Δθに基づき角度補正量θＴを算出する。角度補正量θＴは、有効画像範囲Ｆを補正する際に用いる回転方向の補正量である。制御装置１２は、角度補正量θＴを下式（１）に基づいて算出する。
θＴ＝ｋ×Δθ …（１）
ステップＡ６２４の処理を完了すると、制御装置１２は、処理をステップＡ６２５へ進める。

ステップＡ６２５において、制御装置１２は、有効画像範囲Ｆを回転補正する。具体的には、制御装置１２は、有効画像範囲Ｆを、中心点ＣＰを中心として角度補正量θＴだけ回転させる。なお、制御装置１２は、θＴの値が正である場合は、有効画像範囲Ｆを時計回りに回転させ、θＴの値が負である場合は、有効画像範囲Ｆを反時計回りに回転させる。ステップＡ６２５の処理を完了すると、制御装置１２は、処理をステップＡ６２６へ進める。

ステップＡ６２６において、制御装置１２は基準軸Ｂａを更新する。具体的には、基準軸Ｂａを、中心点ＣＰを中心に角度補正量θＴだけ回転させた位置に、当該基準軸Ｂａの位置を更新する。例えば、図３において、更新前の基準軸Ｂａの位置が実線で示す基準軸Ｂａ１であった場合、更新後の基準軸Ｂａの位置は、図３中一点鎖線で示すＢａ２の位置に設定される。ステップＡ６２６の処理を完了すると、制御装置１２は、処理を図４のフローチャートのステップＡ６３へ進める。

例えば、イメージセンサ１１から図３のように、周囲画像の左右方向と、水平方向とが互いに傾いてずれている周囲画像を取得している場合を想定する。このような場合、制御装置１２は、上記θ方向補正処理に基づいて、有効画像範囲Ｆを図７に示すように回転して補正する。図７は、回転補正後の有効画像範囲Ｆを示す図である。図３に示す補正前の有効画像範囲Ｆでは、先行車５００の画像は有効画像範囲Ｆに対して傾いた状態で当該範囲内に含まれている。そのため、有効画像範囲Ｆが補正されない場合、後述ステップＡ８の処理において、先行車５００がロール方向へ傾いた状態で撮像された有効画像が生成されてしまう。一方、図７に示すように、補正後の有効画像範囲Ｆでは、先行車５００の画像は有効画像範囲Ｆに対して概ね直立した状態で当該範囲内に含まれる。そのため、後述ステップＡ８の処理において、制御装置１２は、先行車５００が概ね直立した状態で撮像された有効画像を生成することができる。このように、上記θ方向補正処理によれば、例えば、イメージセンサ１１の取り付け状態が、撮像面を前面として、ロール方向へずれる等して、周囲画像の左右方向と、水平方向とが当該ロール方向へ互いにずれた周囲画像が取得されている場合であっても、先行車５００が概ね直立した状態で撮像された有効画像を取得することが可能である。

なお、上記では、制御装置１２が、角度ずれ量Δθを対称軸ＡＳと基準軸Ｂａに基づいて算出する例について説明したが、制御装置１２は、対称軸ＡＳを基準として対称な位置に存在する２点を結ぶ直線を算出し、当該直線と基準軸Ｂａとが成す角度を、角度ずれ量Δθとして算出しても構わない。なお、このような処理で角度ずれ量を算出する場合、前記制御装置１２は、例えば、中心点ＣＰを通るＸ軸方向の直線を基準軸Ｂａとして定義する。

図４の説明に戻り、ステップＡ６３において、制御装置１２は、先行車の左端点ＥＬおよび右端点ＥＲの位置を検出する。具体的には、制御装置１２は、上述の処理で取得した先行車の輪郭のうち最も左側の端点を左端点ＥＬとして検出し、同輪郭のうち最も右側の端点を右端点ＥＲとして検出して、各点の座標を記憶装置に記憶する。記憶された左端点ＥＬおよび右端点ＥＲの情報は、後述ステップＡ７の処理において初期化されるまで、記憶装置に保持される。ステップＡ６３の処理を完了すると、制御装置１２は処理をステップＡ６４へ進める。

ステップＡ６４において、制御装置１２は、前回以前に検出した先行車の左端点ＥＬおよび右端点ＥＲの位置を記憶しているか否かを判定する。具体的には、制御装置１２は、直前のステップＡ６３の処理において先行車の左端点ＥＬおよび右端点ＥＲの位置を検出する以前の時点で検出した、左端点ＥＬおよび右端点ＥＲの位置を記憶装置が記憶しているか否かを判定する。制御装置１２は、左端点ＥＬおよび右端点ＥＲの位置を記憶装置が記憶している場合、前回以前に検出した先行車の左端点ＥＬおよび右端点ＥＲの位置を記憶していると判定して処理をステップＡ６５へ進める。一方、制御装置１２は、左端点ＥＬおよび右端点ＥＲの位置を記憶装置が記憶していない場合、前回以前に検出した先行車の左端点ＥＬおよび右端点ＥＲの位置を記憶していないと判定して処理をステップＡ６７へ進める。

ステップＡ６５において、制御装置１２は、近似直線ＬＬおよび近似直線ＬＲを算出する。近似直線ＬＬは、左端点ＥＬの軌跡を直線近似した直線である。また、近似直線ＬＲは、右端点ＥＲの軌跡を直線近似した直線である。図８に、近似直線ＬＬおよび近似直線ＬＲを示す。図８は有効画像範囲Ｆの左端に先行車５００が撮影された周囲画像を示す図である。制御装置１２は、記憶装置に記憶した左端点ＥＬの位置情報に基づいて近似直線ＬＬを算出する。また、制御装置１２は、記憶装置に記憶した右端点ＥＲの位置情報に基づいて近似直線ＬＲを算出する。ステップＡ６５の処理を完了すると、制御装置１２は処理をステップＡ６６へ進める。

なお、上記では、制御装置１２が過去に記憶した左端点ＥＬおよび右端点ＥＲに基づいて、近似直線ＬＬおよび近似直線ＬＲを算出する例について説明したが、制御装置１２は、過去の左端点ＥＬおよび右端点ＥＲを記憶することなく、現時点の左端点ＥＬおよび右端点ＥＲに基づいて、近似直線ＬＬおよび近似直線ＬＲを算出しても構わない。例えば、制御装置１２は、現時点の左端点ＥＬを通り、先行車５００の左側の白線６０１に平行な直線を近似直線ＬＬとして算出しても構わない。同様に、制御装置１２は、現時点の左端点ＥＲを通り、先行車５００の左側の白線６０２に平行な直線を近似直線ＬＲとして算出しても構わない。また、制御装置１２は、現時点の左端点ＥＬおよび右端点ＥＲに基づいて、現時点以後の左端点ＥＬおよび右端点ＥＲの位置を従来既知の任意の手法で外挿し、当該位置に基づいて近似直線ＬＬおよび近似直線ＬＲを算出しても構わない。

ステップＡ６６において、制御装置１２は、交点ＮＰの位置を算出する。交点ＮＰは、近似直線ＬＬおよび近似直線ＬＲの交点である。制御装置１２は、上記の処理で算出した近似直線ＬＬおよび近似直線ＬＲに基づいて交点ＮＰの位置を算出する。ステップＡ６６の処理を完了すると、制御装置１２は、処理をステップＡ６８へ進める。

上記ステップＡ６３からステップＡ６６の処理により算出される交点ＮＰは、車両１００および先行車５００の進行先を示す点である。なお、上記に示した交点ＮＰを算出する処理は一例であり、制御装置１２は、周囲画像中における上記のような車両１００および先行車５００の進行先を示す点を、従来既知の任意の手法で算出して構わない。

ステップＡ６７において、制御装置１２は、先行車の中心点ＣＰを交点ＮＰとして設定する。具体的には、制御装置１２は、上述ステップＡ６２２において算出した中心点ＣＰの位置座標を、交点ＮＰの位置座標として設定する。ステップＡ６７の処理を完了すると、制御装置１２は、処理をステップＡ６８へ進める。

上記ステップＡ６４および、ステップＡ６７の処理によれば、制御装置１２は、左端点ＥＬおよび右端点ＥＲが記憶していない場合であっても、交点ＮＰの座標を設定することができる。そして、制御装置１２は、後述ステップＡ６８およびステップＡ６９の処理において、有効画像範囲ＦのＸ方向の補正量、およびＹ方向の補正量を交点ＮＰの座標に基づいて算出することができる。

ステップＡ６８において、制御装置１２は、Ｘ方向補正処理のサブルーチンを実行する。以下、図９を参照してＸ方向補正処理のサブルーチンについて説明する。図９はＸ方向補正処理のサブルーチンを示すフローチャートの一例である。制御装置１２は、Ｘ方向補正処理を開始すると、先ずステップＡ６８１の処理を実行する。

ステップＡ６８１において、制御装置１２は、Ｘ方向ずれ量ΔＸを算出する。Ｘ方向ずれ量ΔＸは、基準軸Ｂｘから交点軸Ｎｘまでの距離である（図８参照）。基準軸Ｂｘは、後述ステップＡ６８４において周囲画像中で定義され、記憶装置に記憶されるＹ軸方向の軸線である。なお、図８では、現時点における基準軸Ｂｘを基準軸Ｂｘ１として示す。交点軸Ｎｘは、交点ＮＰを通るＹ軸方向の軸線である。制御装置１２は、交点ＮＰの位置から交点軸Ｎｘを算出し、予め記憶した基準軸Ｂｘの位置を読み出して、Ｘ方向ずれ量ΔＸを算出する。具体的には、制御装置１２は、基準軸Ｂｘを示すＸ座標から交点軸Ｎｘを示すＸ座標を減算した値をＸ方向ずれ量ΔＸの値として算出する。なお、後述ステップＡ６８４の処理が未実行である場合、基準軸Ｂｘの位置は、予め任意に定められた初期位置に設定されるものとする。例えば、上記初期位置は、有効画像範囲Ｆの中心点を通る位置に設定されるものとする。ステップＡ６８１の処理を完了すると、制御装置１２は、処理をステップＡ６８２へ進める。

ステップＡ６８２において、制御装置１２は、補正係数ｋおよびＸ方向ずれ量ΔＸに基づいて、Ｘ方向補正量ＸＴを算出する。Ｘ方向補正量ＸＴは、有効画像範囲Ｆ有効画像範囲Ｆを補正する際に用いるＸ方向の補正量である。制御装置１２は、Ｘ方向補正量ＸＴを下式（２）に基づいて算出する。
具体的には、制御装置１２は、
ＸＴ＝ｋ×ΔＸ …（２）
ステップＡ６８２の処理を完了すると、制御装置１２は、処理をステップＡ６８３へ進める。

ステップＡ６８３において、制御装置１２は、有効画像範囲ＦをＸ方向に補正する。具体的には、制御装置１２は、有効画像範囲Ｆを、Ｘ方向補正量ＸＴだけＸ方向へ移動させる。ステップＡ６８３の処理を完了すると、制御装置１２は、処理をステップＡ６８４へ進める。

ステップＡ６８４において、制御装置１２は、基準軸Ｂｘを更新する。具体的には、制御装置１２は、基準軸Ｂｘの位置を、Ｘ方向補正量ＸＴだけＸ方向へ移動させた位置に更新する。例えば、図８において、更新前の基準軸Ｂｘの位置を基準軸Ｂｘ１とすると、更新後の基準軸Ｂｘの位置は基準軸Ｂｘ２で示される。ステップＡ６８４の処理を完了すると、制御装置１２はＸ方向補正処理のサブルーチンを終了し、図４のフローチャートのステップＡ６９へ処理を進める。

例えば、イメージセンサ１１から図８に示す周囲画像を取得している場合、制御装置１２は、上記Ｘ方向補正処理に基づいて、有効画像範囲Ｆを図１０に示すようにＸ方向へ移動して補正する。図１０は、Ｘ方向の補正後の有効画像範囲Ｆを示す図である。図８に示す補正前の有効画像範囲Ｆにおいては、先行車５００および自車走行車線が、当該範囲中左端に含まれる。そのため、上記Ｘ方向補正処理が行われない場合、後述ステップＡ８の処理で生成される有効画像中において、先行車５００および自車走行車線が左端に撮影されて、車両１００の左前方に存在する物体を有効画像中に捉えることができない場合がある。一方、上記Ｘ方向補正処理によれば、有効画像範囲Ｆが、交点ＮＰに追従して移動する。そのため、図１０に示すように、制御装置１２は、補正後の有効画像範囲Ｆ中において、先行車５００および自車走行車線を、補正前に比べ中央寄りに捉えることができる。したがって、制御装置１２は、後述ステップＡ８の処理において、先行車５００および自車走行車線を略中央に撮像された有効画像を生成することができる。このように、上記Ｘ方向補正処理によれば、例えば、イメージセンサ１１の取り付け状態が、ヨー方向へ傾いていたり、左右方向へずれていたりする場合であっても、有効画像範囲Ｆを左右方向へ補正して、自車の進行先の物体を略中央に撮像した有効画像を取得することが可能である。

ステップＡ６９において、制御装置１２は、Ｙ方向補正処理のサブルーチンを実行する。以下、図１１を参照してＹ方向補正処理のサブルーチンについて説明する。図１１はＹ方向補正処理のサブルーチンを示すフローチャートの一例である。制御装置１２は、Ｙ方向補正処理を開始すると、先ずステップＡ６９１の処理を実行する。

ステップＡ６９１において、制御装置１２は、Ｙ方向ずれ量ΔＹを算出する。Ｙ方向ずれ量ΔＹは、基準軸Ｂｙから交点軸Ｎｙまでの距離である。図１２において、周囲画像中におけるＹ方向ずれ量ΔＹ、基準軸Ｂｙ、および交点軸Ｎｙを図示する。なお、図１２は、有効画像範囲Ｆの下方に先行車５００が撮影された周囲画像を示す図である。基準軸Ｂｙは、後述ステップＡ６９４において周囲画像中で定義され、記憶装置に記憶されるＹ軸方向の軸線である。なお、図１２では、現時点における基準軸Ｂｙを基準軸Ｂｙ１として示す。交点軸Ｎｙは、交点ＮＰを通るＹ軸方向の軸線である。制御装置１２は、交点ＮＰの位置から交点軸Ｎｙを算出し、予め記憶した基準軸Ｂｙの位置を読み出して、Ｙ方向ずれ量ΔＹを算出する。具体的には、制御装置１２は、基準軸Ｂｙを示すＹ座標から交点軸Ｎｙを示すＹ座標を減算した値をＹ方向ずれ量ΔＹの値として算出する。なお、後述ステップＡ６９４の処理が未実行である場合、基準軸Ｂｙの位置は、予め任意に定められた初期位置に設定されるものとする。例えば、上記初期位置は、有効画像範囲Ｆの中心点を通る位置に設定されるものとする。ステップＡ６９１の処理を完了すると、制御装置１２は、処理をステップＡ６９２へ進める。

ステップＡ６９２において、制御装置１２は、補正係数ｋおよびＹ方向ずれ量ΔＹに基づいて、Ｙ方向補正量ＹＴを算出する。Ｙ方向補正量ＹＴは、有効画像範囲Ｆ有効画像範囲Ｆを補正する際に用いるＹ方向の補正量である。制御装置１２は、Ｙ方向補正量ＹＴを下式（３）に基づいて算出する。
具体的には、制御装置１２は、
ＹＴ＝ｋ×ΔＹ …（３）
ステップＡ６９２の処理を完了すると、制御装置１２は、処理をステップＡ６９３へ進める。

ステップＡ６９３において、制御装置１２は、有効画像範囲ＦをＹ方向に補正する。具体的には、制御装置１２は、有効画像範囲Ｆを、Ｙ方向補正量ＹＴだけＹ方向へ移動させる。ステップＡ６９３の処理を完了すると、制御装置１２は、処理をステップＡ６９４へ進める。

例えば、イメージセンサ１１から図１２に示す周囲画像を取得している場合、制御装置１２は、上記Ｙ方向補正処理に基づいて、有効画像範囲Ｆを図１３に示すようにＹ方向へ移動して補正する。図１３は、Ｙ方向の補正後の有効画像範囲Ｆを示す図である。図８に示す補正前の有効画像範囲Ｆにおいては、車両前方上方の画像が含まれ、車両１００の近傍が当該範囲に含まれない。そのため、上記Ｙ方向補正処理が行われない場合、後述ステップＡ８の処理で生成される有効画像中において、車両前方上方撮影されて、車両１００の近傍に存在する物体を有効画像中に捉えることができない場合がある。一方、上記Ｙ方向補正処理によれば、有効画像範囲Ｆが、交点ＮＰに追従して移動する。そのため、図１３に示すように、制御装置１２は、補正後の有効画像範囲Ｆ中において、車両１００の進行先を、補正前に比べ中央寄りに捉えることができる。したがって、制御装置１２は、後述ステップＡ８の処理において、先行車５００および自車走行車線を略中央に撮像された有効画像を生成することができる。このように、上記Ｙ方向補正処理によれば、例えば、イメージセンサ１１の取り付け状態が、車両１００に対してピッチ方向へ傾いていたり、上下方向へずれている場合であっても、有効画像範囲Ｆを上下方向へ補正して、自車の進行先の物体を略中央に撮像した有効画像を取得することが可能である。

ステップＡ６９４において、制御装置１２は、基準軸Ｂｙを更新する。具体的には、制御装置１２は、基準軸Ｂｙの位置を、Ｙ方向補正量ＹＴだけＹ方向へ移動させた位置に更新する。例えば、図１２において、更新前の基準軸Ｂｙの位置を基準軸Ｂｙ１とすると、更新後の基準軸Ｂｙの位置は基準軸Ｂｙ２で示される。ステップＡ６９４の処理を完了すると、制御装置１２はＹ方向補正処理のサブルーチン、および図４の画像範囲補正処理を終了し、処理を図２のステップＡ８へ進める。

上記画像範囲補正処理によれば、有効画像範囲Ｆの位置を周囲画像に対して上下方向、および左右方向移動させ、また回転させて補正することができる。

図２の説明に戻り、ステップＡ７において、制御装置１２は、記憶した左端点ＥＬ、および右端点ＥＲのデータを初期化する。ステップＡ７の処理を完了すると、制御装置１２は、処理をステップＡ８へ進める。

先行車５００が検出されなくなった場合や、車両１００が右左折した場合、車両１００の走行環境が変わっている可能性がある。したがって、上記のような場合、次回画像範囲補正処理を行う際には、過去の左端点ＥＬ、および右端点ＥＲの情報を考慮せずに近似直線ＬＬおよび近似直線ＬＲを算出した方が、交点ＮＰを正確に算出することができる。上記ステップＡ７の処理によれば、先行車５００が検出されなくなった場合や、車両１００がカーブ走行中の場合、記憶した左端点ＥＬ、および右端点ＥＲが一旦初期化されるため、交点ＮＰを適切に算出することができる。

ステップＡ８において、制御装置１２は、有効画像を出力する。具体的には、制御装置１２は、周囲画像のうち、有効画像範囲Ｆに含まれる画像を有効画像として取得し、車両制御装置２３へ出力する。車両制御装置２３は、上述の通り、受信した有効画像に基づいて車両１００を制御する。なお、制御装置１２は、車両制御装置２３以外の装置に有効画像を出力しても構わない。例えば、車両１００に画像を表示する表示装置が備えられている場合、当該表示装置へ有効画像を出力して、当該有効画像を表示させても構わない。ステップＡ８の処理を完了すると、制御装置１２は処理をステップＡ９へ進める。

ステップＡ９において、制御装置１２は、終了処理が実行されたか否かを判定する。具体的には、制御装置１２は、例えば、車両１００のイグニッション電源がオフに設定されるなど、撮像装置１の動作を終了する処理する操作がユーザーにより実行されたか否かを判定する。制御装置１２は、終了処理が実行されたと判定した場合、図２のフローチャートの処理を終了する。一方、制御装置１２は、終了処理が実行されていないと判定した場合、処理をステップＡ１へ戻す。

以上より、本実施形態に係る撮像装置１によれば、撮像した画像中における先行車の位置に基づいて、有効画像範囲Ｆを補正することができる。したがって、車両１００の進行先に存在する物体を撮像範囲内に収めることができる。

（第２の実施形態）
上記実施形態では、制御装置１２が画像範囲補正処理において、角度補正量θＴ、Ｘ方向補正量ＸＴ、およびＹ方向補正量ＹＴを、各時点における補正係数ｋに基づいて各々算出する例について説明したが、制御装置１２は、過去に算出した補正係数ｋの値を学習して算出した学習係数に基づいて、角度補正量θＴ、Ｘ方向補正量ＸＴ、およびＹ方向補正量ＹＴを算出しても構わない。以下、第２の実施形態に係る、撮像装置について説明する。

なお、第２の実施形態に係る撮像装置の構成は、上記第１の実施形態に係る撮像装置と同様であるので、詳細な説明を省略する。また、第２の実施形態に係る制御装置１２の処理は、ステップＡ６の画像範囲補正処理を除いた、ステップＡ１乃至ステップＡ５の処理およびステップＡ７乃至ステップＡ９の処理は上述第１の実施形態と同様である。したがって以下では、第２の実施形態において制御装置１２が実行する画像範囲補正処理について説明し、ステップＡ１乃至ステップＡ５の処理およびステップＡ７乃至ステップＡ９の処理については説明を省略する。図１４は、第２の実施形態に係る画像範囲補正処理を示すフローチャートの一例である。制御装置１２は、図１４のフローチャートの処理を開始すると先ずステップＢ６０の処理を実行する。

ステップＢ６０において、制御装置１２は、上記ステップＡ６０と同様にして補正係数ｋを算出する。ステップＢ６０の処理を完了すると、制御装置１２は、処理をステップＢ６１へ進める。

ステップＢ６１において、制御装置１２は、学習係数ｋＬを算出する。具体的には、先ず、制御装置１２は、係数加算値ｋＡに補正係数ｋを加算する。係数加算値ｋＡは、記憶装置に記憶される数値である。例えば、係数加算値ｋＡの初期値は０に予め設定される。上記係数加算値ｋＡに補正係数ｋを加算する処理が繰り返されることにより、係数加算値ｋＡは、過去に算出した補正係数ｋを合算した値となる。そして、制御装置１２は、学習係数ｋＬを下式（４）に基づいて算出する。
ｋＬ＝α×ｋ／ｋＡ …（４）
なお、式（４）中において、αは、予め定められた任意の定数を示し、補正係数ｋは上述図５に示す係数テーブルに基づいて算出された係数である。上記のようにして算出された学習係数ｋＬは、過去の補正係数ｋの値に反比例し、現在の補正係数ｋの値に比例する数値となる。ステップＢ６１の処理を完了すると、制御装置１２は、処理をステップＢ６２へ進める。

ステップＢ６２において、制御装置１２は、上記ステップＡ６１と同様にして先行車５００の輪郭形状を取得する。ステップＢ６２の処理を完了すると、処理をステップＢ６３へ進める。

ステップＢ６３において、制御装置１２は、図１５に示すθ方向補正処理を実行する。図１５は、第２の実施形態に係るθ方向補正処理のサブルーチンを示すフローチャートの一例を示す図である。

制御装置１２は、図１５のフローチャートの処理を開始すると、ステップＢ６３１において対称軸ＡＳを、ステップＢ６３２において角度ずれ量Δθを、ステップＢ６３３において中心点ＣＰを、順に各々上記ステップＡ６２１乃至ステップＡ６２３の処理と同様にして算出する。そして、ステップＢ６３３の処理を完了すると制御装置１２は、処理をステップＢ６３４へ進める。

ステップＢ６３４において、制御装置１２は、学習係数ｋＬおよび角度ずれ量Δθに基づいて角度補正量θＴを算出する。制御装置１２は、角度補正量θＴを下式（５）に基づいて算出する。
θＴ＝ｋＬ×Δθ …（５）
ステップＢ６３４の処理を完了すると、制御装置１２は、処理をステップＢ６３５へ進める。

制御装置１２は、ステップＢ６３５において、上記ステップＡ６２５と同様にして有効画像範囲Ｆを回転して補正する。そして、制御装置１２は、ステップＢ６３６において、上記ステップＡ６２６と同様にして基準軸Ｂａを更新する。ステップＢ６３６の処理を完了すると、制御装置１２は、処理を図１４のステップＢ６４へ進める。

制御装置１２は、ステップＢ６５乃至ステップＢ６８の処理において、上記ステップＡ６４乃至ステップＡ６７の処理と同様にして、交点ＮＰを算出し、処理をステップＢ６９へ進める。

ステップＢ６９において、制御装置１２は、図１６に示すＸ方向補正処理を実行する。図１６は、第２の実施形態に係るＸ方向補正処理のサブルーチンを示すフローチャートの一例を示す図である。

制御装置１２は、図１６のフローチャートの処理を開始すると、ステップＢ６９１においてＸ方向ずれ量ΔＸを、上記ステップＡ６８１の処理と同様にして算出する。そして、ステップＢ６９１の処理を完了すると制御装置１２は、処理をステップＢ６９２へ進める。

ステップＢ６９２において、制御装置１２は、学習係数ｋＬおよびＸ方向ずれ量ΔＸに基づいてＸ方向補正量ＸＴを算出する。制御装置１２は、Ｘ方向補正量ＸＴを下式（５）に基づいて算出する。
ＸＴ＝ｋＬ×ΔＸ …（６）
ステップＢ６９２の処理を完了すると、制御装置１２は、処理をステップＢ６９３へ進める。

制御装置１２は、ステップＢ６９３において、上記ステップＡ６８３と同様にして有効画像範囲ＦをＸ方向に移動して補正した後、ステップＢ６９４において、上記ステップＡ６８４と同様にして基準軸Ｂｘを更新する。ステップＢ６９４の処理を完了すると、制御装置１２は、Ｘ方向補正処理を完了し、処理を図１４のフローチャートのステップＢ７０へ進める。

ステップＢ７０において、制御装置１２は、図１７に示すＹ方向補正処理を実行する。図１７は、第２の実施形態に係るＹ方向補正処理のサブルーチンを示すフローチャートの一例を示す図である。

制御装置１２は、図１６のフローチャートの処理を開始すると、ステップＢ７０１においてＹ方向ずれ量ΔＹを、上記ステップＡ６９１の処理と同様にして算出する。そして、ステップＢ７０１の処理を完了すると制御装置１２は、処理をステップＢ７０２へ進める。

ステップＢ７０２において、制御装置１２は、学習係数ｋＬおよびＹ方向ずれ量ΔＹに基づいてＹ方向補正量ＹＴを算出する。制御装置１２は、Ｙ方向補正量ＹＴを下式（７）に基づいて算出する。
ＹＴ＝ｋＬ×ΔＹ …（７）
ステップＢ７０２の処理を完了すると、制御装置１２は、処理をステップＢ７０３へ進める。

制御装置１２は、ステップＢ７０３において、上記ステップＡ６９３と同様にして有効画像範囲ＦをＹ方向に移動して補正した後、ステップＢ７０４において、上記ステップＡ６９４と同様にして基準軸Ｂｙを更新する。ステップＢ７０４の処理を完了すると、制御装置１２は、Ｙ方向補正処理を完了し、図１４に示す画像範囲補正処理を完了する。

上記第２の実施形態に係る画像範囲補正処理によれば、現時点の補正係数ｋを、現在以前に算出した補正係数ｋの合算値ｋＡで除算して求めた学習補正係数ｋＬに基づいて各補正量（角度補正量θＴ、Ｘ方向補正量ＸＴ、Ｙ方向補正量ＹＴ）を算出することができる。したがって、例えば、運転者の操作により自車速度Ｖおよびヨーレートωが大きく変動して、補正係数ｋが大きく変化した場合であっても、補正量の値の変化量を、第１の実施形態のように当該時点の補正係数ｋの値のみに基づいて補正量を算出した場合に比べ、小さくすることができる。そのため、有効画像範囲Ｆを急激に移動および回転させることなく、当該範囲を徐々に移動させて補正することができる。このように、有効画像範囲Ｆを徐々に移動させて補正することにより、有効画像中において撮像される物体の位置が、当該画像中で急激に移動することを防ぐことができる。

なお、上記第１の実施形態および第２の実施形態では、制御装置１２が周囲画像中で設定された有効画像範囲Ｆを移動または回転して補正することによって、有効画像の撮像範囲を変更する例について示したが、制御装置１２は、イメージセンサ１１の向きを物理的に変更して、有効画像の撮像範囲を変更しても構わない。

この場合、イメージセンサ１１には、その向きを変更するアクチュエータなどの移動機構が備えられる。そして、制御装置１２は、有効画像範囲Ｆを移動させる代わりに、当該アクチュエータを制御してイメージセンサ１１の向きを変更する処理を実行する。具体的には、ステップＡ６２５において、制御装置１２は、角度補正量θＴだけイメージセンサ１１を、撮像面を前面として、ロール方向に回動させる。また、ステップＡ６８３において、制御装置１２は、イメージセンサ１１を、ヨー方向にＸ方向補正量ＸＴに応じた角度だけ回動させる。また、ステップＡ６９３において、制御装置１２は、イメージセンサ１１を、ピッチ方向にＹ方向補正量ＹＴに応じた角度だけ回動させる。

上記のようにイメージセンサ１１の向きを変更して周囲画像の撮像範囲を補正する場合、制御装置１２は、周囲画像全体の撮像範囲が変更されるため、周囲画像中で有効画像範囲Ｆを回転および移動させることなく、補正された有効画像を出力できる。また、上記のようにイメージセンサ１１の向きを変更して撮像範囲を補正する場合、制御装置１２は、有効画像範囲Ｆを定義することなく、周囲画像を有効画像として出力することも可能である。この場合、ステップＡ８等の処理を省略して、制御装置１２の処理量を低減し、また、処理に必要とされる記憶領域を小さくすることができる。

また、上記第１の実施形態および第２の実施形態では、Ｘ方向補正処理およびＹ方向補正処理において、制御装置１２が交点ＮＰの位置に合わせて有効画像範囲Ｆを移動させて、当該有効画像範囲Ｆを補正する例について示したが、制御装置１２は、先行車５００の中心点ＣＰの位置に合わせて有効画像範囲Ｆの位置を移動させて、当該有効画像範囲Ｆを補正しても構わない。

具体的には、制御装置１２は、基準軸Ｂｘから中心点ＣＰまでの距離をＸ方向ずれ量ΔＸとして算出し、基準軸Ｂｙから中心点ＣＰまでの距離をＹ方向ずれ量ΔＹとして算出して構わない。このようにして算出されたＸ方向ずれ量ΔＸ、およびＹ方向ずれ量ΔＹに基づいて補正されることにより、有効画像範囲Ｆの位置は、中心点ＣＰに追従して移動する。すなわち、制御装置１２は、先行車を略中心に撮影した有効画像を常に出力することができる。

また、上記第１の実施形態および第２の実施形態では、θ方向補正処理において、制御装置１２が中心点ＣＰを中心に有効画像範囲Ｆを回転移動させて、当該有効画像範囲Ｆを補正する例について示したが、制御装置１２は、先に交点ＮＰの位置を算出し、交点ＮＰを中心に有効画像範囲Ｆの位置を回転移動させて、当該有効画像範囲Ｆを補正しても構わない。

また、上記第１の実施形態および第２の実施形態では、撮像装置１が車両１００に搭載される例について説明したが、撮像装置１は、例えば、鉄道車両等の他の移動体に搭載されても構わない。

本発明に係る撮像装置は、物体等を適切な状態で撮像した画像を撮像可能とする撮像装置などとして有用である。

１ 撮像装置
１１ イメージセンサ
１２ 制御装置
２１ 車速計
２２ ヨーレートセンサ
２３ 車両制御装置
１００ 車両
５００ 先行車
６０１、６０２ 白線

Claims (13)

1. 移動体に搭載され、当該移動体の周囲を撮像した撮像画像を取得する撮像手段と、
   前記撮像画像中において、前記移動体と同一軌道上を移動する他の移動体を示す補正基準画像を検出する補正基準画像検出手段と、
   前記撮像画像における少なくとも一部分の画像領域を出力範囲として設定する出力範囲設定手段と、
   前記出力範囲内の出力画像を出力する出力手段とを備え、
   前記出力範囲設定手段は、
   前記出力範囲の移動および回転の少なくとも一方を行って補正するための補正量を、前記補正基準画像に基づいて算出する補正量算出手段と、
   前記補正量に基づいて前記出力範囲の移動および回転の少なくとも一方を行って、当該出力範囲を補正する出力範囲補正手段とを含む、撮像装置。
2. 前記補正量算出手段は、
   前記補正基準画像として撮像された前記他の移動体に対して縦方向に設けられる軸であり、当該軸を中心として当該他の移動体の左右が対称となる対称軸を検出する対称軸検出手段と、
   予め定められた前記出力範囲の基準軸と、前記対称軸とが成す角度を算出する角度算出手段と、
   前記出力範囲を回転させて補正する場合の回転方向の前記補正量を、少なくとも前記角度に基づいて算出する回転補正量算出手段とを含み、
   前記出力範囲補正手段は、前記出力範囲を、前記回転方向の補正量に応じて回転させて補正する、請求項１に記載の撮像装置。
3. 前記補正量算出手段は、
   前記撮像画像中において、前記他の移動体が無限遠方へ進行した場合の到達点を算出する到達点算出手段と、
   予め定められた前記出力範囲の縦方向の基準軸から前記到達点までの距離に基づいて、前記出力範囲を前記撮像画像に対して左右方向に移動する前記補正量を算出する左右補正量算出手段とを含み、
   前記出力範囲補正手段は、前記出力範囲を、前記左右方向の補正量に応じて前記撮像画像に対して左右方向へ移動させて補正する、請求項１に記載の撮像装置。
4. 前記補正量算出手段は、
   前記撮像画像中において、前記補正基準画像の中心点を検出する中心点検出手段と、
   予め定められた前記出力範囲の縦方向の基準軸から前記中心点までの距離に基づいて、前記出力範囲を前記撮像画像に対して左右方向に移動する前記補正量を算出する左右補正量算出手段とを含み
   前記出力範囲補正手段は、前記出力範囲を、前記左右方向の補正量に応じて前記撮像画像に対して左右方向へ移動させて補正する、請求項１に記載の撮像装置。
5. 前記補正量算出手段は、
   前記撮像画像中において、前記他の移動体が無限遠方へ進行した場合の到達点を算出する到達点算出手段と、
   予め定められた前記出力範囲の縦方向の基準軸から前記到達点までの距離に基づいて、前記出力範囲を前記撮像画像に対して上下方向に移動する前記補正量を算出する上下補正量算出手段とを含み
   前記出力範囲補正手段は、前記出力範囲を、前記上下方向の補正量に応じて前記撮像画像に対して上下方向へ移動させて補正する、請求項１に記載の撮像装置。
6. 前記補正量算出手段は、
   前記撮像画像中において、前記補正基準画像の中心点を検出する中心点検出手段と、
   予め定められた前記出力範囲の縦方向の基準軸から前記中心点までの距離に基づいて、前記出力範囲を前記撮像画像に対して上下方向に移動する前記補正量を算出する上下補正量算出手段とを含み
   前記出力範囲補正手段は、前記出力範囲を、前記上下方向の補正量に応じて上下方向へ移動させて前記撮像画像に対して補正する、請求項１に記載の撮像装置。
7. 前記補正量算出手段は、
   前記撮像画像中において、前記補正基準画像の左端点および当該補正基準画像の右端点をそれぞれ検出する端部検出手段と、
   前記左端点および前記右端点をそれぞれ記憶する端部記憶手段とを、さらに含み、
   前記到達点算出手段は、記憶された前記左端点の軌跡を直線近似して成る第１の直線と、記憶された前記右端点の軌跡を直線近似して成る第２の直線との交点を前記到達点として算出する、請求項３または請求項５に記載の撮像装置。
8. 前記移動体のヨーレートを取得するヨーレート取得手段と、
   前記移動体の速度を取得する速度取得手段とを、さらに備え、
   前記出力範囲設定手段は、前記補正量の算出に用いる係数を、前記速度が小さいほど前記係数が小さくなるよう、また、前記ヨーレートが大きいほど前記係数が小さくなるよう算出する係数算出手段を含み、
   前記補正量算出手段は、前記係数が小さい程、前記補正量を減少させて当該補正量を算出する補正量調整手段を含む、請求項１に記載の撮像装置。
9. 前記補正量調整手段は、前記係数の変化量が大きい場合、前記補正量の減少幅を大きくして当該補正量を算出する、請求項８に記載の撮像装置。
10. 前記移動体のヨーレートを取得するヨーレート取得手段を、さらに備え、
    前記補正量算出手段は、前記ヨーレートが予め定められた閾値以下である場合にのみ、前記補正量を算出する、請求項１に記載の撮像装置。
11. 前記移動体の速度を取得する速度取得手段を、さらに備え、
    前記補正量算出手段は、前記速度が予め定められた閾値以上である場合にのみ、前記補正量を算出する、請求項１に記載の撮像装置。
12. 前記移動体は、車両であり、
    前記補正基準画像検出手段は、前記撮像装置が搭載される車両と同一車線上を走行する先行車を示す補正基準画像を検出する、請求項１に記載の撮像装置。
13. 移動体に搭載され、当該移動体の周囲を撮像した撮像画像を取得する撮像手段と、
    前記撮像画像中において、前記移動体と同一軌道上を移動する他の移動体を示す補正基準画像を検出する補正基準画像検出手段と、
    前記撮像画像の撮像範囲の移動および回転の少なくとも一方を行って補正するための補正量を、前記補正基準画像に基づいて算出する補正量算出手段と、
    前記撮像手段が撮像する方向を前記補正量に基づいて変化させることによって前記撮像範囲の移動および回転の少なくとも一方を行って、当該撮像範囲を補正する撮像範囲補正手段と、
    前記撮像画像における少なくとも一部分の画像領域を出力範囲として設定する出力範囲設定手段と、
    前記出力範囲内の出力画像を出力する出力手段とを備える、撮像装置。

Images