JP2010219933A - 撮像装置 - Google Patents

Abstract

【課題】車載カメラで撮影した画像に基づいて車輌の進行速度を検出可能な撮像装置を提供する。
【解決手段】）車載される撮像手段、車輌の進行方向を撮影して得られる画像を複数ブロックに分割する手段、全て又は一部のブロック夫々に代表点を設定する手段、代表点における画像の輝度レベルを記憶する手段、次の画像が到来するとその画像の代表点が設定されたブロック内の画素の輝度レベルを検索し、記憶してある代表点の輝度レベルに最も近い輝度レベルの画素の位置を検出する手段、検索結果を基に代表点の移動量を求める手段、各ブロックの代表点の移動量に所定値を乗算することで車輌の速度に対応した値に換算する手段、各ブロックにおける車輌の速度に対応した値の平均値を基に車輌の速度を検出する手段とを備える。
【選択図】図１

Description

本発明は、車輌の走行速度の大小やカーブ走行、対向車接近等、様々な走行状態に影響されずに、常時、車輌の進行速度を正確に検出できる撮像装置に関するものである。

車輌に固定した車載カメラで撮影した画像に基づいて、車輌の移動速度を継続的に測定する移動量測定装置がある（特許文献１）。

また、こうしたカメラ撮影の際に生じるカメラブレによる画像の乱れを補正するための動きベクトル検出装置がある（特許文献２）。

特開２００３−１７８３０９号公報 特開平３−１３０９１号公報

前記した動きベクトル検出装置は、図８に示すように、カメラで撮影したフィールド画像１を２５（縦５×横５）ブロックに分割し、各ブロックの中心に各代表点画素２を設定し、各代表点画素２における各輝度レベルを記憶しておき、次のフィールド画像が到来すると、記憶してある輝度レベルを備えたブロックと同一画像位置にあるブロック内の画素を検索して記憶してある輝度レベルに最も近い輝度レベルの画素を検出し、記憶してある輝度レベルの代表点画素２から今回検出した画素までの相対位置座標を求め、この方向と大きさを、動きベクトル量３として検出するものである。そしてこの動きベクトル検出を画像１全体で行なって得た動きベクトルを平均化した情報を基に、フィールドメモリの読み出しアドレスを求め、出力画像を切り出して、乱れがない画像を得ることができる。

例えば、図９（Ａ）〜（Ｆ）に示すように、画像１の中央部に位置する画像部分１Ａ（図９（Ａ））を画像１から切り出して画像４（図９（Ｂ））を得、次のフィールド期間に画像部分１Ａの右上方向に移動する画像部分１Ｂ（図９（Ｃ））を切り出して画像４（図９（Ｄ））を得、そして次のフィールド期間に画像部分１Ｂの右上方向に移動する画像部分１Ｃ（図９（Ｅ））を切り出して画像４（図９（Ｆ））を得る。こうして、画像１上で出力される画像部分１Ａが画像部分１Ｂを経て画像部分１Ｃへ次第に移動しても、この移動の影響を受けずに乱れがない画像４を常時得ることができる。

こうした動きベクトル検出装置を用いて、車載カメラで撮影した画像の動きベクトルを検出し、この検出を基に車輌の進行速度を検出することが試みられている。

即ち、図１０（Ａ）．（Ｂ）に示すように、車輌の進行方向を車載カメラで撮影した画像５を、２５（縦５×横５）ブロックに分割し、各ブロックの中心に各代表点画素６を設定し、各代表点画素６における各輝度レベルを記憶しておき、次のフィールド画像が到来すると、記憶してある輝度レベルを備えたブロックと同一画像位置にあるブロック内の画素を検索して記憶してある輝度レベルに最も近い輝度レベルの画素を検出し、記憶してある輝度レベルの代表点画素６から今回検出した画素までの相対位置座標を求め、この方向と大きさを、動きベクトル量７として検出し、この動きベクトルの検出を全てのブロックで行うものである。しかし、こうして得られた画像５の動きベクトル６は、図１０（Ｂ）に示すように、画像５の中心に位置するブロック５ｃの代表点画素８を中心として、全方向へ放射状に発散するものとなり、車輌の進行速度の検出が難しいという課題があった。

そこで、本発明は前記した課題を解決するために創案されたものであり、車輌の走行速度の大小やカーブ走行、対向車接近等、様々な走行状態に影響されずに、常時、車輌の進行速度を正確に検出できる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は、次の（１）〜（６）の構成を有する撮像装置を提供する。

（１） 車輌に搭載される撮像手段１０，１１と、
前記撮像手段で前記車輌の進行方向を撮影して得られる画像をマトリクス状に複数のブロックに分割する分割手段と、
全てのブロックまたは一部のブロックそれぞれに代表点を設定する代表点設定手段と、
前記代表点における前記画像の輝度レベルを記憶する記憶手段と、
次の画像が到来するとその画像の前記代表点が設定されたブロック内の画素の輝度レベルを検索し、前記記憶手段に記憶してある前記代表点の輝度レベルに最も近い輝度レベルの画素の位置を検出する検索手段と、
前記検索手段の検索結果を基に、前記代表点の移動量を求める移動量検出手段と、
各ブロックの前記代表点の前記移動量に所定の値を乗算することで前記車輌の速度に対応した値に換算する速度換算手段と、
各ブロックにおける前記車輌の速度に対応した値の平均値を基に前記車輌の速度を検出する進行速度検出手段１３ｇと
を備えることを特徴とする撮像装置Ａ。

（２） 前記代表点設定手段は、前記画像の中心に位置するブロックを含む縦列ブロックを除いた全てのブロック、または、前記画像の中心に位置するブロックを含む縦列ブロックと、その縦列ブロックと連続した複数の縦列ブロックとを除いた全てのブロックに前記代表点を設定することを特徴とする（１）記載の撮像装置。

（３） 前記代表点設定手段は、前記画像の中心に位置するブロックを含む横列ブロックを除いた全てのブロック、または、前記画像の中心に位置するブロックを含む横列ブロックと、その横列ブロックと連続した複数の横列ブロックとを除いた全てのブロックに前記代表点を設定することを特徴とする（１）または（２）に記載の撮像装置。

（４） 前記代表点設定手段は、前記ブロックの中心、または、前記ブロックの中心よりも前記画像の中心に近い位置に前記代表点を設定することを特徴とする（１）乃至（３）のいずれか１項に記載の撮像装置。

（５） ズーム手段を備え、
前記速度換算手段は前記ズーム手段のズーム倍率によって前記移動量に乗算する値を変化させることを特徴とする（１）乃至（４）のいずれか１項に記載の撮像装置。

（６） 所定の縦列ブロックの前記代表点の前記移動量に乗算する値は、その縦列ブロックよりも外側の縦列ブロックの前記移動量に乗算する値よりも大きいことを特徴とする（１）乃至（５）のいずれか１項に記載の撮像装置。

本発明は、車輌の走行速度の大小やカーブ走行、対向車接近等、様々な走行状態に影響されずに、常時、車輌の進行速度を正確に検出できる撮像装置を提供することができる。

本発明の撮像装置のブロック構成図 所定値以上の進行速度を検出するために使用する検出パターンを示す図 カーブ走行のときに進行速度を検出するために使用する検出パターン及び１ブロック内の代表点詳細を示す図 １画素当りの進行速度換算を示す図 撮像光学系の光軸と進行方向とが不一致のときに進行速度を検出するために使用する検出パターンを示す図 対向車が近づいてくるときに進行速度を検出するために使用する検出パターンを示す図 パネル表示した画像の一例を示す図 動きベクトルを検出することを説明するための図 フィールドメモリから出力画像部分を切り出すことを説明するための図 車輌カメラで撮影した画像の動きベクトルを説明するための図

本発明は、大略、車載カメラで撮影した画像を複数（縦５×横５＝２５）ブロックに分割し、各ブロックの所定位置（中央又は隅）に各代表点画素を設定し、各代表点画素における各輝度レベルを記憶しておき、次の期間の画像が到来すると、ブロック内の画素を検索して、記憶してある輝度レベルに最も近い輝度レベルの画素を検出し、記憶してある輝度レベルの代表点画素から今回検出した画素までの相対位置座標を求め、この方向と大きさを、動きベクトルとして検出し、この動きベクトルの検出を全てのブロックで行い、動きベクトルの大きさ（絶対値）の平均値を基に車輌の進行速度を検出する撮像装置である。

これに加えて、本発明は、車輌の進行速度検出のため、後述する図２〜図７に示す、走行状態に応じた動きベクトル検出パターンを用いることにより、進行方向における外乱、対向車における外乱、速度における限界を排除できるから、これによって正確な進行速度を検出することができる。

ここでは説明の都合上、画像を２５ブロックに分割する場合について説明するが、本発明はこの分割数に限定されることなく、２５未満あるいは２５を超える分割数であっても良い。

以下、本発明の実施の形態を、図１〜図７を用いて、説明する。

図１は、本発明の撮像装置のブロック構成図である。

本発明の実施の形態である撮像装置Ａは、図１に示すように、図示せぬズームレンズ系を含む撮像光学系１０、例えばＣＣＤである撮像素子１１、Ａ／Ｄ変換部１２、カメラ信号処理ＬＳＩであるカメラ信号処理部１３、Ｄ／Ａ変換部１４、画像重畳部１５、ビデオ出力部１６、ビデオデッキである画像記録再生部１７、プリアンプ１８、ＤＶ信号処理部１９、画像記録再生制御部２０、カメラ制御部２１、ユーザが操作する操作部２２、オンスクリーンディスプレイ（ＯＳＤ）生成部２３を備えている。

前記したカメラ信号処理部１３は、色信号処理部１３ａ、輝度信号処理部１３ｂ、ローパスフィルタ（ＬＰＦ）１３ｃ、切替スイッチ１３ｄ，１３ｅ、フィールドメモリ１３ｆ、動きベクトル検出部１３ｇ、信号処理部１３ｈを備えている。

前記した動きベクトル検出部１３ｇは、撮像装置Ａの要部である。
即ち、動きベクトル検出部１３ｇは、撮像光学系１０、撮像素子１１、Ａ／Ｄ変換部１２、輝度信号処理部１３ｂ、ＬＰＦ１３ｃ、切替スイッチ１３ｅをそれぞれ経て得られた、図示せぬ車輌の前方（進行）方向を撮影したフィールド画像を２５（縦５×横５）ブロックに分割し、各ブロックの所定位置（中央（図５、図６）又は四隅（図２、図３））に各代表点画素を設定し、各代表点画素における各輝度レベルを記憶しておき、次のフィールド画像が到来すると、記憶してある輝度レベルを備えたブロックと同一画像位置にあるブロック内の画素を検索して記憶してある輝度レベルに最も近い輝度レベルの画素を検出し、記憶してある輝度レベルの代表点画素から今回検出した画素までの相対位置座標を求め、この方向と絶対値を、動きベクトルとして検出し、この動きベクトルの絶対値を車輌の速度に換算し、それを平均して車輌の進行速度として検出し、こうして検出した進行速度に関する情報をカメラ制御部２１に出力するものである。カメラ制御部２１はこうして得られた車輌の進行速度に関する情報に基づく表示画像を生成し、この表示画像をＯＳＤ生成部２３へ送出することにより、図示せぬ表示パネル上に車輌の進行速度を画像表示することができる。

次に、上記した構成を有する撮像装置Ａの各種動作につき、「速度検出」、「速度検出＋画像記録」、「画像再生」、「画像再生＋速度検出」の順に述べる。後述するように、撮像装置Ａは、記録再生動作が可能であり、加えて再生画像からも進行速度を検出することができる。

（１）「速度検出」
まず、ユーザが操作部２２を操作して「速度検出」を選択する。
この選択に応じて、カメラ制御部２１は、「速度検出」操作を検知し、ＯＳＤ生成部２３に対して、「速度検出」表示画像を生成してこの表示画像を画像重畳部１５へ出力する旨の表示制御信号を出力する。

また、カメラ制御部２１は、切替スイッチ１３ｄ，１３ｅに対して、色信号処理部１３ａから出力する色（Ｃ）信号をフィールドメモリ１３ｆへ供給すると共に、ＬＰＦ１３ｃを介して輝度信号処理部１３ｂから出力する輝度（Ｙ）信号をフィールドメモリ１３ｆ及び動きベクトル検出部１３ｇへそれぞれ供給する旨の切替制御信号を出力する。

さらに、カメラ制御部２１は、動きベクトル検出部１３ｇに対して、図示せぬ車輌の進行方向を撮影したフィールド画像を前述した動きベクトル検出方法で検出した、車輌の進行速度に関する情報、例えば、進行速度を数値あるいはグラフ表示するための情報を、出力する旨の制御信号を出力する。

色信号処理部１３ａ及び輝度信号処理部１３ｂには、車輌の進行方向を撮影している光学映像が撮像光学系１０を介して撮像素子１１の受光面に結像しここで受光され、光電変換されて得た電気信号がＡ／Ｄ変換部１２でＡ／Ｄ変換されたデジタル映像信号がそれぞれ供給される。

色信号処理部１３ａは、Ａ／Ｄ変換部１２から供給されるデジタル映像信号から抽出したＣ信号を切替スイッチ１３ｄの一端に供給する。切替スイッチ１３ｄの他端には信号処理部１３ｈから出力される再生時のフィールド画像に応じたＣ信号が印加される。切替スイッチ１３ｄは、カメラ制御部２１から出力される切替制御信号に基づいて、色信号処理部１３ａから供給されるＣ信号、又は、信号処理部１３ｈから出力されるＣ信号をフィールドメモリ１３ｆへ出力する。

一方、輝度信号処理部１３ｂは、Ａ／Ｄ変換部１２から供給されるデジタル映像信号から抽出したＹ信号をＬＰＦ１３ｃへ供給し、ここで不要高域成分を除去して得たＹ信号を切替スイッチ１３ｅの一端に供給する。切替スイッチ１３ｅの他端には信号処理部１３ｈから出力される再生時のフィールド画像に応じたＹ信号が印加される。切替スイッチ１３ｅはカメラ制御部２１から出力される切替制御信号に基づいて、ＬＰＦ１３ｃから供給されるＹ信号、又は、信号処理部１３ｈから出力されるＹ信号を、フィールドメモリ１３ｆ及び動きベクトル検出部１３ｇへ出力する。

フィールドメモリ１３ｆは、色信号処理部１３ａから切替スイッチ１３ｄを経て供給されるＣ信号、及び、ＬＰＦ１３ｃから切替スイッチ１３ｅを経てＣ信号に同期して供給されるＹ信号に基づくフィールド画像を、１フィールド期間メモリする。これと同時に、フィールドメモリ１３ｆは１フィールド期間前にメモリされているフィールド画像に応じたＣ信号及びＹ信号を信号処理部１３ｈへそれぞれ出力する。

信号処理部１３ｈは、フィールドメモリ１３ｆからＣ信号及びＹ信号を入力すると、これらＣ信号及びＹ信号に所要の信号処理（マトリクス・エンコード又はデコード）を施してデジタル画像を生成した後、Ｄ／Ａ変換部１４へ出力する。Ｄ／Ａ変換部１４は、信号処理部１３ｈから供給されるデジタル画像をＤ／Ａ変換して得たアナログ画像を、画像重畳部１５へ出力する。

画像重畳部１５は、Ｄ／Ａ変換部１４から供給されるアナログ画像上に、ＯＳＤ生成部２３から供給される「速度検出」表示画像であるオンスクリーン画像を重畳し、このオンスクリーン画像が重畳された画像信号をビデオ出力部１６を経て外部へ出力する。こうして、表示パネルにて、車輌の進行方向を撮影した画像上に進行速度が数値あるいはグラフ表示された画像を表示することができる。

（２）「速度検出＋画像記録」
ユーザが操作部２２を操作して、「速度検出」に加えて「画像記録」を選択すると、カメラ制御部２１は、「画像記録」操作を検知し、画像記録再生制御部２０に対して、撮影しているフィールド画像を磁気テープ媒体Ｔへ順次記録する旨の記録制御信号を出力する。これに応じて、画像記録再生制御部２０はＤＶ信号処理部１９を記録制御する。ＤＶ信号処理部１９は信号処理部１３ｈから出力するＣ信号及びＹ信号に所定のフォーマットに準拠したデジタル信号記録処理を施したデジタル記録信号をプリアンプ１８へ出力し、そしてプリアンプ１８で所要増幅されたデジタル記録信号は、磁気ヘッドＨの記録走査によって、磁気テープ媒体Ｔ上に順次記録される。こうして「速度検出」している画像を記録できる。前述した「速度検出」の際と同様に、表示パネルに「速度検出」「画像記録」が共に表示される。

（３）「画像再生」
また、ユーザが操作部２２を操作して、「画像再生」を選択すると、カメラ制御部２１は、「画像再生」操作を検知し、画像記録再生制御部２０に対して、磁気テープ媒体Ｔ上に記録されている画像を順次再生する旨の再生制御信号を出力する。これに応じて、画像記録再生制御部２０はＤＶ信号処理部１９を再生制御する。ＤＶ信号処理部１９は、磁気ヘッドＨで磁気テープ媒体Ｔ上を再生走査してプリアンプ１８で所要増幅された読出信号を入力し、所定のフォーマットに準拠したデジタル信号再生処理を施したデジタル画像信号を信号処理部１３ｈへ出力する。信号処理部１３ｈは、ＤＶ信号処理部１９から供給されるデジタル画像をデコードしてＣ信号及びＹ信号に変換した後、Ｄ／Ａ変換部１４へ供給し、ここでＤ／Ａ変換して得たアナログ画像を、画像重畳部１５へ出力し、アナログ画像信号ビデオ出力部１６を経て外部へ出力する。こうして、表示パネルにて、画像を表示することができる。「画像再生」の際には、前述した「画像記録」の際と同様に、表示パネルに「画像再生」が表示される。

（４）「画像再生＋速度検出」
「画像再生」選択に加えて「速度検出」を選択すると、カメラ制御部２１は、切替スイッチ１３ｄ，１３ｅに対して、各他端側に切替える旨の切替制御信号を出力する。切替スイッチ１３ｅの他端には、信号処理部１３ｈから出力しＤＶ信号処理部１９から供給されるデジタル画像に応じたＹ信号が供給されている。こうして、信号処理部１３ｈから出力するＤＶ信号処理部１９から供給されるデジタル画像に応じたＹ信号は、切替スイッチ１３ｅを介して、動きベクトル検出部１３ｇへ供給される。こうして、動きベクトル検出部１３ｇは、「画像再生」されている画像の動きベクトル検出を、前記した「速度検出」と同様に、その速度検出を行うことができる。こうして、「画像再生」でかつ「速度検出」を選択すると、前述したのと同様に、表示パネルに「画像再生」「速度検出」がともに表示される。

さて次に、前述した動きベクトル検出部１３ｇにて車輌の進行速度を検出するために用いる、動きベクトル検出パターンについて、図２〜図７を用いて、詳しく説明する。

図２は所定値以上の進行速度を検出するために使用する検出パターンを示す図、図３はカーブ走行のときに進行速度を検出するために使用する検出パターン及び１ブロック内の代表点詳細を示す図、図４は１画素当りの進行速度換算を示す図、図５は撮像光学系の光軸と進行方向とが不一致のときに進行速度を検出するために使用する検出パターンを示す図、図６は対向車が近づいてくるときに進行速度を検出するために使用する検出パターンを示す図、図７はパネル表示した画像の一例を示す図である。前述したものと同一箇所には同一符号を付している。

前述したように、動きベクトル検出パターン（図１０（Ｂ））は、画像５の中心に位置するブロック５ｃの代表点画素８を中心として、全方向へ放射状に発散するものとなり、車輌の進行速度を検出することが難しかった。

これに対し、本発明の動きベクトル検出部１３ｇで行われる動きベクトル検出は、車輌の走行速度の大小やカーブ走行、対向車接近等、様々な走行状態に影響されずに、常時、車輌の進行速度を正確に検出するために、画像の動きベクトルを最適に検出できる３つの検出パターン（第１検出パターン〜第３検出パターン）を用いて、画像の動きベクトル検出を行って、車輌の進行速度を正確に検出できるものである。これらの検出パターンを全て同時に用いても良いし、一つ又は二つだけ用いるようにしても良い。さらには、後述する本実施形態の基本的な速度算出方法を用いていれば、これらの検出パターンを使用しなくともある程度正確な速度検出が可能である。

また、車輌の走行状態に応じて、ユーザが操作部２２を操作してこの３つの検出パターンの中から択一した検出パターンを選ぶようにしても良い。

具体的に、この３つの検出パターンは、下記する第１検出パターン〜第３検出パターンである。

（ａ）第１検出パターン（図５）
第１検出パターンは、車輌の進行方向と撮像光学系１０（図１）の光軸とが同一線上にない場合であってカーブ走行を含む、通常の場合に使用すると好ましい検出パターンである。進行方向と光軸とのずれがあると画像の動きベクトルに基づいて正確な進行速度が得られない。直進している場合は、画像中心を含む縦列のブロックの横方向のベクトル成分が０（ゼロ）であるのに対して、カーブ走行時はこのブロックが横方向のベクトル成分を有してしまうからである。よって、第１検出パターンでは、このずれの影響が最も現われる画像の縦中心線に位置する画像部分の動きベクトルを検出できないようにこれを不使用とする。即ち、図５に示すように、画像５をマトリクス状に２５（縦５×横５）ブロックに分割し、画像５の中央に位置するブロック５ｃを含めた縦１列（斜線箇所）の５ブロックを、不使用とする検出パターンとするものである。ここでは、第１検出パターンとして縦１列の５ブロックを不使用とするものについて説明するが、本発明はこれに限ることなく、複数の縦列のブロックを不使用とするものであっても良い。例えば、画像５の中央に位置するブロック５ｃを含めた縦１列とその両隣の列を不使用としても良い。

また、図示しない車輌の制御装置と本実施形態のカメラとを接続すれば、車輌のハンドル操作を検出して、この第１検出パターンを適用するか否かを決めることもできる。

（ｂ）第２検出パターン（図６）
第２検出パターンは、車輌に対向車が近づいてくる場合に使用すると好ましい検出パターンである。対向車が近づいてくると、不要な対向車の動きベクトルが検出すべき画像の検出ベクトル内に飛び込んでくるので、この影響を排除するために、図６（Ａ）に示すように、ブロック５ｃを含む横１列（斜線箇所）を不使用としたものである。ここでは、第２検出パターンとして横１列を不使用とするものについて説明するが、本発明はこれに限ることなく、複数の横列のブロックを不使用とするものであっても良い。例えば、画像５の中央に位置するブロック５ｃを含めた横１列とその両隣の横列を不使用としても良い。何列を不使用にするかは、画像５をいくつのブロックに分けるかで変わってくる。また、図６（Ａ）は、第１検出パターンと第２検出パターンを同時に用いた例である。

（ｃ）第３検出パターン（図２、図３）
第３検出パターンは、図２（Ａ）あるいは図３（Ａ）に示すように、各ブロックにおける各代表点画素を、ブロック中心からブロックの四隅（図２（Ａ）中、黒点で示す動きベクトルの起点となる画素位置であり、左上の４ブロックから時計回りに、右下端、左下端、左上端、右上端）にそれぞれ設定し、画像中央に位置するブロック５ｃに最近接した位置にある画素に移動設定した検出パターンである。これによって、車輌の進行速度が高速になりブロック内の動きベクトルの検出範囲越えることを防ぐ。
つまり、代表点が次のフィールドでブロック外に出てしまうことを防ぐ。

本実施形態では代表点をブロック５ｃに最近接した位置に設定するとしたが、各ブロックの中心位置よりも画像５の中心に近い位置に近寄らせれば効果はある。また、図２（Ａ）、図３（Ａ）は、第１検出パターンと第２検出パターンと第３検出パターンを同時に用いた例である。

また、動きベクトル検出部１３ｇは、検出している速度が一定値を超えたときにこの第３検出パターンを適用するようにしても良い。

なお、図２（Ｂ）は１ブロック内の詳細構造を示すもので、２０のエリアに分割され各エリアに代表点を持つ、２０の各エリアに検出された動きベクトル平均が対象ブロックの動きベクトルとして検出される、ここでの説明は１ブロック内に１代表点があるものとして説明している。

第３検出パターンを用いて画像５の動きベクトルを検出するには、図２（Ａ）に示すように、画像の全２５ブロックから不使用の９ブロックを除いた１６ブロックのそれぞれに収容される代表点画素の位置は、次のように設定される。

画像５の中心に位置するブロック５ｃよりも、右側の８ブロックＲはそれぞれ、各代表点を各ブロックの左端に位置させる（例えばブロック５ａの代表点位置５ａ１）。

ブロック５ｃよりも、左側の８ブロックＬはそれぞれ、各代表点を各ブロックの右端に位置させる。

ブロック５ｃよりも、上側の８ブロックＵはそれぞれ、各代表点を各ブロックの下端に位置させる。

ブロック５ｃよりも、下側の８ブロックＤはそれぞれ、各代表点を各ブロックの上端に位置させる。

このように、各ブロックにおける代表点画素の位置を、その中心からブロック５ｃに最も近接する位置の画素へ移動変更することによって、所定値を超える進行速度によって動きベクトルが大きくなっても、当該ブロックに隣接するブロックへ進入することを防ぐ。これにより、常時、車輌の進行速度を正確に検出することができる。

図２（Ｂ）に示すのは、画像５の右上端に位置するブロック５ａを２０（縦４×横５）エリアに分割し、第１，第２検出パターンではいずれもブロックの中心、即ち各エリアの中心に位置していた代表点画素が左下端のエリア、即ち代表点位置５ａ１に移動変更された状態を示している。２０エリア全ての代表点画素における動きベクトルの値の平均ベクトルがブロック５ａの動きベクトルになる。本実施形態においては横５列、縦５列に分けているが、図２（Ｂ）に示すように各ブロックはさらに横４列、縦５列に細分化されており、この細分化された各ブロックの動きベクトルを平均して、元のブロックの動きベクトルとしている。このように、ブロックはさらに細かく分けることができる。

本実施形態の説明は、画像５を横５列、縦５列に分けた１ブロック内に１代表点があるものとして行なっている。

以上の３つの検出パターンについて補足する。車輌がカーブ走行している場合は、第３検出パターンを用いると共に、画像５Ｂの縦中心線の左右の画像部分には不均衡な動きベクトルが発生するため、画像の左または右の片側で平均化したのでは正確な進行速度を検出できないから、後述する速度検出の基本的な方法のように加算平均処理を行なうことにより、車輌の進行速度を正確に検出できる。即ち、図３（Ａ），（Ｂ）に示すように、画像５Ｂ中心のブロック５ｃよりも右側の８ブロックＲがとらえた動きベクトルの絶対値の平均（右側移動量絶対値）から求めた速度と、画像中心５Ｂのブロック５ｃよりも左側の８ブロックが捕らえた動きベクトルの絶対値の平均（左側移動量絶対値）から求めた速度とを加算平均することにより、これを進行速度検出量とする。

車輌の進行方向と撮像光学系１０の光軸とが同一線上にない撮影の場合に、第１検出パターンを用いて画像５の動きベクトルを検出することについて補足する。画像５の中心に位置するブロック５ｃを含む縦５ブロック（図５中斜線部分）から得られる動きベクトルには進行速度検出にとって不要な誤差が含まれているので、これを不使用とし、一方、これ以外のブロックで得られる動きベクトルには比較的に小さい誤差が含まれているが、こうした動きベクトルを用いても中心を除くブロックを平均する事で相殺され、進行速度検出には支障がないので、車輌の進行速度を検出できる。

また、対向車が近づいてくる場合に使用する第２検出パターンは、画像５の中心に位置するブロック５ｃを含む横５ブロック（図６（Ａ）中斜線部分）から得られる動きベクトルには、対向車（図６（Ｂ））に関する動きベクトルも含まれているのでこれを不使用とし、一方、これ以外に得られる動きベクトルには比較的に小さい誤差が含まれているが、この動きベクトルを用いても、正確な進行速度検出には支障がない。対向車の位置移動に伴う動きベクトルは、画像５の中心に位置するブロック５ｃを含む横５ブロックに集中するので、この横ブロックを不使用とすることにより当該車輌の動きベクトルから対向車の動きベクトル成分を除外する。

次に、動きベクトル検出部１３ｇが動きベクトルの絶対値から速度を算出する基本的な方法について述べる。前述した方法で検出した動きベクトルの絶対値が１画素に相当する大きさである場合を例とする。この場合の速度換算値を図４に示す。つまり、図４は代表点が１フィールド間に１画素移動したとき（動きベクトルの絶対値が１画素）の車輌の移動距離を示す表である。代表点の移動量は車輌の速度に略比例する。図４中の各速度換算値は道路沿いに建物や樹木が密集している状態を想定して算出している。

図３（Ａ）、図４に示すように、光学系１０を構成するズームレンズのズーム倍率（×１、×２、×３、×４）に応じた引数テーブル（ｉｎ側、ｏｕｔ側）を参照して求め、速度換算係数としてズーム位置における動きベクトルから演算して求め進行速度とする。

例えば、撮影された画像が水平９６２画素×垂直７７４画素の有効画素で構成される場合に、進行速度を求めるための動きベクトルがズーム倍率×４（４倍）で、ｏｕｔ側のある縦列ブロックにおいて、代表点の動きベクトルの絶対値が２画素（図３（Ａ））であると検出されると、次のように、進行速度を得ることができる。

４倍ズーム・ｏｕｔ側ブロック内において代表点が１画素移動したとき（動きベクトルの絶対値が１画素）の車輌の移動距離は図４より３９ｍｍである。
よって、２画素に相当する車輌の移動距離は、
２×３９＝７８ｍｍとなる。

次に本実施形態において、１秒あたりのフィールド数は６０であるので、１秒あたりの車輌の移動距離は、
７８×６０＝４６８０ｍｍ、つまり、４．６８ｍとなる。

さらに、１時間あたりの車輛の移動距離は、
４．６８×６０×６０＝１６８４８ｍとなり、車輌の速度は時速１６．８ｋｍであると求まる。このようにして検出された速度の各ブロックの平均を求めることでより正確な車輌の進行速度が得られる。また、図４に示すように画像５の中央寄りのブロック（ｉｎ側）と外寄りのブロック（ｏｕｔ側）で速度換算値を異ならせることでさらに正確な車輌の進行速度が得られる。動きベクトル検出部１３ｇは、以上のような計算を行うことで検出した動きベクトルから車輌の速度を求める。

本実施形態ではｉｎ側とｏｕｔ側の２段階に速度換算値を異ならせたが、画像５の外側に向かって速度換算値が小さくなるようにすれば、縦列ごとに速度換算値を異ならせても良い。

また、動きベクトルの絶対値を基に算出した各ブロックにおける速度を平均することで、図３（Ａ）に示すようなカーブ走行において、画像５の右側と左側とで動きベクトルの絶対値が大きく異なる場合でも、正確な速度検出が可能である。

前述したように、画像の記録中は撮影画像を、再生中は再生画像を動きベクトル検出部１３ｇに入力して、記録再生画像共に利用可能な進行速度検出を行うことができる。なお、再生中再生画像から動きベクトル検出を行う目的で記録時にズーム倍率情報をサブコードエリア、ユーザ領域情報等に記録しておくものとする。

また、動きベクトル検出により得られた進行速度を、図７に示すように、カメラの表示パネル（図示せず）に数値、またはグラフで表示する。

上述したように、本発明の特徴は、換言すれば、次の通りである。即ち、
ａ）入力画像の動きベクトルから車輌進行速度検出及び表示が可能である。
ｂ）入力画像中心より左右ブロック代表点を検索エリアの画像中心寄りに設定し、動きベクトル大に対し検索範囲を広く対応したものである。
ｃ）左右の動きベクトルから得た速度を加算平均して進行方向が画像中心を外しても検出可能である。
ｄ）画像中心を含む縦列の動きベクトル検出ブロックを不使用にして、進行方向と撮影画像中心の不一致による誤検出を防ぐものである。
ｅ）画像中心を含む横列の動きベクトル検出ブロックを不使用にして、対向車の動きベクトルによる進行速度誤検出を防ぐものである。
ｆ）ズーム位置に応じて異なる動きベクトル量をズーム位置引数テーブルで補正したものである。
ｇ）撮影時、再生時共に入力画像から速度検出可能としたものである。
ｈ）得られた進行速度を表示パネルに数値またはグラフ表示可能である。
ｉ）本発明の動きベクトル検出から車輌進行速度を検出する方法によれば、従来ビデオカメラが備えていた手振れ補正目的の動きベクトル検出回路の応用、或いは部分改良程度の以下の修正で車輌進行速度検出・表示が可能である。
ｊ）動きベクトルブロックの代表点設定位置を画像中心寄りに設定する。

また、中心を含む縦列ブロックを不使用とし、あるいは、中心を含む横列ブロックを不使用にする。
ｋ）本願の撮像装置によれば、動きベクトル検索範囲オーバーになり難い。
ｌ）対向車の動きベクトルによる進行速度誤検出を吸収する。
ｍ）ズーム位置による動きベクトル大きさ変化を補正する。
ｎ）再生画像でも進行速度を検出できる、
などである。

なお、本発明は道路沿いに建物や樹木が密集している状態を走行することを想定している。また、本実施形態のカメラは車輌の進行方向を撮影できる位置に設置されることを想定している。本実施形態において、ユーザが操作部２２を操作することで、速度検出を開始するようにしたが、車のエンジンがかかったことなどを検知して、自動的に速度検出を開始しても良い。また、磁気テープの代わりに記録媒体はハードディスクドライブやフラッシュメモリ等を用いても良い。

１０ 撮像光学系
１１ 撮像素子
１３ｇ 動きベクトル検出部（進行速度検出手段）
Ａ 撮像装置

Claims (6)

1. 車輌に搭載される撮像手段と、
   前記撮像手段で前記車輌の進行方向を撮影して得られる画像をマトリクス状に複数のブロックに分割する分割手段と、
   全てのブロックまたは一部のブロックそれぞれに代表点を設定する代表点設定手段と、
   前記代表点における前記画像の輝度レベルを記憶する記憶手段と、
   次の画像が到来するとその画像の前記代表点が設定されたブロック内の画素の輝度レベルを検索し、前記記憶手段に記憶してある前記代表点の輝度レベルに最も近い輝度レベルの画素の位置を検出する検索手段と、
   前記検索手段の検索結果を基に、前記代表点の移動量を求める移動量検出手段と、
   各ブロックの前記代表点の前記移動量に所定の値を乗算することで前記車輌の速度に対応した値に換算する速度換算手段と、
   各ブロックにおける前記車輌の速度に対応した値の平均値を基に前記車輌の速度を検出する進行速度検出手段と
   を備えることを特徴とする撮像装置。
2. 前記代表点設定手段は、前記画像の中心に位置するブロックを含む縦列ブロックを除いた全てのブロック、または、前記画像の中心に位置するブロックを含む縦列ブロックと、その縦列ブロックと連続した複数の縦列ブロックとを除いた全てのブロックに前記代表点を設定することを特徴とする請求項１記載の撮像装置。
3. 前記代表点設定手段は、前記画像の中心に位置するブロックを含む横列ブロックを除いた全てのブロック、または、前記画像の中心に位置するブロックを含む横列ブロックと、その横列ブロックと連続した複数の横列ブロックとを除いた全てのブロックに前記代表点を設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記代表点設定手段は、前記ブロックの中心、または、前記ブロックの中心よりも前記画像の中心に近い位置に前記代表点を設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. ズーム手段を備え、
   前記速度換算手段は前記ズーム手段のズーム倍率によって前記移動量に乗算する値を変化させることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 所定の縦列ブロックの前記代表点の前記移動量に乗算する値は、その縦列ブロックよりも外側の縦列ブロックの前記移動量に乗算する値よりも大きいことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。