JP2011082856A - 撮像装置 - Google Patents

Abstract

【課題】簡単な構成で、光学系の設定自由度が高く、複数の画像を同時に撮影可能な撮像装置を得る。
【解決手段】撮像レンズ２１１の光軸方向が第２の撮像面５１９の短辺方向と平行となるように、かつ端末装置の重力方向が第１の撮像面５１９と直角となるように、端末装置の内部に第１のＣＣＤ５１２が設けられる。また、撮像レンズ２１１の光軸方向が第２の撮像面５２０と直角となるように、かつ端末装置の重力方向が第２の撮像面５２０の短辺方向と一致するように、端末装置の内部に第２のＣＣＤ５１５が設けられる。第１の撮像面５１９が可視光線撮像領域を成し、第２の撮像面５２０が近赤外線撮像領域を成す。第１及び第２のＣＣＤ５１２、５１５は、第１及び第２の撮像面５１９、５２０に結像した被写体像を同時に撮像する。第１及び第２のＣＣＤ５１２、５１５は１秒間に１０フレームから成る動画を端末演算部及び端末記録部に出力する。
【選択図】図２

Description

本発明は、カラー画像と赤外画像とを同時に撮影する撮像装置に関する。

従来、複数の光学系を用いて複数の画像を同時に得る撮像装置が知られている。撮像装置は望遠レンズ、広角レンズ、及び１つの撮像素子を備える。望遠レンズによる像は、撮像素子の上半分の撮像面に結像し、広角レンズによる像は、撮像素子の下半分の撮像面に結像する。これにより、望遠側画像と広角側画像とを同時に得る（特許文献１）。

特開２００１−２５７９２３号公報

しかし、２つの光学系を有する撮像装置では、被写体との距離に応じてそれぞれの光学系の画角等を決定しなければならないため、被写体との距離に応じて撮像装置を設計する必要がある。さらに、光学系を２つ設けることにより撮像装置のコストが上昇する。

本発明は、これらの問題を鑑みてなされたものであり、簡単な構成で、光学系の設定自由度が高く、複数の画像を同時に撮影可能な撮像装置を得ることを目的とする。

本願発明による撮像装置は、可視光を撮像するカラー用撮像素子と、不可視光を撮像する不可視光用撮像素子と、被写体からカラー用撮像素子及び不可視光用撮像素子までの光路上に設けられ、可視光を反射し、かつ不可視光を透過するコート面を有するビームスプリッターとを備え、遠点側から近点側へ向けて移動する被写体に対応して、カラー用撮像素子から不可視光用撮像素子へ一方向に移動する被写体像を撮像することを特徴とする。

ビームスプリッタは、複数のプリズムを貼り合わせて形成され、複数のプリズムの貼り合わせ面のいずれか一方にコート面が形成されることが好ましい。

カラー用撮像素子は、その撮像面が光路と平行となるように撮像装置に取り付けられ、不可視光用撮像素子は、その撮像面が光路と直角となるように撮像装置に取り付けられることが好ましい。

パンフォーカスレンズであって、撮像素子に被写体像を結像する撮像レンズをさらに備えることが好ましい。深い被写界深度を得る。

ビームスプリッタと不可視光用撮像素子との間の光路上に設けられる偏光フィルタをさらに備えても良い。

ビームスプリッタとカラー用撮像素子との間の光路上に設けられる光路長補正フィルタをさらに備え、光路長補正フィルタは、コート面からカラー用撮像素子までの光路長と、コート面から不可視光用撮像素子までの光路長とを等しくするように構成しても良い。

不可視光は近赤外光が好適である。

以上のように本発明によれば、簡単な構成で、光学系の設定自由度が高く、複数の画像を同時に撮影可能な撮像装置を得る。

本発明による撮像システムのブロック図である。 撮像ユニットの一部断面図である。 撮像ユニットが撮像した画像を示した図である。 蛇行記録処理を示すフローチャートである。 蛇行イニシャルセット処理を示すフローチャートである。 路側帯通行記録処理を示すフローチャートである。 通行イニシャルセット処理を示すフローチャートである。 車色記録処理を示すフローチャートである。 車色イニシャルセット処理を示すフローチャートである。 車種記録処理を示すフローチャートである。 車種イニシャルセット処理を示すフローチャートである。

以下、本発明による実施形態について、図１から３を用いて説明する。

撮像システム１００は、被写体像を撮像可能な位置に設けられる端末装置２００と、端末装置２００と離れた位置に設けられる中央制御機３００を備える。

端末装置２００は、撮像装置２１０と、端末演算部２２０と、車両検出部２３０と、近赤外照明部２４０と、端末記録部２５０と、端末通信制御部２６０とを備える。

中央制御機３００は、中央通信制御部３１０と、アラーム３２０と、中央記録部３３０と、中央演算部３４０とを備える。

撮像装置２１０は、撮像光学系を構成する撮像レンズ２１１と、撮像素子である第１のＣＣＤ５１２及び第２のＣＣＤ５１５と、偏光フィルタ５１７と、光路分割用プリズムであるビームスプリッタ８１３とを備える。

撮像レンズ２１１は、深い被写界深度を実現するための焦点距離と絞りを有し、パンフォーカス撮影が可能である。これにより、撮像レンズ２１１は、撮像装置２１０からの距離が１０ｍから１００ｍまでの間に存在する被写体に同時に合焦することが可能である。

第１のＣＣＤ５１２及び第２のＣＣＤ５１５は、撮像レンズ２１１及びコート面８１８からの光路長が互いに等しくなるような位置に設けられる。

第１及び第２のＣＣＤ５１２、５１５は、１メガピクセルクラス以上の画素数を有するとともに、撮像レンズ２１１からの被写体像が結像する長方形の第１及び第２の撮像面５１９、５２０を各々有する。第１及び第２の撮像面５１９、５２０は互いに同じ縦横比、面積、ピクセル数を備える。

撮像レンズ２１１の光軸方向が第２の撮像面５１９の短辺方向と平行となるように、かつ端末装置２００の重力方向が第１の撮像面５１９と直角となるように、端末装置２００の内部に第１のＣＣＤ５１２が設けられる。また、撮像レンズ２１１の光軸方向が第２の撮像面５２０と直角となるように、かつ端末装置２００の重力方向が第２の撮像面５２０の短辺方向と一致するように、端末装置２００の内部に第２のＣＣＤ５１５が設けられる。第１の撮像面５１９が可視光線撮像領域を成し、第２の撮像面５２０が近赤外線撮像領域を成す。第１及び第２のＣＣＤ５１２、５１５は、第１及び第２の撮像面５１９、５２０、すなわち可視光線撮像領域５１９及び近赤外線撮像領域５２０に結像した被写体像を同時に撮像する。撮像は１秒間に１０回行われ、第１及び第２のＣＣＤ５１２、５１５は１秒間に１０フレームから成る動画を端末演算部２２０及び端末記録部２５０に出力する。

偏光フィルタ５１７は、特定の偏光状態を有する光のみを透過する光学フィルタであり、近赤外線撮像領域５２０の全面を覆うように第２のＣＣＤ５１５に取り付けられる。

ビームスプリッタ８１３は、正方形の底面を有する四角柱であって、直角プリズム８１３ａおよび８１３ｂを２つ貼り合わせて形成されている。直角プリズム８１３ａおよび８１３ｂは同一の三角柱形状を有し、直角三角形の頂面及び底面と四角形の側面を備える。四角形の側面のうち、頂面及び底面の直角を形成しない側面が長方形の貼り合わせ面を成す。２つの直角プリズムの一方（たとえば直角プリズム８１３ａ）の貼り合わせ面には、可視光域を反射し近赤外光域を透過する機能を備えるコーティングが施されて、長方形のコート面８１８を成す。すなわち、コート面８１８を挟むように互いの直角プリズム８１３ａ、８１３ｂの貼り合わせ面どうしが張り合わされる。コート面８１８が撮像レンズ２１１と対向し、コート面８１８の中心が撮像レンズ２１１の光軸上に位置し、かつ第１及び第２のＣＣＤ５１２、５１５の撮像面に照射される光路の全てがコート面８１８に照射されるように、ビームスプリッタ８１３が光路上に設けられる。

撮像レンズ２１１からビームスプリッタ８１３に入射した光は、コート面８１８により可視光と近赤外光とに分離される。可視光は、コート面８１８で反射されて、第１のＣＣＤ５１２に向けて射出する。近赤外光は、コート面８１８を透過して、第２のＣＣＤ５１５に向けて射出する。コート面８１８が可視光と近赤外光とを分離するため、可視光カットフィルタ及び赤外カットフィルタを設ける必要がない。

これらの構成により、第１のＣＣＤ５１２は遠方の被写体をカラー画像で撮像し、第２のＣＣＤ５１５は近方の被写体を近赤外線画像で撮像する（図３参照）。

撮像装置２１０は、例えば、高速道路の走行車線監視のために走行車線上方に設置され、遠方から接近する車を撮影する。第１及び第２のＣＣＤ５１２、５１５の撮像面上に結像する被写体像の天地は、撮像レンズ２１１の機能により被写体の天地と反転する。そのため、被写体、例えば走行して接近してくる車が、撮像装置２１０に対して比較的遠方に位置しているときは、車の被写体像は下方の可視光線撮像領域５１９に位置する。そして、車が接近してきて、撮像装置２１０に対して比較的近距離に位置すると、車の被写体像は上方の近赤外線撮像領域５２０に位置する。これにより、比較的遠方に位置する被写体に関してはカラー画像が得られ、比較的近距離に位置する被写体に関しては赤外線撮影画像が得られる（図３参照）。

車両検出部２３０は、撮像装置２１０の撮像可能範囲内であって、近赤外線撮像領域５２０に結像する被写体像の位置を検出可能な場所に取り付けられるループコイルであり、車両の通過を検知する。端末演算部２２０及び近赤外照明部２４０と電気的に接続され、車両を検出したとき端末演算部２２０及び近赤外照明部２４０に車両検出信号を送信する。

近赤外照明部２４０は、道路を走行する車両を照明可能な場所、かつ近赤外線撮像領域５２０に結像する被写体像を照明可能な位置、例えば路側帯や道路上のフリーフロー型ゲートに設けられる。車両検出部２３０から車両検出信号を受信したとき、近赤外光を車両に向けて照射する。

端末演算部２２０は、車両検出部２３０から車両検出信号を、また第１のＣＣＤ５１２から動画を受信して、画像処理を行う。画像処理では、後述する蛇行記録処理、路側帯通行記録処理、車色記録処理、車種記録処理を実行する。これらの記録処理において、端末演算部２２０は、近赤外線撮像領域５２０に結像した自動車登録番号標又は車両番号標（いわゆるナンバープレート）及び運転者を撮像して静止画を作成し、端末記録部２５０に送信する。

端末記録部２５０は、ハードディスク、あるいはＤＲＡＭなどの半導体記憶装置からなる記憶手段であって、撮像装置２１０から受信した動画や端末演算部２２０から受信した静止画を一時的に記憶する。

端末通信制御部２６０は、有線あるいは無線通信により、中央制御機３００と電気的に接続される。そして、端末記録部２５０が記録している静止画及び動画のうち、各記録処理において後述する条件に合致するものを中央制御機３００に送信する。

中央制御機３００が備える中央通信制御部３１０は、静止画及び動画を受信し、中央記録部３３０に送信する。また、端末通信制御部２６０から静止画あるいは動画を受信したときに、アラーム３２０に警報信号を送信する。

中央記録部３３０は、ハードディスク等の記録手段であって、中央通信制御部３１０から受信した静止画及び動画を記録する。

アラーム３２０は、スピーカ、ディスプレイ、あるいは警告灯であって、中央通信制御部３１０から警報信号を受信したとき、警告音を発したり、警告画像を表示したり、警告光を明滅したりする。

中央演算部３４０は、静止画に含まれるナンバープレートから車両の自動車登録番号等を読み出して、監視対象登録番号と一致するか否かを判断する。

次に、図４及び５を用いて蛇行記録処理について説明する。蛇行記録処理は、端末装置２００が撮影を開始可能となったときに、端末演算部２２０が実行を開始する。

ステップＳ４０１において、蛇行イニシャルセット処理が実行される。蛇行イニシャルセット処理は、撮像装置２１０が撮像した画像において、走行車線が占める領域、すなわち走行車線エリアを抽出し、抽出した走行車線エリアに車線番号を割り当て、動画から１つのフレームを抽出する処理であり、詳細に関しては後述される。なお、走行車線は、道路上において白線や黄線などにより所定の幅で区切られた、車両が通行する領域をいう。また、動画から１つのフレームを抽出する作業をキャプチャと呼び、蛇行イニシャルセット処理においてキャプチャしたフレームを０番目のフレームと呼ぶ。

ステップＳ４０２では、車線変更回数パラメータｍに０を代入して初期化する。車線変更回数パラメータｍは、観察対象となった車両が行った車線変更の数を示すパラメータである。

ステップＳ４０３では、フレーム番号パラメータｎに１を代入して初期化する。フレーム番号パラメータｎは、撮像装置２１０が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。

ステップＳ４０４では、ｎ＋１番目及びｎ＋２番目のフレームを動画からキャプチャする。ｎ＋２番目のフレームは、ｎ＋１番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば０．１秒である。

ステップＳ４０５では、０番目のフレームまたはｎ番目のフレームとｎ＋１番目のフレームとの差分Ｐ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｑを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。

ステップＳ４０６では、差分Ｐ及び差分Ｑを所定の閾値を用いて二値化する。そして、二値化された差分Ｐと二値化された差分Ｑとの論理積Ｒをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｐと差分Ｑとの論理積Ｒをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。この特定作業をマーキングと呼ぶ。

ステップＳ４０７では、ステップＳ４０６においてマーキングした移動体が位置する走行車線エリアとその走行車線エリアの車線番号を算出する。これにより、移動体が現在位置する走行車線を特定する。

ステップＳ４０８では、撮像装置２１０が出力した動画からフレームを１つキャプチャする。そして、フレームをキャプチャするたびに、フレーム番号パラメータｎを１つ増やす。これにより、ステップＳ４０４においてキャプチャした２つのフレームと合わせて、３つのフレームがキャプチャされていることになる。以下、直近にキャプチャされたフレームをｎ＋２番目のフレーム、次の直近にキャプチャされたフレームをｎ＋１番目のフレーム、さらに次の直近にキャプチャされたフレームをｎ番目のフレームとして説明する。

ステップＳ４０９では、ｎ番目のフレームとｎ＋１番目のフレームとの差分Ｓ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｔを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。

ステップＳ４１０では、差分Ｓ及び差分Ｔを所定の閾値を用いて二値化する。そして、二値化された差分Ｓと二値化された差分Ｔとの論理積Ｕをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｓと差分Ｔとの論理積Ｕをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。

ステップＳ４１１では、ステップＳ４１０においてマーキングした移動体が位置する走行車線エリアとその走行車線エリアの車線番号を算出する。これにより、移動体が現在位置する走行車線を特定する。

ステップＳ４１２では、ステップＳ４０７において算出した車線番号と、ステップＳ４１１において算出した車線番号とが異なるかを判断する。異なる場合、処理はステップＳ４１３に進む。同じ場合、処理はステップＳ４１４に進む。

ステップＳ４１３では、車線変更回数パラメータｍを１だけ増やす。ステップＳ４１２において、車線番号が異なる場合、移動体が走行車線を変更したと考えられるためである。

ステップＳ４１４では、車線変更回数パラメータｍが最大車線変更回数ｍＭＡＸ以上であるか否かを判断する。最大車線変更回数ｍＭＡＸは、移動体に許される車線変更回数の最大値であり、蛇行記録処理を実行する前にユーザが決定する。車線変更回数パラメータｍが最大車線変更回数ｍＭＡＸ以上である場合、処理はステップＳ４１５に進み、そうでない場合、処理はステップＳ４０８に進む。

ステップＳ４１５では、撮像装置２１０から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての走行車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、０．１秒ごとに１０枚のフレームをキャプチャする。

ステップＳ４１６では、ステップＳ４１５においてキャプチャした全てのフレームを、端末通信制御部２６０を介して中央制御機３００へ送信させる。中央制御機３００では、受信した全てのフレームが中央記録部３３０に記憶される。そして、処理が終了する。

蛇行イニシャルセット処理について説明する。

ステップＳ５０１では、撮像装置２１０が撮像した画像において、走行車線が占める領域、すなわち走行車線エリアを抽出する。走行車線エリアは、走行車線と走行車線とを区切る白線又は黄線を端末演算部２２０が画像処理を行うことにより認識される。また、路側帯を通行する車両を検知するため、路側帯も１つの走行車線エリアとして認識される。

次のステップＳ５０２では、抽出した走行車線エリアに番号を割り当てる。図３に示される画像を得る場合、近赤外映像で撮像された車両が存在する走行車線の右側に位置する路側帯を車線番号Ｌ１、近赤外映像で撮像された車両が存在する最も右の走行車線を車線番号Ｌ２、その左の走行車線を車線番号Ｌ３、撮像された車両が存在しない最も左に位置する走行車線を車線番号Ｌ４とする。

次のステップＳ５０３では、動画から１つのフレームを抽出する。あらかじめ観察対象が存在しない走行車線を撮像しておくことにより、移動体の検出を容易にする。そして、処理が終了する。

蛇行記録処理によれば、車線変更を最大車線変更回数ｍＭＡＸ以上繰り返す車両を自動的に撮像及び記録することができる。

次に、図６及び７を用いて路側帯通行記録処理について説明する。路側帯通行記録処理は、端末装置２００が撮影を開始可能となったときに、端末演算部２２０が実行を開始する。

ステップＳ６０１において、通行イニシャルセット処理が実行される。通行イニシャルセット処理は、走行車線エリアに車線番号を割り当て、最大路側帯通行回数ｍＭＡＸを設定し、動画から１つのフレームを抽出し、そして路側帯を認識する処理であり、詳細に関しては後述される。最大路側帯通行回数ｍＭＡＸは、移動体が路側帯を通行した回数、より詳しくは期間の最大値であり、ユーザが決定する。なお、通行イニシャルセット処理においてキャプチャしたフレームを０番目のフレームと呼ぶ。

ステップＳ６０２では、確認回数パラメータｍに０を代入して初期化する。確認回数パラメータｍは、観察対象となった車両が路側帯を通行した回数、より詳しくは期間を示すパラメータである。

ステップＳ６０３では、フレーム番号パラメータｎに１を代入して初期化する。フレーム番号パラメータｎは、撮像装置２１０が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。

ステップＳ６０４では、ｎ＋１番目及びｎ＋２番目のフレームを動画からキャプチャする。ｎ＋２番目のフレームは、ｎ＋１番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば０．１秒である。

ステップＳ６０５では、０番目のフレームまたはｎ番目のフレームとｎ＋１番目のフレームとの差分Ｐ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｑを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。

ステップＳ６０６では、差分Ｐ及び差分Ｑを所定の閾値を用いて二値化する。そして、二値化された差分Ｐと二値化された差分Ｑとの論理積Ｒをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｐと差分Ｑとの論理積Ｒをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。

ステップＳ６０７では、フレーム番号パラメータｎを１増やす。

ステップＳ６０８では、撮像装置２１０が出力した動画からフレームを１つキャプチャする。これにより、ステップＳ６０４においてキャプチャした２つのフレームと合わせて、３つのフレームがキャプチャされていることになる。以下、直近にキャプチャされたフレームをｎ＋２番目のフレーム、次の直近にキャプチャされたフレームをｎ＋１番目のフレーム、さらに次の直近にキャプチャされたフレームをｎ番目のフレームとして説明する。

ステップＳ６０９では、ｎ番目のフレームとｎ＋１番目のフレームとの差分Ｓ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｔを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。

ステップＳ６１０では、差分Ｓ及び差分Ｔを所定の閾値を用いて二値化する。そして、二値化された差分Ｓと二値化された差分Ｔとの論理積Ｕをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｓと差分Ｔとの論理積Ｕをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。

ステップＳ６１１では、フレーム番号パラメータｎを１増やす。

ステップＳ６１２では、移動体が路側帯に位置するか否かを判断する。判断は、ステップＳ６１０においてマーキングされた移動体が路側帯に相当する走行車線エリア内に存在するか否かを画像処理することにより決定する。移動体が路側帯に位置する場合、処理はステップＳ６１３に進み、そうでない場合、処理はステップＳ６０８に戻る。

ステップＳ６１３では、確認回数パラメータｍを１増やす。ステップＳ６１２において、移動体が路側帯に位置するためである。

ステップＳ６１４では、確認回数パラメータｍが最大路側帯通行確認回数ｍＭＡＸ以上であるか否かを判断する。フレームは所定の周期で取得されるため、路側帯に位置する移動体を撮像したフレームの数を数えることにより、移動体が路側帯に存在する時間を測定することができる。確認回数パラメータｍが最大路側帯通行確認回数ｍＭＡＸ以上である場合、処理はステップＳ６１５に進み、そうでない場合、処理はステップＳ６０８に戻る。

ステップＳ６１５では、車両検出部２３０からの信号を用いて、移動体が撮影ポイントに位置するか否かを判断する。車両検出部２３０を成すループコイルを撮影ポイントに設置し、ループコイルが送信した車両検出信号を受信したときに、移動体が撮影ポイントに位置すると判断する。移動体が撮影ポイントに位置する場合、処理がステップＳ６１６に進み、そうでない場合、処理はステップＳ６０８に戻る。

ステップＳ６１６では、撮像装置２１０から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、０．１秒ごとに１０枚のフレームをキャプチャする。

ステップＳ６１７では、ステップＳ６１６においてキャプチャした全てのフレームを端末通信制御部２６０に中央制御機３００へ送信させる。そして、処理が終了する。

通行イニシャルセット処理について説明する。

ステップＳ７０１では、撮像装置２１０が撮像した画像において、走行車線が占める領域、すなわち走行車線エリアを抽出する。走行車線エリアは、走行車線と走行車線とを区切る白線又は黄線を端末演算部２２０が画像処理を行うことにより認識される。また、路側帯を通行する車両を検知するため、路側帯も１つの走行車線エリアとして認識される。そして、抽出した走行車線エリアに番号を割り当てる。図３に示される画像を得る場合、近赤外映像で撮像された車両が存在する走行車線の右側に位置する路側帯を車線番号Ｌ１、近赤外映像で撮像された車両が存在する最も右の走行車線を車線番号Ｌ２、その左の走行車線を車線番号Ｌ３、撮像された車両が存在しない最も左に位置する走行車線を車線番号Ｌ４とする。

ステップＳ７０２では、最大路側帯通行確認回数ｍＭＡＸを取得する。

次のステップＳ７０３では、動画から１つのフレームを抽出する。あらかじめ観察対象が存在しない走行車線を撮像しておくことにより、移動体の検出を容易にする。

ステップＳ７０４では、路側帯を構成するエリアを路側帯エリアとして認識する。そして、処理が終了する。

路側帯通行記録処理によれば、最大路側帯通行確認回数ｍＭＡＸ以上路側帯に存在する車両を自動的に撮像及び記録することができる。

次に、図８及び９を用いて車色記録処理について説明する。車色記録処理は、端末装置２００が撮影を開始可能となったときに、端末演算部２２０が実行を開始する。

ステップＳ８０１において、車色イニシャルセット処理が実行される。車色イニシャルセット処理は、検出対称となる車色を設定する処理であり、詳細に関しては後述される。検出対称となる車色は、ユーザにより決定される。

ステップＳ８０２では、フレーム番号パラメータｎに０を代入して初期化する。フレーム番号パラメータｎは、撮像装置２１０が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。

ステップＳ８０３では、ｎ＋１番目及びｎ＋２番目のフレームを動画からキャプチャする。ｎ＋２番目のフレームは、ｎ＋１番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば０．１秒である。

ステップＳ８０４では、ｎ番目のフレームとｎ＋１番目のフレームとの差分Ｐ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｑを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。

ステップＳ８０５では、差分Ｐ及び差分Ｑを所定の閾値を用いて二値化する。そして、二値化された差分Ｐと二値化された差分Ｑとの論理積Ｒをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｐと差分Ｑとの論理積Ｒをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。

ステップＳ８０６では、マーキングした移動体に関して算出した論理積Ｒに対しｎ＋１番目のフレームを加算して、色情報を有する色認識画像Ｃを算出する。

ステップＳ８０７では、移動体の車色が検索対象の車色（目的色）と一致するか否かを判断する。移動体の車色が検索対象の色と合致する場合、処理がステップＳ８０８に進み、そうでない場合、処理はステップＳ８０２に戻る。

ステップＳ８０８では、撮像装置２１０が出力した動画からフレームを１つキャプチャする。ここでキャプチャされるフレームはカラー画像である。これにより、カラー画像を端末記録部２５０に記録し、移動体の車体の色を認識することができる。

ステップＳ８０９では、フレーム番号パラメータｎを１増やす。

ステップＳ８１０では、撮像装置２１０が出力した動画からフレームを１つキャプチャする。これにより、ステップＳ８０３及びＳ８０８においてキャプチャした３つのフレームと合わせて、４つのフレームがキャプチャされていることになる。このうち、直近にキャプチャされた３つのフレームを用いて、以下の処理を行う。以下、直近にキャプチャされたフレームをｎ＋２番目のフレーム、次の直近にキャプチャされたフレームをｎ＋１番目のフレーム、さらに次の直近にキャプチャされたフレームをｎ番目のフレームとして説明する。

ステップＳ８１１では、ｎ番目のフレームとｎ＋１番目のフレームとの差分Ｓ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｔを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。

ステップＳ８１２では、差分Ｓ及び差分Ｔを所定の閾値を用いて二値化する。そして、二値化された差分Ｓと二値化された差分Ｔとの論理積Ｕをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｓと差分Ｔとの論理積Ｕをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。

ステップＳ８１３では、車両検出部２３０からの信号を用いて、移動体が撮影ポイントに位置するか否かを判断する。車両検出部２３０を成すループコイルを撮影ポイントに設置し、ループコイルが送信した車両検出信号を受信したときに、移動体が撮影ポイントに位置すると判断する。移動体が撮影ポイントに位置する場合、処理がステップＳ８１４に進み、そうでない場合、処理はステップＳ８０９に戻る。

ステップＳ８１４では、撮像装置２１０から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、０．１秒ごとに１０枚のフレームをキャプチャする。

ステップＳ８１５では、ステップＳ８１４においてキャプチャした全てのフレームを端末通信制御部２６０に中央制御機３００へ送信させる。そして、処理が終了する。

車色イニシャルセット処理について説明する。

ステップＳ９０１では、検出対称となる車色をユーザが設定する。車色は、ＨＳＶ（色相、彩度、明度）、ＲＧＢ（赤、緑、青）色空間などを用いて設定される。ユーザが設定した後に、処理が終了する。

車色記録処理によれば、所望の車色を有する車両を自動的に撮像及び記録することができる。

次に、図１０及び１１を用いて車種記録処理について説明する。車種記録処理は、端末装置２００が撮影を開始可能となったときに、端末演算部２２０が実行を開始する。

ステップＳ１００１において、車種イニシャルセット処理が実行される。車種イニシャルセット処理は、車種情報を設定し、最大車種検出回数ｍＭＡＸを設定し、動画から１つのフレームを抽出する処理であり、詳細に関しては後述される。最大車種検出回数ｍＭＡＸは、所望の車種（目的車種）に該当する移動体を撮像したフレームの数であり、ユーザが決定する。なお、通行イニシャルセット処理においてキャプチャしたフレームを０番目のフレームと呼ぶ。

ステップＳ１００２では、確認回数パラメータｍに０を代入して初期化する。確認回数パラメータｍは、所望の車種に該当する移動体を撮像した回数を示すパラメータである。

ステップＳ１００３では、フレーム番号パラメータｎに１を代入して初期化する。フレーム番号パラメータｎは、撮像装置２１０が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。

ステップＳ１００４では、ｎ＋１番目及びｎ＋２番目のフレームを動画からキャプチャする。ｎ＋２番目のフレームは、ｎ＋１番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば０．１秒である。

ステップＳ１００５では、ｎ番目のフレームとｎ＋１番目のフレームとの差分Ｐ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｑを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。

ステップＳ１００６では、差分Ｐ及び差分Ｑを所定の閾値を用いて二値化する。そして、二値化された差分Ｐと二値化された差分Ｑとの論理積Ｒをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｐと差分Ｑとの論理積Ｒをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。

ステップＳ１００７では、フレーム番号パラメータｎを１増やす。

ステップＳ１００８では、撮像装置２１０が出力した動画からフレームを１つキャプチャする。これにより、ステップＳ１００４においてキャプチャした２つのフレームと合わせて、３つのフレームがキャプチャされていることになる。以下、直近にキャプチャされたフレームをｎ＋２番目のフレーム、次の直近にキャプチャされたフレームをｎ＋１番目のフレーム、さらに次の直近にキャプチャされたフレームをｎ番目のフレームとして説明する。

ステップＳ１００９では、フレーム番号パラメータｎを１増やす。

ステップＳ１０１０では、ｎ番目のフレームとｎ＋１番目のフレームとの差分Ｓ、及びｎ＋２番目のフレームとｎ＋１番目のフレームとの差分Ｔを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。

ステップＳ１０１１では、差分Ｓ及び差分Ｔを所定の閾値を用いて二値化する。そして、二値化された差分Ｓと二値化された差分Ｔとの論理積Ｕをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Ｓと差分Ｔとの論理積Ｕをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。

ステップＳ１０１２では、移動体が所望の車種に該当するか否かを判断する。判断は、ステップＳ１０１０においてマーキングされた移動体が目的車種に該当するか否かを画像処理することにより決定する。移動体が目的車種に該当する場合、処理はステップＳ１０１３に進み、そうでない場合、処理はステップＳ１０１４に進む。

ステップＳ１０１３では、確認回数パラメータｍを１増やす。ステップＳ１０１２において、移動体が目的車種に該当するためである。

ステップＳ１０１４では、確認回数パラメータｍが最大車種検出回数ｍＭＡＸ以上であるか否かを判断する。目的車種に該当する移動体を撮像したフレームの数を数え、その数が最大車種検出回数ｍＭＡＸ以上であるときに、移動体が目的車種に該当すると判断する。これにより、目的車種検出の確度を上げることができる。確認回数パラメータｍが最大車種検出回数ｍＭＡＸ以上である場合、処理はステップＳ１０１５に進み、そうでない場合、処理はステップＳ１００８に戻る。

ステップＳ１０１５では、車両検出部２３０からの信号を用いて、移動体が撮影ポイントに位置するか否かを判断する。車両検出部２３０を成すループコイルを撮影ポイントに設置し、ループコイルが送信した車両検出信号を受信したときに、移動体が撮影ポイントに位置すると判断する。移動体が撮影ポイントに位置する場合、処理がステップＳ１０１６に進み、そうでない場合、処理はステップＳ１００８に戻る。

ステップＳ１０１６では、撮像装置２１０から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、０．１秒ごとに１０枚のフレームをキャプチャする。

ステップＳ１０１７では、ステップＳ１０１６においてキャプチャした全てのフレームを端末通信制御部２６０に中央制御機３００へ送信させる。そして、処理が終了する。

車種イニシャルセット処理について説明する。

ステップＳ１１０１では、検出対称となる車種をユーザが入力する。

ステップＳ１１０２では、最大車種検出回数ｍＭＡＸを取得する。

次のステップＳ１１０３では、動画から１つのフレームを抽出する。あらかじめ観察対象が存在しない走行車線を撮像しておくことにより、移動体の検出を容易にする。そして処理が終了する。

車種記録処理によれば、所望の車種に該当する車両を自動的に撮像及び記録することができる。

本実施形態によれば、安価な小型の撮像素子を用いて、移動体の移動を監視しながら、移動体の詳細な画像を撮像することが可能となる。

また、１つの撮像素子の撮像面を複数に分けて各々別個のフィルタを設ける手間を省くことができる。さらに、ハーフミラーを用いて光路を分割すると、ハーフミラーの光入射面の裏面で光が反射して被写体像が劣化することがある。しかし、プリズムによるビームスプリッタ８１３を用いることにより、被写体像の劣化を防止できるとともに、ハーフミラーを用いて光路を分割する構成に対して、可視光カットフィルタ及び赤外カットフィルタを設ける手間を省くことができる。

なお、本実施形態において、撮像レンズ２１１及びコート面８１８からの光路長が互いに等しくなるような位置に第１のＣＣＤ５１２及び第２のＣＣＤ５１５を設けずに、第１のＣＣＤ５１２とビームスプリッタ８１３との間に光路長調整フィルタを設けても良い。

なお、撮像素子はＣＣＤに限定されず、ＣＭＯＳ等であっても良い。また、ＣＣＤの画素数は、１メガピクセルクラス以上に限定されない。さらに、撮像は１秒間に１０回に限定されない。

近赤外線撮像領域５２０と可視光線撮像領域５１９とは、互いに同じ縦横比、面積、ピクセル数でなくても良く、目的や撮影状況に応じて、いずれか一方の縦横比、面積、ピクセル数を他方と異なるものにしてもよい。

また、移動体が撮影ポイントに位置するか否かの判別処理としてループコイルの受信信号を用いたが、これに代わって、抽出した移動体の像の撮像素子面上での移動速度及び移動方向を算出し、この移動速度および移動方向に基づいて、近赤外線撮像領域５２０内の撮影ポイントに対応する領域に達するタイミングを予測して、近赤外線撮影を行うようにしても良い。

車両検出部２３０はループコイルでなくても良く、赤外線センサ、音波センサ等の車両の位置を検出可能なものであればよい。

なお、車両の代わりに果物を監視対象物とすることもできる。判別条件として色の代わりに果物の糖度を用いることにより、果物を選果することが可能である。また、車種の代わりに果物の種類や大きさを用いることにより、他品種の果物を選り分けることが可能である。

さらに、車両の代わりに小包を監視しても良い。目的地、大きさ、形状に応じて小包を選別することができる。

１００ 撮像システム
２００ 端末装置
２１０ 撮像装置
２１１ 撮像レンズ（撮像光学系）
２１１ 撮像レンズ
２２０ 端末演算部
２３０ 車両検出部
２４０ 近赤外照明部
２５０ 端末記録部
２６０ 端末通信制御部
３００ 中央制御機
３１０ 中央通信制御部
３２０ アラーム
３３０ 中央記録部
３４０ 中央演算部
５１２ 第１のＣＣＤ
５１５ 第２のＣＣＤ
５１７ 偏光フィルタ
５１９ 第１の撮像面（可視光線撮像領域）
５２０ 第２の撮像面（近赤外線撮像領域）
８１３ ビームスプリッタ
８１８ コート面

Claims (7)

1. 可視光を撮像するカラー用撮像素子と、
   不可視光を撮像する不可視光用撮像素子と、
   被写体から前記カラー用撮像素子及び前記不可視光用撮像素子までの光路上に設けられ、可視光を反射し、かつ不可視光を透過するコート面を有するビームスプリッターとを備え、
   遠点側から近点側へ向けて移動する被写体に対応して、前記カラー用撮像素子から前記不可視光用撮像素子へ一方向に移動する被写体像を撮像する撮像装置。
2. 前記ビームスプリッタは、複数のプリズムを貼り合わせて形成され、前記複数のプリズムの貼り合わせ面のいずれか一方に前記コート面が形成される請求項１に記載の撮像装置。
3. 前記カラー用撮像素子は、その撮像面が前記光路と平行となるように前記撮像装置に取り付けられ、前記不可視光用撮像素子は、その撮像面が前記光路と直角となるように前記撮像装置に取り付けられる請求項１及び２に記載の撮像装置。
4. パンフォーカスレンズであって、前記撮像素子に被写体像を結像する撮像レンズをさらに備える請求項１に記載の撮像装置。
5. 前記ビームスプリッタと前記不可視光用撮像素子との間の光路上に設けられる偏光フィルタをさらに備える請求項１に記載の撮像装置。
6. 前記ビームスプリッタと前記カラー用撮像素子との間の光路上に設けられる光路長補正フィルタをさらに備え、
   前記光路長補正フィルタは、前記コート面から前記カラー用撮像素子までの光路長と、前記コート面から前記不可視光用撮像素子までの光路長とを等しくする請求項１に記載の撮像装置。
7. 前記不可視光は近赤外光である請求項１に記載の撮像装置。

Images