JP2006197033A - 画像撮影システム - Google Patents

Abstract

【課題】 撮像装置を小型化することができ、自車両と対象物との距離を算出する精度を高く維持することが可能な画像撮影システムを提供する。
【解決手段】 複数の対物レンズ１１１、１２１から入射した光を単一の撮像素子１４で撮像する画像撮影システムにおいて、撮像対象から光が入射する複数の対物レンズ１１１、１２１と、該対物レンズ１１１、１２１から入射した光を前記撮像素子１４へ誘導する光学機構１１２、１２２及び光伝送路１３、又はいずれか１つを備え、前記複数の対物レンズ１１１、１２１を、前記撮像素子１４で生成した画像データに基づいて撮像対象まで測距可能な距離をおいて配設する。
【選択図】 図２

Description

本発明は、外部を撮像する撮像装置の視差を、ステレオ視による測距精度を維持可能な距離だけ確保することができ、撮像装置の小型化が可能な画像撮影システムに関する。

自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外線カメラ、又はＣＣＤセンサ、ＣＭＯＳセンサ等を備えた可視カメラを搭載し、例えば車両前方に存在する歩行者、自転車等の存在を認識して、運転者に注意を促す周囲監視システムが多々開発されている。

例えば、特許文献１では、赤外線カメラ等の撮像手段により撮像した自車両周辺の画像に基づいて、自車両と衝突する可能性がある歩行者、二輪車等の認識対象物を抽出し、自車両と衝突する可能性がある認識対象物の存在を検知した場合、その旨を運転者に提供する画像認識装置が開示されている。本画像認識装置では、左右に配置した赤外線カメラで撮像した対象物画像の重心位置の差に基づいて視差を求め、これから自車両と対象物との距離を算出することができる。
特開２００３−１３４５０８号公報

しかし、従来の画像認識装置では、自車両と対象物との距離を算出する精度を高めるために、左右に配置する赤外線カメラを、相当の距離をおいて配置する必要が有る。したがって、左右に２つの撮像装置を配設する必要が有り、設置コストを低減することが困難であるという問題点があった。

上述した問題点を解決すべく、比較的高価な撮像素子を単一とし、左右に配置した赤外線カメラの対物レンズに入射した光を、光学機構を組み合わせることにより単一の撮像素子まで誘導することによりステレオ視を実現することも試みられている。しかし、光学機構に複数のプリズム、ミラー等が必要となり、結局撮像装置全体が大型化することにより、撮像装置本体の製造コストを低減することが困難になるという問題点が残されていた。

本発明は、斯かる事情に鑑みてなされたものであり、撮像装置を小型化することができ、自車両と対象物との距離を算出する精度を高く維持することが可能な画像撮影システムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像撮影システムは、複数の対物レンズから入射した光を単一の撮像素子で撮像する画像撮影システムにおいて、撮像対象から光が入射する複数の対物レンズと、該対物レンズから入射した光を前記撮像素子へ誘導する光学機構及び光伝送路、又はいずれか１つを備え、前記複数の対物レンズを、前記撮像素子で生成した画像データに基づいて撮像対象まで測距可能な距離をおいて配設してあることを特徴とする。

また、第２発明に係る画像撮影システムは、第１発明において、前記光伝送路は、イメージファイバで形成してあることを特徴とする。

また、第３発明に係る画像撮影システムは、第１又は第２発明において、前記対物レンズから入射した光の光量が前記光学機構及び光伝送路、又はいずれか１つを通過することにより減衰した光減衰量に応じて、撮像した画像の輝度補正を行うようにしてあることを特徴とする。

第１発明では、複数の対物レンズ、例えば２つの対物レンズを車両の左右方向の両端部に配設し、２つの対物レンズから入射した光の方向を光伝送路側へ変更し、対物レンズから入射した光を単一の撮像素子へと光学機構及び光伝送路又はいずれか１つを介して誘導する。これにより、２つの対物レンズの配置の自由度が増大し、撮像素子で生成した画像データに基づいて撮像対象までの距離を測定するのに十分な距離をおいて２つの対物レンズを配設することができる。

第２発明では、光伝送路は、イメージファイバで形成してある。これにより、高い解像度に対応する撮像した画像を、イメージファイバを介して撮像素子へと伝送することができ、伝送効率を高めることが可能となる。

第３発明では、対物レンズから入射した光の光量が光学機構及び光伝送路、又はいずれか１つを通過することにより減衰した光減衰量に応じて、撮像した画像の輝度補正を行う。これにより、光量が減衰した場合であっても、より鮮明な画像を形成することが可能となる。

第１発明によれば、２つの対物レンズの配置の自由度が増大し、撮像素子で生成した画像データに基づいて撮像対象までの距離を測定するのに十分な距離をおいて２つの対物レンズを配設することができる。すなわち、ステレオ視を実現するのに十分な距離をおいて２つの対物レンズを容易に配置することができ、単一の撮像素子を備えることにより撮像装置全体の製造コストを低減することが可能となる。

第２発明によれば、イメージファイバを用いることにより、高い解像度に対応する撮像した画像を撮像素子へと伝送することができ、伝送効率を高めることが可能となる。

第３発明によれば、対物レンズから入射した光の光量が光学機構及び光伝送路、又はいずれか１つを通過することにより減衰した光減衰量に応じて、撮像した画像の輝度補正を行うことにより、光量が減衰した場合であっても、より鮮明な画像を形成することが可能となる。

図１は、本発明の実施の形態に係る画像撮影システムの構成を示す模式図である。１は、夜間の歩行者、自転車に乗った人間等を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１は、対物レンズ及び光反射部を備えた撮像部１１、１２を備えており、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像部１１に入射した光は、光伝送部１３を介して撮像素子を備える撮像部１２へ伝送され、撮像部１２の撮像素子が受光することにより画像データを生成する。生成された画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある画像処理装置３に送信される。

画像処理装置３は、ビデオカメラ１の他、操作部を備えた表示装置４、及び音声、効果音等により聴覚的な警告を発する警報装置５とも、車載ＬＡＮケーブル６を介して接続されている。

図２は、本発明の実施の形態に係る画像撮影システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。ビデオカメラ１は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある撮像部１１、１２と、撮像部１１に入射した光を撮像部１２に伝送する光伝送部１３とで構成されている。

撮像部１１は、少なくとも対物レンズ１１１、光反射部１１２及び伝送レンズ１１３を備えており、対物レンズ１１１から入射した光の方向を、光反射部１１２によって光伝送部１３で伝送可能な方向へと変更する。方向を変更した光は、伝送レンズ１１３を介して光伝送部１３へ入射される。対物レンズ１１１及び伝送レンズ１１３は、Ｇｅ（ゲルマニウム）、ＺｎＳ（硫化亜鉛）等の材質で形成されている焦点距離が５０ｍｍの標準レンズである。光反射部１１２はプリズム、ミラー等、光の進行方向を変更することができる光学素子を含む光学機構であれば何でも良い。

撮像部１２は、対物レンズ１２１、光反射部１２２及び伝送レンズ１２３の他、対物レンズ１２１から入射した光及び光伝送部１３を介して伝送されてきた対物レンズ１１１から伝送されてきた光を受光し、画像データを生成する撮像素子１４、撮像素子１４と内部バス１５を介して接続されている信号処理部１６、画像メモリ１７、及び通信インタフェース部１８を備えている。撮像部１１と同様、対物レンズ１２１及び伝送レンズ１２３は、Ｇｅ（ゲルマニウム）、ＺｎＳ（硫化亜鉛）等の材質で形成されている焦点距離が５０ｍｍの標準レンズである。。光反射部１２２はプリズム、ミラー等、光の進行方向を変更することができる光学素子であれば何でも良い。

対物レンズ１１１は、対物レンズ１１１、伝送レンズ１１３を透過し、ミラーで構成してある光反射部１１２で反射される光の色収差を補正する回折光学素子１１４を後方に備えている。同様にして、対物レンズ１２１は、対物レンズ１２１を透過した光の色収差を補正する回折光学素子１２４を後方に備えている。なお、光反射部１１２は、金又はアルミニウムを蒸着させたミラーで構成してあり、反射光を撮像素子へ導く。

また、撮像部１２は、対物レンズ１２１及びミラーで構成してある光反射部１２２の後方に、アスペクト比が４／３の撮像素子１４を、長辺の方向と撮像部１１及び撮像部１２の並設方向とが略平行になるように備えている。光反射部１２２は、対物レンズ１１１を透過し、光伝送部１３を介して伝送された光を反射して、撮像素子１４の右側半分の第１撮像領域、すなわち対物レンズ１１１寄りの撮像領域へ導き、対物レンズ１２１を透過した光を撮像素子１４の左側の第２撮像領域、すなわち対物レンズ１２１寄りの撮像領域へ導く。

撮像素子１４は、対物レンズ１１１、１２１により集光された光、特に波長が８〜１２μｍの赤外光を、画素毎にアナログの撮像信号に変換するボロメータ、サーモパイル、ＳＯＩダイオード等の非冷却熱型撮像素子であり、画素毎にアナログ信号に変換された撮像信号を順次的に信号処理部１６へ出力する。右側及び左側からの光は夫々対物レンズ１２１、１１１に入射し、撮像素子１４の第１撮像領域及び第２撮像領域に結像するため、撮像素子１４は、第１撮像領域にて右側の被撮像体を撮像し、第２撮像領域にて左側の被撮像体を撮像する。

本実施の形態では、アスペクト比が４／３の撮像素子１４を、長辺の方向と撮像部１１及び撮像部１２の並設方向とが略平行になるように備えているが、短辺の方向と撮像部１１及び撮像部１２の並設方向とが略平行になるように備えても良い。この場合、光反射部１２２は、対物レンズ１１１を透過し、光伝送部１３を介して伝送された光を反射して、撮像素子１４の上側半分の第３撮像領域へ導き、対物レンズ１２１を透過した光を撮像素子１４の下側の第４撮像領域へ導く。したがって、左側及び右側からの光は夫々対物レンズ１１１、１２１に入射し、撮像素子１４の第３撮像領域及び第４撮像領域に結像するため、撮像素子１４は、上側の領域にて左側の被撮像体を撮像し、下側の領域にて右側の被撮像体を撮像する。

信号処理部１６は、ＬＳＩ基板であり、撮像素子１４から受け取ったアナログ信号を輝度（Ｙ）のデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行い、画像データとして画像メモリ１７へ記憶する。

通信インタフェース部１８は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して画像処理装置３とデータの送受信を行う。通信インタフェース部１８は、画像処理装置３から送出される指令に従って、画像メモリ１７に記憶された画像データの画像処理装置３への送出、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

光伝送部１３は、光を透過することが可能なイメージファイバで構成されている。図３は、本発明の実施の形態に係る画像撮影システムの光伝送部１３の構成を示す模式図である。本実施の形態では、画像データが大容量であることに対応すべく、受光する撮像素子１４の解像度に対応可能な数の光ファイバ１３１を束ねたファイバ束として形成してある。

光伝送部１３は、ファイバ束として構成されるものに限定されるものではなく、撮像部１１で撮像した画像を撮像部１２まで確実に伝送すべく、光ファイバ内に略等しい間隔でリレーレンズ（図示せず）を挿入しても良い。

図４は、本発明の実施の形態に係る画像撮影システムの画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１に対する指令の送信、ビデオカメラ１からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。

また、通信インタフェース部３１は、液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１から受信した画像データを記憶する。

画像処理部３３は、ＬＳＩ基板であり、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データの左右又は上下に生成されている、左右の撮像部１１、１２で撮像した画像データに存在する特徴部分の相関値Ｒに基づいて、人間の存在、二輪車等の車両の存在等を検出する。画像処理部３３が、画像データ内に人間、二輪車等の車両に対応する部分が存在すると判断した場合、画像処理部３３は、人間、二輪車等の車両に対応する部分までの距離を算出し、算出した距離が所定値より短いか否かを判断し、所定値より短いと判断した場合、警告メッセージを表示、又は警告音を出力する。

画像処理部３３での詳細な処理について以下に説明する。本実施の形態では、画像処理部３３が、取得した画像データの上下の２画像又は左右の２画像に共通の特徴部分を相関値に基づいて抽出し、特徴部分までの距離を算出する。

図５は、本発明の実施の形態に係る画像撮影システムの画像処理装置３の画像処理部３３の処理手順を示すフローチャートである。画像処理部３３は、通信インタフェース部３１を介してビデオカメラ１で撮像した画像データを取得し、画像メモリ３２に記憶する（ステップＳ５０１）。画像処理部３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ５０２）、読み出した画像データを上下又は左右方向に２分割して（ステップＳ５０３）、それぞれの画像データの輝度値のヒストグラムが略一致するよう輝度補正を行う（ステップＳ５０４）。

すなわち、撮像部１２は入射した光を直接撮像素子へと誘導することができるのに対して、撮像部１１は、入射した光が光伝送部１３を経由して伝送される間に輝度値が減衰する。図６は、左右に配設してある撮像部１１、１２で撮像した画像の輝度値のヒストグラムの例示図である。

撮像素子１４が受光した状態のまま何等輝度補正を行わない場合、図６（ａ）のように、撮像部１２からの画像のヒストグラム６１に対して、撮像部１１からの画像のヒストグラム６２のコントラストが大きく低下している。そこで、輝度補正を撮像部１１からの画像に対して行うことで、図６（ｂ）のようにヒストグラム６３にまでコントラストを高めることができる。

画像処理部３３は、輝度補正後の画像データに対して、特徴部分である人間、二輪車等に対応する標準パターンテンプレートとのマッチング処理を行うことにより相関値Ｒを算出する（ステップＳ５０５）。

画像処理部３３は、算出した相関値Ｒが所定の閾値より大きい領域が存在するか否かを判断し（ステップＳ５０６）、画像処理部３３が、相関値Ｒが所定の閾値より大きい領域が存在すると判断した場合（ステップＳ５０６：ＹＥＳ）、画像処理部３３は、画像データに人間、二輪車等に対応する部分が存在すると判断して、人間、二輪車等に対応する部分までの距離を算出する（ステップＳ５０７）。

相関値Ｒの算出は（数１）に沿って行われる。

（数１）において、Ｎはマッチング処理を行う画像領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは検出する対象物の温度分布を示す標準テンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像領域におけるｋ番目の画素の画素値を、それぞれ示している。

なお、分割された画像領域に、人間、車両等が存在するか否かを判断する方法は、上述した検出対象である人間、車両等に固有の温度分布を示す標準テンプレートと画像領域とをマッチングすることによる相関値を単独で用いることに限定されるものではなく、人間、車両等と認識される領域の大きさ、縦横比、画素値の平均値、分散等を相関値と組み合わせて判断するものであっても良い。

画像処理部３３は、算出した距離が所定値より短いか否かを判断し（ステップＳ５０８）、画像処理部３３が、算出した距離が所定値より短いと判断した場合（ステップＳ５０８：ＹＥＳ）、衝突する危険性が高いものと判断して、通信インタフェース部３１を介して警告メッセージを表示、又は警告音を出力する（ステップＳ５０９）。

また、表示装置４及び警報装置５に対して送出する警報に関する情報は、例えば表示装置４に対しては、車両として認識された領域を強調表示した画像データである。また、警報装置５に対しては、ブザーの鳴動開始を指示する信号、再生対象となる合成音声信号等である。警報に関する情報についても、特にこれらに限定されるものではない。

以上のように本実施の形態によれば、複雑な光学機構を設けることなく、撮像部１１、１２の配置の自由度が増大し、撮像素子で生成した画像データに基づいて撮像対象までの距離を測定するのに十分な距離をおいて２つの撮像部１１、１２を配設することができる。すなわち、ステレオ視を実現するのに十分な距離をおいて２つの撮像部１１、１２を配置することができ、単一の撮像素子１４を備えることにより撮像装置全体の製造コストを低減することが可能となる。

また、光伝送部１３を、撮像素子１４の解像度に対応可能な数の光ファイバを束ねた構成とすることにより、高い解像度に対応する撮像した画像を、ピクセル単位で撮像素子１４へ伝送することができ、伝送効率を高めることが可能となる。

なお、上述した実施の形態では、撮像部１１で撮像した画像のみを光伝送路１３を介して撮像素子１４誘導しているが、コントラストの調整を容易にすべく、撮像部１２を撮像部１１と同様の構成とし、撮像素子１４を含む画像受光部を分離して車両の左右方向の中央近傍に配置し、撮像部１１、１２が光伝送部１３を介して画像受光部と連結してある構成であっても良い。これにより、撮像部１１、１２から撮像素子１４を含む画像受光部までの光伝送部１３の長さを抑制することができ、光伝送部１３を通過することによる信号劣化を抑制することが可能となる。

また、本実施の形態にあっては、対物レンズ１１１、１２１により左右の被撮像体を撮像しているが、これに限らずダブレット又はトリプレット等の光学系により撮像しても良い。ダブレット又はトリプレット型のレンズを用いた場合、レンズにより集光される光の色収差をより効果的に補正し、高画質の画像を撮像することができる。そして、高画質の画像から被撮像体をより正確に認識することができる。

さらに、異なる２方向を撮像するように構成してあるが、これに限らず光軸の方向が異なる３以上のレンズにより、異なる３以上の方向を撮像するように構成しても良い。

また、対物レンズ１１１、１２１に入射した光を撮像素子へ導く光学素子としてミラーを用いているが、これに限らず、硫化亜鉛よりなるプリズムであっても良い。プリズムを用いる場合、光の屈折による色収差が生じることから、色収差補正を適切に行う必要が生じる。

さらに、プリズムとしては、バリミラージュのような薄型の略凸状のプリズムを用いることが好ましい。斯かるプリズムは、アッベ・プリズムのような偏角プリズムに比べて、薄型であるため光の透過率が高く、より明るく鮮明な画像を撮像することができるからである。

また、本実施の形態では、光学機構と光伝送路とを併用する場合について説明しているが、対物レンズに入射した光を撮像素子に誘導することができれば、光学機構のみで構成されていても良いし、光伝送路のみで構成されていても良い。

本発明の実施の形態に係る画像撮影システムの構成を示す模式図である。 本発明の実施の形態に係る画像撮影システムの遠赤外用ビデオカメラの構成を示すブロック図である。 本発明の実施の形態に係る画像撮影システムの光伝送部の構成を示す模式図である。 本発明の実施の形態に係る画像撮影システムの画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像撮影システムの画像処理装置の画像処理部の処理手順を示すフローチャートである。 左右に配設してある撮像部で撮像した画像の輝度値のヒストグラムの例示図である。

符号の説明

１ ビデオカメラ（撮像装置）
３ 画像処理装置
４ 表示装置
５ 警報装置
１１、１２ 撮像部
１３ 光伝送部（光伝送路、イメージファイバ）
１４ 撮像素子
３１ 通信インタフェース部
３２ 画像メモリ
３３ 画像処理部
１１１ 対物レンズ
１１２ 光反射部（光学機構）
１１４、１２４ 回折光学素子

Claims (3)

1. 複数の対物レンズから入射した光を単一の撮像素子で撮像する画像撮影システムにおいて、
   撮像対象から光が入射する複数の対物レンズと、
   該対物レンズから入射した光を前記撮像素子へ誘導する光学機構及び光伝送路、又はいずれか１つ
   を備え、
   前記複数の対物レンズを、前記撮像素子で生成した画像データに基づいて撮像対象まで測距可能な距離をおいて配設してあることを特徴とする画像撮影システム。
2. 前記光伝送路は、イメージファイバで形成してあることを特徴とする請求項１記載の画像撮影システム。
3. 前記対物レンズから入射した光の光量が前記光学機構及び光伝送路、又はいずれか１つを通過することにより減衰した光減衰量に応じて、撮像した画像の輝度補正を行うようにしてあることを特徴とする請求項１又は２記載の画像撮影システム。

Images