JP2006195571A - 画像認識システム、及び撮像装置 - Google Patents

Abstract

【課題】 車室内の乗員の位置、体格、姿勢等を検出する精度を高め、乗員の安全を確保すべく車室内の機器の動作を制御することができる画像認識システム、及び撮像装置を提供する。
【解決手段】 車室内を撮像する撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置とを備えており、撮像装置は、複数の対物レンズと、該複数の対物レンズへ入射した光の方向を変更する光学機構と、該光学機構で方向を変更された光を受光し画像データを生成する単一の撮像素子とを有し、撮像素子で生成した画像データから乗員に対応する領域を認識し、認識した乗員の位置を算出し、算出した位置に応じて車載機器の動作を制御する。
【選択図】 図４

Description

本発明は、単一の撮像装置により、車室内の乗員の位置、体格、姿勢等を正確に検出することができる画像認識システム、及び撮像装置に関する。

自動車などの車両に、ボロメータ又は焦電型撮像素子を備えた遠赤外線カメラ、又はＣＣＤセンサ、ＣＭＯＳセンサ等を備えた可視カメラを搭載し、例えば車室内の乗員の位置、体格、姿勢等を把握することにより、エアバッグの展開速度及び展開時期の制御、シートベルトの張力及び張力付与時期の制御等を行うための画像認識システムが多々開発されている。

例えば、特許文献１では、赤外線カメラを車室内に備え、赤外線カメラにより撮像された画像に対して画像認識処理を行うことにより、乗員の位置、体格、姿勢等を検出する乗員検知装置が開示されている。本装置では、赤外線カメラとして単眼カメラを採用しており、該赤外線カメラの視野内において乗員以外の背景領域が窓ガラスになるよう赤外線カメラを配置することにより、乗員の位置、体格、姿勢等を検出する精度を高めている。
特開２００４−１１７２４９号公報

しかし、上述した従来の乗員検出装置では、単眼カメラで撮像した画像に基づいて乗員の位置、体格、姿勢等を検出していることから、二次元平面内での位置、体格、姿勢等を検出することは容易である反面、奥行き方向の距離を正確に推定することは困難であり、例えば乗員とダッシュボードの端面との距離については、正確に把握することができない。したがって、後方からの追突時、急停車時等の乗員の状態変化を正確に把握することができず、乗員の安全を確保すべくエアバッグの展開速度及び展開時期の制御、シートベルトの張力及び張力付与時期の制御等を的確に制御することができないという問題点があった。

また、上記問題点を解決するために複数のカメラを備えることにより、ステレオ視を実現して、撮像した画像中の特徴部分までの距離を測定することも可能である。しかし、ステレオ視を実現するためには２つのカメラを所定の距離だけ離して配置する必要が有り、車室内という限られた空間内に複数の赤外線カメラを配設することは困難であるという問題点が新たに生じていた。

本発明は、斯かる事情に鑑みてなされたものであり、車室内の乗員の位置、体格、姿勢等を検出する精度を高め、乗員の安全を確保すべく車室内の機器の動作を制御することができる画像認識システム、及び撮像装置を提供することを目的とする。

上記目的を達成するために第１発明に係る画像認識システムは、車室内を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、前記撮像装置は、複数の対物レンズと、該複数の対物レンズへ入射した光の方向を変更する光学機構と、該光学機構で方向を変更された光を受光し画像データを生成する単一の撮像素子とを備え、該撮像素子で生成した画像データに基づいて乗員に対応する領域を認識する手段と、認識した乗員の位置を算出する手段と、算出した位置に応じて車載機器の動作を制御する手段とを備えることを特徴とする。

また、第２発明に係る画像認識システムは、第１発明において、前記光学機構は、複数の前記対物レンズから入射した光を単一の撮像素子の異なる領域へと誘導するようにしてあることを特徴とする。

また、第３発明に係る画像認識システムは、第１又は第２発明において、前記複数の対物レンズは、横方向に並置してあることを特徴とする。

また、第４発明に係る画像認識システムは、第１乃至第３発明のいずれか１つにおいて、前記複数の対物レンズの光軸上に、色収差を補正する光学素子を備えることを特徴とする。

また、第５発明に係る撮像装置は、複数の対物レンズと、該複数の対物レンズへ入射した光の方向を変更する光学機構と、該光学機構で方向を変更された光を受光して画像データを生成する単一の撮像素子とを備え、車室内を撮像する撮像装置において、前記撮像素子で生成した画像データを他の装置へ送出するようにしてあることを特徴とする。

また、第６発明に係る撮像装置は、第５発明において、前記光学機構は、複数の前記対物レンズから入射した光を単一の撮像素子の異なる領域へと誘導するようにしてあることを特徴とする。

また、第７発明に係る撮像装置は、第５又は第６発明において、前記複数の対物レンズの光軸上に、色収差を補正する光学素子を備えることを特徴とする。

第１発明及び第５発明では、撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成して出力する。撮像装置は、複数の対物レンズへ入射した光の方向を、光学機構で撮像素子へ誘導し、撮像素子は、光を受光し画像データを生成する。生成した画像データに基づいて乗員に対応する領域を認識し、認識した乗員の位置を算出し、算出した位置に応じて車載機器の動作を制御する。これにより、複数の対物レンズから画像を取得することができることから、単一の撮像装置であっても視差を抽出することができるステレオ視を実現することができ、乗員のダッシュボードからの距離を含めた位置、体格、姿勢等を正確に把握することができ、エアバッグの展開速度及び展開時期の制御、シートベルトの張力及び張力付与時期の制御等を適切に行うことが可能となる。

第２発明、及び第６発明では、前記光学機構は、複数の対物レンズから入射した光を単一の撮像素子の異なる領域へと誘導する。これにより、例えば２個の対物レンズから入射した光を単一の撮像素子の例えば上下又は左右に誘導することで、単一の画像に対物レンズごとに撮像した画像を形成することができ、撮像装置を複数個設置することなくステレオ視を実現することが可能となる。

第３発明では、複数の対物レンズは、横方向に並置してある。これにより、車室内の運転者等の乗員の動きが大きい横方向についてステレオ視を実現することができ、乗員の位置、体格、姿勢等をより正確に把握することが可能となる。

第４発明、及び第７発明では、光学素子を備えることにより、レンズで集光されて撮像素子へ導かれる光の色収差を補正する。これにより、撮像装置は、色収差が補正された高画質の画像を撮像することが可能となる。

第１発明及び第５発明によれば、複数の対物レンズから画像を取得することができることから、単一の撮像装置であっても視差を抽出することができるステレオ視を実現することができ、乗員のダッシュボードからの距離を含めた位置、体格、姿勢等を正確に把握することができ、エアバッグの展開速度及び展開時期の制御、シートベルトの張力及び張力付与時期の制御等を適切に行うことが可能となる。

第２発明及び第６発明によれば、例えば２個の対物レンズから入射した光を単一の撮像素子の例えば上下又は左右に誘導することで、単一の画像に対物レンズごとに撮像した画像を形成することができ、撮像装置を複数個設置することなくステレオ視を実現することが可能となる。

第３発明によれば、車室内の運転者等の乗員の動きが大きい横方向についてステレオ視を実現することができ、乗員の位置、体格、姿勢等をより正確に把握することが可能となる。

第４発明及び第７発明によれば、レンズで集光されて撮像素子へ導かれる光の色収差を補正することで、より高画質の画像を撮像することが可能となる。

図１は、本発明の実施の形態に係る画像認識システムの構成を示す模式図である。１は、車室内の乗員、例えば運転者を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１は、車両のダッシュボード上部に、運転者用の座席全体を撮像することが可能となるように設置してある。図１では、ビデオカメラ１で撮像可能な範囲を斜線部で示している。ビデオカメラ１で撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある画像処理装置３に送信される。

画像処理装置３は、ビデオカメラ１の他、シートベルトの張力を調整するシートベルトＥＣＵ４、４、エアバッグの開放タイミングを制御するエアバッグＥＣＵ５、５等と、車載ＬＡＮケーブル６を介して接続されている。なお、車載ＬＡＮケーブル６を介して接続するＥＣＵは、これらに限定されるものではなく、例えばヘッドレストの動作を制御するヘッドレストＥＣＵ、エアーコンディショナの温度、風向、風量を制御するエアコンＥＣＵ等と接続しても良い。

図２は、本発明の実施の形態に係る画像認識システムのビデオカメラ（撮像装置）１の構成を示すブロック図である。対物レンズ１１、１１は横方向に並置してあり、対物レンズ１１、１１が車両後方斜め下を向くような姿勢で、フロントガラスの上部に設置されている。より具体的には、ビデオカメラ１は、対物レンズ１１、１１の光軸が、車両の運転席の方向を向くように設置されている。もちろん、助手席に座っている搭乗者を認識する場合には、対物レンズ１１、１１の光軸を、車両の助手席の方向を向くように設置することは言うまでも無い。

対物レンズ１１、１１は、対物レンズ１１、１１、及び後述するプリズム１３を透過する光の色収差を補正する回折光学素子１１ａ、１１ａを後方に備えている。これにより、対物レンズ１１、１１で集光されて撮像素子１５へ導かれる光の色収差を補正することができ、より高画質の画像を撮像することが可能となる。

また、ビデオカメラ１は、対物レンズ１１、１１の後方に、金又はアルミニウムを蒸着させたミラーで構成してある光反射部１２を備えており、反射光を後述する硫化亜鉛よりなるプリズム１３へ導く。プリズム１３の後方にはアスペクト比が４／３の撮像素子１５を、長辺の方向と対物レンズ１１、１１の並設方向とが略平行になるように備えている。

プリズム１３は、対物レンズ１１、１１を透過し、光反射部１２、１２で反射した反射光を屈折させて、集光レンズ１４及び撮像素子１５へ導く。そして、右側の対物レンズ１１からの光は、右半分の第１撮像領域、すなわち右側の対物レンズ１１寄りの撮像領域へ導き、左側の対物レンズ１１からの光は、撮像素子１５の左半分の第２撮像領域、すなわち左側の対物レンズ１１寄りの撮像領域へ導かれる。

撮像素子１５は、対物レンズ１１、１１により集光された光、特に波長が８〜１２μｍの赤外光を、画素毎にアナログの撮像信号に変換するボロメータ、サーモパイル、ＳＯＩダイオード等の非冷却熱型撮像素子であり、画素毎にアナログ信号に変換された撮像信号を順次的に信号処理部１６へ出力する。
撮像素子１５の配置方向によっては、例えば運転者から向かって左側の対物レンズ１１からの画像を上側領域に、運転者から向かって右側の対物レンズ１１からの画像を下側領域に、それぞれ形成しても良い。

信号処理部１６は、ＬＳＩ基板であり、撮像素子１５から受信したアナログ信号を輝度（Ｙ）のデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行い、画像データとして画像メモリ１７へ記憶する。

通信インタフェース部１８は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して画像処理装置３とデータの送受信を行う。通信インタフェース部１８は、画像処理装置３から送出される指令に従って、画像メモリ１７に記憶された画像データの画像処理装置３への送出、ビデオカメラ１で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。

図３は、本発明の実施の形態に係る画像認識システムの画像処理装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１に対する指令の送信、ビデオカメラ１からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。

また、通信インタフェース部３１は、シートベルトＥＣＵ４、４に対してシートベルトの張力を強める信号又は弱める信号を送出し、エアバッグＥＣＵ５、５に対してエアバッグの開放指示を示す指示信号を送出する。

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１から受信した画像データを記憶する。

画像処理部３３は、ＬＳＩ基板であり、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データに基づいて、運転者等の乗員の存在を、パターンマッチング等を実行して判断する。画像処理部３３が、読み出した画像データ内運転者等の乗員に対応する部分が存在すると判断した場合、画像処理部３３は、乗員に対応する部分までのダッシュボードからの距離を算出し、運転者の位置、体格、姿勢等を推定する。

画像処理部３３は、推定した運転者の位置、体格、姿勢等に基づいて、例えばシートベルトＥＣＵ４、４に対してシートベルトの張力を強める指示信号又は弱める指示信号を所定のタイミングで送信する。また、エアバッグＥＣＵ５、５に対してエアバッグを展開する指示信号を所定のタイミングで送信する。

図４は、本発明の実施の形態に係る画像認識システムの画像処理装置３の画像処理部３３の処理手順を示すフローチャートである。画像処理部３３は、通信インタフェース部３１を介して撮像した画像データをデジタル信号として取得する（ステップＳ４０１）。取得した画像データは、画像メモリ３２に記憶しておく。

画像処理部３３は、画像メモリ３２に記憶してある画像データを読出し（ステップＳ４０２）、読み出した画像データを上下又は左右方向に２分割して（ステップＳ４０３）、いずれかの画像データに対して、運転者等の乗員に対応する標準パターンテンプレートとのマッチング処理を行う（ステップＳ４０４）。

図５は、画像メモリ３２から読み出した画像データの例示図である。本例では、左右に並置してある対物レンズ１１、１１から取得した画像を、撮像素子１５の左右の異なる領域にて形成している。したがって、撮像された乗員の画像は、左右に視差を有する画像として形成されている。

画像処理部３３は、運転者等の乗員に対応する標準パターンテンプレートとのマッチング処理により算出した相関値Ｒが所定値より大きい領域が存在するか否かを判断する（ステップＳ４０５）。相関値Ｒの算出は（数１）に沿って行われる。

（数１）において、Ｎはマッチング処理を行う画像領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは検出する対象物の温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像領域におけるｋ番目の画素の画素値を、それぞれ示している。

なお、画像領域に、運転者等の乗員が存在するか否かを判断する方法は、上述した検出対象である人間に固有の温度分布を示す標準テンプレートと画像領域とをマッチングすることによる相関値を単独で用いることに限定されるものではなく、乗員等と認識される領域の大きさ、縦横比、画素値の平均値、分散等を相関値と組み合わせて判断するものであっても良い。

また、標準パターンとしては、運転者等の乗員の頭、手、胴体、足等の部位ごとに固有の温度分布を示すパターンであっても良い。この場合、各部位ごとにパターンマッチング処理を行い、運転者等の乗員の頭、手、胴体、足等の部位ごとの位置、大きさ等を特定する。

図６（ａ）は、画像メモリ３２から読み出した視差画像のいずれかを抽出した状態を示す例示図であり、図６（ｂ）は乗員の頭部に固有の温度分布を示すパターンの例示図である。図６（ｂ）に示す温度分布パターンを標準パターンとし、画像を拡大又は縮小しつつ、読み出した画像とのパターンマッチング処理を行う。そして、相関値Ｒが所定値より高い領域を含む矩形領域６１の存在を検知することができる。

画像処理部３３が、相関値Ｒが所定値より大きい領域が存在すると判断した場合（ステップＳ４０５：ＹＥＳ）、画像処理部３３は、抽出した画像データに運転者等の乗員が存在すると判断して、乗員に対応する部分までの距離を算出する（ステップＳ４０６）。

乗員に対応する部分までの距離の算出は、運転者等の乗員の特徴部分ごとに分割し、ビデオカメラ１の左右の対物レンズ１１、１１で撮像した左右の映像の対応点を検索する。分割した特徴部分の視差に基づいて、ダッシュボードからの距離を算出することができる。

画像処理部３３は、算出したダッシュボードから乗員までに距離、及びビデオカメラ１のカメラパラメータに基づいて、運転者等の乗員の位置、体格、姿勢等を算出する（ステップＳ４０７）。算出した運転者等の乗員の位置、体格、姿勢等を含む算出結果は動作制御信号として、各車載機器のＥＣＵに対して送出され（ステップＳ４０８）、各ＥＣＵは算出結果に基づいて、各車載機器の動作を制御する。

例えば、運転者等の乗員の位置、体格、姿勢等を含む算出結果がシートベルトＥＣＵ４、４に対して送出された場合、シートベルトＥＣＵ４ごとに、シートベルトの張力を増大させる必要の有無、又はシートベルトの張力を減少させる必要の有無を判断し、判断に応じてシートベルトの張力付与アクチュエータの動作を制御する。

また、運転者等の乗員の位置、体格、姿勢等を含む算出結果が、エアバッグＥＣＵ５、５に対して送出された場合、エアバッグＥＣＵ５ごとに、エアバッグを展開するか否かを判断し、判断に応じてエアバッグ展開アクチュエータの動作を制御する。

さらに、運転者等の乗員の位置、体格、姿勢等を含む算出結果が、ヘッドレストＥＣＵに対して送出された場合、ヘッドレストＥＣＵごとに、ヘッドレストを前傾させるか否か、逆に後傾させるか否かを判断し、判断に応じてヘッドレスト傾斜アクチュエータの動作を制御する。

その他、運転者等の乗員の位置、体格、姿勢等を含む算出結果を、エアコンＥＣＵ等に送出しても良く、安全面の確保だけでなく、車室内環境の維持等に活用しても良い。

以上のように本実施の形態によれば、複数の対物レンズから画像を取得することができることから、単一の撮像装置であっても視差を抽出することができるステレオ視を実現することができ、乗員のダッシュボードからの距離を含めた位置、体格、姿勢等を正確に把握することができ、エアバッグの展開速度及び展開時期の制御、シートベルトの張力及び張力付与時期の制御等を適切に行うことが可能となる。

なお、本実施の形態にあっては、対物レンズ１１、１１がそれぞれ単レンズであり、単レンズにより運転席側を撮像しているが、これに限定されるものではなく、ダブレット又はトリプレット等の光学系により撮像しても良い。ダブレット又はトリプレット型のレンズを用いた場合、レンズにより集光される光の色収差をより効果的に補正し、高画質の画像を撮像することができる。そして、高画質の画像から被撮像体をより正確に認識することができる。

また、対物レンズ１１、１１の光軸の方向は、運転席側の方向を向いているが、これに限定されるものではなく、用途に応じて光軸の方向が異なるように対物レンズ１１、１１を配置すれば良い。なお、光軸の方向が異なる２つのレンズには、２つのレンズによる撮像方向が略１８０度異なるように配置されたレンズが含まれる。

さらに、対物レンズ１１、１１に入射した光を撮像素子１５へ導く光学素子としてプリズム１３を用いているが、これに限定されるものではなく、金又はアルミニウムを蒸着させた鏡で光を反射し、前記光を撮像素子へ導くように構成しても良い。鏡を使用した場合、光の屈折による色収差が生じないため、より高画質の画像を撮像することができる。

さらに、プリズム１３としては、バリミラージュのような薄型の略凸状のプリズムを用いることが好ましい。該プリズムは、アッベ・プリズムのような偏角プリズムに比べて、薄型であるため光の透過率が高く、撮像装置は、より明るく鮮明な画像を撮像することができる。

本発明の実施の形態に係る画像認識システムの構成を示す模式図である。 本発明の実施の形態に係る画像認識システムのビデオカメラの構成を示すブロック図である。 本発明の実施の形態に係る画像認識システムの画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像認識システムの画像処理装置の画像処理部の処理手順を示すフローチャートである。 画像メモリから読み出した画像データの例示図である。 （ａ）は、画像メモリから読み出した視差画像のいずれかを抽出した状態を示す例示図であり、（ｂ）は乗員の頭部に固有の温度分布を示すパターンの例示図である。

符号の説明

１ ビデオカメラ
３ 画像処理装置
４ シートベルトＥＣＵ
５ エアバッグＥＣＵ
１１ 対物レンズ
１１ａ 回折光学素子
１５ 撮像素子
３１ 通信インタフェース部
３２ 画像メモリ
３３ 画像処理部

Claims (7)

1. 車室内を撮像する撮像装置と、該撮像装置で撮像した画像データを取得して、画像認識処理を施し、処理結果に基づき出力する画像データを生成する画像処理装置と、該画像処理装置で生成した画像データを取得して出力する出力装置とを備える画像認識システムにおいて、
   前記撮像装置は、複数の対物レンズと、
   該複数の対物レンズへ入射した光の方向を変更する光学機構と、
   該光学機構で方向を変更された光を受光し画像データを生成する単一の撮像素子と
   を備え、
   該撮像素子で生成した画像データに基づいて乗員に対応する領域を認識する手段と、
   認識した乗員の位置を算出する手段と、
   算出した位置に応じて車載機器の動作を制御する手段と
   を備えることを特徴とする画像認識システム。
2. 前記光学機構は、複数の前記対物レンズから入射した光を単一の撮像素子の異なる領域へと誘導するようにしてあることを特徴とする請求項１記載の画像認識システム。
3. 前記複数の対物レンズは、横方向に並置してあることを特徴とする請求項１又は２記載の画像認識システム。
4. 前記複数の対物レンズの光軸上に、色収差を補正する光学素子を備えることを特徴とする請求項１乃至３のいずれか一項に記載の画像認識システム。
5. 複数の対物レンズと、
   該複数の対物レンズへ入射した光の方向を変更する光学機構と、
   該光学機構で方向を変更された光を受光して画像データを生成する単一の撮像素子とを備え、車室内を撮像する撮像装置において、
   前記撮像素子で生成した画像データを他の装置へ送出するようにしてあることを特徴とする撮像装置。
6. 前記光学機構は、複数の前記対物レンズから入射した光を単一の撮像素子の異なる領域へと誘導するようにしてあることを特徴とする請求項５記載の撮像装置。
7. 前記複数の対物レンズの光軸上に、色収差を補正する光学素子を備えることを特徴とする請求項５又は６に記載の撮像装置。

Images