JP2008052029A - 撮像システム、車両乗員検出システム、作動装置制御システム、車両 - Google Patents

Abstract

【課題】 複数の対象物の撮影画像を精度良く検出するのに有効な技術を提供する。
【解決手段】 本発明の撮像システムとしての対象物検出システム１００は、対象物Ａ及び対象物Ｂの各対象物にて反射した反射光を、光学系１１４を通じて距離計測イメージチップ１１６に入射させることで、当該距離計測イメージチップ１１６の所定の結像領域１１６aに対象物Ａ及び対象物Ｂの全部または一部を重ね合わせた結像を投影可能とされるとともに、遮光フィルター１１８を介してこの結像領域１１６ａに対象物Ａのみが投影される状態と、対象物Ｂのみが投影される状態とを各々独立して形成させる構成とされる。
【選択図】 図１

Description

本発明は、複数の対象物の撮影画像を得る撮像システムを構築するための技術に関するものである。

従来、カメラ等の撮像手段を用いて、車両乗員席上の着座物に関する情報を検出する種々の技術が知られている。例えば、下記特許文献１には、車両乗員の前方に設置した単一のカメラを用い、当該車両乗員の位置を検出しようとする乗員検知装置の構成が開示されている。
特開２００３−２９４８５５号公報

ところで、上記特許文献１に記載の乗員検知装置のように、カメラを用いて車両乗員に関する情報を検出する場合には、カメラの視野角が例えば９０度をこえて広がるほどに、光学レンズを通じてイメージチップの結像領域内に結像される光量がレンズ周辺にいくほど低下し、且つイメージチップの結像領域内に結像される像の歪みが中央領域に比べ周辺領域で大きくなるため、車両乗員の検出精度が低下することが知られている。従って、運転席側及び助手席側の両方の車両乗員を一度に検出しようとする場合には、明るく歪み収差の少ない高価なレンズを用いるか、或いは複数のカメラを用いる必要があり、装置のコストアップを招くこととなる。また、車両乗員の位置、姿勢、体格、動作といった詳細な情報を得るべく、３Ｄカメラを用いて車両乗員の距離情報を検出する場合には、当該車両乗員の距離に関する精度低下やバラツキが生じ、所望の情報を精度良く得ることが難しい。また、このような問題は、車両に搭載されて車内の複数の対象物を撮影するカメラに限らず、車外の複数の対象物を撮影するカメラや、更には自動車とは関連のない場面において複数の対象物を撮影するカメラにおいても同様に生じる。従って、この種の検出システムの設計に際しては、複数の対象物に関する所望の情報を精度良く検出するのに有効な技術が求められている。
本発明は、かかる点に鑑みてなされたものであり、複数の対象物の撮影画像を精度良く検出するのに有効な技術を提供することを課題とする。

前記課題を解決するために、本発明が構成される。本発明は、典型的には自動車において、車両乗員席上の複数の対象物の撮影画像を得る撮像システムに適用されるが、自動車以外の車両、例えば航空機、船舶、電車、バス等に関する撮像システムや、その他、車両に関連のない対象物の撮影画像を得る撮像システムに対しても同様に、本発明を適用することが可能である。

（本発明の第１発明）
前記課題を解決する本発明の第１発明は、請求項１に記載されたとおりの撮像システムである。
請求項１に記載のこの撮像システムは、複数の対象物の撮影画像を得るシステムであって、特に第１照射手段、第２照射手段、駆動手段、撮像手段、遮光手段、処理手段を少なくとも備える。ここでいう「対象物」には、車両乗員、車両乗員以外の載置物、チャイルドシートやジュニアシート、また車両に関連のない種々の対象物が広く包含される。

本発明の第１照射手段は、第１の対象物に向かう照射光を付与する手段として構成される一方、本発明の第１の対象物とは異なる第２の対象物に向かう照射光を付与する手段として構成される。これらの照射手段は、「発光手段」ないし「照明手段」とも称呼される。
本発明の駆動手段は、第１照射手段及び第２照射手段を、第１照射手段側の照射光量の方が多い第１の作動状態と、第２照射手段側の照射光量の方が多い第２の作動状態とに切り替え駆動する手段として構成される。すなわち、本発明では、第１の作動状態或いは第１の作動状態が、排他的ないし択一的に選択される。第１の作動状態の具体例としては、第１照射手段の照射光量が第２照射手段の照射光量よりも多くなるように各照射手段を点灯させた態様のほか、第１照射手段が点灯され、且つ第２照射手段が消灯された態様が挙げられる。一方、第２の作動状態の具体例としては、第２照射手段の照射光量が第１照射手段の照射光量よりも多くなるように各照射手段を点灯させた態様のほか、第２照射手段が点灯され、且つ第１照射手段が消灯された態様が挙げられる。
なお、この駆動手段を第１の作動状態や第２の作動状態に駆動する駆動開始タイミングや、第１の作動状態及び第２の作動状態のいずれかを選択する駆動切り替えタイミング等の制御は、典型的には、当該駆動手段自体に設けられた制御部、或いは当該駆動手段とは別個に設けられた制御手段によって行われる。

本発明の撮像手段は、光学系及びイメージチップを有し、第１の対象物及び第２の対象物の各対象物にて反射した反射光を、光学系を通じてイメージチップに入射させることで、当該イメージチップの所定の結像領域に第１の対象物及び第２の対象物の全部または一部を重ね合わせた結像を投影可能な手段として構成される。ここでいう「光学系」とは、光学的な機能を達成するための手段であって、典型的には光を反射や屈折させるような構造のレンズやレンズ群、プリズム、ミラー、その他の光学素子などを用いて構成される光学ユニットとして構成される。この光学系は、結像に寄与するための結像系とも称呼される。また、ここでいう「イメージチップ」には、３次元画像を得るための３Ｄイメージチップ（距離計測イメージチップ）や２次元画像を得るための２Ｄイメージチップが包含される。
このイメージチップに入射する入射光の一部が、本発明の遮光手段によって遮断され、このイメージチップの所定の結像領域に投影された結像は、本発明の処理手段によって画像情報として出力される構成とされる。この処理手段は、典型的には、品質の良い画像を得るためのカメラの制御や、撮影した画像を加工分析するための画像処理制御を行う画像処理機能や、演算制御ソフトウエア、補正用のデータや前処理用のバッファーフレームメモリー、認識演算のための定義データや基準パターンを記録（記憶）する記憶機能等を備える。

特に本発明では、駆動手段が第１の作動状態に駆動されたとき、遮光手段は、第１照射手段から照射されて第１の対象物にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断する。すなわち、第１照射手段側の照射光量の方が第２照射手段側よりも多い第１の作動状態の場合には、第１照射手段からの照射光よりも光量が低い光、具体的には一般光（自然光ないし太陽光）や、第２照射手段からの照射光は、この遮光手段にて遮断され、イメージチップへの入射が阻止されることとなる。従って、この第１の作動状態では、イメージチップの所定の結像領域に、第１の対象物のみが投影されることとなる。そして、処理手段は、駆動手段が第１の作動状態であるという情報に基づいて、イメージチップの所定の結像領域に投影された結像を第１の対象物に関する画像情報として出力する。これにより、第１の作動状態においては、第１の対象物に関する画像情報が得られることとなる。

一方、駆動手段が第２の作動状態に駆動されたとき、遮光手段は、第２照射手段から照射されて第２の対象物にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断する。すなわち、第２照射手段側の照射光量の方が第１照射手段側よりも多い第２の作動状態の場合には、第２照射手段からの照射光よりも光量が低い光、具体的には一般光（自然光ないし太陽光）や、第１照射手段からの照射光は、この遮光手段にて遮断され、イメージチップへの入射が阻止されることとなる。従って、この第２の作動状態では、イメージチップの所定の結像領域に、第２の対象物のみが投影されることとなる。そして、処理手段は、駆動手段が第２の作動状態であるという情報に基づいて、イメージチップの所定の結像領域に投影された結像を第２の対象物に関する画像情報として出力する。これにより、第２の作動状態においては、第２の対象物に関する画像情報が得られることとなる。

請求項１に記載の撮像システムのこのような構成によれば、撮像手段のイメージチップにおける所定の結像領域を用い、同一のこの結像領域に少なくとも２つの焦点を形成させるとともに、この結像領域に第１の対象物のみが投影される状態と、第２の対象物のみが投影される状態とを各々独立して形成させることによって、同一の結像領域を少なくとも２つの対象物が投影される投影領域として兼用することが可能となる。従って、光学系を構成する光学レンズのレンズ外周部の明るさの低下や歪み収差の発生を改善することができ、高精度で小型化された光学系を構築することが可能となるため、明るく歪み収差の少ない高価なレンズを用いたり、複数のカメラを用いる必要がなくなり、装置のコスト低減を図ることが可能となる。

なお、本発明では、少なくとも２つの対象物の撮影画像を得ることができればよく、必要に応じて３つ以上の対象物の撮影画像を検出するように構成することもできる。本構成に関しては、複数の対象物の各対象物にて反射した反射光を、光学系を通じてイメージチップに入射させることで、当該イメージチップの所定の結像領域に複数の対象物の全部または一部を重ね合わせた結像を投影可能な撮像手段を用いることができる。

（本発明の第２発明）
前記課題を解決する本発明の第２発明は、請求項２に記載されたとおりの撮像システムである。
請求項２に記載のこの撮像システムでは、請求項１に記載の駆動手段は、第１の作動状態においては、第１照射手段のみが照射光を付与するように駆動される一方、第２の作動状態においては、第２照射手段のみが照射光を付与するように駆動される構成とされる。
請求項２記載の撮像システムのこのような構成によれば、各照射手段は点灯及び消灯のみの制御が可能となるため、各照射手段の照射光量を可変とする場合に比して制御を簡素化することができる。

（本発明の第３発明）
前記課題を解決する本発明の第３発明は、請求項３に記載されたとおりの撮像システムである。
請求項３に記載のこの撮像システムは、請求項１または請求項２に記載の構成において、車両に搭載される車両用撮像システムとして構成される。ここでいう「車両」には、自動車をはじめ、航空機、船舶、電車、バス、トラック等の各種の車両が包含される。
本発明の第１照射手段は、第１の対象物として第１車両乗員に向かう照射光を付与し、本発明の第２照射手段は、第２の対象物として第１車両乗員とは異なる第２車両乗員に向かう照射光を付与する構成とされる。
本発明の撮像手段は、第１車両乗員及び第２車両乗員の各車両乗員にて反射した反射光を、光学系を通じて前記イメージチップに入射させることで、所定の結像領域に第１車両乗員及び第２車両乗員の全部または一部を重ね合わせた結像を投影可能な構成とされる。
本発明では特に、駆動手段が第１の作動状態に駆動されたとき、遮光手段は、第１照射手段から照射されて第１車両乗員にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断し、処理手段は、駆動手段の作動状態に基づいて、イメージチップの前記所定の結像領域に投影された結像を第１車両乗員に関する画像情報として出力する処理を行う構成とされる。
一方、駆動手段が第２の作動状態に駆動されたとき、遮光手段は、第２照射手段から照射されて第２車両乗員にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断し、処理手段は、駆動手段の作動状態に基づいて、イメージチップの所定の結像領域に投影された結像を第２車両乗員に関する画像情報として出力する処理を行う構成とされる。
なお、この駆動手段を第１の作動状態や第２の作動状態に駆動する駆動開始タイミングに関しては、典型的には、車両に乗員が乗車したことが検知されたとき、具体的には車両シートに対するシートベルトバックルの装着が検知されたり、車両シートの重量センサによって乗員の着座が検知されたときが当該駆動開始タイミングとして設定される。また、第１の作動状態及び第２の作動状態のいずれかを選択する駆動切り替えタイミングは、予め設定されたタイムスケジュールに基づいて、適宜設定される。

請求項３に記載の撮像システムのこのような構成によれば、車両において、光学系を構成する光学レンズのレンズ外周部の明るさの低下や歪み収差の発生を改善することができ、高精度で小型化された光学系を構築することが可能となるため、複数の車両乗員を一度に精度良く検出するのに有効である。とりわけ車両のように、撮像手段を限られた空間内に配設するような場合には、例えば運転席側及び助手席側の両方の車両乗員を一度に精度良く検出するのが難しいが、本発明はこのような問題を解決するのに特に効果的である。

（本発明の第４発明）
前記課題を解決する本発明の第４発明は、請求項４に記載されたとおりの車両乗員検出システムである。
請求項４に記載のこの車両乗員検出システムは、請求項３に記載の撮像システムに加えて、少なくとも検出手段を備える。本発明の検出手段は、撮像システムの処理手段にて出力された、第１車両乗員及び第２車両乗員のいずれか一方の画像情報に基づいて、当該車両乗員の体格、位置或いは姿勢に関する車両乗員情報を検出する手段として構成される。この検出手段によって検出された車両乗員情報は、当該車両乗員を拘束するべく作動する乗員拘束手段、例えばエアバッグ装置、シートベルト装置や、警報デバイス（表示出力、音声出力など）などに関する制御において好適に用いられる。
請求項４に記載の車両乗員検出システムのこのような構成によれば、車両乗員に関する車両乗員情報を精度良く検出することが可能となる。

（本発明の第５発明）
前記課題を解決する本発明の第５発明は、請求項５に記載されたとおりの作動装置制御システムである。
請求項５に記載のこの作動装置制御システムは、請求項４に記載の車両乗員検出システム、当該車両乗員検出システムの検出手段にて検出された車両乗員情報に基づいて作動する作動装置、作動装置の駆動を制御する制御手段を少なくとも備える構成とされる。本発明の作動装置には、警報出力を行う警報装置、エアバッグやシートベルトにより乗員を拘束するべく作動する乗員拘束装置などが包含される。
従って、請求項５に記載の作動装置制御システムのこのような構成によれば、車両乗員検出システムの検出手段による車両乗員情報の検出結果に応じた適正な態様で、作動装置を駆動制御することで、作動装置のきめ細かい制御が可能となる。

（本発明の第６発明）
前記課題を解決する本発明の第６発明は、請求項６に記載されたとおりの車両である。
請求項６に記載のこの車両は、エンジン走行系統、電装系統、駆動制御装置、車両乗員情報検出装置を少なくとも備える。エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。駆動制御装置は、エンジン走行系統及び電装系統の駆動制御を行う機能を有する装置として構成される。車両乗員情報検出装置は、車両乗員席上の車両乗員の体格、位置或いは姿勢に関する車両乗員情報を検出する装置として構成される。本発明では、この車両乗員情報検出装置が、請求項４に記載の車両乗員検出システムを用いて構成される。
従って、請求項６に記載の発明によれば、車両乗員席上の車両乗員に関する車両乗員情報を、撮像手段を用いて精度良く検出することが可能な車両乗員検出システムを搭載する車両が提供されることとなる。

以上のように、本発明によれば、複数の対象物の撮影画像を得る撮像システムにおいて、特に、第１の対象物及び第２の対象物の各対象物にて反射した反射光を、光学系を通じてイメージチップに入射させることで、当該イメージチップの所定の結像領域に第１の対象物及び第２の対象物の全部または一部を重ね合わせた結像を投影可能な撮像手段を用いるとともに、遮光手段を介してこの結像領域に第１の対象物のみが投影される状態と、第２の対象物のみが投影される状態とを各々独立して形成させる構成によって、複数の対象物の撮影画像を精度良く検出することが可能となった。

以下、図１〜図５を参照しながら、本発明における「撮像システム」、「車両乗員検出システム」或いは「車両乗員情報検出装置」の一実施の形態である対象物検出システム１００につき説明する。

本実施の形態に係る車両搭載用の対象物検出システム１００の構成が図１に示される。
本実施の形態の対象物検出システム１００は、本発明における「車両」としての自動車車両にて、車両乗員をはじめ車内の対象物に関する情報を検出するために搭載される。図１に示すように、この対象物検出システム１００は、撮像装置１１０、照明装置１３０、制御・演算部１５０を主体として構成される。
更に、この対象物検出システム１００は、車両側の駆動制御装置であるＥＣＵ２００及び乗員拘束手段２１０とともに、車両事故発生の際に車両乗員の拘束を図る「乗員拘束装置」を構成する。また、当該車両は、特に図示しないものの、エンジン及び車両の走行に関与する系統である「エンジン走行系統」、車両に使われる電機部品に関与する系統である「電装系統」、エンジン走行系統及び電装系統の駆動制御を行う「駆動制御装置（ＥＣＵ２００）」を備える。

本実施の形態の撮像装置１１０は、撮影デバイスとしてのカメラ１１２及びデータ転送回路（図示省略）を含む構成とされる。カメラ１１２は、ＣＣＤ（電荷結合素子）を用いたうえで、光センサをアレイ状（格子状）に配置した３Ｄ（３次元画像）式のカメラ（「モニター」といもいう）として構成される。このカメラ１１２は、光学系１１４及び距離計測イメージチップ１１６を備える。本実施の形態においてこの光学系１１４は、光学的な機能を達成するための手段であって、光を反射や屈折させるような構造のレンズやレンズ群、プリズム、ミラー、その他の光学素子などを用いて構成される光学ユニットとして構成される。この光学系１１４は、結像に寄与するための結像系とも称呼される。距離計測イメージチップ１１６は、３Ｄ式のカメラにおけるＣＣＤ（電荷結合素子）チップ、いわゆる「３Ｄイメージチップ」として構成される。このカメラ１１２において、光学系１１４を通じて距離計測イメージチップ１１６に対し入射した光は、当該距離計測イメージチップ１１６の所定の結像領域（後述する「結像領域１１６ａ」）にて結像されるようになっている。この光学系１１４が、本発明における「光学系」に相当し、距離計測イメージチップ１１６が、本発明における「イメージチップ」に相当する。

上記構成のカメラ１１２によって、対象物Ａや対象物Ｂまでの距離情報が複数回計測されて立体表面形状が検出され、当該対象物の有無、大きさ、位置、姿勢などの認識に用いられる。また、このカメラ１１２によって、光学系１１４を通じて距離計測イメージチップ１１６に対し入射する光の光量または輝度情報が検出される。このカメラ１１２の基本原理は、近赤外光を変調して対象物に向けて照射し、照射光とこの照射光が対象物にて反射して返ってくる反射光との位相差（時間のズレ）から光の到達時間を計測して対象物までの距離を求める方式、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式とされる。このカメラ１１２として、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラを用いることができる。この撮像装置１１０が、本発明における「撮像手段」を構成する。

なお、本実施の形態のカメラ１１２は、自動車のインナーリヤビューミラー外周部、サイドミラー外周部、ダッシュボードの左右センター部分などに適宜埋め込み状に設置されるとともに、１または複数の乗員席の向きに取り付けられる。このカメラ１１２を用いて、運転席、助手席、後部席などの車両乗員席上の対象物に関する情報が、周期的に複数回、計測されることとなる。また、特に図示しないものの、本実施の形態の対象物検出システム１００には、車両バッテリの電力をこのカメラ１１２に供給する電源装置が搭載されている。このカメラ１１２によるこの撮影は、例えばイグニッションキーがＯＮ状態になったとき、あるいは運転席内に装着された着座センサ（図示省略）が、当該運転席に着座した車両乗員を検知したときに開始されるように設定される。

本実施の形態の照明装置１３０は、第１光源１３１及び第２光源１３２、第１駆動部１３３及び第２駆動部１３４を少なくとも備える。第１光源１３１は、第１駆動部１３３によって駆動され、第２光源１３２は第２駆動部１３４によって駆動される。なお、第１光源１３１及び第２光源１３２は、いずれも近赤外光を変調して対象物に向けて照射する構成とされ、第１駆動部１３３及び第２駆動部１３４は、そのための駆動を行う装置として構成される。第１光源１３１及び第２光源１３２から発光され、対象物にて反射した光がカメラ１１２に配光される。特に、本実施の形態では、第１光源１３１及び第２光源１３２の配置や向きによって、第１光源１３１が運転席側の車両乗員に向けて照射光を発光する一方、第２光源１３２が助手席側の車両乗員に向けて照射光を発光するように構成されている。ここでいう第１光源１３１が、本発明における「第１照射手段」に相当し、第２光源１３２が、本発明における「第２照射手段」に相当する。

第１駆動部１３３及び第２駆動部１３４は、制御・演算部１５０によって制御される構成であり、当該制御・演算部１５０からの制御信号に基づいて、各光源を駆動する。第１駆動部１３３及び第２駆動部１３４は、別々の駆動部として構成されてもよいし、或いは単一の駆動部として構成されてもよい。また、第１駆動部１３３自体や第２駆動部１３４自体が制御機能を備えた構成であってもよい。これら第１光源１３１を駆動する第１駆動部１３３、及び第２光源１３２を駆動する第２駆動部１３４によって、本発明における「駆動手段」が構成される。

本実施の形態の制御・演算部１５０は、更に画像処理手段１５２、演算手段（ＭＰＵ）１５４、記憶手段１５６、入出力手段１５８、また特に図示しないものの周辺装置等を少なくとも備える。この制御・演算部１５０は、カメラ１１２において距離計測イメージチップ１１６の所定の結像領域に投影された結像を画像情報として出力する処理を行うとともに、この画像に基づいて、運転席側及び助手席側の対象物に関する情報を導出する処理を行う手段として構成される。この制御・演算部１５０が、本発明における「処理手段」を構成している。

画像処理手段１５２は、品質の良い画像を得るためのカメラ制御や、カメラ１１２によって撮影した画像を加工分析するための画像処理制御を行う手段として構成される。具体的には、カメラ制御においては、フレームレート、シャッター時間、感度調整、精度補正が行われ、ダイナミックレンジや輝度、ホワイトバランスなどが調整される。また、画像処理制御においては、画像の回転補正やレンズ歪み補正、フィルター演算、差分演算などの画像前処理演算と、形状判定やトラッキングなどの画像認識処理演算が実行される。

演算手段１５４は、画像処理手段１５２からの情報に基づいて、対象物に関する情報を抽出する処理を行う。具体的には、対象物の有無、大きさ、位置、姿勢などに関する情報、対象物が車両乗員である場合に関しては、乗員の有無、乗員の大きさ（体格クラス）、頭、肩乃至上体の位置、アウトオブポジション（ＯＯＰ）等が抽出（導出）される。

記憶手段１５６は、演算制御ソフトウエアに加えて、補正用のデータや前処理用のバッファーフレームメモリー、認識演算のための定義データや基準パターン、演算手段１５４の処理結果などを記録（記憶）する手段として構成される。

入出力手段１５８は、車両全体に関する制御を行うＥＣＵ２００との間で、車両に関する情報、周辺の交通状況に関する情報、天候や時間帯に関する情報などが入力され認識結果を出力する。車両に関する情報の例としては、車両ドアの開閉、シートベルトの装脱着、ブレーキの作動、車速、ステアリング操舵角度などがある。本実施の形態では、この入出力手段１５８から出力された情報に基づいて、ＥＣＵ２００が駆動対象である乗員拘束手段２１０に対し駆動制御信号を出力する構成とされる。この乗員拘束手段２１０としては、エアバッグやシートベルトにより車両乗員を拘束するべく作動する装置などがあげられる。この乗員拘束手段２１０が、本発明における「作動装置」に相当し、この乗員拘束手段２１０を駆動制御するＥＣＵ２００が、本発明における「制御手段」に相当する。従って、対象物検出システム１００にＥＣＵ２００及び乗員拘束手段２１０を付加した構成が、本発明における「作動装置制御システム」に相当する。なお、作動装置の一形態であるこの乗員拘束手段２１０に加えて、或いはこの乗員拘束手段２１０にかえて、警報出力（表示出力、音声出力など）を行う警報装置の駆動を、ＥＣＵ２００によって制御する構成を採用することもできる。

次に、上記構成の対象物検出システム１００の具体的な動作を、図２〜図５を参照しながら説明する。ここで、図２には、本実施の形態の対象物検出システム１００を用いて撮影画像を得る様子が模式的に示され、図３及び図４には、本実施の形態のカメラ１１２において、距離計測イメージチップ１１６の結像領域１１６ａの様子が示される。

図２に示すように、第１光源１３１からの照射光及びその他の一般光（自然光ないし太陽光）は、運転席側の対象物Ａにて反射し、当該反射光は、光学系１１４を通じて距離計測イメージチップ１１６に入射可能とされている。一方、第２光源１３２からの照射光及びその他の一般光（自然光ないし太陽光）は、助手席側の対象物Ｂにて反射し、当該反射光は、光学系１１４を通じて距離計測イメージチップ１１６に対し入射可能とされている。ここでいう対象物Ａには、運転席側の車両乗員やその他の着座物が包含され、この対象物Ａが本発明における「第１の対象物」に相当する。また、ここでいう対象物Ｂには、助手席側の車両乗員やその他の着座物が包含され、この対象物Ｂが本発明における「第２の対象物」に相当する。

また、本実施の形態では、対象物Ａ及び対象物Ｂの各対象物にて反射した反射光は、光学系１１４を通じて距離計測イメージチップ１１６に入射し、当該距離計測イメージチップ１１６の結像領域１１６ａ（「撮像面」或いは「フォーカルプレーン」ともいう）に導入され、対象物Ａ及び対象物Ｂの全部または一部を重ね合わせた結像として投影可能とされる。すなわち、本実施の形態のカメラ１１２は、対象物Ａ及び対象物Ｂを同一の距離計測イメージチップ１１６の結像領域に重なり合うように投影可能であり、当該結像領域に対象物Ａ及び対象物Ｂの２つの焦点を有する構成とされる。このとき、距離計測イメージチップ１１６の結像領域１１６ａにおける対象物Ａ及び対象物Ｂの結像は、図３に示すように概ね全部が重なり合うように構成されてもよいし、或いは図４に示すように一部が重なり合うように構成されてもよい。この結像領域１１６ａが、本発明における「所定の結像領域」に相当する。

また、本実施の形態のカメラ１１２は、入射光の一部を遮断する遮光フィルター１１８を備える構成とされる。この遮光フィルター１１８は、第１光源１３１或いは第２光源１３２が発光状態（「点灯状態」或いは「照射状態」ともいう）である場合には、当該光源を発光していない状態（「消光状態」ともいう）での光、すなわち当該光源以外の一般光（自然光ないし太陽光）を、距離計測イメージチップ１１６が検出しない程度に遮断（「遮光」或いは「カット」ともいう）する光遮断手段として構成される。この遮光フィルター１１８が、本発明における「遮光手段」に相当する。

この遮光フィルター１１８を用いることによって、第１光源１３１が発光状態であり第２光源１３２が消光状態（本発明における「第１の作動状態」に相当する状態）である場合には、本来一般光（自然光ないし太陽光）により結像される対象物Ａ及び対象物Ｂの２つの画像は、距離計測イメージチップ１１６にて検出されることはなく、第１光源１３１からの照射光により結像される対象物Ａの画像のみが距離計測イメージチップ１１６にて検出されることとなる（以下、「制御モードＡという」）。同様に、第２光源１３２が発光状態であり第１光源１３１が消光状態（本発明における「第２の作動状態」に相当する状態）である場合には、本来一般光（自然光ないし太陽光）により結像される対象物Ａ及び対象物Ｂの２つの画像は、距離計測イメージチップ１１６にて検出されることはなく、第２光源１３２からの照射光により結像される対象物Ｂの画像のみが距離計測イメージチップ１１６にて検出されることとなる（以下、「制御モードＢという」）。

ここで、上記撮像装置１１０のようにカメラを用いて車両乗員を撮影する場合には、カメラの視野角が例えば９０度をこえて広がるほどに光学系の明るさが低下し、且つレンズ中央部に比べレンズ外周部に歪みが生じるため、車両乗員の検出精度が低下することが知られている。従って、運転席及び助手席の両方の車両乗員を一度に検出しようとする場合には、明るく歪みの少ない高価なレンズを用いるか、或いは複数のカメラを用いる必要があり、装置のコストアップを招くこととなる。また、車両乗員の位置、姿勢、体格、動作といった詳細な情報を得るべく、３Ｄカメラを用いて車両乗員の距離情報を検出する場合には、当該車両乗員の距離に関する精度低下やバラツキが生じ、所望の情報を精度良く得ることが難しい。

そこで、本実施の形態の撮像装置１１０では、カメラ１１２の距離計測イメージチップ１１６の同一の結像領域１１６ａに、対象物Ａ及び対象物Ｂの２つの焦点を形成させるとともに、第１光源１３１が発光状態である場合には対象物Ａの画像情報のみが検出され、第２光源１３２が発光状態である場合には対象物Ｂの画像情報のみが検出されるように構成している。この場合、結像領域１１６ａにおける対象物Ａ及び対象物Ｂの焦点は、図３に示すように全体が概ね重なり合う構成であってもよいし、或いは図４に示すように一部が重なり合う構成であってもよい。この構成が、請求項１における「第１の対象物及び第２の対象物の各対象物にて反射した反射光を、光学系を通じてイメージチップに入射させることで、所定の結像領域に第１の対象物及び第２の対象物の全部または一部を重ね合わせた結像を投影可能」との態様、及び請求項３における「第１車両乗員及び第２車両乗員の各車両乗員にて反射した反射光を、光学系を通じてイメージチップに入射させることで、所定の結像領域に第１車両乗員及び第２車両乗員の全部または一部を重ね合わせた結像を投影可能」との態様に相当する。

本実施の形態の撮像装置１１０によれば、距離計測イメージチップ１１６の結像領域１１６ａに対象物Ａ及び対象物Ｂの２つの焦点を形成させるとともに、この結像領域１１６ａに対象物Ａのみが投影される状態と、対象物Ｂのみが投影される状態とを各々独立して形成させることによって、同一の結像領域１１６ａを、対象物Ａ及び対象物Ｂが投影される投影領域として兼用することが可能となる。従って、光学系を構成する光学レンズのレンズ外周部の明るさの低下や歪み収差の発生を改善することができ、高精度で小型化された光学系を構築することが可能となるため、明るく歪み収差の少ない高価なレンズを用いたり、複数のカメラを用いる必要がなくなり、装置のコスト低減を図ることが可能となる。また、イメージチップの領域を運転席側と助手席側との２つに分割して使用するような構成を採用する場合には、２倍以上のピクセル数のイメージチップが必要となりコストアップの要因となるが、本実施の形態の撮像装置１１０によればこのような問題を解消することができコスト面において有利である。

次に、図５には、本実施の形態の対象物検出システム１００における「画像情報選別処理制御」のフローチャートが示される。

まず、図５中のステップＳ１０１においては、第１光源１３１及び第２光源１３２のいずれかの光源の選択・切り替えを行う。具体的には、制御・演算部１５０からの制御信号に基づいて、第１駆動部１３３及び第２駆動部１３４が制御されて、第１光源１３１が発光状態とされ且つ第２光源１３２が消光状態とされる制御モードＡ、或いは第１光源１３１が消光状態とされ且つ第２光源１３２が発光状態とされる制御モードＢが、排他的ないし択一的に選択されることとなる。これら制御モードＡや制御モードＢにおける光源の駆動開始タイミングに関しては、典型的には、車両に乗員が乗車したことが検知されたとき、具体的には車両シートに対するシートベルトバックルの装着が検知されたり、車両シートの重量センサによって乗員の着座が検知されたときが当該駆動開始タイミングとして設定される。また、制御モードＡ及び制御モードＢのいずれかを選択する駆動切り替えタイミングは、予め設定されたタイムスケジュールに基づいて、適宜設定される。

制御モードＡでは、第１光源１３１のみが発光状態とされるため、遮光フィルター１１８の遮光作用によって、第１光源１３１から照射されて対象物Ａにて反射した反射光のみが、光学系１１４を通じて距離計測イメージチップ１１６に入射される。これにより、この制御モードＡでは、距離計測イメージチップ１１６の結像領域に対象物Ａのみが投影される。一方、制御モードＢでは、第２光源１３２のみが発光状態とされるため、遮光フィルター１１８の遮光作用によって、第２光源１３２から照射されて対象物Ｂにて反射した反射光のみが、光学系１１４を通じて距離計測イメージチップ１１６に入射される。これにより、この制御モードＢでは、距離計測イメージチップ１１６の結像領域に対象物Ｂのみが投影される。

次に、図５中のステップＳ１０２では、画像データの取得処理を行う。このとき、ステップＳ１０１にて制御モードＡに設定されている場合には、距離計測イメージチップ１１６の結像領域に投影されている対象物Ａの画像データが取得されることとなる。反対に、ステップＳ１０１にて制御モードＢに設定されている場合には、距離計測イメージチップ１１６の結像領域に投影されている対象物Ｂの画像データが取得されることとなる。すなわち、画像データを取得したい対象物が運転席側の対象物Ａである場合には、第１光源１３１のみを発光状態とする制御モードＡに設定し、画像データを取得したい対象物が助手席側の対象物Ｂである場合には、第２光源１３２のみを発光状態とする制御モードＢに設定すればよい。当該設定結果は、制御・演算部１５０の記憶手段１５６に記憶される。

図５中のステップＳ１０３では、制御・演算部１５０の記憶手段１５６に記憶されている情報を読み出すことによって、光源の点灯情報を取得する処理を行い、引き続きステップＳ１０４において、点灯しているのが第１光源１３１であるか否かを判定する。ステップ１０４にて、点灯しているのが第１光源１３１であると判定した場合（ステップＳ１０４のＹＥＳの場合）には、ステップＳ１０５にすすみ、そうでない場合、すなわち点灯しているのが第２光源１３２であると判定した場合（ステップＳ１０４のＮＯの場合）には、ステップＳ１０６にすすむ。

ステップＳ１０５では、ステップＳ１０２にて取得された画像データを、運転席側の対象物Ａのものであると判定し、この画像データが対象物Ａの画像情報として出力されたのち、当該画像情報選別処理制御を終了する。
なお、ステップＳ１０５におけるこの態様が、請求項１における「駆動手段が第１の作動状態に駆動されたとき、遮光手段は、第１照射手段から照射されて第１の対象物にて反射したのちメージチップに入射する入射光量を下回る光量を遮断し、処理手段は、駆動手段の作動状態に基づいて、イメージチップの所定の結像領域に投影された結像を第１の対象物に関する画像情報として出力する処理を行う」との態様、及び請求項３における「駆動手段が第１の作動状態に駆動されたとき、遮光手段は、第１照射手段から照射されて第１車両乗員にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断し、処理手段は、駆動手段の作動状態に基づいて、イメージチップの所定の結像領域に投影された結像を第１車両乗員に関する画像情報として出力する処理を行う」との態様に相当する。

ステップＳ１０６では更に、点灯しているのが第２光源１３２であるか否かを判定する。ステップ１０６にて、点灯しているのが第２光源１３２であると判定した場合（ステップＳ１０６のＹＥＳの場合）には、ステップＳ１０７にすすみ、そうでない場合、すなわち点灯しているのが第１光源１３１及び第２光源１３２のいずれでもないと判定した場合（ステップＳ１０６のＮＯの場合）には、ステップＳ１０８において無効画像情報であると判定され、そのまま当該画像情報選別処理制御を終了する。ステップＳ１０７では、ステップＳ１０２にて取得された画像データを、助手席側の対象物Ｂのものであると判定し、この画像データが対象物Ｂの画像情報として出力されたのち、当該画像情報選別処理制御を終了する。

なお、ステップＳ１０７におけるこの態様が、請求項１における「駆動手段が第２の作動状態に駆動されたとき、遮光手段は、第２照射手段から照射されて第２の対象物にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断し、処理手段は、駆動手段の作動状態に基づいて、イメージチップの所定の結像領域に投影された結像を第２の対象物に関する画像情報として出力する処理を行う」との態様、及び請求項３における「駆動手段が第２の作動状態に駆動されたとき、遮光手段は、第２照射手段から照射されて第２車両乗員にて反射したのちイメージチップに入射する入射光量を下回る光量を遮断し、処理手段は、駆動手段の作動状態に基づいて、イメージチップの所定の結像領域に投影された結像を第２車両乗員に関する画像情報として出力する処理を行う」との態様に相当する。

かくして、上記の画像情報選別処理制御における各ステップが順次遂行されることによって、運転席側の対象物Ａ及び助手席側の対象物Ｂの画像情報が、精度良く検出されることとなる。この場合、カメラ１１２から対象物Ａ或いは対象物Ｂまでの距離は、第１光源１３１或いは第２光源１３２からの照射光とこの照射光が当該対象物にて反射して返ってくる反射光との位相差（時間のズレ）から光の到達時間を計測することによって求められる。この計測が各対象物に関し複数回行われることで、当該対象物の立体表面形状が検出され、当該対象物の有無、大きさ、位置、姿勢など、当該対象物に関する種々の情報が出力されることとなる。そして、当該対象物に関する種々の情報に基づいて、ＥＣＵ２００が乗員拘束手段２１０に対し駆動制御信号を出力し、運転席側や助手席側の車両乗員を適正な態様にて拘束する制御が行われることとなる。これにより、乗員拘束手段２１０のきめ細かい制御が可能となる。
また、本実施の形態によれば、車両乗員席上の対象物に関する情報を、撮像装置１１０を用いて精度良く検出することが可能な対象物検出システム１００を搭載する車両が提供される。

なお、上記実施の形態では、カメラ１１２として３Ｄ（３次元画像）式のカメラを用いる場合について記載したが、本発明では、このカメラ１１２にかえて２次元画像を得るための２Ｄ式のカメラを用いることもできる。この場合の構成は、図２中の対象物検出システム１００の各構成要素のうち、３Ｄイメージチップである距離計測イメージチップ１１６を２Ｄイメージチップに置き換え、更に第１光源１３１及び第２光源１３２、また第１駆動部１３３及び第２駆動部１３４における近赤外光の変調機能を省略した構成によって準用される。本構成によっても同様に、光学系を構成する光学レンズのレンズ外周部の明るさの低下や歪み収差の発生を改善することができ、高精度で小型化された光学系を構築することが可能となる。なお、２Ｄイメージチップを備えるカメラを用いる構成においては、対象物に関する情報として、当該対象物の有無、外形、輪郭などの情報が出力されることとなる。

（他の実施の形態）
なお、本発明は上記の実施の形態のみに限定されるものではなく、種々の応用や変形が考えられる。例えば、上記実施の形態を応用した次の各形態を実施することもできる。

本発明では、図２に示す光学系１１４とは別の構成を採用することもできる。ここで、図６には、別の実施の形態の光学系３１４を備える対象物検出システム３００が模式的に示される。
図６に示す対象物検出システム３００は、光学系３１４以外の構成に関しては、前述の対象物検出システム１００と同様の構成を有する。本発明における「光学系」としての光学系３１４は、ハーフミラー３１４ｂを備え、このハーフミラー３１４ｂと運転席側の対象物Ａ及び助手席側の対象物Ｂとの間に、ハーフミラー３１４ｂ側に凹みを有する平凹レンズ３１４ａ，３１４ａが配置されている。一方の平凹レンズ３１４ａは、運転席側の対象物Ａに向かうように配置されており、他方の平凹レンズ３１４ａは、助手席側の対象物Ｂに向かうように配置されている。ハーフミラー３１４ｂは、運転席側の対象物Ａからの反射光に関しては、当該反射光が距離計測イメージチップ１１６に向けて透過する一方、助手席側の対象物Ｂからの反射光に関しては、当該反射光が距離計測イメージチップ１１６に向けて反射するようなハーフミラーとして構成されている。このような構成の光学系３１４を用いることによって、対象物検出システム１００よりも更に広範囲の視野を確保することが可能となる。これにより、運転席シートや助手席シートにおいて、シートの移動やシートバックが倒されることによる車両乗員の姿勢変化が生じるような場合であっても、距離計測イメージチップ１１６の同一の結像領域１１６ａに対し、対象物Ａ及び対象物Ｂを確実に投影することができ、必要な情報を確実に得ることが可能となる。

また、上記実施の形態では、運転席側の対象物Ａと助手席側の対象物Ｂの２つの対象物の撮影画像を得る場合について記載したが、本発明では必要に応じて３つ以上の対象物の撮影画像を検出するように構成することもできる。

また、上記実施の形態では、運転席側の対象物Ａの画像情報を検出する場合には、第２光源１３２を消光状態し、助手席側の対象物Ｂの画像情報を検出する場合には、第１光源１３１を消光状態とする場合について記載したが、本発明では、各光源を消光状態としない制御を用いることもできる。例えば、運転席側の対象物Ａの画像情報を検出する場合には、第２光源１３２を第１光源１３１よりも弱い発光状態とし、助手席側の対象物Ｂの画像情報を検出する場合には、第１光源１３１を第２光源１３２よりも弱い発光状態とするような制御方法を用いることもできる。

また、本発明では、カメラ１１２を介して検出される対象物には、運転席側の車両乗員や、助手席側の車両乗員のほか、後部席側の車両乗員、各席において車両乗員以外の載置物、チャイルドシートやジュニアシート、また車両に関連のない種々の対象物が広く包含される。この場合、上記構成のカメラ１１２を用いて検出する対象物に関する情報としては、対象物の有無、大きさ、位置、距離、姿勢、動作、対象物に対する入射光量（配光量）、輝度などの情報がある。

また、上記実施の形態では、自動車に装着される対象物検出システムの構成について記載したが、自動車をはじめ、航空機、船舶、電車、バス、トラック等の各種の車両に装着される対象物検出システム、更には自動車以外において屋内或いは屋外にて複数の対象物を検出する対象物検出システムの構成に対し本発明を広く適用することができる。

本実施の形態に係る車両搭載用の対象物検出システム１００の構成を示す図である。 本実施の形態の対象物検出システム１００を用いて撮影画像を得る様子を模式的に示す図である。 本実施の形態のカメラ１１２において、距離計測イメージチップ１１６の結像領域１１６ａの様子を示す図である。 本実施の形態のカメラ１１２において、距離計測イメージチップ１１６の結像領域１１６ａの様子を示す図である。 本実施の形態の対象物検出システム１００における「画像情報選別処理制御」のフローチャートである。 別の実施の形態の光学系３１４を備える対象物検出システム３００を模式的に示す図である。

符号の説明

１００…対象物検出システム
１１０…撮像装置
１１２…カメラ
１１４…光学系
１１６…距離計測イメージチップ
１１６ａ…結像領域
１１８…遮光フィルター
１３０…照明装置
１３１…第１光源
１３２…第２光源
１３３…第１駆動部
１３４…第２駆動部
１５０…制御・演算部
１５２…画像処理手段
１５４…演算手段（ＭＰＵ）
１５６…記憶手段
１５８…入出力手段
２００…ＥＣＵ
２１０…乗員拘束手段
３００…対象物検出システム
３１４…光学系
３１４ａ…平凹レンズ
３１４ｂ…ハーフミラー

Claims (6)

1. 複数の対象物の撮影画像を得る撮像システムであって、
   第１の対象物に向かう照射光を付与する第１照射手段と、
   前記第１の対象物とは異なる第２の対象物に向かう照射光を付与する第２照射手段と、
   前記第１照射手段及び第２照射手段を、第１照射手段側の照射光量の方が多い第１の作動状態と、第２照射手段側の照射光量の方が多い第２の作動状態とに切り替え駆動する駆動手段と、
   光学系及びイメージチップを有し、前記第１の対象物及び第２の対象物の各対象物にて反射した反射光を、前記光学系を通じて前記イメージチップに入射させることで、当該イメージチップの所定の結像領域に前記第１の対象物及び第２の対象物の全部または一部を重ね合わせた結像を投影可能な撮像手段と、
   前記イメージチップに入射する入射光量の一部を遮断する遮光手段と、
   前記所定の結像領域に投影された結像を画像情報として出力する処理を行う処理手段と、を備え、
   前記駆動手段が前記第１の作動状態に駆動されたとき、前記遮光手段は、前記第１照射手段から照射されて前記第１の対象物にて反射したのち前記イメージチップに入射する入射光量を下回る光量を遮断し、前記処理手段は、前記駆動手段の作動状態に基づいて、前記イメージチップの前記所定の結像領域に投影された結像を前記第１の対象物に関する画像情報として出力する処理を行う一方、
   前記駆動手段が前記第２の作動状態に駆動されたとき、前記遮光手段は、前記第２照射手段から照射されて前記第２の対象物にて反射したのち前記イメージチップに入射する入射光量を下回る光量を遮断し、前記処理手段は、前記駆動手段の作動状態に基づいて、前記イメージチップの前記所定の結像領域に投影された結像を前記第２の対象物に関する画像情報として出力する処理を行う構成であることを特徴とする撮像システム。
2. 請求項１に記載の撮像システムであって、
   前記駆動手段は、前記第１の作動状態においては、前記第１照射手段のみが照射光を付与するように駆動される一方、前記第２の作動状態においては、前記第２照射手段のみが照射光を付与するように駆動される構成であることを特徴とする撮像システム。
3. 請求項１または２に記載の撮像システムであって、
   当該撮像システムは、車両に搭載される車両用撮像システムとして構成され、
   前記第１照射手段は、前記第１の対象物として第１車両乗員に向かう照射光を付与し、前記第２照射手段は、前記第２の対象物として前記第１車両乗員とは異なる第２車両乗員に向かう照射光を付与する構成であり、
   前記撮像手段は、前記第１車両乗員及び第２車両乗員の各車両乗員にて反射した反射光を、前記光学系を通じて前記イメージチップに入射させることで、前記所定の結像領域に前記第１車両乗員及び第２車両乗員の全部または一部を重ね合わせた結像を投影可能な構成であり、
   前記駆動手段が前記第１の作動状態に駆動されたとき、前記遮光手段は、前記第１照射手段から照射されて前記第１車両乗員にて反射したのち前記イメージチップに入射する入射光量を下回る光量を遮断し、前記処理手段は、前記駆動手段の作動状態に基づいて、前記イメージチップの前記所定の結像領域に投影された結像を前記第１車両乗員に関する画像情報として出力する処理を行う一方、
   前記駆動手段が前記第２の作動状態に駆動されたとき、前記遮光手段は、前記第２照射手段から照射されて前記第２車両乗員にて反射したのち前記イメージチップに入射する入射光量を下回る光量を遮断し、前記処理手段は、前記駆動手段の作動状態に基づいて、前記イメージチップの前記所定の結像領域に投影された結像を前記第２車両乗員に関する画像情報として出力する処理を行う構成であることを特徴とする撮像システム。
4. 請求項３に記載の撮像システムと、
   当該撮像システムの前記処理手段にて出力された、前記第１車両乗員及び第２車両乗員のいずれか一方の画像情報に基づいて、当該車両乗員の体格、位置或いは姿勢に関する車両乗員情報を検出する検出手段と、
   を備える構成であることを特徴とする車両乗員検出システム。
5. 請求項４に記載の車両乗員検出システムと、
   当該車両乗員検出システムの前記検出手段にて検出された車両乗員情報に基づいて作動する作動装置と、
   前記作動装置の駆動を制御する制御手段と、
   を備えることを特徴とする作動装置制御システム。
6. エンジン走行系統と、電装系統と、前記エンジン走行系統及び電装系統の駆動制御を行う駆動制御装置と、車両乗員席上の車両乗員の体格、位置或いは姿勢に関する車両乗員情報を検出する車両乗員情報検出装置と、を備え、
   前記車両乗員情報検出装置は、請求項４に記載の車両乗員検出システムを用いて構成されることを特徴とする車両。

Images