JP2003046843A

JP2003046843A - 撮像装置及び車両における人体検知システム

Info

Publication number: JP2003046843A
Application number: JP2001234745A
Authority: JP
Inventors: Hirotaka Ishii; 啓喬石井
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2001-08-02
Filing date: 2001-08-02
Publication date: 2003-02-14

Abstract

(57)【要約】【課題】照度変化の悪影響を受けずに、人体等の正確
な認識が可能な撮像装置を提供する。【解決手段】同一の撮像領域を撮像する照度特性の異
なる二つのイメージセンサ４，５（例えば、ＣＣＤとＣ
−ＭＯＳ）を備えた構成とし、各イメージセンサ４，５
で同時に撮像された画像Ｇ１，Ｇ２のうち、最もコント
ラストの高い画像が分割領域毎に選択され、最終的な画
像Ｇ３として出力される構成とする。これにより、照度
変化（部分的な照度の違い含む）の悪影響を受けずに、
人体等の正確な認識が容易に可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車室内等における
人体等の正確な認識或いは全天候に対応する車両の前後
方監視等に好適な撮像装置に関する。

【０００２】

【従来の技術】従来のカメラ（撮像装置）は、イメージ
センサを１個だけ使用する構成が一般的である。カラー
画像を撮像するカメラは、３原色を分解するため３個の
イメージセンサを使用する場合があるが、この場合も、
各色相についてみれば、１個だけのイメージセンサが設
けられている。

【０００３】

【発明が解決しようとする課題】このため、例えば防犯
用カメラとして車両に搭載し、車両に侵入する人体を認
識するには、性能が不十分であった。というのは、一つ
のイメージセンサ（例えば、ＣＣＤ）のダイナミックレ
ンジは、通常１０^２〜１０^３程度である。ところが、屋
外や車室内における照度は通常１０^３〜１０^５程度変化
するため、一つのイメージセンサでは適正な出力（画像
信号）が得られない場合があり、対応できない。なお、
この問題を解消するために、絞りやシャッター速度を可
変にしたり、或いは、例えば特開平７−１１５６４３号
公報に記載されているように、フィルターを設けて光量
を調節することが考えられる。しかし、このような構成
としても、逆光の場合や、他車両からのヘッドライトが
照射されている場合などには、やはり適正な出力が得ら
れない場合があった。具体的には、逆光時にセンサ出力
が飽和していわゆる白トビやスミア発生で形状判別がで
きない、薄暮時や雨天時に感度不足でコントラストがと
れずにゲインを無理に上げるとノイズにより画像が不鮮
明になる、ヘッドライトを直接照射されると出力が飽和
して撮影不可能になる、車室内で一方から太陽光が入射
して片方が影になった時に白黒の２値となって正確な形
状が判定できないといった不具合が発生する恐れがあっ
た。そこで本発明は、上述したような不具合の発生が抑
制され、人体や車両等の正確な認識に好適な撮像装置を
提供することを目的としている。

【０００４】

【課題を解決するための手段】本出願の第１発明による
撮像装置は、同一の撮像領域を撮像する照度特性の異な
る複数のイメージセンサ（例えば、ＣＣＤとＣ−ＭＯ
Ｓ）を備えたものである。ここで、「照度特性」とは、
撮像領域の照度変化に対するイメージセンサの出力レベ
ルの変化特性を意味する。この構成であると、各イメー
ジセンサから得られる画像信号のうち、その時点の照度
に適合した画像信号を適宜採用することで、実質的に極
めて広いダイナミックレンジが得られる。このため、照
度変化の悪影響を受けずに、人体等の正確な認識が容易
に可能となる。なお、複数のイメージセンサにより得ら
れる複数の画像のうち、何れを採用するかは、例えば次
のようにして決定すればよい。すなわち、複数のイメー
ジセンサで同時に撮像された画像のうち、最もコントラ
ストの高い画像を選択すればよい。この場合、最もコン
トラストの高い画像を選択し対応する画像信号を出力す
る処理手段（例えば、マイクロコンピュータ）を撮像装
置の要素として備えた構成が望ましい。またこの場合、
撮像領域を複数の分割領域に分割し、各分割領域につい
て最もコントラストの高い画像を選択し対応する画像信
号を出力する構成が好ましい。このようにすれば、分割
領域毎に最適なイメージセンサの画像信号が採用される
（つまり、いいとこどりとなる）ので、部分的に照度が
大きく異なる場合でも全体的に良好な画像が得られる。

【０００５】また、本出願の第２発明による撮像装置
は、同一の撮像領域を撮像する赤外線用イメージセンサ
及び可視光用イメージセンサを備えたものである。この
構成であると、赤外（熱）画像と可視光画像が同時に得
られる。このため、これら二種類の画像データに基づく
画像処理によって、照度変化の悪影響を受けずに、人体
等の正確な認識が容易に可能となる。なお、上記第１発
明及び第２発明のより好ましい態様は、撮像領域からの
光を分光して、各イメージセンサに入射させる分光手段
（例えば、ダイクロイックプリズム）を有する一組の光
学系を備えたものである。この態様であると、複数のイ
メージセンサを備える構成でありながら、光学系（結像
用レンズ等を含むもの）が共用されて一組だけとなり、
コスト増が抑制される。

【０００６】次に、本出願の車両における人体検知シス
テムは、車室内が前記撮像領域に含まれるように車両に
搭載された上記第１発明又は第２発明の撮像装置と、こ
の撮像装置により撮像された画像に基づいて人体の存在
及び位置を判定する判定手段（例えば、マイクロコンピ
ュータ）とを備えたものである。この人体検知システム
は、一つの撮像装置による画像に基づいて人体を直接検
知するので、トータルコストが比較的安くなり、信頼性
の高い人体検知が可能となる。ちなみに、従来の車両に
おける人体検知システムは、超音波、電波、赤外線、重
量、静電容量等を用いて間接的に乗員の人数や居場所を
検知していた。しかし、このような方法では、人体と他
の物体を判別するのが難しく、また正確な人数や位置を
特定するのが困難であった。また、一つのセンサで必要
な領域全部をカバーすることができず、複数のセンサを
組み合わせる必要があった。そのため、システムとして
トータルコストが高くなり、信頼性が低下するという問
題があった。これに対して、本発明の人体検知システム
は、車室内を含む撮像領域を撮像した画像に基づいて人
体を判定するので、他の物体との識別が容易である。ま
た、撮像装置の画角や設置位置の設定により、一つのセ
ンサ（即ち、撮像装置）によって人体を検知すべき領域
全体（例えば、車室内の略全体）をカバーできる。この
ため、トータルコストが比較的安くなり、信頼性の高い
人体検知が可能となる。しかも、この場合の撮像装置と
しては、前述の第１発明又は第２発明の撮像装置が使用
されるため、照度変化（部分的な照度の違いや変化含
む）に無関係に人体が正確に把握でき、この点でも人体
検知の信頼性が向上する。

【０００７】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。（第１発明の形態例）まず、第１発明の撮像装置の一例
を説明する。図１（ａ）は、本例の撮像装置の要部構成
（光学ヘッド部の主な構成）を説明する図であり、図１
（ｂ）は、同撮像装置の画像信号選択処理を説明する図
である。また図２は、本例の撮像装置の特性を従来と対
比して説明する図である。この撮像装置は、図１（ａ）
に示すように、結像用の撮像レンズ１及び分光用のダイ
クロイックプリズム２よりなる光学系と、低照度用イメ
ージセンサ４（例えば、ＣＣＤよりなるもの）と、高照
度用イメージセンサ５（例えば、Ｌｏｇアンプ内蔵のＣ
−ＭＯＳよりなるもの）と、図示省略した処理手段（例
えば、マイクロコンピュータよりなるもの）を備える。
ここで、ダイクロイックプリズム２は、撮像レンズ１が
望む所定の撮像領域から入射し撮像レンズ１によって集
光された光を分光して、各イメージセンサ４，５に入射
させる分光手段に相当しており、各イメージセンサ４，
５の検出面には、前記所定の撮像領域の画像がそれぞれ
結像し、同一サイズの画像を構成するデータ（画像信
号）が各イメージセンサ４，５によってそれぞれ得られ
る構成となっている。

【０００８】また、低照度用イメージセンサ４と高照度
用イメージセンサ５の照度特性は、図２（ａ）において
符号Ｔ４，Ｔ５で示すようになっている。即ち、低照度
用イメージセンサ４は、撮像領域の照度が比較的低い範
囲においてコントラストの高い画像が得られるが、照度
が高いと出力が飽和して画像が不鮮明になる特性となっ
ている。一方、高照度用イメージセンサ５は、撮像領域
の照度が比較的高い範囲においてコントラストの高い画
像が得られるが、照度が低いと十分な出力が得られずに
画像が不鮮明になる特性となっている。そして処理手段
は、各イメージセンサ４，５により同時に撮像された画
像のうち、最もコントラストの高い画像を選択し対応す
る画像信号を出力する。詳細には、撮像領域を複数の分
割領域に分割し、各分割領域について最もコントラスト
の高い画像を選択し対応する画像信号を出力する。即
ち、例えば図１（ｂ）に示すように、各イメージセンサ
４，５により同時に撮像された画像Ｇ１，Ｇ２をそれぞ
れ同様に複数の分割領域（図の場合には、９個の領域）
に分割し、各分割領域について相互の画像信号を比較
し、コントラストの高い方をその分割領域についての採
用データとし、これら採用データ（コントラストの高い
方の画像信号）よりなる画像Ｇ３を最終的な画像として
選択し、この画像Ｇ３に対応する画像信号を最終的な出
力データとする。

【０００９】以上説明した撮像装置であると、各イメー
ジセンサ４，５から得られる画像信号のうち、その時点
の照度に適合した画像信号を適宜採用することで、例え
ば図２（ｂ）に示す従来の狭いダイナミックレンジに対
して、図２（ａ）に示すように実質的に極めて広いダイ
ナミックレンジが得られる。このため、照度変化の悪影
響を受けずに、人体等の正確な認識が容易に可能とな
る。特に本形態例では、複数のイメージセンサで同時に
撮像された画像のうち、最もコントラストの高い画像が
処理手段によって分割領域毎に選択され、最終的な画像
信号として出力される構成である。つまり、分割領域毎
に最適なイメージセンサの画像信号が採用される（つま
り、いいとこどりとなる）。このため、部分的に照度が
大きく異なる場合（例えば太陽光が一方から入射して他
方が影になった場合など）でも全体的に良好な画像が得
られ、人体等の正確な認識がより信頼性高く可能とな
る。また本形態例では、撮像領域からの光を分光して、
各イメージセンサ４，５に入射させる分光手段（即ち、
ダイクロイックプリズム２）を有する一組の光学系を備
えた態様となっている。このため、複数（この場合二
つ）のイメージセンサ４，５を備える構成でありなが
ら、光学系が共用されて一組だけとなり、コスト増が抑
制される利点がある。

【００１０】（第２発明の形態例）次に、第２発明の撮
像装置の一例を説明する。図３は、本例の撮像装置の要
部構成（光学ヘッド部の主な構成）を説明する図であ
る。この撮像装置は、図３の上段部に示すように、結像
用の撮像レンズ１１，光学レンズ１２，１３及びピンホ
ール板１４よりなる光学系と、赤外線用イメージセンサ
１５と、可視光用イメージセンサ１６と、バックライト
光源１７（例えば、ＬＥＤ）とを備える。ここで、撮像
レンズ１１（或いはさらに光学レンズ１２，１３）は、
透明又は半透明のもの（即ち、可視光を透過させるも
の）で、ＺｎＳを材料とする粉末焼結法で製造されてお
り、低コスト化が図られている。ちなみに、従来の赤外
画像用撮像装置の光学レンズは、ＧｅやＳｉを素材とす
る金属レンズを通常使用していたため、コストアップの
要因となっていたが、本形態例ではこの問題が解消され
る。なお、撮像レンズ１１（或いはさらに光学レンズ１
２，１３）には、無加熱で密度の高いコーティングを施
すことが望ましい。また、撮像レンズ１１（或いはさら
に光学レンズ１２，１３）は、球面に限定されず、非球
面であってもよい。また、図３の下段部に示すように、
例えば撮像レンズ１１の代わりにシリンドリカルレンズ
１８を使用してもよい。また、図３の下段部に示すよう
に、光学レンズ１２，１３やピンホール板１４の代わり
に、ダイクロイックプリズム１９を用いた光学系として
もよい。なお、シリンドリカルレンズ１８は、車両の前
後方監視に好適である。いずれにしろ、上記光学系によ
れば、撮像レンズ１１が望む所定の撮像領域から入射し
撮像レンズ１１によって集光された光が、各イメージセ
ンサ１５，１６に入射し、各イメージセンサ１５，１６
の検出面には、前記所定の撮像領域の画像がそれぞれ結
像し、所定サイズの画像を構成するデータ（画像信号）
が各イメージセンサ１５，１６によってそれぞれ得られ
る。

【００１１】また、赤外線用イメージセンサ１５として
は、ＢＭ（バイマテリアル型）が使用され、センサ自体
とそのための電気回路の簡略化・低コスト化が実現され
ている。なお、従来の一般的な赤外線カメラは、イメー
ジセンサとして冷却方式の量子型や非冷却方式の焦電型
が採用されている。そして、性能からみれば冷却方式
（量子型）がよいが、冷却材（液化窒素）を充填する
か、冷凍機を内蔵する必要があり、取り扱いが面倒で大
きく高価であった。一方、非冷却方式（焦電型）も、そ
の構造（原理）・材料・製造方法からセンサ自体が高価
であり、手軽に使えない状況であるが、本形態例ではこ
の問題が解消される。次に、可視光用イメージセンサ１
６としては、例えばＣＣＤよりなるもの、或いは、Ｃ−
ＭＯＳよりなるものが使用できる。

【００１２】以上説明した本例の撮像装置によれば、赤
外（熱）画像と可視光画像が同時に得られる。このた
め、これら二種類の画像データに基づく画像処理によっ
て、照度変化の悪影響を受けずに、人体等の正確な認識
が容易に可能となる。というのは、照度変化の影響によ
って良好な可視光画像が得られない場合でも、例えば赤
外（熱）画像を補助的に利用して人体等の形状判別を的
確に行うことが可能だからである。なお、従来の赤外線
カメラは、可視光は検知できなかったが、本例の撮像装
置であれば、赤外（熱）画像と可視光画像が同時に得ら
れるため、光の波長（或いは周波数）について実質的に
広いダイナミックレンジが得られる。特に、可視光用イ
メージセンサとして広ダイナミックレンジのデバイス
（例えば、Ｌｏｇアンプ内蔵のＣ−ＭＯＳ）を使用した
場合には、可視光及び波長の両方にまたがる広ダイナミ
ックレンジの撮像装置となる。

【００１３】（人体検知システムの形態例）次に、車両
における人体検知システムの一例を、図４等により説明
する。図４（ａ），（ｂ）は、車両における撮像装置の
設置位置や撮像領域を示す側面図或いは正面図であり、
図５は、車両における撮像領域を示す平面図である。本
例の人体検知システムは、車室内が撮像領域に含まれる
ように車両に搭載された上記第１発明又は第２発明の撮
像装置２０と、この撮像装置２０により撮像された画像
に基づいて人体の存在及び位置を判定する図示省略した
判定手段（例えば、マイクロコンピュータ）とを備えた
ものである。なお、図４，図５において符号２１で示す
ものは車室であり、符号２２，２３，２４で示すもの
は、それぞれ運転席，助手席，後部座席である。また、
図５において符号２５で示すものは、人体等の検知を行
うべき領域（検知エリア）であり、符号２６で示すもの
は、撮像装置２０の撮像領域（撮像エリア）である。

【００１４】ここで、撮像装置２０（少なくとも、その
光学ヘッド部分）は、図４（ａ），（ｂ）に示すよう
に、車室２１内の天井における略中央位置に光軸を下方
に向けて設置されている。このように、撮像装置２０が
車室２１の天井に設置されていると、撮像装置２０の設
置高さＨと画角θｈ，θＶを適度に設定することによっ
て、図５に示すように検知エリア２５の全体をカバーす
る撮像領域２６が得られる。ちなみに発明者らの計算に
よれば、画角θｈ，θＶがそれぞれ１１８，９゜と８
８，１゜である場合、設置高さＨが９０ｃｍであれば、
撮像領域の長さＬ１は３０５ｃｍであり、撮像領域の幅
Ｌ２は１７４ｃｍとなる。これにより、一つの撮像装置
２０で車両における人体検知が可能となる。次に、判定
手段は、例えば図示省略した車両における制御ユニット
内に設けられたマイクロコンピュータの処理機能によっ
て実現される。この判定手段は、例えば、撮像装置２０
により得られた画像内の輝度変化等に基づいて判別され
る画像内の物体の輪郭を予め登録された人体形状と比較
したり、さらには得られた画像を予め記憶しておいた無
人の車室内の画像と比較することによって、人体の存在
や位置を判定する。

【００１５】なお、上記判定手段により得られた判定結
果は、車両の盗難防止システムや機器制御システムにお
いて、例えば次のように利用できる。即ち、盗難防止シ
ステムの場合は、例えば駐車中（防犯モード中）に検知
エリア２５内に人体が検知された場合、人が侵入したと
判断して必要に応じて防犯動作（ホーンを鳴らしたり、
ハザードランプを点滅させて警報を出力する動作、エン
ジン始動を禁止する動作、或いは撮像した画像を記録し
たり車外に携帯電話等で伝送する動作など）を実行する
きっかけとして利用できる。また、例えば防犯モードが
解除されている場合に、エアコン等の機器の自動制御
（車室内に居る搭乗者の人数や場所に応じてエアコン等
の動作状態を変化させる制御）に利用したり、パワーウ
インドの挟み込み防止機能（例えば、検知エリア外に搭
乗者の身体の一部が出たと判定されたときに、ウインド
の閉動作を停止したり禁止する機能）に利用することも
できる。

【００１６】以上説明した本例の人体検知システムは、
一つの撮像装置による画像に基づいて人体を直接検知す
るので、トータルコストが比較的安くなり、信頼性の高
い人体検知が可能となる。即ち、上記人体検知システム
は、車室内を含む撮像領域を撮像した画像に基づいて人
体を判定するので、他の物体との識別が容易である。ま
た、撮像装置の画角や設置位置の設定により、一つのセ
ンサ（即ち、撮像装置）によって人体を検知すべき領域
全体（例えば、車室内の検知エリア２５の全体）をカバ
ーできる。このため、トータルコストが比較的安くな
り、信頼性の高い人体検知が可能となる。しかも、この
場合の撮像装置２０としては、前述の第１発明又は第２
発明の撮像装置が使用されるため、照度変化（部分的な
照度の違いや変化含む）に無関係に人体が正確に把握で
き、この点でも人体検知の信頼性が向上する。

【００１７】なお、本願の各発明は以上説明した形態例
に限定されない。例えば、撮像装置を構成するイメージ
センサは、必ずしも二つに限らず、３種以上設けられて
もよい。この場合、例えば、赤外線用イメージセンサ一
つと、可視光用イメージセンサ二つ（高照度用と低照度
用）を設けてもよい。また、車両における人体検知シス
テムにおいて撮像装置（少なくともその検出ヘッド部
分）を設置する位置は、必ずしも車内の天井に限定され
ず、例えば車室内前方のインナーミラー付近等でもよ
い。また、撮像装置の撮像領域を照らす補助照明を設け
てもよい。例えば、図４に示す形態例において、撮像装
置２０の画像取得タイミングに同期させて、赤外ＬＥＤ
（撮像装置２０或いは車両内に設置したもの）を必要に
応じて発光させ、撮像領域（即ち、主に車内）の照度が
低下している場合でも、より良好な画像が得られるよう
にしてもよい。また、本出願における撮像装置とは、動
画又は／及び静止画を撮像する撮像装置を意味し、撮像
する画像は白黒画像でもカラー画像でもよい。また、本
出願における撮像装置の適用範囲は、特に限定されな
い。例えば、上述した人体検知システム以外にも、全天
候に対応する車両の前後方監視等に使用することもでき
る。なお、車両における人体検知システム用のカメラと
しては、前述したように光学系の画角を超広角にするの
がよく、また、車両における前後方監視では、検知距離
に応じて水平画角を設定すればよい（例えば水平画角を
１２０゜〜１８０゜とする）。

【００１８】

【発明の効果】本出願の第１発明による撮像装置は、同
一の撮像領域を撮像する照度特性の異なる複数のイメー
ジセンサ（例えば、ＣＣＤとＣ−ＭＯＳ）を備えてい
る。この構成であると、各イメージセンサから得られる
画像信号のうち、その時点の照度に適合した画像信号を
適宜採用することで、実質的に極めて広いダイナミック
レンジが得られる。このため、照度変化の悪影響を受け
ずに、人体等の正確な認識が容易に可能となる。また、
本出願の第２発明による撮像装置は、同一の撮像領域を
撮像する赤外線用イメージセンサ及び可視光用イメージ
センサを備えている。この構成であると、赤外（熱）画
像と可視光画像が同時に得られる。このため、これら二
種類の画像データに基づく画像処理によって、照度変化
の悪影響を受けずに、人体等の正確な認識が容易に可能
となる。

【００１９】次に、本出願の車両における人体検知シス
テムは、車室内が前記撮像領域に含まれるように車両に
搭載された上記第１発明又は第２発明の撮像装置と、こ
の撮像装置により撮像された画像に基づいて人体の存在
及び位置を判定する判定手段（例えば、マイクロコンピ
ュータ）とを備え、一つの撮像装置による画像に基づい
て人体を検知する。このため、トータルコストが比較的
安くなり、信頼性の高い人体検知が可能となる。しか
も、この場合の撮像装置としては、前述の第１発明又は
第２発明の撮像装置が使用されるため、照度変化（部分
的な照度の違いや変化含む）に無関係に人体が正確に把
握でき、この点でも人体検知の信頼性が向上する。

【図面の簡単な説明】

【図１】撮像装置（第１発明）の要部構成等を示す図で
ある。

【図２】撮像装置の特性を従来と対比して説明する図で
ある。

【図３】撮像装置（第２発明）の要部構成を示す図であ
る。

【図４】撮像装置の設置位置や撮像領域を示す側面図或
いは正面図である。

【図５】車両における撮像領域を示す平面図である。

【符号の説明】

２，１９ダイクロイックプリズム（分光手段）４低照度用イメージセンサ５高照度用イメージセンサ１５赤外線用イメージセンサ１６可視光用イメージセンサ２０撮像装置２１車室２５検知エリア２６撮像エリア（撮像領域）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 1/028 Ｈ０４Ｎ 1/028 Ｚ 7/18 7/18 ＥＪＦターム(参考） 5B047 AA19 AB02 BB04 BC14 BC30 CB22 DC09 5B057 AA19 BA02 BA15 CE08 CE11 DA06 DA15 5C022 AA04 AA15 AC42 AC51 5C051 AA02 BA02 DA06 DB01 DB21 DC02 DC04 DC07 FA00 5C054 AA05 CA04 CA05 CE12 CH01 EA01 FC03 FC14 FF06 HA30

Claims

【特許請求の範囲】

【請求項１】同一の撮像領域を撮像する照度特性の異
なる複数のイメージセンサを備えたことを特徴とする撮
像装置。
【請求項２】前記複数のイメージセンサで同時に撮像
された画像のうち、最もコントラストの高い画像を選択
し対応する画像信号を出力する処理手段を備えたことを
特徴とする請求項１記載の撮像装置。
【請求項３】前記処理手段は、前記撮像領域を複数の
分割領域に分割し、各分割領域について最もコントラス
トの高い画像を選択し対応する画像信号を出力すること
を特徴とする請求項２記載の撮像装置。
【請求項４】同一の撮像領域を撮像する赤外線用イメ
ージセンサ及び可視光用イメージセンサを備えたことを
特徴とする撮像装置。
【請求項５】前記撮像領域からの光を分光して、各イ
メージセンサに入射させる分光手段を有する一組の光学
系を備えたことを特徴とする請求項１乃至４の何れかに
記載の撮像装置。
【請求項６】車室内が前記撮像領域に含まれるように
車両に搭載された請求項１乃至５の何れかに記載の撮像
装置と、この撮像装置により撮像された画像に基づいて人体の存
在及び位置を判定する判定手段とを備えたことを特徴と
する車両における人体検知システム。