JP2002237969A - 車載カメラおよび画像処理システム - Google Patents

Abstract

(57)【要約】 【課題】 赤外線と可視光で取り込んだ画像をリアルタ
イムで簡単かつ確実に重ならせることが可能で、重なっ
た画像から所定の処理が容易に行える車載カメラを使用
した画像処理システムを提供する。 【解決手段】 赤外線と可視光に分離して画像を取り込
む車載カメラＣＡと、第１および第２の撮像素子からの
出力信号に基づいて可視光画像と赤外線画像とを出力す
る可視光画像出力部２２および赤外線画像出力部２４
と、両出力部２２，２４から出力される画像情報が一致
するように出力画像のそれぞれの位置誤差を修正する位
置誤差修正部２６と、位置誤差修正部２６から出力され
た可視光画像と赤外線画像とを比較する画像比較処理部
２９とを備え、比較処理結果に基づいて先行者、人間、
動物の検知を含む自動車の自動運転に伴う種々の補助制
御を可能とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は自動車に搭載され、
画像を取り込み白線、先行車、割込車、人物、障害物な
どを検知して警告、または車両制御する運転補助システ
ムのセンサとして使用される車載カメラおよびこの車載
カメラから取り込んだ画像情報を処理する画像処理シス
テムに関する。

【０００２】

【従来の技術】赤外線と可視光とを取り込んで処理する
光学装置として例えば特開平１１−６４７３９号公報に
開示された発明が公知である。この発明は、可視光と赤
外線とによる複数形等の観察光路を有するパノラマ観察
光学系において、表示装置に表示した赤外線映像の情報
を担持した光束を可視光用観察光路上に取り込むことに
よって観察対象の迅速な視認や識別を可能とするための
ものである。この発明では、窓ガラスを一体化された回
動ミラーによって外部かの光束を反射し、ダイクロイッ
クミラーによって赤外線と可視光とに分離する。分離さ
れた赤外線による像は赤外線撮像カメラ上に結像し、そ
の映像が赤外線映像表示装置に表示される。分離された
可視光光束は前記赤外線映像表示装置の映像情報を担持
した可視光光束とされ、光路中に入退可能な全反射ミラ
ーの入退操作によって切り替えて択一的に取り込まれ、
可視像回転補正プリズムによって像回転を補正し、取り
込まれた光束による光像を接眼レンズを介して観察する
ように構成されている。

【０００３】

【発明が解決しようとする課題】この発明では、前述の
ように全反射ミラーを入退させて赤外線と可視光を切り
替え、切り替えられた前記赤外線と可視光を択一的に取
り込んで接眼レンズによって観察するように構成され、
複雑な光学系となっている。また、赤外線を見るため
に、赤外線撮像カメラによって撮像した像を赤外線映像
表示装置に表示して可視化し、この可視化された赤外線
像とダイクロイックミラーによって分離された可視光像
を同一の接眼レンズによって観察するようになってい
る。このため、動画を取るときは、全反射ミラーを動か
すロスタイムがあり、赤外線と可視光を取り込んだとき
の画像は一致しない。

【０００４】また、レンズ中心部にコーティング（赤外
カット）施し、明るいときは絞りを閉めて赤外線をカッ
トするようになっている。よって、昼間に可視光の映像
を撮るとき絞りを閉めた状態のため光量が低下するとい
う問題がある。

【０００５】本発明は、このような従来技術の実情に鑑
みてなされたもので、その目的は、動画において赤外線
と可視光の画像を取り込んだときの時間差をなくするこ
とが可能な簡単な構成の車載カメラを提供することにあ
る。

【０００６】また、他の目的は、取り込んだ画像のズレ
を最小限に抑えることが可能な車載カメラを提供するこ
とにある。

【０００７】さらに、他の目的は、赤外線と可視光で取
り込んだ画像をリアルタイムで簡単かつ確実に重ならせ
ることが可能で、重なった画像から所定の処理が容易に
行える車載カメラを使用した画像処理システムを提供す
ることにある。

【０００８】

【課題を解決するための手段】前記目的を達成するた
め、第１の手段は、１本のレンズを通過した光束を赤外
線と可視光に分離し、分離された赤外線と可視光に基づ
いて車外の視覚的情報を取り込む車載カメラにおいて、
前記レンズと、前記赤外線と可視光に分離する分離手段
と、前記可視光画像を検出する第１の撮像素子と、前記
赤外線画像を検出する第２の撮像素子とが、一体に形成
された筐体に取り付けられていることを特徴とする。

【０００９】この場合、前記筐体は一体構造の鋳物から
構成するようにするとよい。また、前記分離手段をダイ
クロクックフィルタによって構成し、前記第１の撮像素
子へは可視光が透過光として入力され、前記第２の撮像
素子へ赤外線が反射光として入力されるように前記ダイ
クロイックフィルタと、第１および第２の撮像素子を前
記筐体に配置する。その際、前記第１および第２の撮像
素子は検出された画像が同一の向きになるようにする。
また、前記第２の撮像素子は赤外領域に感度が高い特性
のものを使用するようにして同一構成の撮像素子を赤外
線用と可視光用とに使い分けるようにするとよい。

【００１０】前記目的を達成するため、第２の手段は、
第１の手段に係る車載カメラと、前記車載カメラの前記
第１および第２の撮像素子からの出力信号に基づいて信
号処理を行い、可視光画像と赤外線画像とをそれぞれ出
力する第１の画像出力部および第２の画像出力部と、前
記第１の画像出力部および第２の画像出力部から出力さ
れる画像情報を合成して出力する画像合成部とを備えて
いることを特徴とする。

【００１１】その際、前記画像情報を合成して出力する
際に、前記第１の画像出力部から出力される可視光画像
と、前記第２の画像出力部から出力される赤外線画像が
一致するように前記両画像の位置を修正する誤差修正部
を設けるとよい。

【００１２】また、前記目的を達成するため、第３の手
段は、第１の手段に係る車載カメラと、前記車載カメラ
の前記第１および第２の撮像素子からの出力信号に基づ
いて信号処理を行い、可視光画像と赤外線画像とをそれ
ぞれ出力する第１の画像出力部および第２の画像出力部
と、前記第１の画像出力部および第２の画像出力部から
出力される画像情報が一致するように出力画像のそれぞ
れの位置誤差を修正する位置誤差修正部と、前記位置誤
差修正部から出力された可視光画像と赤外線画像とを比
較する画像比較処理部とを備えていることを特徴とす
る。

【００１３】この場合、前記画像比較処理部の比較結果
に基づいて所定の検知処理を行う検知処理部をさらに備
え、前記検知処理部は、前記比較結果から、先行車の検
知、人間の検知および動物の検知の少なくとも１つの検
知を行うことができるようにする。

【００１４】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。

【００１５】図１は本発明の実施形態に係る車載カメラ
の撮像部を示す概略構成図である。車載カメラＣＡは、
撮像（対物）側のレンズ１と、このレンズ１が前側に取
り付けられた筐体５と、この筐体５の図において後ろ側
および上側にそれぞれ取り付けられた可視光検出用の第
１の撮像素子３と赤外線検出用の第２の撮像素子４と、
筐体５の内部にあって前記レンズ１から入射した可視光
（光軸を符号１１で示す）はそのまま透過させ、赤外線
は反射させるダイクロイックフィルタ２とから基本的に
構成されている。第１の撮像素子３と第２の撮像素子４
は、例えばＣＣＤ（Charge Coupled Device）の２次元
センサからなり、可視光は第１の撮像素子３に入射し、
赤外線は第２の撮像素子４に入射するように構成され、
レンズ１の結像面が第１および第２の撮像素子３，４の
結像面と一致するようにレンズ１から第１および第２の
撮像素子３，４までの光路長が設定されている。また、
図２のシステム構成図に示すように、第１の撮像素子３
の出力は第１の信号処理回路２１で処理され、可視光画
像出力部２２から可視光画像として出力され、第２の撮
像素子４の出力第２の信号処理回路２３で処理され、赤
外線画像出力部２４から赤外線画像として出力される。

【００１６】図３および図４はそれぞれ本実施形態に係
るダイクロイックフィルタ２の反射特性と透過特性を示
す特性図である。この実施形態では、ダイクロイックフ
ィルタ２は赤外線の波長およそ７００−８００ｎｍを中
心にフィルタリングされているフィルタを採用し、これ
によって、レンズ１から入った光１１は、ダイクロイッ
クフィルタ２で前記波長に基づいて赤外線１４と可視光
１３に分離され、ダイクロイックフィルタ２の表面で反
射された赤外線１４は筐体５上部に取り付けられた第２
の撮像素子４に入射し、ダイクロイックフィルタ２を通
過した可視光１３は第１の撮像素子３に入る。両撮像素
子３，４に入射した可視光および赤外線は、撮像素子
３，４の結像面で像を結び、この像の画像濃度に対応し
た電気信号が前記第１および第２の信号処理回路２１，
２３に出力され、可視画像出力部２２および赤外線画像
出力部２４から可視化のための信号が出力される。可視
化画像出力部２２および赤外線画像出力部２４から出力
された信号は、画像合成部２５に入力され、画像合成が
行われ、合成された画像の信号はさらにコンピュータな
ど情報処理装置に出力される。なお、合成された画像は
情報処理装置に代えて、もしくは情報処理装置に加えて
ＣＲＴやＬＣＤなどの表示装置に出力するようにするこ
ともできる。

【００１７】一般的にＣＣＤなどの撮像素子は赤外線に
対しての感度が高いもの多く、赤外線と可視光の画像素
子を同一化した方が回路の共用化が図られ、画素数も同
一なため、それぞれの取り込んだ画像を比較、合成する
場合、処理が簡単になる。その際、赤外線１４を検知す
る第２の撮像素子４は赤外線の感度特性の高いものを使
用し、可視光を検知するする第１の撮像素子３は可視光
の特性が高いものを使用すると、より高い性能が得られ
る。

【００１８】前記第１および第２の信号処理回路２１，
２３で信号処理され、可視像２２，２４として出力され
る画像を比較、合成する場合、同一の対象を撮像してい
る以上、レンズ１から取り込んだ赤外線画像と可視光画
像の２枚の画像の形状は重ならなければならない。そこ
で、画像が重ね合わせ易いように２個の画像素子の向
き、位置、光軸に対する垂直度などを調整する必要があ
る。図５は画像の位置調整の様子を示す説明図である。
図２のようにカメラＣＡで調整用の画像Ｇ、例えば赤外
線画像と可視光画像とが一致するようにＬＥＤなどの発
光体によって形成した調整用の画像（この実施形態で
は、矢印）Ｇを撮影したときの赤外線画像を２４ａ（図
５（ａ））、可視光画像を２４ｂ（図５（ｂ））とする
が、撮像素子の向きによっては、矢印の向きが反対にな
るため、矢印の方向が同一になるように設定する。しか
し、レンズ１、ダイクロイックフィルタ２、第１および
第２の撮像素子３，４の相対的な位置関係が筐体５自身
の精度や撮像素子の筐体に対する組み立てのばらつきな
どにより、可視光画像出力部２２と赤外線画像出力部２
４からの出力画像をそのまま合成すると、図５（ｃ）に
示すように２枚の画像は重ならない場合が多い。言い換
えると、通常、画像が精度良く重なることはなく、赤外
線画像２４ａと可視光画像２２ａは２重になる、もしく
は２重に表示される。なお、本車載カメラＣＡでは、赤
外線１４より可視光１３を重要視しているため、ダイク
ロイックフィルタ２を通過する光束は可視光１３とし、
反射する光束を赤外線１４としているので、可視光１３
の画像の歪み等が赤外線１４よりも少なくなるように配
慮している。

【００１９】このような画像のずれをできるだけ少なく
するには、ハード的な精度を上げることが肝要である。
一方、筐体５の前面側にはレンズ１が装着され、後ろ側
の面と上側の面にはそれぞれ第１の撮像素子３と第２の
撮像素子４が装着され、内部にはダイクロイックフィル
タ２が装着され、これら四者の相対的な位置ずれかでき
るだけ少なくなるような構造体として、筐体５は一体構
造で製作することが望ましい。さらには、製品のばらつ
きを吸収するために、型物（ダイカスト、樹脂）で製作
すると、安定した製品を供給できる。

【００２０】このように筐体５を一体化構造とすること
により可視光１３と赤外線１４の画像の誤差は少なくな
るが、第１および第２の撮像素子２，３の中のチップ位
置ズレにより、可視光１３と赤外線１４の画像に誤差が
生じる可能性がある。すなわち前記両撮像素子２，３は
チップ上に製造され、配線基板に取り付けられ、配線基
板の端子と電気的に接続されている。筐体５への取付は
配線基板を介して行われるので、配線基板の取り付け精
度を上げても、配線基板に対するチップの取り付け精度
のばらつきは如何ともしようがない。すなわち、撮像素
子２，３のチップ自体の取り付け位置精度が問題となる
が、取り付け誤差が重畳されるので、この誤差を機械的
に解消することは不可能に近い。そこで、この誤差を補
正する処理部に設けるようにした。

【００２１】図６は、この処理部、すなわち、位置誤差
修正部２６を設けたときのシステム構成を示すブロック
図である。

【００２２】同図から分かるように、このシステムは、
図２に示した画像合成部２５に代えて、位置誤差修正部
２６を設け、位置誤差修正部２６からの可視光画像の修
正出力を可視光修正画像出力部２７に、また、赤外線画
像の修正出力を赤外線修正画像出力部２８にそれぞれ出
力する。そして、画像比較処理部２９では、修正された
可視光画像信号と赤外線画像信号を取り込んで両画像を
比較する。画像比較処理部２９からの比較出力は検知処
理部３０に出力され、予め設定されたプログラムにした
がった処理が実行される。なお、ここでは、画像の位置
誤差修正を位置誤差修正部２６で行うようになっている
が、前述の画像合成部２５における画像合成時において
も位置誤差の修正を行う必要がある。そのため、前記画
像合成部２５においても、前記位置誤差修正部２６と同
様の位置誤差修正機能を備えている。また、前記検知処
理部３０はＰＣなどの情報処理装置によって構成するこ
ともできる。

【００２３】この処理例として、例えば自動車の自動運
転の補助システムがある。

【００２４】図７および図８はこの補助システムを説明
するための図で、図７は走行中２台の自動車を側面から
見た図、図８は図７の状態を上方からみた図である。図
８に示すように道路には白線１０が引かれ、車線を区切
っている。この白線は例えば左側車線では、図８に示す
ようにとぎれがある中央側の白線と連続的な白線とがあ
り、その間の幅、言い換えれば、車線の幅は法律により
規定されている。そこで、図７に示すように本実施形態
に係る車載カメラＣＡを車体６に既定の取付角度で取り
つけたときには、水平方向のレンズ画角７と垂直方向の
レンズ画角８と車載カメラＣＡによって撮像した白線１
０の位置から自車６と白線１０間の概算距離を推定する
ことができ、車線上の自車位置を認識することが可能と
なる。このような認識ができれば、車線間における自車
位置の自動保持運転が行える。

【００２５】また、前述のように赤外線をも検知するこ
とから、道路上に立っていた人や動物が自車の何ｍ先に
いるか類推することが可能となり、画像処理結果とブレ
ーキと連動することで安全を確保できる。また、前車の
排気筒からの排気熱による赤外線画像と可視光画像との
経時的な比較によって位置変化が認識され、先行者との
間での車間距離を推察することも可能となり、これによ
って、先行者に対する追突防止自動運転が行える。

【００２６】

【発明の効果】以上のように本発明によれば、レンズ
と、赤外線と可視光に分離する分離手段と、可視光画像
を検出する第１の撮像素子と、赤外線画像を検出する第
２の撮像素子とを一体に形成された筐体に取り付け、分
離手段は固定され移動することがないので、動画におい
て赤外線と可視光の画像を取り込んだときの時間差をな
くすることが可能となる。また、一体に形成された筐体
に各部品が取り付け螺れているので、赤外線と可視光を
取り込んだときの２枚の画像を重ねたときの画像の位置
ズレを少なくすることができる。

【００２７】また、本発明によれば、レンズと、赤外線
と可視光に分離する分離手段と、可視光画像を検出する
第１の撮像素子と、赤外線画像を検出する第２の撮像素
子とが一体に形成された筐体に取り付けられた車載カメ
ラと、車載カメラの第１および第２の撮像素子からの出
力信号に基づいて信号処理を行い、可視光画像と赤外線
画像とをそれぞれ出力する第１の画像出力部および第２
の画像出力部と、第１の画像出力部および第２の画像出
力部から出力される画像情報を合成して出力する画像合
成部とから画像処理システムを構成したので、赤外線と
可視光を取り込んだときの２枚の画像を合成し、重ねる
ことがリアルタイムで容易に行える。その際、画像が一
致するように前記両画像の位置を修正する誤差修正部を
設けると、確実に両画像を一致させて合成することがで
きる。

【００２８】さらに、本発明によれば、レンズと、赤外
線と可視光に分離する分離手段と、可視光画像を検出す
る第１の撮像素子と、赤外線画像を検出する第２の撮像
素子とが一体に形成された筐体に取り付けられた車載カ
メラと、車載カメラの第１および第２の撮像素子からの
出力信号に基づいて信号処理を行い、可視光画像と赤外
線画像とをそれぞれ出力する第１の画像出力部および第
２の画像出力部と、第１の画像出力部および第２の画像
出力部から出力される画像情報が一致するように出力画
像のそれぞれの位置誤差を修正する位置誤差修正部と、
位置誤差修正部から出力された可視光画像と赤外線画像
とを比較する画像比較処理部とを備えているので、比較
処理結果に基づいて先行者、人間、動物の検知を含む自
動車の自動運転に伴う種々の補助制御が可能となる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る車載カメラの構造を示
す概略構成図である。

【図２】車載カメラを備えた画像処理システムの一例を
示すブロック図である。

【図３】本発明に使用されるダイロイックフィルタの反
射特性を示す特性図である。

【図４】本発明に使用されるダイロイックフィルタの透
過特性を示す特性図である。

【図５】図２の画像合成部で合成される赤外線画像、可
視光画像および合成画像の状態を示す図である。

【図６】車載カメラを備えた画像処理システムの他の例
を示すブロック図である。

【図７】自動車に取りつけられた車載カメラの垂直方向
の視野を示す説明図である。

【図８】自動車に取り付けられた車載カメラの水平方向
の視野を示す説明図である。

【符号の説明】

１ レンズ ２ ダイクロイックフィルタ ３ 第１の撮像素子 ４ 第２の撮像素子 ５ 筐体 ２１ 可視光信号処理回路 ２２ が思考画像出力部 ２３ 赤外線信号処理回路 ２４ 赤外線画像出力部 ２５ 画像合成部 ２６ 位置誤差修正部 ２７ 可視光修正画像出力部 ２８ 赤外線修正画像出力部 ２９ 画像比較処理部 ３０ 検知処理部 ＣＡ 車載カメラ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B047 AA30 BB04 BC01 CA19 CB04 5B057 AA20 BA19 CA12 CB12 CE08 CH11 DA06 DA15 DB02 5C022 AC42 AC54 AC55 AC77 5C054 CA04 CA05 FC01 FC15 HA26 HA30

Claims (10)

【特許請求の範囲】
1. 【請求項１】 １本のレンズを通過した光束を赤外線と
   可視光に分離し、分離された赤外線と可視光に基づいて
   車外の視覚的情報を取り込む車載カメラにおいて、 前記レンズと、前記赤外線と可視光に分離する分離手段
   と、前記可視光画像を検出する第１の撮像素子と、前記
   赤外線画像を検出する第２の撮像素子とが、一体に形成
   された筐体に取り付けられていることを特徴とする車載
   カメラ。
2. 【請求項２】 前記筐体は一体構造の鋳造物からなるこ
   とを特徴とする請求項１記載の車載カメラ。
3. 【請求項３】 前記分離手段が、ダイクロクックフィル
   タからなり、前記第１の撮像素子へは可視光が透過光と
   して入力され、前記第２の撮像素子へ赤外線が反射光と
   して入力されるように前記ダイクロイックフィルタと、
   第１および第２の撮像素子が前記筐体に配置されている
   ことを特徴とする請求項１記載の車載カメラ。
4. 【請求項４】 前記第１および第２の撮像素子は検出さ
   れた画像が同一の向きになるように配置されていること
   を特徴とする請求項３記載の車載カメラ。
5. 【請求項５】 前記第２の撮像素子は赤外領域に感度が
   高い特性のものを使用することを特徴とする請求項１、
   ３および４のいずれか１項に記載の車載カメラ。
6. 【請求項６】 請求項１ないし５のいずれか１項に記載
   の車載カメラと、 前記車載カメラの前記第１および第２の撮像素子からの
   出力信号に基づいて信号処理を行い、可視光画像と赤外
   線画像とをそれぞれ出力する第１の画像出力部および第
   ２の画像出力部と、 前記第１の画像出力部および第２の画像出力部から出力
   される画像情報を合成して出力する画像合成部と、を備
   えていることを特徴とする画像処理システム。
7. 【請求項７】 前記画像情報を合成して出力する際に、
   前記第１の画像出力部から出力される可視光画像と、前
   記第２の画像出力部から出力される赤外線画像が一致す
   るように前記両画像の位置を修正する誤差修正部を備え
   ていることを特徴とする請求項６記載の画像処理システ
   ム。
8. 【請求項８】 請求項１ないし５のいずれか１項に記載
   の車載カメラと、 前記車載カメラの前記第１および第２の撮像素子からの
   出力信号に基づいて信号処理を行い、可視光画像と赤外
   線画像とをそれぞれ出力する第１の画像出力部および第
   ２の画像出力部と、 前記第１の画像出力部および第２の画像出力部から出力
   される画像情報が一致するように出力画像のそれぞれの
   位置誤差を修正する位置誤差修正部と、 前記位置誤差修正部から出力された可視光画像と赤外線
   画像とを比較する画像比較処理部と、を備えていること
   を特徴とする画像処理システム。
9. 【請求項９】 前記画像比較処理部の比較結果に基づい
   て所定の検知処理を行う検知処理部をさらに備えている
   ことを特徴とする請求項８記載の画像処理システム。
10. 【請求項１０】 前記検知処理部は、前記比較結果か
    ら、先行車の検知、人間の検知および動物の検知の少な
    くとも１つの検知を行うことを特徴とする請求項９記載
    の画像処理システム。