JP2013198132A - 撮像装置及びこれを備える制御システム - Google Patents

撮像装置及びこれを備える制御システム Download PDF

Info

Publication number
JP2013198132A
JP2013198132A JP2012066446A JP2012066446A JP2013198132A JP 2013198132 A JP2013198132 A JP 2013198132A JP 2012066446 A JP2012066446 A JP 2012066446A JP 2012066446 A JP2012066446 A JP 2012066446A JP 2013198132 A JP2013198132 A JP 2013198132A
Authority
JP
Japan
Prior art keywords
imaging
visible light
far
image
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012066446A
Other languages
English (en)
Other versions
JP6254338B2 (ja
Inventor
Osamu Endo
修 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2012066446A priority Critical patent/JP6254338B2/ja
Priority to EP13157385.9A priority patent/EP2642750B1/en
Publication of JP2013198132A publication Critical patent/JP2013198132A/ja
Application granted granted Critical
Publication of JP6254338B2 publication Critical patent/JP6254338B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

【課題】可視光カメラと遠赤外線カメラを一体化して小型化し、かつ対象物を撮像して迅速に検出することを可能にした撮像装置、及びこの撮像装置を利用した制御システムを提供する。
【解決手段】可視光での撮像を行う可視光撮像手段(2a,5,6)と、遠赤外線での撮像を行う遠赤外線撮像手段(2b,4)とを備え、可視光撮像手段と遠赤外線撮像手段を1つの撮像筐体1内に一体に組み込むとともに、両撮像手段の撮像光軸Cxを一致させる。画像処理装置10では、各撮像手段で撮像して得られた両画像の中心Cxを一致させて画像信号を重畳させるだけで合成画像を得ることができ、対象物を迅速に検出することができる。
【選択図】 図2

Description

本発明は車両の周囲領域、特に前方領域を撮像して前方車両や歩行者等の対象物を検出するための撮像装置に関し、さらには当該撮像装置で撮像した画像に基づいて対象物に対する配光を制御し、あるいは運転者に報知する警報発生を制御する等の制御システムに適用して好適な制御システムに関するものである。
自車両の前方領域を撮像装置で撮像して当該前方領域に存在する先行車や対向車等の前方車両と歩行者の検出を行い、検出した前方車両や歩行者に対する眩惑を防止する一方で自車両の前方領域をより明るく照明するために自車両の前照灯の配光を制御する制御システム、いわゆるADB(Adaptive Driving Beam)制御と称するシステムが提案されている。このADB制御システムでは、通常では可視光カメラ等の撮像装置で撮像した画像を画像解析して前方車両を検出しているが、夜間のような可視像での視認が難しい状況では前方車両のヘッドランプやテールランプにより生じる画像中の光点像を検出する手法をとらざるを得ない。そのため、光点像として捉えることが難しい対象物、特に歩行者を検出することは難しい。歩行者を検出するために、特許文献1では可視光カメラと遠赤外線カメラでそれぞれ撮像した画像から歩行者を検出する技術が提案されている。遠赤外線カメラは歩行者の体熱で発生する赤外線を画像として撮像することができるので可視光カメラでは検出できない歩行者を撮像して検出することが可能であるからである。
特開2006−338594号公報
特許文献1の技術では遠赤外線画像によって歩行者等を検出することが可能であるので、この技術をADB制御システムに適用することで前方車両及び歩行者に対する適切な配光制御を行うことが可能になる。しかし、特許文献1では可視光カメラと遠赤外線カメラはそれぞれ独立したカメラとして構成されているので設備コストが高くなるという問題や、これらのカメラを自動車に装備するためのスペースを確保しなければならないという問題が生じる。また、特許文献1は可視光カメラと遠赤外線カメラで撮像したそれぞれの画像について画像解析して歩行者及びその座標位置を検出し、各画像から検出した歩行者の座標位置を相互に比較することで歩行者を正確に検出する技術であるため、検出を行う際の処理工程が複雑でかつ処理時間が長くなる。実際のADB制御システムでは、自車両に対する相対位置が刻々と変化する前方車両や歩行者の位置を正確かつ迅速に検出する必要があるため、特許文献1の技術をこのような高速性が要求されるADB制御システムに適用することは難しい。また、この処理時間が長くなるという問題は、特許文献1で提案されている歩行者認識装置においても、運転者が歩行者の挙動に対応した迅速かつ適切な対応を可能とする場合においても当然に問題になるものであり、この点で特許文献1の技術は改善すべき問題が潜在しているものと思われる。
本発明の目的は可視光カメラと遠赤外線カメラを一体化することで小型化を実現するとともに、前方車両や歩行者等の対象物を迅速に検出することを可能にした撮像装置、及びこの撮像装置を利用した制御システムを提供するものである。
本発明の撮像装置は、可視光での撮像を行う可視光撮像手段と、遠赤外線での撮像を行う遠赤外線撮像手段とを備えており、これら可視光撮像手段と遠赤外線撮像手段を1つの撮像筐体内に一体に組み込むとともに、両撮像手段の撮像光軸を一致させたことを特徴としている。
本発明の撮像装置の好ましい形態として、可視光撮像手段は可視光結像レンズと可視光撮像素子を有し、遠赤外線撮像手段は遠赤外線結像レンズと遠赤外線撮像素子を有し、可視光結像レンズと遠赤外線レンズを一体化するとともに、両レンズのレンズ光軸を撮像光軸に一致させた構成とする。さらには、可視光撮像素子と遠赤外線撮像素子はそれぞれ多数の受光素子をマトリクス配置した撮像面を有し、各撮像面の中心位置をそれぞれ撮像光軸に一致させるとともに、両撮像素子の受光素子は両撮像面の少なくとも一部において中心位置を基準にした座標位置がそれぞれ対向する位置関係にある構成とする。
さらに好ましい形態として、可視光撮像素子と遠赤外線撮像素子で撮像した撮像信号からそれぞれの画像を得るための画像処理部と、各画像処理部で得られた画像を合成して1つの合成画像を形成する画像合成部とを備える画像処理手段を含んでおり、画像合成部は両画像の中心位置を互いに一致させた合成処理を行う構成とする。
本発明の制御システムは、本発明の撮像装置を含むとともに、当該撮像装置から得られる画像を解析して対象物を検出する対象物検出部と、検出した対象物に基づいて所定の制御を行うための制御部とを備える制御手段を含んでおり、対象物検出部は画像処理手段から得られる合成画像を解析して対象物を検出し、制御部は当該合成画像の中心位置を基準とした対象物の座標位置に基づいて所定の制御を行う構成である。
本発明の制御システムの好ましい形態は、撮像装置は車両の前方領域を撮像するように構成され、制御手段は当該車両の前方領域を照明する車両用ランプの配光を制御する制御システムである。この場合、撮像装置は車両用ランプ内に組み込まれていることが好ましい。
本発明の撮像装置によれば、可視光撮像手段と遠赤外線撮像手段を一体化することによって撮像装置の小型化が実現できる。また、可視光撮像手段と遠赤外線撮像手段の撮像光軸を一致させているので、可視光で撮像した画像と遠赤外線で撮像した画像はそれぞれの中心位置が一致しているので、画像処理手段において両画像を合成する際には単純に両画像を重畳させるだけで、両画像で撮像された対象物の相対位置を正しい位置関係に保持したまま合成画像を得ることができる。したがって、撮像装置の小型化が実現できるとともに、画像処理手段における処理を簡略化して撮像した対象物を高速に検出することができる。
本発明の制御システムによれば、本発明の撮像装置を含むとともに、撮像装置から得られる合成画像を解析して対象物を検出し、検出した対象物に基づいて所定の制御、例えば配光制御を行うので、撮像装置において対象物の検出を迅速に行うことにより、対象物に対する適切な配光を迅速に制御することができ、対象物の状況変化に迅速に追従して交通安全性を確保した配光制御を行うことができる。
本発明の撮像装置の実施形態を示す一部を破断した概略斜視図。 撮像装置の断面構造とこれに接続した画像処理装置のブロック図。 画像合成を含む画像処理を説明する模式図。 配光制御システムを適用したヘッドランプの外観図。 ランプユニットの断面構造とこれに接続した制御装置のブロック図。 歩行者認識システムの模式構成図。
次に、本発明の実施の形態について図面を参照して説明する。図1は本発明の撮像装置の一部を破断した概略斜視図である。この撮像装置は可視光カメラと遠赤外線カメラを一体に構成した可視・赤外カメラCAMとして構成されている。図2に断面構造を併せて示すように、この可視・赤外カメラCAMは、円筒型をしたカメラ筐体1の前端部に円形の結像レンズ2が固着されている。この結像レンズ2は、レンズ中心のレンズ光軸を含む小円径領域が可視光レンズ2aとして構成され、この可視光レンズ2aの周囲領域の円環領域が遠赤外線レンズ2bとして構成されている。可視光レンズ2aは無色透明な樹脂で小径の片凸レンズとして形成され、遠赤外線レンズ2bはゲルマニウムあるいはカルコゲナイド等の遠赤外線に対して所要の屈折率を有する材料によって円環状の片凸レンズとして構成されている。例えば、遠赤外線レンズ2bの中心穴に可視光レンズ2aを内挿して両者を一体化することによって形成される。あるいは、大径に形成した遠赤外線レンズ2bの中心領域のみを透明処理し、この領域を可視光レンズ2aとして構成するようにしてもよい。これら可視光レンズ2aと遠赤外線レンズ2bの各レンズ光軸は可視・赤外カメラCAMのカメラ光軸Cxに一致されている。なお、両レンズ2a,2bの焦点距離を等しく設定しているが、各レンズ2a,2bにおける可視光と遠赤外線の屈折率の違いにより両レンズ2a,2bのレンズ面の曲率は相違している。
前記カメラ筐体1内の後端部にはL型ベース3によって遠赤外線撮像センサ4が支持されており、この遠赤外線撮像センサ4の撮像面は前記カメラ光軸Cxに垂直に向けられるとともに、その撮像面の中心がカメラ光軸Cxに位置決めされている。この遠赤外線撮像センサ4は前記遠赤外線レンズ2bと共に遠赤外線カメラ(遠赤外線撮像手段)を構成している。また、前記結像レンズ2の背後のカメラ光軸Cx上に小型の平面鏡からなるミラー5が下斜め45度の角度で配設され、図1,2には表れない支持部材によって前記カメラ筐体1或いは前記L型ベース3に支持されている。このミラー5の鉛直下方位置には前記L型ベース3によって可視光撮像センサ6が支持されており、この可視光撮像センサ6の撮像面はミラー5での反射により曲げられるカメラ光軸Cxに対して垂直に向けられるとともに、その撮像面の中心は当該曲げられたレンズ光軸に一致されている。この可視光撮像センサ6は前記ミラー5及び可視光レンズ2aと共に可視光カメラ(可視光撮像手段)を構成している。
ここで、前記遠赤外線撮像センサ4と前記可視光撮像センサ6は、詳細については図3を参照して後述するが、遠赤外線撮像センサ4は、遠赤外線を受光可能な多数個の受光素子をマトリクス配列したQVGAサイズの撮像センサとして構成されており、前記遠赤外線レンズ2bで結像された画像を撮像し、撮像した画像を遠赤外線画像信号として出力する。また、前記可視光撮像センサ6は、可視光を受光可能な多数個の受光素子をマトリクス配列したVGAサイズの撮像センサ、すなわち前記遠赤外線撮像センサ4のほぼ2×2=4倍の受光素子数、換言すれば4倍の画素数で構成された撮像面を有する撮像センサとして構成されており、前記可視光レンズ2aで結像された画像を撮像し、撮像した画像を可視光画像信号として出力する。
この可視・赤外カメラCAMによれば、可視光レンズ2aによって結像される可視光の対象物像はミラー5で反射された上で可視光撮像センサ6によって撮像される。また、遠赤外線レンズ2bによって結像される遠赤外線の対象物像は遠赤外線撮像センサ4によって撮像される。例えば、この可視・赤外カメラCAMを自動車の前部に搭載して当該自動車の図3(a)に示すような前方領域を撮像すると、可視光撮像センサ6で撮像される領域はA領域となり、遠赤外線レンズ2bで結像され、遠赤外線撮像センサ4で撮像される領域はB領域となる。すなわち、可視光レンズ2aと遠赤外線レンズ2bの焦点距離は等しく、可視光撮像センサ6の撮像面のサイズは遠赤外線撮像センサ4の4倍であるので、可視光撮像センサ6の撮影領域Aは遠赤外線撮像センサ4の撮像領域Bの4倍(縦×横:2×2=4)の撮像領域(撮像面積)となる。
前記したように可視光撮像センサ6の受光素子配列は遠赤外線撮像センサ4の受光素子配列の2×2=4倍の数の配列であるので、この例では図3(b)に示すように、可視光撮像センサ6で撮像した画像AIは12×16の画素数の画像として撮像され(図3(b1))、遠赤外線撮像センサ4で撮像した画像BIは6×8の画素数の画像として撮像される(図3(b2))。なお、このとき可視光撮像センサ6では可視画像である自動車CAR1,CAR2が撮像されるが、建物BULの影にいる歩行者MAMは撮像されない。一方、遠赤外線センサ4では撮影領域内の対向車CAR1のヘッドランプにより発生する遠赤外線と、歩行者MANの体熱により発生する遠赤外線が画像として撮像される。
またこの可視・赤外カメラCAMは、図2にブロック図を示すように、前記遠赤外線撮像センサ4と前記可視光撮像センサ6にそれぞれ接続された画像処理装置10を含んでいる。この画像処理装置10は、各撮像センサ4,6で撮像した撮像信号を信号処理して画像を得る画像処理部11,12と、各画像処理部11,12で得られた画像を合成して出力する画像合成部13を備えている。前記画像処理部11,12は各撮像センサ4,6から出力されてくる撮像信号を受光素子のマトリクス配列に対応したレベル信号を生成することにより例えば2値化した信号の画像信号を得るものであるが、従来から提供されているこの種の撮像装置に既に設けられているものが利用できる。
画像合成部13は両画像処理部11,12で得られた画像を合成して1つの画像にするものであり、ここでは図3(b)に示した2つの画像AIとBIを合成して図3(c)の合成画像Cを得ている。この合成処理においては、両画像処理部11,12で得られた画像AI,BIを、それぞれの中心位置、すなわちそれぞれのカメラ光軸Cxを単に一致させた上で両画像AI,BIを重畳させる処理を行うのみでよい。すなわち、可視光による画像AIはVGAサイズであり、遠赤外線による画像BIのQVGAサイズの4倍であり、かつ両画像AI,BIの中心位置は共にカメラ光軸Cxに一致されているので、遠赤外線の画像BIを構成している多数の画素は、可視光の画像AIの対応する画像領域の多数の画素に対して1:1で対応することになる。したがって、両画像AI,BIの合成に際しては単純に両画像AI,BIの画像信号を中心点Cxを基準にして座標軸上で重畳する処理を行うだけでよく、合成処理部13を簡易に構成できるとともに、合成のための処理工数も極めて少なくて済む。
このように、本発明にかかる可視・赤外カメラCAMは、可視光カメラと遠赤外線カメラの各カメラ光軸を一致させて一体化するとともに、各カメラの撮像センサ4,6を各カメラの撮像領域の面積比に対応した画素数比に設定しているので、画像処理装置において両カメラで撮像した画像を合成した画像を得る際には、両画像の各中心位置を一致させた上で両画像の画像信号を重畳する処理を行うだけでよく、得られた合成画像Cの画素の座標がそのまま対象物の座標位置として検出できる。そのため、特許文献1のように、各カメラの画像についてそれぞれ対象物の座標を検出する処理を行い、その上で検出した対象物の座標を重畳するという2段階の処理が不要となり、2つのカメラのそれぞれに座標を検出するための手段を備える必要がなくなってカメラの構成が簡略化できるとともに、撮像した対象物の検出を迅速に行うことができる。したがって、迅速性が要求されるシステムへの適用が可能になる。
図4は本発明の撮像装置、すなわち可視・赤外カメラCAMを用いて本発明を自動車のヘッドランプのADB制御システムに適用した実施形態の概略図である。図示は省略するが左右のヘッドランプは対称の構成であり、図4には右ヘッドランプHLのみを示している。この右ヘッドランプHLは、ランプハウジング内にロービームランプユニットLoLと、ハイビームランプユニットHiLが配設されるとともに、両ランプ間に本発明の可視・赤外カメラCAMが配設され、当該自動車の前方領域を撮像するようになっている。ハイビームランプユニットHiLは通常のハイビーム配光での光照射を行う構成のものが用いられているのでここでは詳細な説明は省略する。
ロービームランプユニットLoLは可変配光型のランプユニットとして構成されている。この種のランプユニットも既に提案されているものを利用することが可能であるが簡単に説明する。すなわち、図5に概略断面図を示すように、ユニットベース34上に支持された回転楕円面形状をしたリフレクタ32と、このリフレクタ32の第1焦点位置においてユニットベース34上に搭載されたLED(発光ダイオード)等からなる光源31と、前記リフレクタ32の第2焦点位置に後側焦点を配置して前記ユニットベース34の前端部に支持された照射レンズ33と、光源31から出射して前記リフレクタ32で反射した光の一部を遮光してADB制御を実行することが可能な可変シェード35が配設されている。
前記可変シェード35は回転位置に応じて遮光する光の領域が変化する回転型シェードとして構成されている。すなわち、可変シェードは回転軸351の円周複数箇所に異なる形状をした複数のシェード板552が放射状に配設された構成であり、シェードアクチュエータ36によって可変シェード35の回転位置が変化制御されるようになっている。この回転位置の変化によって前記複数のシェード板352のいずれかがランプユニットの光路内に移動位置され、可変シェード35による遮光領域が変化されて照射レンズ33を透して照射される光の配光パターンが変化され、ADB制御を行うようになっている。
前記ロービームランプユニットLoLには、配光制御装置20が接続されている。この配光制御装置20は、画像解析部21、配光制御部22、光量制御部23を備えている。画像解析部21は、前記可視・赤外カメラCAMの画像処理装置10で得られた合成画像Cを入力し、当該合成画像Cを画像解析して歩行者や対向車等の対象物を検出する。このとき、対象物の種類の検出には所定のアルゴリズムが必要とされるが、対象物の位置については合成画像Cの画素の座標がそのまま対象物の座標位置として検出できるので、当該座標位置を自車の前方領域の座標に対比させるだけで容易に検出することができる。したがって、この画像解析部21の構成を簡略化し、かつ解析を迅速に行うことが可能になる。
配光制御部22は、画像解析部21で解析された対象物の種類や位置等の情報に基づいて配光パターンを制御する。この配光パターンの制御では前記したシェードアクチュエータ36を制御して可変シェード35のシェード板352を選択制御することで適切な配光が得られる。例えば、図3の例では、図示は省略するが、対向車CAR1,CAR2に対する領域は遮光する一方で歩行者MANの存在する領域には広い領域を光照射するように配光パターンを設定する。これにより、対向車CAR1,CAR2に対する眩惑を防止し、建物BULの陰から表れることが予測される歩行者MANを運転者が視認し易い配光とする。
光量制御部23は、同様に画像解析部21で解析された対象物の種類や位置等の情報に基づいて光源31の発光光量を制御する。この光量制御は配光制御部22での配光制御と相関して制御を行うようにすることが好ましく、例えば、図3の例では、歩行者MANと遭遇することが想定される領域に光照射する場合に、歩行者MANを眩惑しないようにその際のLEDの光量を低下させる制御を行うようにする。あるいは、対向車CAR1,CAR2に対する光照射を遮光する代わりに当該光照射の光量を低減して眩惑を緩和するようにしてもよい。
このADB制御システムに本発明の撮像装置、すなわち実施形態の可視・赤外カメラCAMを適用すると、当該可視・赤外カメラCAMでは撮像した自車両の前方領域に存在する車両や歩行者等の対象物を迅速に検出することができるので、これらの対象物に対する自車両のヘッドランプHLの配光を迅速かつ適切に制御することができ、運転者における視認性の高い、したがって安全走行に有効なADB制御システムが実現できる。
また、この実施形態のADB制御システムでは、可視・赤外カメラCAMを同じヘッドランプHL内のロービームランプユニットLoLの隣に配設しているので、可視・赤外カメラのカメラ軸CxはロービームランプユニットLoLのランプ光軸Lxとほぼ同じ位置にあると言えることになり、ランプ光軸Lxとカメラ光軸Cxとの視差、すなわち対象物に対してなす角度が殆ど同じであると考えてもよい。そのため、可視・赤外カメラCAMで撮像して得られた合成画像Cで検出される対象物の角度位置をそのままロービームランプユニットLoLのランプ光軸Lxを中心にした配光パターンでの配光制御に利用することができ、ADB配光制御を容易に行うことが可能になるという利点もある。さらには、当該カメラCAMを利用したADB制御システムを構築する場合には、自動車にヘッドランプHLを装備すればこれと同時に可視・赤外カメラCAMが自動的に配備されることになるので、カメラを自動車の車体に配備する個別の作業を行う必要はなく、ADB制御システムを容易に構築することができる。
前記した実施形態では本発明の撮像装置をADB制御システムのための撮像装置に適用したが、運転者が肉眼で視認できない前方車両や歩行者を検出したときに、運転者が当該前方車両や歩行者を肉眼で視認させ易くするための対象物認識制御システムのための撮像装置として適用してもよい。図6はその一例の概略図であり、自動車のルームミラーRMの一部に本発明の可視・赤外カメラCAMを一体に設けており、フロントウインドFWを通して自車両の前方領域を撮像するようにしている。また、可視・赤外カメラCAMで撮像して得られた画像、ここでは図示していないが前記画像処理装置10で得られた図3(c)に示したような合成画像Cを車室のダッシュボードに設けたディスプレイDSP、例えばナビゲーション装置のディスプレイDSPに画像表示させるように構成する。
このように構成することで、特に夜間の市街地を外れた地域の走行時にヘッドランプの照明光では認識することが難しいような歩行者を遠赤外線で撮像した上でディスプレイDSPに表示させ、運転者に認識させることが可能になる。このとき、画像表示と同時に運転者に警報を報知させるように構成することも可能である。なお、このような対象物認識制御システムを構築する場合でも可視・赤外カメラCAMをヘッドランプHLに内装させることが可能であることは言うまでもない。
本発明の撮像装置としての可視・赤外カメラは、一体化した可視光カメラと遠赤外線カメラのカメラ軸が一致しており、さらに好ましくは撮像した画像の画素が両画像において1:1で対応した画素配列の画像として構成されるのであれば、カメラの具体的な構成は実施形態の構成に限られるものではない。例えば可視光カメラと遠赤外線カメラの構成を置き換えるように構成してもよい。あるいは、ミラーの数を相違させて撮像センサの配設位置を異なる形態で配置させる構成としてもよい。また、以上述べた遠赤外線は波長領域がさらに短い赤外線の波長領域を含むものであってもよいことは言うまでもない。
本発明の撮像装置を適用するADB制御システム、換言すれば配光制御システムに用いるランプは実施形態のヘッドランプに限られるものではなく、撮像装置から得られる車両周囲に存在する対象物の情報に基づいてランプの配光を制御するシステムであれば、さらには撮像装置をランプと一体に搭載することで配光制御を行うためのシステムの構築に有利となるものであれば、テールランプ等の標識ランプやその他の補助ランプに可視・赤外カメラを搭載するものであってもよい。
本発明は車両の周囲を遠赤外線と可視光を利用して撮像する撮像装置に採用することができ、かつ当該撮像装置を適用して種々の制御を行う制御システムに採用することができる。
1 カメラ筐体
2 結像レンズ
2a 可視光レンズ
2b 遠赤外線レンズ
4 遠赤外線撮像センサ
5 ミラー
6 可視光撮像センサ
10 画像処理装置
11,12 画像処理部
13 画像合成部
20 ADB制御装置
21 画像解析部
22 配光制御部
23 光量制御部
31 光源(LED)
32 リフレクタ
33 照射レンズ
35 可変シェード
36 シェードアクチュエータ
CAM 可視・赤外カメラ(撮像装置)

Claims (7)

  1. 可視光での撮像を行う可視光撮像手段と、遠赤外線での撮像を行う遠赤外線撮像手段とを備え、これら可視光撮像手段と遠赤外線撮像手段を1つの撮像筐体内に一体に組み込むとともに、両撮像手段の撮像光軸を一致させたことを特徴とする撮像装置。
  2. 前記可視光撮像手段は可視光結像レンズと可視光撮像素子を有し、前記遠赤外線撮像手段は遠赤外線結像レンズと遠赤外線撮像素子を有し、前記可視光結像レンズと遠赤外線レンズを一体化するとともに、両レンズのレンズ光軸を前記撮像光軸に一致させたことを特徴とする請求項1に記載の撮像装置。
  3. 前記可視光撮像素子と前記遠赤外線撮像素子はそれぞれ多数の受光素子をマトリクス配置した撮像面を有し、各撮像面の中心位置をそれぞれ前記撮像光軸に一致させるとともに、両撮像素子の受光素子は両撮像面の少なくとも一部において前記中心位置を基準にした座標位置がそれぞれ対向する位置関係にあることを特徴とする請求項2に記載の撮像装置。
  4. 可視光撮像素子と遠赤外線撮像素子で撮像した撮像信号からそれぞれの画像を得るための画像処理部と、各画像処理部で得られた画像を合成して1つの合成画像を形成する画像合成部とを備える画像処理手段を含んでおり、前記画像合成部は両画像の中心位置を互いに一致させた合成処理を行う構成であることを特徴とする請求項1〜3のいずれかに記載の撮像装置。
  5. 請求項4に記載の撮像装置を含むとともに、当該撮像装置から得られる画像を解析して対象物を検出する対象物検出部と、検出した対象物に基づいて所定の制御を行うための制御部とを備える制御手段を含む制御システスであって、前記対象物検出部は前記画像処理手段で得られる合成画像を解析して対象物を検出し、前記制御部は当該合成画像の中心位置を基準とした対象物の座標位置に基づいて前記所定の制御を行う構成であることを特徴とする制御システム。
  6. 前記撮像装置は車両の前方領域を撮像するように構成され、前記制御手段は当該車両の前方領域を照明する車両用ランプの配光を制御する制御システムであることを特徴とする請求項5に記載の制御システム。
  7. 前記撮像装置は前記車両用ランプ内に組み込まれていることを特徴とする請求項6に記載の制御システム。


JP2012066446A 2012-03-23 2012-03-23 撮像装置及びこれを備える制御システム Active JP6254338B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012066446A JP6254338B2 (ja) 2012-03-23 2012-03-23 撮像装置及びこれを備える制御システム
EP13157385.9A EP2642750B1 (en) 2012-03-23 2013-03-01 Imaging device and control system having the device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012066446A JP6254338B2 (ja) 2012-03-23 2012-03-23 撮像装置及びこれを備える制御システム

Publications (2)

Publication Number Publication Date
JP2013198132A true JP2013198132A (ja) 2013-09-30
JP6254338B2 JP6254338B2 (ja) 2017-12-27

Family

ID=47915435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012066446A Active JP6254338B2 (ja) 2012-03-23 2012-03-23 撮像装置及びこれを備える制御システム

Country Status (2)

Country Link
EP (1) EP2642750B1 (ja)
JP (1) JP6254338B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018127286A (ja) * 2017-02-06 2018-08-16 株式会社鈴宏商店 衝突防止装置
JP2019214348A (ja) * 2018-06-14 2019-12-19 クラリオン株式会社 物体認識装置
WO2021049462A1 (ja) * 2019-09-11 2021-03-18 株式会社小糸製作所 車両用灯具システムおよび車両用灯具

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10179544B2 (en) 2014-05-29 2019-01-15 Koito Manufacturing Co., Ltd. Vehicle exterior observation device and imaging device
CN113390060A (zh) * 2021-05-21 2021-09-14 广东烨嘉光电科技股份有限公司 一种集成摄像头的车灯光学系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03273953A (ja) * 1990-03-23 1991-12-05 Aisin Seiki Co Ltd 車載撮像装置
JP2004094050A (ja) * 2002-09-02 2004-03-25 Usk:Kk 光学部を兼用化した監視カメラ装置
JP2005229317A (ja) * 2004-02-12 2005-08-25 Sumitomo Electric Ind Ltd 画像表示システム及び撮像装置
JP2007071546A (ja) * 2005-09-02 2007-03-22 Horiba Ltd 熱画像処理装置
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
JP2011232606A (ja) * 2010-04-28 2011-11-17 Univ Of Tokyo 光学素子及び撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5885676A (ja) * 1981-11-17 1983-05-23 Matsushita Electric Ind Co Ltd 可視像・赤外線像撮像装置
JP4556533B2 (ja) * 2004-08-02 2010-10-06 日産自動車株式会社 車両用歩行者報知装置及び歩行者報知方法
JP4872245B2 (ja) * 2005-06-06 2012-02-08 トヨタ自動車株式会社 歩行者認識装置
US20070228259A1 (en) * 2005-10-20 2007-10-04 Hohenberger Roger T System and method for fusing an image
KR20110037448A (ko) * 2009-10-07 2011-04-13 (주)토핀스 열화상카메라용 일축형 렌즈모듈

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03273953A (ja) * 1990-03-23 1991-12-05 Aisin Seiki Co Ltd 車載撮像装置
JP2004094050A (ja) * 2002-09-02 2004-03-25 Usk:Kk 光学部を兼用化した監視カメラ装置
JP2005229317A (ja) * 2004-02-12 2005-08-25 Sumitomo Electric Ind Ltd 画像表示システム及び撮像装置
JP2007071546A (ja) * 2005-09-02 2007-03-22 Horiba Ltd 熱画像処理装置
JP2010272067A (ja) * 2009-05-25 2010-12-02 Hitachi Automotive Systems Ltd 画像処理装置
JP2011232606A (ja) * 2010-04-28 2011-11-17 Univ Of Tokyo 光学素子及び撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018127286A (ja) * 2017-02-06 2018-08-16 株式会社鈴宏商店 衝突防止装置
JP2019214348A (ja) * 2018-06-14 2019-12-19 クラリオン株式会社 物体認識装置
JP7244221B2 (ja) 2018-06-14 2023-03-22 フォルシアクラリオン・エレクトロニクス株式会社 物体認識装置
WO2021049462A1 (ja) * 2019-09-11 2021-03-18 株式会社小糸製作所 車両用灯具システムおよび車両用灯具

Also Published As

Publication number Publication date
JP6254338B2 (ja) 2017-12-27
EP2642750B1 (en) 2017-07-05
EP2642750A2 (en) 2013-09-25
EP2642750A3 (en) 2013-10-16

Similar Documents

Publication Publication Date Title
US8830324B2 (en) Vehicle monitoring camera and vehicle monitoring camera system
WO2018003532A1 (ja) 物体検出表示装置、移動体及び物体検出表示方法
WO2017110415A1 (ja) 車両用センサおよびそれを備えた車両
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
US7188014B1 (en) Assistant monitor apparatus and the method of controlling the same
JP6254338B2 (ja) 撮像装置及びこれを備える制御システム
JP7335721B2 (ja) 車両用灯具
JP2009516278A (ja) 光学式レインセンサが組み込まれているヘッドライトモジュール
JP2014523359A (ja) 自動車用カメラ・システム
US20200348127A1 (en) 3-d environment sensing by means of projector and camera modules
US20180340664A1 (en) Intelligent automotive headlamp module with combined functions
JP4927647B2 (ja) 車両周辺監視装置
US20170267162A1 (en) Smart light assembly and smart lighting system for a motor vehicle
US20240118597A1 (en) Micro-lens array projection device, lighting device and vehicle
JP2014216087A (ja) 灯具
EP2698743B1 (en) Driver assisting system and method for a motor vehicle
KR102702743B1 (ko) 자동차의 주변환경 모니터링 시스템
WO2020189289A1 (ja) 車両用灯具および車両用灯具システム
CN109677326B (zh) 一种无人驾驶智能汽车
US20190306396A1 (en) Communication Device of a Motor Vehicle, a Motor Vehicle Lighting Device for the Communication Device of a Motor Vehicle and a Car2Car or Car2X Communication Method for a Motor Vehicle
WO2022075065A1 (ja) 半導体装置、光学構造物
CN107131463A (zh) 一种具有不同成像能力的投影透镜组
EP3346693B1 (en) An imaging device for a motor vehicle, and a method of mounting an imaging device in a motor vehicle
CN113811715A (zh) 车辆用灯具
JP2018095094A (ja) 車両用照明装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161028

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171130

R150 Certificate of patent or registration of utility model

Ref document number: 6254338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150