JP2007189432A - 車両用撮像装置 - Google Patents

車両用撮像装置 Download PDF

Info

Publication number
JP2007189432A
JP2007189432A JP2006005056A JP2006005056A JP2007189432A JP 2007189432 A JP2007189432 A JP 2007189432A JP 2006005056 A JP2006005056 A JP 2006005056A JP 2006005056 A JP2006005056 A JP 2006005056A JP 2007189432 A JP2007189432 A JP 2007189432A
Authority
JP
Japan
Prior art keywords
noise
far
vehicle
infrared image
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006005056A
Other languages
English (en)
Inventor
Yohei Aragaki
洋平 新垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2006005056A priority Critical patent/JP2007189432A/ja
Publication of JP2007189432A publication Critical patent/JP2007189432A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ノイズ除去された遠赤外線画像を安定的に出力する。
【解決手段】特徴点抽出部5が、撮像部2によって撮像された熱画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を特徴点Aとして抽出し、ヒストグラム算出部6は、抽出された特徴点Aの輝度値の分布状態を示す輝度ヒストグラムを算出し、ノイズ判定部7が、算出された輝度ヒストグラムに基づいて熱画像中におけるノイズの出現状態を判定し、ノイズ低減部8が、ノイズ判定部7の判定結果に従って熱画像中のノイズを除去する。これにより、ノイズ除去を長時間行えないようなことがなくなるので、ノイズ除去された遠赤外線画像を安定的に出力することができる。
【選択図】図1

Description

本発明は、自車両周辺の遠赤外線光を集光することにより自車両周辺の遠赤外線画像を撮像する車両用撮像装置に関する。
一般に、遠赤外線画像撮像装置により撮像された遠赤外線画像の中には撮像素子や回路の特性ばらつき等の要因によって装置固有の固定パターンノイズ(Fixed Pattern Noise:FPN)が含まれるために、均一な温度面を撮像した場合であっても遠赤外線画像の温度分布は均一でなくなる。このような背景から、従来の遠赤外線画像撮像装置では、レンズと撮像素子の間に均一な温度分布を有するシャッターを設け、所定のタイミングでシャッターを作動させ、シャッターを撮像することにより得られた遠赤外線画像の温度分布に基づいてFPNを補正するようにしている。
しかしながら、シャッターを作動させることによりFPNを補正する場合、レンズから撮像素子に入射する遠赤外線光がシャッターによって遮られるために、遠赤外線画像の連続性が失われ、遠赤外線画像撮像装置を車両用撮像装置として利用する場合には、車両走行中に必要な情報を運転者が取得できなくなる可能性がある。このような背景から、車両の停車時又は低速走行時にシャッターを作動させてFPNを補正することにより、遠赤外線画像の連続性が失われることを防ぐ技術が提案されている(特許文献1を参照)。
特開2001−153723号公報
しかしながら、車両の停車時又は低速走行時にFPNを補正するようにした場合には、車両が長時間一定速度で走行している時にはFPNを補正することができなくなる。一般に、撮像素子や回路の特性は時間経過に伴って変化するために、一度FPNを補正した場合であってもFPNは再び発生する。従って、上記のようにFPNを長時間補正できない場合、正確な遠赤外線画像を安定的に出力することができなくなる。また、FPNを長時間補正できない場合には、遠赤外線画像の質が補正前後で大きく変化することになるために、出力画像を利用して物体の認識処理を行う場合には、時系列での認識結果の出力が不安定になってしまう。
本発明は、上記課題を解決するためになされたものであり、その目的は、ノイズ除去された遠赤外線画像を安定的に出力することが可能な車両用撮像装置を提供することにある。
上述の課題を解決するために、本発明に係る車両用撮像装置は、自車両周辺の遠赤外線画像を構成する各画素の輝度値を参照して遠赤外線画像の特徴点を抽出し、抽出された特徴点の輝度値の分布状態を示す輝度ヒストグラムを算出し、算出された輝度ヒストグラムに基づいて遠赤外線画像中におけるノイズの出現状態を判定し、判定結果に従って遠赤外線画像中のノイズを除去する。
本発明に係る車両用撮像装置によれば、遠赤外線画像の特徴点に対応する画素が有する輝度の分布状態を参照してノイズの出現状態を判定する構成になっているので、ノイズ除去された遠赤外線画像を安定的に出力することができる。
以下、図面を参照して、本発明の実施形態となる車両用撮像装置の構成と動作について説明する。
〔車両用撮像装置の構成〕
始めに、図1,図2を参照して、本発明の実施形態となる車両用撮像装置1の構成について説明する。
本発明の実施形態となる車両用撮像装置1は、車両に搭載され、図1に示すように、遠赤外線カメラ(IRカメラ)等の撮像装置により構成される撮像部2と、RAM(Random Access Memory)等の公知の記憶装置により構成される記憶部3と、マイクロコンピュータ等の公知の情報処理装置により構成される演算部4とを主な構成要素として備える。
上記撮像部2は、図2(a),(b)に示すように車両11前方のグリル部等の位置に設置され、車両11周囲の遠赤外線画像(以下、熱画像と表記)を撮像する。なお、撮像部2の設置位置は、図2(a),(b)に示す位置に限定されることはなく、熱画像の撮像方向に応じて適宜変更することができる。上記記憶部3は、撮像部2により撮像された熱画像のデータや、後述するノイズ低減処理によって抽出される、特徴点,輝度ヒストグラム,ノイズ判定結果,及びノイズ低減処理結果のデータ等を一時的に記憶する。
上記演算部4は、内部CPUが制御プログラムを実行することにより、特徴点抽出部5,ヒストグラム算出部6,ノイズ判定部7,及びノイズ低減部8の機能を実現する。なお、特徴点抽出部5,ヒストグラム算出部6,ノイズ判定部7,及びノイズ低減部8の機能の詳細については後述する。また、演算部4は、ノイズ低減処理後に得られた熱画像のデータを用いて車両11周辺の障害物の認識処理や熱画像データの出力処理等の各種処理を実行する。
〔ノイズ低減処理〕
上記のような構成を有する車両用撮像装置1は、以下に示すノイズ低減処理を実行することにより、熱画像中のノイズを除去する。以下、本発明の第1乃至第3の実施形態となるノイズ低減処理を実行する際の車両用撮像装置1の動作について説明する。
始めに、図3に示すフローチャートを参照して、本発明の第1の実施形態となるノイズ低減処理を実行する際の車両用撮像装置1の動作について説明する。
図3に示すフローチャートは、車両用撮像装置1の電源がオン状態になるのに応じて開始となり、ノイズ低減処理はステップS1の処理に進む。なお、このノイズ低減処理は所定タイミング毎に繰り返し実行されるものとする。
ステップS1の処理では、撮像部2が、図4に示すような車両周囲の熱画像12を撮像し、撮像された熱画像12のデータを記憶部3に記憶する。これにより、ステップS1の処理は完了し、ノイズ低減処理はステップS2の処理に進む。
ステップS2の処理では、特徴点抽出部5が、記憶部3から熱画像12のデータを読み出し、コーナーフィルタやコーナーディテクタを用いて図5(a),(b)に示すように熱画像12を構成する画素の中から周辺画素との輝度差が第1の所定値以上の画素を特徴点Aとして抽出する。この結果、図4に示す熱画像12のデータからは図6に示すような特徴点Aのデータが抽出され、特徴点抽出部5は抽出さた特徴点Aのデータ(位置情報,輝度値等)を記憶部3に記憶する。ここで、図5(a)に示す例では、注目画素Bの輝度が周辺画素Cの輝度より低いので(図5中では色味が薄い程、輝度値が高いとする)、特徴点抽出部5は注目画素Bを特徴点Aとして抽出している。また、図5(b)に示す例では、注目画素Bの輝度が周辺画素Cの輝度よりも高いので、特徴点抽出部5は注目画素Bを特徴点Aとして抽出している。
なお、このような特徴点Aの抽出方法によれば、温度分布が一様な領域を撮像することにより得られた熱画像からは特徴点Aは多く抽出されず、温度分布が大きい領域を撮像することにより得られた熱画像から特徴点Aが多く抽出される。また、表面形状が撮像面に対し一様(平坦)でない被写体であっても、被写体表面からの遠赤外線の放射方向は撮像面に対し一様ではないので、熱画像上での輝度変化が大きくなり、特徴点Aが抽出されやすい。また、画素の抽出方法の詳細については、例えば"Good Features to Track", IEEE Conference On Computer Vision and Pattern Recognition (CVPR'94) pp.593-600を参照されたい。これにより、ステップS2の処理は完了し、ノイズ低減処理はステップS3の処理に進む。
ステップS3の処理では、ヒストグラム算出部6が、ステップS2の処理により抽出された各特徴点Aの輝度値を記憶部3から読み出し、図7に示すような特徴点Aの輝度値の分布状態を輝度ヒストグラムとして作成する。そして、ヒストグラム算出部6は作成した輝度ヒストグラムのデータを記憶部3に記憶する。これにより、ステップ3の処理は完了し、ノイズ低減処理はステップS4の処理に進む。
ステップS4の処理では、ノイズ判定部7が、前回のノイズ低減処理により作成された輝度ヒストグラムと今回のノイズ低減処理により作成された輝度ヒストグラムのデータを読み出し、前回のノイズ低減処理により作成された輝度ヒストグラムと今回のノイズ低減処理により作成された輝度ヒストグラムとを比較することにより熱画像中にノイズが出現しているか否かを判定する。具体的には、一般に、ノイズが出現している場合、特徴点Aの数は増加する傾向にあるので、ノイズ判定部7は、前回のノイズ低減処理により作成された輝度ヒストグラムと今回のノイズ低減処理により作成された輝度ヒストグラムそれぞれについて総面積と最大頻度値を算出し、今回のノイズ低減処理により作成された輝度ヒストグラムの総面積と最大頻度値が前回のノイズ低減処理により作成された輝度ヒストグラムのそれよりも大きい場合、熱画像中にノイズが出現していると判定する。これにより、ステップS4の処理は完了し、ノイズ低減処理はステップS5の処理に進む。
ステップS5の処理では、ステップS4の処理により熱画像中にノイズが出現していると判定された場合、ノイズ低減部8が、周辺画素との輝度差が第2所定値(>第1所定値)以下である特徴点Aを抽出し、抽出された特徴点Aをノイズとして熱画像のデータから除去する。具体的には、図8(a)に示す特徴点Aは、図8(b)や図8(c)に示す特徴点Aと比較すると、周辺画素Cとの相対的な輝度差が大きい特徴点となっているので(図8中では色味が薄い程、画素輝度値が高いとする)、ノイズ低減部8は図8(b)及び図8(c)に示す特徴点Aの双方又は図8(c)に示す特徴点Aをノイズとして除去する。なお、図8(b)に示す特徴点Aと図8(c)に示す特徴点Aとを比較すると、図8(b)に示す特徴点Aの方が図8(c)に示す特徴点Aよりも周辺画素Cとの相対的な輝度差が大きい特徴点となっている。そして、演算部4はノイズを除去した後の熱画像のデータを用いて車両11周辺の障害物の認識処理や熱画像データの出力処理等の各種処理を実行する。これにより、ステップS5の処理は完了し、一連のノイズ低減処理は終了する。
以上の説明から明らかなように、本発明の第1の実施形態となるノイズ低減処理によれば、特徴点抽出部5が、撮像部2によって撮像された熱画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を特徴点Aとして抽出し、ヒストグラム算出部6は、抽出された特徴点Aの輝度値の分布状態を示す輝度ヒストグラムを算出し、ノイズ判定部7が、算出された輝度ヒストグラムに基づいて熱画像中におけるノイズの出現状態を判定し、ノイズ低減部8が、ノイズ判定部7の判定結果に従って熱画像中のノイズを除去するので、従来技術のようにノイズ除去を長時間行えないようなことがなく、ノイズ除去された遠赤外線画像を安定的に出力することができる。
また、本発明の第1の実施形態となるノイズ低減処理によれば、熱画像を利用した障害物認識処理に利用する特徴量に絞ってノイズの出現状況を検討するので、熱画像中にノイズが発生していないように見える場合であっても、障害物認識処理にとってはノイズが出現している状態を検出し、障害物認識処理に特化した画像処理や信号補正を実施することができる。
また、本発明の第1の実施形態となるノイズ低減処理によれば、画像のコーナー部分に相当する特徴点のみを利用してノイズ判定を行っているので、ノイズ判定のための演算コストを低減することができる。また、特徴点は周囲温度の変動に対してロバストに抽出することができるので、処理の安定化を図ることができる。
次に、図9に示すフローチャートを参照して、本発明の第2の実施形態となるノイズ低減処理を実行する際の車両用撮像装置1の動作について説明する。
図9に示すフローチャートは、車両用撮像装置1の電源がオン状態になるのに応じて開始となり、ノイズ低減処理はステップS11の処理に進む。なお、このノイズ低減処理は所定タイミング毎に繰り返し実行されるものとする。また、図9に示すステップS11〜ステップS13の処理及びステップS16の処理は、図3に示すステップS1〜3の処理及びステップS5の処理と同じであるので、以下ではその説明を省略し、ステップS14,S15の処理についてのみ説明する。
ステップS14の処理では、ヒストグラム算出部6が、ステップS13の処理により作成された輝度ヒストグラムを参照して最も大きい頻度値を算出し、算出された頻度値を記憶部3に記憶する。これにより、ステップS14の処理は完了し、ノイズ低減処理はステップS15の処理に進む。
ステップS15の処理では、ノイズ判定部7が、前回のノイズ低減処理において算出された頻度値と今回のノイズ低減処理において算出された頻度値を比較することにより熱画像中にノイズが出現しているか否かを判定する。具体的には、特徴点Aがノイズとして出現している場合、特徴点Aの出現数は増加する傾向になる。またこの場合、特徴点Aの出現場所は、本来特徴点Aが出現しにくい路面領域や建造物の壁部分等、熱画像上では輝度変化が少ない比較的一様な温度分布を有する領域が多くなる。このため、このような領域に特徴点Aが出現した場合には、この領域に対応する輝度値の頻度値が大きく増加する。従って、ノイズ判定部7は、今回のノイズ低減処理において算出された頻度値が前回のノイズ低減処理において算出された頻度値より大きく増加又は所定値以上になった場合、同じ輝度値(温度)を有する領域にノイズとしての特徴点Aが多く出現していると判定する。これにより、ステップS15の処理は完了し、ノイズ低減処理はステップS16の処理に進む。
以上の説明から明らかなように、本発明の第2の実施形態となるノイズ低減処理によれば、ノイズ判定部7は、輝度ヒストグラムを参照して最も大きい頻度値を抽出し、抽出された頻度値が所定値以上である場合、熱画像中にノイズが発生していると判定する。そして、このような構成によれば、簡単な方法によりノイズの発生状況を判定することができるので、ノイズ低減処理に要する演算コストを削減することができる。
なお、本実施形態では、頻度値が増加又は所定値以上になった場合においてノイズが発生していると判定し、ノイズを除去することとしたが、例えば、輝度ヒストグラムを作成する際、ヒストグラム算出部6が、輝度が大きい順に特徴点Aを輝度ヒストグラムに投票していき、頻度値が所定値以上の特徴点Aが出現した時点で、ノイズ判定部7は、特定の輝度範囲でノイズとしての特徴点Aが頻出している状態と判定し、ノイズ低減部8は、輝度ヒストグラムに投票していない特徴点Aをノイズとして除去するようにしてもよい。このような処理によれば、全ての特徴点Aの情報を利用することなくノイズの出現状態を判定することができると共に、ノイズ判定とノイズ除去を同時に行うことができるので、計算コストを低減することができる。
最後に、図10に示すフローチャートを参照して、本発明の第3の実施形態となるノイズ低減処理を実行する際の車両用撮像装置1の動作について説明する。
図10に示すフローチャートは、車両用撮像装置1の電源がオン状態になるのに応じて開始となり、ノイズ低減処理はステップS11の処理に進む。なお、このノイズ低減処理は所定タイミング毎に繰り返し実行されるものとする。また、図10に示すステップS21〜ステップS23の処理及びステップS26の処理は、図3に示すステップS1〜3の処理及びステップS5の処理と同じであるので、以下ではその説明を省略し、ステップS24,S25の処理についてのみ説明する。
ステップS24の処理では、ヒストグラム算出部6が、ステップS23の処理により作成された輝度ヒストグラムから、温度分布が一様であり、安定して検出することが可能な路面領域の輝度ヒストグラムを抽出する。なお、本実施形態では、ヒストグラム算出部6は、車両11が走行している時は撮像部2は常に路面領域を撮影していると仮定することにより路面領域の輝度ヒストグラムを抽出することとするが、輝度カメラ等の別デバイスによって抽出された路面領域の輝度ヒストグラムを利用する方法や遠赤外線カメラ単体で路面領域を推定する方法等、別の方法を利用して路面領域の輝度ヒストグラムを算出するようにしてもよい、これにより、ステップS24の処理は完了し、ノイズ低減処理はステップS25の処理に進む。
ステップS25の処理では、ノイズ判定部7が、ステップS23の処理により作成された輝度ヒストグラムとステップS24の処理により抽出された路面領域の輝度ヒストグラムとを比較することにより熱画像中にノイズが出現しているか否かを判定する。具体的には、路面領域の温度分布は一様であるので、路面領域に特徴点Aが多く出現している場合、ノイズ判定部7は、ノイズが出現している状態にあると判定することができる。従って、ノイズ低減部8は、路面の温度分布に相当する輝度範囲のノイズ閾値を、他の輝度範囲のノイズ閾値より低く(厳しく)することにより、ノイズを低減することができる。これにより、ステップS25の処理は完了し、ノイズ低減処理はステップS26の処理に進む。
ここで、本実施形態では、路面領域の輝度ヒストグラムのみを抽出することとしたが、熱画像12全体について上記処理を行ってもよいし、空に対応する領域を検出して同様の処理を行うようにしてもよい。なお、熱画像12全体について上記処理を行う場合、ノイズ閾値は以下のようにして設定するとよい。すなわち一般に、夏季に撮像される熱画像12は、気温が高いために、歩行者等の車両11にとって障害となる物体の温度分布と路面領域の温度分布とが近接した状態になる。
より具体的には、通常だと輝度ヒストグラムは図11に示すようになる状態が、夏季においては図12に示すように特定の輝度範囲に頻度値が集中した状態になる。そして、このような状態で輝度ヒストグラムを算出すると、最頻度値が通常の状態よりも大きい値として出やすくなり、夏季以外の季節と同様のノイズ閾値でノイズ判定を行うと、ノイズが出現した状態であると判定されやすい。
そこで、温度分布が図12に示すような状態になる場合、ノイズ判定部7は、ノイズ判定に用いる閾値を高く(甘く)する。具体的には、ノイズ判定部7は、画像全体の輝度ヒストグラムを作成し、その最頻度値を中心に所定の画像割合(α%)が選択される輝度範囲J1を設定する。そして、ノイズ判定部7は、この輝度範囲J1を観察することによりノイズ閾値を動的に変更し、出力結果の安定性を向上させる。例えば、輝度ヒストグラムが図12に示すような状態になった場合、輝度範囲はJ2に示すようになる。従って、輝度範囲J1の時のノイズ閾値をTh1とすると、ノイズ判定部7は、輝度範囲J2の時のノイズ閾値Th2をTh1*β(J2/J1)+γ(β,γは所定値)に変更する。
以上の説明から明らかなように、本発明の第3の実施形態となるノイズ低減処理によれば、ノイズ判定部7が、路面領域や空領域の輝度ヒストグラムと熱画像12全体の輝度ヒストグラムとを比較することにより、ノイズ判定のために用いるノイズ閾値を変更するので、一様な温度分布を有する熱画像が撮像された場合であっても、ノイズを効果的に除去し、出力結果の安定性を向上させることができる。
また、本発明の第3の実施形態となるノイズ低減処理によれば、ノイズ判定部7は、熱画像12全体の輝度ヒストグラムに対する比較対象領域として、路面領域や空領域の輝度ヒストグラムを用いるので、比較対象領域を簡単に抽出することができる。また、路面領域や空領域は温度が安定しており、走行中の経時変化が起きにくいので、安定して結果を出力することができる。
以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、熱画像は車両の挙動が激しくなるとぼげた画像になる傾向がある。そして、画像がぼけている状態で特徴点を抽出すると、抽出点数が急激に増加し、出力結果が安定しない。従って、上記実施形態において、車両の操舵角,車速,車両姿勢のうちの少なくとも一つの情報を車両挙動を示す情報として抽出し、車両挙動による影響を加味してノイズの出現判定を行うことにより、出力結果を安定させるようにしてもよい。
また、経時変化によるドリフト等の原因によって熱画像中にノイズが発生することがある。そして、このような状態で特徴点を抽出すると、抽出点数が急激に増加し、出力結果が安定しない。従って、上記実施形態において、ノイズの出現状態を時系列で観察し、前回ノイズがない状態で計測された結果を加味してノイズの出現判定を行うことにより、出力結果を安定させるようにしてもよい。
また、ノイズが出現している時は上述の通り熱画像はぼけた状態になるので、ノイズ出現状態になった時は熱画像に対してエッジ強調等の画像処理を施すことによりぼけている画像を補正し、見やすい熱画像を出力するようにしてもよい。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
本発明の実施形態となる車両用撮像装置の構成を示すブロック図である。 図1に示す撮像部の取付位置の一例を示す図である。 本発明の第1の実施形態となるノイズ低減処理の流れを示すフローチャート図である。 撮像部により撮像された熱画像の一例を示す図である。 熱画像からの特徴点の抽出方法を説明するための図である。 図4に示す熱画像から抽出された特徴点を示す図である。 輝度ヒストグラムの一例を示す図である。 ノイズの低減方法を説明するための図である。 本発明の第2の実施形態となるノイズ低減処理の流れを示すフローチャート図である。 本発明の第3の実施形態となるノイズ低減処理の流れを示すフローチャート図である。 車両にとって障害となる物体の温度分布と路面領域の温度分布とが近接していない場合の輝度ヒストグラムを示す図である。 車両にとって障害となる物体の温度分布と路面領域の温度分布とが近接している場合の輝度ヒストグラムを示す図である。
符号の説明
1:車両用撮像装置
2:撮像部
3:記憶部
4:演算部
5:特徴点抽出部
6:ヒストグラム算出部
7:ノイズ判定部
8:ノイズ低減部
11:車両
12:熱画像
A:特徴点
B:注目画素
C:周辺画素

Claims (9)

  1. 自車両周辺の遠赤外線画像を取得する遠赤外線画像取得手段と、
    前記遠赤外線画像取得手段により取得された遠赤外線画像を構成する各画素の輝度値を参照して遠赤外線画像の特徴点を抽出する特徴点抽出手段と、
    前記特徴点抽出手段により抽出された特徴点の輝度値の分布状態を示す輝度ヒストグラムを算出するヒストグラム算出手段と、
    前記ヒストグラム算出手段により算出された輝度ヒストグラムに基づいて前記遠赤外線画像中におけるノイズの出現状態を判定するノイズ判定手段と、
    前記ノイズ判定手段の判定結果に従って前記遠赤外線画像中のノイズを除去するノイズ低減手段と
    を備えることを特徴とする車両用撮像装置。
  2. 請求項1に記載の車両用撮像装置であって、
    前記特徴点抽出手段は、前記遠赤外線画像を構成する画素のうち、周辺画素との輝度差が所定値以上の画素を前記特徴点として抽出することを特徴とする車両用撮像装置。
  3. 請求項2に記載の車両用撮像装置であって、
    前記ノイズ判定手段は、前記輝度ヒストグラムを参照して最も大きい頻度値を抽出し、抽出された頻度値が所定値以上である場合、前記遠赤外線画像中にノイズが発生していると判定することを特徴とする車両用撮像装置。
  4. 請求項2又は請求項3に記載の車両用撮像装置であって、
    前記ヒストグラム算出手段は、周辺画素との輝度差が大きい順に前記特徴点を前記輝度ヒストグラムに投票し、前記ノイズ判定手段は、頻度値が所定値以上になったタイミングで前記遠赤外線画像中にノイズが発生していると判断し、前記ノイズ低減手段は、輝度ヒストグラムに投票していない特徴点をノイズとして除去することを特徴とする車両用撮像装置。
  5. 請求項3又は請求項4に記載の車両用撮像装置であって、
    前記ノイズ判定手段は、前記遠赤外線画像の所定領域内における輝度値の分布状態を示す輝度ヒストグラムと前記ヒストグラム算出手段により算出された輝度ヒストグラムとを比較することにより、ノイズ判定のために用いる閾値を変更することを特徴とする車両用撮像装置。
  6. 請求項5に記載の車両用撮像装置であって、
    前記所定領域は自車両の走行路面領域と空に対応する領域のうちの少なくとも一方であることを特徴とする車両用撮像装置。
  7. 請求項1乃至請求項6のうち、いずれか1項に記載の車両用撮像装置であって、
    前記ノイズ判定手段は、自車両の操舵角、速度、及び走行姿勢のうちの少なくとも一つを参照して前記遠赤外線画像中におけるノイズの出現状態を判定することを特徴とする車両用撮像装置。
  8. 請求項1乃至請求項7のうち、いずれか1項に記載の車両用撮像装置であって、
    前記ノイズ判定手段は、前記遠赤外線画像中におけるノイズを時系列で観察し、観察結果を参照して遠赤外線画像中におけるノイズの出現状態を判定することを特徴とする車両用撮像装置。
  9. 請求項1乃至請求項8のうち、いずれか1項に記載の車両用撮像装置であって、
    前記ノイズ低減手段は、前記遠赤外線画像に所定の補正処理を行うことにより、前記遠赤外線画像中のノイズを除去することを特徴する車両用撮像装置。
JP2006005056A 2006-01-12 2006-01-12 車両用撮像装置 Pending JP2007189432A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006005056A JP2007189432A (ja) 2006-01-12 2006-01-12 車両用撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006005056A JP2007189432A (ja) 2006-01-12 2006-01-12 車両用撮像装置

Publications (1)

Publication Number Publication Date
JP2007189432A true JP2007189432A (ja) 2007-07-26

Family

ID=38344309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006005056A Pending JP2007189432A (ja) 2006-01-12 2006-01-12 車両用撮像装置

Country Status (1)

Country Link
JP (1) JP2007189432A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013143580A (ja) * 2012-01-06 2013-07-22 Secom Co Ltd 画像監視装置
US8548200B2 (en) 2010-02-12 2013-10-01 Denso Corporation Lane-marker recognition system with improved recognition-performance
KR20150011097A (ko) * 2013-07-22 2015-01-30 현대모비스 주식회사 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법
JP2017504119A (ja) * 2014-01-09 2017-02-02 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation 人工視覚システム
JP2017111529A (ja) * 2015-12-15 2017-06-22 シャープ株式会社 障害物判定装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548200B2 (en) 2010-02-12 2013-10-01 Denso Corporation Lane-marker recognition system with improved recognition-performance
JP2013143580A (ja) * 2012-01-06 2013-07-22 Secom Co Ltd 画像監視装置
KR20150011097A (ko) * 2013-07-22 2015-01-30 현대모비스 주식회사 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법
KR102078419B1 (ko) 2013-07-22 2020-02-17 현대모비스 주식회사 야간 주행시 보행자 인식을 위한 운전자 지원 시스템 및 그 동작방법
JP2017504119A (ja) * 2014-01-09 2017-02-02 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation 人工視覚システム
US10529064B2 (en) 2014-01-09 2020-01-07 Northrop Grumman Systems Corporation Artificial vision system
JP2017111529A (ja) * 2015-12-15 2017-06-22 シャープ株式会社 障害物判定装置

Similar Documents

Publication Publication Date Title
JP4248558B2 (ja) 道路区画線検出装置
US8090152B2 (en) Road lane boundary detection system and road lane boundary detecting method
JP5016073B2 (ja) 白線認識装置
EP2927060A1 (en) On-vehicle image processing device
JP4004634B2 (ja) 顔映像の目位置検出装置及び方法
JP2007189432A (ja) 車両用撮像装置
JP6462557B2 (ja) 車両ピッチ角推定装置
JP6169366B2 (ja) 物体検出装置、プログラムおよび集積回路
JP2010061375A (ja) 物体認識装置及びプログラム
JP2007058318A (ja) 白線検出装置
JP4668863B2 (ja) 撮像装置
JP7200893B2 (ja) 付着物検出装置および付着物検出方法
JP7200894B2 (ja) 付着物検出装置および付着物検出方法
JP5541099B2 (ja) 道路区画線認識装置
JP4661934B2 (ja) 画像処理装置
JP3395289B2 (ja) 車線認識装置
KR101615381B1 (ko) 이미지 획득 방법 및 디지털 카메라 시스템
US11308709B2 (en) Deposit detection device and deposit detection method
US11250290B2 (en) Image processing device and image processing method
KR20190072643A (ko) 얼굴 검출 장치 및 그 제어 방법, 그리고 프로그램
JP3912358B2 (ja) 閾値設定装置及び閾値設定方法
JP2008257399A (ja) 画像処理装置
US20150319361A1 (en) Image processing device, image processing method, and recording medium
JP2009003644A (ja) 開眼度判定装置
JP5213493B2 (ja) 動き検出装置