JP2004289786A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2004289786A
JP2004289786A JP2003370834A JP2003370834A JP2004289786A JP 2004289786 A JP2004289786 A JP 2004289786A JP 2003370834 A JP2003370834 A JP 2003370834A JP 2003370834 A JP2003370834 A JP 2003370834A JP 2004289786 A JP2004289786 A JP 2004289786A
Authority
JP
Japan
Prior art keywords
imaging
image
image processing
spatial filter
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003370834A
Other languages
English (en)
Other versions
JP4798945B2 (ja
Inventor
Shinya Kawamata
進也 川真田
Yasuo Hagisato
安雄 萩里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2003370834A priority Critical patent/JP4798945B2/ja
Priority to US10/788,293 priority patent/US7577299B2/en
Priority to DE102004010908A priority patent/DE102004010908B4/de
Publication of JP2004289786A publication Critical patent/JP2004289786A/ja
Application granted granted Critical
Publication of JP4798945B2 publication Critical patent/JP4798945B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

【課題】撮影環境に対応して適切な撮影が行える撮像装置を提供すること。
【解決手段】撮像対象からの入射光を受光し光電変換する撮像部2と、その撮像部2から出力される撮影画像を画像処理する画像処理部3とを備えて構成され、画像処理部3が撮影画像における所定の低周波成分を除去する空間フィルタ処理を行う。これにより、撮影画像における高輝度部の周辺のハレーションを低減することができ、適切な撮影が可能となる。
【選択図】 図1

Description

本発明は、夜間撮影などに好適な撮像装置に関するものである。
従来、撮像装置として、例えば特開平5−56341号公報に記載されるように、撮像光学系を通じて入射される光をCCDで光電変換し出力するものが知られている。この撮像装置は、撮像光学系への透過光量や撮像素子の光蓄積時間を制御するとともに、撮像素子出力のゲインを可変制御するものであって、所定の撮影モードにおいて光蓄積時間の設定を短時間化するためにゲインを増大するように制御し、撮影状況によらず最適な露出制御を実現しようとするものである。
特開平5−56341号公報
しかしながら、このような撮像装置であっても、撮影環境によっては撮影画像にハレーションを生ずるなどの問題点がある。例えば、撮像装置が車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられる場合、暗い状況下で走行前方の歩行者などを視認するために撮像出力が高く設定される。しかし、このような設定状態では、対向車のヘッドライトを受けた場合などハレーションの影響が大きく、適切な撮影が行えない。
そこで本発明は、このような問題点を解決するためになされたものであって、撮影環境に対応して撮影映像を適切に出力できる撮像装置を提供することを目的とする。
すなわち、本発明に係る撮像装置は、撮像対象からの入射光を受光し光電変換する撮像手段と、撮像手段から出力される撮影画像を画像処理する画像処理手段とを備えて構成され、画像処理手段が撮影画像における所定の低周波成分を除去する空間フィルタ処理を行うことを特徴とする。
この発明によれば、撮影画像における所定の低周波成分を除去することにより、撮影画像における高輝度部の周辺のハレーションを低減することができ、適切な撮影が可能となる。
また本発明に係る撮像装置は、画像処理手段が撮影画像を離散フーリエ変換し、その離散フーリエ変換した画像にて低周波成分の除去を行った後、逆離散フーリエ変換することを特徴とする。
この発明によれば、撮影画像のハレーションを効果的に低減できる。
また本発明に係る撮像装置は、画像処理手段が一次元デジタルフィルタ又は二次元デジタルフィルタを用いることにより低周波成分の除去を行うことを特徴とする。
この発明によれば、低周波除去処理が迅速に行える。
また本発明に係る撮像装置は、撮像対象からの入射光を受光し光電変換する撮像手段と、撮像手段から出力される撮影画像を画像処理する画像処理手段とを備えて構成され、画像処理手段が撮影画像における所定の低周波成分を除去する空間フィルタ処理を行い、その空間フィルタ処理により撮像手段から所定距離以上離れている撮像対象の画素輝度値を所定距離より近くのものより相対的に大きくすることを特徴とする。
また本発明に係る撮像装置は、前述の画像処理手段が、空間フィルタ処理により所定距離より近くのものに対し撮像手段から遠くにいくほど画素輝度値を大きくすることを特徴とする。
また本発明に係る撮像装置は、前述の画像処理手段が、所定距離における撮像対象の画素領域と撮影画像の全体の画素領域との比に基づいてカットオフ周波数が設定されており、そのカットオフ周波数で空間フィルタ処理を行うことを特徴とする。
これらの発明によれば、撮像手段から所定距離以上離れている撮像対象の画素輝度値を相対的に大きくすることにより、撮影画像において遠方の撮像対象物が強調して表示される。このため、遠方のものの視認性の向上が図れる。
また本発明に係る撮像装置は、撮像対象からの入射光を受光し光電変換する撮像手段と、撮像手段から出力される撮影画像を画像処理する画像処理手段とを備えて構成され、画像処理手段が、周囲の環境に応じてカットオフ周波数を設定し、そのカットオフ周波数の空間フィルタにより撮影画像の低周波成分を除去することを特徴とする。
この発明によれば、周囲の環境に応じてカットオフ周波数を設定して撮影画像の低周波成分を除去することにより、撮影画像における高輝度部の周辺のハレーションを低減することができると共に、周囲の環境に応じて撮影画像を適切に表示でき、撮像対象の視認性の向上が図れる。
また本発明に係る撮像装置は、前述の画像処理手段が、周囲の環境の明るさに基づいてカットオフ周波数を設定することを特徴とする。また本発明に係る撮像装置は、前述の画像処理手段が、周囲の環境が明るいほどカットオフ周波数を高く設定することを特徴とする。
これらの発明によれば、周囲の環境の明るさに基づいてカットオフ周波数を設定することにより、周囲の明るさの影響を抑えて適切な撮影画像の表示が行える。
また本発明に係る撮像装置は、前述の画像処理手段が、天候状態に基づいてカットオフ周波数を設定することを特徴とする。また本発明に係る撮像装置は、前述の画像処理手段が、雨天時に晴天時に比べてカットオフ周波数を低く設定することを特徴とする。
この発明によれば、天候状態に基づいてカットオフ周波数を設定することにより、撮影時における天候状態の影響を抑えて適切な撮影画像の表示が行える。
また本発明に係る撮像装置は、車両に搭載され、車両進行方向の撮影に用いられることが好ましい。また、本発明に係る撮像装置は、車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられることが好ましい。
本発明によれば、撮影環境に対応して撮影映像を適切に出力することができる。
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
(第一実施形態)
図1は第一実施形態に係る撮像装置の構成概要図である。
本図に示すように、本実施形態に係る撮像装置1は、撮像部2及び画像処理部3を備えて構成されている。撮像部2は、撮像対象からの入射光を受光し光電変換する撮像手段として機能するものであり、例えばCCD(Charge-Coupled Device)カメラが用いられる。撮像部2には、CCDが撮像素子として内蔵され、そのCCDの前方には撮影光学系が設置される。
画像処理部3は、撮像部2から出力される撮影画像を画像処理する画像処理手段として機能するものであり、例えば空間フィルタ部4とD/A変換部5を備えて構成される。空間フィルタ部4は、撮影信号の空間周波数における所定の低周波成分を除去し、撮影映像における高輝度部の周辺のハレーションを低減する空間フィルタである。D/A変換部5は、空間フィルタ部4の出力信号をデジタル信号からアナログ信号に変換し、映像信号として出力する。
図2は空間フィルタ部の空間フィルタ処理の説明図である。
空間フィルタ部4として、例えば離散フーリエ変換処理、低周波除去処理及び逆離散フーリエ変換処理を行うものが用いられる。図2に示すように、離散フーリエ変換処理は、原画像10を離散フーリエ変換して空間周波数画像20とする処理である。ここでいう原画像10は、撮像部2から出力される撮影信号に基づく画像である。図2の原画像10では、車両のヘッドライト11の周りにハレーション部分12が生じている。
空間周波数画像20は、画像中心部分に周波数ゼロのゼロ成分21、その周りに低周波成分22、その周りに中間周波数成分23、その周りにやや高周波成分24、さらにその周りに高周波成分25が配置される。
低周波除去処理は、空間周波数画像20における低周波成分22を除去する処理である。この低周波除去処理により、空間周波数画像20の低周波成分が除去された画像30が形成される。除去する低周波成分の範囲は、撮影対象における高輝度部のハレーションが十分に低減できるように設定される。
逆離散フーリエ変換処理は、低周波成分の除去された画像30に対し逆離散フーリエ変換を行い、低周波の空間周波数成分を除去した画像40を形成する処理である。
この画像40は、低周波の空間周波数成分を除去することによって、輝度の濃淡が徐々に変化するハレーション部分12が低減した画像となる。この画像40において、低周波成分の除去により画像全体の輝度レベルが下がっている場合には、画像全体の輝度レベルを上げることが好ましい。
図3は原画像10と低周波除去処理後の画像40における画像信号の説明図である。
図3に示すように、原画像10の低周波成分を除去すると対向車のヘッドライト部分11やハレーション部分12(図2参照)の輝度レベルが激減し、背景の景色部分の輝度レベルも低減する。そして、低周波成分の除去により輝度レベルの低下を回復すべく画像全体の輝度レベルを上げると、対向車のヘッドライトの輝度レベルは抑制され、背景の景色は原画像10の輝度レベルが保持される。一方、高周波成分である人物13や道路上の白線14(図2参照)の輝度レベルは逆に上がって鮮明化する。
図4は本実施形態に係る撮像装置を用いた撮像システムの説明図である。
本図に示すように、撮像システム50は、車室内に設置され、ガラス51越しに車外を撮像するシステムであり、例えば車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用される。
撮像システム50は、車外を撮影する撮影手段として撮像装置1が用いられる。撮像装置1は、車室内に設置されており、ガラス51越しに車外を撮像する。この撮像装置1としては、例えば近赤外光に感度を持つものが用いられる。撮像装置1の撮像部2の撮影光学系に可視光カットフィルタを配置することにより、近赤外成分を中心とした映像撮影が可能となる。なお、ここでいう近赤外光とは、波長780〜1500nmの光を意味する。
撮像装置1の出力側は、システム制御部52に接続されている。撮像装置1の撮影により得られた映像信号はシステム制御部52に入力される。システム制御部52は、システム全体の制御を行うものであり、例えばCPU、ROM、RAM、入力信号回路、出力信号回路、電源回路などにより構成されている。
撮像システム50には、近赤外投光器53が設けられている。近赤外投光器53は、車両の前方へ近赤外線を投光する投光手段であり、システム制御部52から信号を受けて投光制御されている。近赤外投光器53は、例えばヘッドライトのハイ(Hi)ビーム相当の照射範囲で近赤外光を投射することができるように構成される。
また、撮像システム50には、表示部54が設けられている。表示部54は、撮像装置1の撮影映像を表示する表示手段であり、運転者が撮影映像を視認できるように設けられている。また、撮像システム50には、本システムのオンオフなどを操作するためのスイッチ群55が設けられている。
このような撮像システム50は、車両が夜間に走行している際に、近赤外投光器53により車両前方に近赤外光を投光する。これにより、車両の前方に近赤外光が照射され、近赤外領域に感度を持つ撮像装置1によって、近赤外光で照らされた車両前方が撮影される。
そして、撮像装置1からシステム制御部52に映像信号が入力される。システム制御部52は、映像信号を表示部54に出力し、表示部54に映像信号に基づく撮影画像が表示される。撮影画像は近赤外光が照射された状態で表示されるため、車両の運転者が肉眼で車両前方を視認した場合に比べ、歩行者などを検出しやすいものとなり、運転者の前方視認を支援することができる。また、投光する光が近赤外光であるため、対向車の運転における影響は少ない。
また、撮像装置1では、撮影信号の所定の低周波成分を除去する空間フィルタ処理を行っているため、撮影映像における高輝度部の周辺のハレーションが低減された映像出力が可能となる。これにより、表示部14には対向車のヘッドライトのハレーションが低減された状態で表示され、歩行者などを容易に視認することができる。
図5に撮像装置1を用いて撮影した撮影画像を示す。
図5の左側の画像は、フィルタ処理なしの原画像10であり、空間周波数の低周波成分を除去していない画像である。右側の画像は、フィルタ処理後の画像40であって、低周波除去処理した画像である。
図5上段は対向車のヘッドライトを正面から受けた画像である。図5上段の左右の各画像を見ると、左側の原画像10におけるヘッドライトのハレーションが右側の画像40では激減しており、路肩にいる歩行者や道路上の白線が明瞭になっている。
図5中段は雨の日の撮影による画像である。図5中段の左右の各画像を見ると、左側の原画像10におけるガードレールの反射が右側の画像40では低減されており、中央に傘を持つ歩行者が視認しやすくなっている。
図5下段は雪の日の撮影による画像である。図5下段の左右の各画像を見ると、左側の原画像10における雪面の反射が左側の画像40では激しており、道路上の歩行者が視認しやすくなっている。
以上のように、本実施形態に係る撮像装置によれば、撮影画像における所定の低周波成分を除去することにより、撮影画像における高輝度部の周辺のハレーションを低減することができ、適切な撮影が行える。
また、離散フーリエ変換した画像にて低周波成分の除去を行った後、逆離散フーリエ変換することにより、撮影画像のハレーションを効果的に低減できる。
また、車両に設置され、車外を撮影する撮像装置として有用である。この場合、撮影環境が大きく変化するが、その撮影環境の変化に対応して適切な撮影が可能となる。特に、視認支援システムの撮影手段として用いた場合、撮影環境の変化が大きい場合でも適切な撮影画像の表示が可能であり、最適である。
(第二実施形態)
次に第二実施形態に係る撮像装置について説明する。
本実施形態に係る撮像装置は、図1に示す第一実施形態の撮像装置1と同様なハード構成を有するものであり、空間フィルタ部4として、離散フーリエ変換など行うものではなく一次元デジタルフィルタ又は二次元デジタルフィルタを用いて撮影画像の空間周波数における低周波成分を除去するものである。
例えば、図6に示すような二次元デジタルフィルタを用いて撮影画像の低周波成分を除去する。また、図7に示すような一次元デジタルフィルタを用いて撮影画像の低周波成分を除去する。図6及び図7のフィルタのタップ数は3であるが、このフィルタのタップ数はできるだけ大きくすることが好ましい。
このような撮像装置であっても、第一実施形態に係る撮像装置と同様に、撮影画像のハレーションを低減することができる。また、画像処理が簡易化できるため、その画像処理が迅速に行える。
(第三実施形態)
次に第三実施形態に係る撮像装置について説明する。
本実施形態に係る撮像装置は、図1に示す第一実施形態の撮像装置1と同様なハード構成を有するものであるが、空間フィルタ部4がカットオフ周波数の異なる複数の空間フィルタを備えており、撮像部2からカメラシャッタ速度信号を入力しそのカメラシャッタ信号に基づいて最適な空間フィルタを用いて空間フィルタ処理を行う。
撮像部2は、撮影画像信号と共にカメラシャッタ速度信号を空間フィルタ部4に出力するように構成されている。カメラシャッタ速度信号は、CCDカメラなどの電子シャッタのシャッタ速度に関する信号であり、空間フィルタ部4では撮影の明暗環境を検出する信号をして用いられる。
空間フィルタ部4は、カットオフ周波数として、10、20、30…、Nというように複数の異なるカットオフ周波数のフィルタ係数を備え、異なるカットオフ周波数で空間フィルタ処理が行えるようになっている。空間フィルタ部4は、カメラシャッタ速度信号に基づいてフィルタ係数を設定し、撮影環境に最適な空間フィルタ処理を行う。また、空間フィルタ部4は、カメラシャッタ速度が高速であり撮影環境が明るいときほどカットオフ周波数の高い空間フィルタで空間フィルタ処理を行う。
このような本実施形態に係る撮像装置によれば、撮影環境の明暗に応じて適切なカットオフ周波数を選択して空間フィルタ処理を行う。このため、撮影環境に応じた適切な撮影画像の表示が可能となる。
例えば、車両の夜間走行時に運転者の視認支援を行う視認支援システムに適用する場合、対向車がないときには撮影環境が暗いため、カットオフ周波数の低いフィルタ係数が設定され空間フィルタ処理が行われる。従って、画像処理された撮影画像が明るく表示され、車両の運転者が車両前方を適切に視認することができる。一方、対向車があるときには撮影環境が明るいため、カットオフ周波数の高いフィルタ係数が設定される。従って、画像処理された撮影画像が暗く表示され、対向車のヘッドライトによるハレーションが低減され、車両の運転者が車両前方を適切に視認することができる。
図8は夜間に対向車がある場合の撮影画像、図9は夜間に対向車がない場合の撮影画像の説明図である。
図8の上段の画像は、対向車があるときの夜間道路の撮影画像であり、カットオフ周波数の低い空間フィルタで画像処理したものである。対向車があるため、撮影環境が明るく、対向車のヘッドライトがハレーションを起こしている。このような場合、撮影部2のカメラシャッタ速度は高速状態となっている。そのカメラシャッタ速度信号に基づいてカットオフ周波数の高い空間フィルタを設定することにより、図8の下段に示すように、画像全体が暗く表示され、対向車のヘッドライトのハレーションを抑えた状態で撮影画像を表示することが可能となる。この図8の下段の撮影画像では、道路右端にいる歩行者を明瞭に視認することができる。
図9の上段の画像は、対向車がないときの夜間道路の撮影画像であり、カットオフ周波数の高い空間フィルタで画像処理したものである。対向車がないため、撮影環境が暗くなっている。このような場合、撮影部2のカメラシャッタ速度は低速状態となっている。そのカメラシャッタ速度信号に基づいてカットオフ周波数の低い空間フィルタを設定することにより、図9の下段に示すように、画像全体が明るく表示され、道路前方を明瞭に視認することができる。
また、本実施形態に係る撮像装置によれば、撮影部2からカメラシャッタ速度信号を利用して撮影環境の明暗を検出することができる。従って、周囲の明るさを検出する外部センサを設けることなく、撮影環境に応じた適切な撮影が可能となる。
(第四実施形態)
次に第四実施形態に係る撮像装置について説明する。
図10に本実施形態に係る撮像装置の構成概略図を示す。本図に示すように、本実施形態に係る撮像装置1cは、図1に示す第一実施形態の撮像装置1とほぼ同様なハード構成を有するものであるが、撮影環境の明暗を検出する照度センサ61を備えている点で異なっている。また本実施形態に係る撮像装置は、空間フィルタ部4がカットオフ周波数の異なる複数の空間フィルタを備えており、照度センサ61の検出信号を入力しその検出信号に基づいて最適な空間フィルタを用いて空間フィルタ処理を行う。
照度センサ61は、撮影環境における明暗の状態を検出するセンサである。この照度センサ61は、空間フィルタ部4に接続され、空間フィルタ部4に対し検出信号を出力する。空間フィルタ部4は、カットオフ周波数として、10、20、30…、Nというように複数の異なるカットオフ周波数のフィルタ係数を備え、異なるカットオフ周波数で空間フィルタ処理が行えるようになっている。空間フィルタ部4は、照度センサ61の検出信号に基づいてフィルタ係数を設定し、撮影環境に最適な空間フィルタ処理を行う。また、空間フィルタ部4は、撮影環境が明るいときほどカットオフ周波数の高い空間フィルタで空間フィルタ処理を行う。
このような本実施形態に係る撮像装置によれば、上述した第三実施形態に係る撮像装置と同様に、撮影環境の明暗に応じて適切なカットオフ周波数を選択して空間フィルタ処理を行う。このため、撮影環境に応じた適切な撮影画像の表示が可能となる。
また、本実施形態に係る撮像装置によれば、撮影部2から空間フィルタ部4にカメラシャッタ速度信号を入力する必要がなく画像信号を入力するだけで、撮影環境に応じた適切な撮影が可能となる。
(第五実施形態)
次に第五実施形態に係る撮像装置について説明する。
図11に本実施形態に係る撮像装置の構成概略図を示す。本図に示すように、本実施形態に係る撮像装置1dは、図1に示す第一実施形態の撮像装置1とほぼ同様なハード構成を有するものであるが、天候状態を検出する雨滴センサ62を備えている点で異なっている。また本実施形態に係る撮像装置は、空間フィルタ部4がカットオフ周波数の異なる複数の空間フィルタを備えており、撮影時における天候状態に応じた空間フィルタを選択して空間フィルタ処理を行うものである。
雨滴センサ62は、撮影時における天候状態を検出するセンサであり、雨天か否かの検出が可能である。この雨滴センサ62は、空間フィルタ部4に接続され、空間フィルタ部4に対し検出信号を出力する。空間フィルタ部4は、雨天用のカットオフ周波数の低いフィルタ係数と晴天用のカットオフ周波数の高いフィルタ係数を少なくとも備え、天候状態に応じたカットオフ周波数の空間フィルタを選択し空間フィルタ処理が行えるようになっている。空間フィルタ部4は、雨滴センサ62の検出信号に基づいてフィルタ係数を設定し、撮影環境に最適な空間フィルタ処理を行う。
このような本実施形態に係る撮像装置によれば、撮影時における天候状態に応じて適切なカットオフ周波数を選択して空間フィルタ処理を行うことにより、撮影環境に応じた適切な撮影画像の表示が可能となる。
図12は夜間の晴天時における撮影画像、図13は夜間の雨天時における撮影画像の説明図である。
図12の上段の画像は、晴天時において雨天用のカットオフ周波数の低い空間フィルタで画像処理した夜間道路の撮影画像である。カットオフ周波数の選択が適切でないため、画像が明るすぎ、対向車のヘッドライトがハレーション気味である。このように晴天時には晴天用のカットオフ周波数の高い空間フィルタを用いて画像処理すると、図12の下段のように、対向車のヘッドライトのハレーションが抑えられ、道路を明瞭に視認することができる。
図13の上段の画像は、雨天時において晴天用のカットオフ周波数の高い空間フィルタで画像処理した夜間道路の撮影画像である。カットオフ周波数の選択が適切でないため、画像が暗すぎて道路全体が視認しにくい状態である。これに対し、雨天用のカットオフ周波数の低い空間フィルタを用いて画像処理すると、図13の下段のように、道路全体が明るく表示され、道路を明瞭に視認することができる。
なお、本実施形態では、雨滴センサ62で天候状態を検出しているが、車両のワイパーの作動信号に基づいて天候状態を検出してもよい。また、車両外部から送信された天候情報に基づいて天候状態を取得し、その天候状態に基づいてカットオフ周波数を設定してもよい。これらの場合であっても、本実施形態に係る撮像装置と同様な作用効果が得られる。
また、本実施形態では、雨天時か否かで空間フィルタのカットオフ周波数を変更する場合について説明したが、積雪時か否かで空間フィルタのカットオフ周波数を変更してもよい。例えば、積雪状態を取得し、その積雪情報に基づいてカットオフ周波数を設定し、そのカットオフ周波数で空間フィルタ処理を行う。これにより、積雪状態に応じた適切な撮影画像の表示が可能となる。
また、時刻の推移による周囲の明るさに応じてカットオフ周波数を変更してもよい。例えば、時刻情報を取得し、その時刻情報に基づいてカットオフ周波数を設定し、そのカットオフ周波数で空間フィルタ処理を行う。これにより、夕方から夜にかけて徐々に周囲が暗くなる場合に周囲の明るさの変化に応じた適切な撮影画像の表示が可能となる。
(第六実施形態)
次に第六実施形態に係る撮像装置について説明する。
本実施形態に係る撮像装置は、図1に示す第一実施形態の撮像装置1と同様なハード構成を有するものであり、空間フィルタ部4が撮影画像における所定の低周波成分を除去する空間フィルタ処理を行うと共に、その空間フィルタ処理により撮像手段から所定距離以上離れている撮像対象の画素輝度値を所定距離より近くのものより相対的に大きくするものである。
本実施形態に係る撮像装置において、空間フィルタ部4には、所定距離における撮像目標対象物の画素領域と撮影画像全体の画素領域との比に基づいてカットオフ周波数が設定されている。撮像目標対象物が人物である場合、撮像部2から所定距離にいる人物の画素領域と撮影画像全体の画素領域との比に基づいてカットオフ周波数が設定される。
例えば、図14に示すように、撮像装置から所定距離の位置にいる人物71の横方向の画素数がaであり、撮影画像70の全体の横方向の画素数がbである場合、それらの画素数の比であるb/aに空間フィルタのカットオフ周波数を設定する。ここでいう所定距離は、撮像装置において遠方の撮影対象物を強調して表示したい場合にその遠方距離に応じて設定される。また、人物71の画素数aは、距離が離れるほど小さいものとなる。その場合、カットオフ周波数b/aは、aが小さい値となるため、大きな値となる。
このようにカットオフ周波数を設定することにより、所定距離より遠くにいる人物は、所定距離にいる人物より小さく表示されるが、表示サイズの大きいものの画素輝度値が低減されるため、所定距離より遠くにいる人物の画素輝度値が相対的に大きくなり、強調して表示することができる。このため、本実施形態に係る撮像装置を上述した視認支援システムの撮影手段として適用した場合、遠方の人物等を強調して表示できるため、特に有用である。
図15〜17に本実施形態に係る撮像装置における空間フィルタ処理前後における画像を示す。図15の上段は距離40m離れた人物を撮影した際の空間フィルタ処理前の撮影画像であり、図15の下段は距離40m離れた人物を撮影した際の空間フィルタ処理後の撮影画像である。空間フィルタ処理は、距離40mより遠方の撮影対象物を強調表示するようにカットオフ周波数を設定して行われている。図15上段と下段の撮影画像において人物がほぼ同様な明るさで表示されている。
図16の上段は距離100m離れた人物を撮影した際の空間フィルタ処理前の撮影画像であり、図16の下段は距離100m離れた人物を撮影した際の空間フィルタ処理後の撮影画像である。図16下段の撮影画像の方が図16上段の撮影画像に比べて人物の表示が若干明瞭になっている。
図17の上段は距離150m離れた人物を撮影した際の空間フィルタ処理前の撮影画像であり、図17の下段は距離150m離れた人物を撮影した際の空間フィルタ処理後の撮影画像である。図17下段の撮影画像の方が図17上段の撮影画像に比べて人物の表示が明瞭になっている。
図18は、距離Aを基準としてそれより遠方のものを強調して表示するようにカットオフ周波数を設定した場合の空間フィルタ処理前と空間フィルタ処理後における人物距離−画素輝度値との関係を示したグラフである。
図18において、距離Aでは、人物の画素輝度値がほぼ同じ値となっている。しかし、距離Aより遠方に行くと、空間フィルタ処理前の撮影画像では距離が離れるほど画素輝度値が低くなっている。これに対し、空間フィルタ処理後の撮影画像では距離が離れていっても画素輝度値が高く維持されている。従って、空間フィルタ処理後の撮影画像では、距離Aより遠方の人物が明るく明瞭に表示されており、視認性が向上していることがわかる。また、図18に示すように、空間フィルタ処理後では、距離Aより近い距離においては、人物が遠ざかるほど画素輝度値が大きくなっている。
以上のように、本実施形態に係る撮像装置によれば、撮像装置の撮像部2から所定距離以上離れている撮像対象の画素輝度値を相対的に大きくすることにより、撮影画像において遠方の撮像対象物が強調して表示される。このため、遠方のものの視認性の向上が図れる。特に、車両の夜間走行における運転者の視認を支援する視認支援システムに適用する場合に有用である。
なお、上述した各本実施形態では、車両の夜間走行における運転者の視認を支援する視認支援システムに適用する場合について詳述したが、本発明に係る撮像装置はそのようなものに限られるものではなく、道路の白線認識システムなど他のシステムなどに適用されるものであってもよい。また、車両以外の場所に設置するものに適用してもよい。
本発明の第一実施形態に係る撮像装置の構成概要図である。 図1の撮像装置における画像処理の説明図である。 図1の撮像装置における画像処理の説明図である。 図1の撮像装置を用いた撮像システムの説明図である。 図1の撮像装置の撮影画像の説明図である。 第二実施形態に係る撮像装置の説明図である。 第二実施形態に係る撮像装置の説明図である。 第三実施形態に係る撮像装置における撮影画像の説明図である。 第三実施形態に係る撮像装置における撮影画像の説明図である。 第四実施形態に係る撮像装置の構成概要図である。 第五実施形態に係る撮像装置の構成概要図である。 図11の撮像装置における撮影画像の説明図である。 図11の撮像装置における撮影画像の説明図である。 第六実施形態に係る撮像装置のカットオフ周波数設定の説明図である。 第六実施形態に係る撮像装置における撮影画像の説明図である。 第六実施形態に係る撮像装置における撮影画像の説明図である。 第六実施形態に係る撮像装置における撮影画像の説明図である。 第六実施形態に係る撮像装置の撮影画像における人物距離−画素輝度値の関係図である。
符号の説明
1…撮像装置、2…撮像部、3…画像処理部、4…空間フィルタ部、5…D/A変換部。

Claims (13)

  1. 撮像対象からの入射光を受光し光電変換する撮像手段と、
    前記撮像手段から出力される撮影画像を画像処理する画像処理手段と、
    を備えて構成され、
    前記画像処理手段は、前記撮影画像における所定の低周波成分を除去する空間フィルタ処理を行うこと、
    を特徴とする撮像装置。
  2. 前記画像処理手段は、前記撮影画像を離散フーリエ変換し、その離散フーリエ変換した画像にて低周波成分の除去を行った後、逆離散フーリエ変換することを特徴とする請求項1に記載の撮像装置。
  3. 前記画像処理手段は、一次元デジタルフィルタ又は二次元デジタルフィルタを用いることにより前記低周波成分の除去を行うことを特徴とする請求項1に記載の撮像装置。
  4. 撮像対象からの入射光を受光し光電変換する撮像手段と、
    前記撮像手段から出力される撮影画像を画像処理する画像処理手段と、
    を備えて構成され、
    前記画像処理手段は、前記撮影画像における所定の低周波成分を除去する空間フィルタ処理を行い、その空間フィルタ処理により前記撮像手段から所定距離以上離れている撮像対象の画素輝度値を前記所定距離より近くのものより相対的に大きくすること、
    を特徴とする撮像装置。
  5. 前記画像処理手段は、前記空間フィルタ処理により前記所定距離より近くのものに対し前記撮像手段から遠くにいくほど画素輝度値を大きくすること、
    を特徴とする請求項4に記載の撮像装置。
  6. 前記画像処理手段は、前記所定距離における前記撮像対象の画素領域と前記撮影画像の全体の画素領域との比に基づいてカットオフ周波数が設定されており、そのカットオフ周波数で前記空間フィルタ処理を行うこと、
    を特徴とする請求項4又は5に記載の撮像装置。
  7. 撮像対象からの入射光を受光し光電変換する撮像手段と、
    前記撮像手段から出力される撮影画像を画像処理する画像処理手段と、
    を備えて構成され、
    前記画像処理手段は、周囲の環境に応じてカットオフ周波数を設定し、そのカットオフ周波数の空間フィルタにより前記撮影画像の低周波成分を除去すること、
    を特徴とする撮像装置。
  8. 前記画像処理手段は、周囲の環境の明るさに基づいて前記カットオフ周波数を設定することを特徴とする請求項7に記載の撮像装置。
  9. 前記画像処理手段は、周囲の環境が明るいほど前記カットオフ周波数を高く設定することを特徴とする請求項8に記載の撮像装置。
  10. 前記画像処理手段は、天候状態に基づいて前記カットオフ周波数を設定することを特徴とする請求項7に記載の撮像装置。
  11. 前記画像処理手段は、雨天時に晴天時に比べて前記カットオフ周波数を低く設定することを特徴とする請求項10に記載の撮像装置。
  12. 車両に搭載され、車両進行方向を撮影することを特徴とする請求項1〜11のいずれかに記載の撮像装置。
  13. 車両の夜間走行時に運転者の視認支援を行う視認支援システムに用いられることを特徴とする請求項1〜12のいずれかに記載の撮像装置。
JP2003370834A 2003-03-05 2003-10-30 撮像装置 Expired - Fee Related JP4798945B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003370834A JP4798945B2 (ja) 2003-03-05 2003-10-30 撮像装置
US10/788,293 US7577299B2 (en) 2003-03-05 2004-03-01 Image pickup apparatus and image pickup method
DE102004010908A DE102004010908B4 (de) 2003-03-05 2004-03-05 Bildaufnahmevorrichtung und Bildaufnahmeverfahren

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003058955 2003-03-05
JP2003058955 2003-03-05
JP2003370834A JP4798945B2 (ja) 2003-03-05 2003-10-30 撮像装置

Publications (2)

Publication Number Publication Date
JP2004289786A true JP2004289786A (ja) 2004-10-14
JP4798945B2 JP4798945B2 (ja) 2011-10-19

Family

ID=32911465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003370834A Expired - Fee Related JP4798945B2 (ja) 2003-03-05 2003-10-30 撮像装置

Country Status (3)

Country Link
US (1) US7577299B2 (ja)
JP (1) JP4798945B2 (ja)
DE (1) DE102004010908B4 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249392A (ja) * 2006-03-14 2007-09-27 Clarion Co Ltd 車両周辺視認装置
JP2008090601A (ja) * 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JP4931831B2 (ja) * 2005-02-23 2012-05-16 フリール・システムズ・インコーポレイテッド 赤外線カメラ・システムとその方法
JP2016126459A (ja) * 2014-12-26 2016-07-11 株式会社リコー 画像処理装置、撮像システム、画像処理システム、およびプログラム
WO2019181096A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4260707B2 (ja) * 2004-08-05 2009-04-30 三菱電機株式会社 撮像装置
DE102004050990A1 (de) * 2004-09-30 2006-04-06 Robert Bosch Gmbh Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes
US20080159644A1 (en) * 2006-12-28 2008-07-03 Kelly Sean C Condition dependent sharpening in an imaging device
US9013620B2 (en) 2011-04-20 2015-04-21 Trw Automotive U.S. Llc Multiple band imager and method
TWI480810B (zh) 2012-03-08 2015-04-11 Ind Tech Res Inst 基於單一影像的影像內雨紋去除方法與裝置
JP6379811B2 (ja) * 2014-07-30 2018-08-29 カシオ計算機株式会社 表示装置、表示制御方法及び表示制御プログラム
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60231193A (ja) * 1984-05-01 1985-11-16 Honda Motor Co Ltd 車載用視界モニタシステム
JPH0278000A (ja) 1988-09-14 1990-03-19 Hitachi Ltd 車両運転支援装置
DE69033646T2 (de) * 1989-07-18 2001-02-22 Fuji Photo Film Co Ltd Verfahren und Einrichtung zur Steuerung der Belichtungsänderungen einer Videokamera
US5173788A (en) * 1990-02-07 1992-12-22 Brother Kogyo Kabushiki Kaisha Image reading device having moire depressing unit
JPH0556341A (ja) 1991-08-21 1993-03-05 Canon Inc 撮像装置
JPH07282247A (ja) 1994-04-06 1995-10-27 Ge Yokogawa Medical Syst Ltd 画像処理方法及び画像処理装置
JPH09247556A (ja) * 1996-03-09 1997-09-19 Sony Corp 固体撮像部を備えた撮像装置
JP3468001B2 (ja) * 1996-12-16 2003-11-17 日産自動車株式会社 車両用走行制御装置
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
JP4250214B2 (ja) * 1997-04-18 2009-04-08 富士フイルム株式会社 色変換方法
JPH1123972A (ja) * 1997-07-02 1999-01-29 Olympus Optical Co Ltd 結像光学装置
JP4114292B2 (ja) * 1998-12-03 2008-07-09 アイシン・エィ・ダブリュ株式会社 運転支援装置
US6973210B1 (en) * 1999-01-12 2005-12-06 Microsoft Corporation Filtering image data to obtain samples mapped to pixel sub-components of a display device
DE19961313B4 (de) 1999-12-18 2005-06-02 Bayerische Motoren Werke Ag Kameraeinrichtung für ein Fahrzeug
EP1947649A3 (en) * 2000-04-05 2014-07-09 Sony United Kingdom Limited Audio/video reproducing apparatus and method
JP2001313850A (ja) 2000-05-01 2001-11-09 Sony Corp 車載用近赤外線照射撮影装置
JP3807266B2 (ja) 2000-12-28 2006-08-09 株式会社豊田中央研究所 画像処理装置
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
TW538403B (en) * 2001-07-25 2003-06-21 Chi Mei Electronic Corp Signal processing method and its application
US6937775B2 (en) * 2002-05-15 2005-08-30 Eastman Kodak Company Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4931831B2 (ja) * 2005-02-23 2012-05-16 フリール・システムズ・インコーポレイテッド 赤外線カメラ・システムとその方法
JP2007249392A (ja) * 2006-03-14 2007-09-27 Clarion Co Ltd 車両周辺視認装置
JP2008090601A (ja) * 2006-10-02 2008-04-17 Konica Minolta Holdings Inc 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
US8055060B2 (en) 2006-10-02 2011-11-08 Konica Minolta Holdings, Inc. Image processing apparatus capable of operating correspondence between base image and reference image, method of controlling that image processing apparatus, and computer-readable medium recording program for controlling that image processing apparatus
JP2016126459A (ja) * 2014-12-26 2016-07-11 株式会社リコー 画像処理装置、撮像システム、画像処理システム、およびプログラム
WO2019181096A1 (ja) * 2018-03-19 2019-09-26 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2019181096A1 (ja) * 2018-03-19 2021-03-11 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US11436706B2 (en) 2018-03-19 2022-09-06 Sony Corporation Image processing apparatus and image processing method for improving quality of images by removing weather elements
JP7160085B2 (ja) 2018-03-19 2022-10-25 ソニーグループ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
DE102004010908A1 (de) 2004-09-23
US20040175053A1 (en) 2004-09-09
JP4798945B2 (ja) 2011-10-19
US7577299B2 (en) 2009-08-18
DE102004010908B4 (de) 2010-12-30

Similar Documents

Publication Publication Date Title
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
KR101367637B1 (ko) 감시장치
JP5441462B2 (ja) 車両用撮像装置
JP5629521B2 (ja) 障害物検知システム及び方法、障害物検知装置
WO2012067028A1 (ja) 画像入力装置および画像処理装置
KR20070005553A (ko) 촬상시스템
JP2007304407A (ja) 車載カメラ用自動露出装置および車載カメラ用自動露出方法
JP4798945B2 (ja) 撮像装置
JP5071198B2 (ja) 信号機認識装置,信号機認識方法および信号機認識プログラム
JP4927647B2 (ja) 車両周辺監視装置
WO2006123754A1 (ja) 車両用画像処理装置
CN110536814B (zh) 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法
JP4692273B2 (ja) 焦点検出装置およびカメラ
JP2005191954A (ja) 撮像システム
JP5256060B2 (ja) 撮像装置
JP2008230464A (ja) 車載カメラ用自動露出装置
JP2005189634A (ja) カメラの焦点検出装置
JP4075559B2 (ja) 撮影システム
JP2019204988A (ja) 画像処理装置及び画像処理方法
JP2005167831A (ja) 撮像装置
JP5017921B2 (ja) 車両用画像処理装置
JP2007263704A (ja) 視認不可能領域抽出装置、及び視覚支援装置
JPH0278000A (ja) 車両運転支援装置
KR101691043B1 (ko) 적외선을 이용하여 야간 컬러영상을 구현하는 폐쇄회로 텔레비전 카메라
JP2006005621A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090423

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090513

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110802

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees