JP2005236588A - 画像データ変換装置及びカメラ装置 - Google Patents

画像データ変換装置及びカメラ装置 Download PDF

Info

Publication number
JP2005236588A
JP2005236588A JP2004042187A JP2004042187A JP2005236588A JP 2005236588 A JP2005236588 A JP 2005236588A JP 2004042187 A JP2004042187 A JP 2004042187A JP 2004042187 A JP2004042187 A JP 2004042187A JP 2005236588 A JP2005236588 A JP 2005236588A
Authority
JP
Japan
Prior art keywords
conversion
luminance
image data
minimum
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004042187A
Other languages
English (en)
Other versions
JP3956311B2 (ja
Inventor
Takashi Nose
隆 能勢
Tatsuo Ogaki
龍男 大垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2004042187A priority Critical patent/JP3956311B2/ja
Priority to PCT/JP2005/002961 priority patent/WO2005081516A1/ja
Publication of JP2005236588A publication Critical patent/JP2005236588A/ja
Application granted granted Critical
Publication of JP3956311B2 publication Critical patent/JP3956311B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】 輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データに良好に変換する画像データ変換装置を提供する。
【解決手段】 変換前の画像データの輝度ヒストグラムが0.1%である輝度を最低変換輝度a1とし、前記輝度ヒストグラムが50%である輝度を中間変換輝度a2とし、前記輝度ヒストグラムが99.9%である輝度を最高変換輝度a3とする変換輝度設定手段と、中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))に基づき、中間変換輝度a2の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に位置するよう、変換特性を決定する変換特性決定手段と、前記変換特性に従い、変換前の画像データにおける最低変換輝度a1から最高変換輝度a3のデータを、目標の狭いダイナミックレンジの画像データに変換する画像データ変換手段とを備える構成とする。
【選択図】 図1

Description

本発明は、画像データの変換(圧縮・復調)装置及びこれを使用したカメラ装置に関する。
近時、カメラに使用されるイメージセンサとしては、CCDイメージセンサが一般的である。ところが、通常のCCDイメージセンサは、輝度のダイナミックレンジ(以下、場合により、単にダイナミックレンジという。)が50dB程度と狭く、屋外撮影などで得られる出力画像は、いわゆる白つぶれや黒つぶれ(明暗の飽和)が発生し易い。そこで、特許文献1に示されるように輝度分布の補正を行って出力画像の劣化を防止する技術や、非特許文献1に示されるように露光条件の異なる複数画像を合成してダイナミックレンジを拡大する技術などが提案されている。
しかし、輝度分布の補正を行うものは、ダイナミックレンジが拡大するわけではないので、必要な画像情報(対象物のコントラスト)が得られない可能性があり、例えば車両における周辺監視等に使用するには不十分であった。また、露光条件の異なる複数画像を合成する方法では、一つの画像(合成画像)を得るために、複数回撮影する必要があり、応答性が低下する問題があるため、やはり車両における周辺監視等に使用するには不十分であった。
なお、車両における周辺監視等の用途において、カメラに入力される情景は、昼間の走行環境に限定しても、直射日光で照らされた路面、トンネル内や種々の陰などに代表されるように、明るさの範囲が非常に広く、しかも車両の走行に伴って被写体である対象物(路面上の白線や他車両など)が高速で変化する。そして、車両における周辺監視等のためには、このような情景を逐次瞬時に撮像して、対象物をエッジ検出などの画像処理によって識別するために十分な情報量を有する画像データを、応答性高く出力するカメラ装置が必要になる。
そこで発明者らは、ダイナミックレンジが60dBを超える広ダイナミックレンジのイメージセンサを使用したカメラ装置を、車両における周辺監視等に適用することを検討している。しかしこの場合、ダイナミックレンジの狭い液晶ディスプレイに画像表示するなどのために、得られた広ダイナミックレンジ(高階調)の画像データを、必要な画像情報を保持したまま、狭いダイナミックレンジ(低階調)の画像データに変換する必要が生じる。
なお、非特許文献2には、ハードウェア処理によって、画像の低空間周波数成分を抑制することによりダイナミックレンジを圧縮する技術が提案されている。
特開2003−179809号公報 山田、外2名、「広ダイナミックレンジ視覚センサ」、豊田中央研究所R&Dレビュー、1995年6月、Vol.30,No.2、[平成16年1月3日検索]、インターネット<URL:http://www.tytlabs.co.jp/office/library/review/rev302pdf/302_035yamada.pdf 曽我、外3名、「後方カメラ用画像処理技術(2)ダイナミックレンジ圧縮による視認性改善」、豊田中央研究所R&Dレビュー、2003年6月、Vol.38,No.2、[平成16年1月3日検索]、インターネット<URL:http://www.tytlabs.co.jp/office/library/review/rev382pdf/382_037soga.pdf
ところが、上述した非特許文献2の技術には、次のような問題がある。
まず、規模の大きいハードウェアが必要になるため、コスト増や装置の大型化の問題がある。
また、一枚一枚の元画像を解析した後に、同じ画像にフィードバックをかけなければならない制約条件があるため、元画像のデータ(640×480)のすべてを使っているわけではなく、半分のデータ(640×240)だけを取り込み、残りの半分を取り込まない間に処理をして、出力する方法を取っている。従って、縦方向の解像度が1/2になるとともに、画像出力が約一フレーム分遅れる問題がある。
そこで本発明は、上述した問題が解消され、輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データに良好に変換する画像データ変換装置を提供することを目的としている。
本願の画像データ変換装置は、輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データに変換する画像データ変換装置であって、
変換前の画像データの輝度ヒストグラムがゼロ%近傍の規定値h1である輝度を最低変換輝度a1とし、前記輝度ヒストグラムが50%又はその近傍の規定値h2である輝度を中間変換輝度a2とし、前記輝度ヒストグラムが100%近傍の規定値h3である輝度を最高変換輝度a3とする変換輝度設定手段と、
前記中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))に基づいて、前記中間変換輝度a2の画素データが、変換後の画像データにおける前記ダイナミックレンジの中央側に位置するように、変換特性を決定する変換特性決定手段と、
前記変換特性に従って、変換前の画像データにおける最低変換輝度a1から最高変換輝度a3のデータを、目標の狭い前記ダイナミックレンジの画像データに変換し、変換後の画像データとして出力する画像データ変換手段とを備えたものである。
本願の画像データ変換装置では、上記変換輝度設定手段と画像データ変換手段の機能により、ダイナミックレンジの広い変換前の画像データのうち、輝度ヒストグラムがゼロ%近傍である輝度(最低変換輝度a1)から100%近傍である輝度(最高変換輝度a3)までの限定された範囲(変換輝度幅)のデータのみが変換されて、変換後の画像データが生成される。このため、広ダイナミックレンジ(高階調)の画像データを、必要な画像情報を保持したまま、狭いダイナミックレンジ(低階調)の画像データに変換することができる。
しかも変換特性は、変換特性決定手段により、中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))に基づいて、中間変換輝度a2の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に位置するように、設定される。このため、度数が比較的高い輝度のデータ(中間変換輝度a2付近の画素データ)が、暗側又は明側に偏っていた場合には、このデータが変換後のダイナミックレンジの中央側(中間輝度の側)に移動するように補正されることになる。したがって、変換後の画像が全体的に暗すぎたり、全体的に明るすぎたりすることが抑制され、全体的に中間的な階調にある良好な画像が常に得られる。
また本変換装置は、元画像の輝度ヒストグラムにより限定した範囲を、同ヒストグラムにより決定される変換特性で変換するものであるため、非特許文献2の技術に比較して、簡単なハードウェアで実現でき、低コスト化や小型化が図れる利点がある。
また本変換装置は、非特許文献2の技術のように画像にフィードバックをかけるものではないので、それによる解像度の低下や画像出力の遅れが無いという特長がある。
また本変換装置は、上述したように、画像の輝度分布によって最適な変換特性を選ぶ方式であるため、ディスプレイ表示等のための従来の一般的な画像データ変換方式と異なり、コントラストが落ちてしまう現象が防止される効果もある。なお、ディスプレイ表示等のための従来の一般的な画像データ変換方式は、一定の変換特性カーブ(例えば、sRGBと呼ばれるもの)で変換する方式であるため、ダイナミックレンジが広い画像に対して、変換後の画像(ディスプレイに表示する画像)のコントラストが落ちてしまう問題があった。
次に、本画像データ変換装置の好ましい態様は、前記変換輝度設定手段が設定した最低変換輝度a1が、所定の許容最低輝度を下回る場合には、この最低変換輝度a1を、前記許容最低輝度に補正する最低変換輝度補正手段を備えるものである。
この態様であると、許容最低輝度を下回る無用な黒領域部分が変換の対象になることを避けることができる。
なお、上記最低変換輝度補正手段を設けた場合には、次のような中間変換輝度補正手段をさらに備えた態様とすることが望ましい。即ち、最低変換輝度a1を補正した結果、前記最低変換輝度a1が前記中間変換輝度a2を超えた場合には、中間変換輝度a2を、前記最低変換輝度a1と最高変換輝度a3の平均値に補正する中間変換輝度補正手段を備えた構成とすることが望ましい。
この態様であると、最低変換輝度a1を補正した結果、前記最低変換輝度a1が前記中間変換輝度a2を超えて、本装置が機能しなくなる不具合を回避できる。
また、本画像データ変換装置の好ましい別の態様は、前記変換輝度設定手段が設定した前記最低変換輝度a1と前記最高変換輝度a3の差である変換輝度幅が、所定の許容最低輝度幅を下回る場合には、前記変換輝度幅が前記許容最低輝度幅に一致するように、前記最低変換輝度a1又は/及び最高変換輝度a3を補正する輝度幅補正手段を備えるものである。
この態様であると、変換輝度幅が過度に狭くなることが防止される。
次に、本願のカメラ装置は、前記ダイナミックレンジが60dBを超える広ダイナミックレンジのイメージセンサと、このイメージセンサにより得られた画像データを変換する本願の画像データ変換装置とを備えたものである。
このカメラ装置であると、上記イメージセンサにより、白つぶれや黒つぶれのない画像データが1回の撮影で瞬時に得られ、ダイナミックレンジ拡大のために露光条件を変えて複数回撮影するといった応答性が低下する特殊な動作は不要である。そして、本願の画像データ変換装置により、前述したように、この画像データのうちの有効な部分のみが、明るさの偏りを補正されコントラストも保持された狭いダイナミックレンジ(低階調)の画像データに変換される。
したがって、明るさの範囲が非常に広く、対象物が高速で変化する情景も、逐次瞬時に撮像して、対象物をエッジ検出などの画像処理によって識別するために十分な情報量を有する画像データであって、しかも扱い易い低階調で明るさの偏りを補正されてコントラストも保持された良好な画像データを、応答性高く出力することができる。
なお、本発明におけるイメージセンサは、広ダイナミックレンジのものであれば、構成や方式を限定されるものではなく、例えばCMOS型(蓄積型、バランス型、対数変換型)イメージセンサであってもよいし、CCD型イメージセンサ等であってもよい。
本発明の画像データ変換装置によれば、輝度のダイナミックレンジの広い画像データを前記ダイナミックレンジの狭い画像データ(視認性に優れるとともに画像処理に適したコントラストの画像データ)に良好に変換することができる。
以下、本発明の実施の形態の一例を図面に基づいて説明する。
図1(a)は、本例の監視システム(画像データ変換装置及びカメラ装置を含むシステム)の全体構成を示す図である。図1(b)は、変換前の画像データ例を示す図であり、図1(c)は、画像データの変換処理を説明する図である。図2(a)は、変換特性例を示す図であり、図2(b)は、変換後の画像データ例を示す図である。また図3(a)は、変換輝度幅確保のための最低変換輝度a1の補正を説明する図であり、図3(b)は、最低変換輝度a1を許容最低輝度MIN以上にし、かつ変換輝度幅Wを確保するための最低変換輝度a1や最高変換輝度a3の補正を説明する図である。また図4は、画像データ変換装置の処理内容を説明するフローチャートである。
本例の監視システムは、図1(a)に示すように、カメラ装置1と、NTSC変換装置2と、モニタ3とを備える。またカメラ装置1は、カメラ本体4と画像データ変換装置5を有する。
カメラ本体4は、例えば120dBのダイナミックレンジを持つCMOSイメージセンサよりなるカメラである。このカメラ本体4は、集光用の光学系を備えるとともに、イメージセンサの駆動制御回路に加えて、AGC(自動ゲイン調整)回路や、AD変換(アナログ→デジタル変換)回路を内蔵しており、10ビット(1024階調)の輝度信号を出力する。
画像データ変換装置5は、DSP(Digital Signal Processor)を含むASIC(特定用途向け集積回路)により構成され、いわゆるマイコンのCPUよりも高速で画像データ変換処理(詳細後述する)を行う。なおこの場合、画像データ変換装置5は、カメラ本体4から出力される画像データにおける10ビット(1024階調)の輝度信号を、8ビット(256階調)に変換して出力する。
NTSC変換装置2は、モニタ3での画像表示のために、画像データ変換装置5から出力された画像信号の形態を、所定のテレビ映像信号方式(NTSC方式)の形態に変換してモニタ3に出力する周知の装置である。
次に、画像データ変換装置5の主な変換処理機能について説明する。
画像データ変換装置5のDSPは、カメラ本体4から1フレーム分の画像データが入力されると、この画像データの輝度ヒストグラム(例えば、図1(b)に示す)から、最低変換輝度a1、中間変換輝度a2、及び最高変換輝度a3を決定するよう、動作プログラムが設定され(後述するステップS1参照)、本発明の変換輝度設定手段を実現する。具体的には、輝度ヒストグラムが規定値h1(=0.1%)である輝度を最低変換輝度a1とし、輝度ヒストグラムが規定値h2(=50%)である輝度を中間変換輝度a2とし、輝度ヒストグラムが規定値h3(=99.9%)である輝度を最高変換輝度a3とする。
なお、変換前の画像データにおける最低変換輝度a1から最高変換輝度a3までの範囲の画像データのみが、変換の対象である変換輝度幅となる。
また、画像データ変換装置5のDSPは、中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))に基づいて、中間変換輝度a2の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に移動するように、変換特性を決定するよう、動作プログラムが設定され(後述するステップS10参照)、本発明の変換特性決定手段を実現する。
ここで、変換特性は、変換前の画像データにおける使用範囲のデータの輝度信号を、目標の狭いダイナミックレンジ(256階調)の輝度信号を持つ画像データに変換するための特性であり、例えば図1(c)に示すような投影線として表すことができ、例えば図2(a)に示すように相対位置Aに対応して複数設定されている。
そして、図1(c)及び図2(a)において、一点鎖線で示す直線は、中立の変換特性(相対位置A=0.5)を示す投影線であり、この場合、変換後の輝度ヒストグラムは、図1(c)の左側(又は図2(b))に一点鎖線で示すようになり、変換前の輝度ヒストグラム(変換輝度幅の部分)の単なる相似形となる。しかし、相対位置Aが0.5よりも小さいと(即ち、中間変換輝度a2が変換前の変換輝度幅において暗側に偏っていると)、図2(a)に示すように、上記投影線が上に凸の曲線となる変換特性となり、この場合、変換後の輝度ヒストグラムは、例えば図1(c)の左側(又は図2(b))に実線で示すようになって、度数が比較的高い輝度のデータ(中間変換輝度a2付近の画素データ)が、変換後のダイナミックレンジの暗側から中央側(中間輝度の側)に移動するように補正されることになる。また逆に、相対位置Aが0.5よりも大きいと(即ち、中間変換輝度a2が変換前の変換輝度幅において明側に偏っていると)、図2(a)に示すように、上記投影線が下に凸の曲線となる変換特性となり、この場合、度数が比較的高い輝度のデータ(中間変換輝度a2付近の画素データ)が、変換後のダイナミックレンジの明側から中央側(中間輝度の側)に移動するように補正されることになる。
なお、上述した変換特性としては、具体的には、モニタの非線形性に対処するための補正特性であるいわゆるガンマ曲線を使用することができるが、上述したように相対位置Aに応じて、上に凸または下に凸となるものであればいかなるものでもよい。例えば、単なる円弧状の曲線を使用してもよい。また、この変換特性は、予め各種の相対位置Aに対応するものを複数設定しておき、各変換特性のデータをルックアップテーブルとして、画像データ変換装置5内のメモリに登録して使用することが望ましい。
そして、画像データ変換装置5のDSPは、上述したように変換特性を決定すると、この変換特性に従って、変換前の画像データにおける最低変換輝度a1から最高変換輝度a3のデータを、目標の狭いダイナミックレンジの画像データに変換し、変換後の画像データとして出力し、本発明の画像データ変換手段を実現する(後述するステップS10,S11参照)。
次に、画像データ変換装置5のその他の処理機能や処理手順について、図4のフローチャートに従って説明する。
画像データ変換装置5は、カメラ本体4から1フレーム分の画像データが入力されると、図4の処理を開始し、まずステップS1において、入力された画像データの輝度ヒストグラムから、前述の最低変換輝度a1、中間変換輝度a2、及び最高変換輝度a3を決定する。
次いでステップS2では、予め設定された許容最低輝度MINに、予め設定された変換輝度幅の最低幅Wを加算した値よりも、最高変換輝度a3の方が小さいか否か判定し、判定結果が肯定的の場合にはステップS3に進み、否定的の場合にはステップS4に進む。
なお、許容最低輝度MINは、画像データとして無用な黒領域部分が変換されて使用されないようにするためのものである。また、最低幅Wは、変換輝度幅が過度に狭くなることを防止するためのものである。
一方、ステップS4では、最低変換輝度a1が許容最低輝度MINよりも小さいか否か判定し、判定結果が肯定的の場合にはステップS5に進み、否定的の場合にはステップS6に進む。
またステップS6では、最高変換輝度a3と最低変換輝度a1の差(変換輝度幅の幅)が最低幅Wよりも小さいか否か判定し、判定結果が肯定的の場合にはステップS7に進み、否定的の場合にはステップS10に進む。
そしてステップS3では、最低変換輝度a1を許容最低輝度MINに変更し、最高変換輝度a3を、許容最低輝度MINと最低幅Wの和に変更する補正を行い、ステップS8に進む。
またステップS5では、最低変換輝度a1を、許容最低輝度MINに変更する補正を行い、ステップS8に進む。
またステップS7では、最低変換輝度a1を、最高変換輝度a3と最低幅Wの差に変更する補正を行い、ステップS10に進む。
次にステップS8では、中間変換輝度a2が最低変換輝度a1よりも小さいか否か判定し、判定結果が肯定的の場合にはステップS9に進み、否定的の場合にはステップS10に進む。
そしてステップS9では、中間変換輝度a2を、最低変換輝度a1と最高変換輝度a3の平均値に変更する補正を行い、ステップS10に進む。
次いでステップS10では、中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))を算出し、この相対位置Aに対応した変換特性のルックアップテーブルを決定し、この変換特性に従って、変換前の画像データにおける最低変換輝度a1から最高変換輝度a3のデータを、目標の狭いダイナミックレンジの画像データ(この場合、256階調)に変換する。
そして、ステップS11で、変換後の画像データを出力し、1フレーム分の変換処理を終了する。
以上説明した処理によれば、前述の変換輝度設定手段、変換特性決定手段、及び画像データ変換手段としての機能が実現されるとともに、本発明の最低変換輝度補正手段、中間変換輝度補正手段、及び輝度幅補正手段としての機能が実現される。
即ち、ステップS2〜S5によれば、最低変換輝度a1が、所定の許容最低輝度MINを下回る場合には、この最低変換輝度a1が、例えば図3(b)に示す如く許容最低輝度MINに補正され、本発明の最低変換輝度補正手段が実現される。
また、ステップS8〜S9によれば、最低変換輝度a1を補正した結果、最低変換輝度a1が中間変換輝度a2を超えた場合、中間変換輝度a2が、最低変換輝度a1と最高変換輝度a3の平均値に補正され、本発明の中間変換輝度補正手段が実現される。
また、ステップS2〜S7によれば、最低変換輝度a1と最高変換輝度a3の差である変換輝度幅が、許容最低輝度幅Wを下回る場合には、例えば図3(a)又は(b)に示す如く、変換輝度幅が許容最低輝度幅Wに一致するように、最低変換輝度a1又は/及び最高変換輝度a3が補正され、本発明の輝度幅補正手段が実現される。
なお、図3(a),(b)において一点鎖線で示す斜めの線は、前述した変換特性を示す投影線(a1、a2、又はa3の補正なしの場合)であり、この投影線は、a1、a2、又はa3の補正により実線で示すように当然変化する。
以上説明した本例の画像データ変換装置5では、上記変換輝度設定手段と画像データ変換手段の機能により、ダイナミックレンジの広い変換前の画像データのうち、輝度ヒストグラムが0.1%である最低変換輝度a1から99.9%である最高変換輝度a3までの限定された範囲(変換輝度幅)のデータのみが変換されて、変換後の画像データが生成される。このため、広ダイナミックレンジ(高階調)の画像データを、必要な画像情報を保持したまま、狭いダイナミックレンジ(低階調)の画像データに変換することができる。
しかも変換特性は、前記変換特性決定手段により、中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))に基づいて、中間変換輝度a2の画素データが、変換後の画像データにおけるダイナミックレンジの中央側に位置するように、設定される。このため、度数が比較的高い輝度のデータ(中間変換輝度a2付近の画素データ)が、暗側又は明側に偏っていた場合には、このデータが変換後のダイナミックレンジの中央側(中間輝度の側)に移動するように補正されることになる。したがって、変換後の画像が全体的に暗すぎたり、全体的に明るすぎたりすることが抑制され、全体的に中間的な階調にある良好な画像が常に得られる。
また画像データ変換装置5は、元画像の輝度ヒストグラムにより限定した範囲を、同ヒストグラムにより決定される変換特性で変換するものであるため、非特許文献2の技術に比較して、簡単なハードウェア(この場合、DSPよりなる簡素な構成)で実現でき、低コスト化や小型化が図れる利点がある。
また画像データ変換装置5は、非特許文献2の技術のように画像にフィードバックをかけるものではないので、それによる解像度の低下や画像出力の遅れが無いという特長がある。
また画像データ変換装置5は、上述したように、画像の輝度分布によって最適な変換特性を選ぶ方式であるため、ディスプレイ表示等のための従来の一般的な画像データ変換方式と異なり、コントラストが落ちてしまう現象が防止される効果もある。
また、本例の画像データ変換装置は、最低変換輝度a1が、許容最低輝度MINを下回る場合には、この最低変換輝度a1を、前記許容最低輝度に補正する最低変換輝度補正手段を備える。このため、許容最低輝度MINを下回る無用な黒領域部分が変換の対象になることを避けることができる。
また、本例の画像データ変換装置は、最低変換輝度a1を補正した結果、最低変換輝度a1が中間変換輝度a2を超えた場合には、中間変換輝度a2を、最低変換輝度a1と最高変換輝度a3の平均値に補正する中間変換輝度補正手段を備えている。このため、最低変換輝度a1を補正した結果、最低変換輝度a1が中間変換輝度a2を超えて、本装置が機能しなくなる不具合を回避できる。
また、本例の画像データ変換装置は、最低変換輝度a1と最高変換輝度a3の差である変換輝度幅が、許容最低輝度幅Wを下回る場合には、前記変換輝度幅が許容最低輝度幅Wに一致するように、最低変換輝度a1又は/及び最高変換輝度a3を補正する輝度幅補正手段を備える。このため、変換輝度幅が過度に狭くなることが防止される。
次に、本例のカメラ装置1によれば、ダイナミックレンジが60dBを超えるイメージセンサよりなるカメラ本体4により、白つぶれや黒つぶれのない画像データが1回の撮影で瞬時に得られ、ダイナミックレンジ拡大のために露光条件を変えて複数回撮影するといった応答性が低下する特殊な動作は不要である。そして、画像データ変換装置5により、前述したように、この画像データのうちの有効な部分のみが、明るさの偏りを補正されコントラストも保持された狭いダイナミックレンジ(低階調)の画像データに変換される。
したがって、明るさの範囲が非常に広く、対象物が高速で変化する情景も、逐次瞬時に撮像して、対象物をエッジ検出などの画像処理によって識別するために十分な情報量を有する画像データであって、しかも扱い易い低階調で明るさの偏りを補正されてコントラストも保持された良好な画像データを、応答性高く出力することができる。
なお、本発明は上述した形態例に限られず、各種の変形や応用があり得る。
例えば、最低変換輝度a1、中間変換輝度a2、及び最高変換輝度a3をそれぞれ決定するヒストグラムの数値は、前述した具体例に限定されないことはいうまでもない。
また、上記形態例では、画像を単にモニタに表示する監視システムに本発明を適用した例を示したが、これに限定されないこともいうまでもない。例えば、画像データを分析して車両の自動走行等に使用する車両における監視システムに適用しても効果的であるし、デジタルビデオカメラ等に適用することも可能である。
画像データ変換装置を含む監視システムの構成等を示す図である。 変換特性例や変換後の画像データ例を示す図である。 最低変換輝度a1や最高変換輝度a3の補正を説明する図である。 画像データ変換装置の処理内容を説明するフローチャートである。
符号の説明
1 カメラ装置
4 カメラ本体
5 画像データ変換装置

Claims (5)

  1. 輝度のダイナミックレンジが広い画像データを前記ダイナミックレンジが狭い画像データに変換する画像データ変換装置であって、
    変換前の画像データの輝度ヒストグラムがゼロ%近傍の規定値h1である輝度を最低変換輝度a1とし、前記輝度ヒストグラムが50%又はその近傍の規定値h2である輝度を中間変換輝度a2とし、前記輝度ヒストグラムが100%近傍の規定値h3である輝度を最高変換輝度a3とする変換輝度設定手段と、
    前記中間変換輝度a2の相対位置A(A=(a2−a1)/(a3−a1))に基づいて、前記中間変換輝度a2の画素データが、変換後の画像データにおける前記ダイナミックレンジの中央側に位置するように、変換特性を決定する変換特性決定手段と、
    前記変換特性に従って、変換前の画像データにおける最低変換輝度a1から最高変換輝度a3のデータを、目標の狭い前記ダイナミックレンジの画像データに変換し、変換後の画像データとして出力する画像データ変換手段とを備えることを特徴とする画像データ変換装置。
  2. 前記変換輝度設定手段が設定した最低変換輝度a1が、所定の許容最低輝度を下回る場合には、この最低変換輝度a1を、前記許容最低輝度に補正する最低変換輝度補正手段を備えることを特徴とする請求項1に記載の画像データ変換装置。
  3. 前記最低変換輝度a1を補正した結果、前記最低変換輝度a1が前記
    中間変換輝度a2を超えた場合には、中間変換輝度a2を、前記最低変換輝度a1と最高変換輝度a3の平均値に補正する中間変換輝度補正手段を備えることを特徴とする請求項2に記載の画像データ変換装置。
  4. 前記変換輝度設定手段が設定した前記最低変換輝度a1と前記最高変換輝度a3の差である変換輝度幅が、所定の許容最低輝度幅を下回る場合には、前記変換輝度幅が前記許容最低輝度幅に一致するように、前記最低変換輝度a1又は/及び最高変換輝度a3を補正する輝度幅補正手段を備えることを特徴とする請求項1乃至3の何れかに記載の画像データ変換装置。
  5. 前記ダイナミックレンジが60dBを超えるイメージセンサと、
    このイメージセンサにより得られた画像データを変換する請求項1乃至4の何れかに記載の画像データ変換装置と
    を備えたことを特徴とするカメラ装置。
JP2004042187A 2004-02-19 2004-02-19 画像データ変換装置及びカメラ装置 Expired - Lifetime JP3956311B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004042187A JP3956311B2 (ja) 2004-02-19 2004-02-19 画像データ変換装置及びカメラ装置
PCT/JP2005/002961 WO2005081516A1 (ja) 2004-02-19 2005-02-17 画像データ変換装置及びカメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004042187A JP3956311B2 (ja) 2004-02-19 2004-02-19 画像データ変換装置及びカメラ装置

Publications (2)

Publication Number Publication Date
JP2005236588A true JP2005236588A (ja) 2005-09-02
JP3956311B2 JP3956311B2 (ja) 2007-08-08

Family

ID=34879247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004042187A Expired - Lifetime JP3956311B2 (ja) 2004-02-19 2004-02-19 画像データ変換装置及びカメラ装置

Country Status (2)

Country Link
JP (1) JP3956311B2 (ja)
WO (1) WO2005081516A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007221209A (ja) * 2006-02-14 2007-08-30 Nikon Corp カメラ、撮像方法、露出演算装置およびプログラム
JP2007310886A (ja) * 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
JP2007310887A (ja) * 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
JP2010079552A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像処理装置および画像処理方法
JP2012532335A (ja) * 2009-06-29 2012-12-13 トムソン ライセンシング ゾーン・ベースのトーン・マッピング
JP2013517723A (ja) * 2010-01-19 2013-05-16 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ イメージエンコーダおよびイメージデコーダ
WO2017110823A1 (ja) * 2015-12-25 2017-06-29 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
JP2017181828A (ja) * 2016-03-31 2017-10-05 シャープ株式会社 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
JP2018007194A (ja) * 2016-07-08 2018-01-11 三菱電機株式会社 映像記録装置および映像再生装置
JP2018078520A (ja) * 2016-11-11 2018-05-17 株式会社デンソー 画像処理装置
US10475162B2 (en) 2016-01-27 2019-11-12 Canon Kabushiki Kaisha Image processing device, method, and storage medium for gamma correction based on illuminance

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672796B2 (ja) 2010-01-13 2015-02-18 株式会社ニコン 画像処理装置、画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069333B2 (ja) * 1996-11-13 2008-04-02 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP4292679B2 (ja) * 1999-05-10 2009-07-08 コニカミノルタホールディングス株式会社 固体撮像装置
JP2001045298A (ja) * 1999-07-27 2001-02-16 Sharp Corp 画像処理方法、画像処理プログラムを記録した記録媒体および画像処理装置
JP3685712B2 (ja) * 2000-11-16 2005-08-24 シャープ株式会社 ダイナミックガンマ補正装置
JP2002204388A (ja) * 2000-12-28 2002-07-19 Ricoh Co Ltd 自動露出制御装置、自動露出制御方法及び記録媒体
JP3601528B2 (ja) * 2002-07-18 2004-12-15 凸版印刷株式会社 画像変換装置、撮像装置、プリンタ装置、携帯電話装置、サーバ装置及び画像変換サービス方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687492B2 (ja) * 2006-02-14 2011-05-25 株式会社ニコン カメラ、撮像方法、露出演算装置およびプログラム
JP2007221209A (ja) * 2006-02-14 2007-08-30 Nikon Corp カメラ、撮像方法、露出演算装置およびプログラム
JP2007310886A (ja) * 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
JP2007310887A (ja) * 2006-05-17 2007-11-29 Xerox Corp 画像データの自動マッピング方法及び画像処理デバイス
US8698831B2 (en) 2008-09-25 2014-04-15 Omron Corporation Image processing device and image processing method
JP2010079552A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像処理装置および画像処理方法
JP2012532335A (ja) * 2009-06-29 2012-12-13 トムソン ライセンシング ゾーン・ベースのトーン・マッピング
JP2013517723A (ja) * 2010-01-19 2013-05-16 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ イメージエンコーダおよびイメージデコーダ
US9552652B2 (en) 2010-01-19 2017-01-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Image encoder and image decoder
WO2017110823A1 (ja) * 2015-12-25 2017-06-29 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
US10475162B2 (en) 2016-01-27 2019-11-12 Canon Kabushiki Kaisha Image processing device, method, and storage medium for gamma correction based on illuminance
JP2017181828A (ja) * 2016-03-31 2017-10-05 シャープ株式会社 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
JP2018007194A (ja) * 2016-07-08 2018-01-11 三菱電機株式会社 映像記録装置および映像再生装置
JP2018078520A (ja) * 2016-11-11 2018-05-17 株式会社デンソー 画像処理装置

Also Published As

Publication number Publication date
WO2005081516A1 (ja) 2005-09-01
JP3956311B2 (ja) 2007-08-08

Similar Documents

Publication Publication Date Title
US10825426B2 (en) Merging multiple exposures to generate a high dynamic range image
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
JP4622899B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP3956311B2 (ja) 画像データ変換装置及びカメラ装置
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
JP2009017306A (ja) 画像表示装置及びそれを用いた撮像装置
JP6613697B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP2006237851A (ja) 画像入力装置
JP4710403B2 (ja) 車両用画像生成装置および方法
JP3709981B2 (ja) 階調補正装置及び方法
US7639287B2 (en) Video imaging apparatus having non-linear input-output characteristic for improved image contrast control
JP2004007202A (ja) 画像処理装置
US8896729B2 (en) Image processing apparatus and image processing method
JP2006050042A (ja) 画像処理装置
KR102247597B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2006165828A (ja) 階調補正装置
US11593925B2 (en) Apparatus, method, and storage medium
KR20160001582A (ko) 화상 처리 장치 및 화상 처리 방법
WO2015141860A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP2007221415A (ja) 画像処理装置およびその方法、プログラム、記録媒体
JP2008311977A (ja) 画像処理装置
JP2011181019A (ja) 俯瞰画像生成装置
JP4826260B2 (ja) 撮像装置及びプログラム
JP2009038412A (ja) 画像処理回路、半導体装置、画像処理装置
JP2010193112A (ja) 画像処理装置およびディジタルスチルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070426

R150 Certificate of patent or registration of utility model

Ref document number: 3956311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140518

Year of fee payment: 7

EXPY Cancellation because of completion of term