JP2017533505A - ヒストグラム拡散を伴う自動車両カメラ装置 - Google Patents

ヒストグラム拡散を伴う自動車両カメラ装置 Download PDF

Info

Publication number
JP2017533505A
JP2017533505A JP2017517762A JP2017517762A JP2017533505A JP 2017533505 A JP2017533505 A JP 2017533505A JP 2017517762 A JP2017517762 A JP 2017517762A JP 2017517762 A JP2017517762 A JP 2017517762A JP 2017533505 A JP2017533505 A JP 2017533505A
Authority
JP
Japan
Prior art keywords
value
image
pixel
histogram
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017517762A
Other languages
English (en)
Other versions
JP6411644B2 (ja
Inventor
マーク、パトリック、グリフィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Publication of JP2017533505A publication Critical patent/JP2017533505A/ja
Application granted granted Critical
Publication of JP6411644B2 publication Critical patent/JP6411644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

発明は、自動車両(3)用のカメラ装置(4)を動作させるための方法に関する。カメラ装置(4)の画像センサ(5)は、カメラ装置(4)の環境(8)の生画像(R)を与える。画像処理装置(6)は、ヒストグラム拡散(12)の拡散関数(13)を用いて、生画像(R)から出力画像(I)を生成する。拡散関数(13)は、生画像(R)の各ピクセルのそれぞれの入力ピクセル値(Li)から、出力画像(I)の対応するピクセルのそれぞれの1つの出力ピクセル値(Lo)を生成する。本発明の目的は、ヒストグラム拡散(12)を捕捉状況に適合させることである。環境(8)の明るさ(B1,B2)に応じたカメラ装置(4)の少なくとも1つのパラメータ値(S,G)が取得され、少なくとも1つの取得されたパラメータ値(S,G)に応じて出力ピクセル値(Lo)における限界値(L)が拡散関数(13)で設定される。

Description

本発明は、自動車両用のカメラ装置を動作させるための方法に関する。カメラ装置の環境の生画像は、カメラ装置の画像センサによって与えられる。画像処理装置により、出力画像がヒストグラム拡散に基づいて生画像から生成される。方法を行うためのカメラ装置及びカメラ装置を伴う自動車両も本発明と関連付けられる。
画像センサを用いて生画像を生成する際には、この生画像が望ましくないほど低いダイナミックレンジを有する可能性がある。生画像が、例えば、そのピクセル値がそれぞれ明度ごとに8ビットにより或いは輝度値又は明度値に関して8ビットにより表されるピクセルを有する場合、各色における又は明るさにおける各ピクセルは、実質的に全部で256個の異なる値、例えば0〜255のピクセル値を有し得る。それに対応して、画像センサの生画像には、そのピクセル値が最も小さい最も暗いピクセルと、そのピクセル値が最も大きい最も明るいピクセルとが存在する。最も暗いピクセルと最も明るいピクセルとによって制限される値区間が生画像のダイナミックレンジに相当する。例えば、最も暗いピクセルが30の明度値を有するとともに最も明るいピクセルが120の明度値を有する場合には、生画像が30〜120のダイナミックレンジを有する。これは、0から255にまで及ぶ最大可能ダイナミックレンジ(8ビットピクセル値を伴う)よりも低い。
ダイナミックレンジを向上させるためにヒストグラム拡散が知られており、このヒストグラム拡散は、拡散関数を用いて、生画像の各ピクセルのそれぞれの入力ピクセル値から、出力画像の対応するピクセルのそれぞれの1つの出力ピクセル値を決定する。その結果、出力画像を生画像の代わりに更に使用することができる。従来技術では、最も暗いピクセル、一例では値30が値0に対してマッピングされるように拡散関数を設計することが知られている。最も明るいピクセル、一例では値120が、最大可能ピクセル値に対して、したがって例えば255に対してマッピングされる。したがって、ピクセルは、最も暗いピクセルと最も明るいピクセルとの間で、拡散関数により、例えば線形補間により又はいわゆるS字カーブにより補間される。ヒストグラム拡散により、出力画像中の画像コントラストは、生画像と比べて向上する。
自動車両用カメラ装置を使用する際には、全ての状況で画像コントラストは重要でない。ヒストグラム拡散による画像コントラストの向上によって画像領域の認識可能性が悪化される状況が観察されてきた。これにより、自動車両のドライバーは、例えば自動車両を駐車させるための支援としてカメラ装置をもはや使用できなくなる。とりわけ、特に低い周辺光の場合、したがって自動車両の環境の明るさが所定の閾値を下回る場合には、ヒストグラム拡散により、既に比較的暗い生画像中の画像領域がヒストグラム拡散によって更に暗くされることが確認されてきた。その結果、ドライバーは、出力画像中の画像細部をもはや認識できない。
現在の視覚システムは、画像に対するヒストグラムストレッチングを単純な有効無効機能として可能する場合がある。
本発明は、カメラ装置におけるヒストグラム拡散を捕捉状況に適合させるという目的に基づく。
目的は独立請求項の主題によって解決される。本発明の有利な進展は、従属請求項の特徴から明らかである。
本発明によれば、自動車両用のカメラ装置を動作させるための方法が提供される。カメラ装置の画像センサ、例えば、白黒画像センサ又はカラー画像センサ又は赤外線画像センサにより、カメラ装置の環境の生画像が与えられる。生画像は、例えば、車両外部又は車両内部の環境領域を表すことができる。また、画像センサは、生画像シーケンスを生成するビデオ画像センサであってもよい。ここでは、方法をそれぞれの生画像ごとに個別に行うことができる。生画像は例えばX×Yピクセルのサイズを有することができ、その場合、X及びYはそれぞれ例えば40〜600の範囲内となり得る。
出力画像が画像処理装置によって生画像から生成される。画像処理装置は、例えば、カメラハウジングに組み込まれるコントローラ又は回路であってもよい。画像処理装置は、例えば、DSP(デジタル信号プロセッサ)又はマイクロコントローラを有することができる。画像処理装置は、生画像の各ピクセルのそれぞれの入力ピクセル値から、出力画像の対応するピクセルのそれぞれの1つの出力ピクセル値を決定する。ここで、対応するとは、ピクセルが同じ画像座標又はピクセル座標を有することができることを意味する。画像処理装置は、ヒストグラムストレッチング又はヒストグラム拡散のストレッチング関数又は拡散関数を使用する。既に説明したように、拡散関数は、例えば、線形又は直線拡散関数或いはS字カーブ関数であってもよい。
本発明に係る方法では、環境の明るさに応じたカメラ装置の少なくとも1つのパラメータ値が取得される。したがって、少なくとも1つのパラメータ値は、環境の明るさと関連がある。少なくとも1つの取得されたパラメータ値に応じて、出力ピクセル値における少なくとも1つの限界値が拡散関数で設定される。したがって、例えば最大値及び/又は最小値を設定できる。言い換えると、出力画像は、最も暗いピクセル及び/又は最も明るいピクセルがそれぞれ限界値によって制限されるピクセルを有し、最も暗いピクセルの場合には下端が又は最も明るいピクセルの場合には上端がそれぞれの限界値によって制限される。
また、自動車両用のカメラ装置は、本発明に係る方法の一実施形態を行うようになっている発明とも関連付けられる。このため、カメラ装置は、生画像を与えるための画像センサを有し、この画像センサは、カメラ装置の環境を表す又は撮像する。更に、カメラ装置は、生画像から出力画像を生成するための画像処理装置を有し、この場合、出力画像は、ヒストグラム拡散に基づいて生成される。ここで、カメラ装置は、本発明に係る方法の一実施形態を行う。
本発明により、環境の明るさに応じた少なくとも1つのパラメータ値に基づいて、生画像が生成された捕捉状況の光が低い又は高いかどうかが信号で伝えられるという利点が生じる。その結果、これに対応して、ヒストグラム拡散は、以下の状況が生じるように限界値により適合され得る。したがって、環境の明るさの明度値が所定の最小値よりも小さい場合には、0よりも大きい限界値によって、特に、生画像中で既に非常に暗い画像領域が出力画像中でかなり暗く見えることを防止される。同様に、最大値よりも小さい対応する限界値により、生画像の明るい画像領域がかなり明るく見え、それにより、出力画像中で露出オーバーにされ、その結果、認識が難しくなることが防止される。
本発明の一実施形態において、拡散関数の限界値は、出力画像のピクセル値のヒストグラムがピクセル値の最大可能ダイナミックレンジよりも小さいダイナミックレンジを有するように設定される。これにより、最初に説明されたように幾つかの露光状況で不都合となり得る画像コントラストの最大化が回避される。
本発明の一実施形態において、限界値は、生画像の入力ピクセル値のヒストグラムとは無関係に設定される。言い換えると、生画像のダイナミックレンジは限界値に何ら影響を与えない。これにより、好適には、出力画像のピクセルの最小明度が確保される。
本発明の一実施形態では、拡散関数により、入力ピクセル値として、生画像のピクセルの明度値及び/又は明度がそれぞれ出力画像の対応するピクセルの出力ピクセル値に撮像される。ピクセルの輝度である明度値に対する拡散関数の適用は、湾曲した拡散関数を伴う場合でさえ色歪みを回避できるという利点を有する。明度における拡散関数の使用は、赤、緑、青(RGB)の明度を示す生画像のピクセルのピクセル値を費用をかけて変換する必要がないという利点を有する。
本発明の一実施形態では、出力ピクセル値における最小値が限界値によって決定される。言い換えると、出力画像の全てのピクセルにおける最小明度が設定される。これにより、最小明度よりも小さい明度値を伴う環境明度により、出力画像の全てのピクセルが少なくとも最小値を有するという利点が生じる。
この場合、最小値が好ましくは大きく設定されればされるほど、環境が暗くなる。言い換えると、環境の明るさの第2の明度値よりも小さい、環境の明るさの第1の明度値が存在する。このとき、第2の明度値のために設定される第2の最小値よりも大きい第1の最小値が第1の明度値に設定される。
限界値は、少なくとも1つのパラメータ値に応じて連続的に設定され得る。しかしながら、好ましい実施形態では、限界値が段階的に切り換えられる。これにより、ヒストグラム拡散が切り換えステップ間でその撮像挙動を変えないという利点が生じる。これは、下流側の画像処理アルゴリズムの収束挙動に有利に作用する。
一実施形態では、第1の切り換えステップが0.3ルクス〜0.8ルクスの環境の明るさの範囲内にある。第2の切り換えステップは、好ましくは、1.5ルクス〜2.5ルクスの環境の明るさの範囲内にある。第3の切り換えステップは8ルクス〜12ルクスの範囲内となり得る。第3の切り換えステップ又は更なる切り換えステップにおいて、限界値は、該限界値が最小明度であるか又は最大明度であるかどうかにしたがって最小値又は最大値に設定されることが好ましい。好ましくは、最小値が0である。すなわち、ヒストグラム拡散は、最後の切り換えステップにより、より高い明度値で、出力画像のピクセル値のヒストグラムが最大ダイナミックレンジを有するように行われる。
本発明の一実施形態では、明るさを信号で伝える少なくとも1つのパラメータ値は、明度センサのセンサ値を含む。言い換えると、環境の明るさは、明度センサを用いて直接に測定される。ここで、明度センサの取得範囲は、環境へと向けられる。この実施形態により、環境内の明るさに関する情報がセンサ値を伴って直接に存在するという利点が生じる。
本発明の一実施形態において、少なくとも1つのパラメータ値は、生画像を生成する際に調整される露光期間を含む。また、露光期間における他の表記は、閉鎖時間又はシャッタースピードである。露光のための単位は例えば1/100s又は1/80sである。
一実施形態において、少なくとも1つのパラメータ値は、生画像を生成する際に調整される画像センサゲインを含む。また、画像センサゲインにおける他の表記はゲイン又はISO値である。ISO値における例は、100ISO、200ISO、3.400ISOである。
本発明の一実施形態において、少なくとも1つのパラメータ値は、生画像を生成する際に調整されるシャッター値を含む。また、シャッター値における他の表記は絞り値である。絞り値における例は、F5及びF11である。
露光期間、ゲイン、及び、絞り値の捕捉パラメータの3つの前述したパラメータ値は、それらが例えば露光制御器により生画像を生成する際に既に決定されるという利点を有する。そのような露光制御器は、自動露光調整をもたらす従来のカメラ装置に存在する装置であってもよい。したがって、3つの前述したパラメータは、普通は、通常のカメラタイプに既に存在しており、限界値を設定するために別々に決定される必要がない
更なる利点は、画像センサの温度が取得されて取得された温度に応じて限界値が設定される場合に生じる。これにより、出力画像中の画像センサのセンサノイズをマスキングする又は減らすことができる。
また、自動車両も本発明と関連付けられる。本発明に係る自動車両は、本発明に係るカメラ装置の少なくとも1つの実施形態を有する。本発明に係る自動車両は、例えば、乗用車又はトラック又は旅客バスとして構成され得る。カメラ装置は、例えば、駐車支援として又は暗視支援として構成可能である、或いは、自動車両の後部座席にいる搭乗者を観察するために自動車両内部に設けることもできる。
以下、本発明の実施形態について説明する。
従来技術に係るヒストグラム拡散を例示するための図。 本発明に係る自動車両の一実施形態の概略図。 本発明に係る方法にしたがったヒストグラム拡散を示す図。 図3の場合以外の限界値が設定される方法を例示するための図。 生画像における典型的なヒストグラムを伴う図。
以下に説明される実施形態は、本発明の好ましい実施形態である。しかしながら、実施形態では、実施形態の説明される構成要素がそれぞれ互いに独立に考慮されるべき発明の個々の特徴を表し、それぞれの特徴も、互いに独立に発明を創出し、それにより、個々の態様で又は示される組み合わせ以外で発明の構成要素と見なすこともできる。また、記載される実施形態を既に説明した発明の更なる特徴で補うこともできる。
図1には、ヒストグラム拡散が、それが従来技術から知られるように示される。入力ヒストグラムHiが示され、この入力ヒストグラムHiは、カメラセンサの生画像のピクセルのピクセル値から形成され得るヒストグラムである。図示の例では、また、更なる例でも、各ピクセルが0〜255の範囲内であってもよいピクセル値、すなわち、8ビットピクセル値を有することができるものとする。ピクセル値は、例えば、ピクセルの輝度値Li又は色相値であってもよい。最小明度値はLminによって示される。最大明度値はLmaxによって示される。生画像のダイナミックレンジDiが明度値Lmin,Lmaxによって規定される。
入力ヒストグラムHiを図5に示される態様で形成することができる。図5には、生画像の入力輝度値Liに関して、0〜255の想定し得るそれぞれの輝度値ごとに、対応する輝度値Liを有するピクセルの数C(カウント)がどのように決定されるのかが示される。これにより、入力ヒストグラムHiがもたらされる。
図1には、生画像の各ピクセルのそれぞれのピクセル値のピクセル単位の変換によって生画像から出力画像の対応するピクセルにおけるピクセル値を生成するために、入力輝度値Liを拡散関数1によってどのように出力輝度値Loに対してマッピングできるのかが例示される。これにより、出力画像が生じる。この出力画像は、拡散関数1に応じて出力ヒストグラムHoを有する。
従来技術によれば、拡散関数1は、生画像の最小明度値Lminが最小輝度値0に対してマップされるように選択される。生画像の最大明度値Lmaxは、最大可能輝度値、ここでは255にマッピングされる。より良い方向付けのために、図には恒等関数2も記録される。拡散関数1により、出力ヒストグラムHoは、フルダイナミックレンジDmaxを有する輝度値をもつ。言い換えると、最大ダイナミックレンジDmaxは値0と値255とを含む。
図2には、例えば乗用車であってもよい自動車両3が示される。自動車両3はカメラ装置4を有することができ、カメラ装置4はカメラセンサ5と画像処理装置6とを含むことができる。カメラセンサ5の捕捉範囲7を例えば自動車両3の環境8へ、例えば(図示のように)自動車両3の前方領域へ又は自動車両3の後方領域へ(図示せず)又は自動車両3の車両内部へ向けることができる。それ自体知られる態様で、画像センサ5が個々の生画像Rの画像シーケンスを生成するようになっていてもよい。生画像Rを生成するため、したがって環境8の捕捉のために、露光期間S(シャッタースピード)、絞りA(開口度)、及び/又は、画像センサゲイン又はゲインGを設定することができ、このとき、これらは生画像Rの捕捉パラメータに相当する。図示の例において、環境8の生画像R中には、自動車両3の前方に位置される道路9、家10、及び、木11が映し出される。図示の例では、生画像Rが比較的暗いと仮定されるようになっている。言い換えると、環境8内の明るさは、それが例えば夜間運転やトンネル内での運転において生じ得るように比較的低くてもよい。これから、生画像Rにおける入力ヒストグラムHiは、それが図2にも典型的に示されるような結果となる。輝度値Liは、ここでは255と見なすことができる最大可能輝度値に達しない。
ヒストグラム拡散12を画像処理装置6によって与えることができる。ヒストグラム拡散12は、例えば、画像処理装置6のプロセッサのプログラムモジュールによって実現され得る。プロセッサ6は、例えば、デジタル信号処理プロセッサ(DSP)であってもよい。ヒストグラム拡散は、パラメータとして限界値L(限界)を有することができるパラメータ化可能な拡散関数13を含むことができる。拡散関数13を用いて、図1の拡散関数1に関連して既に説明した態様で、生画像Rから出力画像Iを生成することができる。ここでは、出力画像Iは、生画像Rの全明度よりも大きい全明度を有することができる。図2には、出力画像Iの出力輝度値Loに関して出力ヒストグラムHoも示される。ここでは、拡散関数13の限界値Lは、出力ヒストグラムHoのヒストグラム値における最小値を成す。
自動車両3では、出力画像Iが更なる車両構成要素14へ送信されるようにすることができる。車両構成要素14は例えばスクリーンなどの表示装置であってもよい。このとき、自動車両3のドライバーは、表示装置で出力画像Iを見ることができ、これにより環境8が見える。しかしながら、車両構成要素14は、例えば、ドライバーを自動車両3の運転時に支援できるドライバー支援システムであってもよい。例えば、このとき、車両構成要素14は画像認識装置を含むことができ、この画像認識装置により、道路8及び/又は家10及び/又は木11、すなわち、一般的には物体を出力画像I中で認識できる。
図3及び図4では、2つの捕捉状況に関してヒストグラム拡散12の作用が説明される。
このため、図3及び図4にはそれぞれ、図1に関連して既に説明された態様と同じ態様で、生画像Rの入力ヒストグラムHiと、ヒストグラム拡散12後の出力画像Iの出力ヒストグラムHoとが示される。ヒストグラム拡散12は、曲線パラメータとして限界値Lを有することができる拡散関数13を用いて行われる。図示の例において、限界値Lは、出力画像Iのピクセルの出力輝度値Loにおける最小値である。言い換えると、限界値Lにより、拡散関数13の下限Uの縦座標設定又は縦座標変位15を決定できる。拡散関数13では、拡散関数13の下限Uの横座標位置16及び上限Oの横座標位置17を、横座標値としての下限Uが入力ヒストグラムHiの最小値Lminに対応するとともに上限Oの横座標値17が入力ヒストグラムHiの最大値Lmaxに対応するように設定できる。
自動車両3では、環境8の明るさに応じて又は明るさと関連付けられるパラメータ値、例えば露光期間S及び/又はゲインGに応じて限界値Lを設定できる。このため、図2に示されるように、露光期間S又はゲインGを例えば画像センサ5から画像処理装置6へ送信することができる。図示の例では、環境明度値B1に関して、閉鎖期間S及び/又はゲインGにおける値が生じてしまっており、これにより限界値Lが画像処理装置6によって値L1に設定されてしまっている。これに対応して、下限L1から最大値、ここでは255にまで及ぶ出力ヒストグラムHoがもたらされ、それにより、出力ヒストグラムHoは、最大ダイナミックレンジDmaxよりも小さいダイナミックレンジDoを有する。
図4には捕捉状況が示され、この捕捉状況では、該捕捉状況の明度値B2が図3に示される捕捉状況の明度値B1よりも小さい。言い換えると、それは、より低い明度での生画像Rの捕捉である。画像処理装置6により、この例では、限界値が、それに対応して、例えば切り換え演算18によって値L1から値L1よりも大きい値L2へと切り換えられた。これにより、出力ヒストグラムHoのダイナミックレンジDoが減少する。
したがって、撮像装置が見る環境の光レベルを調節する限界がヒストグラムストレッチングに適用される。シーンの光レベルは、これらの読み取り値に基づき、画像の露光制御及びゲイン制御を監視することによって決定可能であり、我々は、非常に低い光及び少ない明るさで更に明るい画像を与えるとともに僅かに高い光レベルで更に高いコントラストを与えるために、画像のヒストグラムストレッチング限界を調整できる。
ヒストグラムストレッチングは画像のコントラストを増大させる。ヒストグラムストレッチングは、システムで有効化又は無効化できる。有効化は、最大グレースケールから最小グレースケールにわたってヒストグラムストレッチングを画像に適用する。限界をヒストグラムのスケールに適用できる。画像処理装置は、撮像装置の露光ゲインに基づいて(言い換えると、撮像装置が見るシーンの光レベルに基づいて)動的に更新され得る限界をヒストグラムで適用する。ヒストグラムのレベルを更に低く制限することにより、我々は、非常に低い光レベルで画像をより明るくすることができる(コントラストの低下)。この副次的効果として、光レベルが光レベル10ルクスの画像を増大させるようになる。
この発明は、非常に低い光でより低いレベルのヒストグラムにおいて限界をもたらす(画像を明るくする)が、シーンがより明るくなるにつれて限界を動的に更新し、したがって、シーンのコントラストが維持される。
本発明の望ましい効果は、非常に低い光レベル(約0.5ルクス)で限界L2を有するとともに、撮像装置の露光制御及びゲイン制御を読み取って、2ルクスの光レベルでヒストグラムを限界1に動的に更新するようになっている。その後、画像の露光ゲインが10ルクス以上の光レベルに対応する値になった時点で(例えば、画像を明るくすることがもはや必要とされないとき)、無限ヒストグラムストレッチング画像に切り換わる(コントラストを可能な最大値まで増大させる)。
望ましい成果の使用例のケース:
非常に低い光レベル(0.5ルクス)(露光値及びゲイン値が高くなる)で、我々はヒストグラムA(限界L2)を適用することを望む。0.5ルクスで、無限ヒストグラムストレッチングは高いコントラストを有するが、画像はあまり明るくない。我々は、限界2を伴うヒストグラムAを適用することを望む。これは、暗いピクセルをいかにして明るくできるかに対して限界を適用し、それにより、より暗い輝度値をより明るい輝度値まで引き寄せる。この発明の望ましい効果は、非常に低い光レベルで限界2ヒストグラムを有するようになっている(画像を明るくする)。我々は、コントラストを下げ過ぎることなくある程度まで明るくすることしかできない。
より高い光レベル(2ルクス)(露光値及びゲイン値が0.5ルクス未満である)で、我々はヒストグラムB(限界L1)を適用することを望む。2ルクスで、無限ヒストグラムストレッチングは、コントラストが高いが依然としてやや暗い画像を与える。我々は、高いコントラストレベルを維持しつつ画像を僅かに明るくする限界1を伴うヒストグラムBを適用することを望む。
ヒストグラム限界を動的に更新するために、我々は、画像のゲイン値及び露光値を使用する。
撮像装置露光=e
撮像装置ゲイン=g
限界1露光/ゲイン閾値=E1又はG1
限界2露光/ゲイン閾値=E2又はE2
無限=E3又はG3
ヒストグラムストレッチング限界=L
サンプル論理:
If e>E1 or g>G1

L=limit_1

else if e>E2 or g>G2

L=limit_2

else if e>E3 or g>G3

L=no limit=0

加えて、本発明は、限界計算へのノイズの影響を軽減するために撮像装置温度に応じて限界を調整できる。
全体的に、例は、画像センサ露光期間及び/又は画像センサゲインに応じて限界を調整するために動的限界を伴うヒストグラム拡散を本発明によってどのように与えることができるかを示す。

Claims (15)

  1. 自動車両(3)用のカメラ装置(4)を動作させるための方法であって、
    前記カメラ装置(4)の画像センサ(5)によって前記カメラ装置(4)の環境(8)の生画像(R)を与えるステップと、
    画像処理装置(6)によって前記生画像(R)から出力画像(I)を生成するステップであって、前記画像処理装置は、ヒストグラム拡散(12)の拡散関数(13)を用いて、前記生画像(R)の各ピクセルのそれぞれの入力ピクセル値(Li)から、前記出力画像(I)の対応するピクセルのそれぞれの1つの出力ピクセル値(Lo)を決定する、ステップと、
    を含む方法において、
    前記環境(8)の明るさ(B1,B2)に応じた前記カメラ装置(4)の少なくとも1つのパラメータ値(S,G)が取得され、取得された前記少なくとも1つのパラメータ値(S,G)に応じて前記出力ピクセル値(Lo)における限界値(L)が前記拡散関数(13)で設定されることを特徴とする方法。
  2. 前記拡散関数(13)の限界値(L)は、前記出力画像(I)のピクセル値(Lo)のヒストグラム(Ho)がピクセル値(Lo)の最大可能ダイナミックレンジ(Dmax)よりも小さいダイナミックレンジ(Do)を有するように設定されることを特徴とする請求項1に記載の方法。
  3. 前記限界値(L)が前記生画像(R)の入力ピクセル値(Li)のヒストグラム(Hi)とは無関係に設定されることを特徴とする請求項1又は請求項2に記載の方法。
  4. 前記拡散関数(13)により、前記入力ピクセル値(Li)として、前記生画像(R)のピクセルの明度値(Li)及び/又は明度がそれぞれ前記出力画像(I)の対応するピクセルの前記出力ピクセル値(Lo)に対してマッピングされることを特徴とする請求項1から3のいずれか一項に記載の方法。
  5. 前記出力ピクセル値(Lo)に関して最小値が前記限界値(L)により設定されることを特徴とする請求項1から4のいずれか一項に記載の方法。
  6. 前記最小値が大きく設定されればされるほど、前記環境(8)が暗くなることを特徴とする請求項5に記載の方法。
  7. 前記限界値(L)が段階的に切り換えられることを特徴とする請求項1から6のいずれか一項に記載の方法。
  8. 第1の切り換えステップ(18)が0.3ルクス〜0.8ルクスの範囲内であり、第2の切り換えステップが1.5ルクス〜2.5ルクスの範囲内であり、第3の切り換えステップが8ルクス〜12ルクスの範囲内であり、前記第3の切り換えステップでは、前記限界値(L)が好ましくは最小値又は最大値に設定されることを特徴とする請求項7に記載の方法。
  9. 前記少なくとも1つのパラメータ値が明度センサのセンサ値を含み、前記明度センサの取得範囲が前記環境へ向けられることを特徴とする請求項1から8のいずれか一項に記載の方法。
  10. 前記少なくとも1つのパラメータ値は、前記生画像(R)の生成時に調整される露光期間(S)を含むことを特徴とする請求項1から9のいずれか一項に記載の方法。
  11. 前記少なくとも1つのパラメータ値は、前記生画像(R)の生成時に調整される画像センサゲイン(G)を含むことを特徴とする請求項1から10のいずれか一項に記載の方法。
  12. 前記少なくとも1つのパラメータ値は、前記生画像(R)の生成時に調整される絞り値(A)を含むことを特徴とする請求項1から11のいずれか一項に記載の方法。
  13. 前記画像センサ(5)の温度(T)が取得され、取得された温度(T)に応じて前記限界値(L)が設定されることを特徴とする請求項1から12のいずれか一項に記載の方法。
  14. 自動車両(3)用のカメラ装置(4)であって、
    前記カメラ装置(4)の環境(8)の生画像(R)を与えるための画像センサ(5)と、
    ヒストグラム拡散(12)に基づいて前記生画像(R)から出力画像(I)を生成するための画像処理装置(6)と、
    を含むカメラ装置(4)において、
    前記カメラ装置(4)は、請求項1から13のいずれか一項に記載の方法を行うようになっていることを特徴とするカメラ装置(4)。
  15. 請求項14に記載の少なくとも1つのカメラ装置(4)を伴う自動車両(3)。
JP2017517762A 2014-10-02 2015-10-02 ヒストグラム拡散を伴う自動車両カメラ装置 Active JP6411644B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014114328.0 2014-10-02
DE102014114328.0A DE102014114328A1 (de) 2014-10-02 2014-10-02 Kraftfahrzeug-Kameravorrichtung mit Histogramm-Spreizung
PCT/EP2015/072786 WO2016050954A1 (en) 2014-10-02 2015-10-02 Motor vehicle camera device with histogram spreading

Publications (2)

Publication Number Publication Date
JP2017533505A true JP2017533505A (ja) 2017-11-09
JP6411644B2 JP6411644B2 (ja) 2018-10-24

Family

ID=54288771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517762A Active JP6411644B2 (ja) 2014-10-02 2015-10-02 ヒストグラム拡散を伴う自動車両カメラ装置

Country Status (7)

Country Link
US (1) US10769762B2 (ja)
EP (1) EP3202134A1 (ja)
JP (1) JP6411644B2 (ja)
KR (1) KR101822344B1 (ja)
CN (1) CN107079108B (ja)
DE (1) DE102014114328A1 (ja)
WO (1) WO2016050954A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3068314B1 (fr) * 2017-06-30 2019-08-09 Valeo Vision Systeme lumineux pour vehicule automobile
FR3094299B1 (fr) * 2019-03-26 2022-04-01 Valeo Systemes Dessuyage Ensemble de protection d’un capteur optique d’un système d’assistance à la conduite pour véhicule automobile
US11115602B2 (en) * 2019-06-11 2021-09-07 Watchguard Video, Inc. Emulating light sensitivity of a target

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274161A1 (en) * 2005-06-03 2006-12-07 Intel Corporation Method and apparatus to determine ambient light using a camera
JP2009058377A (ja) * 2007-08-31 2009-03-19 Hitachi Kokusai Electric Inc 検査装置
US20090251563A1 (en) * 2007-12-26 2009-10-08 Denso Corporation Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
US20130076974A1 (en) * 2011-09-26 2013-03-28 Dolby Laboratories Licensing Corporation Image Formats and Related Methods and Apparatuses

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285041B2 (en) * 2004-09-14 2012-10-09 Olympus Corporation Image processing apparatus, image recording apparatus, and image processing method
KR101256663B1 (ko) * 2005-12-28 2013-04-19 엘지디스플레이 주식회사 액정표시장치와 그의 제조 및 구동방법
JP4894907B2 (ja) * 2009-11-17 2012-03-14 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
EP2552099B1 (en) * 2011-07-27 2013-08-28 Axis AB Method and camera for providing an estimation of a mean signal to noise ratio value for an image
JP2013055381A (ja) * 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置
US9654701B2 (en) * 2013-01-25 2017-05-16 Dolby Laboratories Licensing Corporation Global display management based light modulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274161A1 (en) * 2005-06-03 2006-12-07 Intel Corporation Method and apparatus to determine ambient light using a camera
JP2009058377A (ja) * 2007-08-31 2009-03-19 Hitachi Kokusai Electric Inc 検査装置
US20090251563A1 (en) * 2007-12-26 2009-10-08 Denso Corporation Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
US20130076974A1 (en) * 2011-09-26 2013-03-28 Dolby Laboratories Licensing Corporation Image Formats and Related Methods and Apparatuses

Also Published As

Publication number Publication date
WO2016050954A1 (en) 2016-04-07
US20170243337A1 (en) 2017-08-24
DE102014114328A1 (de) 2016-04-07
EP3202134A1 (en) 2017-08-09
CN107079108A (zh) 2017-08-18
JP6411644B2 (ja) 2018-10-24
KR20170047384A (ko) 2017-05-04
US10769762B2 (en) 2020-09-08
CN107079108B (zh) 2021-03-09
KR101822344B1 (ko) 2018-01-25

Similar Documents

Publication Publication Date Title
JP2006285064A (ja) 画像表示装置
US20120002052A1 (en) Obstacle detection apparatus, obstacle detection system having same, and obstacle detection method
KR101629825B1 (ko) Hdr 기능을 이용한 차량용 디스플레이 장치 및 방법
US10097733B2 (en) Image correction parameter output apparatus, camera system and correction parameter output method
JP2009267923A (ja) 撮像システム
US11758283B2 (en) Image capture device and image adjusting method
JP6411644B2 (ja) ヒストグラム拡散を伴う自動車両カメラ装置
WO2015079702A1 (ja) 撮像設定変更装置、撮像システム、および撮像設定変更方法
KR100791192B1 (ko) 차량용 화상 생성 장치 및 방법
WO2013118337A1 (ja) 撮像装置
JP2006339994A (ja) 車載カメラ制御装置
KR101406073B1 (ko) 어라운드 뷰 영상을 생성하는 방법 및 장치
KR20210086454A (ko) 저조도 이미징 시스템
JP2003244480A (ja) 表示映像の輝度制御回路
JP4793001B2 (ja) 画像信号処理回路および撮像システム
US11790823B2 (en) Image display device
JP2011181019A (ja) 俯瞰画像生成装置
JPWO2011154997A1 (ja) 撮像システム、撮像装置および表示装置
JP6407768B2 (ja) 撮像装置、画像処理方法およびプログラム
JP5331020B2 (ja) 表示制御装置、表示システム及び表示制御方法
WO2022196324A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7009334B2 (ja) 画像表示装置、画像表示システム
JP5751860B2 (ja) 映像処理回路および映像表示装置
JP2023122897A (ja) 画像合成装置
JP2013135305A (ja) 信号処理装置、撮像装置、及び撮像システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180926

R150 Certificate of patent or registration of utility model

Ref document number: 6411644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250