JP2015035796A - ハイダイナミックレンジ画像の露光時間制御方法 - Google Patents

ハイダイナミックレンジ画像の露光時間制御方法 Download PDF

Info

Publication number
JP2015035796A
JP2015035796A JP2013200078A JP2013200078A JP2015035796A JP 2015035796 A JP2015035796 A JP 2015035796A JP 2013200078 A JP2013200078 A JP 2013200078A JP 2013200078 A JP2013200078 A JP 2013200078A JP 2015035796 A JP2015035796 A JP 2015035796A
Authority
JP
Japan
Prior art keywords
image
exposure time
dynamic range
exposure
time ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013200078A
Other languages
English (en)
Other versions
JP5719418B2 (ja
Inventor
耿 生 林
Keng-Sheng Lin
耿 生 林
之 奇 程
Chih-Chi Cheng
之 奇 程
宗 徳 李
Chung-Te Li
宗 徳 李
信 宇 陳
Hsin-Yu Chen
信 宇 陳
文 助 楊
Wen-Chu Yang
文 助 楊
Original Assignee
広達電脳股▲ふん▼有限公司
Quanta Comp Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to TW102128455A priority Critical patent/TWI464526B/zh
Priority to TW102128455 priority
Application filed by 広達電脳股▲ふん▼有限公司, Quanta Comp Inc filed Critical 広達電脳股▲ふん▼有限公司
Publication of JP2015035796A publication Critical patent/JP2015035796A/ja
Application granted granted Critical
Publication of JP5719418B2 publication Critical patent/JP5719418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2356Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/351Control of the SSIS depending on the scene, e.g. brightness or motion in the scene
    • H04N5/355Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/351Control of the SSIS depending on the scene, e.g. brightness or motion in the scene
    • H04N5/355Control of the dynamic range
    • H04N5/35536Control of the dynamic range involving multiple exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2355Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by increasing the dynamic range of the final image compared to the dynamic range of the electronic image sensor, e.g. by adding correct exposed portions of short and long exposed images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/351Control of the SSIS depending on the scene, e.g. brightness or motion in the scene
    • H04N5/355Control of the dynamic range
    • H04N5/35536Control of the dynamic range involving multiple exposures
    • H04N5/35572Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields
    • H04N5/35581Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Abstract

【課題】ハイダイナミックレンジ画像の露光時間制御方法を提供する。
【解決手段】ハイダイナミックレンジ画像の露光時間制御方法は、画像センサを用いて第1露光時間比を有する第1ハイダイナミックレンジ画像と、第1露光時間比より大きい第2露光時間比を有する第2ハイダイナミックレンジ画像と、を連続的に生成するステップと、第1ハイダイナミックレンジ画像に対して第1画像品質を得るために画像品質評価を行い、第2ハイダイナミックレンジ画像に対して第2画像品質を得るために画像品質評価を行うステップと、第2画像品質が第1画像品質より優れるかを判断し、そうである場合に、第2露光時間比より大きい第3露光時間比で第3ハイダイナミックレンジ画像を撮影し、そうでない場合に、第1露光時間比で第3ハイダイナミックレンジ画像を撮影すると共に、第1露光時間比を最適露光時間比として設定するステップと、を含む。
【選択図】図1

Description

本発明は、ハイダイナミックレンジ画像の露光時間制御方法に係り、特に、画像センサを用いて異なる露光時間の画像をキャプチャし、異なる露光時間の画像をハイダイナミックレンジ画像になるように結合すると共に、露光時間比を調整することによって最適品質を持つハイダイナミックレンジ画像を取得する方法に関するものである。

現在の消費型デジタルカメラ又はウェブカメラ(Webcam)のダイナミックレンジ(Dynamic Range)(輝度信号の最大値と最小値との比)は約400である。然しながら、室内場面のダイナミックレンジのほとんどが1500を越えており、その上室外場面のダイナミックレンジも時には10までに達する。そのため、前述のような機器では、場面における部分的な輝度情報しか捕捉できない。つまり、前述のような機器では、場面における全ての輝度情報を同時に捕捉することができなかった。

上記問題を解消するため、P.E.Debevec氏らが1997年に発表したハイダイナミックレンジ画像の技術として、例えば、下記の非特許文献1の記載が参照され、即ち複数枚の異なる露光時間の画像を結合する方法が提案された。2枚の本来画像の露光時間比を高めると、より高いダイナミックレンジ情報が得られる。然しながら、より大きい(標準以上の)ダイナミックレンジ情報をスクリーンの表示可能なダイナミックレンジに圧縮しなければならない。この圧縮過程をトーンマッピング(Tone Mapping)と称する。スクリーンのダイナミックレンジが低い(約200)ので、トーンマッピングの圧縮過程にて画面中の細部とコントラストの損失は、全体の画像品質の低下を招く原因となる。言い換えれば、露光時間比をいくら高めても、最適の画像品質を得ることができない。また、市販のハイダイナミックレンジ画像システムは、たいてい固定の露光時間比を使用するか、又は使用者自身が手動で露光時間比を決定する必要がある。

Paul E. Debevec,Jitendra Malik,"Recovering High Dynamic Range Radiance Maps from Photographs",SIGGRAPH(1997)

本発明の目的は、上記従来技術の問題点を解消し、ハイダイナミックレンジ画像の露光時間制御方法を提供すると共に、画像品質を評価する関連技術を提供し、これによって、最適露光時間比を自動的に決定することを課題とする。こうして、場面中の光源が変化すると、最適露光時間比を自動的に再検出することができるので、最適の画像品質を維持することが可能となる。

ハイダイナミックレンジ画像の露光時間制御方法は、画像センサを用いて第1露光時間比を有する第1ハイダイナミックレンジ画像と、第1露光時間比より大きい第2露光時間比を有する第2ハイダイナミックレンジ画像と、を連続的に生成するステップと、第1ハイダイナミックレンジ画像に対して第1画像品質を得るために画像品質評価を行い、第2ハイダイナミックレンジ画像に対して第2画像品質を得るために画像品質評価を行うステップと、第2画像品質が第1画像品質より優れるかを判断し、そうである場合に、第2露光時間比より大きい第3露光時間比で第3ハイダイナミックレンジ画像を撮影し、そうでない場合に、第1露光時間比で第3ハイダイナミックレンジ画像を撮影すると共に、第1露光時間比を最適露光時間比として設定するステップと、を含む。

上記の通り、本発明のハイダイナミックレンジ画像の露光時間制御方法によれば、画像センサを用いて画像生成ステップを経て複数のハイダイナミックレンジ画像を連続的に生成すると共に、それらの画像に対して画像品質評価を行う。露光時間比を最低露光時間比から除々に増加させていくと、画像品質が劣化し始めた頃に、劣化し始める前の露光時間比を最適露光時間比として決定する。最適露光時間比が検出された後、画像品質評価方法を使用して現在の画像の画像品質と1枚前の画像の画像品質とが同じかどうかを比較する。同じであれば、最適露光時間比を保持する。そうでない時は、例えば光源の変化によって画像品質が低下した場合に、露光時間比を最初の最低露光時間比に設定すると共に、最適露光時間比の再検出を行う。

本発明に係るハイダイナミックレンジ画像の露光時間制御方法を示すフローチャートである。 本発明に係るハイダイナミックレンジ画像の露光時間制御方法による長露光画像の画像値と短露光画像の画像値に対応する輝度を示す模式図である。 本発明に係るハイダイナミックレンジ画像の露光時間制御方法により生成されたハイダイナミックレンジ画像を示す模式図である。 本発明に係るハイダイナミックレンジ画像の露光時間制御方法による露光時間比と画像品質との関係図である。

本発明をより完全に理解するために、本発明の技術特徴、内容と長所及びそれが達成できる作用効果については、添付図面を参照して、実施例の表現形式で以下のように詳細に説明される。なお、使用された図面は、単に例示又は明細書内容を補助する目的としたものであって、本発明の実施後の原寸に比例したものや精確に配置したものには何ら拘束されない。よって、図示された図面は、添付図面の比例と配置関係で解釈されてはならず、本発明を実際に実施する権利範囲に制限することを意図したものではないことについて先に説明しておきたい。

図1は、本発明に係るハイダイナミックレンジ画像の露光時間制御方法を示すフローチャートである。ステップS41〜S51の詳細について、以下に説明する。

S41:画像センサを用いてハイダイナミックレンジ画像を生成する。

S42:ハイダイナミックレンジ画像に対して画像品質評価を行う。

S43:画像品質の評価が初回であるか否かを判断する。判断が是である場合に、ステップS45に進み、判断が否である場合に、ステップS44に進む。

S44:最適露光時間比であるか否かを判断する。判断が是である場合に、ステップS48に進み、判断が否である場合に、ステップS46に進む。

S45:露光時間比を増加する。

S46:画像品質が1枚前の画像の画像品質より優れるかを判断する。そうである場合に、ステップS45に進み、そうでない場合に、ステップS47に進む。

S47:露光時間比を減少すると共に、減少後の露光時間比を最適露光時間比として設定する。

S48:最適露光時間比を検出した後に行われる第1回目の画像品質評価であるか否かを判断する。判断が是である場合に、ステップS50に進み、判断が否である場合に、ステップS49に進む。

S49:画像品質が1枚前の画像の画像品質と同じかを判断する。そうである場合に、ステップS50に進み、そうでない場合に、ステップS51に進む。

S50:露光時間比を保持する。

S51:露光時間比を初期露光時間比に設定すると共に、最適露光時間比の再検出を行う。

図2は、本発明に係るハイダイナミックレンジ画像の露光時間制御方法による長露光画像の画像値と短露光画像の画像値に対応する輝度を示す模式図である。ステップS41について、図2を参照しながら説明する。環境における同一輝度の光源においては、露光時間の差により異なる画素値(Pixel Value)が形成される。露光時間比Rを長露光画像の露光時間と短露光画像の露光時間との比と仮定すれば、同じ輝度の光源において、2枚の異なる露光時間の画像から得られた画素値の間には、R倍の差がある。そのため、短露光画像の各画素の画素値をR倍掛けることで、2枚の異なる露光時間の画像を合成することができるようになる。同様に、長露光画像の各画素の画素値をR倍割ることで、2枚の異なる露光時間の画像を合成することができるようになる。

具体的な実施例において、露光時間比Rは、使用者自身で決定できるし、システム既定値に決定することもできる。露光時間比Rが決定された後、一般のカメラの自動露光(Auto Exposure)機能で露光時間Aを決定し、長露光画像と短露光画像の露光時間は、Aを基準として対称的に伸縮することができる。即ち、長露光画像と短露光画像の露光時間の平均値がAである。例えば、露光時間比Rが3である場合、長露光画像の露光時間が1.5Aとすると、短露光画像の露光時間が0.5Aとなる。また、露光時間比Rが7である場合、長露光画像の露光時間が1.75Aとすると、短露光画像の露光時間が0.25Aとなる。

具体的な実施例において、一般のカメラの自動露光機能をオフにして、その代わりに、使用者が自ら手動で露光値Bを決定することができる。続いて、長露光画像の露光時間及び短露光画像の露光時間は、最適露光時間比を検出するように、Bの両側に非対称的に伸縮することができる。例えば露光時間比Rが10である場合、長露光画像の露光時間及び短露光画像の露光時間は、それぞれ1.25B及び0.125Bであってもよい。露光値を手動で決定する長所は、使用者が決める最適品質を持つハイダイナミックレンジ画像を取得することが可能となる。

ステップS41について、図3を合わせて参照しながら説明する。仮に、ステップS41において、画像センサは、まず初期露光時間比R1(その値を3と仮定し、それは上記のように使用者自身で決めるか、又はシステム既定値に決めるかどちらでもよい)に基づいて第1長露光画像501及び第1短露光画像502を撮影すると共に、それらの画像を第1ハイダイナミックレンジ画像10になるように合成する。次に、ステップS42に進み、第1ハイダイナミックレンジ画像10に対して画像品質評価(エントロピー、画面のエッジ総数や露光オーバーと露光アンダーとの比率などを含み、詳細は下記参照)を行う。続いて、ステップS43に進み、画像品質の評価が初回であるか否かを判断する。この場合、画像品質の評価が初回なので、ステップS45に進み、最適露光時間比を検出するように、露光時間比を増加する。

図4は、本発明に係るハイダイナミックレンジ画像の露光時間制御方法による露光時間比と画像品質との関係図である。ステップS45にて露光時間比を増加する原因について、図4を参照しながら説明する。図4に示すように、露光時間比をa、b、c順に増加させていき、dまで達する時、原則として、これに応じて画像品質も高まる。ところが、露光時間比をdからeに増加させる時、トーンマッピングの圧縮ステップにて画面中の細部とコントラストを損ない始めるため、露光時間比を増加させても画像品質は高まらない。つまり、本発明は、露光時間比dを検出するものであって、この場合、d点の露光時間比が、本発明に定義する最適露光時間比にあたる。具体的な実施例に反映されるように、例えば前後2枚のハイダイナミックレンジ画像のうち、後のハイダイナミックレンジ画像の画像品質が前のハイダイナミックレンジ画像の画像品質より劣る場合、前のハイダイナミックレンジ画像の露光時間比を最適露光時間比とする。

ステップS43において、画像品質評価を行うのが初回である場合、ハイダイナミックレンジ画像10が1枚しかないので、比較しようがないため、ステップS45にて露光時間比(R2、仮に、その値を7まで増加する)を直接に増加して、ステップS41に戻る。ステップS41において、画像センサは、露光時間比R2(その値を7とする)に基づいて第2長露光画像503及び第2短露光画像504を撮影すると共に、それらの画像を第2ハイダイナミックレンジ画像20になるように合成する。その後、再びステップS42に進み、第2ハイダイナミックレンジ画像20に対して画像品質評価(エントロピー、画面のエッジ総数や露光オーバーと露光アンダーとの比率などを含み、詳細は下記参照)を行う。

具体的な実施例において、画像品質評価はデータ情報量に基づいて行われる。画面中の画素輝度の分布の分散が大きいほど、画素値の分布の分散も大きくなり、これは、画面に最も多くの情報が保有されていることを表す。その結果、エントロピー(Entropy)を画像品質評価の基準として使用する。その数式は、下記(数1)で示される。

尚、piは前記画面画素の画素値iの発生確率、Eはエントロピーである。

具体的な実施例において、画像品質評価はさらに人眼で視覚的に特定することにより行われる。人間の目は、局所コントラスト(Local Contrast)に対して感度が高いため、Sobel法やCanny法などの公知の手法を用いて画面中のエッジを検出することができる。そして、画面中のエッジ(Edge)の多寡を品質評価の基準として使用する。画面中のエッジ(Edge)の多寡を判断する場合、画像をグレースケールモードに変換した上、画面中の全てのエッジの総和を算出し、算出された当該総和を示すエッジ総数が大きいほど、画像品質がより良好である。

具体的な実施例において、画像品質評価はさらに画面中の露光オーバーと露光アンダーとの比率に基づいて行われる。ハイダイナミックレンジ画像の基本概念は、長露光画像を用いて場面中の暗所情報を取得すると同時に、短露光画像を用いて場面中の明所情報を取得する。このようにすることで、長露光画像の最暗所の画素値が第1既定値に近似するか又はそれ未満である場合に、例えば画素値が10未満である時には、この画像の露光時間が足りなくて、暗所情報を有効に取得することができない。反対に、短露光画像の最明所の画素値が第2既定値に近似するか又はそれを超過した場合に、例えば画素値が250(ここでは画像センサのバイト数を8と仮定し、画像値が0から255の範囲内の整数である)を超過した時には、この画像の露光時間が長すぎて、明所情報を有効に取得することができない。この概念に基づいて、長露光画像の最暗所の画素値が暗すぎないように、及び短露光画像の最明所の画素値が明すぎないように、露光時間を増加させていく。

ここまで、それぞれ第1ハイダイナミックレンジ画像10及び第2ハイダイナミックレンジ画像20に対応する2つの画像品質が既に生成された。続いて、ステップS43において、画像品質評価を行うのは初回ではないので、ステップS44に進み、最適露光時間比を検出したか否かを判断する。この場合、最適露光時間比をまだ検出していないので、ステップS46に進み、第2ハイダイナミックレンジ画像20の画像品質が第1ハイダイナミックレンジ画像10の画像品質より優れるかを判断する。上述のように、第2ハイダイナミックレンジ画像20の画像品質が第1ハイダイナミックレンジ画像10の画像品質より優れると判断された場合に、ステップS45に進み、露光時間比(この際、図4に示すa点とb点に相当)を継続的に増加する。また、第2ハイダイナミックレンジ画像20の画像品質が第1ハイダイナミックレンジ画像10の画像品質より劣ると判断された場合に、ステップS47に進み、露光時間比(この際、図4に示すd点とe点に相当)を減少すると共に、減少後の露光時間比を最適露光時間比として設定し、即ち最適露光時間比が検出された。つまり、図4に示す局所最大値(Local Maximum、d点)が、本発明に定義する最適露光時間比にあたる。

ステップS46の判断結果は、第2ハイダイナミックレンジ画像20の画像品質が第1ハイダイナミックレンジ画像10の画像品質より優れる(最適露光時間比をまだ検出していない)という結果であれば、ステップS45に進み、露光時間比(R3、仮に、その値を10まで増加する)を継続的に増加すると共に、ステップS41に戻る。ステップS41において、画像センサは、露光時間比R3に基づいて第3長露光画像505及び第3短露光画像506を撮影すると共に、それらの画像を第3ハイダイナミックレンジ画像30になるように合成する。その後、再びステップS42に進み、第3ハイダイナミックレンジ画像30に対して画像品質評価を行う。この場合、画像品質評価を行うのは初回ではないし、かつ最適露光時間比もまだ検出していないので、再びステップS46に進み、第3ハイダイナミックレンジ画像30の画像品質が第2ハイダイナミックレンジ画像20の画像品質より優れるかを判断する。第3ハイダイナミックレンジ画像30の画像品質が第2ハイダイナミックレンジ画像20の画像品質より劣ると判断された場合に、ステップS47に進み、露光時間比を減少すると共に、減少後の露光時間比を最適露光時間比として設定し、即ち露光時間比をR3(その値を10とする)からR2(その値を7とする)に減少すると共に、R2を最適露光時間比として設定する。その後、再びステップS41に戻る。

ステップS41において、画像センサは、露光時間比R2に基づいて第4長露光画像507及び第4短露光画像508を撮影すると共に、それらの画像を第4ハイダイナミックレンジ画像40になるように合成する。その後、ステップS42に進み、第4ハイダイナミックレンジ画像40に対して画像品質評価を行う。この場合、画像品質評価を行うのは初回ではなく、かつ最適露光時間比は既に検出したため、ステップS48に進み、最適露光時間比を検出した後に行われる第1回目の画像品質評価であるか否かを判断する。判断が是である場合に、ステップS50に進み、露光時間比(R2)を保持しながら、再びステップS41に戻り、露光時間比R2に基づいて第5長露光画像509及び第5短露光画像510を撮影すると共に、それらの画像を第5ハイダイナミックレンジ画像50になるように合成する。

ステップS48を実行する理由について、以下に説明する。画像の撮影を継続的に行う中、ステップS44にて最適露光時間比は既に検出したが、ステップS44の実行からステップS48の実行までの経過時間において、撮影された主体又は物体が変動又は移動する状況や、室内から室外へ移動する状況では、ステップS44にて検出した最適露光時間比は、現在又はそれから撮影された画像へ応用することはもう適切ではなくなる。そのため、最適露光時間比を再検出する必要がる。主体又は物体が変動又は移動されたかどうかを判断するために、2枚のハイダイナミックレンジ画像で判断する必要がある。しかし、この場合、ハイダイナミックレンジ画像(即ち第4ハイダイナミックレンジ画像40)が1枚しかないので、現在の露光時間比(R2)を保持することを条件とし、比較するためのもう1枚のハイダイナミックレンジ画像を生成することによって、ステップS44にて検出した最適露光時間比を撮影された現在(ステップS48での時間を意味)の画像に応用することが適しているかを判断することが容易に行える。言い換えれば、撮影された画像が静的な画面であれば、ステップS48以降のステップを省略することも可能である。

再びステップS41に戻る場合、画像センサは、露光時間比R2(その値を7とする)に基づいて第5長露光画像509及び第5短露光画像510を撮影すると共に、それらの画像を第5ハイダイナミックレンジ画像50になるように合成する。その後、ステップS42に進み、第5ハイダイナミックレンジ画像50に対して画像品質評価を行う。この場合、画像品質評価を行うのは初回ではなく、かつ最適露光時間比は既に検出したし、さらに最適露光時間比を検出した後に行われる第1回目の画像品質評価でもないので、ステップS49に進み、第5ハイダイナミックレンジ画像50の画像品質が第4ハイダイナミックレンジ画像40の画像品質と同じかを判断する。そうである場合に、ステップS44にて検出した最適露光時間比を撮影された現在の画像に応用することが適していることが分かり、ステップS50に進み、現在の露光時間比(R2)を保持しながら、画像の撮影を行う。そうでない場合に、ステップS44にて検出した最適露光時間比を撮影された現在の画像に応用することが適していないことが分かり、露光時間比を再検出する必要がある。それ故に、ステップS51に進み、露光時間比をR2(その値を7とする)から初期露光時間比R1(その値を3とする)に設定し、最適露光時間比をまだ検出していないことが分かる。その後、再びステップS41に戻り、ステップS44を経てステップS46に進み、最適露光時間比を検出するための再検出プロセスを行う。

具体的な実施例において、ステップS49にて画像品質が同じかどうかの判断は、所定範囲を許容範囲として、この所定範囲内に収まる場合も含めて画像品質が同じとみなす。例えば、2つの画像品質の差の範囲が±5%又は±10%に収まる場合、画像品質が同じとみなす。

具体的な実施例において、本発明の露光時間比Rが1から64の整数であればよい。より好ましいのは、本発明の露光時間比Rが3から16の整数である。

上記を総合すると、本発明のハイダイナミックレンジ画像の露光時間制御方法は、画像センサを用いて画像生成ステップを経て複数のハイダイナミックレンジ画像を連続的に生成すると共に、それらの画像に対して画像品質評価を行う。露光時間比を最低露光時間比から除々に増加させていくと、画像品質が劣化し始めた頃に、最適露光時間比が決定される。最適露光時間比が検出された後、画像品質評価方法を使用して現在の画像の画像品質と1枚前の画像の画像品質とが同じかどうかを比較する。同じであれば、最適露光時間比を保持する。そうでない時は、例えば光源の変化によって画像品質が低下した場合に、露光時間比を最初の最低露光時間比に設定すると共に、最適露光時間比の再検出を行う。

S41〜S51 ステップ、
R1〜R3 露光時間比、
10 第1ハイダイナミックレンジ画像、
20 第2ハイダイナミックレンジ画像、
30 第3ハイダイナミックレンジ画像、
40 第4ハイダイナミックレンジ画像、
50 第5ハイダイナミックレンジ画像、
501 第1長露光画像、
502 第1短露光画像、
503 第2長露光画像、
504 第2短露光画像、
505 第3長露光画像、
506 第3短露光画像、
507 第4長露光画像、
508 第4短露光画像、
509 第5長露光画像、
510 第5短露光画像。

Claims (10)

  1. ハイダイナミックレンジ画像の露光時間制御方法であって、
    画像センサを用いて第1露光時間比を有する第1ハイダイナミックレンジ画像と、前記第1露光時間比より大きい第2露光時間比を有する第2ハイダイナミックレンジ画像と、を連続的に生成するステップと、
    前記第1ハイダイナミックレンジ画像に対して第1画像品質を得るために画像品質評価を行い、前記第2ハイダイナミックレンジ画像に対して第2画像品質を得るために前記画像品質評価を行うステップと、
    前記第2画像品質が前記第1画像品質より優れるかを判断し、そうである場合に、前記第2露光時間比より大きい第3露光時間比で第3ハイダイナミックレンジ画像を撮影し、そうでない場合に、前記第1露光時間比で前記第3ハイダイナミックレンジ画像を撮影すると共に、前記第1露光時間比を最適露光時間比として設定するステップと、
    を含むことを特徴とする、ハイダイナミックレンジ画像の露光時間制御方法。
  2. 前記画像センサを用いて前記複数のハイダイナミックレンジ画像を生成するステップにおいて、
    前記画像センサを用いて長露光画像及び短露光画像をそれぞれ撮影すると共に、前記長露光画像と前記短露光画像を対応するハイダイナミックレンジ画像になるように合成するステップを含むことを特徴とする、請求項1に記載のハイダイナミックレンジ画像の露光時間制御方法。
  3. 前記長露光画像の露光時間と前記短露光画像の露光時間との比が前記露光時間比であることを特徴とする、請求項2に記載のハイダイナミックレンジ画像の露光時間制御方法。
  4. 各露光時間比に対応する露光時間は、前記長露光画像の露光時間と前記短露光画像の露光時間との平均値であることを特徴とする、請求項3に記載のハイダイナミックレンジ画像の露光時間制御方法。
  5. 前記画像品質評価のステップにおいて、エントロピー(Entropy)を下記数式1により計算するステップを含み、エントロピーが大きいほど、対応する画像品質がより良好であることを特徴とする、請求項1〜4のいずれか1項に記載のハイダイナミックレンジ画像の露光時間制御方法。
    (数式中、piは画素の画素値iの発生確率、Eはエントロピーである)
  6. 前記画像品質評価のステップにおいて、エッジ総数を計算するステップを含み、エッジ総数が大きいほど、対応する画像品質がより良好であることを特徴とする、請求項1〜4のいずれか1項に記載のハイダイナミックレンジ画像の露光時間制御方法。
  7. 前記画像品質評価のステップにおいて、露光オーバーと露光アンダーとの比率を計算するステップをさらに含むことを特徴とする、請求項1〜4のいずれか1項に記載のハイダイナミックレンジ画像の露光時間制御方法。
  8. 前記最適露光時間比で第4ハイダイナミックレンジ画像及び第5ハイダイナミックレンジ画像を撮影するステップと、
    前記第4ハイダイナミックレンジ画像に対して第4画像品質を得るために前記画像品質評価を行い、前記第5ハイダイナミックレンジ画像に対して第5画像品質を得るために前記画像品質評価を行うステップと、
    前記第5画像品質が前記第4画像品質と同じかを判断し、そうである場合に、前記最適露光時間比を保持しながら、ハイダイナミックレンジ画像の撮影を継続的に行い、そうでない場合に、前記最適露光時間比を削除すると共に、初期露光時間比を用いて前記最適露光時間比の再検出を行うステップと、をさらに含むことを特徴とする、請求項1〜7のいずれか1項に記載のハイダイナミックレンジ画像の露光時間制御方法。
  9. 前記第5画像品質と前記第4画像品質との差が±5%又は±10%の範囲内であれば、前記第5画像品質を前記第4画像品質と同じと判断することを特徴とする、請求項8に記載のハイダイナミックレンジ画像の露光時間制御方法。
  10. 前記複数の露光時間比が1から64の整数であることを特徴とする、請求項1〜9のいずれか1項に記載のハイダイナミックレンジ画像の露光時間制御方法。
JP2013200078A 2013-08-08 2013-09-26 ハイダイナミックレンジ画像の露光時間制御方法 Active JP5719418B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102128455A TWI464526B (zh) 2013-08-08 2013-08-08 高動態範圍影像曝光時間控制方法
TW102128455 2013-08-08

Publications (2)

Publication Number Publication Date
JP2015035796A true JP2015035796A (ja) 2015-02-19
JP5719418B2 JP5719418B2 (ja) 2015-05-20

Family

ID=52448326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013200078A Active JP5719418B2 (ja) 2013-08-08 2013-09-26 ハイダイナミックレンジ画像の露光時間制御方法

Country Status (4)

Country Link
US (1) US9131160B2 (ja)
JP (1) JP5719418B2 (ja)
CN (1) CN104349070B (ja)
TW (1) TWI464526B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034027A1 (ja) * 2016-08-15 2018-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648248B2 (en) * 2012-12-17 2017-05-09 Sony Corporation Methods, systems, and media for high dynamic range imaging
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
WO2015151386A1 (ja) * 2014-03-31 2015-10-08 ソニー株式会社 撮像装置、画像データの出力方法及びプログラム
US9282256B1 (en) * 2014-12-22 2016-03-08 Omnivision Technologies, Inc. System and method for HDR imaging
KR20160108928A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN105282428B (zh) * 2015-05-28 2019-03-01 维沃移动通信有限公司 一种移动终端拍摄的方法及移动终端
CN106570849A (zh) * 2016-10-12 2017-04-19 成都西纬科技有限公司 一种图像优化方法
CN108551555B (zh) * 2018-05-16 2019-12-31 中国科学院西安光学精密机械研究所 一种使用cmos探测器的工业相机的自动曝光方法
WO2020051305A1 (en) * 2018-09-07 2020-03-12 Dolby Laboratories Licensing Corporation Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensors
WO2020051361A1 (en) * 2018-09-07 2020-03-12 Dolby Laboratories Licensing Corporation Auto exposure of image sensors based upon entropy variance
US10609299B1 (en) * 2018-09-17 2020-03-31 Black Sesame International Holding Limited Method of measuring light using dual cameras

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085634A (ja) * 2006-09-27 2008-04-10 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2011171842A (ja) * 2010-02-16 2011-09-01 Olympus Corp 画像処理装置及び画像処理プログラム
JP2011254125A (ja) * 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
JP2012109849A (ja) * 2010-11-18 2012-06-07 Canon Inc 撮像装置
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法
JP2013537020A (ja) * 2010-09-01 2013-09-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated 高ダイナミックレンジ画像センサ

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4398153B2 (ja) * 2001-03-16 2010-01-13 ヴィジョン・ロボティクス・コーポレーション 画像センサの有効ダイナミックレンジを増加させる装置及び方法
AU2003220595A1 (en) * 2002-03-27 2003-10-13 The Trustees Of Columbia University In The City Of New York Imaging method and system
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP4379408B2 (ja) * 2004-12-07 2009-12-09 セイコーエプソン株式会社 信号処理部および撮像装置
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
JP4221434B2 (ja) * 2006-10-04 2009-02-12 株式会社ナナオ Outline correction method, image processing apparatus, and display apparatus
JP4973115B2 (ja) * 2006-10-16 2012-07-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
US8184173B1 (en) * 2007-04-30 2012-05-22 Pixim Israel Ltd. Method and device for reading a pixel
US8891955B2 (en) * 2008-04-04 2014-11-18 Whitham Holdings, Llc Digital camera with high dynamic range mode of operation
KR20090127602A (ko) * 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
US8582001B2 (en) * 2009-04-08 2013-11-12 Csr Technology Inc. Exposure control for high dynamic range image capture
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR101633460B1 (ko) * 2009-10-21 2016-06-24 삼성전자주식회사 다중 노출 제어 장치 및 그 방법
KR20110043833A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
US8408464B2 (en) * 2011-02-03 2013-04-02 Metrologic Instruments, Inc. Auto-exposure method using continuous video frames under controlled illumination
JP5701664B2 (ja) * 2011-04-07 2015-04-15 オリンパス株式会社 撮像装置
US9172889B2 (en) * 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
CN103248828B (zh) * 2012-02-13 2017-04-26 宏达国际电子股份有限公司 曝光值调整装置及曝光值调整方法
US9137451B2 (en) * 2012-03-09 2015-09-15 Htc Corporation Electronic apparatus and adjustment method thereof
US8866927B2 (en) * 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085634A (ja) * 2006-09-27 2008-04-10 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2011171842A (ja) * 2010-02-16 2011-09-01 Olympus Corp 画像処理装置及び画像処理プログラム
JP2011254125A (ja) * 2010-05-31 2011-12-15 Sony Corp 画像処理装置、カメラシステム、画像処理方法、およびプログラム
JP2013537020A (ja) * 2010-09-01 2013-09-26 クゥアルコム・インコーポレイテッドQualcomm Incorporated 高ダイナミックレンジ画像センサ
JP2012109849A (ja) * 2010-11-18 2012-06-07 Canon Inc 撮像装置
JP2012205244A (ja) * 2011-03-28 2012-10-22 Canon Inc 画像処理装置、及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034027A1 (ja) * 2016-08-15 2018-02-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
CN104349070A (zh) 2015-02-11
TWI464526B (zh) 2014-12-11
US20150042836A1 (en) 2015-02-12
CN104349070B (zh) 2017-10-27
TW201506525A (zh) 2015-02-16
US9131160B2 (en) 2015-09-08
JP5719418B2 (ja) 2015-05-20

Similar Documents

Publication Publication Date Title
US10148893B2 (en) Methods, systems, and media for high dynamic range imaging
US9407831B2 (en) Intelligent auto-exposure bracketing
US9635272B2 (en) Imaging device and imaging method capable of generating a bulb exposure image
US9894287B2 (en) Method and apparatus for acquiring a high dynamic image using multiple cameras
US8989484B2 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
US9007486B2 (en) Image capturing apparatus and control method thereof
TWI454139B (zh) 高動態範圍轉換
JP4770907B2 (ja) 撮像装置、撮像方法及びプログラム
KR101247646B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US20140307117A1 (en) Automatic exposure control for sequential images
JP4402710B2 (ja) 撮像装置
TWI287928B (en) Image pickup apparatus, exposure control method, and medium for computer program installed in the image pickup apparatus
CN108200354B (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
TWI345909B (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US8508619B2 (en) High dynamic range image generating apparatus and method
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6046966B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
TWI408953B (zh) 攝像裝置及攝像方法
JP5713752B2 (ja) 画像処理装置、及びその制御方法
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
US9628768B2 (en) Image processing apparatus, image capturing apparatus, image correction method, and storage medium
US9357127B2 (en) System for auto-HDR capture decision making
KR20130052515A (ko) 촬상장치, 그 제어 방법, 및 기록 매체
CN104349070B (zh) 高动态范围图像曝光时间控制方法
JP4240023B2 (ja) 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150320

R150 Certificate of patent or registration of utility model

Ref document number: 5719418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250