JP2012010104A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2012010104A
JP2012010104A JP2010144205A JP2010144205A JP2012010104A JP 2012010104 A JP2012010104 A JP 2012010104A JP 2010144205 A JP2010144205 A JP 2010144205A JP 2010144205 A JP2010144205 A JP 2010144205A JP 2012010104 A JP2012010104 A JP 2012010104A
Authority
JP
Japan
Prior art keywords
processing unit
white balance
image
balance adjustment
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010144205A
Other languages
English (en)
Inventor
Katsuhisa Shinmei
克尚 神明
Yoji Yamamoto
洋司 山本
Shingo Nagataki
真吾 長滝
Kenji Wajima
賢二 和嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010144205A priority Critical patent/JP2012010104A/ja
Priority to US13/067,474 priority patent/US8970727B2/en
Priority to TW100120219A priority patent/TW201206182A/zh
Priority to KR1020110058319A priority patent/KR20110140081A/ko
Priority to CN2011101738847A priority patent/CN102300055A/zh
Publication of JP2012010104A publication Critical patent/JP2012010104A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range

Abstract

【課題】長時間露光画像および短時間露光画像にそれぞれ別の光源が存在した場合や色フリッカ(カラーローリング)が生じている場合でも、効果的に混合領域の偽色を抑制することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。
【解決手段】露光時間の異なる複数の撮像画像を合成する合成処理部125を有し、合成処理部125は、複数の撮像画像を合成する際に、異なる画像から選択した成分により異なる画像の混合比を取得し、異なる撮像画像の画素が混在する領域に対して混合比を適用して混在領域の混合処理を行う。
【選択図】図10

Description

本発明は、露光時間の異なる複数の画像を用いて広ダイナミックレンジ画像を生成する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。
より詳細には、露光時間の異なる複数の画像を用いて広ダイナミックレンジ画像を生成する場合に、それぞれの撮像画像に存在する光源の違いや、その照明光に含まれる電源周波数に起因した周波数変動によって、もしくは残光特性によって映像に生じるフリッカ(光源フリッカとも称する)や色信号系統のフリッカ(色フリッカもしくはカラーローリングとも称する)を抑制する仕組みに関する。
被写体画像を撮像する撮像装置においては、たとえばCCD(Charge Coupled Device)型やMOS型あるいはCMOS型などの固体撮像装置の画素部(撮像部や画素アレイ部ともいう)に入射する光量を制御する仕組み(以下入射光量制御という)が採られている。
この入射光量制御には、撮像レンズにメカニカルな絞り機構(以下メカアイリスともいう)を設けたもの、撮像レンズにメカニカルなシャッタ機構(以下メカシャッタともいう)を設けたものがある。あるいは固体撮像装置の画素部における信号電荷の蓄積時間(露光時間)の制御が可能ないわゆる電子シャッタ機能を利用するものなどがある。
これらは、単独で使用されてもよいが、メカアイリスはメカシャッタや電子シャッタと組み合わせて使用されることもある。
ところで、各種の撮像装置においては、定常的に明るさが変化しない光源下での撮像の場合は問題ないが、たとえば蛍光灯のように周期的な発光特性を有しかつ固体撮像装置の露光周期と同期していない光源下での撮像の場合、光源フリッカが発生する。
簡単に言えば、フィールド周波数と蛍光灯などの光源の発光周期とが異なることに起因して光源フリッカが発生する。
なお、画面輝度のちらつきを輝度フリッカ、色再現のちらつきを色フリッカもしくはカラーローリングと、区別して称することもある。
ここで、「光源フリッカ」とは、光源の照度変化と、撮像装置の露光周期との関わりで映像信号が変化する現象のことである。
たとえば、周波数fの商用電源を使用した光源における=1/nf(nは通常2)秒周期の照度変化と、撮像装置のフィールド周期fvのビート成分で映像信号の輝度信号成分が変化する。これにより出力画像が変化し、この周期が人間の目の残像特性にも関係して画像がちらついて感じられる現象を輝度フリッカと称している。
たとえば、フィールド周波数が60HzのNTSC方式での商用電源周波数f=50Hzの地域や、フィールド周波数が50HzのPAL方式での商用電源周波数f=60Hzの地域では極端に輝度フリッカが発生しやすい。しかも白熱電球より蛍光灯の方が、発光特性上照度変化があり、顕著である。
なお、フィールド周波数が60Hzとは換言すればフレームレートが30fps、より正確には59.94Hzである。また、フィールド周波数が50Hzとは換言すればフレームレートが25fpsである。
たとえば、蛍光灯の発光周期は10msで、NTSC方式での60Hzの露光動作の1周期は16.7msであると、これらの最小公倍数は50msとなり、3回の露光動作で両者の関係は元に戻る。したがって、露光期間の種類としては3種類となり、これらの間で固体撮像装置の出力信号レベルが異なることが、フリッカ周波数F=20Hzのフリッカ発生の原因となる。
また、電子シャッタ機能を使用する場合、高速シャッタモードにすればするほど1フィールド期間に固体撮像装置に電荷を蓄積する蓄積時間が短くなる。
このため、フリッカの振幅が通常のシャッタ速度である1/60秒の場合よりも大きくなり、電子シャッタ速度が速くなればなるほどフリッカが顕著となり、画面上のチラツキ(特に画像輝度)として画質を著しく劣化させる。
また、蛍光灯に使用されている蛍光体には緑色と赤色と青色との3色があり、各色の発色しはじめるタイミングは同じであるが、光量が減少し、最後に消えるまでの時間には差がある。つまり、蛍光灯の発光は時間とともにそのスペクトルを変える。
一般的には、前記3色のうち、特に緑色の発光時間が長く、ついで赤色、最も短いのが青色である。
したがって、高速シャッタのシャッタタイミングによっては、前記発色光のうち1色あるいは2色のみの光成分しかとらえることができない場合が発生する。
高速の電子シャッタを用いて撮像した場合には、捉えるスペクトルの差が出てくるため、それが色の変化となって現れるのである(色フリッカ,カラーローリング)。
特に、色フリッカとして青色の成分をとらえることができず、普通に撮像すると黄色くなってしまうような場合が多々存在する。
特開平7−322147号公報
ところで、特許文献1に記載されているような、露光量の異なる画像を合成してダイナミックレンジの広い映像信号を得る固体撮像装置が存在する。
この撮像装置の場合、明るい部分を通常撮影の露光時間で撮像すると、出力がセンサの飽和レベルを超える値となり、その値を使用することができないため、広ダイナミックレンジを得るためには、少ない露光量の画像を撮像してそれらを合成する必要がある。
図1は、広ダイナミックレンジ画像生成に必要な画像の概念図である。
通常の露光時間で撮像した画像において取得できない画像(光量がセンサ出力の飽和レベルを超えているもの)については、短い露光時間で撮像することで、センサ出力が飽和することなく、有意な情報を取得することができる。
この短い露光時間で撮像した画像に対し、露光比の逆数を掛けたり、オフセットを付けたりしたものと、長い露光時間で撮像した画像のどちらの画素を使用するかを画素毎に取捨選択することで、ダイナミックレンジの広い合成画像を生成している。
なお、露光比とは通常撮影画像のシャッタースピードと短い露光時間で撮像した画像のシャッタースピードの比をいう。
このように、広ダイナミックレンジ画像を生成するためには、露光時間(シャッター時間)を数千分の1秒といったシャッタースピードで比較的短く切る必要が生じる。
このため、短い露光時間で得られた画像(以後、短時間露光画像と称す)は前記の色フリッカが生じることになる。
一方、標準映像信号と同じか、もしくは、より長い露光時間で得られた画像(前記短時間露光画像に対して、以後、長時間露光画像と称す)は、通常1/60秒や1/100秒といったシャッタースピードで撮影されることが多い。したがって、長時間露光画像は、前記の通り、色フリッカの影響を受けにくい。
このため、色フリッカの影響は短時間露光画像に対しては大きく、長時間露光画像に対しては小さいことになる。これにより結果的にダイナミックレンジの広い合成画像の一部に色フリッカが生じてしまい、その画像はユーザーが実際に目で見ているものとは異なるため、不自然に感じられることとなってしまう。
前記の問題を改善するため、短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行うことが提案されている。
図2は、短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第1例を示すブロック図である。
この撮像装置1は、固体撮像素子2、前段処理部3−1,3−2、RAWデータからRGBへの変換処理部4−1,4−2、および積算値算出処理部5を有する。
撮像装置1は、ホワイトバランス調整処理部6−1,6−2、アンプ7−1,7−2、合成処理部8、後段処理部9、およびCPU10を有する。
撮像装置1では、積算値算出処理部5で長時間露光および短時間露光のRGBの積算値が算出される。算出された積算値は、CPU10に送られ、CPU10ではその積算値に基づいて長時間露光画像および短時間露光画像のそれぞれにかけるホワイトバランスゲイン値を算出する。
算出されたホワイトバランスゲイン値はCPU10からホワイトバランス調整処理部6−1,6−2に送られ、処理部内でそれぞれの画像データにゲインを掛けることでホワイトバランスの調整が行われる。
以上のように、このシステム構成を用いることで長時間露光画像および短時間露光画像のそれぞれに異なるホワイトバランスゲイン値を掛けることが可能となる。
図3は、短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第2例を示すブロック図である。
図3の撮像装置1Aは、図2の撮像装置1の変形例である。
図3においては、積算値算出処理部5およびホワイトバランス調整部6が合成処理部8の後段に置かれている。
図3の合成処理時に長時間露光画像、短時間露光画像のどちらの画素を選択したかという情報をフラグとして画素毎に後段に送ることができれば、合成後の画像で図2と同様の処理(積算処理、ホワイトバランス調整処理)を行うことが可能である。
図3では、前記のフラグがホワイトバランス調整部6に入力される。
このため、ホワイトバランス調整部6は図4に示すような回路構成となる。
図4のホワイトバランス調整部6は、セレクタ61、および乗算器62を有する。
セレクタ61が、合成処理部8の合成時に長時間露光画像もしくは短時間露光画像のどちらを選択したかを示すフラグFLGにより、ゲインを選択する。
セレクタ61は、フラグFLGが長時間露光画像を選択したことを示す場合には、長時間露光画像用にホワイトバランスゲイン値WBG_R_Long,WBG_G_Long,WBG_B_Longを選択し、乗算器62に出力する。
セレクタ61は、フラグFLGが短時間露光画像を選択したことを示す場合には、短時間露光画像用ホワイトバランスゲイン値WBG_R_Short,WBG_G_ Short,WBG_B_Shortを選択し、乗算器62に出力する。
乗算器62は、RAWデータからRGB信号への変換後のRGB信号にセレクタ61で選択されたゲイン値を掛け合わせてホワイトバランス調整画像を出力する。
図3の構成のメリットとしては、積算値算出処理およびホワイトバランス調整処理を行う画素数が、図2と比較して半分で済む。すなわち、図2の構成では長時間露光画像、短時間露光画像の2枚分の画素数処理するのに対し、図3は合成画像1枚分の画素処理で済むため、回路規模等が小さくなるといった点が挙げられる。
図3のシステムで広ダイナミックレンジ画像を生成した場合、長時間露光画像PXLEの大部分と短時間露光画像PXSEの大部分は独立のホワイトバランスゲイン値を掛けることで、本来白である被写体が白色になる。
しかしながら、図3のシステムでは、図5に示すように、両者の画像の画素が混在する混在領域PXMXに偽色が発生してしまう。
この偽色の要因は、前段の合成処理部の合成処理方法によっても変わってくる。以下では、その要因について、いくつかの概念図を用いて説明を行う。
図6は、合成画像生成時の画素選択処理のフローチャートである。
図7(A)および(B)は、先行技術において混在領域に偽色が発生する理由(長短選択時)を説明するための図である。
図8(A)および(B)は、先行技術において混在領域に偽色が発生する理由(混合時)を説明するための図である。
図9は、混合比と画素値もしくは輝度値との関係を示す図である。
図6に示すように、画素が入力されると(ST1)、画素値もしくは輝度値が閾値LV TH以上であるか否かが判定され(ST2)、閾値以上である場合、短時間露光画素が選択され(ST3)、閾値以上でなければ長時間露光画像が選択される(ST4)。以上の処理が画像の最終画素まで行われる(ST5)。
上記処理で、混在領域部分で長時間露光画像および短時間露光画像のどちらかのRAWデータの選択を行った場合、図7(A)のように、シーンによってはこの混在領域に長時間露光画像および短時間露光画像のデータ(画素)が入り乱れて選択されることになる。
RAWデータからRGBデータへの変換処理を行う際に、少なくとも1つ以上の隣接するRAWデータ(画素)の情報を使用するため、この入り乱れにより、図7(B)のように、色が正確に表現できず、結果として偽色が発生してしまう場合がある。
また、この入り乱れを回避するため、図8(A)に示すように、混在領域は長時間露光画像と短時間露光画像のRAWデータを混合して合成する方法がとられる場合がある。
図9は、その際の信号レベルもしくは輝度レベルとその混合比αの関係を示したものである。
この場合、後段のホワイトバランス調整処理部6で、その混在領域部分に長時間露光画像用もしくは短時間露光画像用のホワイトバランスゲイン値のどちらを掛ければよいか分からない。
また、どちらかの値を掛けたとしても、掛けるゲインと掛けられるRAWデータ(長時間露光画像と短時間露光画像を混合)の間で、その素性の違いにより、図8(B)のように、ホワイトバランスゲイン値がうまく合わず、その結果、偽色が発生することになる。 なお、図8の例では、長時間露光用のホワイトバランスゲイン値を掛けた例を示している。また、掛けるゲインは長時間露光画像もしくは短時間露光画像それぞれで取得した情報より決定される。
以上のように、従来、長時間露光画像、短時間露光画像のそれぞれに対し、異なったホワイトバランスゲイン値を掛けることが可能なシステムにおいて、複数の画像の混合領域に偽色が発生するという不都合が生じる場合が存在する。
本発明は、長時間露光画像および短時間露光画像にそれぞれ別の光源が存在した場合や色フリッカ(カラーローリング)が生じている場合でも、効果的に混合領域の偽色を抑制することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。
本発明の第1の観点の画像処理装置は、露光時間の異なる複数の撮像画像を合成する合成処理部を有し、上記合成処理部は、上記複数の撮像画像を合成する際に、当該異なる画像から選択した成分により異なる画像の混合比を取得し、異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理を行う。
本発明の第2の観点の撮像装置は、露光時間の異なる複数の撮像画像を撮像する撮像素子と、上記撮像素子による複数の撮像画像を合成する合成処理部と、を有し、上記合成処理部は、上記複数の撮像画像を合成する際に、当該異なる画像から選択した成分により異なる画像の混合比を取得し、異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理を行う。
本発明の第3の観点の画像処理方法は、露光時間の異なる複数の撮像画像を合成する際に、上記異なる画像から選択した成分により異なる画像の混合比を取得し、異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理を行う。
本発明の第4の観点は、露光時間の異なる複数の撮像画像を合成する際に、上記異なる画像から選択した成分により異なる画像の混合比を取得する処理と、異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理とを含む画像処理をコンピュータに実行させるプログラムである。
本発明によれば、長時間露光画像および短時間露光画像にそれぞれ別の光源が存在した場合や色フリッカ(カラーローリング)が生じている場合でも、効果的に混合領域の偽色を抑制することができる。
広ダイナミックレンジ画像生成に必要な画像の概念図である。 短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第1例を示すブロック図である。 短時間露光および長時間露光で撮像した画像に対し、それぞれ別々のホワイトバランス調整処理を行う撮像装置の第2例を示すブロック図である。 後段のホワイトバランス調整処理部の構成例を示す図である。 混在領域に発生する偽色について説明するための図である。 合成画像生成時の画素選択処理のフローチャートである。 先行技術において混在領域に偽色が発生する理由(長短選択時)を説明するための図である。 先行技術において混在領域に偽色が発生する理由(混合時)を説明するための図である。 混合比と画素値もしくは輝度値との関係を示す図である。 本発明の第1の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本第1の実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。 本実施形態に係る長短選択フラグの決定処理を説明するためのフローチャートである。 本第1の実施形態を適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。 本発明の第2の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本第2の実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。 第2の実施形態に係る混合領域の偽色を抑制するための合成方法を採用したホワイトバランス調整処理部の構成例を示す図である。 本第2の実施形態に係る合成処理部およびホワイトバランス調整処理部を適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。 本発明の第3の実施形態に係る混合比の算出処理を説明するためのフローチャートである。 図11の変形例として本第3の実施形態に係る静動判定機能を有する合成処理部の構成例を示す図である。 図15の変形例として本第3の実施形態に係る静動判定機能を有する合成処理部の構成例を示す図である。 本発明の第4の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第5の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第6の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第7の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本実施形態に係る色フリッカ検出処理のフローチャートである。 RGBの積算処理のフローチャートである ノイズマージンがない場合の積算範囲指定の概念図である。 ノイズマージンがある場合の積算範囲指定の概念図である。 短時間露光画像の場合のRおよびBのGに対する比の概念図である。 長時間露光画像の場合のRおよびBのGに対する比の概念図である。 式で求めた色フリッカ評価値の例を示す図である。 色フリッカ判定方法の一例を説明するための図である。 色フリッカ検出処理部の構成例を示すブロック図である。 色フリッカ検出および確度算出処理のフローチャートである。 色フリッカ検出の確度(確からしさ)の算出方法について示す図である。 色フリッカ検出の確度(確からしさ)を示す図である。 色フリッカ検出の確度(確からしさ)の他の算出方法について示す図である。 長短独立のホワイトバランス算出系を示す図である。 混合比αの算出方法について説明するための図である。 長短独立のホワイトバランス算出系の他の例を示す図である。 色フリッカ抑制機能を有する色フリッカ検出処理部の構成例を示す図である。 本発明の第8の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本第8の実施形態に係る色フリッカ検出処理のフローチャートである。 本第8の実施形態に係る色フリッカ検出処理部の構成例を示すブロック図である。 本発明の第9の実施形態に係るRGB積算値に対し、静動判定を条件に加える場合の処理を説明するためのフローチャートである。 本第9の実施形態に係る静動判定機能を有する色フリッカ検出処理部の構成例を示す図である。 本発明の第10の実施形態に係るRGB積算値の積算ではなく、本評価値を積算する場合の処理を説明するためのフローチャートである。 評価値の積算処理を行った場合の色フリッカ判定処理のフローチャートである。 本発明の第11の実施形態に係る色フリッカ検出の領域分割処理する場合を説明するための図であって、複数の光源が存在するシチュエーション例を示す図である。 本発明の第11の実施形態に係る色フリッカ検出の領域分割処理を説明するための図である。 本発明の第12の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第13の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第14の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。 本発明の第15の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.第1の実施形態(撮像装置の画像処理装置の第1の構成例)
2.第2の実施形態(撮像装置の画像処理装置の第2の構成例)
3.第3の実施形態(撮像装置の画像処理装置の第3の構成例)
4.第4の実施形態(撮像装置の画像処理装置の第4の構成例)
5.第5の実施形態(撮像装置の画像処理装置の第5の構成例)
6.第6の実施形態(撮像装置の画像処理装置の第6の構成例)
7.第7の実施形態(撮像装置の画像処理装置の第7の構成例)
8.第8の実施形態(撮像装置の画像処理装置の第8の構成例)
9.第9の実施形態(撮像装置の画像処理装置の第9の構成例)
10.第10の実施形態(撮像装置の画像処理装置の第10の構成例)
11.第11の実施形態(撮像装置の画像処理装置の第11の構成例)
12.第12の実施形態(撮像装置の画像処理装置の第12の構成例)
13.第13の実施形態(撮像装置の画像処理装置の第13の構成例)
14.第14の実施形態(撮像装置の画像処理装置の第14の構成例)
15.第15の実施形態(撮像装置の画像処理装置の第15の構成例)
<1.第1の実施形態>
図10は、本発明の第1の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
[撮像装置の構成]
本撮像装置100は、固体撮像素子110および画像処理装置120を有する。
画像処理装置120は、前段処理部121,122、アンプ123,124、および合成処理部125を有する。
画像処理装置120は、RAW−RGB変換処理部126、積算値算出処理部127、ホワイトバランス調整処理部128,後段処理部129、および制御部としてのCPU130を有する。
以下、広ダイナミックレンジ画像を生成する処理順序および処理内容に沿って各ブロックの説明を行う。
固体撮像素子110は、CCDイメージセンサもしくはCMOSイメージセンサ等のイメージセンサにより形成される。
固体撮像素子110は、図示しない光学系により結像された被写体像を光電変換し、デジタル信号に変換等して、画像処理装置120の前段処理部121,122に出力する。
固体撮像素子110においては、広ダイナミックレンジ画像生成のために、複数(少なくとも2つ以上)の異なる露光時間で撮像された画像が出力される。
図では、広ダイナミックレンジを実現するために短い露光時間で撮像された画像である短時間露光画像をPXSEと表し、それよりも長い、通常の露光時間もしくはより長い露光時間で撮像された画像である長時間露光画像をPXLEと表している。
前段処理とは、黒レベル合わせ処理やノイズ除去処理、シェーディング補正処理といった比較的センサ出力に近い所で処理を行う必要がある処理を示す。
前段処理部121は、長時間露光画像に対して、黒レベル合わせ処理やノイズ除去処理、シェーディング補正処理等を行う。
前段処理部122は、短時間露光画像に対して、黒レベル合わせ処理やノイズ除去処理、シェーディング補正処理等を行う。
アンプ123は、前段処理部121が施された長時間露光画像に対して、CPU130からのゲイン値に従い、ゲインを掛け後段の合成処理部125に出力する。
アンプ124は、前段処理部122が施された短時間露光画像に対して、CPU130からのゲイン値に従い、ゲインを掛け後段の合成処理部125に出力する。
ここでのゲイン値は、露光比(通常撮影画像のシャッタースピードと短い露光時間で撮像した画像のシャッタースピードの比)の逆数であったり、その値に補正がかかったものであったりしても良い。
合成処理部125は、長時間露光画像および短時間露光画像を画素毎に合成する処理を行う。本合成方法の詳細については後述する。
この合成処理部125の出力としては、1枚の合成画像と画素毎に長時間露光画像もしくは短時間露光画像のどちらの画素を選択したかといったフラグ情報(以後、長短選択フラグと表記する)FLGLSとなる。
変換処理部126は、合成画像に対してRAW−RGB変換処理を行う。
RAW−RGB変換処理とは、センサ出力であるRAWデータから各画素にRGB3つのデータが存在するように変換する処理のことを指し、デモザイク処理と呼ばれてもいる。
なお、RAWデータは、RGBもしくは補色の市松(ベイヤ)配列の値、各画素に対し、1つのカラーフィルタを通過して光電変換した値を含む。
変換処理部126は、RAW−RGB変換処理後の合成画像(RGB)は積算値算出処理部127およびホワイトバランス調整処理部128に出力する。
先にホワイトバランス調整処理部128および後段処理部129の構成および機能について示す。
ホワイトバランス調整処理部128は、CPU130から入力される長時間露光画像もしくは短時間露光画像の画素に対するRGBそれぞれのゲイン値を合成処理部から送られてきた長短選択フラグFLGLSに基づいて、それぞれ該当するゲインを掛ける。
以後、CPU130から入力される長時間露光画像もしくは短時間露光画像の画素に対するRGBそれぞれのゲイン値を、WBG_R_Long,WBG_G_Long,WBG_B_Long,WBG_R_Short,WBG_G_Short,WBG_B_Short と表記する。
また、長短選択フラグFLGLSは長時間露光画像Longもしくは短時間露光画像Shortのどちらを選択したかを示すフラグである。
また、後段処理部129は、ホワイトバランス調整処理部128の出力画像に対して、ノイズ除去やエッジ強調、諧調変換やガンマ処理等を行う。
一方、RAW−RGB変換処理後の合成画像(RGB)は積算値算出処理部127へも送られる。
積算値算出処理部127は、入力されるRGB画像と長短選択フラグFLGLSに基づき、任意の条件に該当する画素に対し、その値を積算する処理を行い、最終的に、画面全体の画素を処理した後のRGBそれぞれの積算結果をCPU130に出力する。
ここで言う「任意の条件」とは、画像の位置座標(領域指定)や、画素値のあるレベルからあるレベルといった範囲指定となる。また、長短選択フラグFLGLSを利用した長時間露光画像であるもしくは短時間露光画像であるといった条件でも良い。
以後、積算値算出処理部127の積算結果をSum_R_Long,Sum_G_Long,Sum_B_Long,Sum_R_Short,Sum_G_Short,Sum_B_Shortで表記する。
CPU130で、送られてきたRGBの積算値から長時間露光画像、短時間露光画像それぞれにかけるホワイトバランスゲイン値(WBG_R_Long,WBG_G_Long,WBG_B_Long,WBG_R_Short,WBG_G_Short,WBG_B_Short)の算出を行う。
算出方法としては、以下の式(1-1)〜式(1-6)に示す様な算出方法が採用可能である。ただし、式(1-1)〜(1-6)はあくまで一例であり、先行技術に既存の算出方法であれば特に限定はしない。
[数1]
WBG_R_Long = Sum_G_Long / Sum_R_Long …(1-1)
WBG_G_Long = 1.0 …(1-2)
WBG_B_Long = Sum_G_Long / Sum_B_Long …(1-3)
WBG_R_Short = Sum_G_Short / Sum_R_Short …(1-4)
WBG_G_Short = 1.0 …(1-5)
WBG_B_Short = Sum_G_Short / Sum_B_Short …(1-6)
[合成処理の詳細な説明]
以下に、混合領域の偽色を抑制するための合成方法の詳細を説明する。
図11は、本実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。以下、順に説明を行う。
合成処理部125は、RAW−YC変換処理部1251,1252、セレクタ1253、ブレンド比算出部1254、乗算器1255,1256、減算器1257、加算器1258、およびYC−RAW変換処理部1259を有する。
RAW‐YC変換処理部1251は、入力された長時間露光画像のRAWデータ(RAW_Long)に対し、それぞれRAW−YC変換処理を行う。
RAW‐YC変換処理部1252は、入力された短時間露光画像のRAWデータ(RAW_Short)に対し、それぞれRAW−YC変換処理を行う。
ここで、RAW−YC変換処理とは、RAWデータから輝度(Y)成分、色(C)成分への変換を行う処理のことを指す。
この処理の変換式は、RAWデータの素性や輝度(Y)成分、色(C)成分としてどのような評価量を用いるかによって変わってくる。ここで、RAWデータの素性とは、撮像素子がどの様な色フィルタ(RGB(Red, Green, Blue)、CMYG(Cyan, Magenta, Yellow, Green)等)を用いて撮像情報を取得したかである。また、評価量とはYCrCb、YUV、YPrPbといった既存の色空間のことを指す。
以下の式(2-1)〜式(2-3)は撮像素子の色フィルタが原色系(RGB)の場合のYCrCbへの変換式の一例を示したものである。
原色系(RGB)と補色系(CMYG)との間には、式(3-1)〜式(3-3)で表される関係式があるため、前記式(2-1)〜式(2-3)に代入することにより、補色系(CMYG)からYCrCbへ変換も可能である。
[数2]
Y = 0.257 x R + 0.504 x G +0.098 x B …(2-1)
Cr = -0.148 x R - 0.291 x G + 0.439 x B …(2-2)
Cb = 0.439 x R -0.368 x G - 0.071 x B …(2-3)
[数3]
C = 1.0 - R …(3-1)
M = 1.0 - G …(3-2)
Y = 1.0 - B …(3-3)
前記変換式は一例であり、その他の変換式や式を簡略化したもの、もしくはその他の評価量を用いても良い。また、上記の変換処理時に、どの画素情報(周辺の画素情報)を用いるかについても特に制限は無い。
RAW−YC変換処理部1251,1252で変換されて得られた輝度(Y)成分および色(C)成分に対し、輝度(Y)成分に関しては、ブレンド比算出部1254、乗算器1255,1256、減算器1257による混合比αを用いた混合処理を行う。
この際、ブレンド比(混合比)算出部1254において、長時間露光画像および短時間露光画像の輝度(Y)成分を用いて混合比αを算出する。混合比の算出方法としては、前記の図9に示した手法でも良いし、変形例で後述する方法を用いても良い。
色(C)成分に関しては、混合処理を行わず、長時間露光画像もしくは短時間露光画像の色(C)成分を、C成分選択信号CSELに応じてセレクタ1253で選択し使用する。
どちらの画像の色(C)成分を利用するかについては、どちらでも問題は無いが、広ダイナミックレンジ画像を生成するシステムの場合、短時間露光画像は取得される信号レベルが小さいため、ノイズが多い可能性がある。
したがって、長時間露光画像の色(C)成分を使用する方が多くの場合で良い可能性がある。
最後に、混合された輝度(Y)成分および選択された色(C)成分を用いてRAWデータに変換する処理を行う。変換方法については、前記の式の逆変換を用いれば良い。
また、合成処理部125の出力は前記の通り、合成処理が行われた合成画像および画素毎に長時間露光画像の画素もしくは短時間露光画像の画素のどちらが選択されたかを示す長短選択フラグFLGLSである。
ここで、本第1の実施形態において、混在領域の長短選択フラグの値は、色(C)成分としてどちらを選択したかの値である。したがって、長短選択フラグFLGLSの決定方法についてのフローチャートは図12の通りとなる。
図12は、本実施形態に係る長短選択フラグの決定処理を説明するためのフローチャートである。
この処理では、画素が入力されると(ST11)、混合比αが算出される(ST12)。
混合比αの値が0.0の場合(ST13)、短時間露光画像のID(識別子)を出力する(ST14)。
混合比αの値が0.0<α<1.0の場合、色(C)成分で選択した画像のID(識別子)を出力する(ST15)。
混合比αの値が1.0の場合、長時間露光画像のID(識別子)を出力する(ST16)。
以上の処理が画像の最終画素まで行われる(ST17)。
以上が第1の実施形態の合成処理部についての説明になる。
図13(A)および(B)は、本第1の実施形態を適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。
図13(A)が、本実施形態で実現する混合処理方法の概念図を示している。
本実施形態では、色(C)成分を混合せずにどちらかの露光画像の色(C)成分をそのまま利用したため、後段のホワイトバランス調整処理部128においても、利用した色(C)成分に対応するホワイトバランスゲイン値を掛ければ良いことになる。
これにより、図13(B)に示すように、混在領域において適切なホワイトバランスゲイン値を掛けることが可能になり、混在領域PXMXの偽色の抑制が可能となる。
<2.第2の実施形態>
図14は、本発明の第2の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第2の実施形態に係る撮像装置100Aが第1の実施形態に係る撮像装置100と異なる点は、合成処理部125Aおよびホワイトバランス調整処理部128Aと両ブロック間で伝送する新たな信号(混合比)である。それぞれのブロックの詳細については、後述する。
合成処理部125Aの出力として、合成画像信号および長短選択フラグFLGLSの他に、本第2の実施形態は合成処理時の混合比α(BLD)が画素毎に出力され、合成処理部125Aからホワイトバランス調整処理部128Aに送られる。
その他の部分については、第1の実施形態と同じため、説明を割愛する。
[合成処理の詳細な説明]
以下に、第2の実施形態の混合領域の偽色を抑制するための合成方法の詳細を説明する。
図15は、本第2の実施形態に係る混合領域の偽色を抑制するための合成方法を採用した合成処理部の構成例を示す図である。以下、順に説明を行う。
図15の合成処理部125Aは、混合比算出部1254A、乗算器1255A,1256A、減算器1257A、および加算器1258Aを有する。
合成処理部125Aにおいて、まず、入力された長時間露光画像および短時間露光画像のRAWデータ(RAW_Long,RAW_Short)に対し、混合処理を行う。
この際、混合比算出部1254Aにおいて、長時間露光画像および短時間露光画像のRAWデータ(RAW_Long,RAW_Short)を用いて混合比αを算出する。混合比の算出方法としては、前記の図9に示した手法でも良いし、変形例で後述する方法を用いても良い。
算出された混合比αに基づいて、RAWデータの混合が乗算器1255A,1256Aで行われる一方、混合比α自体も合成処理部125Aから出力され、後段のホワイトバランス調整処理部128Aに送られる。
以上が本第2の実施形態に係る合成処理部125Aについての説明になる。
[ホワイトバランス調整処理の詳細な説明]
以下に、本第2の実施形態に係るホワイトバランス調整処理部128Aにおいて混合領域の偽色を抑制するためのホワイトバランス調整方法の詳細を説明する。
図16は、本第2の実施形態に係る混合領域の偽色を抑制するための合成方法を採用したホワイトバランス調整処理部の構成例を示す図である。
図16のホワイトバランス調整処理部128Aは、乗算器1281〜1283、減算器1284、および加算器1285を有する。
先行技術では、図4に示すように長短選択フラグを用いてホワイトバランス調整処理を行っていた。
これに対して、本第2の実施形態のホワイトバランス調整処理部128Aでは、長短選択フラグは用いず、合成処理部125Aから送られて来る画素毎の合成処理時の混合比を利用して処理を行う。以下、順に説明を行う。
入力信号として、RAW−RGB変換後のRGB画像および合成時の混合比αが入力される。さらに入力信号として、RGBの積分値を元にCPU130で算出された長時間露光画像および短時間露光画像用のホワイトバランスゲイン値(WBG_R_Long,WBG_G_Long,WBG_B_Long,WBG_R_Short,WBG_G_Short,WBG_B_Short)が入力される。
合成時の混合比αに基づいて、長時間露光画像および短時間露光画像用の上記ホワイトバランスゲイン値から図16の回路を用いて、最終的なホワイトバランスゲイン値(WBG_R,WBG_G,WBG_B)を画素毎に算出される。
算出されたホワイトバランスゲイン値を用いて、RGB画像に対し、ホワイトバランス調整処理が行われる。
以上が本提案のホワイトバランス調整処理部128Aについての説明である。
従来のホワイトバランス調整処理部の場合、1画面の画素に掛けられるホワイトバランスゲイン値は2通り(WBG_R_Long,WBG_G_Long,WBG_B_Long、もしくはWBG_R_Short,WBG_G_Short,WBG_B_Short)である。
これに対し、本第2の実施形態に係るホワイトバランス調整処理部128Aを用いることで、画素毎に異なるホワイトバランスゲイン値を掛けることが可能であり、結果的に、1画面で数多くのホワイトバランスゲイン値の組み合わせが存在することになる。
以上が第2の実施形態の合成処理部125Aおよびホワイトバランス調整処理部128Aについての説明になる。
図17(A)および(B)は、本第2の実施形態に係る合成処理部125Aおよびホワイトバランス調整処理部128Aを適用した場合の混在領域に偽色を抑制できる理由を説明するための概念図である。
図17(A)が、本第2の実施形態を用いた場合の合成処理の概念図を示している。
本第2の実施形態では、先行技術と同様に長時間露光画像および短時間露光画像のRAWデータに対し混合処理を行っている。
混合された混在領域の画素に対し、本第2の実施形態のホワイトバランス調整処理部128Aで画素毎に求めたホワイトバランスゲイン値を掛けることにより、画素毎に、合成された混合比に基づいたホワイトバランス調整を行うことが可能となる。
その結果、従来手法で課題となっていた混在領域の偽色を、図17(B)に示すように、大幅に抑制することが可能となる。
<3.第3の実施形態>
以下、本発明の第3の実施形態として、合成処理のα値算出時に静動判定を利用する例について説明する。
図18は、本発明の第3の実施形態に係る混合比の算出処理を説明するためのフローチャートである。
[合成処理のα値算出時に静動判定を利用する例]
第1の実施形態および第2の実施形態では、混合比αを算出する方法として、図9に示す方法で算出すると説明した。
しかしながら、長時間露光画像と短時間露光画像の間で、撮像に時間差が生じるため、そのわずかな時間差の間に、移動物体が通過した場合、長時間露光画像もしくは短時間露光画像のどちらかのみしか移動物体が存在しない場合も出てくる。
このような場合、前記の図9のように画素のレベルによって混合処理を行うと、結果的に全く異なる被写体の画素情報を混合してしまうことになってしまう。これにより生成された合成画像が、破綻していることは容易に想像できる。
そこで、本第3の実施形態においては、図18のフローチャートに示すように画素毎もしくはある領域(ブロック)毎に静動判定を行う(ST22)。
その画素もしくはその領域が静止と判断された時、前記α値の算出を行う(ST23)。
動きと判断された場合は、混合を行わず、画素値もしくは輝度値が閾値LV_THとの比較を行って(ST24)、長時間露光画像もしくは短時間露光画像のどちらかを選択することを行う(ST25、ST26)。
このフローチャートに基づく処理は、前記第1の実施形態および第2の実施形態のどちらの場合にも利用可能である。
図19に、図11の変形例として本第3の実施形態に係る静動判定機能を有する合成処理部125Bの構成例を示す。
図19の合成処理部125Bは、RAW−YC変換処理部1251B,1252B、ブレンド比算出部1254B、乗算器1255B,1256B、減算器1257B、加算器1258B、YC−RAW変換処理部1259B、および静動判定部1260を有する。
これらにより、前記の各処理が行われる。
図20に、図15の変形例として本第3の実施形態に係る静動判定機能を有する合成処理部125Cの構成例を示す。
図20の合成処理部125Cは、混合比(ブレンド比)算出部1254C、乗算器1255C,1256C、減算器1257C、加算器1258C、および静動判定部1260Cを有する。
これらにより、前記の各処理が行われる。
<4.第4の実施形態>
以下、本発明の第4および第5の実施形態として、混合比αおよび抑制処理用のホワイトバランスゲイン値の遅延合わせを利用する例について説明する。
図21は、本発明の第4の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第4の実施形態に係る撮像装置100Bが第1の実施形態に係る撮像装置100と異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ131を追加したことにある。
<5.第5の実施形態>
本発明の第5の実施形態として、混合比αおよび抑制処理用のホワイトバランスゲイン値の遅延合わせを利用する例について説明する。
図22は、本発明の第5の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第5の実施形態に係る撮像装置100Cが第2の実施形態に係る撮像装置100Aと異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ131を追加したことにある。
[混合比αおよび抑制処理用のホワイトバランスゲイン値の遅延合わせ]
第1の実施形態および第2の実施形態では、長時間露光画像および短時間露光画像それぞれのホワイトバランスゲイン値の算出は一般的な手法と同じであるため、図10および図14の積算値算出処理部127での積算処理に1フレーム全体の画素を使用する。
そのため、積算処理が完了するのに、少なくとも1フレーム以上の時間がかかってしまう。
また、評価値からCPU130で演算を行い、ホワイトバランス調整処理部128,128Aへのホワイトバランスゲイン値を算出するまでにも時間がかかるのも同じである。したがって、第1および第2の実施形態では、積算処理から評価値を算出したフレームと、実際にホワイトバランス調整処理を実行するフレームは異なっている。
第1の実施形態および第2の実施形態に係る回路および処理方法を用いることで、一般的手法と比べて、画素毎に最適なホワイトバランス調整が可能になったのに対し、この適用フレームのずれによって、偽色の抑制性能が落ちる可能性もある。
これに対し、第4および第5の実施形態においては、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ131を追加している。
このように、メモリ131の追加により図10および図14に対し遅延合わせを行うことが可能となる。
<6.第6の実施形態>
本発明の第6の実施形態として、長短選択フラグを省略する例について説明する。
図23は、本発明の第6の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第6の実施形態に係る撮像装置100Dが第2の実施形態に係る撮像装置100Aと異なる点は、長短選択フラグを省略したことにある。
[長短選択フラグを省略する例]
前記の長短選択フラグは、合成処理において、長時間露光画像もしくは短時間露光画像のどちらの画素を選択したかを示す信号である。
これに対し、第2の実施形態で提案した混合比αは、図9および図12等で示すように、その混合比αの値で、長時間露光画像の画素のみ、短時間露光画像の画素のみを表現することが可能である。
具体的にはα=1.0のとき、長時間露光画像の画素が選択され、α=0.0の時、短時間露光画像の画素が選択されたことを意味する。
以上のことから、第2の実施形態の場合はα値で代用できるため、長短選択フラグは不要となる。
上記の点から、本第6の実施形態の図23においては、第2の実施形態の図14の構成から、長短選択フラグを省略した例を示している。
[第1の実施形態および第2の実施形態の利点]
第1の実施形態および第2の実施形態について、それぞれの利点について述べる。
[第1の実施形態の利点]
本実施形態の処理がほぼ合成処理部125内で完結するため、後段への信号の遅延回路等が存在しない。このため、ハードウェア(HW)規模が小さくて済む。
短時間露光の画像信号と比較して、ノイズ量の少ない長蓄信号の色(C)成分を利用することが可能である(色(C)成分に長時間露光画像を選択した場合)。
[第2の実施形態の利点]
画素毎に異なるホワイトバランスゲイン値を掛けることが可能なため、第2の実施形態と比較して、より最適な偽色抑制が掛けられる。
RAWデータで混合しているため、色(C)成分に関して、空間的に長時間露光画像と短時間露光画像の切り替え点が無い(滑らかに切り替わる)ため、偽色に対し、十分な抑制ができなかった場合でも、その偽色はユーザーに対し認識しにくい。
以上説明したように、本第1から第6の実施形態によれば、以下の効果を得ることができる。
異なる露光時間で撮像した複数枚の画像を用いた広ダイナミックレンジ画像生成において、画像毎に光源が異なったり、色フリッカ(カラーローリング)が起こったりしている際に問題となる異なる画像の混在領域の偽色に対し、効果的な抑制が可能となる。
<7.第7の実施形態>
以下、本発明の第7の実施形態として、長時間露光画像と短時間露光画像の混合部分の偽色の発生を抑制する機能に加えて色フリッカ検出機能を追加したことにある。
図24は、本発明の第7の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
図24の画像処理装置120Eは、図10の構成に加えて色フリッカ検出処理部132を有する。
以下のフリッカ検出機能部分について説明する。
色フリッカ検出処理部132は、入力されたデータから色フリッカの有無を判別し、さらに、その確度(確からしさ)を算出し、CPU130Eへと出力する。
色フリッカ検出処理部132の検出方法の詳細については後述する。
[色フリッカ検出の詳細な説明]
以下に、色フリッカ検出方法の詳細を説明する。
図25は、本実施形態に係る色フリッカ検出処理のフローチャートである。以下、順に説明を行う。
まず、RAW−RGB変換処理後(ST31)、長時間露光画像および短時間露光画像のそれぞれに対し、RGBそれぞれの積算値を算出する(ST32)。これは、図2,図3にも存在する積算値算出部と類似した処理を行う。
主な処理内容は、任意の条件に該当する画素に対し、積算する処理を行い、最終的に、画面全体の画素を処理した後の積算結果を出力することである。
図26にそのフローチャートを示す。図26のフローチャートでは、前記の「任意の条件」として、画素の位置が指定領域内であるかどうかおよび、その画素値が指定範囲内の値であるかを条件としている。この2つの条件を共に満たす画素に関し、RGBそれぞれの値の積算を行うことになる(ST41〜ST46)。
ここで、画素値の指定方法について説明を行う。
図27はそれぞれ短時間露光および長時間露光における光量に対するセンサ出力を示す図であって、ノイズマージンがない場合の積算範囲指定の概念図である。
本実施形態では、少なくとも、長時間露光画像および短時間露光画像に共通して値が存在する画素を積分の対象とする様な指定をするのを特徴とする。
図27において、ある光量(Pa)までは長時間露光画像がセンサの飽和レベルに達しないため、その値は存在するが、それ以上はセンサの飽和レベルに達してしまうため、有意な情報が存在しない。
したがって、光量がPaに達するまでの長時間露光画像および短時間露光画像の値を範囲指定すれば良いことになる。今回の例では、図中符号Xで示す部分に該当する画素がそれぞれ積算対象となる。
図27はノイズに関して考慮しない場合の積算範囲の指定方法を示した図である。
しかしながら、実際の撮像系ではノイズが存在し、露光比が大きくなればなるほど、短時間露光画像のわずかな信号レベルの画素を使用して積算しなければならなくなるため、その判定精度は低下する。このため、予めノイズのマージンをとった範囲指定を行うこともできる。
図28は、ノイズを考慮した積算範囲の指定方法の概念図である。図では、ノイズのマージンをセンサ出力の0と飽和レベルに設けており、図28においてノイズマージン内に該当する画素は積算対象としない。
したがって積算対象となる画素は、図中符号Yで示す部分に該当する画素であり、ノイズを考慮に入れない場合の画素よりも少なくなる。
前記のような範囲指定を行い、それに該当する画素を積分することにより、最終的な積分結果が導出される。
最終的な出力結果は、長時間露光画像および短時間露光画像それぞれに対しR,G,Bの積算値となるため、6つの積算結果(以下、Sum_R_Long,Sum_R_Short,Sum_G_Long,Sum_G_Short,Sum_B_Long,Sum_B_Shortと記す)が出力されることになる。
次に、算出された積分値を用いて、以下の式(4-1)〜式(4-4)を用いて、長時間露光画像および短時間露光画像それぞれにおいてRおよびBのGに対する比を算出する(ST33)。
[数4]
(R/G)_Long = Sum_R_Long / Sum_G_Long …(4-1)
(B/G)_Long = Sum_B_Long / Sum_G_Long …(4-2)
(R/G)_Short = Sum_R_Short / Sum_G_Short …(4-3)
(B/G)_Short = Sum_B_Short / Sum_G_Short …(4-4)
式(4-1)〜(4-4)を用いて算出した値の例を図29および図30に示す。
図29は、短時間露光画像の場合のRおよびBのGに対する比の概念図である。
図30は、長時間露光画像の場合のRおよびBのGに対する比の概念図である。
両図はそれぞれ色フリッカが生じている場合の例を示したものである。グラフの凹凸や値の上下等は、シチュエーションによって変わるため、あくまで一例である。したがって、必ずしもR/GがB/Gよりも大きいとか、B/Gは下に凸な曲線であると言った決まりは無い。
前記の通り、短時間露光画像は、シャッタースピードが比較的短いため、色フリッカの影響を受けやすく、R/GおよびB/Gの時間変動は図29のようになる。
一方、長時間露光画像は、前記の通り、比較的長いシャッタースピードで撮像するため、色フリッカの影響を受けにくい。ただし、全く色フリッカの影響を受けないというわけではないため、短時間露光画像の曲線と比べ、その変動が小さい図30のような曲線を描く。
次に、色フリッカの評価値を算出する(ST34)。
評価値は以下の式(5-1),式(5-2)を用いて算出する。
[数5]
CR_Est_R = (R/G)_Short / (R/G)_Long …(5-1)
CR_Est_B = (B/G)_Short / (B/G)_Long …(5-2)
図31は、前記式で求めた色フリッカ評価値の例を示す図である。
長時間露光画像と短時間露光画像の比を求めることで長時間露光にも影響を与えている色フリッカ分を短時間露光側からキャンセルすることができ、さらに、自動的に正規化される。
長時間露光画像と短時間露光画像は露光時間の異なる画像であるが、同じ位置の画素での比較であるため、同じ被写体の撮像情報のはずである。
したがって、もし、色フリッカが起きていない場合は、長時間露光画像、短時間露光画像とも、露光時間によらず、B/G,R/Gは同じ値となる。この時、比較するのは比の値であるため、短時間露光画像および長時間露光画像の値の大きさ(絶対値)が異なることは問題ではない。このため、色フリッカが起きていない場合、その比である評価値は1.0となるはずである。
一方、色フリッカが起きている場合、前記の通り、同じ被写体でも、照明光の残光特性の影響をうけ、その色合いが変わってくる。この場合、その比である評価値は1.0よりも大きくなったり、小さくなったりする値を取る。
このような理由により、色フリッカが起きている場合のこの評価値の時間変動は、図31に示すような曲線を描く。
次に、前記の評価値を用いて、色フリッカのありなしの判定を行う(ST35〜ST38)。
前記の通り、理想状態では、色フリッカが起きていない場合、その値は1.0となるはずである。
しかしながら、1)ノイズ等による誤差があること、2)前記の式でキャンセルされたとはいえ長時間露光画像の色フリッカの影響が0では無いこと、3)積算値は評価値の積算値ではなくRGBそれぞれの値で積算している。このため、RGB積算値から評価値を求めた場合と差分が生じることから、ジャスト1.0となることはほとんどありえない。
このため、図32に示すような不感帯NZNを定義し、不感帯NZN内の値であれば、色フリッカは生じていないと判断する。
R、Bそれぞれの評価値(CR_Est_R,CR_Est_B)に対し、前記不感帯NZN内かどうかの判定を行い、どちらかもしくは両方の評価値が不感帯NZNから逸脱していた場合、色フリッカありと判定する。
以上が色フリッカ判定方法についての説明となる。
前記色フリッカ判定を用い、色フリッカがありと判定された場合、前記の従来の抑制方法を適応することが可能となる。
図33に、色フリッカ検出処理部132の構成例を示す
この色フリッカ検出処理部132は、RAW−RGB変換部1321、条件判定部1322、RGB積算部1323、評価値算出部1324、および検出部1325を有する。
これらにより、前記の各処理が行われる。
[色フリッカ抑制方法]
前記の通り、本実施形態の色フリッカ検出を行い、色フリッカと判定された場合、一般的な抑制方法を適応することができる。
一方、本実施形態の色フリッカ検出に更に処理を加え、その検出結果の確からしさ(確度)を算出し、それを利用した抑制方法も適用可能である。
以下にその算出方法および抑制方法について説明を行う。
まず、検出結果の確からしさ(確度)の算出を行う。
図34は、色フリッカ検出および確度算出処理のフローチャートである。
図34の処理において、ステップST51の「色フリッカ検出」については前記の色フリッカ検出と同じであり、図26に示すフローチャート内容の処理となる。
フリッカ検出後(ST51)、フリッカが無いと判定された場合(ST52)、図34に示すようにRGBの積算値から長時間露光画像および短時間露光画像の両方に掛ける共通したホワイトバランスゲインを算出する(ST53)。
このときに使用するRGBそれぞれの積算値は、前記フリッカ検出時に算出した積算値でも良いし積算値算出部で算出された値を用いても良い。両者の違いの1つとしては、積算範囲等の条件が異なると考えられる。
また、各RGB値にかけるホワイトバランスゲイン値の算出方法は、式(6-1)〜式(6-3)に示すような算出方法で構わない。式(6-1)〜(6-3)はあくまで一例であり、既存の算出方法であればなんでも良い。
[数6]
WBG_R = (Sum_G_Long + Sum_G_Short) / (Sum_R_Long + Sum_R_Short) …(6-1)
WBG_G = 1.0 …(6-2)
WBG_B = (Sum_G_Long + Sum_G_Short) / (Sum_B_Long + Sum_B_Short) …(6-3)
その後、算出されたホワイトバランスゲイン(WBG_R,WBG_G,WBG_B)を用いて、ホワイトバランス調整処理ブロックでホワイトバランスの調整が行われる(ST54)。
一方、色フリッカが発生していると判定された場合は、以下に示す、その確度(確からしさ)の算出が行われる。
図35は、色フリッカ検出の確度(確からしさ)の算出方法について示す図である。
図36は、色フリッカ検出の確度(確からしさ)を示す図である。
色フリッカ検出時に算出した評価値を用い、不感帯領域からの逸脱量を確度(確からしさ)として定義する。図15で示す矢印の量がその値となる。ここで、逸脱量はスカラ量としているため、必ず正数となる。このような方法で求めた確度(確からしさ)は、図36のようになる。
図37は、色フリッカ検出の確度(確からしさ)の他の算出方法について示す図である。
図35では不感帯NZNからの逸脱量を確度(確からしさ)として定義したが、図37に示すように理論値1.0からの距離を確度(確からしさ)と定義しても良い。図35でTH_high = TH_Low = 0とすれば同様の結果となる。
次に、算出された確度(確からしさ)に基づいて色フリッカ抑制用のホワイトバランスゲインの算出方法について示す。
まず、RGBの積算値から長時間露光画像、短時間露光画像それぞれにかけるホワイトバランスゲイン値の算出を行う(ST56)。
算出方法としては、以下の式(7-1)〜式(7-6)に示すような算出方法が適用可能である。こちらの場合も前記と同様、式(7-1)〜式(7-6)はあくまで一例であり、既存の算出方法も適用可能である。
[数7]
R_gain_Long = Sum_G_Long / Sum_R_Long …(7-1)
G_gain_Long = 1.0 …(7-2)
B_gain_Long = Sum_G_Long / Sum_B_Long …(7-3)
R_gain_Short = Sum_G_Short / Sum_R_Short …(7-4)
G_gain_Short = 1.0 …(7-5)
B_gain_Short = Sum_G_Short / Sum_B_Short …(7-6)
このときに使用するRGB、それぞれの積算値は、フリッカ検出時に算出した積算値でも良いし、積算値算出部で算出された値を用いても良い。両者の違いは、積算範囲等の条件が異なることである。
前記の式を用いて算出された6つのホワイトバランスゲイン値(R_gain_Long,G_gain_Long,B_gain_Long,R_gain_Short,G_gain_Short,B_gain_Short)から、最終的に長時間露光画像,短時間露光画像のそれぞれにかけるホワイトバランスゲイン値を算出する。
図38は、長短独立のホワイトバランス算出系を示す図である。
このホワイトバランス算出系140は、乗算器141,142、および加算器143を有する。
前ステップST25で求めた色フリッカの確度(確からしさ)から混合比fαを算出し、そのfα値に基づいて、長時間露光画像用のホワイトバランスゲイン値と短時間露光画像用のホワイトバランスゲイン値のブレンドを行う。
図39は、混合比fαの算出方法について説明するための図である。
混合比fαの算出方法については図39に示すようになる。図39の横軸は前ステップで算出された確度(確からしさ)を示し、縦軸は対応する混合比を示す。
確からしさ(確度)が下限閾値TH_minより小さい場合は混合比fαが0となり、上限閾値TH_maxよりも大きい場合は1.0となる。
確度(確からしさ)がTH_minからTH_maxに間では、それぞれ、TH_minからの距離に応じて0から1.0までの値をとる。このとき、図39で示す直線の傾きは 1.0 / (TH_max - TH_min)となる。
以上のような方法で、長時間露光画像、短時間露光画像のそれぞれに掛ける6つのホワイトバランスゲイン(WBG_R_Long,WBG_G_Long,WBG_B_Long,WBG_R_Short,WBG_G_Short,WBG_B_Short)が決定される。そして、その値を用いて、ホワイトバランス調整処理ブロックでホワイトバランスの調整が行われる。
図38はそれぞれのホワイトバランスゲイン値をfα値でブレンドして最終的なゲイン値を決定していたが、それぞれのホワイトバランスゲイン値ではなく、RGBの積算値のブレンドで最終的なゲインを決定しても良い。この場合、図40に示すようにブレンド後の積算値に対してホワイトバランスゲインを算出する必要がある。
以上が、本実施形態の色フリッカ検出を用いた色フリッカの抑制方法についての説明である。
図41に、色フリッカ抑制機能を有する色フリッカ検出処理部132Aの構成例を示す。
この色フリッカ検出処理部132Aは、条件判定部1322、RGB積算部1323、評価値算出部1324、検出部1325、確度算出部1326、およびホワイトバランス算出部1327を有する。
これらにより、前記の各処理が行われる。
以下、色フリッカ検出処理を中心とした実施形態を第8〜第15の実施形態として説明する。
<8.第8の実施形態>
図42は、本発明の第8の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
図43は、本第8の実施形態に係る色フリッカ検出処理のフローチャートである。
図44は、本第8の実施形態に係る色フリッカ検出処理部の構成例を示すブロック図である。
本第8の実施形態に係る撮像装置100Fが第1の実施形態に係る撮像装置100と異なる点は、次の通りである。
第7の実施形態は、後段にホワイトバランス処理があるものに対しての実施形態である(図3に対応している)。
これに対して、本第8の実施形態は、前段にホワイトバランス処理があるものに対しての実施形態である(図2に対応している)。
これに伴い、本第8の実施形態では、図43および図44に示すように、色フリッカ検出処理においてRAW−RGB変換処理が不要となっている。
<9.第9の実施形態>
以下、本発明の第9の実施形態として、RGB積算値に対し、静動判定を条件に加える例について説明する。
図45は、本発明の第9の実施形態に係るRGB積算値に対し、静動判定を条件に加える場合の処理を説明するためのフローチャートである。
[RGB積算値に対し、静動判定を条件に加える例]
第8実施形態では、長時間露光画像および短時間露光画像の両方に有意な値が存在する画素を積算することをしており、同じ画素であれば色フリッカ以外では長時間露光画像と短時間露光画像で比の値が異なるという仮定を用いていた。理想的には評価値が1.0となる。
しかしながら、長時間露光画像と短時間露光画像の撮像されたわずかな時間差の間に、移動物体が通過した場合、前記の前提(同じ被写体である)が崩れてしまい、検出結果に影響を及ぼす。
そこで、本第9の実施形態においては、画素毎もしくはある領域(ブロック)毎に静動判定を行い、静止と言う条件を新たに追加することで、より精度のよい色フリッカ検出を行うことができる(図45のフローチャート)。
このとき、静動判定としては既存技術にあるような、動きベクトルを求める仕組みもしくは動きベクトルを求める途中の情報を用いたり、時間的に前後のフレームとの差分値等から判定しても良い。
図46に、本第9の実施形態に係る静動判定機能を有する色フリッカ検出処理部132Gの構成例を示す。
色フリッカ検出処理部132Gは、条件判定部1322、RGB積算部1323、評価値算出部1324、検出部1325、静動判定部1328、および遅延回路(メモリ)1329を有する。
これらにより、前記の各処理が行われる。
<10.第10の実施形態>
以下、本発明の第10の実施形態として、RGB積算値の積算ではなく、本評価値を積算する例について説明する。
図47は、本発明の第10の実施形態に係るRGB積算値の積算ではなく、本評価値を積算する場合の処理を説明するためのフローチャートである。
図48は、評価値の積算処理を行った場合の色フリッカ判定処理のフローチャートである。
[RGB積算値の積算ではなく、本評価値を積算する例]
前記の実施形態ではRGBの積算値を算出し、その積算値から色フリッカの評価値を求めていた。
しかしながら、前記の通り、RGBの積算値から評価値を求めた場合と、評価値を画素毎に求め、その積算値(平均値)を求めた場合に差分が生じる。
これに対応するため、後者の場合の積分方法のフローチャートと、色フリッカ検出のフローチャートを図47および図48に示す。
図48のフローチャートのうちの評価値の平均を算出する処理が図47のフローチャートの内容となる。
まず、色フリッカの評価値の積算値がリセットされ(ST61)、画素が入力される(ST62)。
そして、画素の位置が指定領域内で(ST63)、画素のレベルが指定領域内であれば(ST64)、長短それぞれにおいてRおよびBのGに対する比が算出され(ST65)、色フリッカの評価値が算出され積算される(ST66)。
画素数がカウントされ(ST67)、以上の処理が画像の最終画素まで行われる(ST68)。
また、図48のST71に示すように、評価値の積算値をカウント値で割り、評価値の平均が算出される(ST71)。
そして、BGの評価値の不感帯の範囲内で(ST72)、RGの評価値が不感帯の範囲内であれば(ST73)、色フリッカなしと判定される(ST74)。
そして、BGの評価値の不感帯の範囲内でなく(ST72)、またRGの評価値が不感帯の範囲内でなければ(ST73)、色フリッカありと判定される(ST75)。
<11.第11の実施形態>
以下、本発明の第11の実施形態として、色フリッカ検出の領域分割処理例について説明する。
図49は、本発明の第11の実施形態に係る色フリッカ検出の領域分割処理する場合を説明するための図であって、複数の光源が存在するシチュエーション例を示す図である。
図50は、本発明の第11の実施形態に係る色フリッカ検出の領域分割処理を説明するための図である。
[色フリッカ検出の領域分割処理例]
前記実施形態によれば、よりロバストな色フリッカ検出が可能となり、色フリッカ発生時の効果的な抑制が可能となる。
しかしながら、前記実施形態では、長時間露光画像および短時間露光画像に対し、それぞれ1組のホワイトバランスゲイン(R,G,Bのゲイン値)しか掛けることができない。
これは、短時間露光画像に複数の特性の異なる光源が存在する場合、どちらか一方の光源による色フリッカのみしか対応できないことになる。
たとえば、図49に示すようなシチュエーションの場合、短時間露光画像に有意情報が存在する光源は、室内の電灯による光源OS1と窓から見える外の光源(太陽光)OS2の二種類の光源が存在する。この場合、室内の電灯による色フリッカの抑制を行うと、窓の外の景色のホワイトバランス調整ができなくなってしまう。
そこで、本色フリッカ検出処理を図50のように画面をいくつかの領域DVAに分割し、領域毎に同様の処理を行うことが可能である。
この場合、領域によっては短時間露光画像が存在しなかったり、その画素数が少な過ぎて正しい値が積算されない場合が存在する。この場合は、積算したカウント数が少ない場合は、色フリッカの抑制を行わない等の処理を行う。
<12.第12の実施形態>
図51は、本発明の第12の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第12の実施形態に係る撮像装置100Gが第7の実施形態に係る撮像装置100と異なる点は、次の通りである。
第7の実施形態の前記処理例は、評価値算出等をハードウェア(HW)として実装する例を示していた。
しかしながら、比を求める等では除算器が必要となり、回路が大きくなる可能性がある。
そこで、本第12の実施形態では、一部の処理をCPU130Gで行う方法を採用している。本第12の実施形態では、色フリッカ検出用積算処理部132Gで積算処理までをHWで行い、評価値演算および色フリッカ判定をCPU130Gで行う。
<13.第13の実施形態>
図52は、本発明の第13の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第13の実施形態に係る撮像装置100Hが第8の実施形態に係る撮像装置100Fと異なる点は、次の通りである。
第8の実施形態の前記処理例は、評価値算出等をハードウェア(HW)として実装する例を示していた。
しかしながら、比を求める等では除算器が必要となり、回路が大きくなる可能性がある。
そこで、本第13の実施形態では、一部の処理をCPU130Hで行う方法を採用している。本第12の実施形態では、色フリッカ検出用積算処理部132Hで積算処理までをHWで行い、評価値演算および色フリッカ判定をCPU130Hで行う。
<14.第14の実施形態>
以下、本発明の第14および第15の実施形態として、色フリッカ検出および抑制処理用のホワイトバランスゲイン値の遅延合わせを利用する例について説明する。
図53は、本発明の第14の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第14の実施形態に係る撮像装置100Iが第7の実施形態に係る撮像装置100と異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ133,134を追加したことにある。
<15.第15の実施形態>
図54は、本発明の第15の実施形態に係る画像処理装置を採用した撮像装置の構成例を示す図である。
本第15の実施形態に係る撮像装置100Jが第8の実施形態に係る撮像装置100Fと異なる点は、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ133,134を追加したことにある。
[色フリッカ検出および抑制処理用のホワイトバランスゲイン値の遅延合わせ]
前記実施形態の処理例では、積算処理に1フレーム全体の画素を使うため、積算処理が完了するのに、1フレームかかる。また、評価値からCPU130で演算を行い、ホワイトバランス調整処理ブロックへのホワイトバランスゲイン値を算出するまでにも時間がかかる。
したがって、前記処理例では、積算処理から評価値を算出したフレームと、実際にホワイトバランス調整処理を実行するフレームは異なっている。
これに対し、第14および第15の実施形態においては、評価値を算出したフレームとホワイトバランス調整処理の適用フレームを同じにするため、遅延合わせのためのメモリ132,133を追加している。
このように、メモリ133,134の追加により図4および図42に対し遅延合わせを行うことが可能となる。
なお、上記各実施形態を適宜組み合わせることも可能である。
第7〜第15の実施形態によれば、以下の効果を得ることができる。
従来のホワイトバランス調整処理と比べて、より多様なホワイトバランス調整処理をかけることが可能となり、これにより、より最適なホワイトバランス調整処理が可能となる。
また、よりロバストな色フリッカ検出が可能となる。
色フリッカの確度(確からしさ)に伴い、適正なホワイトバランスの補正処理が可能となり、色フリッカの効果的な抑制が可能となる。
広ダイナミックレンジ画像に対しても、適正なホワイトバランスの補正処理が可能となり、色フリッカの効果的な抑制が可能となる。
時間方向の周期性等を見て判断しておらず、フレーム毎に判定を行うため、周期的な色フリッカでないものにも対応可能であり、適正な抑制処理が可能となる。
本実施形態に係る撮像装置は、たとえば携帯電話、ビデオカメラ、デジタルスチルカメラなどの各種撮像機能を持つ装置に適用可能である。
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
100,100A〜100J・・・撮像装置、110・・・固体撮像素子、120,120A〜120D・・・画像処理装置、121,122・・・前段処理部、123,124・・・アンプ、125,125A・・・合成処理部、126・・・RAW−RGB変換処理部、127・・・積算値算出処理部、128,128A・・・ホワイトバランス調整処理部、129・・・後段処理部、130・・・CPU、131・・・メモリ、132・・・色フリッカ検出処理部。

Claims (18)

  1. 露光時間の異なる複数の撮像画像を合成する合成処理部を有し、
    上記合成処理部は、
    上記複数の撮像画像を合成する際に、当該異なる画像から選択した成分により異なる画像の混合比を取得し、異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理を行う
    画像処理装置。
  2. 上記合成処理部は、
    上記異なる画像の輝度成分により混合比を取得し、上記混在領域に対する処理において、当該輝度成分による混合比をもって混合し、色成分に関しては異なる画像のうちの任意の画像の色成分を選択して適用する
    請求項1記載の画像処理装置。
  3. 上記合成処理部は、
    異なる画像のうち露光時間の長い画像の色成分を適用する
    請求項2記載の画像処理装置。
  4. 上記合成処理部で合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    上記ホワイトバランス調整処理部は、
    上記適用する色成分に対応するゲイン値を掛け合わせてホワイトバランス調整処理を行う
    請求項2または3記載の画像処理装置。
  5. 上記合成処理部で合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    上記合成処理部は、
    異なる画像の生(RAW)データから上記混合比を取得し、合成時の上記混合比を上記ホワイトバランス調整処理部に出力し、
    上記ホワイトバランス調整処理部は、
    合成時の混合比に基づいて、ゲイン値を算出し、当該算出したゲイン値を掛け合わせてホワイトバランス調整処理を行う
    請求項1記載の画像処理装置。
  6. 上記合成処理部は、
    動き判定を行う動き判定部を含み、動き判定の結果を用いて混合比の算出結果を修正する
    請求項1から5のいずれか一に記載の画像処理装置。
  7. 上記合成処理部は、
    上記動き判定により静止している判定した場合に上記混合比を算出し、動きと判定した場合には混合を行わず、上記異なる画像のうちのいずれかを出力する
    請求項6記載の画像処理装置。
  8. 上記合成処理部で合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    算出した混合比およびそれぞれのホワイトバランスゲイン値を算出したフレームの画像に対し遅延合わせを行う手段を有する
    請求項1から7のいずれか一に記載の画像処理装置。
  9. 露光時間の異なる複数の撮像画像を撮像する撮像素子と、
    上記撮像素子による複数の撮像画像を合成する合成処理部と、を有し、
    上記合成処理部は、
    上記複数の撮像画像を合成する際に、当該異なる画像から選択した成分により異なる画像の混合比を取得し、異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理を行う
    撮像装置。
  10. 上記合成処理部は、
    上記異なる画像の輝度成分により混合比を取得し、上記混在領域に対する処理において、当該輝度成分による混合比をもって混合し、色成分に関しては異なる画像のうちの任意の画像の色成分を選択して適用する
    請求項9記載の撮像装置。
  11. 上記合成処理部は、
    異なる画像のうち露光時間の長い画像の色成分を適用する
    請求項10記載の撮像装置。
  12. 上記合成処理部で合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    上記ホワイトバランス調整処理部は、
    上記適用する色成分に対応するゲイン値を掛け合わせてホワイトバランス調整処理を行う
    請求項10または11記載の撮像装置。
  13. 上記合成処理部で合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    上記合成処理部は、
    異なる画像の生(RAW)データから上記混合比を取得し、合成時の上記混合比を上記ホワイトバランス調整処理部に出力し、
    上記ホワイトバランス調整処理部は、
    合成時の混合比に基づいて、ゲイン値を算出し、当該算出したゲイン値を掛け合わせてホワイトバランス調整処理を行う
    請求項9記載の撮像装置。
  14. 上記合成処理部は、
    動き判定を行う動き判定部を含み、動き判定の結果を用いて混合比の算出結果を修正する
    請求項9から13のいずれか一に記載の撮像装置。
  15. 上記合成処理部は、
    上記動き判定により静止している判定した場合に上記混合比を算出し、動きと判定した場合には混合を行わず、上記異なる画像のうちのいずれかを出力する
    請求項14記載の撮像装置。
  16. 上記合成処理部で合成された合成画像に対してゲイン値を掛け合わせてホワイトバランス調整処理を行うホワイトバランス調整処理部を有し、
    算出した混合比およびそれぞれのホワイトバランスゲイン値を算出したフレームの画像に対し遅延合わせを行う手段を有する
    請求項9から15のいずれか一に記載の撮像装置。
  17. 露光時間の異なる複数の撮像画像を合成する際に、
    上記異なる画像から選択した成分により異なる画像の混合比を取得し、
    異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理を行う
    画像処理方法。
  18. 露光時間の異なる複数の撮像画像を合成する際に、
    上記異なる画像から選択した成分により異なる画像の混合比を取得する処理と、
    異なる撮像画像の画素が混在する領域に対して混合比を適用して当該混在領域の混合処理と
    を含む画像処理をコンピュータに実行させるプログラム。
JP2010144205A 2010-06-24 2010-06-24 画像処理装置、撮像装置、画像処理方法、およびプログラム Pending JP2012010104A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010144205A JP2012010104A (ja) 2010-06-24 2010-06-24 画像処理装置、撮像装置、画像処理方法、およびプログラム
US13/067,474 US8970727B2 (en) 2010-06-24 2011-06-03 Image processing apparatus, image taking apparatus, image processing method and image processing program having movement determination
TW100120219A TW201206182A (en) 2010-06-24 2011-06-09 Image processing apparatus, image taking apparatus, image processing method and image processing program
KR1020110058319A KR20110140081A (ko) 2010-06-24 2011-06-16 화상 처리 장치, 촬상 장치, 화상 처리 방법, 및 화상 처리 프로그램
CN2011101738847A CN102300055A (zh) 2010-06-24 2011-06-24 图像处理装置、图像拍摄装置、图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010144205A JP2012010104A (ja) 2010-06-24 2010-06-24 画像処理装置、撮像装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2012010104A true JP2012010104A (ja) 2012-01-12

Family

ID=45352192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010144205A Pending JP2012010104A (ja) 2010-06-24 2010-06-24 画像処理装置、撮像装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US8970727B2 (ja)
JP (1) JP2012010104A (ja)
KR (1) KR20110140081A (ja)
CN (1) CN102300055A (ja)
TW (1) TW201206182A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530834A (ja) * 2012-09-20 2015-10-15 華為技術有限公司Huawei Technologies Co.,Ltd. 画像処理方法および装置
JP2016134753A (ja) * 2015-01-19 2016-07-25 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102300077A (zh) * 2010-06-25 2011-12-28 索尼公司 色滚动检测方法和检测装置
CN103053163A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 图像生成装置、图像生成系统、方法及程序
RU2666761C2 (ru) * 2012-03-30 2018-09-12 Никон Корпорейшн Модуль формирования изображений, устройство формирования изображений и управляющая программа для формирования изображений
US9462194B2 (en) * 2012-12-04 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for calculating flicker-evaluation value
CN103873772B (zh) * 2014-03-03 2016-03-02 努比亚技术有限公司 移动终端及其拍摄方法
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
TWI498848B (zh) * 2014-10-13 2015-09-01 Quanta Comp Inc 多重曝光成像系統及其白平衡方法
US9819855B2 (en) * 2015-10-21 2017-11-14 Google Inc. Balancing exposure and gain at an electronic device based on device motion and scene distance
CN105827971B (zh) * 2016-03-31 2019-01-11 维沃移动通信有限公司 一种图像处理方法及移动终端
JP2017208604A (ja) * 2016-05-16 2017-11-24 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム
US10264193B2 (en) * 2016-12-06 2019-04-16 Polycom, Inc. System and method for providing images and video having high dynamic range
JP2019021991A (ja) * 2017-07-12 2019-02-07 オリンパス株式会社 撮像素子、撮像装置、撮像プログラム、撮像方法
US10721415B2 (en) * 2018-09-13 2020-07-21 Futurewei Technologies, Inc. Image processing system with LED flicker mitigation
JP7118911B2 (ja) * 2019-03-08 2022-08-16 株式会社東芝 画像処理装置
CN110248110B (zh) * 2019-06-28 2021-03-26 Oppo广东移动通信有限公司 拍摄参数设置方法、设置装置、终端设备及可读存储介质
CN115514899A (zh) * 2022-08-15 2022-12-23 Oppo广东移动通信有限公司 拍摄方法及装置、计算机可读介质和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL87306A0 (en) * 1988-08-02 1989-01-31 Technion Res & Dev Foundation Wide dynamic range camera
JP3156503B2 (ja) 1994-05-27 2001-04-16 松下電器産業株式会社 固体撮像装置の駆動方法及び固体撮像装置の信号処理回路
JPH10322147A (ja) 1996-10-04 1998-12-04 Toshiba Corp 高周波電力増幅器およびこれを用いた移動体通信装置
JP4377932B2 (ja) * 2007-07-26 2009-12-02 株式会社モルフォ パノラマ画像生成装置およびプログラム
KR101496467B1 (ko) * 2008-09-12 2015-02-26 엘지전자 주식회사 파노라마 촬영 기능이 구비된 이동 단말기 및 그의 동작방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015530834A (ja) * 2012-09-20 2015-10-15 華為技術有限公司Huawei Technologies Co.,Ltd. 画像処理方法および装置
US9538093B2 (en) 2012-09-20 2017-01-03 Huawei Technologies Co., Ltd. Forming high-dynamic-range (HDR) images using single-channel data
JP2016134753A (ja) * 2015-01-19 2016-07-25 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
TW201206182A (en) 2012-02-01
CN102300055A (zh) 2011-12-28
US8970727B2 (en) 2015-03-03
KR20110140081A (ko) 2011-12-30
US20110317027A1 (en) 2011-12-29

Similar Documents

Publication Publication Date Title
JP2012010104A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2012010105A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US9288399B2 (en) Image processing apparatus, image processing method, and program
US8947555B2 (en) White balance optimization with high dynamic range images
RU2491760C2 (ru) Устройство для обработки изображения, способ обработки изображения и программа
WO2013065442A1 (ja) 画像処理装置、撮像装置および画像処理プログラムを格納した記憶媒体
JP6184290B2 (ja) 画像処理装置および画像処理方法
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2010028596A (ja) 撮像装置
WO2016199573A1 (ja) 画像処理装置、画像処理方法、およびプログラム、並びに撮像装置
KR20140031086A (ko) 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치
JP2009017477A (ja) 撮像装置及び撮像方法
US9122125B2 (en) Image-capturing apparatus and method of controlling the same
JP2013138301A5 (ja)
JP2024502938A (ja) 画像処理のための高ダイナミックレンジ技法選択
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
US20180288336A1 (en) Image processing apparatus
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP2012134745A (ja) 画像信号処理装置
JP2012147496A (ja) 撮像装置及び撮像方法
Kang et al. Bayer patterned high dynamic range image reconstruction using adaptive weighting function
JP2004215063A (ja) 撮像装置及び輪郭補正方法
JP2010035120A (ja) ビデオカメラ撮像装置
JP2003209850A (ja) 撮像装置用信号処理回路およびその信号処理方法