JP2011188277A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2011188277A
JP2011188277A JP2010051861A JP2010051861A JP2011188277A JP 2011188277 A JP2011188277 A JP 2011188277A JP 2010051861 A JP2010051861 A JP 2010051861A JP 2010051861 A JP2010051861 A JP 2010051861A JP 2011188277 A JP2011188277 A JP 2011188277A
Authority
JP
Japan
Prior art keywords
image
moving object
unit
images
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010051861A
Other languages
English (en)
Other versions
JP5445235B2 (ja
Inventor
Takashi Ueda
敬史 上田
Atsushi Mizuguchi
淳 水口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010051861A priority Critical patent/JP5445235B2/ja
Priority to US13/024,390 priority patent/US8483452B2/en
Priority to CN2011100499158A priority patent/CN102196185A/zh
Publication of JP2011188277A publication Critical patent/JP2011188277A/ja
Application granted granted Critical
Publication of JP5445235B2 publication Critical patent/JP5445235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】動体を考慮した適切な合成画像（ダイナミックレンジが拡張された合成画像）を生成する。
【解決手段】撮像部１３０は、異なる露出条件による複数回の連続撮像により複数の画像（基準画像、他の画像）を生成する。画像処理部１４０は、基準画像が他の画像の露出レベルとなるように基準画像を変換して露出レベル変換画像を生成する。動体領域抽出部１７２は、露出レベル変換画像における動体画像を抽出して露出レベル変換動体画像を生成する。動体領域置換部１７３は、露出レベル変換動体画像を他の画像における対応領域に置換して置換画像を生成する。ＨＤＲ合成部１７４は、合成マップ生成部１７１により生成された合成マップに基づいて置換画像および基準画像を合成して合成画像を生成する。動体処理判定部１６０は、複数の画像に関するＩＳＯ感度および露出差に基づいてその合成画像の生成の要否を判定する。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、複数の画像を用いて画像合成処理を行う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物や動物等の被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。また、被写体に応じた適切な露出制御を自動で行うことにより、適切な撮像画像を生成する撮像装置が提案されている。
ここで、例えば、明暗の差が大きいシーン（例えば、逆光シーン）について、露出制御により撮像動作を行う場合には、撮像装置が備える撮像素子のダイナミックレンジが不足することが想定される。このように撮像素子のダイナミックレンジが不足する場合には、撮像画像における明るい部分が飽和して白トビが生じたり、撮像画像における暗い部分で黒つぶれが生じたりすることがある。
そこで、異なる露光時間の撮像処理により生成される長時間露光画像および短時間露光画像を合成することにより、ダイナミックレンジが拡張された合成画像を生成する撮像装置が提案されている。しかしながら、合成画像の生成時に用いられる合成対象画像に動体が含まれている場合には、移動前後の動体がともに含まれる合成画像が生成され、この合成画像が不自然な画像となるおそれがある（いわゆる、多重露光）。
そこで、長時間露光画像と、これと短時間露光画像との露光比が乗算された短時間露光画像との差分を算出し、この差分が所定レベルを越えたか否かに応じて、合成画像の生成に用いられる画像を切り替える撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、例えば、その差分が所定レベルを越えた場合には、短時間露光画像および長時間露光画像に画像のズレがあると判断し、その差分の極性に応じて合成対象画像を切り替える。
特開２００２−１０１３４７号公報（図３）
上述の従来技術によれば、合成画像の生成時に用いられる合成対象画像に動体が含まれている場合でも、その動体領域における動体の残像や不連続点の発生を防止することができる。
しかしながら、上述の従来技術では、動体領域において、２つの画像の差分が所定レベルを越えた場合には、その差分の極性に応じて、長時間露光画像と、露光比が乗算された短時間露光画像とを合成対象画像として切り替える。このため、移動前後の動体の残像や不連続点の発生を防止することができるが、その合成対象画像の切替境界付近では、長時間露光画像と、露光比が乗算された短時間露光画像とが混在して画像の連続性が悪くなり、不自然な合成画像となるおそれがある。
そこで、動体が含まれる画像についてダイナミックレンジが拡張された合成画像を生成する場合には、その動体を考慮した適切な合成画像を生成することが重要である。
本発明はこのような状況に鑑みてなされたものであり、動体が含まれる画像についてダイナミックレンジが拡張された合成画像を生成する場合にその動体を考慮した適切な合成画像を生成することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、異なる露出条件により生成された複数の画像を構成する基準画像および他の画像に含まれる動体に対応する上記基準画像における領域の画像を動体画像として上記動体画像が当該他の画像の露出レベルとなるように上記動体画像を変換して上記他の画像毎の露出レベル変換動体画像を生成する変換部と、上記生成された露出レベル変換動体画像を当該生成の際に基準となった露出レベルに対応する上記他の画像における当該露出レベル変換動体画像に対応する領域に置換して上記他の画像毎の置換画像を生成する置換部と、上記他の画像毎に生成された置換画像および上記基準画像を合成して合成画像を生成する合成部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、動体画像が他の画像の露出レベルとなるようにその動体画像を変換して他の画像毎の露出レベル変換動体画像を生成し、この生成された露出レベル変換動体画像をその生成の際に基準となった露出レベルに対応する他の画像におけるその露出レベル変換動体画像に対応する領域に置換して他の画像毎の置換画像を生成し、他の画像毎に生成された置換画像および基準画像を合成して合成画像を生成するという作用をもたらす。
また、この第１の側面において、上記複数の画像に関するＩＳＯ感度および露出差に基づいて上記合成画像を生成するか否かを判定する判定部をさらに具備するようにしてもよい。これにより、複数の画像に関するＩＳＯ感度および露出差に基づいて、合成画像を生成するか否かを判定するという作用をもたらす。
また、この第１の側面において、上記判定部は、上記複数の画像に関するＩＳＯ感度が所定基準よりも低く、かつ、上記複数の画像に関する露出差が所定基準よりも小さい場合には上記合成画像を生成すると判定するようにしてもよい。これにより、複数の画像に関するＩＳＯ感度が所定基準よりも低く、かつ、複数の画像に関する露出差が所定基準よりも小さい場合には、合成画像を生成すると判定するという作用をもたらす。
また、この第１の側面において、上記複数の画像に含まれる特定対象物を検出する特定対象物検出部と、上記特定対象物検出部による検出結果に基づいて上記合成画像を生成するか否かを判定する判定部とをさらに具備するようにしてもよい。これにより、複数の画像に含まれる特定対象物を検出し、この検出結果に基づいて、合成画像を生成するか否かを判定するという作用をもたらす。
また、この第１の側面において、上記特定対象物検出部は、上記特定対象物として人物の顔を検出し、上記判定部は、上記複数の画像から人物の顔が検出された場合には上記合成画像を生成すると判定するようにしてもよい。これにより、複数の画像から人物の顔が検出された場合には、合成画像を生成すると判定するという作用をもたらす。
また、この第１の側面において、同一の対象物を上記異なる露出条件により複数回連続して撮像することにより上記複数の画像を生成する撮像部をさらに具備するようにしてもよい。これにより、同一の対象物を異なる露出条件により複数回連続して撮像することにより複数の画像を生成するという作用をもたらす。
また、この第１の側面において、複数の撮像モードのうちから被写体に応じた撮像モードを設定するモード設定部と、上記設定された撮像モードが特定撮像モードであるか否かに基づいて上記合成画像を生成するか否かを判定する判定部とをさらに具備するようにしてもよい。これにより、複数の撮像モードのうちから被写体に応じた撮像モードを設定し、この設定された撮像モードが特定撮像モードであるか否かに基づいて、合成画像を生成するか否かを判定するという作用をもたらす。
また、この第１の側面において、上記特定撮像モードは、上記被写体のうち注目被写体として動体の撮像を目的とする撮像モードであり、上記判定部は、上記設定された撮像モードが上記特定撮像モードである場合には上記合成画像を生成すると判定するようにしてもよい。これにより、設定された撮像モードが特定撮像モードである場合には、合成画像を生成すると判定するという作用をもたらす。
また、この第１の側面において、上記合成画像を生成させるための指示操作を受け付ける操作受付部と、上記指示操作が受け付けられたか否かに基づいて上記合成画像を生成するか否かを判定する判定部とをさらに具備するようにしてもよい。これにより、他の画像毎に生成された置換画像および基準画像を合成して合成画像を生成させるための指示操作が受け付けられたか否かに基づいて、合成画像を生成するか否かを判定するという作用をもたらす。
また、この第１の側面において、上記変換部は、上記基準画像が上記他の画像の露出レベルとなるように上記基準画像を変換して当該他の画像に係る露出レベル変換画像を生成し、上記生成された露出レベル変換画像と当該他の画像とに含まれる動体に対応する当該露出レベル変換画像における領域の画像を抽出して当該他の画像に係る上記露出レベル変換動体画像を生成するようにしてもよい。これにより、基準画像が他の画像の露出レベルとなるように基準画像を変換して当該他の画像に係る露出レベル変換画像を生成し、この生成された露出レベル変換画像と当該他の画像とに含まれる動体に対応するその露出レベル変換画像における領域の画像を抽出して当該他の画像に係る露出レベル変換動体画像を生成するという作用をもたらす。
また、この第１の側面において、上記基準画像および上記他の画像を比較することにより上記複数の画像に含まれる動体を検出する動体検出部と、上記動体検出部による動体検出結果に基づいて上記合成画像を生成するか否かを判定する判定部とをさらに具備するようにしてもよい。これにより、基準画像および他の画像を比較することにより複数の画像に含まれる動体を検出し、この動体検出結果に基づいて合成画像を生成するか否かを判定するという作用をもたらす。
また、この第１の側面において、上記判定部は、上記複数の画像から動体が検出された場合には上記合成画像を生成すると判定し、上記複数の画像から動体が検出されない場合には上記合成画像を生成しないと判定し、上記合成部は、上記合成画像を生成しないと判定された場合には上記複数の画像を合成して合成画像を生成するようにしてもよい。これにより、複数の画像から動体が検出された場合には、他の画像毎に生成された置換画像および基準画像を合成して合成画像を生成すると判定し、複数の画像から動体が検出されない場合にはその合成画像を生成しないと判定し、その合成画像を生成しないと判定された場合には、複数の画像を合成して合成画像を生成するという作用をもたらす。
また、この第１の側面において、上記基準画像に基づいて上記合成画像を生成する際における画素毎の合成比率を示す合成マップを生成する合成マップ生成部をさらに具備し、上記合成部は、上記生成された合成マップに基づいて上記他の画像毎に生成された置換画像および上記基準画像を合成して上記合成画像を生成するようにしてもよい。これにより、基準画像に基づいて合成マップを生成し、この生成された合成マップに基づいて合成画像を生成するという作用をもたらす。
本発明によれば、動体が含まれる画像についてダイナミックレンジが拡張された合成画像を生成する場合にその動体を考慮した適切な合成画像を生成することができるという優れた効果を奏し得る。
本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における合成マップ生成部１７１による合成マップの生成時に用いられる入力輝度および合成比の関係を示す図である。 本発明の第１の実施の形態における画像合成部１７０による画像合成処理の流れを模式的に示す図である。 本発明の第１の実施の形態における撮像装置１００による画像合成処理の流れを模式的に示す図である。 本発明の第１の実施の形態における動体処理判定部１６０による動体処理の要否を判定する際における判定基準を示す図である。 本発明の第１の実施の形態における撮像装置１００を用いて撮像画像を生成する場合における撮影シーンを簡略化して示す図である。 本発明の第１の実施の形態における動体領域抽出部１７２による動体検出処理の流れを模式的に示す図である。 本発明の第１の実施の形態における顔検出部１５０による動体検出処理の流れを模式的に示す図である。 本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における合成マップ生成部１７１による合成マップの生成時に用いられる入力輝度および合成比の関係を示す図である。 本発明の第２の実施の形態における画像合成部１７０による画像合成処理の流れを模式的に示す図である。 本発明の第２の実施の形態における画像合成部１７０による画像合成処理の流れを模式的に示す図である。
以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（合成画像生成制御：露出条件が異なる２つの画像について動体領域を考慮して合成画像を生成する例）
２．第２の実施の形態（合成画像生成制御：露出条件が異なる３以上の画像について動体領域を考慮して合成画像を生成する例）
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、操作受付部１１０と、感度設定部１２１と、露出差設定部１２２と、露出モード設定部１２３と、撮像部１３０とを備える。また、撮像装置１００は、画像処理部１４０と、顔検出部１５０と、動体処理判定部１６０と、画像合成部１７０と、記録制御部１８０と、画像記憶部１９０とを備える。撮像装置１００は、例えば、被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録媒体に記録することが可能なデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等により実現される。
操作受付部１１０は、ユーザによって操作された操作入力の内容を受け付ける操作受付部であり、受け付けられた操作入力の内容に応じた操作信号を各部に供給する。操作受付部１１０は、例えば、シャッターボタン、操作ボタン、操作ダイヤル、タッチパネル等の操作部材に対応する。
感度設定部１２１は、操作受付部１１０により受け付けられたユーザからのＩＳＯ感度（撮影ＩＳＯ感度）の設定操作に応じて、ＩＳＯ感度の設定を行うものであり、その設定内容を撮像部１３０および動体処理判定部１６０に供給する。なお、ＩＳＯ感度は、その数値が大きくなるに応じて高感度になる。また、一般に、ＩＳＯ感度の設定内容を大きい数値（高感度）とすることにより、暗い場所において比較的速いシャッター速度でも撮影が可能となるが、ノイズが多くなる。
露出差設定部１２２は、操作受付部１１０により受け付けられたユーザからの露出差の設定操作に応じて、露出差の設定を行うものであり、その設定内容を撮像部１３０、画像処理部１４０および動体処理判定部１６０に供給する。この露出差は、アンダー露出画像およびオーバー露出画像間の露出の差分を意味する。ここで、アンダー露出画像およびオーバー露出画像は、異なる露出条件で撮像部１３０により連続して生成される撮像画像である。具体的には、アンダー露出画像は、例えば、露光時間が相対的に短い撮像画像（短時間露光画像）であり、同一の撮影シーンに対して被写体の明部を重視する画像である。これに対して、オーバー露出画像は、例えば、露光時間が相対的に長い撮像画像（長時間露光画像）であり、同一の撮影シーンに対して被写体の暗部を重視する画像である。すなわち、アンダー露出画像には、ハイライトの階調が適切に再現される画像領域が含まれ、オーバー露出画像には、シャドーの階調が適切に再現される画像領域が含まれることになる。このため、アンダー露出画像およびオーバー露出画像を合成することにより、ハイライトおよびシャドーの階調が再現された合成画像を生成することができ、ダイナミックレンジを拡張することができる。なお、露出差の設定方法として、例えば、露出差をＥＶ（Exposure Value：露出値）単位でユーザが指定する設定方法を用いることができる。また、撮像部１３０が自動的に適切な露出差を算出する設定方法を用いるようにしてもよい。
露出モード設定部１２３は、操作受付部１１０により受け付けられたユーザからの露出モードの設定操作に応じて、露出モードの設定を行うものであり、その設定内容を撮像部１３０および動体処理判定部１６０に供給する。この露出モードは、露出制御の方法を選択するための撮像モードである。例えば、絞り優先モード、シャッタースピード優先モード、マニュアル露出モード、プログラムモード、シーンモード等の撮像モードをユーザの好みに応じて選択することが可能である。なお、絞り優先モードは、絞り値を設定して輝度に応じて適切なシャッタースピードを設定する露出モードであり、プログラムモードは、自動的に輝度に応じた最適な制御を行う露出モードである。また、シーンモードは、特定のシーンに応じた制御を行うシーンモードであり、例えば、ポートレートモード、スポーツモード、ペットモード、夕景モード、夜景モードを設定することができる。なお、露出モード設定部１２３は、特許請求の範囲に記載のモード設定部の一例である。
撮像部１３０は、感度設定部１２１、露出差設定部１２２、露出モード設定部１２３の設定内容に基づいて、露出条件が異なる複数の撮像画像（アンダー露出画像およびオーバー露出画像）を生成するものである。すなわち、撮像部１３０は、露出差設定部１２２の設定内容に基づく異なる露出条件により、同一の被写体を２回連続して撮像することにより、アンダー露出画像およびオーバー露出画像を生成する。例えば、撮像部１３０は、操作受付部１１０により静止画記録の指示操作（例えば、シャッターボタンの押下操作）が受け付けられた場合には、１組のアンダー露出画像およびオーバー露出画像を生成する。この場合には、例えば、アンダー露出画像、オーバー露出画像の順序で生成することができる。また、例えば、撮像部１３０は、操作受付部１１０により動画記録の指示操作（例えば、録画ボタンの押下操作）が受け付けられた場合には、所定のフレームレートで、アンダー露出画像およびオーバー露出画像を順次生成する。この場合には、例えば、アンダー露出画像、オーバー露出画像の順序で順次生成することができる。そして、撮像部１３０は、生成された撮像画像（アンダー露出画像およびオーバー露出画像）を画像処理部１４０および顔検出部１５０に供給する。
具体的には、撮像部１３０は、レンズを介して入射された被写体の光を電気信号に変換する撮像素子と、この撮像素子の出力信号を処理してデジタルの画像信号（画像データ）を生成する信号処理部とを備える。すなわち、撮像部１３０において、レンズを介して入射された被写体の光学像が撮像素子の撮像面に結像され、この状態で撮像素子が撮像動作を行い、信号処理部が撮像信号に対して信号処理を行うことにより、デジタルの画像信号が生成される。そして、生成されたデジタルの画像信号が、画像処理部１４０および顔検出部１５０に供給される。なお、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いることができる。
画像処理部１４０は、撮像部１３０から供給された画像信号（デジタル画像信号）に対して、補間処理やホワイトバランス等の色・階調処理等の各種画像処理を行うものである。また、画像処理部１４０は、露出差設定部１２２により設定された露出差に応じて、基準画像に対して露出レベル変換処理を行い、露出レベル変換画像を生成する。例えば、画像処理部１４０は、露出差設定部１２２により設定された露出差に応じて、アンダー露出画像に対してゲインアップ処理（増感現像処理）を行い、ゲインアップ画像を生成する。そして、画像処理部１４０は、各種画像処理が施された画像信号（撮像画像）を画像合成部１７０に出力する。
顔検出部１５０は、撮像部１３０から供給された画像信号（デジタル画像信号）を解析することによりその撮像画像に含まれる人物の顔を検出するものであり、この検出結果を動体処理判定部１６０に出力する。この顔の検出結果として、顔検出部１５０は、例えば、顔の検出の有無、撮像画像における顔の位置およびサイズを含む顔情報を動体処理判定部１６０に出力する。なお、画像に含まれる顔の検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと検出対象画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、検出対象画像に含まれる肌色の部分や人間の顔の特徴量に基づいた顔検出方法を用いることができる。これらの顔検出方法により、撮像画像における人物の顔の位置およびサイズを求めることができる。なお、顔検出部１５０は、特許請求の範囲に記載の対象物検出部の一例である。
動体処理判定部１６０は、ＨＤＲ（high dynamic range）合成処理を行う際に、動体処理を行うか否かを判定するものであり、この判定結果を画像合成部１７０に出力する。具体的には、動体処理判定部１６０は、操作受付部１１０、感度設定部１２１、露出差設定部１２２、露出モード設定部１２３、顔検出部１５０および動体領域抽出部１７２からの情報に基づいて、動体処理を行うか否かを判定する。例えば、動体処理判定部１６０は、感度設定部１２１および露出差設定部１２２による設定内容が一定基準の範囲（例えば、図５に示す動体処理優先領域２１０）内であるか否かに基づいて動体処理の要否を判定する。また、例えば、動体処理判定部１６０は、顔検出部１５０により顔が検出されたか否かに基づいて動体処理の要否を判定する。また、例えば、動体処理判定部１６０は、露出モード設定部１２３の設定内容に基づいて動体処理の要否を判定する。また、例えば、動体処理判定部１６０は、操作受付部１１０により受け付けられた操作内容に基づいて動体処理の要否を判定する。これらの動体処理の要否判定については、図５等を参照して詳細に説明する。なお、動体処理判定部１６０は、特許請求の範囲に記載の判定部の一例である。
画像合成部１７０は、画像処理部１４０から出力された撮像画像（アンダー露出画像およびオーバー露出画像）についてＨＤＲ合成処理を行うことによりＨＤＲ合成画像を生成するものであり、生成されたＨＤＲ合成画像を記録制御部１８０に出力する。具体的には、画像合成部１７０は、合成マップ生成部１７１と、動体領域抽出部１７２と、動体領域置換部１７３と、ＨＤＲ合成部１７４とを備える。
合成マップ生成部１７１は、画像処理部１４０から出力された撮像画像（アンダー露出画像およびオーバー露出画像）について各撮像画像間における各画素の合成比を決定するための合成マップを生成するものである。具体的には、合成マップ生成部１７１は、画像処理部１４０から出力された撮像画像のうち基準画像（例えば、アンダー露出画像）に基づいて合成マップを生成する。そして、合成マップ生成部１７１は、生成された合成マップをＨＤＲ合成部１７４に出力する。なお、合成マップの生成方法については、図２を参照して詳細に説明する。
動体領域抽出部１７２は、画像処理部１４０から出力された撮像画像を解析して、これらの画像に含まれる動体を検出し、この検出された動体を含む領域（動体領域）に対応する画像（動体画像）を露出レベル変換画像から抽出するものである。例えば、動体領域抽出部１７２は、画像処理部１４０から出力された撮像画像（ゲインアップ画像およびオーバー露出画像）を解析して、これらの画像に含まれる動体を検出する。そして、この検出された動体を含む領域（動体領域）に対応する動体画像を露出レベル変換画像（ゲインアップ画像）から抽出する。そして、動体領域抽出部１７２は、抽出された動体領域に含まれる画像（露出レベル変換動体画像）を動体領域置換部１７３に出力する。また、動体領域抽出部１７２は、画像処理部１４０から出力された撮像画像から動体が検出された場合には、その旨を動体処理判定部１６０に出力する。なお、この動体検出方法については、図３、図４、図７および図８を参照して詳細に説明する。また、動体領域抽出部１７２は、特許請求の範囲に記載の動体検出部の一例である。
このように、画像処理部１４０および動体領域抽出部１７２は、複数の撮像画像を構成する基準画像および他の画像に含まれる動体に対応する基準画像における動体画像が、他の画像の露出レベルとなるようにその動体画像を変換する。そして、他の画像毎の露出レベル変換動体画像を生成する。すなわち、画像処理部１４０および動体領域抽出部１７２は、特許請求の範囲に記載の変換部の一例である。
動体領域置換部１７３は、動体領域抽出部１７２から出力された動体画像（露出レベル変換動体画像）を、基準画像以外の他の撮像画像（例えば、オーバー露出画像）における動体領域に置換するものである。そして、動体領域置換部１７３は、その動体画像が置換された画像（動体領域置換画像）をＨＤＲ合成部１７４に出力する。なお、この動体領域置換方法については、図４を参照して詳細に説明する。また、動体領域置換部１７３は、特許請求の範囲に記載の置換部の一例である。
ＨＤＲ合成部１７４は、合成マップ生成部１７１から出力された合成マップに基づいて、画像処理部１４０から出力された撮像画像（アンダー露出画像およびオーバー露出画像）についてハイダイナミックレンジ合成処理を行うものである。例えば、ＨＤＲ合成部１７４は、画像処理部１４０から出力された基準画像（例えば、アンダー露出画像）と、動体領域置換部１７３から出力された動体領域置換画像との各画素を合成マップ生成部１７１から出力された合成マップに従って合成する。そして、ＨＤＲ合成部１７４は、基準画像および動体領域置換画像の各画素の合成によりＨＤＲ合成画像を生成する。そして、ＨＤＲ合成部１７４は、生成されたＨＤＲ合成画像（ハイダイナミックレンジ合成画像）を記録制御部１８０に出力する。なお、この画像合成方法については、図３および図４を参照して詳細に説明する。また、生成されたＨＤＲ合成画像については、例えば、動画記録中または静止画の記録動作待機中に、その全部または一部をモニタリング画像として表示部（図示せず）に表示させることができる。なお、ＨＤＲ合成部１７４は、特許請求の範囲に記載の合成部の一例である。
記録制御部１８０は、操作受付部１１０により受け付けられた操作入力に応じて、ＨＤＲ合成部１７４から出力された合成画像を画像ファイル（画像コンテンツ）として画像記憶部１９０に記録させるものである。例えば、記録制御部１８０は、操作受付部１１０により静止画記録の指示操作が受け付けられた場合には、ＨＤＲ合成部１７４から出力された合成画像を静止画ファイル（静止画コンテンツ）として画像記憶部１９０に記録させる。この記録時に、撮像時における日時情報等の属性情報（例えば、Ｅｘｉｆ（Exchangeable image file format）等の情報）が画像ファイルに記録される。なお、静止画記録の指示操作は、例えば、シャッターボタンの押下操作により行われる。また、例えば、記録制御部１８０は、操作受付部１１０により動画記録の指示操作が受け付けられた場合には、ＨＤＲ合成部１７４から所定のフレームレートで出力される合成画像を動画ファイル（動画コンテンツ）として画像記憶部１９０に記録させる。なお、動画記録の指示操作は、例えば、録画ボタンの押下操作により行われる。
画像記憶部１９０は、記録制御部１８０の制御に基づいて、ＨＤＲ合成部１７４により合成されたＨＤＲ合成画像を画像ファイル（画像コンテンツ）として記憶するものである。なお、画像記憶部１９０として、例えば、ＤＶＤ（Digital Versatile Disk）等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体（１または複数の記録媒体）を用いることができる。また、これらの記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。
このように、撮像装置１００は、露出を変化させて複数回の連続撮影を行い、この撮影により生成された複数枚の撮像画像について合成処理を行うことにより、ハイライトからシャドーまでの見かけ上のダイナミックレンジが拡張された画像を生成する。
なお、本発明の第１の実施の形態では、アンダー露出画像を基準画像とする例について説明する。
［合成マップの生成例］
図２は、本発明の第１の実施の形態における合成マップ生成部１７１による合成マップの生成時に用いられる入力輝度および合成比の関係を示す図である。なお、この合成比は、アンダー露出画像およびオーバー露出画像の合成比（２つの画像の合計で１００％）である。
図２に示すグラフにおいて、横軸は、ＨＤＲ合成の対象となるアンダー露出画像を構成する画素の輝度（入力輝度）を示し、縦軸は、アンダー露出画像およびオーバー露出画像（または動体領域置換画像）をＨＤＲ合成する際に用いられる合成比を示す。このグラフにおける直線２００により、入力輝度に応じた合成比を決定することができる。
例えば、入力輝度が比較的低い値である場合（暗い場合）には、アンダー露出画像の合成比は低い値となり、オーバー露出画像の合成比は高い値となる。一方、入力輝度が高い値である場合（明るい場合）には、アンダー露出画像の合成比は高い値となり、オーバー露出画像の合成比は低い値となる。
ここで、合成マップ生成部１７１が合成マップを生成する場合について説明する。この場合には、合成マップ生成部１７１が、図２に示すグラフを用いて、画像処理部１４０から出力されたアンダー露出画像を構成する画素の輝度に応じて、その画素の合成比を決定する。このように、合成マップ生成部１７１が、アンダー露出画像を構成する各画素について合成比を決定し、その決定された各画像の合成比により合成マップを生成する。
このように生成された合成マップは、アンダー露出画像およびオーバー露出画像をＨＤＲ合成する際に用いられる。すなわち、ＨＤＲ合成の対象となる各画像を構成する画素毎の合成比を用いて、その対象となる各画像が画素毎に合成される。なお、この合成方法については、図３および図４を参照して詳細に説明する。
［露出条件が異なる２つの画像の合成例］
図３は、本発明の第１の実施の形態における画像合成部１７０による画像合成処理の流れを模式的に示す図である。図３（ａ）には、空および地面を構図に含み、その地面上に立っている人物３００を含むアンダー露出画像３１０およびオーバー露出画像３２０を簡略化して示す。ここで、アンダー露出画像３１０およびオーバー露出画像３２０は、撮像部１３０により異なる露出条件で連続して撮像された画像である。また、これらの画像は、人物３００の左腕（アンダー露出画像３１０における左腕３０１、オーバー露出画像３２０における左腕３０２）が動いている状態で撮像された画像であるものとする。このため、アンダー露出画像３１０およびオーバー露出画像３２０を比較した場合には、人物３００の左腕が各画像において異なる位置に移動するため、その左腕が動体として認識される。
具体的には、アンダー露出画像３１０は、空の階調（高輝度部分）は再現されているが、人物３００は暗めとなり、アンダー露出画像３１０における下部（地面領域）の低輝度部分の階調は再現できていない。また、オーバー露出画像３２０は、オーバー露出画像であり、空の階調は白とびしており再現できていないが、人物３００は適正露出となり、オーバー露出画像３２０における下部（地面領域）の低輝度部分の階調も再現できている。
また、合成マップ生成部１７１は、アンダー露出画像３１０（基準画像）について合成マップを生成する。合成マップ生成部１７１は、例えば、図２に示すグラフを用いて、アンダー露出画像３１０を構成する各画素の輝度に基づいて各画素の合成比を決定して、アンダー露出画像３１０に関する合成マップを生成する。
図３（ｂ）には、アンダー露出画像３１０およびオーバー露出画像３２０をＨＤＲ合成して生成されたＨＤＲ合成画像を簡略化して示す。具体的には、ＨＤＲ合成部１７４が、合成マップ生成部１７１により生成された合成マップに従って、画像処理部１４０から出力されたアンダー露出画像３１０およびオーバー露出画像３２０を合成してＨＤＲ合成画像３３０を生成する。すなわち、ＨＤＲ合成部１７４は、合成マップ生成部１７１により生成された合成マップを構成する画素毎の合成比に従って、アンダー露出画像３１０およびオーバー露出画像３２０について画素単位で合成処理を行い、ＨＤＲ合成画像３３０を生成する。
ここで、図３（ｂ）に示すように、動体が含まれているアンダー露出画像３１０およびオーバー露出画像３２０について、合成マップ生成部１７１により生成された合成マップに従って合成処理を行う場合には、その動体が二重となって合成されることになる。具体的には、アンダー露出画像３１０に含まれる左腕３０１と、オーバー露出画像３２０に含まれる左腕３０２とが、ＨＤＲ合成画像３３０として合成されることになるため、ＨＤＲ合成画像３３０には、人物３００の左腕の遷移が含まれることになる。このため、生成されるＨＤＲ合成画像３３０が、不自然な画像となるおそれがある。そこで、本発明の第１の実施の形態では、動体を含む画像については、動体領域を考慮した動体処理を行った後にＨＤＲ合成処理を行う。この合成例については、図４を参照して詳細に説明する。
［動体領域を考慮した画像の合成例］
図４は、本発明の第１の実施の形態における撮像装置１００による画像合成処理の流れを模式的に示す図である。図４（ａ）には、空および地面を構図に含み、その地面上に立っている人物３００を含むアンダー露出画像３１０およびオーバー露出画像３２０を簡略化して示す。また、アンダー露出画像３１０において、人物３００の左腕（図３（ａ）に示す左腕３０１）の移動前の領域を動体領域３０３で示し、その移動後の領域を動体領域３０４で示す。同様に、オーバー露出画像３２０において、人物３００の左腕（図３（ａ）に示す左腕３０２）の移動前の領域を動体領域３０５で示し、その移動後の領域を動体領域３０６で示す。なお、動体領域３０３乃至３０６についてはその輪郭を太線で示す。また、アンダー露出画像３１０およびオーバー露出画像３２０は、動体領域３０３乃至３０６を表す太線を付加した点以外は、図３（ａ）に示すアンダー露出画像３１０およびオーバー露出画像３２０と同一である。
図４（ｂ）には、アンダー露出画像３１０の露出レベルを増加（ゲインアップ）させて生成されたゲインアップ画像３１１を簡略化して示す。図４（ｂ）に示すように、撮像部１３０により生成されたアンダー露出画像３１０について、画像処理部１４０が、アンダー露出画像３１０およびオーバー露出画像３２０間の露出差だけ露出レベルを増加させることによりゲインアップ画像３１１を生成する。このように、アンダー露出画像３１０についてゲインアップ処理を施すことにより、画像全体の露光がオーバー露出画像３２０と同等の明るさとなるゲインアップ画像３１１を生成することができる。ただし、ゲインアップ画像３１１については、ゲインアップ処理のため、アンダー露出画像３１０およびオーバー露出画像３２０と比較するとノイズが目立つことになる。また、ゲインアップ画像３１１において、図４（ａ）に示すアンダー露出画像３１０における動体領域３０３および３０４に対応する領域を同一の符号（動体領域３０３および３０４）で示す。
図４（ｃ）には、ゲインアップ画像３１１における動体領域３０３および３０４に含まれる画像を、オーバー露出画像３２０における動体領域３０５および３０６に置換して生成された動体領域置換画像３２１を簡略化して示す。
このように動体領域置換画像を生成する場合には、動体領域抽出部１７２が置換対象となる動体領域を特定する。具体的には、動体領域抽出部１７２が、アンダー露出画像３１０（ゲインアップ画像３１１）およびオーバー露出画像３２０に含まれる動体（人物３００の左腕３０１および３０２）を検出する。
ここで、動体検出方法について説明する。例えば、同一の露出レベルとされたゲインアップ画像およびオーバー露出画像を比較することにより動体を検出する検出方法を用いることができる。具体的には、ゲインアップ画像３１１およびオーバー露出画像３２０の比較により各画像における各画素値の差分値を画素毎に算出し、この算出された各画素の差分値が一定値以上である領域を動体領域として検出する検出方法を用いることができる。また、他の動体検出方法を用いるようにしてもよい。この他の動体検出方法については、図７および図８を参照して詳細に説明する。さらに、上述した動体検出方法とともに他の動体検出方法を組み合わせて動体検出を行うようにしてもよい。
これらの検出方法による検出結果に基づいて、動体領域抽出部１７２が、ゲインアップ画像３１１における動体領域（その検出された動体を含む領域）３０３および３０４を特定する。続いて、動体領域抽出部１７２は、ゲインアップ画像３１１からその特定された動体領域３０３および３０４に含まれる画像を抽出して動体領域置換部１７３に出力する。続いて、動体領域置換部１７３は、動体領域抽出部１７２により抽出された動体領域３０３および３０４に含まれる画像を、オーバー露出画像３２０における動体領域３０５および３０６に置換（例えば、完全置換）して動体領域置換画像３２１を生成する。このように置換処理を行うことにより、ＨＤＲ合成処理の対象となるアンダー露出画像３１０およびオーバー露出画像（動体領域置換画像３２１）における動体が略同一となる。そして、動体領域置換部１７３は、生成された動体領域置換画像３２１をＨＤＲ合成部１７４に出力する。
このようにゲインアップ画像における動体領域に含まれる画像を、オーバー露出画像における動体領域に置換して動体領域置換画像を生成する動体処理を行う。この動体処理により生成された動体領域置換画像とアンダー露出画像とについてＨＤＲ合成処理を行うことにより、合成画像における動体が二重写りとなることを阻止することができる。
図４（ｄ）には、アンダー露出画像３１０および動体領域置換画像３２１をＨＤＲ合成して生成されたＨＤＲ合成画像３４０を簡略化して示す。具体的には、ＨＤＲ合成部１７４が、合成マップ生成部１７１により生成された合成マップに従って、画像処理部１４０からのアンダー露出画像３１０と、動体領域置換部１７３からの動体領域置換画像３２１とを合成してＨＤＲ合成画像３４０を生成する。すなわち、ＨＤＲ合成部１７４は、合成マップ生成部１７１により生成された合成マップを構成する画素毎の合成比に従って、アンダー露出画像３１０および動体領域置換画像３２１について画素単位で合成処理を行い、ＨＤＲ合成画像３４０を生成する。この合成時に用いられる合成マップは、図３（ｂ）に示すＨＤＲ合成画像３３０の合成時に用いられる合成マップと同一である。また、ＨＤＲ合成画像３４０には、人物の左腕３０１および３０２に対応する動体領域３０７および３０８が含まれる。なお、動体領域３０７には、人物３００の左腕３０１に対応する画像が含まれるが、動体領域３０８には、人物３００の左腕３０２に対応する画像が含まれない。
このように、動体を含むアンダー露出画像３１０および動体領域置換画像３２１について、合成マップ生成部１７１により生成された合成マップに従って合成処理を行うことにより、その動体が二重とならないＨＤＲ合成画像３４０を生成することができる。具体的には、図４（ｃ）に示すように、ゲインアップ画像３１１における動体領域３０３および３０４に含まれる画像を、オーバー露出画像３２０における動体領域３０５および３０６に置換して動体領域置換画像３２１を生成する。この動体領域置換画像３２１には、ゲインアップ画像３１１における動体領域３０３に含まれる画像（図３（ａ）に示すアンダー露出画像３１０における左腕３０１）のみが動体として含まれる。このため、アンダー露出画像３１０およびオーバー露出画像（動体領域置換画像３２１）における動体が略同一となり、自然な画像となるＨＤＲ合成画像３４０を生成することができる。また、このように合成処理を行うため、動体領域の境界付近の画像および動体領域に含まれる画像についても滑らかな画像とすることができる。
このように、二重写りのないＨＤＲ合成画像３４０を生成することができる。ただし、ＨＤＲ合成の対象となる動体領域置換画像３２１における動体領域３０３および３０４に含まれる画像は、ゲインアップ画像３１１から抽出されたものであるため、ゲインアップに起因するノイズが発生する。すなわち、ＨＤＲ合成画像３４０における動体領域３０７および３０８にはノイズが含まれることになる。しかしながら、ＩＳＯ感度が低く、露出差が小さい場合には、これらのノイズは目立たないと想定される。また、動体があまり目立たない被写体である場合等には、ノイズの発生よりも動体処理を優先すべきであると考えられる。そこで、以下では、撮像装置１００における設定内容等に基づいて、動体処理を行うか否かを切り替える例について説明する。
なお、動体画像の置換方法については、上述したように、アンダー露出画像をゲインアップした画像（ゲインアップ画像）における動体画像を、この動体画像に対応するオーバー露出画像における領域（動体領域）に置換する方法を用いることができる。この置換方法では、例えば、完全置換を行う。また、他の置換方法として、オーバー露出画像およびゲインアップ画像における各画素の差分値に応じて、ゲインアップ画像における動体画像の置換比率を変化させる置換方法を用いることができる。この置換方法では、例えば、その各画素の差分値に応じた合成比率により、オーバー露出画像における動体領域に、ゲインアップ画像における動体画像を置換する。また、他の置換方法を用いるようにしてもよい。
また、画像合成方法については、上述したように、合成マップに従って合成処理を行うことによりＨＤＲ合成画像を生成する例について説明したが、この画像合成方法に限定されるものではなく、他の画像合成方法を用いるようにしてもよい。
また、この例では、アンダー露出画像を基準画像とする例を示したが、オーバー露出画像を基準画像とするようにしてもよい。また、基準画像の指定をユーザ操作により行うようにしてもよい。
［露出差およびＩＳＯ感度に基づく動体処理の要否判定例］
図５は、本発明の第１の実施の形態における動体処理判定部１６０による動体処理の要否を判定する際における判定基準を示す図である。図５では、ＨＤＲ合成処理の対象となるアンダー露出画像およびオーバー露出画像間の露出差とＩＳＯ感度とを判定基準とする場合における露出差およびＩＳＯ感度の関係例を示す。図５に示すグラフにおいて、横軸は、感度設定部１２１により設定されたＩＳＯ感度を示し、縦軸は、露出差設定部１２２により設定された露出差を示す。
ここで、動体処理判定部１６０が動体処理の要否を判定する場合には、感度設定部１２１および露出差設定部１２２による設定内容が、図５に示す動体処理優先領域２１０（点線の矩形により特定される領域）に含まれるか否かを判断する。そして、感度設定部１２１および露出差設定部１２２による設定内容が、動体処理優先領域２１０に含まれる場合には、動体処理判定部１６０が動体処理を行うと判定する。一方、感度設定部１２１および露出差設定部１２２による設定内容が、動体処理優先領域２１０に含まれない場合には、動体処理判定部１６０が動体処理を行わないと判定する。すなわち、その設定内容が、動体処理優先領域２１０以外の領域（例えば、ノイズレス優先領域）に含まれる場合には、動体処理を行わないと判定される。そして、動体処理判定部１６０は、その判定結果を動体領域抽出部１７２、動体領域置換部１７３およびＨＤＲ合成部１７４に出力する。
例えば、動体処理優先領域２１０として、ＩＳＯ感度が１６００以内、かつ、露出差が３ＥＶ以内と設定することができる。すなわち、感度設定部１２１により比較的低いＩＳＯ感度が設定され、かつ、露出差設定部１２２により比較的小さい露出差が設定された場合には、動体処理判定部１６０が動体処理を行うと判定する。
このように、比較的低いＩＳＯ感度が設定され、かつ、比較的小さい露出差が設定された場合にのみ動体処理を行い、この動体処理により生成された動体領域置換画像を用いてＨＤＲ合成画像を生成する。これにより、ＨＤＲ合成画像における動体領域に含まれるノイズ量が気になる程度に増加すると想定される場合には、動体処理を行わずにＨＤＲ合成画像を生成してノイズレスを優先させる。一方、ＨＤＲ合成画像における動体領域に含まれるノイズ量が気になるほどは存在しないと想定される場合には、動体処理により生成された動体領域置換画像を用いてＨＤＲ合成画像を生成して、二重写りを防止することを優先させる。これにより、ノイズ量の増減に応じて、適切なＨＤＲ合成画像を生成することができる。
なお、図５に示す動体処理優先領域２１０は、説明の容易のため、簡略化した一例を示すものであり、これ以外の値に対応する領域を動体処理優先領域として設定して用いるようにしてもよい。また、これらの値をユーザ操作により設定するようにしてもよい。
［顔検出結果に基づく動体処理の要否判定例］
次に、顔検出部１５０による顔検出結果に基づいて動体処理の要否を判定する例について説明する。例えば、撮像画像に人物の顔が含まれている場合には、その人物の体の一部が動くことにより、その部分が動体となる確率が高いと想定される。このため、顔検出部１５０により顔が検出された場合には、動体処理判定部１６０が動体処理を行うと判定する。一方、顔検出部１５０により顔が検出されない場合には、動体処理判定部１６０が動体処理を行わないと判定する。そして、動体処理判定部１６０は、その判定結果を動体領域抽出部１７２、動体領域置換部１７３およびＨＤＲ合成部１７４に出力する。
このように、顔検出部１５０による顔検出結果に基づいて動体処理の要否を判定することにより、動体処理の必要性を考慮してＨＤＲ合成画像を生成することができる。
［露出モードの設定内容に基づく動体処理の要否判定例］
次に、露出モード設定部１２３の設定内容に基づいて動体処理の要否を判定する例について説明する。例えば、注目被写体として主に動体を対象となる露出モード（特定撮像モード）が設定されている場合には、撮像画像に動体が含まれる確率が高いと想定される。この特定撮像モードは、例えば、スポーツモード、ポートレートモード、ペットモードとすることができる。すなわち、露出モード設定部１２３により特定撮像モードが設定されている場合には、動体処理判定部１６０が動体処理を行うと判定する。一方、露出モード設定部１２３により特定撮像モードが設定されていない場合には、動体処理判定部１６０が動体処理を行わないと判定する。そして、動体処理判定部１６０は、その判定結果を動体領域抽出部１７２、動体領域置換部１７３およびＨＤＲ合成部１７４に出力する。
このように、露出モード設定部１２３による特定撮像モード設定の要否に基づいて動体処理の要否を判定することにより、動体処理の必要性を考慮してＨＤＲ合成画像を生成することができる。
なお、この特定撮像モード設定の要否と、上述した顔検出結果と、上述した露出差およびＩＳＯ感度に基づく動体処理の判定結果とに基づいて、動体処理判定部１６０が動体処理の要否を判定するようにしてもよい。例えば、感度設定部１２１および露出差設定部１２２による設定内容が、図５に示す動体処理優先領域２１０に含まれるとともに、顔検出部１５０により顔が検出された場合にのみ、動体処理を行うと判定するようにすることができる。また、感度設定部１２１および露出差設定部１２２による設定内容が、図５に示す動体処理優先領域２１０に含まれるとともに、露出モード設定部１２３により特定撮像モードが設定されている場合にのみ、動体処理を行うと判定するようにしてもよい。また、これらの判定基準をユーザの好みに応じて変更することができるように、その判定基準をユーザ操作により変更可能とするようにしてもよい。
［ユーザ操作に基づく動体処理の要否判定例］
次に、操作受付部１１０により受け付けられた操作内容に基づいて動体処理の要否を判定する例について説明する。例えば、動体処理を行う旨の指示操作（例えば、動体処理ＨＤＲモードの設定操作）が操作受付部１１０により受け付けられた場合には、ユーザにより動体処理が優先されていると想定される。このため、その旨の指示操作が操作受付部１１０により受け付けられた場合には、動体処理判定部１６０が動体処理を行うと判定する。一方、その旨の指示操作が操作受付部１１０により受け付けられていない場合には、動体処理判定部１６０が動体処理を行わないと判定する。そして、動体処理判定部１６０は、その判定結果を動体領域抽出部１７２、動体領域置換部１７３およびＨＤＲ合成部１７４に出力する。
このように、動体処理を行う旨の指示操作の有無に基づいて動体処理の要否を判定することができる。これにより、ユーザによる動体処理の必要性（動体処理が優先か、ノイズレスが優先か）を考慮してＨＤＲ合成画像を生成することができる。
なお、動体処理判定部１６０による動体処理の要否の判定結果を、撮像装置１００に備えられる表示部（図示せず）に表示するようにしてもよい。例えば、動体処理を行うことが動体処理判定部１６０により判定された場合には、その旨を示す標識（例えば、その旨を表す動体処理アイコン）を表示部に表示させることができる。例えば、静止画の記録指示操作が行われて静止画の記録処理が終了した後に、一定期間、その記録処理により記録された静止画を自動的に表示させる場合に、上述した標識を静止画とともに表示部に表示させることができる。これにより、動体処理により生成された動体領域置換画像を用いてＨＤＲ合成画像を生成したことを、ユーザが容易に把握することができる。
［動体処理が必要な撮影シーン例］
図６は、本発明の第１の実施の形態における撮像装置１００を用いて撮像画像を生成する場合における撮影シーンを簡略化して示す図である。
図６（ａ）には、開けられた窓を背景にして、室内にいる人物（窓際の人物）を被写体として撮影する場合における撮影シーンの一例を示す。図６（ａ）に示す例は、窓の外では日差しが強く、窓に囲まれた領域内は比較的明るいのに対し、窓に囲まれた領域以外の室内は比較的暗いシーンであるものとする。また、窓際の人物の左腕が移動して動体として認識されるものとする。
図６（ｂ）には、山を背景にして立っている人物を被写体として撮影する場合における撮影シーンの一例を示す。図６（ｂ）に示す例は、山を背景にして立っている人物が逆光状態であるため、背景は比較的明るいのに対し、人物に対応する領域は比較的暗くなっているシーンであるものとする。また、逆光状態の人物の右腕が移動して動体として認識されるものとする。
図６（ｃ）には、夕景の山を被写体として撮影する場合における撮影シーンの一例を示す。図６（ｃ）に示す例は、夕景であるため、太陽付近は比較的明るいのに対し、太陽以外の他の領域は比較的暗くなっているシーンであるものとする。また、山の手前の地面に存在する犬が移動して動体として認識されるものとする。
これらの各撮影シーンは、明暗の差が大きいシーンであるため、撮像装置１００が備える撮像素子のダイナミックレンジが不足することが想定される。このため、上述したようにＨＤＲ合成処理により、ダイナミックレンジが拡張されたＨＤＲ合成画像を生成することができる。また、これらの各撮影シーンには、動体（図６（ａ）および（ｂ）に示す人物の腕、図６（ｃ）に示す犬）が含まれている。このため、これらの各撮影シーンについては、上述した動体処理を行うことにより、その動体が含まれる領域（動体領域）において、その動体が二重写りすることを防止することができる。また、上述した動体処理を行った後にＨＤＲ合成処理を行うため、動体領域の境界付近の画像および動体領域に含まれる画像についても滑らかな画像とすることができ、その動体を考慮した適切なＨＤＲ合成画像を生成することができる。
［動体検出の変形例］
図７は、本発明の第１の実施の形態における動体領域抽出部１７２による動体検出処理の流れを模式的に示す図である。なお、図７に示す例は、上述した動体検出処理の変形例であるため、共通する部分についての説明の一部を省略する。
図７（ａ）には、空および地面を構図に含み、その地面上に立っている人物３００を含む画像３５０および３６０を簡略化して示す。なお、画像３５０は、図４（ｂ）に示すゲインアップ画像３１１に対応し、画像３６０は、図４（ａ）（図３（ａ））に示すオーバー露出画像３２０に対応するものとする。また、図７に示す例では、説明の容易のため、画像に付す色を省略して示す。
ここで、動体検出方法について説明する。上述したように、同一の露出レベルとされたゲインアップ画像およびオーバー露出画像を比較することにより動体を検出することができる。具体的には、画像（ゲインアップ画像）３５０および画像（オーバー露出画像）３６０の比較により各画像における各画素値の差分値を画素毎に算出し、この算出された各画素の差分値が一定値以上である領域を動体領域として検出する。この場合に、例えば、動体領域内に含まれる領域であるにもかかわらず、その領域を構成する各画素の差分値が一定値未満となり、その領域が動体領域として検出されないことが想定される。
例えば、画像（ゲインアップ画像）３５０における人物３００の左腕３０１に対応する領域に含まれる領域３５１の各画素の差分値が一定値未満であるものとする。また、画像（オーバー露出画像）３６０における人物３００の左腕３０２に対応する領域に含まれる領域３６１の各画素の差分値が一定値未満であるものとする。この場合には、上述した動体検出処理では、画像３５０における領域３５１と、画像３６０における領域３６１とが動体領域として検出されない。
そこで、この例では、２つの画像の比較により算出された各画素の差分値が一定値以上である領域内に、各画素の差分値が一定値未満となる領域が存在する場合において、この領域が一定条件を満たす場合には、この領域を動体領域として検出する。例えば、その一定値以上である領域が閉じられた領域であり、その一定値未満となる領域のサイズが一定サイズ未満である場合をその一定条件とすることができる。
例えば、図７（ａ）に示す画像３５０における領域３５１のサイズと、画像３６０における領域３６１のサイズとは、一定サイズ未満であるものとする。また、領域３５１を含む領域（左腕３０１に対応する領域）は、閉じられた領域であり、領域３６１を含む領域（左腕３０２に対応する領域）は、閉じられた領域である。このため、領域３５１および３６１は、上述した一定条件を満たすため、動体領域として検出される。
図７（ｂ）には、動体領域抽出部１７２による動体領域の検出結果を模式的に示す。図７（ｂ）では、動体領域抽出部１７２による動体領域の検出結果として、画像３５０および画像３６０の比較により検出された動体領域を、画像３７０において太線の輪郭（動体領域３７１および３７２）により囲んで示す。なお、画像３７０において、図７（ａ）に示す領域３５１および３６１に対応する輪郭を点線で示す。
このように、２つの画像の比較により算出された各画素の差分値が一定値以上でない領域であっても、一定条件を満たす場合には、動体領域として検出することができる。これにより、動体検出の精度を向上させることができるため、ＨＤＲ合成画像をさらに適切に生成することができる。
［顔検出結果を用いた動体検出例］
以上では、動体領域抽出部１７２により動体を検出する例を示した。ここで、例えば、撮像画像に顔が含まれている場合には、顔検出部１５０によりその顔が検出される。また、その顔が移動している場合でも、その移動後の顔が顔検出部１５０により順次検出される。そこで、動体が顔である場合には、顔検出部１５０による顔検出結果を用いて、動体検出を行うことができる。以下では、顔検出結果を用いて動体検出を行う例を示す。
図８は、本発明の第１の実施の形態における顔検出部１５０による動体検出処理の流れを模式的に示す図である。図８（ａ）乃至（ｄ）に示す画像４１１乃至４１４は、撮像部１３０により連続して生成された撮像画像（基準画像（例えば、アンダー露出画像））であり、移動する人物４００が含まれているものとする。また、画像４１１乃至４１４において、人物４００の顔４０１が顔検出部１５０により順次検出されるものとする。なお、図８（ａ）乃至（ｄ）に示す画像４１１乃至４１４は、説明の容易のため、人物４００の移動量を比較的大きくして示す。
ここで、顔検出結果に基づく動体検出方法について説明する。上述したように、顔検出部１５０により顔が検出された場合には、検出処理の対象となった画像における顔情報（その顔の位置およびサイズ）が検出される。そこで、顔検出部１５０は、顔が検出された場合にはその顔に関する顔情報を保持する。そして、顔検出部１５０は、次の顔検出処理の対象となる画像から顔が検出された場合には、その顔に関する顔情報と、保持されている顔情報とを比較する。この比較により、顔領域の移動の有無を判断することができる。
例えば、画像４１１において、顔検出部１５０により人物４００の顔４０１が検出された場合には、画像４１１における顔情報（顔４０１の位置およびサイズ（図４（ａ）では、点線の矩形４２１で示す））が検出される。このため、顔検出部１５０は、顔４０１に関する顔情報（点線の矩形４２１）を保持する。続いて、顔検出部１５０は、次の顔検出処理の対象となる画像４１２から顔４０１が検出されるため、この顔４０１に関する顔情報（図４（ｂ）では、点線の矩形４２２で示す）と、保持されている顔情報（点線の矩形４２１）とを比較する。この比較により、矢印４３２に示すように、顔領域が移動していることが判定されるため、顔検出部１５０は、人物４００の顔４０１を動体として判定する。そして、顔検出部１５０は、その判定結果を動体検出情報（例えば、顔４０１の移動前後の位置およびサイズ（点線の矩形４２１および４２２））として、動体処理判定部１６０および動体領域抽出部１７２に出力する。この動体検出情報を用いて、動体処理判定部１６０および動体領域抽出部１７２は、上述した各処理を行うことができる。また、以降も同様に、画像４１３および４１４について顔検出部１５０による動体検出処理が行われる。なお、この例では、動体の検出対象として顔を例にして説明したが、他の対象物（例えば、人物の胴体部分）についても画像認識処理により順次検出して、動体検出を行うことができる。また、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法やブロックマッチング法等を用いて動体検出を行うようにしてもよい。なお、顔検出部１５０は、特許請求の範囲に記載の動体検出部の一例である。
また、動体領域抽出部１７２は、上述したゲインアップ画像およびオーバー露出画像の比較による動体検出結果と、顔検出部１５０からの動体検出結果とを比較することにより、動体検出の精度を向上させることができる。
［撮像装置の動作例］
図９は、本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。この例では、ＩＳＯ感度および露出差の設定内容が一定基準の範囲内であるか否かに基づいて動体処理の要否を判定する例を示す。また、この例では、ユーザ操作に基づいて静止画を記録する場合における合成画像生成例を示す。
最初に、静止画の記録指示操作（例えば、シャッターボタンの押下操作）が行われたか否かが判断され（ステップＳ９０１）、その記録指示操作が行われていない場合には、監視を継続して行う。一方、静止画の記録指示操作が行われた場合には（ステップＳ９０１）、撮像部１３０が、露出条件が異なる複数の撮像画像（アンダー露出画像およびオーバー露出画像）を生成する（ステップＳ９０２）。
続いて、画像処理部１４０が、生成された撮像画像について各種画像処理を行う（ステップＳ９０３）。続いて、画像処理部１４０が、露出差設定部１２２により設定された露出差に応じて、基準画像に対して露出レベル変換処理を行い、露出レベル変換画像を生成する（ステップＳ９０４）。例えば、画像処理部１４０は、露出差設定部１２２により設定された露出差に応じて、アンダー露出画像に対してゲインアップ処理を行い、ゲインアップ画像を生成する（ステップＳ９０４）。
続いて、合成マップ生成部１７１が、基準画像に基づいて撮像画像（アンダー露出画像およびオーバー露出画像）に関する合成マップを生成する（ステップＳ９０５）。続いて、動体領域抽出部１７２が、撮像画像（ゲインアップ画像およびオーバー露出画像）を解析して、これらの画像に動体が含まれるか否かを判断する（ステップＳ９０６）。そして、撮像画像に動体が含まれている場合には（ステップＳ９０６）、動体処理判定部１６０が、感度設定部１２１および露出差設定部１２２による設定内容が一定基準の範囲内であるか否かを判断する（ステップＳ９０７）。その設定内容が一定基準の範囲内でない場合には（ステップＳ９０７）、ステップＳ９１１に進む。一方、その設定内容が一定基準の範囲内である場合には（ステップＳ９０７）、動体領域抽出部１７２が、検出された動体を含む領域（動体領域）に含まれる画像（動体画像）を露出レベル変換画像から抽出する（ステップＳ９０８）。例えば、動体領域抽出部１７２が、動体画像をゲインアップ画像から抽出する（ステップＳ９０８）。なお、ステップＳ９０４およびＳ９０８は、特許請求の範囲に記載の変換手順の一例である。
続いて、動体領域置換部１７３が、動体画像を、基準画像以外の他の撮像画像における動体領域に置換して動体領域置換画像を生成する（ステップＳ９０９）。例えば、動体領域置換部１７３が、動体画像をオーバー露出画像における動体領域に置換して動体領域置換画像を生成する（ステップＳ９０９）。続いて、ＨＤＲ合成部１７４が、合成マップに基づいて、基準画像（例えば、アンダー露出画像）および動体領域置換画像についてＨＤＲ合成処理を行い、ＨＤＲ合成画像を生成する（ステップＳ９１０）。なお、ステップＳ９０９は、特許請求の範囲に記載の置換手順の一例である。また、ステップＳ９１０は、特許請求の範囲に記載の合成手順の一例である。
また、撮像画像に動体が含まれていない場合には（ステップＳ９０６）、ＨＤＲ合成部１７４が、合成マップに基づいて、撮像画像（アンダー露出画像およびオーバー露出画像）についてＨＤＲ合成処理を行い、ＨＤＲ合成画像を生成する（ステップＳ９１１）。
続いて、記録制御部１８０が、生成されたＨＤＲ合成画像を静止画ファイル（静止画コンテンツ）として画像記憶部１９０に記録させる（ステップＳ９１２）。なお、この例では、ステップＳ９０６において、撮像画像（ゲインアップ画像およびオーバー露出画像）の解析により動体検出を行う例を示すが、他の動体検出方法により動体検出を行うようにしてもよい。この場合には、例えば、ステップＳ９０４における露出レベル変換処理を、ステップＳ９０７の直前またはステップＳ９０８の直前に行うようにしてもよい。
図１０は、本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。この処理手順は、図９の変形例であり、撮像画像から顔が検出されたか否かに基づいて動体処理の要否を判定する点が異なる。また、この点以外については、図９と同一であるため、図９と共通する部分については、同一の符号を付してこれらの説明を省略する。
撮像画像に動体が含まれている場合には（ステップＳ９０６）、動体処理判定部１６０が、撮像画像から顔が検出されたか否かを判断する（ステップＳ９２１）。撮像画像から顔が検出されていない場合には（ステップＳ９２１）、ステップＳ９１１に進む。一方、撮像画像から顔が検出された場合には（ステップＳ９２１）、ステップＳ９０８に進む。
図１１は、本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。この処理手順は、図９の変形例であり、露出モードとして特定撮像モードが設定されているか否かに基づいて動体処理の要否を判定する点が異なる。また、この点以外については、図９と同一であるため、図９と共通する部分については、同一の符号を付してこれらの説明を省略する。
撮像画像に動体が含まれている場合には（ステップＳ９０６）、動体処理判定部１６０が、露出モードとして特定撮像モードが設定されているか否かを判断する（ステップＳ９３１）。例えば、露出モード設定部１２３により、特定撮像モード（例えば、スポーツモード、ポートレートモード、ペットモード）が設定されているか否かが判断される。露出モードとして特定撮像モードが設定されていない場合には（ステップＳ９３１）、ステップＳ９１１に進む。一方、露出モードとして特定撮像モードが設定されている場合には（ステップＳ９３１）、ステップＳ９０８に進む。
図１２は、本発明の第１の実施の形態における撮像装置１００による合成画像生成処理の処理手順の一例を示すフローチャートである。この処理手順は、図９の変形例であり、動体処理を行う撮像モード（例えば、動体処理ＨＤＲモード）が設定されているか否かに基づいて動体処理の要否を判定する点が異なる。また、この点以外については、図９と同一であるため、図９と共通する部分については、同一の符号を付してこれらの説明を省略する。
撮像画像に動体が含まれている場合には（ステップＳ９０６）、動体処理判定部１６０が、動体処理を行う撮像モード（例えば、動体処理ＨＤＲモード）が設定されているか否かを判断する（ステップＳ９４１）。例えば、操作受付部１１０により、動体処理ＨＤＲモードの設定操作が行われたか否かが判断される。動体処理を行う撮像モードが設定されていない場合には（ステップＳ９４１）、ステップＳ９１１に進む。一方、動体処理を行う撮像モードが設定されている場合には（ステップＳ９４１）、ステップＳ９０８に進む。
＜２．第２の実施の形態＞
本発明の第１の実施の形態では、ＨＤＲ合成処理の対象となる撮像画像として、２つの撮像画像（アンダー露出画像およびオーバー露出画像）を用いる例を示した。ここで、ＨＤＲ合成処理の対象となる撮像画像として、露出条件が異なる３以上の撮像画像を用いる場合についても、上述したＨＤＲ合成処理を行うことができる。そこで、本発明の第２の実施の形態では、ＨＤＲ合成画像を生成する場合に、露出条件が異なる３以上の撮像画像を用いてＨＤＲ合成処理を行う例を示す。なお、本発明の第２の実施の形態における撮像装置の機能構成については、図１に示す例と略同様である。このため、本発明の第１の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
［合成マップの生成例］
図１３は、本発明の第２の実施の形態における合成マップ生成部１７１による合成マップの生成時に用いられる入力輝度および合成比の関係を示す図である。なお、この合成比は、アンダー露出画像、ミドル露出画像およびオーバー露出画像の合成比（３つの画像の合計で１００％）である。ここで、アンダー露出画像、ミドル露出画像およびオーバー露出画像は、異なる露出条件により連続して生成された３つの画像である。また、図１３に示す例では、アンダー露出画像を基準画像とする例を示す。
また、図１３に示すグラフは、図２に示す直線２００の代わりに、直線２０１および２０２を表した点以外は、図２に示すグラフと略同様である。このため、図２に示すグラフに共通する部分についての説明の一部を省略する。
図１３に示すグラフにおいて、横軸は、ＨＤＲ合成の対象となるアンダー露出画像を構成する画素の輝度（入力輝度）を示す。また、縦軸は、アンダー露出画像、ミドル露出画像（または動体領域置換画像）およびオーバー露出画像（または動体領域置換画像）をＨＤＲ合成する際に用いられる合成比を示す。このグラフにおける直線２０１および２０２により、入力輝度に応じた合成比を決定することができる。
ここで、合成マップ生成部１７１が合成マップを生成する場合について説明する。この場合には、合成マップ生成部１７１が、図１３に示すグラフを用いて、画像処理部１４０から出力されたアンダー露出画像を構成する画素の輝度に応じて、その画素の合成比を決定する。このように、合成マップ生成部１７１が、アンダー露出画像を構成する各画素について合成比を決定する。この合成比は、アンダー露出画像、ミドル露出画像およびオーバー露出画像を合成する際における３つの画像に関する合成比である。そして、合成マップ生成部１７１は、その決定された各画像の合成比により合成マップを生成する。
このように生成された合成マップは、アンダー露出画像、ミドル露出画像およびオーバー露出画像をＨＤＲ合成する際に用いられる。すなわち、ＨＤＲ合成の対象となる各画像を構成する画素毎の合成比を用いて、その対象となる各画像が画素毎に合成される。なお、この合成方法については、図１４を参照して詳細に説明する。
［露出条件が異なる３つの画像の合成例］
図１４は、本発明の第２の実施の形態における画像合成部１７０による画像合成処理の流れを模式的に示す図である。図１４に示す例は、図４に示す画像合成処理の変形例であり、合成対象となる画像が３つの画像である点が図４に示す画像合成処理とは異なる。このため、以下では、図４に示す画像合成処理と共通する部分についての説明の一部を省略して説明する。
図１４に示すアンダー露出画像５００、ミドル露出画像５１０およびオーバー露出画像５２０は、異なる露出条件により連続して生成された画像である。また、アンダー露出画像５００、ミドル露出画像５１０およびオーバー露出画像５２０には、動体が含まれているものとする。なお、アンダー露出画像５００およびオーバー露出画像５２０は、図４に示すアンダー露出画像３１０およびオーバー露出画像３２０に対応する。また、ミドル露出画像５１０は、アンダー露出画像５００およびオーバー露出画像５２０の中間の露出レベルにより生成された画像であるものとする。なお、図１４に示す各画像については、その画像を表す文字を内部に付した矩形により模式的に示す。また、図１４に示す例では、アンダー露出画像５００を基準画像として用いる例を示す。
最初に、アンダー露出画像５００およびミドル露出画像５１０を用いて、動体領域置換画像５１１が生成される。具体的には、アンダー露出画像５００の露出レベルを、ミドル露出画像５１０に合わせるように増加（ゲインアップ）させて、ゲインアップ画像５０１が生成される。すなわち、撮像部１３０により生成されたアンダー露出画像５００について、画像処理部１４０が、アンダー露出画像５００およびミドル露出画像５１０間の露出差だけ露出レベルを増加させることによりゲインアップ画像５０１を生成する。このように、アンダー露出画像５００についてゲインアップ処理を施すことにより、画像全体の露光がミドル露出画像５１０と同等の明るさとなるゲインアップ画像５０１が生成される。
続いて、動体領域抽出部１７２が、ゲインアップ画像５０１およびミドル露出画像５１０に含まれる動体を検出し、ゲインアップ画像５０１における動体領域（その検出された動体を含む領域）を特定する。続いて、動体領域抽出部１７２は、ゲインアップ画像５０１からその特定された動体領域に含まれる画像を抽出して動体領域置換部１７３に出力する。続いて、動体領域置換部１７３は、動体領域抽出部１７２により抽出された動体領域に含まれる画像を、ミドル露出画像５１０における動体領域（ゲインアップ画像５０１から画像が抽出された動体領域に対応する領域）に置換して動体領域置換画像５１１を生成する。
次に、アンダー露出画像５００およびオーバー露出画像５２０を用いて、動体領域置換画像５２１が生成される。具体的には、アンダー露出画像５００の露出レベルを、オーバー露出画像５２０に合わせるように増加（ゲインアップ）させて、ゲインアップ画像５０２が生成される。すなわち、撮像部１３０により生成されたアンダー露出画像５００について、画像処理部１４０が、アンダー露出画像５００およびオーバー露出画像５２０間の露出差だけ露出レベルを増加させることによりゲインアップ画像５０１を生成する。このように、アンダー露出画像５００についてゲインアップ処理を施すことにより、画像全体の露光がオーバー露出画像５２０と同等の明るさとなるゲインアップ画像５０２が生成される。
続いて、動体領域抽出部１７２が、ゲインアップ画像５０２およびオーバー露出画像５２０含まれる動体を検出し、ゲインアップ画像５０２における動体領域を特定する。続いて、動体領域抽出部１７２は、ゲインアップ画像５０２からその特定された動体領域に含まれる画像を抽出して動体領域置換部１７３に出力する。続いて、動体領域置換部１７３は、動体領域抽出部１７２により抽出された動体領域に含まれる画像を、オーバー露出画像５２０における動体領域に置換して動体領域置換画像５２１を生成する。
このように置換処理を行うことにより、ＨＤＲ合成処理の対象となるアンダー露出画像５００、動体領域置換画像（ミドル露出画像）５１１および動体領域置換画像（オーバー露出画像）５２１における動体が略同一となる。
続いて、ＨＤＲ合成部１７４が、合成マップ生成部１７１により生成された合成マップに従って、アンダー露出画像５００、動体領域置換画像５１１および動体領域置換画像５２１を合成してＨＤＲ合成画像５３０を生成する。なお、この例では、動体領域置換画像５１１を生成した後に、動体領域置換画像５２１を生成する例を示したが、これらの生成順序については変更してもよい。例えば、動体領域置換画像５１１および５２１を同時に生成するようにしてもよく、動体領域置換画像５２１を生成した後に、動体領域置換画像５１１を生成するようにしてもよい。
以上では、露出レベルが最も低い画像（アンダー露出画像）を基準画像とし、露出レベルが高い画像に合わせて基準画像を変換して変換画像を生成し、この変換画像における動体画像を置換して動体領域置換画像を生成する例を示した。ただし、他の露出レベルを基準画像として動体領域置換画像を生成するようにしてもよい。そこで、以下では、ミドル露出画像を基準画像として動体領域置換画像を生成し、ＨＤＲ合成画像を生成する例を示す。
図１５は、本発明の第２の実施の形態における画像合成部１７０による画像合成処理の流れを模式的に示す図である。図１５に示す例は、図１４に示す画像合成処理の変形例であり、基準画像をミドル露出画像とする点が、図１４に示す画像合成処理とは異なる。このため、以下では、図１４に示す画像合成処理と共通する部分についての説明の一部を省略して説明する。
図１５に示すアンダー露出画像５００、ミドル露出画像５１０およびオーバー露出画像５２０は、図１４に示す各画像と同一であるものとする。ここで、図１５に示す例では、基準画像としてミドル露出画像５１０を用いるため、合成マップ生成部１７１は、ミドル露出画像５１０を構成する画素の輝度に応じて、その画素の合成比を決定し、合成マップを生成する。なお、この合成マップを生成するためのグラフについては、図示を省略する。
最初に、アンダー露出画像５００およびミドル露出画像５１０を用いて、動体領域置換画像５０５が生成される。具体的には、ミドル露出画像５１０の露出レベルを、アンダー露出画像５００に合わせるように減少（ゲインダウン）させて、ゲインダウン画像５１５が生成される。すなわち、撮像部１３０により生成されたミドル露出画像５１０について、画像処理部１４０が、アンダー露出画像５００およびミドル露出画像５１０間の露出差だけ露出レベルを減少させることによりゲインダウン画像５１５を生成する。このように、ミドル露出画像５１０についてゲインダウン処理を施すことにより、画像全体の露光がアンダー露出画像５００と同等の明るさとなるゲインダウン画像５１５が生成される。
続いて、動体領域抽出部１７２が、ゲインダウン画像５１５およびアンダー露出画像５００に含まれる動体を検出し、ゲインダウン画像５１５における動体領域を特定する。続いて、動体領域抽出部１７２は、ゲインダウン画像５１５からその特定された動体領域に含まれる画像を抽出して動体領域置換部１７３に出力する。続いて、動体領域置換部１７３は、動体領域抽出部１７２により抽出された動体領域に含まれる画像を、アンダー露出画像５００における動体領域に置換して動体領域置換画像５０５を生成する。
次に、ミドル露出画像５１０およびオーバー露出画像５２０を用いて、動体領域置換画像５２５が生成される。具体的には、ミドル露出画像５１０の露出レベルを、オーバー露出画像５２０に合わせるように増加（ゲインアップ）させて、ゲインアップ画像５１６が生成される。すなわち、撮像部１３０により生成されたミドル露出画像５１０について、画像処理部１４０が、ミドル露出画像５１０およびオーバー露出画像５２０間の露出差だけ露出レベルを増加させることによりゲインアップ画像５１６を生成する。このように、ミドル露出画像５１０についてゲインアップ処理を施すことにより、画像全体の露光がオーバー露出画像５２０と同等の明るさとなるゲインアップ画像５１６が生成される。
続いて、動体領域抽出部１７２が、ゲインアップ画像５１６およびオーバー露出画像５２０含まれる動体を検出し、ゲインアップ画像５１６における動体領域を特定する。続いて、動体領域抽出部１７２は、ゲインアップ画像５１６からその特定された動体領域に含まれる画像を抽出して動体領域置換部１７３に出力する。続いて、動体領域置換部１７３は、動体領域抽出部１７２により抽出された動体領域に含まれる画像を、オーバー露出画像５２０における動体領域に置換して動体領域置換画像５２５を生成する。
このように置換処理を行うことにより、ＨＤＲ合成処理の対象となる動体領域置換画像（アンダー露出画像）５０５、ミドル露出画像５１０および動体領域置換画像（オーバー露出画像）５２５における動体が略同一となる。
続いて、ＨＤＲ合成部１７４が、合成マップ生成部１７１により生成された合成マップに従って、動体領域置換画像５０５、ミドル露出画像５１０および動体領域置換画像５２５を合成してＨＤＲ合成画像５４０を生成する。なお、この例では、動体領域置換画像５０５を生成した後に、動体領域置換画像５２５を生成する例を示したが、これらの生成順序については変更してもよい。例えば、動体領域置換画像５０５および５２５を同時に生成するようにしてもよく、動体領域置換画像５２５を生成した後に、動体領域置換画像５０５を生成するようにしてもよい。
なお、以上では、合成対象となる画像が３つの画像である場合に、アンダー露出画像またはミドル露出画像を基準画像とする例を示したが、オーバー露出画像を基準画像とするようにしてもよい。また、撮影シーンに応じて、３つの画像のうちから最適な基準画像を撮像装置１００が自動で決定するようにしてもよい。例えば、生成された３つの画像における明るい部分や暗い部分の比較（白トビや黒つぶれの発生状態）により、最適な基準画像を決定することができる。また、最適な基準画像をユーザ操作により指定するようにしてもよい。
また、本発明の実施の形態では、合成対象となる画像が２または３である場合を例にして説明したが、合成対象となる画像が４以上である場合についても本発明の実施の形態を適用することができる。また、合成対象となる画像の数および基準画像の少なくとも１つをユーザ操作により設定するようにしてもよい。
また、本発明の実施の形態では、撮像時においてＨＤＲ合成処理を行う例を示した。ただし、例えば、露出条件が異なる複数の撮像画像（例えば、アンダー露出画像およびオーバー露出画像）についてＨＤＲ合成処理を行わずに記録媒体に記録しておき、この記録媒体に記録された撮像画像を再生する際にＨＤＲ合成処理を行うようにしてもよい。この場合には、例えば、ユーザ操作に基づいてＨＤＲ合成処理を行うようにしてもよく、画像処理装置（例えば、再生装置）が自動でＨＤＲ合成処理を行うようにしてもよい。この場合には、上述した動体処理を行うか否かの判定結果に基づいてＨＤＲ合成処理を行うことができる。
また、撮像機能付き携帯電話機、パーソナルコンピュータ、ビデオシステム、編集装置等の画像処理装置に本発明の実施の形態を適用することができる。
また、本発明の実施の形態では、特定対象物の検出対象として、人物の顔を例にして説明したが、人物の顔以外の物体についても本発明の実施の形態を適用することができる。例えば、哺乳類、爬虫類、魚類等の動物（例えば、犬、猫、馬、牛）、自動車、飛行機等の特定対象物を検出対象とするようにしてもよい。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
１００ 撮像装置
１１０ 操作受付部
１２１ 感度設定部
１２２ 露出差設定部
１２３ 露出モード設定部
１３０ 撮像部
１４０ 画像処理部
１５０ 顔検出部
１６０ 動体処理判定部
１７０ 画像合成部
１７１ 合成マップ生成部
１７２ 動体領域抽出部
１７３ 動体領域置換部
１７４ ＨＤＲ合成部
１８０ 記録制御部
１９０ 画像記憶部

Claims (15)

  1. 異なる露出条件により生成された複数の画像を構成する基準画像および他の画像に含まれる動体に対応する前記基準画像における領域の画像を動体画像として前記動体画像が当該他の画像の露出レベルとなるように前記動体画像を変換して前記他の画像毎の露出レベル変換動体画像を生成する変換部と、
    前記生成された露出レベル変換動体画像を当該生成の際に基準となった露出レベルに対応する前記他の画像における当該露出レベル変換動体画像に対応する領域に置換して前記他の画像毎の置換画像を生成する置換部と、
    前記他の画像毎に生成された置換画像および前記基準画像を合成して合成画像を生成する合成部と
    を具備する画像処理装置。
  2. 前記複数の画像に関するＩＳＯ感度および露出差に基づいて前記合成画像を生成するか否かを判定する判定部をさらに具備する請求項１記載の画像処理装置。
  3. 前記判定部は、前記複数の画像に関するＩＳＯ感度が所定基準よりも低く、かつ、前記複数の画像に関する露出差が所定基準よりも小さい場合には前記合成画像を生成すると判定する請求項２記載の画像処理装置。
  4. 前記複数の画像に含まれる特定対象物を検出する特定対象物検出部と、
    前記特定対象物検出部による検出結果に基づいて前記合成画像を生成するか否かを判定する判定部と
    をさらに具備する請求項１記載の画像処理装置。
  5. 前記特定対象物検出部は、前記特定対象物として人物の顔を検出し、
    前記判定部は、前記複数の画像から人物の顔が検出された場合には前記合成画像を生成すると判定する
    請求項４記載の画像処理装置。
  6. 同一の対象物を前記異なる露出条件により複数回連続して撮像することにより前記複数の画像を生成する撮像部をさらに具備する請求項１記載の画像処理装置。
  7. 複数の撮像モードのうちから被写体に応じた撮像モードを設定するモード設定部と、
    前記設定された撮像モードが特定撮像モードであるか否かに基づいて前記合成画像を生成するか否かを判定する判定部と
    をさらに具備する請求項６記載の画像処理装置。
  8. 前記特定撮像モードは、前記被写体のうち注目被写体として動体の撮像を目的とする撮像モードであり、
    前記判定部は、前記設定された撮像モードが前記特定撮像モードである場合には前記合成画像を生成すると判定する
    請求項７記載の画像処理装置。
  9. 前記合成画像を生成させるための指示操作を受け付ける操作受付部と、
    前記指示操作が受け付けられたか否かに基づいて前記合成画像を生成するか否かを判定する判定部と
    をさらに具備する請求項１記載の画像処理装置。
  10. 前記変換部は、前記基準画像が前記他の画像の露出レベルとなるように前記基準画像を変換して当該他の画像に係る露出レベル変換画像を生成し、前記生成された露出レベル変換画像と当該他の画像とに含まれる動体に対応する当該露出レベル変換画像における領域の画像を抽出して当該他の画像に係る前記露出レベル変換動体画像を生成する請求項１記載の画像処理装置。
  11. 前記基準画像および前記他の画像を比較することにより前記複数の画像に含まれる動体を検出する動体検出部と、
    前記動体検出部による動体検出結果に基づいて前記合成画像を生成するか否かを判定する判定部と
    をさらに具備する請求項１記載の画像処理装置。
  12. 前記判定部は、前記複数の画像から動体が検出された場合には前記合成画像を生成すると判定し、前記複数の画像から動体が検出されない場合には前記合成画像を生成しないと判定し、
    前記合成部は、前記合成画像を生成しないと判定された場合には前記複数の画像を合成して合成画像を生成する
    請求項１１記載の画像処理装置。
  13. 前記基準画像に基づいて前記合成画像を生成する際における画素毎の合成比率を示す合成マップを生成する合成マップ生成部をさらに具備し、
    前記合成部は、前記生成された合成マップに基づいて前記他の画像毎に生成された置換画像および前記基準画像を合成して前記合成画像を生成する
    請求項１記載の画像処理装置。
  14. 異なる露出条件により生成された複数の画像を構成する基準画像および他の画像に含まれる動体に対応する前記基準画像における領域の画像を動体画像として前記動体画像が当該他の画像の露出レベルとなるように前記動体画像を変換して前記他の画像毎の露出レベル変換動体画像を生成する変換手順と、
    前記生成された露出レベル変換動体画像を当該生成の際に基準となった露出レベルに対応する前記他の画像における当該露出レベル変換動体画像に対応する領域に置換して前記他の画像毎の置換画像を生成する置換手順と、
    前記他の画像毎に生成された置換画像および前記基準画像を合成して合成画像を生成する合成手順と
    を具備する画像処理方法。
  15. 異なる露出条件により生成された複数の画像を構成する基準画像および他の画像に含まれる動体に対応する前記基準画像における領域の画像を動体画像として前記動体画像が当該他の画像の露出レベルとなるように前記動体画像を変換して前記他の画像毎の露出レベル変換動体画像を生成する変換手順と、
    前記生成された露出レベル変換動体画像を当該生成の際に基準となった露出レベルに対応する前記他の画像における当該露出レベル変換動体画像に対応する領域に置換して前記他の画像毎の置換画像を生成する置換手順と、
    前記他の画像毎に生成された置換画像および前記基準画像を合成して合成画像を生成する合成手順と
    をコンピュータに実行させるプログラム。
JP2010051861A 2010-03-09 2010-03-09 画像処理装置、画像処理方法およびプログラム Active JP5445235B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010051861A JP5445235B2 (ja) 2010-03-09 2010-03-09 画像処理装置、画像処理方法およびプログラム
US13/024,390 US8483452B2 (en) 2010-03-09 2011-02-10 Image processing apparatus, image processing method, and program
CN2011100499158A CN102196185A (zh) 2010-03-09 2011-03-02 图像处理装置、图像处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010051861A JP5445235B2 (ja) 2010-03-09 2010-03-09 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011188277A true JP2011188277A (ja) 2011-09-22
JP5445235B2 JP5445235B2 (ja) 2014-03-19

Family

ID=44560034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010051861A Active JP5445235B2 (ja) 2010-03-09 2010-03-09 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US8483452B2 (ja)
JP (1) JP5445235B2 (ja)
CN (1) CN102196185A (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
JP2013106149A (ja) * 2011-11-11 2013-05-30 Canon Inc 撮像装置、その制御方法、及びプログラム
JP2013115560A (ja) * 2011-11-28 2013-06-10 Fujitsu Ltd 画像合成装置及び画像合成方法
JP2013118513A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置
CN103379287A (zh) * 2012-04-13 2013-10-30 株式会社东芝 受光装置、受光方法以及传输系统
JP2013243780A (ja) * 2013-08-27 2013-12-05 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2014060578A (ja) * 2012-09-18 2014-04-03 Olympus Imaging Corp 撮像装置
JP2014068330A (ja) * 2012-09-05 2014-04-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015041984A (ja) * 2013-08-23 2015-03-02 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法
JP2015082675A (ja) * 2013-10-21 2015-04-27 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
JP2015532070A (ja) * 2013-01-24 2015-11-05 ▲華▼▲為▼▲終▼端有限公司 シーン認識方法および装置
KR20150132605A (ko) * 2013-04-15 2015-11-25 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성
JP2017050693A (ja) * 2015-09-01 2017-03-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9741143B2 (en) 2013-05-29 2017-08-22 Nec Corporation Multocular imaging system, synthesis process method of acquired images, and program
WO2018070240A1 (ja) 2016-10-13 2018-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
WO2019026746A1 (ja) 2017-08-02 2019-02-07 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
JPWO2017208991A1 (ja) * 2016-06-01 2019-03-28 シャープ株式会社 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
US10970827B2 (en) 2018-11-30 2021-04-06 Panasonic Intellectual Property Management Co., Ltd. Image processor and image processing method
US11012630B1 (en) 2020-09-24 2021-05-18 Panasonic Intellectual Property Management Co., Ltd. Image processor and image processing method

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
JP5767485B2 (ja) * 2011-02-07 2015-08-19 キヤノン株式会社 画像処理装置及び制御方法
TWI520602B (zh) * 2011-02-15 2016-02-01 佳能企業股份有限公司 曝光參數補正方法及成像裝置
US9077917B2 (en) * 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP2013101242A (ja) * 2011-11-09 2013-05-23 Sony Corp 画像処理装置、表示制御方法及びプログラム
JP5877693B2 (ja) * 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム
JP6061488B2 (ja) * 2012-04-26 2017-01-18 キヤノン株式会社 画像処理装置及び画像処理方法
US9912847B1 (en) 2012-09-25 2018-03-06 Amazon Technologies, Inc. Image capture guidance to reduce specular reflection effects
KR101948692B1 (ko) 2012-10-09 2019-04-25 삼성전자주식회사 촬영 장치 및 이미지 합성 방법
CN105556944B (zh) 2012-11-28 2019-03-08 核心光电有限公司 多孔径成像系统和方法
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) * 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US20140176745A1 (en) 2012-12-21 2014-06-26 Nvidia Corporation Approach for camera control
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
JP6218389B2 (ja) * 2013-02-07 2017-10-25 キヤノン株式会社 画像処理装置及び画像処理方法
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
KR20140132568A (ko) * 2013-05-08 2014-11-18 삼성전자주식회사 움직이는 물체를 하나의 이미지에 합성하기 위한 장치 및 방법
US9307148B1 (en) 2013-05-15 2016-04-05 Amazon Technologies, Inc. Video enhancement techniques
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
KR101757101B1 (ko) 2013-07-04 2017-07-12 코어포토닉스 리미티드 소형 망원 렌즈 조립체
WO2015015383A2 (en) 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
JP6267502B2 (ja) * 2013-12-10 2018-01-24 キヤノン株式会社 撮像装置、撮像装置の制御方法、及び、プログラム
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
US10015384B2 (en) 2015-04-02 2018-07-03 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
KR102088603B1 (ko) 2015-04-16 2020-03-13 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
KR102007379B1 (ko) 2015-05-28 2019-08-05 코어포토닉스 리미티드 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성
KR102214287B1 (ko) 2015-08-13 2021-02-09 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US9544506B1 (en) * 2015-08-26 2017-01-10 Novatek Microelectronics Corp. Image processing method for image capturing device
CN109901342B (zh) 2015-09-06 2021-06-22 核心光电有限公司 紧凑型折叠式相机中带有滚动补偿的自动对焦和光学图像稳定
JP6674255B2 (ja) * 2015-12-28 2020-04-01 キヤノン株式会社 固体撮像素子及び撮像装置
CN109946832B (zh) 2015-12-29 2021-01-19 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
EP3758356B1 (en) 2016-05-30 2021-10-20 Corephotonics Ltd. Actuator
EP3381181B1 (en) 2016-06-19 2022-04-06 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US10845565B2 (en) 2016-07-07 2020-11-24 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
CN106131450B (zh) * 2016-07-29 2020-06-30 努比亚技术有限公司 一种图像处理的方法、装置和终端
JP2018042198A (ja) * 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
EP3563193B1 (en) 2016-12-28 2021-03-31 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
KR102164655B1 (ko) 2017-01-12 2020-10-13 코어포토닉스 리미티드 컴팩트 폴디드 카메라
KR102212611B1 (ko) 2017-02-23 2021-02-05 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
US10706512B2 (en) * 2017-03-07 2020-07-07 Adobe Inc. Preserving color in image brightness adjustment for exposure fusion
CN110582724B (zh) 2017-03-15 2022-01-04 核心光电有限公司 具有全景扫描范围的照相装置
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
CN107231530B (zh) * 2017-06-22 2019-11-26 维沃移动通信有限公司 一种拍照方法及移动终端
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN113219614B (zh) 2017-11-23 2023-02-03 核心光电有限公司 摄影机及制法、移动电子设备及减小凸起占用空间的方法
CN114609746A (zh) 2018-02-05 2022-06-10 核心光电有限公司 折叠摄像装置
CN113568251B (zh) 2018-02-12 2022-08-30 核心光电有限公司 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN112367448B (zh) 2018-04-23 2022-04-19 核心光电有限公司 感测机构
US11363180B2 (en) 2018-08-04 2022-06-14 Corephotonics Ltd. Switchable continuous display information system above camera
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
CN110913147B (zh) * 2018-09-14 2021-06-22 浙江宇视科技有限公司 曝光调节方法、装置及电子设备
CN109688322B (zh) * 2018-11-26 2021-04-02 维沃移动通信（杭州）有限公司 一种生成高动态范围图像的方法、装置及移动终端
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
EP3782363B1 (en) 2019-03-09 2023-06-07 Corephotonics Ltd. Method for dynamic stereoscopic calibration
US11367169B2 (en) * 2019-04-26 2022-06-21 Lg Electronics Inc. Method for processing picture of automatic driving vehicle
CN112153296B (zh) * 2019-06-27 2022-04-05 杭州海康威视数字技术股份有限公司 一种自动曝光控制方法、装置及带有fpga的摄像机
KR102640227B1 (ko) 2019-07-31 2024-02-22 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
WO2021116851A2 (en) 2019-12-09 2021-06-17 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
EP4052176A4 (en) 2020-02-22 2023-01-04 Corephotonics Ltd. SPLIT SCREEN FUNCTION FOR MACRO PHOTOGRAPHY
CN114144898B (zh) 2020-04-26 2022-11-04 核心光电有限公司 用于霍尔棒传感器校正的温度控制
WO2021234515A1 (en) 2020-05-17 2021-11-25 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的系统和方法
KR102672536B1 (ko) 2020-07-15 2024-06-04 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN114270145B (zh) 2020-07-31 2024-05-17 核心光电有限公司 用于大行程线性位置感测的霍尔传感器-磁体几何结构
CN116679419A (zh) 2020-08-12 2023-09-01 核心光电有限公司 用于光学防抖的装置和方法
KR20240025049A (ko) 2021-06-08 2024-02-26 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333420A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd 画像監視方法および装置
JP2002101347A (ja) * 2000-09-21 2002-04-05 Sony Corp 画像合成方法及び該画像合成方法を用いた撮像装置
JP2002190983A (ja) * 2000-12-20 2002-07-05 Matsushita Electric Ind Co Ltd 画像合成回路
JP2002262059A (ja) * 2001-03-02 2002-09-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003087645A (ja) * 2001-09-07 2003-03-20 Olympus Optical Co Ltd デジタルカメラ
JP2007036741A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd 複数画像合成方法及び複数画像合成装置
JP2007274213A (ja) * 2006-03-30 2007-10-18 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2008182750A (ja) * 2008-03-13 2008-08-07 Fujifilm Corp デジタルカメラ
JP2008278444A (ja) * 2007-03-30 2008-11-13 Fujifilm Corp 撮影装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JPH1042182A (ja) * 1996-07-26 1998-02-13 Canon Inc 撮像装置
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7239805B2 (en) * 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333420A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd 画像監視方法および装置
JP2002101347A (ja) * 2000-09-21 2002-04-05 Sony Corp 画像合成方法及び該画像合成方法を用いた撮像装置
JP2002190983A (ja) * 2000-12-20 2002-07-05 Matsushita Electric Ind Co Ltd 画像合成回路
JP2002262059A (ja) * 2001-03-02 2002-09-13 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2003087645A (ja) * 2001-09-07 2003-03-20 Olympus Optical Co Ltd デジタルカメラ
JP2007036741A (ja) * 2005-07-27 2007-02-08 Matsushita Electric Works Ltd 複数画像合成方法及び複数画像合成装置
JP2007274213A (ja) * 2006-03-30 2007-10-18 Canon Inc 画像処理装置及び方法、及び撮像装置
JP2008278444A (ja) * 2007-03-30 2008-11-13 Fujifilm Corp 撮影装置
JP2008182750A (ja) * 2008-03-13 2008-08-07 Fujifilm Corp デジタルカメラ

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129414B2 (en) 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
US9626750B2 (en) 2011-10-14 2017-04-18 Morpho, Inc. Image processing method for a composite image and image processing device, image processing program, and recording medium therefor
JP2013106149A (ja) * 2011-11-11 2013-05-30 Canon Inc 撮像装置、その制御方法、及びプログラム
JP2013115560A (ja) * 2011-11-28 2013-06-10 Fujitsu Ltd 画像合成装置及び画像合成方法
JP2013118513A (ja) * 2011-12-02 2013-06-13 Canon Inc 撮像装置
US9384539B2 (en) 2012-02-15 2016-07-05 Intel Corporation Method and device for processing digital image, and computer-readable recording medium
WO2013122419A1 (ko) * 2012-02-15 2013-08-22 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
US9189837B2 (en) 2012-02-15 2015-11-17 Intel Corporation Method and device for processing digital image, and computer-readable recording medium for processing digital image
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
CN103379287A (zh) * 2012-04-13 2013-10-30 株式会社东芝 受光装置、受光方法以及传输系统
JP2014068330A (ja) * 2012-09-05 2014-04-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US9058640B2 (en) 2012-09-05 2015-06-16 Casio Computer Co., Ltd. Image processing apparatus, image processing method and recording medium
JP2014060578A (ja) * 2012-09-18 2014-04-03 Olympus Imaging Corp 撮像装置
US9530054B2 (en) 2013-01-24 2016-12-27 Huawei Device Co., Ltd. Scene recognition method and apparatus
JP2015532070A (ja) * 2013-01-24 2015-11-05 ▲華▼▲為▼▲終▼端有限公司 シーン認識方法および装置
US9934438B2 (en) 2013-01-24 2018-04-03 Huawei Device (Dongguan) Co., Ltd. Scene recognition method and apparatus
KR20150132605A (ko) * 2013-04-15 2015-11-25 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성
US10382674B2 (en) 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
JP2016516378A (ja) * 2013-04-15 2016-06-02 クアルコム，インコーポレイテッド ゴーストのない高ダイナミックレンジ画像の生成
JP2016519822A (ja) * 2013-04-15 2016-07-07 クアルコム，インコーポレイテッド 動きゴーストフィルタリングのための基準画像選択
KR101698876B1 (ko) 2013-04-15 2017-01-23 퀄컴 인코포레이티드 고스트-프리 높은 동적 레인지 이미지들의 생성
US9741143B2 (en) 2013-05-29 2017-08-22 Nec Corporation Multocular imaging system, synthesis process method of acquired images, and program
JP2015041984A (ja) * 2013-08-23 2015-03-02 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法
JP2013243780A (ja) * 2013-08-27 2013-12-05 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
KR20150045877A (ko) * 2013-10-21 2015-04-29 삼성테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
KR102170695B1 (ko) * 2013-10-21 2020-10-27 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
JP2015082675A (ja) * 2013-10-21 2015-04-27 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法
JP2017050693A (ja) * 2015-09-01 2017-03-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JPWO2017208991A1 (ja) * 2016-06-01 2019-03-28 シャープ株式会社 撮像処理装置、電子機器、撮像処理方法、撮像処理装置制御プログラム
US10750098B2 (en) 2016-10-13 2020-08-18 Panasonic Intellectual Property Management Co., Ltd. Image processing device, image processing method, and image processing circuit
WO2018070240A1 (ja) 2016-10-13 2018-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
WO2019026746A1 (ja) 2017-08-02 2019-02-07 ソニー株式会社 画像処理装置および方法、撮像装置、並びにプログラム
US11184559B2 (en) 2017-08-02 2021-11-23 Sony Corporation Image processing device, image processing method, and imaging device
US10970827B2 (en) 2018-11-30 2021-04-06 Panasonic Intellectual Property Management Co., Ltd. Image processor and image processing method
US11012630B1 (en) 2020-09-24 2021-05-18 Panasonic Intellectual Property Management Co., Ltd. Image processor and image processing method

Also Published As

Publication number Publication date
JP5445235B2 (ja) 2014-03-19
US20110222793A1 (en) 2011-09-15
CN102196185A (zh) 2011-09-21
US8483452B2 (en) 2013-07-09

Similar Documents

Publication Publication Date Title
JP5445235B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110445988B (zh) 图像处理方法、装置、存储介质及电子设备
US8564679B2 (en) Image processing apparatus, image processing method and program
US9684988B2 (en) Imaging device, image processing method, and recording medium
JP2012119858A (ja) 撮影装置、撮影方法、およびプログラム
US9118844B2 (en) Imaging apparatus, image processing apparatus, and imaging method for providing a special effect superimposing still image data on moving image data
CN110198418B (zh) 图像处理方法、装置、存储介质及电子设备
CN110430370B (zh) 图像处理方法、装置、存储介质及电子设备
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN110012227B (zh) 图像处理方法、装置、存储介质及电子设备
JP6549409B2 (ja) 撮像装置、撮像方法、およびプログラム
US20140320692A1 (en) Imaging apparatus, image processing apparatus, and image processing method
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
JP2014068269A (ja) 画像処理装置、画像処理方法、及び、画像処理プログラム
JP7057079B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2014179920A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2007049320A (ja) 電子カメラ
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
CN110266967B (zh) 图像处理方法、装置、存储介质及电子设备
CN106878606B (zh) 一种基于电子设备的图像生成方法和电子设备
JP2011193117A (ja) 画像処理装置及びプログラム
JP5200820B2 (ja) 撮像装置及び撮像方法、画像処理プログラム
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP5891874B2 (ja) 撮像装置及びプログラム
JP6075829B2 (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131209

R151 Written notification of patent or utility model registration

Ref document number: 5445235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250