JP2021057626A

JP2021057626A - 画像処理装置および画像処理方法、プログラム

Info

Publication number: JP2021057626A
Application number: JP2019176043A
Authority: JP
Inventors: 文貴中山; Fumitaka Nakayama
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-09-26
Filing date: 2019-09-26
Publication date: 2021-04-08
Anticipated expiration: 2039-09-26
Also published as: CN112565588B; JP7137544B2; EP3799420A1; US20210099633A1; US11330190B2; CN112565588A

Abstract

【課題】ＨＤＲ規格に対応した現像画像を合成するための合成情報を精度よく検出し、高品位の合成画像を生成する技術を提供する【解決手段】画像処理装置は、撮像部により異なる撮影条件で撮像された複数の撮像画像を取得する取得部と、複数の撮像画像に対してＨＤＲ現像を行って複数のＨＤＲ画像を得る現像部と、ＨＤＲ現像による階調処理の影響が無いまたは低減された、複数の撮像画像に対応する複数の画像を用いて、複数のＨＤＲ画像を合成するための合成情報を生成する生成部と、合成情報を用いて複数のＨＤＲ画像を合成する合成部と、を備える。【選択図】図２

Description

本発明は、画像処理装置および画像処理方法、プログラムに関する。

近年、ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できるＨＤＲカメラシステムが提案されている。

特許文献１では、ＨＤＲ規格のＳＴ２０８４、ＢＴ２１００等に記載されたＥＯＴＦ特性の逆特性となるガンマカーブをかけることで、ハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）信号を出力するカメラが開示されている。また、露出を変えて撮像した複数枚の画像（例えば、高露光画像、適正露光画像、低露光画像）を合成（ＨＤＲ合成）する技術が存在する。特許文献２は、このような合成に際し、複数露光間で発生する位置ずれに対して画像間の位置ズレ量を検出して位置ずれを補正したり、画像間の移動体を検出して移動体に対する合成比率を変更したりすることで高品位の合成画像を生成する技術を開示している。

特許第６４６００１４号公報特許第６０４６９６６号公報特開２００８−１６７４１８号公報（実施形態で参照される）特開２０１７−０４５０３０号公報（実施形態で参照される）特開２０１８−０３７８５７号公報（実施形態で参照される）

しかしながら、特にＳＴ２０８４等のＨＤＲ規格に対応したガンマカーブは、スタンダードダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）と比較して、暗部の立ち上がりが急峻であり、明部が潰れた特性となっている。そのため、ＨＤＲ現像後の階調特性が、被写体の明るさに対して大きく異なった特性となる。このようなＨＤＲ現像後の信号で、画像間の位置ずれ量を検出しようとすると、階調特性の違いによって位置ずれ量や移動体領域の検出精度が低下してしまい、合成画質の品位を低下させてしまうという課題が発生する。

本発明は、ＨＤＲ規格に対応した現像画像を合成するために用いられる合成情報の精度を向上させ、高品位の合成画像を生成する技術を提供する。

本発明の一態様による画像処理装置は、以下の構成を備える。すなわち、
撮像部により異なる撮影条件で撮像された複数の撮像画像を取得する取得手段と、
前記複数の撮像画像に対してＨＤＲ現像を行って複数のＨＤＲ画像を得る現像手段と、
前記ＨＤＲ現像による階調処理の影響が無いまたは低減された、前記複数の撮像画像に対応する複数の画像を用いて、前記複数のＨＤＲ画像を合成するための合成情報を生成する生成手段と、
前記合成情報を用いて前記複数のＨＤＲ画像を合成する合成手段と、を備える。

本発明によれば、ＨＤＲ規格に対応した現像画像を合成するために用いられる合成情報の精度が向上し、高品位の合成画像を生成することができる。

実施形態による撮像装置の構成例を示すブロック図。第１実施形態の信号処理部の構成例を示すブロック図。第１実施形態の撮像装置の動作を示すフローチャート。位置ずれ検出及び位置ずれ補正の処理を説明するフローチャート。移動体検出処理を説明するブロック図。ＨＤＲ／ＳＤＲ変換を説明する図。第２実施形態の信号処理部の構成例を示すブロック図。第２実施形態の信号処理部の他の構成例を示すブロック図。合成比率を説明する図。第３実施形態の概要を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
第１実施形態は、露光の異なる複数画像に対してＳＴ２０８４等のＨＤＲ規格に対応したＨＤＲ現像処理を行い、それらを合成して出力する形態である。また、画像の枚数は、低露光画像、適正露光画像、高露光画像の３枚を例に説明する。

図１は、第１実施形態による撮像装置の構成例を示すブロック図である。システム制御部１００は、ＣＰＵ１２１を有する。ＣＰＵ１２１は、例えば、読み出し専用のメモリであるＲＯＭ１２２に格納されているプログラムを実行することにより各種処理を実現する。また、随時書き込みが可能なメモリであるＲＡＭ１２３は、ＣＰＵ１２１が各種処理を実行する際の作業領域を提供する。システム制御部１００には、光学系１０１、撮像部１０２、信号処理部１０３、表示用画像処理部１０５、撮像ＳＷ１０８、露出操作部１０９、画質設定部１１０が接続されている。システム制御部１００は、撮像ＳＷ１０８、露出操作部１０９、画質設定部１１０を介してユーザ操作を検知し、光学系１０１、撮像部１０２、信号処理部１０３、表示用画像処理部１０５の動作を制御する。なお、システム制御部１００に接続されている各部の少なくとも一部がシステム制御部１００に含まれてもよい。

光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。光学系１０１は、撮像ＳＷ１０８へのユーザ操作を検知したシステム制御部１００の制御下でフォーカスレンズ駆動、絞り調整装置、およびシャッター装置の露出制御などを行う。また、光学系１０１は、露出操作部１０９へのユーザ操作を検知したシステム制御部１００の制御下で絞り調整装置、シャッター装置を調整し、光学系１０１を通過する光量を調整する。撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサ等の光電変換素子と、光電変換素子から出力される電気信号をデジタル画像に変換するＡ／Ｄ変換装置を備える。

信号処理部１０３は、撮像部１０２から出力されたデジタル画像に対して、欠陥画素補正、レンズ収差補正等の補正処理と、ＷＢ処理、ＮＲ処理、デベイヤー処理、シャープネス処理、ガンマ補正処理等の信号処理を行う。また、信号処理部１０３は、撮像部１０２により異なる撮影条件で撮像された複数の撮像画像を取得し、複数の撮像画像に対してＨＤＲ現像を行って複数のＨＤＲ画像を取得し、複数のＨＤＲ画像を合成する合成処理を行う。信号処理部１０３のこのような合成処理の詳細に関しては、図２から図６を用いて後述する。

信号処理部１０３で生成され合成画像は表示用画像処理部１０５に出力される。また、撮像ＳＷ１０８への所定のユーザ操作（全押し）を検知した場合、信号処理部１０３で生成された合成画像は記録部１０４へも出力される。記録部１０４は、たとえば、半導体メモリが搭載されたメモリカード等の情報記録媒体へ画像を記録する機能を有する。この情報記録媒体は撮像装置から着脱可能であってもよい。

表示用画像処理部１０５は、信号処理部１０３から入力される合成画像を、システム制御部１００からの制御に応じて、液晶表示部１０６、若しくはＥＶＦ表示部１０７に適した画像に変換する。液晶表示部１０６は接眼部を持たない表示装置、ＥＶＦ表示部１０７は接眼部を持つ表示装置であり、表示用画像処理部１０５から出力される画像を表示する。なお、これらの表示部は、液晶ディスプレイに限らず、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイが用いられても良い。

以上の様な構成を備える本実施形態の撮像装置の信号処理部１０３の構成について図２から図６を用いてより詳細に説明する。図２は信号処理部１０３を説明するための図であり、点線で囲んだブロックが信号処理部１０３に相当する。図３は処理全体を説明するフローチャート、図４は位置合わせ処理（位置ずれ検出と位置ずれ補正）を説明するフローチャート、図５は移動体検出を説明する図、図６はＨＤＲ現像画像からＳＤＲ画像への変換を説明する図である。

ステップＳ３２１では、撮像部１０２が、光学系１０１（レンズ）を介して入射する被写体像を光電変換して撮像画像を得る。なお、第１実施形態では、異なる撮影条件で撮像された複数の撮像画像として、異なる露光条件で撮像された高露光画像２０１、適正露光画像２０２、低露光画像２０３の３枚の画像が取得されるものとする。

ステップＳ３２２では、信号処理部１０３のＨＤＲ現像部２０４が、撮像部１０２から出力されるデジタル画像（複数の異なる露光条件で撮像された画像）に対して現像処理（ＨＤＲ現像）を行う。具体的には、ＨＤＲ現像部２０４は、レンズ収差補正、ＷＢ処理、ＮＲ処理、デベイヤー処理、明るさ補正、ＳＴ２０８４等のＨＤＲ規格に対応したガンマ変換処理、シャープネス処理等を行うことで、上記３枚の画像から３枚のＨＤＲ画像を生成する。なお、ＨＤＲ現像部２０４に入力される３枚の画像は露光が異なるためパラメータなどを各々最適化する必要があるが、処理の内容は同様である。

ステップＳ３２３〜Ｓ３２７は、ＨＤＲ現像部２０４から得られる３枚のＨＤＲ画像を合成するのに用いられる合成情報を生成する処理である。合成情報は、ＨＤＲ現像による階調処理の影響が無いまたは低減された、複数の撮像画像に対応する複数の画像を用いて、生成される。第１実施形態では、ＨＤＲ現像による階調処理の影響が低減された画像を、ＨＤＲ画像をＳＤＲ画像に変換することにより取得する構成を説明する。

ステップＳ３２３では、ＨＤＲ／ＳＤＲ変換部２０７において、３枚のＨＤＲ画像各々に対してＨＤＲ画像からＳＤＲ画像への変換を行い、３枚のＳＤＲ画像を生成する。ＳＤＲ画像を生成する理由は次の通りである。３枚のＨＤＲ画像は時分割で撮像されているため、撮像間の手振れによる位置ずれを補正したり被写体に含まれる移動体を補正したりする必要がある。しかしながら、従来技術で述べたように、ＨＤＲ画像の階調特性が被写体の明るさに対して大きく異なるため、ＨＤＲ画像で画像間の位置ずれ量を検出しようとすると、階調特性の違いによって検出精度が低下してしまう課題が発生する。そこで、本実施形態では、ＨＤＲ画像からＳＤＲ画像に変換を行い、ＳＤＲ画像を用いて手振れによる位置ずれを補正するための情報、被写体に含まれる移動体の検出情報などを生成する。

ＨＤＲ画像からＳＤＲ画像への変換は、例えば、特許文献３に記載の手法等を用いることができる。特許文献３によれば、ＨＤＲ画像をＳＤＲの表示装置（ピーク輝度１００ｎｉｔ）に表示させる場合、トーンマッピングを用いてＳＤＲの表示輝度内に収める処理を行っている。この処理について図６を用いて説明する。

図６（ａ）、（ｂ）は、横軸に入力のリニア信号、縦軸に出力のリニア信号として、ＨＤＲ画像からＳＤＲ画像へ変換するためのトーンマッピングを示している。図６（ａ）において、６０１がＨＤＲ画像の、６０２がＳＤＲ画像の入出力特性を示す。また、図６（ｂ）において、６１１がＨＤＲ画像の、６１２がＳＤＲ画像の入出力特性を示す。入出力特性６２２は、図６（ａ）に示された入出力特性６０２を示している。入出力特性６００に示される様に、暗い部分では階調圧縮を小さくし、明るくなるにつれて階調圧縮を大きくすることで、ＳＤＲ画像の特性に近い特性を生成することができる。

ＨＤＲ画像のピーク輝度が高くない場合（例えば１，０００ｎｉｔ以下の場合）は、図６（ａ）に示されるようなトーンマッピングで問題はない。しかし、ＨＤＲ画像のピーク輝度は最大１０，０００ｎｉｔまで規定されており、ピーク輝度が高い（例えば１，０００ｎｉｔ以上）ＨＤＲ画像の場合、階調圧縮の度合が高くなってしまい、ＳＤＲ画像に変換することで信号の階調を失ってしまう可能性がある。そこで、図６（ｂ）に示される様に、黒レベルから適正レベルまでは、ＨＤＲ画像の入出力特性６１１とＳＤＲ画像の入出力特性６１２が同じ特性（表示輝度）となるように階調圧縮を行い、適正レベルより明るくなるに連れて階調圧縮率を高めるようなトーンマッピングを行う。ここで、適正レベルは、例えば、基準反射率１８％グレーの画像に対する表示輝度≒１８ｎｉｔである。図６（ｂ）のトーンマッピングによれば、ＨＤＲ画像の適正レベル付近の階調とＳＤＲ画像の適正レベル付近の輝度レベルが同等になるように階調圧縮が行われており、適正レベル付近での信号階調性が保持されたＳＤＲ画像を生成することが可能となる。以上が、ＨＤＲ／ＳＤＲ変換部２０７の処理である。

図３のフローチャートに戻り、ステップＳ３２４では、位置ずれ検出部２０８がＳＤＲ画像を用いて画像間の位置ずれを検出する。ステップＳ３２５では、位置ずれ検出部２０８により検出された位置ずれに基づいて、位置ずれ補正部２０９と位置ずれ補正部（検出画像）２１０が画像間の位置ずれを補正する。これらの処理について、図４のフローチャートを用いて以下に説明する。なお、位置ずれ補正部２０９は合成対象画像（ＨＤＲ画像）の位置ずれを補正し、位置ずれ補正部２１０はＨＤＲ／ＳＤＲ変換部２０７の出力画像（ＳＤＲ画像）の位置ずれを補正する。これは、後述する移動体領域検出部２１１に入力する画像をＨＤＲ画像から変換したＳＤＲ画像で行うためである。

ステップＳ４０１において、位置ずれ補正部２０９は、ＨＤＲ現像部２０４から得られるＨＤＲ画像のうちから位置合わせの基準画像を取得し、位置ずれ検出部２０８と位置ずれ補正部２０９は変換されたＳＤＲ画像から位置合わせの基準画像を取得する。位置合わせの基準画像は任意に選択可能であるが、本実施形態では、適正露光画像２０２から得られたＨＤＲ画像または適正露光画像２０２から得られたＳＤＲ画像が基準画像として用いられる。

ステップＳ４０２において、位置ずれ補正部２０９は、ＨＤＲ現像部２０４から得られるＨＤＲ画像のうちから位置合わせの処理の対象画像を、位置ずれ検出部２０８と位置ずれ補正部２１０は変換されたＳＤＲ画像から位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。

ステップＳ４０３において、位置ずれ補正部２０９は、ＳＤＲ画像である基準画像と対象画像との位置のずれ量を算出する。以下、算出方法の一例を述べる。まず、位置ずれ検出部２０８は、基準画像に複数のブロックを設定する。次に、対象画像の基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を探索範囲として設定する。最後に、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出する。基準画像のブロックの中心と前述した対応点のずれを表すベクトルを位置ずれとして算出する。なお、前述の対応点の算出において、ＳＡＤのほかに、差分二乗和（ＳＳＤ：ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）、正規化相互相関（ＮＣＣ：ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ）などが用いられてもよい。

ステップＳ４０４及びステップＳ４０５では、位置ずれ補正部２０９及び位置ずれ補正部２１０が、位置ずれ検出部２０８により算出された、基準画像と対象画像との位置のずれから変換係数を算出して画像の位置合わせを行う。なお、変換係数として例えば以下の［数１］に示す射影変換係数が用いられ得る。

（ｘ´、ｙ´）は変形を行った後の座標、（ｘ、ｙ）は変形を行う前の座標、行列Ａは基準画像と対象画像との位置のずれから算出された変換係数を示す。なお、変換係数Ａは、射影変換係数に限定されるものではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数などが用いられてもよい。

以上が、位置ずれ検出部２０８、位置ずれ補正部２０９、位置ずれ補正部２１０の動作である。

図３のフローチャートに戻り、ステップＳ３２６において、移動体領域検出部２１１は適正露光画像（ＳＤＲ）、位置ずれ補正した低露光画像（ＳＤＲ）、位置ずれ補正した高露光画像（ＳＤＲ）を用いて移動被写体領域を検出する。移動体領域検出部２１１の構成に関して図５を用いて説明する。

移動体領域検出部２１１は、図５（ａ）に示される領域検出部５００と図５（ｂ）に示される領域合成部５１０を有する。図５において、基準画像５０１はＨＤＲ／ＳＤＲ変換部２０７から得られる適正露光画像（ＳＤＲ）である。また、位置合わせ済み画像５０２は、位置ずれ補正部２１０からえら得る位置合わせ済み低露光画像（ＳＤＲ）もしくは位置合わせ済み高露光画像（ＳＤＲ）である。領域検出部５００の動体検出部５０３は、基準画像５０１と位置合わせ済み画像５０２から動体領域を検出する。動体領域を検出する方法としては幾つか考えられるが、例えば２つの画像間の差分を取る方法が考えられる。差分Ｄｉｆｆは色及び輝度信号を用いて以下の［数２］により算出され得る。なお、［数２］において、Ｙは輝度信号、Ｕ、Ｖは色信号を表わす。従って差分Ｄｉｆｆは色差を意味している。

飽和領域除外部５０４は、低露光画像や適正露光画像の黒潰れ輝度域の差分Ｄｉｆｆ、及び、適正露光画像や高露光画像の白飛び輝度域の差分Ｄｉｆｆを除外する。これは白飛びや黒潰れ領域が、動体検出部５０３の検出結果に差分として現れ、移動体領域と誤判定されることを防止することを目的としている。飽和領域除外部５０４は、基準画像５０１と位置合わせ済み画像５０２から、黒潰れ輝度ｔｈ１以下の信号の領域と白飛び輝度ｔｈ２以上の信号の領域を差分Ｄｉｆｆから除外（信号値を０にする）する。

孤立領域除去部５０５は、差分Ｄｉｆｆから、極小な移動体や移動体内の非移動体などの、誤検出による孤立領域を除去する。これにより移動体領域の境界を滑らかで自然な描写にすることができる。孤立領域を除去する方法は幾つか考えられるが、例えば差分Ｄｉｆｆを縮小及び拡大することを考える。この場合、縮小の段階で移動体と誤判定された小さな領域を除去することができ、元のサイズに拡大する段階で、移動体領域の内部に存在する非移動体領域を収縮することができる。

領域合成部５１０は、領域検出部５００から出力される、適正露光画像と低露光画像から検出された移動体領域を表す移動体検出画像５１１と、適正露光画像と高露光画像から検出された移動体領域を表す移動体検出画像５１２を取得する。大値選択部５１３は、移動体検出画像５１１と移動体検出画像５１２から大値選択する。移動体領域は１以上の信号で表わされているため、移動体検出画像５１１と移動体検出画像５１２から大値選択をすることで、全ての移動体領域を検出した画像を得ることができる。以上が、移動体領域検出部２１１の動作である。

図３に戻り、ステップＳ３２７において、合成比率算出部２１２は各画像を合成する際の合成比率を輝度値に応じて算出する。その際、輝度値として用いるのは、位置ずれ補正部２１０の出力であるＳＤＲ画像の輝度値である。例えば、合成比率算出部２１２は、適正露光画像２０２をＨＤＲ現像して得られたＨＤＲ画像を変換して得られたＳＤＲ画像の各画素の輝度値から、合成画像を生成する際の各画素における合成比率を取得する。図９に合成比率の一例を示す。図９の合成比率によれば、合成基準輝度閾値Ｙ１未満の輝度域には高露光画像が、合成基準輝度閾値Ｙ２〜Ｙ３の輝度域には適正露光画像が、合成基準輝度閾値Ｙ４より大きい輝度域は低露光画像が使用される。また、合成基準輝度閾値付近の境界Ｙ１〜Ｙ２及びＹ３〜Ｙ４の中間領域では合成比率を徐々に変化させることで画像の切り替えを滑らかにしている。

ステップＳ３２８では、画像合成部２１３が、合成比率算出部２１２により算出された合成比率に応じて、ＨＤＲ現像部２０４の出力である複数のＨＤＲ画像（ＨＤＲ現像された高露光画像２０１、適正露光画像２０２、低露光画像２０３）を合成する。また、画像合成部２１３は、移動体領域検出部２１１で算出した移動体領域情報を参照しながらＨＤＲ合成画像内の移動体領域を修正する。その修正方法に関しては様々な提案がされているが、例えば、特許文献２に開示されている手法を用いることができる。特許文献２では、合成画像における移動体領域を、低露光画像、適正露光画像、高露光画像のそれぞれから得られるＨＤＲ画像が一定の比率で加重加算された画像で置き換える手法を提案している。画像合成部２１３は、移動体領域検出部２１１が検出した移動体領域に対して、特許文献２の手法を適用する。このように、合成比率算出部２１２で算出された合成比率とは異なる合成比率が移動体領域に用いられるようにしたので、移動被写体において違和感のない自然な画像が得られる。

以上のように、第１実施形態によれば、ＨＤＲ画像を合成するための合成情報を、ＨＤＲ画像を変換して得られたＳＤＲ画像を用いて生成するので、合成情報の精度が向上し、高品位の合成画像を生成することができる。

（第２実施形態）
第１実施形態では、複数のＨＤＲ画像を合成する際に、ＨＤＲ画像をＳＤＲに変換した画像を用いて合成に関する情報である合成情報（位置ずれの情報、移動体領域の情報等）を生成する構成を説明した。第２実施形態では、ＨＤＲ画像をリニア空間に変換した画像（以下、リニア空間画像という）を用いて合成情報を生成する。これは、本発明の基本思想が、ＨＤＲ規格に対応したガンマのかかっていない画像またはＨＤＲ規格に対応したガンマの影響が低減された画像を用いて合成に関する情報を生成することに起因している。

図７は第２実施形態による信号処理部１０３の構成例を示すブロック図である。第１実施形態（図２）と同様の構成には同一の参照番号が付してある。図７の構成は、図２のＨＤＲ/ＳＤＲ変換部２０７がＨＤＲ／リニア変換部７０７に置き換わった構成である。

次に、ＨＤＲ／リニア変換部７０７の具体的な動作を説明する。以下では、ＨＤＲ／リニア変換部７０７による変換方法を、ＳＴ２０８４に記載されたＥＯＴＦ特性であるＰＱガンマを例に説明する。ＰＱガンマは以下の［数３］のように規格で定められている。

m₁=0.1593017578125, m₂=78.84375, c₁=0.8359375, c₂=18.8515625, c₃=18.6875

［数３］のp_inは、リニアである入力信号を０．０〜１．０に正規化したＲ，Ｇ，Ｂの信号であり、０cd/m²から１００００cd/m²に対応する輝度値を表現可能である。p_outは出力信号を０．０〜１．０に正規化したＲ，Ｇ，Ｂの信号であり、１．０は出力ｂｉｔに応じた上限値、０．０は下限値に対応する。例えば、出力ｂｉｔが１０ｂｉｔである場合は、上限値は１０２３、下限値は０である。ＨＤＲ／リニア変換部７０７は、［数３］の逆変換を行う（すなわち、p_outからp_inを算出する）ことで、ＨＤＲ画像をリニア空間に戻し、リニア空間画像を得る。位置ずれ検出部２０８と位置ずれ補正部２１０は、リニア空間に変換されたＨＤＲ画像であるリニア空間画像を用いて、位置ずれの検出、位置ずれの補正を行う。

（第２実施形態の変形例）
なお、ＨＤＲ規格に対応したガンマのかかっていない画像であれば、ＨＤＲ規格に対応したガンマカーブをかける前の画像はリニア空間で表現されている。よって、位置ずれ検出部２０８と位置ずれ補正部２１０が、ＨＤＲ現像処理を施す前の画像をリニア空間画像として用いてそれぞれ位置ずれの検出と位置ずれの補正を行うようにしてもよい。

図８は第２実施形態の変形例に係る信号処理部１０３の構成例を示すブロック図である。図８の構成によれば、ＨＤＲ現像部２０４に入力される高露光画像２０１、適正露光画像２０２、低露光画像２０３（いずれもリニア空間画像）が、位置ずれ検出部２０８および位置ずれ補正部２１０に入力される。なお、本実施形態におけるリニア空間画像とは、ＲＧＢ画素を用いたベイヤー配列のセンサ出力や、ベイヤー信号を同時化したＲＧＢ画像を指し、リニア空間の画像であれば何等限定されるものではない。

（第３実施形態）
第１実施形態、第２実施形態では、異なる露光条件で撮像された複数の撮像画像をＨＤＲ現像し、得られた複数のＨＤＲ画像を合成する構成を示したが、露光条件以外の撮像条件を変えて複数の撮像画像を得る構成としてもよい。例えば、特許文献４、特許文献５に記載されている深度合成という処理をＨＤＲ画像に用いることができる。深度合成とは、ピント位置を変更した複数画像を合成して被写体全体にピントが合った画像を生成する処理である。以下、図１０を用いて深度合成について具体的に説明する。

図１０において、符号１０００により示される撮像構図に対して、撮像画像１０１０では、手前の被写体にピントを合わせているため、被写体１０１１はピントがあっているが、被写体１０１２はぼけた状態となっている。一方、撮像画像１０２０では、後方の被写体にピントを合わせているため、被写体１０２２はピントがあっているが、被写体１０２１はぼけた状態となっている。これらを画像のコントラスト値に応じて合成比率を算出し、算出した合成比率を基に複数画像を合成すると、合成画像１０４０に示す様に、手前の被写体１０４１と後方の被写体１０４２の両方にピントがあった画像が生成される。

第３実施形態による信号処理部１０３の構成は、第１実施形態（図２）、第２実施形態（図７、図８）のいずれの構成としてもよい。なお、図１０の例では、撮像画像１０１０と撮像画像１０２０の２枚がＨＤＲ現像部２０４に提供されることになるがこれに限られるものではない。例えば、撮像画像１０１０と撮像画像１０２０のピント位置の中間をピント位置とする撮像画像を加えて、３枚の撮像画像がＨＤＲ現像部２０４に提供されるようにしてもよい。

ＳＴ２０８４等のＨＤＲ規格に対応したＨＤＲ画像（ＨＤＲ現像部２０４により現像された画像）は、前述した様に被写体の明るさに応じて信号の階調特性が異なるため、画像のコントラストを精度良く検出できない可能性がある。そこで、第１、第２実施形態で説明した様に、ＨＤＲ画像をＳＤＲ変換した画像、ＨＤＲ画像をリニア空間に変換した画像、ＨＤＲ現像を行う前の画像のいずれかを用いることで、複数画像間の位置ずれ量や移動体領域、さらにコントラストに応じた合成比率を精度よく算出することが可能となる。すなわち、上記各実施形態によれば、ＳＴ２０８４等に対応した複数のＨＤＲ画像を合成する際に、ＨＤＲ以外の画像で合成情報を算出することで、精度の高い合成情報を生成することができる。ＳＴ２０８４等に対応した複数のＨＤＲ画像を合成する際、ＨＤＲ以外の画像で合成情報を算出することで、精度の高い合成情報を生成することが可能となる。

なお、本発明はこれらの実施形態に限られるものではなく、複数画像を撮像した画像をＨＤＲ現像したＨＤＲ画像を合成する形態であれば適用可能である。また、本発明の現像処理をＳＤＲ現像にしてＳＤＲ画像を合成する場合でも、ＨＤＲ／ＳＤＲ変換部２０７のトーンマッピングを行わない（全輝度域で階調圧縮を行わないスルー出力）ようにすることで処理が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、本発明を実施するにあたっての具体化例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：高露光画像、２０２：適正露光画像、２０３：低露光画像、２０４：ＨＤＲ現像部、２０７：ＨＤＲ/ＳＤＲ変換部、２０８：位置ずれ検出部、２０９：位置ずれ補正部、２１０：位置ずれ補正部、２１１：移動体領域検出部、２１２：合成比率算出部、２１３：画像合成部

Claims

撮像部により異なる撮影条件で撮像された複数の撮像画像を取得する取得手段と、
前記複数の撮像画像に対してＨＤＲ現像を行って複数のＨＤＲ画像を得る現像手段と、
前記ＨＤＲ現像による階調処理の影響が無いまたは低減された、前記複数の撮像画像に対応する複数の画像を用いて、前記複数のＨＤＲ画像を合成するための合成情報を生成する生成手段と、
前記合成情報を用いて前記複数のＨＤＲ画像を合成する合成手段と、を備えることを特徴とする画像処理装置。
前記複数のＨＤＲ画像を複数のＳＤＲ画像に変換する変換手段をさらに備え、
前記生成手段は、前記変換手段により変換された前記複数のＳＤＲ画像を用いて前記合成情報を生成することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は、前記複数のＨＤＲ画像の各々に対して輝度に応じた階調圧縮を行うことにより、前記複数のＨＤＲ画像を前記複数のＳＤＲ画像へ変換することを特徴とする請求項２に記載の画像処理装置。
前記変換手段は、ＨＤＲ画像の適正レベル付近の階調とＳＤＲ画像の適正レベル付近の輝度レベルが同等になるように階調圧縮を行うことを特徴とする請求項３に記載の画像処理装置。
前記複数のＨＤＲ画像をリニア空間に変換した複数のリニア空間画像に変換する変換手段をさらに備え、
前記生成手段は、前記変換手段により変換された前記複数のリニア空間画像を用いて前記合成情報を生成することを特徴とする請求項１に記載の画像処理装置。
前記変換手段は、前記現像手段が前記ＨＤＲ現像に用いるガンマ変換の逆変換をＨＤＲ画像に適用することにより、ＨＤＲ画像をリニア空間画像に変換することを特徴とする請求項５に記載の画像処理装置。
前記生成手段は、前記現像手段に入力される前の前記複数の撮像画像を用いて前記合成情報を生成することを特徴とする請求項１に記載の画像処理装置。
前記合成情報は、前記複数のＨＤＲ画像の各画素における合成の比率を示す第１の合成比率を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記生成手段は、前記複数のＨＤＲ画像を合成する際の各画素における前記第１の合成比率を、輝度に応じて予め設定されている合成比率から、前記ＨＤＲ現像の影響が無いまたは低減された前記複数の画像のうちの１つにおける各画素の輝度に従って前記第１の合成比率を選択することを特徴とする請求項８に記載の画像処理装置。
前記合成情報は、前記複数のＨＤＲ画像の間で発生している位置ずれを補正するための情報を含むことを特徴とする請求項１に記載の画像処理装置。
前記合成情報は、前記複数のＨＤＲ画像に存在する移動体領域を示す情報と、前記移動体領域の画像を合成する際に使用する第２の合成比率とを含むことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記複数の撮像画像は、異なる露光条件で撮像された画像であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記複数の撮像画像は、異なるピント位置で撮像された画像であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記現像手段は、前記複数の撮像画像に対してＳＤＲ現像を行って複数のＳＤＲ画像を得ることが可能であり、
前記現像手段で前記ＳＤＲ現像が行われる場合、前記生成手段は前記複数のＳＤＲ画像を用いて前記合成情報を生成することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
撮像部により異なる撮影条件で撮像された複数の撮像画像を取得する取得工程と、
前記複数の撮像画像に対してＨＤＲ現像を行って複数のＨＤＲ画像を得る現像工程と、
前記ＨＤＲ現像による階調処理の影響が無いまたは低減された、前記複数の撮像画像に対応する複数の画像を用いて、前記複数のＨＤＲ画像を合成するための合成情報を生成する生成工程と、
前記合成情報を用いて前記複数のＨＤＲ画像を合成する合成工程と、を備えることを特徴とする画像処理方法。
請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。