JP2019036795A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】撮像ユニットから取得した画像データに対して画像処理を施すデータ処理部を備えた画像処理装置を提供する。【解決手段】前記データ処理部は、前記撮像ユニットから画像データを順次に取得する画像取得部と、前記画像取得部により取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップを更新する画像分析部と、前記画像取得部により取得された１フレームの画像データに対して前記領域別補正マップに基づいて補正をおこなった記録用画像データを生成する記録用画像データ生成部を備えている。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

近年の撮像装置には、露出条件の異なる複数の画像を合成することで本来の撮像装置の仕様よりも広いダイナミックレンジの画像を取得するＨＤＲ画像記録機能を有しているものがある。例えば、特許文献１は、このようなＨＤＲ画像記録機能を有する撮像装置のひとつを開示している。

特開２０１５−１５６２２号公報

ＨＤＲ画像は、撮影指示がなされたタイミングの直後の時間的に連続する複数フレームの画像データを合成することにより作成される。このため、ＨＤＲ画像は、厳密には、ある決定的瞬間を捕らえたものとは言いがたい。

本発明の目的は、このような実状を考慮してなされたものであり、視認性の高い高画質な記録画像をある一瞬の時刻に取得する画像処理装置および画像処理方法を提供することである。

本発明による画像処理装置は、撮像ユニットから取得した画像データに対して画像処理を施すデータ処理部を備えている。前記データ処理部は、前記撮像ユニットから画像データを順次に取得する画像取得部と、前記画像取得部により取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップを更新する画像分析部と、前記画像取得部により取得された１フレームの画像データに対して前記領域別補正マップに基づいて補正をおこなった記録用画像データを生成する記録用画像データ生成部を備えている。

本発明による画像処理方法は、撮像ユニットから取得した画像データに対して画像処理を施す方法である。この画像処理方法は、前記撮像ユニットから画像データを順次に取得することと、取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップを更新することと、取得された１フレームの画像データに対して前記領域別補正マップに基づいて補正をおこなった記録用画像データを生成することとを有している。

本発明によれば、視認性の高い高画質な記録画像を時間差無く取得する画像処理装置および画像処理方法が提供される。

第１の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。 図１に示された撮像システムにおける撮影の処理のフローチャートの前半部を示している。 図１に示された撮像システムにおける撮影の処理のフローチャートの後半部を示している。 図１に示された撮像システムにおける撮像開始時の動作を示すタイミングチャートである。 領域別補正マップを用いた画像補正の手法を図解して示している。 領域別補正マップの構造を示す図である。 静止画ファイルの構造を示す図である。 動画ファイルの構造を示す図である。 第２の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。 図７に示された撮像システムにおける撮影の処理のフローチャートの前半部を示している。 図７に示された撮像システムにおける撮影の処理のフローチャートの後半部を示している。 図７に示された撮像システムにおける撮像開始時の動作を示すタイミングチャートである。

［第１の実施形態］
以下、図面を参照しながら第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。図１に示された撮像システム１００は、例えばデジタルカメラ、スマートフォン、カメラ機能付き携帯電話機といった撮像機能を有する各種の機器で構成されてもよい。

撮像システム１００は、画像データを生成する撮像ユニット１３０と、撮像ユニット１３０から画像データを取得して処理する画像処理装置１１０と、画像処理装置１１０から画像等の情報を取得して表示する表示器１４０と、画像処理装置１１０から画像等の情報を取得して記録する記録ユニット１５０と、撮像システム１００を操作するための操作器１６０とを有している。

撮像システム１００のこれらの構成要素すなわち撮像ユニット１３０と画像処理装置１１０と表示器１４０と記録ユニット１５０と操作器１６０の各々は、例えば、ハードウェアとソフトウェアとの組み合わせによって構成されている。撮像システム１００の各構成要素は、単一のハードウェアまたはソフトウェアによって構成されていなくてもよく、複数のハードウェアまたは複数のソフトウェアによって構成されていてもよい。

画像処理装置１１０と撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０は、画像処理装置１１０が撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０の各々との間で情報を通信できるように構成されている。情報の通信は、有線によっておこなわれても、無線によっておこなわれてもよい。

画像処理装置１１０と撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０は、図１には互いに別体の要素として描かれているが、画像処理装置１１０が、撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０のひとつまたはいくつかまたはすべてを備えていてもよい。

撮像ユニット１３０は、画像データを順次に生成して出力するように構成されている。

画像処理装置１１０は、撮像ユニット１３０から画像データを順次に取得し、取得した画像データに対して必要に応じて画像処理を施す機能を有している。

表示器１４０は、画像処理装置１１０から提供される情報を表示するように構成されている。

記録ユニット１５０は、画像処理装置１１０から提供される情報を記録するとともに、保持している情報を画像処理装置１１０へ提供するように構成されている。

操作器１６０は、ユーザが撮像システム１００を操作することを可能にするように構成されている。もちろん、撮像システム１００は、監視カメラのように、特定の条件で操作されるものもある。

以下、画像処理装置１１０と撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０の構成について詳しく見ていく。

撮像ユニット１３０は、入って来る光に基づいて１枚の光学的な画像を順次に形成し、形成した１枚の光学的な画像に対応する１フレームの電気的な画像データを順次に出力する撮像部１３２を有している。撮像部１３２は、結像光学系１３２ａと、撮像素子１３２ｂと、合焦調節部１３２ｃとを有している。結像光学系１３２ａは、絞りとレンズ等を有しており、入って来る光を集光させるとともに撮像素子１３２ｂに入射させる。また、結像光学系１３２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１３２ｂは、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを含んでおり、結像光学系１３２ａにより結像された光学像に係る画像データ（ＲＡＷ画像データ）を取得する。撮像素子１３２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１３２ｂは、結像光学系１３２ａの光軸と直交する平面内で移動可能に構成されていてもよい。合焦調節部１３２ｃは、データ処理部１１２から供給されるフォーカス制御信号に従って、結像光学系１３２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１３２ｂを駆動したりする。

撮像ユニット１３０はまた、画像処理装置１１０から供給される撮影条件の情報に従って、撮像部１３２の撮影条件を変更する撮影条件変更部１３４を有している。撮影条件変更部１３４は、例えば、結像光学系１３２ａの絞りまたは撮像素子１３２ｂの露出時間を調節することにより、露出を変更する機能を有している。撮影条件変更部１３４は、露出のほか、他の撮影条件を変更する機能を有していてもよい。

撮像ユニット１３０はさらに、図示されていないが、撮像ユニット１３０の姿勢を検出する姿勢検知センサを有している。姿勢検知センサは、例えば、ジャイロセンサで構成されている。

表示器１４０は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成されている。例えば、表示器１４０は、画像処理装置１１０から供給される画像データを順次に表示する。さらに、表示器１４０は、画像データに加えて、画像処理装置１１０から供給される各種の情報を併せて表示する。

操作器１６０は、ユーザが撮像システム１００を操作することを可能にするデバイスである。操作器１６０は、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、起動停止ボタン、タッチパネル等を有している。レリーズボタンは、静止画撮影を指示するための操作要素である。動画ボタンは、動画撮影の開始および終了を指示するための操作要素である。設定ボタンは、撮像システム１００の設定画面を表示器１４０に表示させるための操作要素である。選択キーは、例えば設定画面上の項目の選択および決定をおこなうための操作要素である。起動停止ボタンは、画像処理装置１１０の起動および停止を指示するための操作要素である。タッチパネルは、表示器１４０の表示画面と一体的に設けられており、表示画面上でのユーザによるタッチ操作を検出するための操作要素である。タッチパネルによってレリーズボタン、動画ボタン、設定ボタン、選択キー、起動停止ボタンと同等の操作ができるように構成されていてもよい。さらに、操作器１６０は、ここに述べた以外の他の操作要素、例えば、ゼスチャー検知や無線応答、遠隔指示などに対応した操作要素を有していてもよい。

記録ユニット１５０は、例えばフラッシュメモリで構成されている。記録ユニット１５０は、画像処理装置１１０から供給される画像ファイルを記録する機能を有している。記録ユニット１５０は、静止画ファイルを記録する静止画記録部１５２と、動画ファイルを記録する動画記録部１５４を有している。記録ユニット１５０はまた、被写体と補正情報の関係を示す被写体分類データベース（ＤＢ）１５６を有しており、必要に応じて被写体分類データベース１５６の情報を画像処理装置１１０に提供する機能を有している。

この被写体分類データベース１５６は、被写体と補正情報の関係との関係を判定するために、被写体が何であるかを分類するものであり、こういう被写体は、このように分類すればよい、というような辞書を持っていてもよい。もちろん、被写体分類データベース１５６は、明るい被写体はこう、暗い被写体はこう、といった分類を行う時に、そのしきい値を決めて記録しておくだけで作成されたものでもよい。被写体分類データベース１５６はまた、このような特徴のものは赤いとか青いとか、色成分を反映したものであってもよい。最も高度なものは、「これはカモメなので、このような形で空を飛ぶとか、このような形で止まっている」といった、形状情報や色分布情報を、「かもめ」という名称情報と関連づけるものであってもよい。このような被写体分類データベースの作成は、顔検出のような技術を利用して実施することが出来る。被写体分類データベースは、さらには、羽根の形状がこのように変化する、といった、「飛び方」のような動き情報から「かもめ」が検索できるようなデータベースでもよく、これは、機械学習によって更新、刷新することも可能であり、さらには、後述のように、カメラマンが好む特定のシーン、特定構図のこの顔、といったシーンや構図情報を入れ込めるようになっていてもよい。こうして作られたデータベースであれば、画像から対象物がなんたるかを判定できる。最も典型的には、「これはかもめだから白く再現したい」とか、「これはひまわりの花だから黄色くなるような補正を行う」といった考え方の元となる。ただし、青空で逆光の「かもめ」は白くないので、この場合は、シーン判定結果なども反映させてもよい。最もシンプルには、「ここは明るすぎるので暗めにして、本来の色を強調する補正を行う」といった補正もしたいので、前述のように、「ここは暗い」、「ここは明るい」といった分類が出来るだけのデータベースであってもよい。ユーザにこだわりのある被写体を覚えさせておき、「それがこのようなコントラスト、階調、色表現で再現されるような補正を行う」といったカスタマイズが可能なデータベースでもよい。このようなデータベースは機械学習によって作られて行っても良く、ユーザが何度も同じ被写体を狙っていれば、その被写体の特徴が入力可能であるし、また、その時、撮影者がこだわって操作した撮影パラメータ調整用の操作部材を検出したり、操作量を判定しながら蓄積したりしておけば、類似の状況下（構図や光の加減など）において、どのようなこだわり画像が得られれば良いかが判定、学習できる。ユーザが消去した画像などは、そのニーズに合っていないので、教師画像として学習してはいけないものとして学習できるように判定し扱えばよい。こうした事を実行するプログラムで、データベースカスタマイズを行ってもよい。簡単化すれば、被写体分類データベース１５６は、各種の被写体特有の画像上の特徴の情報を有しており、それが何でどのように扱われるべきかといった情報が関連づけられていればよく、各種の被写体にそれぞれ適した補正情報を有している、とも表現してよい。

さらに、記録ユニット１５０は、撮像システム１００の制御に用いられる各種の情報やユーザに関する情報を保持していてもよい。このようなデータベースによって、ここはこういった特徴の部分、ということが画像領域内で分かるので、後述の領域別補正マップが作成可能となる。

画像処理装置１１０は、一般に集積回路で構成され、様々な機能が利用しやすい構成で集積されており、撮像ユニット１３０から画像を取得し、またその取得した画像データに対して状況、画像等に応じた特定のプログラムで決められた、あるいはユーザの指示に応じた画像処理を施すデータ処理部１１２を有している。画像処理装置１１０はまた、データ処理部１１２を制御する制御部１１４と、ユーザ操作や撮影環境などをセンシングする各種情報を取得する各種センサ１１６と、日時情報を提供する時計１１８を有している。この制御部１１４が、操作や得られたデータ類に従い、記録ユニットなどに記録されたプログラムに基づいた制御を行い、全体のシーケンスを司る。

データ処理部１１２は、撮像ユニット１３０から取得した画像データに対して画像処理を施すように構成されている。データ処理部１１２は、撮像ユニット１３０から取得した画像データにより、記録用画像データを生成し、これを記録ユニット１５０へ出力するように構成されている。例えば、データ処理部１１２はまた、画像処理により、フォーカス制御信号を生成し、これを撮像ユニット１３０へ出力するようにも構成されている。

データ処理部１１２は、画像処理一般を司るものであり、色やコントラストの再現性を調整して、表示や撮影画像の画質を調整したり、各種フィルタその他による補正、露出補整などを行ったりする部分である。データ処理部１１２は、光学系に起因する歪みや収差の補正なども行い、このために光学性能を参照したりもする。ここでは、本発明に強い関係があるユニットを明記して記しているが、これ以外の機能がたくさんあることは言うまでもない。構成を簡略化して説明を簡易化している。ここで特筆したデータ処理部１１２は、撮像ユニット１３０から画像データを取得する画像取得部１１２ａと、画像取得部１１２ａにより取得された画像データを分析する画像分析部１１２ｂと、画像取得部１１２ａにより取得された画像データと画像分析部１１２ｂによる分析結果とに基づいて記録用画像データを生成する記録用画像データ生成部１１２ｄとを有している。この部分は、画像データを扱う部分で、高速で様々な演算を行う必要があり、センサ類や制御部、その他とはある程度区別されている。

〈画像取得部１１２ａ〉
画像取得部１１２ａは、撮像ユニット１３０から画像データを単に取得するほか、静止画撮影時、動画撮影時、ライブビュー表示時、オートフォーカス用の信号取り出し時などで、データ読み出しのモードを切り替えることができ、さらに、撮像データ（画像データ）形成時の光信号蓄積等、露光時間などを変えたり、必要に応じて画素の分割読み出し、混合読み出しなど行ったりすることが可能である。画像取得部１１２ａはまた、ユーザが対象物を確認する場合などで使われるライブビュー時には、画像データを順次に取得して表示器１４０に滞りなく表示させることを可能とする。画像取得部１１２ａは、このように画像処理された画像データを順次に画像分析部１１２ｂへ出力する。

〈画像分析部１１２ｂ〉
画像分析部１１２ｂは、領域別補正マップを記憶している。画像分析部１１２ｂは、それ自体が領域別補正マップを記憶している代わりに、領域別補正マップを記録ユニット１５０に記憶させておくとともに、必要なときに領域別補正マップを記録ユニット１５０から読み出す機能を有していてもよい。領域別補正マップの情報は、分析した画像そのもの以外の画像にも反映させることができる。

領域別補正マップは、撮像ユニット１３０による撮像領域の位置情報と、複数領域のそれぞれについての補正情報とを有している。領域別補正マップは、撮像ユニット１３０による撮像結果を被写体分類データベース１５６で分析して分類された画像領域ごとに、その領域の画面内の位置（分布）情報を有しており、複数領域のそれぞれについての画像特徴から期待される作画表現を記録して行くことで作成されるもので、領域ごとの画像特徴に従ってその領域に対して求められる絵作り（色の表現や階調、ノイズ、コントラストなど）に対して何らかの処理が有効かどうかを判定した結果を補正情報として有している。

言い換えれば、領域別補正マップは、撮像ユニット１３０から出力される例えばライブビュー表示時に、次々と取り込まれる各フレームの画像データに対応した画像を分析してマップ化したものとも言えるもので、画像の各領域における領域ごとの、このように表現された方が好ましいという目標画像に対し、現状得られるであろう画像との差異のようなものを判定し、その差異を解消、軽減するような方策の情報（補正情報）を得るものである。ライブビュー画像は秒３０コマとか６０コマとかのスピードで得られるので、非常に情報量も多く、リアルタイム性も高い。この領域は、細かい単位では各画素について、また、もう少し広い単位では、同じような特徴を有する画像の領域についての理想との差異が減らせるような補正情報を有している。

画像分析部１１２ｂは、画像取得部１１２ａにより取得された時間的に連続する複数フレームの画像データに基づいて、これらを加算して画像分析を行ってもよい。ライブビュー画像の場合、かなり高速で画像データが読み出されるため、大量の情報が得られるので、それを有効利用するという考え方である。加算によって光の信号が積算されるので、見えなかったものが見えてくることもあり、積算によってノイズが打ち消されてノイズがないことを判定することもできる。必要に応じて、撮像条件を変えれば、蓄積時間を短くしたり、画素を混合したり、ピント合わせの情報や遠近の情報を得たり、人間の顔検出の技術のように特定のパターンの像がどこにあるかを判定したりもできる。一枚一枚（１フレームごとに）得られる画像の差で、フレーミングの変化や対象物の変化などの分析が出来るし、その動きなどの分析も可能となる。対象物が変わってしまった場合は、マップは、想定していたシーンとは異なるため、使えなくなるので領域別補正マップを更新する。ただし、多少の変化であれば、電子手振れ補正のような考え方、あるいは被写体追尾のような考え方で、対応する部分を重ねあせて合成することが可能な場合があり、この時はマップ更新を行わなくてもよい。

ここで、領域別補正マップを更新するとは、領域別補正マップの情報を有用な情報に書き換えることを意味している。つまり、領域別補正マップをリセットすること、言い換えれば、領域別補正マップの情報を消去することは、領域別補正マップの情報を書き換えているけれども、書き換えられた後の情報の違いから、領域別補正マップを更新することには含まれない。また、領域別補正マップを更新する際の書き換えの前後の情報の違いから、フレーミングの変化やそのパターンや対象物の動きの特徴など、得られる情報もある。

もしも、撮影対象が変化しない場合は、この後撮影される画像に（撮影に先立つ）そのときの情報が有効利用できると考えられ、補正マップを作成することに意味がある。一枚（コマ、フレーム）の画像で分析できる情報もあれば、暗いシーンのように複数のコマで分析できる情報もある。必要に応じて、異なる撮像モードで得た画像を利用してもよい。例えば、遠近分布が分かるような画像情報を反映する場合は、これを領域分けに利用してもよい。これは、反映はするが加算とは異なる処理であり、かつ複数枚（コマ、フレーム）の情報を利用した例である。

領域別補正マップの更新のため、画像分析部１１２ｂは、領域別補正マップの更新に必要な所定の一定数のフレームの画像データを一時的に蓄積しておく機能を有している。画像分析部１１２ｂが蓄積している一定数のフレームの画像データは、画像取得部１１２ａから新しい１フレームの画像データが入力されるたびに更新されてもよいし、蓄積が足りない場合は更新されなくてもよい。分析は、この蓄積の都度、行われるようにしてもよく、蓄積されてから行われてもよいが、蓄積ごとに行う方が多くの特徴が分析できる。蓄積は、シーンが変われば更新され、また、分析できない領域があれば、あるいは、別の撮像モードに切り替えられた場合などは、更新される。画像分析部１１２ｂが蓄積している一定数のフレームの画像データのうち、最も古い１フレームの画像データが破棄すなわち消去され、代わりに、新たに入力された１フレームの画像データが蓄積すなわち記憶されるといった工夫で、撮影に最も近いタイミングでの画像分析が可能となる。

画像分析部１１２ｂは、所定の一定数のフレームの画像データを一時的に蓄積しておく機能を有している代わりに、所定の一定数のフレームの画像データを記録ユニット１５０に一時的に蓄積させておくとともに、必要なときに所定の一定数のフレームの画像データを記録ユニット１５０から読み出す機能を有していてもよい。

領域別補正マップの更新に使用される複数フレームの画像データは、少なくとも２フレームの画像データであってよい。また、領域別補正マップの更新に使用される画像データは、時間的に連続する複数フレームの画像データのうちのいくつかのフレームの画像データであってもよい。さらに、それらのいくつかのフレームの画像データは、時間的に連続していなくてもよい。

画像分析部１１２ｂは、領域別補正マップの更新のために画像分析部１１２ｂが蓄積している複数フレームの画像データに対して加算処理をおこなう加算部１１２ｃを有している。加算は画像に情報量が足りない時に行えばよく、シーンを判定して、異なる撮影条件（超解像用の画素ずらしや、ダイナミックレンジを拡大する露出ずらし）での画像データを加算に利用してもよい。このような制御は、画像取得部１１２ａが行えばよい。

加算部１１２ｃは、ｉフレーム（ｉは２以上の自然数）の画像データに含まれる任意のｊフレーム（ｊ＝２，…，ｉ）の画像データの画素ごとまたは領域ごとの加算処理をおこなう。例えば、加算部１１２ｃは、時間的に連続する３フレームの画像データに対して、２フレームの画像データの加算処理と、３フレームの画像データの加算処理とをおこなう。２フレームでは足りない場合、３フレーム目も加算して分析すればよい。

加算処理に使用されるｊフレーム（ｊ＜ｉ）の画像データは、時間的に連続している画像データであってもよいし、時間的に連続していない画像データであってもよい。これは、途中で分析に使いにくい（使ってもよい）フレームが挿し挟まれた場合で、例えばオートフォーカス用のフレームを読み出すような場合が相当する。

加算部１１２ｃは、加算処理によって得られた画像データを一時的に蓄積しておく機能を有している。加算部１１２ｃは、そのような機能を有している代わりに、加算処理によって得られた画像データを記録ユニット１５０に一時的に蓄積させておくとともに、加算処理によって得られた画像データを必要なときに記録ユニット１５０から読み出す機能を有していてもよい。

加算しなくとも、ここは何色、ここは何色といった具合、ここはどんな階調、ここはどんな階調、といった分析が出来るなら加算は必要ではないが、多くの場合、画像のダイナミックレンジは広いので、一度の撮像では、全体を把握することが困難である場合が多い。例えば、トンネルの中では外の画像は明るすぎ、トンネルの壁面の画像は暗すぎるので、外の画像は加算なしでも、外は緑の森だと判定できても、トンネル壁面が灰色かベージュかまで判定するには、画像の蓄積量が不足するので加算する。全体を加算するのではなく、必要な部分のみ加算してもよい。その場合、加算後も最適なデータが画面全体に残ることになり、さらに全体を統一した総合判定が可能となる。

こうして、領域別補正データが出来る。つまり、トンネルの部分は、得られたデータに近づくようにゲインを上げてもよく、その色成分のバランス調整を行ってもよい。トンネル外の部分は、緑であれば、それが緑であると認識できるような色の強調などを行えばよい。明るすぎて、緑らしさが減少している場合、ゲインを落とすような補正を行っても良い。また、各部分がそれぞれ特徴を主張しすぎると、色紙を貼りあわせたような不自然な発色となるので、それらがバランスをとって自然に見えるような処理を追加で行ってもよい。この時は、各部の明暗変化を分析して、その分析結果に近づくような明暗バランスを画像全体に施せばよい。

本明細書では、被写体分類データベースを活用すると書いているが、このように、ここはトンネルの中、ここはトンネルの外、などと対象物を識別して分類する必要まではなく、「暗くてデータ量が少ないので、ゲインアップが必要な部分」と、「明るくてゲインアップは必要なく、緑色にする部分」、などと分類できるようにするだけでもよい。また、加算情報で、ランダムに発生するノイズが平均化されるので、加算結果で画像に変化がなく、加算前情報に画像に変化がある場合、これはノイズとして判定することができる。つまり、このような場合、被写体分類データベースは、「暗い部分」となり、「領域別補正マップ」は、「その暗い部分は暗くても良いので、コントラストを落としてノイズが見えないようにする」、といった処理を、データ生成部１１２ｄが行うことができるようにするためのマップとなる。

以下の説明においては、加算処理の対象である画像データと、加算処理により得られた画像データとの区別を容易にするため、適宜、加算処理の対象である画像データを元画像データ、加算処理により得られた画像データを加算画像データと称する。

画像分析部１１２ｂは、連続的に得られる画像データの１フレームと、必要に応じてそこにさらに画像を加算した加算画像データなどに基づいて、領域別補正マップの更新をおこなう。

暗くて、十分に画面の各領域がどのような特徴を持っているかといった情報が得られない場合は、合成した方が情報量が得られるが、均一な明るさのものの場合、合成は不要である場合もある。階調などが微妙な場合などは加算した方が、その勾配が分かりやすくなることもあり、暗い時以外に加算を行って判定することも意味がある。

例えば、画像分析部１１２ｂは、ｉフレームの元画像データに含まれる１フレームの元画像データと、ｊフレーム（ｊ＝２，…，ｉ）の元画像データの加算処理により得られた（ｉ−１）フレームの加算画像データとに基づいて、領域別補正マップの更新をおこなう。一つの具体例として、画像分析部１１２ｂは、３フレームの元画像データに含まれる１フレームの元画像データと、２フレームの元画像データの加算処理により得られた１フレームの加算画像データと、３フレームの元画像データの加算処理により得られた１フレームの加算画像データとに基づいて、領域別補正マップの更新をおこなう。

領域別補正マップの更新に、ｉフレームの元画像データに含まれる１フレームの元画像データと、ｊフレームの元画像データの各加算処理により得られた１フレームの加算画像データを使用する例をあげたが、さらに多くのフレームの画像データを使用してもよい。例えば、前述の具体例において、領域別補正マップの更新に、３フレームの元画像データに含まれる２フレーム以上の元画像データと、２フレームの元画像データの加算処理により得られた２フレーム以上の加算画像データと、３フレームの元画像データの加算処理により得られた１フレームの加算画像データとを使用してもよい。

領域別補正マップの更新は、撮像ユニット１３０による撮像範囲に対して複数領域を新たに設定し、これらの複数領域のそれぞれに補正情報を新たに設定することによりおこなわれる。

まず、画像分析部１１２ｂは、少なくとも１フレームの元画像データと、少なくとも１フレームの加算画像データとに基づいて、撮像ユニット１３０による撮像範囲に対して複数領域を設定する。撮像ユニット１３０による撮像範囲は、撮像ユニット１３０から出力される各フレームの画像データによって表現される画像の範囲に対応している。

複数領域の設定は、例えば、元画像データと加算画像データとに対して画像認識技術を適用することにより、画像データ（元画像データまたは加算画像データ）に対応した画像内に写し込まれている被写体を特定し、画像データに対応した画像上において、特定された被写体の各々が占める領域の位置情報を求めることによっておこなわれる。

被写体の特定は、例えば、元画像データと加算画像データに対して設定された多数の微小領域における色情報、コントラスト情報、階調情報の少なくともひとつに従っておこなわれてよい。また、各被写体が占める各領域の位置情報は、例えば、画像データに対応した画像上において、その領域の境界を定めている画素の座標情報で構成されてよい。または、各領域の位置情報は、その領域に属する画素の座標情報で構成されてよい。

次に、画像分析部１１２ｂは、記録ユニット１５０に記録されている被写体分類データベース１５６を参照して、特定された被写体の各々について適切な補正情報を取得する。これにより、各被写体に対応した各領域についての補正情報が得られる。

続いて、画像分析部１１２ｂは、このようにして得られた複数領域についての位置情報と補正情報に基づいて、複数領域の位置情報と、複数領域の各々に属する画素の補正情報とを書き換える。言い換えれば、画像分析部１１２ｂは、撮像ユニット１３０から出力される各フレームの画像データに対応した画像における各画素について補正情報を書き換える。

これにより、撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップが更新される。

図５は、領域別補正マップ４００の構造を模式的に示している。図５に示されるように、領域別補正マップ４００は、撮像範囲に対して設定された複数領域Ａ，Ｂ，…にそれぞれ関連した複数の領域別情報４１０Ａ，４１０Ｂ，…を有している。

領域別情報４１０Ａ，４１０Ｂ，…は、それぞれ、領域Ａ，Ｂ，…の位置情報４２０Ａ，４２０Ｂ，…と、領域Ａ，Ｂ，…の画像特徴情報４３０Ａ，４３０Ｂ，…と、領域Ａ，Ｂ，…の補正情報４４０Ａ，４４０Ｂ，…とを含んでいる。

位置情報４２０Ａ，４２０Ｂ，…は、例えば、撮像ユニット１３０から出力される各フレームの画像データに対応した画像上において、領域Ａ，Ｂ，…の境界を定めている画素の座標情報、または、領域Ａ，Ｂ，…に属する画素の座標情報で構成されている。

画像特徴情報４３０Ａ，４３０Ｂ，…は、例えば、色、コントラスト、階調等の情報を含んでいる。

補正情報４４０Ａ，４４０Ｂ，…は、例えば、ゲイン、コントラスト補正量、彩度強調量等の情報を含んでいる。

〈記録用画像データ生成部１１２ｄ〉
記録用画像データ生成部１１２ｄは、画像取得部１１２ａにより取得された１フレームの画像データに対して、領域別補正マップに基づいて補正をおこなった記録用画像データを生成する。このような工夫によって、決定的な一瞬を切り取った画像でありながら、全体を均一の表現ではなく、めりはりを付けた見栄えの良い画像として記録することも可能となる。

このとき、画像データは記録されると書いた方が分かりやすいが、記録されて表示されて、また消えるような観察用の用途にも利用が可能である。また、１フレームの画像に対して補正を行う時に、単純に「補正」のみならず、画像の特定領域に別の情報を付与してもよい。例えば、いくら補正しても見えないような暗い場所のパターンなどは、予め得られた画像から、その部分だけ持って来て合成するような方法もありうる。

記録用画像データ生成部１１２ｄはまた、記録ユニット１５０に記録させる画像ファイルを生成し、これを記録ユニット１５０へ出力する。画像ファイルは、記録用画像データのほか、各種の付随情報等を含んでいる。記録用画像データ生成部１１２ｄは、静止画撮影に対しては静止画ファイルを生成し、動画撮影に対しては動画ファイルを生成する。

図６Ａは、記録用画像データ生成部１１２ｄにより生成される静止画ファイル３００ｓの構造を模式的に示している。図６Ａに示されるように、静止画ファイル３００ｓは、画像データ３１０ｓと、サムネイル３２０ｓと、付随情報３３０ｓとを有している。

静止画ファイル３００ｓの画像データ３１０ｓは、１フレームの記録用画像データで構成されている。

サムネイル３２０ｓは、例えば、画像データ３１０ｓである１フレームの記録用画像データの縮小画像データで構成されている。

付随情報３３０ｓは、撮影時情報を含んでいる。撮影時情報は、日時、感度、シャッタースピード、絞り、ピント位置等の情報を含んでいる。

付随情報３３０ｓはまた、領域別処理内容を含んでいる。領域別処理内容は、画像データ３１０ｓである１フレームの記録用画像データを生成する際に撮像範囲の複数領域に対して施された画像処理の内容を表しており、領域別補正マップの情報、例えば、複数領域の位置情報、各領域に対して適用された補正情報等を含んでいる。

静止画が動画撮影中に生成された場合には、付随情報３３０ｓは、その静止画に対応する動画の情報を含んでいてもよい。

さらに、例えば撮像ユニット１３０に搭載されたマイクを介して取得された音声情報がある場合には、付随情報３３０ｓは、その音声情報を含んでいてもよい。

図６Ｂは、記録用画像データ生成部１１２ｄにより生成される動画ファイル３００ｍの構造を模式的に示している。図６Ｂに示されるように、動画ファイル３００ｍは、画像データ３１０ｍと、サムネイル３２０ｍと、付随情報３３０ｍとを有している。

動画ファイル３００ｍの画像データ３１０ｍは、時間的に連続する複数フレームの記録用画像データで構成されている。

サムネイル３２０ｍは、例えば、画像データ３１０ｍに含まれている複数フレームの記録用画像データの例えば最初のフレームの縮小画像データで構成されている。

付随情報３３０ｍは、撮影時情報を含んでいる。撮影時情報は、日時、感度、フレームレート、絞り、ピント位置等の情報を含んでいる。

付随情報３３０ｍはまた、領域別処理内容を含んでいる。領域別処理内容は、画像データ３１０ｍに含まれている各フレームの記録用画像データを生成する際に撮像範囲の複数領域に対して施された画像処理の内容を表しており、各フレームの画像データに対する領域別補正マップの情報、例えば、複数領域の位置情報、各領域に対して適用された補正情報等を含んでいる。

動画撮影中に静止画が記録された場合には、付随情報３３０ｍは、その動画に対応する静止画の情報を含んでいてもよい。

さらに、例えば撮像ユニット１３０に搭載されたマイクを介して取得された音声情報がある場合には、その音声情報を含んでいてもよい。

〈制御部１１４〉
制御部１１４は、例えば、ＣＰＵやＡＳＩＣ等の制御回路で構成されていてよい。制御部１１４と同等の機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、制御部１１４の一部の機能は、制御部１１４と別個に設けられた要素によって実現されてもよい。

制御部１１４は、データ処理部１１２を制御するほか、画像処理装置１１０と通信状態にある撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０をも制御する。すなわち、制御部１１４は、撮像システム１００の動作を統括的に制御する。

以下に、制御部１１４がおこなう制御のいくつかについて説明するが、制御部１１４がおこなう制御は、これらの制御に限定されるものではない。もちろん、制御部１１４は、以下に述べられていない制御をおこなってもよい。

制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、画像データを順次に出力させる。また、制御部１１４は、データ処理部１１２に、撮像ユニット１３０から画像データを順次に取得させる。制御部１１４はまた、データ処理部１１２に、取得した画像データを可視化して表示器１４０に順次に出力させる。さらに、このとき、制御部１１４は、データ処理部１１２を介して表示器１４０に、順次に入力される画像データを順次に表示させる。

また、制御部１１４は、データ処理部１１２に、取得した画像データに対して画像処理をおこなわせる。その際、制御部１１４は、各種センサ１１６から各種情報を取得し、取得した各種情報をデータ処理部１１２に提供することにより、データ処理部１１２に適切な画像処理をおこなわせる。制御部１１４は、例えば、データ処理部１１２に、画像処理の結果に基づいてフォーカス制御信号を生成させ、これを撮像ユニット１３０へ出力させる。

制御部１１４は、画像の記録を指示するユーザによる操作器１６０の操作、または、特定の条件に応じて、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。以下、制御部１１４がおこなう制御について、静止画記録の場合と動画記録の場合に分けて説明する。

（静止画記録）
画像の記録の指示が静止画撮影の指示である場合、制御部１１４は、記録用画像データ生成部１１２ｄに、１フレームの記録用画像データを生成させる。その後、制御部１１４は、生成された１フレームの記録用画像データを含む静止画ファイルを記録用画像データ生成部１１２ｄに生成させる。

その際、制御部１１４は、記録用画像データ生成部１１２ｄに、撮影時情報を静止画ファイルに含めさせる。撮影時情報は、前述したように、日時、感度、シャッタースピード、絞り、ピント位置等の情報を含んでいる。例えば、制御部１１４は、画像の記録を指示するユーザによる操作器１６０の操作に応じて、時計１１８から日時情報を取得し、取得した日時情報を記録用画像データ生成部１１２ｄへ提供することにより、記録用画像データ生成部１１２ｄに、その日時情報を静止画ファイルに含めさせる。これによって、何時撮影されたかが明確になり、証拠性などが高くなる。また、この発明では、１回の撮影で良好な画像が得られるので、その精度も高い。

さらに、制御部１１４は、記録用画像データ生成部１１２ｄに、領域別処理内容（１フレームの記録用画像データの生成に使用された領域別補正マップの情報）を静止画ファイルに含めさせる。

続いて、制御部１１４は、記録用画像データ生成部１１２ｄに、生成された静止画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された静止画ファイルを静止画記録部１５２に記録させる。

（動画記録）
画像の記録の指示が動画撮影の開始の指示である場合、制御部１１４は、記録用画像データ生成部１１２ｄに、記録用画像データを順次に生成させる。その後、制御部１１４は、動画撮影の終了を指示するユーザによる操作器１６０の操作に応じて、記録用画像データ生成部１１２ｄに、記録用画像データの生成を終了させるとともに、続いて、生成された時間的に連続する複数フレームの記録用画像データを含む動画ファイルを生成させる。

その際、制御部１１４は、記録用画像データ生成部１１２ｄに、撮影時情報を動画ファイルに含めさせる。例えば、制御部１１４は、画像の記録を指示するユーザによる操作器１６０の操作に応じて、時計１１８から日時情報を撮影開始日時情報として取得し、また、画像の記録の終了を指示するユーザによる操作器１６０の操作に応じて、時計１１８から日時情報を撮影終了日時情報として取得し、取得した撮影開始日時情報と撮影終了日時情報を記録用画像データ生成部１１２ｄへ提供することにより、記録用画像データ生成部１１２ｄに、撮影開始日時情報と撮影終了日時情報を動画ファイルに含めさせる。

さらに、制御部１１４は、記録用画像データ生成部１１２ｄに、領域別処理内容（１フレームの記録用画像データの生成に使用された領域別補正マップの情報）を動画ファイルに含めさせる。

続いて、制御部１１４は、記録用画像データ生成部１１２ｄに、生成された動画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された動画ファイルを動画記録部１５４に記録させる。

次に、本実施形態に係る画像処理装置１１０の動作について説明する。図２Ａと図２Ｂは、本実施形態に係る画像処理装置１１０を含む撮像システム１００における撮影の処理のフローチャートを示している。図２Ａと図２Ｂの処理は、制御部１１４が主体となっておこなわれる。

図２Ａと図２Ｂのフローチャートは、起動に備えて待機しているスタンバイ状態から画像処理装置１１０が起動され、画像処理装置１１０が停止されスタンバイ状態に戻るまでを表している。以下の説明では、図２Ａと図２Ｂの処理の間、撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０はいずれも起動されているものとする。

スタンバイ状態において、ユーザによって操作器１６０の起動停止ボタンが操作されたとき、制御部１１４は、画像処理装置１１０の起動が指示されたと判定し、画像処理装置１１０を起動させる。

画像処理装置１１０が起動された後、ステップＳ１０１において、制御部１１４は、撮像システム１００の現在の動作モードが撮影モードであるか否かを判定する。制御部１１４は、ユーザによる操作器１６０の操作によって設定された撮像システム１００の動作モードを記憶している。制御部１１４は、記憶している動作モードに従って、現在の動作モードが撮影モードであるか否かを判定する。ステップＳ１０１において、動作モードが撮影モードであると判定された場合、処理はステップＳ１０２に移行する。反対に、ステップＳ１０１において、撮像システム１００の動作モードが撮影モードでないと判定された場合、処理はステップＳ１０９に移行する。

ステップＳ１０９において、制御部１１４は、撮影モード以外のその他の処理をおこなう。その他の処理の後、処理はステップＳ１４１に移行する。

その他の処理は、例えば、再生モードの処理を含んでいる。この場合、制御部１１４は、現在の動作モードが再生モードであるか否かを判定する。動作モードが再生モードでないと判定された場合、処理はステップＳ１４１に移行する。動作モードが再生モードであると判定された場合、制御部１１４は、撮像システム１００に再生の処理をおこなわせる。その後、処理はステップＳ１４１に移行する。

ステップＳ１０２において、制御部１１４は、データ処理部１１２の画像取得部１１２ａに、撮像ユニット１３０から画像データを取得させる。その後、処理はステップＳ１０３に移行する。

ステップＳ１０３において、制御部１１４は、データ処理部１１２に、取得した画像データを表示器１４０に出力させる。さらに、制御部１１４は、データ処理部１１２を介して表示器１４０に、入力される画像データに対応する画像を表示させる。その後、処理はステップＳ１０４に移行する。

動作モードが撮影モードである間、ステップＳ１０２の処理とステップＳ１０３の処理は繰り返しおこなわれる。言い換えれば、動作モードが撮影モードである間は、ステップＳ１０２の処理とステップＳ１０３の処理を含むループ処理がおこなわれる。これにより、撮像ユニット１３０から出力される画像データが表示器１４０に順次に表示される。つまり、表示器１４０にライブビューが表示される。

ステップＳ１０４において、制御部１１４は、データ処理部１１２に、撮像ユニット１３０の姿勢が安定しているか否かを判定させる。例えば、図１には示されていないが、姿勢検知センサたとえばジャイロセンサが撮像ユニット１３０に搭載されており、データ処理部１１２は、姿勢検知センサの出力信号に基づいて、撮像ユニット１３０の姿勢が安定しているか否かを判定する。ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していると判定された場合、処理はステップＳ１０５に移行する。反対に、ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していないと判定された場合、処理はステップＳ１２１に移行する。

ステップＳ１０５において、制御部１１４は、データ処理部１１２に、被写体変化が小さいか否かを判定させる。例えば、データ処理部１１２は、今回のループ処理においてステップＳ１０２において取得された１フレームの画像データと、前回のループ処理においてステップＳ１０２において取得された１フレームの画像データとを比較し、その比較結果に基づいて、被写体変化が小さいか否かを判定する。例えば、データ処理部１１２は、このような時間的に連続する２フレームの画像データに対して相関分析をおこなう。続いて、データ処理部１１２は、相関分析により得られた相関値を、予め設定されたしきい値と比較し、相関値がしきい値以上であれば、被写体変化が小さいと判定し、反対に、相関値がしきい値未満であれば、被写体変化が小さくないと判定する。ステップＳ１０５において、被写体変化が小さいと判定された場合、処理はステップＳ１０６に移行する。反対に、ステップＳ１０５において、被写体変化が小さくないと判定された場合、処理はステップＳ１０７に移行する。

ステップＳ１０６において、制御部１１４は、データ処理部１１２に、領域別補正マップを更新する条件に適合するか否かを判定させる。前述したように、領域別補正マップは、複数フレームの画像データに基づいて更新される。領域別補正マップを更新する条件の一つは、領域別補正マップの更新に必要な所定の一定数のフレームの画像データが画像分析部１１２ｂに蓄積されていることである。例えば、データ処理部１１２は、所定の一定数のフレームの画像データが蓄積されていれば、更新条件に適合すると判定し、反対に、所定の一定数のフレームの画像データが蓄積されていなければ、更新条件に適合しないと判定する。ステップＳ１０６において、領域別補正マップを更新する条件に適合すると判定された場合、処理はステップＳ１１１に移行する。反対に、ステップＳ１０６において、領域別補正マップを更新する条件に適合しないと判定された場合、処理はステップＳ１０７に移行する。

ステップＳ１１１において、制御部１１４は、画像分析部１１２ｂの加算部１１２ｃに、領域別補正マップの更新のために画像分析部１１２ｂが蓄積している複数フレームの画像データの加算処理をおこなわせる。前述したように、加算処理の対象である画像データを元画像データ、加算処理により得られた画像データを加算画像データと称する。加算画像データは、元画像データと比較して、被写体に起因する成分が増大され、ノイズに起因する成分が低減されている。その後、処理はステップＳ１１２に移行する。

ステップＳ１１２において、制御部１１４は、画像分析部１１２ｂに、領域別色特徴を判定させる。画像分析部１１２ｂは、例えば画像データの各々に設定された多数の微小領域の各々について色の判定をおこない、その判定結果に従って微小領域の仕分けをおこなう。その際、元画像データと加算画像データを比較して得られる情報を利用してもよい。その後、処理はステップＳ１１３に移行する。

ステップＳ１１３において、制御部１１４は、画像分析部１１２ｂに、元画像データを増幅させる。以下の説明においては、増幅された元画像データを増幅画像データと称する。増幅画像データは、元画像データと比較して、被写体に起因する成分もノイズに起因する成分も増大されている。その後、処理はステップＳ１１４に移行する。

ステップＳ１１４において、制御部１１４は、画像分析部１１２ｂに、領域別ノイズ特徴を判定させる。画像分析部１１２ｂは、加算画像データと増幅画像データを比較することにより、例えば画像データの各々に設定された多数の微小領域の各々について、その微小領域に属する画素のデータが、主に被写体に起因するものであるのか、主にノイズに起因するものであるのかの判定をおこない、その判定結果に従って各微小領域の仕分けをおこなっていく。例えば、画像分析部１１２ｂは、加算画像データと増幅画像データにおいて、その微小領域に属する画素のデータが大きく相違する場合は、それらの画素のデータは主にノイズに起因するものであると判定し、反対に、その微小領域に属する画素のデータが大きく相違しない場合は、それらの画素のデータは主に被写体に起因するものであると判定する。その後、処理はステップＳ１１５に移行する。

ステップＳ１１５において、制御部１１４は、画像分析部１１２ｂに、領域別補正マップを更新させる。画像分析部１１２ｂは、撮像ユニット１３０による撮像範囲に対して複数領域を新たに設定し、これらの複数領域のそれぞれに補正情報を新たに設定することにより、領域別補正マップの更新をおこなう。領域別補正マップの更新は、例えば、次のようにしておこなわれる。

まず、画像分析部１１２ｂは、元画像データと加算画像データに対する画像認識技術により、元画像データに対応した画像内に写し込まれている被写体を特定する。次に、画像分析部１１２ｂは、元画像データに対応した画像上において、特定された被写体の各々が占める領域の位置情報を求める。これにより、特定された被写体に従って、元画像データに対応した画像に対応する撮像ユニット１３０による撮像範囲に対して設定される複数領域が特定される。

次に、画像分析部１１２ｂは、記録ユニット１５０に記録されている被写体分類データベース１５６を参照して、特定された被写体の各々について適切な補正情報を取得する。これにより、各被写体に対応した各領域についての補正情報が得られる。

続いて、画像分析部１１２ｂは、このようにして得られた複数領域についての位置情報と補正情報に基づいて、領域別補正マップの領域別情報、すなわち、複数領域の位置情報と、複数領域の画像特徴情報と、複数領域の補正情報を書き換える。

これにより、被写体に従って撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップが更新される。その後、処理はステップＳ１０７に移行する。

ステップＳ１０７において、制御部１１４は、データ処理部１１２に、被写体変化が大きいか否かを判定させる。例えば、データ処理部１１２は、今回のループ処理においてステップＳ１０２において取得された１フレームの画像データと、前回のループ処理においてステップＳ１０２において取得された１フレームの画像データとを比較し、その比較結果に基づいて、被写体変化が大きいか否かを判定する。この判定は、例えば、ステップＳ１０５と同様の処理によっておこなわれる。ステップＳ１０７において、被写体変化が大きいと判定された場合、処理はステップＳ１０８に移行する。反対に、ステップＳ１０７において、被写体変化が大きくないと判定された場合、処理はステップＳ１２１に移行する。

ステップＳ１０８において、制御部１１４は、画像分析部１１２ｂに、領域別補正マップをリセットさせる。画像分析部１１２ｂは、領域別補正マップの領域別情報をすべて消去する。これに伴い、画像分析部１１２ｂはまた、領域別補正マップの更新のために一時的に蓄積している複数フレームの画像データをすべて破棄する。その後、処理はステップＳ１２１に移行する。

ステップＳ１２１において、制御部１１４は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが操作されたとき、制御部１１４は、動画撮影の開始が指示されたと判定する。ステップＳ１２１において、動画撮影の開始が指示されたと判定された場合、処理はステップＳ１２２に移行する。ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。

ステップＳ１２２において、制御部１１４は、記録用画像データ生成部１１２ｄに、記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正マップを読み取り、領域別補正マップに従って、ステップＳ１０２において取得された１フレームの元画像データを補正した記録用画像データを生成する。記録用画像データ生成部１１２ｄはまた、動画撮影の終了が指示されるまで、各回のループ処理において生成された記録用画像データを順次に蓄積していく。その後、処理はステップＳ１２３に移行する。

ステップＳ１２３において、制御部１１４は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが再度操作されたとき、制御部１１４は、動画撮影の終了が指示されたと判定する。ステップＳ１２３において、動画撮影の終了が指示されたと判定された場合、処理はステップＳ１２４に移行する。反対に、ステップＳ１２３において、動画撮影の終了が指示されていないと判定された場合、処理はステップＳ１２５に移行する。

ステップＳ１２４において、制御部１１４は、記録用画像データ生成部１１２ｄに動画ファイルを生成させる。図６Ａを参照して説明されたように、動画ファイルは、画像データと、サムネイルと、付随情報とを有している。画像データは、動画撮影の終了が指示されるまでの間に、ステップＳ１２２において、記録用画像データ生成部１１２ｄに蓄積された、時間的に連続する複数フレームの記録用画像データで構成されている。制御部１１４はまた、記録用画像データ生成部１１２ｄに、生成された動画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された動画ファイルを動画記録部１５４に記録させる。その後、処理はステップＳ１４１に移行する。

ステップＳ１２５において、制御部１１４は、静止画撮影が指示されたか否かを判定する。例えば、ユーザによって操作器１６０のレリーズボタンが操作されたとき、制御部１１４は、静止画撮影が指示されたと判定する。ステップＳ１２５において、静止画撮影が指示されたと判定された場合、処理はステップＳ１３２に移行する。ステップＳ１２５において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。

前述したように、ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。ステップＳ１３１において、制御部１１４は、静止画撮影が指示されたか否かを判定する。この判定は、例えば、ステップＳ１２５と同様の処理によっておこなわれる。ステップＳ１３１において、静止画撮影が指示されたと判定された場合、処理はステップＳ１３２に移行する。ステップＳ１３１において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。

ステップＳ１３２において、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、領域別補正マップに従って撮影させる。そのため、制御部１１４は、画像分析部１１２ｂに、領域別補正マップに従って最適な撮影条件たとえば最適な露出条件等を求めさせ、その最適な撮影条件の情報を撮像ユニット１３０の撮影条件変更部１３４へ出力させる。撮影条件変更部１３４は、入力された撮影条件の情報に従って撮像部１３２の撮影条件たとえば露出等を変更する。これにより、撮像ユニット１３０は、領域別補正マップに従った最適な撮影条件での撮影における画像データを出力する。さらに、制御部１１４は、データ処理部１１２の画像取得部１１２ａに、領域別補正マップに従った最適な撮影条件での撮影における画像データを撮像ユニット１３０から取得させる。その後、処理はステップＳ１３３に移行する。

ステップＳ１３３において、制御部１１４は、記録用画像データ生成部１１２ｄに、記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正マップを読み取り、領域別補正マップに従って、ステップＳ１３２において取得された１フレームの画像データを補正した記録用画像データを生成する。その後、処理はステップＳ１３４に移行する。

ステップＳ１３４において、制御部１１４は、記録用画像データ生成部１１２ｄに静止画ファイルを生成させる。図６Ａを参照して説明されたように、静止画ファイルは、画像データと、サムネイルと、付随情報とを有している。画像データは、ステップＳ１３２において、記録用画像データ生成部１１２ｄにより生成された１フレームの記録用画像データで構成されている。制御部１１４はまた、記録用画像データ生成部１１２ｄに、生成された静止画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された静止画ファイルを静止画記録部１５２に記録させる。その後、処理はステップＳ１４１に移行する。

ステップＳ１４１において、制御部１１４は、画像処理装置１１０の停止が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の起動停止ボタンが再度操作されたとき、制御部１１４は、画像処理装置１１０の停止が指示されたと判定する。ステップＳ１４１において、画像処理装置１１０の停止が指示されていないと判定された場合、処理はステップＳ１０１に戻る。反対に、ステップＳ１４１において、画像処理装置１１０の停止が指示されたと判定された場合、制御部１１４は画像処理装置１１０を停止させ、画像処理装置１１０はスタンバイ状態に再び戻る。

図３は、このようにしておこなわれる撮影の動作を示すタイミングチャートである。図３は、動画撮影の開始時の前後の動作と、静止画撮影時の前後の動作とを合わせて示している。

図３において、「撮像レート」は、撮像のタイミングを示している。また、「撮像フレーム」は、各回の撮像における画像データと露出設定を表している。「ライブビューフレーム」は、表示器１４０に表示される画像を表している。

「加算画像」は、加算部１１２ｃによる加算処理によって生成される加算数の異なる複数の加算画像データを表している。ここで、加算数は、加算処理に使用された元画像データのフレーム数を意味している。「加算数０」は、加算処理がおこなわれていない元画像データを表し、「加算数１」は、２フレームの元画像データの加算処理によって生成された加算画像データを表し、「加算数２」は、３フレームの元画像データの加算処理によって生成された加算画像データを表している。

「補正マップ」は、画像分析部１１２ｂに記憶されており、元画像データおよび加算画像データに基づいて更新される領域別補正マップを表している。「記録フレーム」は、領域別補正マップに従って補正された画像データを表している。

「撮影」は、動画撮影の開始または静止画撮影が指示されたタイミングを表している。動画撮影と静止画撮影のいずれにおいても、「撮影」の指示までは、「撮像フレーム」の画像データは、適正露出での撮影により取得されている。また、適正露出での撮影における画像データに基づいて、「ライブビューフレーム」の画像データが生成されている。

「撮影」が、動画撮影の開始の指示を表している場合、動画撮影の開始後も、「撮像フレーム」の画像データは、適正露出での撮影において生成される。また、その画像データに基づいて、「ライブビューフレーム」の画像データが生成される。さらに、その画像データは、領域別補正マップに従って補正され、「記録フレーム」の補正画像データが生成される。

これに対して、「撮影」が、静止画撮影の指示を表している場合、静止画撮影の指示の直後の「撮像フレーム」の画像データは、領域別補正マップに従った最適露出での撮影において生成される。静止画撮影に先立って、ライブビューフレームの生成が停止される。したがって、その画像データは、「ライブビューフレーム」の画像データの生成に使用されない。さらに、その画像データは、領域別補正マップに従って補正され、「記録フレーム」の補正画像データが生成される。

図４は、領域別補正マップを用いた画像補正の手法を図解して示している。図４に示された撮影画像例は、空と山と森と葉の被写体を含んでいる。この撮影画像例では、空を適正露出とするように撮影がされているので、山と森と葉は、輝度が低く、識別が難しいものとなっている。この撮影画像例に対して、微小領域ごとに、その微小領域の画像特徴に基づいて被写体が特定されていく。これにより、最終的に、空と山と森と葉の各被写体が占める領域が求められる。このようして求められた各領域に属する画素のデータが、各領域に対応した被写体に対して適切な補正情報に従って補正される。これにより、空と山と森と葉の各被写体の領域に属する画素のデータが適切に補正された補正画像例が得られる。この補正画像例では、空の領域に属する画素のデータに比べて、山と森と葉の領域に属する画素のデータの輝度が強調されている。その結果、補正画像例は、空の露出を適正露出に維持したまま、撮影画像例では識別が難しかった山と森と葉が、容易に識別できるようになっている。

以上に説明したように、本実施形態による画像処理装置によれば、各被写体が占める領域ごとに適切に補正された高画質な記録画像が形成される。しかも、その記録画像は、例えば幅広いダイナミックレンジの表現を有するが、ＨＤＲ画像のように、異なる時刻に取得された複数の画像データに基づいて形成されるものではなく、ある一瞬の時刻に取得された１フレームの画像データに基づいて形成される。このため、本実施形態による画像処理装置により形成される記録画像は、改ざんされた疑いとは無縁であり、高い信憑性を有する記録情報と見なすことができる。また、加算数を変えた画像データを用いることで、元画像データだけでは判別できない情報を利用して領域別補正マップを生成することができる。例えば、元画像データにおいては輝度が低すぎて識別できなかった被写体を加算画像データからは識別することができる。

本実施形態による制御部１１４がおこなう各処理は、コンピュータに実行させることができるプログラムとして記憶させておくこともできる。そのプログラムは、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、コンピュータは、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムに従って動作することにより、上述した制御部１１４がおこなう各処理を実行することができる。

［第２の実施形態］
次に、図面を参照しながら第１の実施形態について説明する。図７は、第２の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。図７において、図１に示された部材と同一の参照符号が付された部材は同様の部材であり、その詳しい説明は省略する。以下、相違部分に重点をおいて説明する。つまり、以下の説明において触れられていない部分は、第１の実施形態と同様である。

本実施形態の画像処理装置１１０では、データ処理部１１２は、撮像ユニット１３０に、撮影条件を適当な所定規則で繰り返し変更させながら撮影をおこなわせ、各撮影条件での撮影における画像データを順次に出力させる。言い換えれば、データ処理部１１２は、撮影条件変更部１３４に、撮像素子１３２ｂの撮像レートに合わせて、撮像部１３２の撮影条件を変更させる。

画像取得部１１２ａは、適当な所定規則で繰り返し変更される撮影条件での撮影における画像データを撮像ユニット１３０から順次に取得する。画像取得部１１２ａはまた、ひと通りの撮影条件たとえば露出条件での撮影における画像データに基づいてＨＤＲ画像を生成するＨＤＲ画像データ生成部１１２ｅを有している。つまり、撮影条件を変えているので、この時のライブビュー画像は、通常ライブビュー画像より情報量を多くする効果がある。それだけ、補正の参考にできるデータが増加する。例えば、明るい方の情報は、第１の実施形態の加算だけでは得られない場合があった。この撮影条件変化はそのまま可視化してはちらつくので、ＨＤＲ画像データの生成は、ひと通りの撮影条件たとえば露出条件での撮影における複数フレームの画像データに対して合成処理を施すことによりおこなわれる。このような合成処理により生成されるＨＤＲ画像データは、幅広いダイナミックレンジを有する。

ここにおいて、ひと通りの撮影条件での撮影における画像データとは、繰り返される撮影条件の変更において、繰り返しの１回の単位を構成する複数の撮影条件に対応した複数フレームの画像データを意味している。例えば、撮影条件の変更が、第１の撮影条件と第２の撮影条件で繰り返される場合、ひと通りの撮影条件での撮影における画像データは、第１の撮影条件での撮影における１フレームの画像データと第２の撮影条件での撮影における１フレームの画像データとからなる２フレームの画像データである。

次に、本実施形態に係る画像処理装置１１０の動作について説明する。図８Ａと図８Ｂは、本実施形態に係る画像処理装置１１０を含む撮像システム１００における撮影の処理のフローチャートを示している。図８Ａと図８Ｂにおいて、図２Ａと図２Ｂに示されブロックと同一の参照符号が付されたブロックは同様の処理を表しており、その詳しい説明は省略する。

図８Ａと図８Ｂのフローチャートは、起動に備えて待機しているスタンバイ状態から画像処理装置１１０が起動され、画像処理装置１１０が停止されスタンバイ状態に戻るまでを表している。以下の説明では、第１の実施形態の説明と同様、図８Ａと図８Ｂの処理の間、撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０はいずれも起動されているものとする。

スタンバイ状態において、ユーザによって操作器１６０の起動停止ボタンが操作されたとき、制御部１１４は、画像処理装置１１０の起動が指示されたと判定し、画像処理装置１１０を起動させる。

画像処理装置１１０が起動された後、ステップＳ１０１において、制御部１１４は、撮像システム１００の現在の動作モードが撮影モードであるか否かを判定する。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０１において、動作モードが撮影モードであると判定された場合、処理はステップＳ１０２ａに移行する。反対に、ステップＳ１０１において、撮像システム１００の動作モードが撮影モードでないと判定された場合、処理はステップＳ１０９に移行する。

ステップＳ１０９において、制御部１１４は、撮影モード以外のその他の処理をおこなう。その他の処理の後、処理はステップＳ１４１に移行する。その他の処理は、第１の実施形態において説明したとおりである。

ステップＳ１０２ａにおいて、制御部１１４は、データ処理部１１２の画像取得部１１２ａに、第１の撮影条件で撮像ユニット１３０に撮影をおこなわせ、第１の撮影条件での撮影における第１の画像データを撮像ユニット１３０から取得させる。第１の撮影条件は、ここでは、適正露出よりも高い露出条件である。従って、第１の画像データは、適正露出よりも高い露出条件での撮影において生成された画像データである。以下の説明では、第１の画像データを露出オーバーの画像データとも称する。その後、処理はステップＳ１０２ｂに移行する。

ステップＳ１０２ｂにおいて、制御部１１４は、データ処理部１１２の画像取得部１１２ａに、第２の撮影条件で撮像ユニット１３０に撮影をおこなわせ、第２の撮影条件での撮影における第２の画像データを撮像ユニット１３０から取得させる。第２の撮影条件は、ここでは、適正露出よりも低い露出条件である。従って、第２の画像データは、適正露出よりも低い露出条件での撮影において生成された画像データである。以下の説明では、第２の画像データを露出アンダーの画像データとも称する。その後、処理はステップＳ１０２ｃに移行する。

ステップＳ１０２ｃにおいて、制御部１１４は、ＨＤＲ画像データ生成部１１２ｅに、画像取得部１１２ａにより取得された第１の画像データと第２の画像データに対して合成処理をおこなわせ、ＨＤＲ画像データを生成させる。その後、処理はステップＳ１０３ａに移行する。

ステップＳ１０３ａにおいて、制御部１１４は、データ処理部１１２に、ＨＤＲ画像データ生成部１１２ｅにより生成されたＨＤＲ画像データを表示器１４０に出力させる。さらに、制御部１１４は、データ処理部１１２を介して表示器１４０に、入力されるＨＤＲ画像データに対応するＨＤＲ画像を表示させる。その後、処理はステップＳ１０４に移行する。

動作モードが撮影モードである間、ステップＳ１０２ａ〜Ｓ１０２ｃの処理とステップＳ１０３ａの処理は繰り返しおこなわれる。これにより、表示器１４０にＨＤＲ画像のライブビューが表示される。

ステップＳ１０４において、制御部１１４は、データ処理部１１２に、撮像ユニット１３０の姿勢が安定しているか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していると判定された場合、処理はステップＳ１０５に移行する。反対に、ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していないと判定された場合、処理はステップＳ１２１に移行する。

ステップＳ１０５において、制御部１１４は、データ処理部１１２に、被写体変化が小さいか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０５において、被写体変化が小さいと判定された場合、処理はステップＳ１０６に移行する。反対に、ステップＳ１０５において、被写体変化が小さくないと判定された場合、処理はステップＳ１０７に移行する。

ステップＳ１０６において、制御部１１４は、データ処理部１１２に、領域別補正マップを更新する条件に適合するか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０６において、領域別補正マップを更新する条件に適合すると判定された場合、処理はステップＳ１１１ａに移行する。反対に、ステップＳ１０６において、領域別補正マップを更新する条件に適合しないと判定された場合、処理はステップＳ１０７に移行する。

ステップＳ１１１ａにおいて、制御部１１４は、画像分析部１１２ｂの加算部１１２ｃに、元画像データに対して加算処理をおこなわせる。なお、加算処理の対象の元画像データは、主に、第２の画像データすなわち露出アンダーの画像データであり、第１の画像データすなわち露出オーバーの画像データに対して加算処理をおこなう必要性は少ない。この加算処理は、必ずしも必要ではなく、省略されてもよい。その後、処理はステップＳ１１２ａに移行する。

ステップＳ１１２ａにおいて、制御部１１４は、画像分析部１１２ｂに、領域別色特徴を判定させる。画像分析部１１２ｂは、例えば画像データの各々に設定された多数の微小領域の各々について色の判定をおこない、その判定結果に従って微小領域の仕分けをおこなう。その際、元画像データ（第１の画像データと第２の画像データ）を比較して得られる情報を利用してもよく、さらには元画像データと加算画像データを比較して得られる情報を利用してもよい。その後、処理はステップＳ１１３ａに移行する。

ステップＳ１１３ａにおいて、制御部１１４は、画像分析部１１２ｂに、元画像データを増幅させる。以下の説明においては、増幅された元画像データを増幅画像データと称する。増幅画像データは、元画像データと比較して、被写体に起因する成分もノイズに起因する成分も増大されている。なお、増幅の対象の元画像データは、主に、第２の画像データすなわち露出アンダーの画像データであり、第１の画像データすなわち露出オーバーの画像データに対して増幅処理をおこなう必要性は少ない。その後、処理はステップＳ１１４ａに移行する。

ステップＳ１１４ａにおいて、制御部１１４は、画像分析部１１２ｂに、領域別ノイズ特徴を判定させる。画像分析部１１２ｂは、元画像データ（第１の画像データと第２の画像データ）と加算画像データ（主に加算された第２の画像データ）と増幅画像データ（すなわち増幅された第２の画像データ）を比較することにより、例えば画像データの各々に設定された多数の微小領域の各々について、その微小領域に属する画素のデータが、主に被写体に起因するものであるのか、主にノイズに起因するものであるのかの判定をおこない、その判定結果に従って各微小領域の仕分けをおこなっていく。その後、処理はステップＳ１１５に移行する。

ステップＳ１１５において、制御部１１４は、画像分析部１１２ｂに、領域別補正マップを更新させる。領域別補正マップの更新は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１０７に移行する。

ステップＳ１０７において、制御部１１４は、データ処理部１１２に、被写体変化が大きいか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０７において、被写体変化が大きいと判定された場合、処理はステップＳ１０８に移行する。反対に、ステップＳ１０７において、被写体変化が大きくないと判定された場合、処理はステップＳ１２１に移行する。

ステップＳ１０８において、制御部１１４は、画像分析部１１２ｂに、領域別補正マップをリセットさせる。画像分析部１１２ｂは、領域別補正マップの領域別情報をすべて消去する。これに伴い、画像分析部１１２ｂはまた、領域別補正マップの更新のために一時的に蓄積している複数フレームの画像データをすべて破棄する。その後、処理はステップＳ１２１に移行する。

ステップＳ１２１において、制御部１１４は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが操作されたとき、制御部１１４は、動画撮影の開始が指示されたと判定する。ステップＳ１２１において、動画撮影の開始が指示されたと判定された場合、処理はステップＳ１２２ａに移行する。ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。

ステップＳ１２２ａにおいて、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、適正な撮影条件たとえば適正な露出条件で撮影させる。撮像ユニット１３０による撮影は、第１の実施形態と同様におこなわれる。

制御部１１４はまた、画像分析部１１２ｂに、適正な露出条件での撮影により生成される画像データに基づいて領域別補正マップを更新させる。領域別補正マップの更新は、第１の実施形態と同様におこなわれる。

制御部１１４はさらに、記録用画像データ生成部１１２ｄに、記録用画像データを生成させるとともに、生成された記録用画像データを蓄積させる。記録用画像データの生成と蓄積は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１２３に移行する。

ステップＳ１２３において、制御部１１４は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが再度操作されたとき、制御部１１４は、動画撮影の終了が指示されたと判定する。ステップＳ１２３において、動画撮影の終了が指示されたと判定された場合、処理はステップＳ１２４に移行する。反対に、ステップＳ１２３において、動画撮影の終了が指示されていないと判定された場合、処理はステップＳ１２５に移行する。

ステップＳ１２４において、制御部１１４は、記録用画像データ生成部１１２ｄに動画ファイルを生成させるとともに、生成された動画ファイルをデータ処理部１１２を介して動画記録部１５４に記録させる。動画ファイルの生成と記録は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１４１に移行する。

ステップＳ１２５において、制御部１１４は、静止画撮影が指示されたか否かを判定する。例えば、ユーザによって操作器１６０のレリーズボタンが操作されたとき、制御部１１４は、静止画撮影が指示されたと判定する。ステップＳ１２５において、静止画撮影が指示されたと判定された場合、処理はステップＳ１３２に移行する。ステップＳ１２５において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。

前述したように、ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。ステップＳ１３１において、制御部１１４は、静止画撮影が指示されたか否かを判定する。この判定は、例えば、ステップＳ１２５と同様の処理によっておこなわれる。ステップＳ１３１において、静止画撮影が指示されたと判定された場合、処理はステップＳ１３２に移行する。ステップＳ１３１において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。

ステップＳ１３２において、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、領域別補正マップに従って撮影させる。領域別補正マップに従った撮影は、第１の実施形態と同様におこなわれる。さらに、制御部１１４は、画像取得部１１２ａに、領域別補正マップに従った最適な撮影条件での撮影における画像データを撮像ユニット１３０から取得させる。その後、処理はステップＳ１３３に移行する。

ステップＳ１３３において、制御部１１４は、記録用画像データ生成部１１２ｄに、記録用画像データを生成させる。記録用画像データの生成は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１３４に移行する。

ステップＳ１３４において、制御部１１４は、記録用画像データ生成部１１２ｄに静止画ファイルを生成させるとともに、生成された静止画ファイルを静止画記録部１５２に記録させる。静止画ファイルの生成と記録は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１４１に移行する。

ステップＳ１４１において、制御部１１４は、画像処理装置１１０の停止が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の起動停止ボタンが再度操作されたとき、制御部１１４は、画像処理装置１１０の停止が指示されたと判定する。ステップＳ１４１において、画像処理装置１１０の停止が指示されていないと判定された場合、処理はステップＳ１０１に戻る。反対に、ステップＳ１４１において、画像処理装置１１０の停止が指示されたと判定された場合、制御部１１４は画像処理装置１１０を停止させ、画像処理装置１１０はスタンバイ状態に再び戻る。

図９は、このようにしておこなわれる撮影の動作を示すタイミングチャートである。図９は、動画撮影の開始時の前後の動作と、静止画撮影時の前後の動作とを合わせて示している。

図９において、「撮像レート」は、撮像のタイミングを示している。また、「撮像フレーム」は、各回の撮像における画像データと露出設定を表している。ここで、「露出オーバー」は、第１の画像データすなわち適正露出よりも高い露出条件での撮影における画像データを表し、「露出アンダー」は、第２の画像データすなわち適正露出よりも低い露出条件での撮影における画像データを表している。「ライブビューフレーム」は、表示器１４０に表示されるＨＤＲ画像を表している。

「分析画像」は、画像分析の対象の画像データを表している。「オーバー画像」は、「露出オーバー」の画像データ、または、「露出オーバー」の画像データが加算処理された画像データを表している。また、「アンダー画像」は、「露出アンダー」の画像データ、または、「露出アンダー」の画像データが加算処理された画像データを表している。

「補正マップ」は、画像分析部１１２ｂに記憶されている領域別補正マップを表している。「記録フレーム」は、領域別補正マップに従って補正された画像データを表している。

「撮影」は、動画撮影の開始または静止画撮影が指示されたタイミングを表している。動画撮影と静止画撮影のいずれにおいても、「撮影」の指示までは、「撮像フレーム」の画像データは、交互に変更される露出条件での撮影において交互に生成される「露出オーバー」の画像データと「露出アンダー」の画像データで構成されている。また、これらの「露出オーバー」の画像データと「露出アンダー」の画像データに基づいて、「ライブビューフレーム」の画像データが生成されている。

「撮影」が、動画撮影の開始の指示を表している場合、動画撮影の開始後は、「撮像フレーム」の画像データは、適正露出での撮影において生成される。また、その画像データに基づいて、「ライブビューフレーム」の画像データが生成される。さらに、その画像データは、領域別補正マップに従って補正され、「記録フレーム」の補正画像データが生成される。

これに対して、静止画撮影の指示の直後の「撮像フレーム」の画像データは、領域別補正マップに従った最適露出での撮影において生成される。静止画撮影に先立って、ライブビューフレームの生成が停止される。したがって、その画像データは、「ライブビューフレーム」の画像データの生成に使用されない。さらに、その画像データは、領域別補正マップに従って補正され、「記録フレーム」の補正画像データが生成される。ここでは撮影に先立つタイミングで得られた画像情報ということで、都合が良いことからライブビュー画像の分析を反映させたが、もちろんそれに限る必要はなく、撮影後の分析結果を得て、撮影画像に反映させてもよい。記録前に反映させても、表示時に画像処理を施して反映させてもよい。

以上に説明したように、本実施形態による画像処理装置においても、第１の実施形態と同様、各被写体が占める領域ごとに適切に補正された高画質な記録画像が形成される。しかも、その記録画像は、ＨＤＲ画像のように、異なる時刻に取得された複数の画像データに基づいて形成されるものではなく、ある一瞬の時刻に取得された１フレームの画像データに基づいて形成される。このため、本実施形態による画像処理装置により形成される記録画像は、改ざんされた疑いとは無縁であり、高い信憑性を有する記録情報と見なすことができる。

本実施形態による制御部１１４がおこなう各処理も、第１の実施形態と同様、コンピュータに実行させることができるプログラムとして記憶させておくこともできる。

これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。ここにいう様々な変形や変更は、上述した実施形態を適当に組み合わせた実施も含む。

１００…撮像システム、１１０…画像処理装置、１１２…データ処理部、１１２ａ…画像取得部、１１２ｂ…画像分析部、１１２ｃ…加算部、１１２ｄ…記録用画像データ生成部、１１２ｅ…ＨＤＲ画像データ生成部、１１４…制御部、１１６…各種センサ、１１８…時計、１３０…撮像ユニット、１３２…撮像部、１３２ａ…結像光学系、１３２ｂ…撮像素子、１３２ｃ…合焦調節部、１３４…撮影条件変更部、１４０…表示器、１５０…記録ユニット、１５２…静止画記録部、１５４…動画記録部、１５６…被写体分類データベース、１６０…操作器、３００ｍ…動画ファイル、３１０ｍ…画像データ、３２０ｍ…サムネイル、３３０ｍ…付随情報、３００ｓ…静止画ファイル、３１０ｓ…画像データ、３２０ｓ…サムネイル、３３０ｓ…付随情報、４００…領域別補正マップ、４１０Ａ，４１０Ｂ…領域別情報、４２０Ａ，４２０Ｂ…位置情報、４３０Ａ，４３０Ｂ…画像特徴情報、４４０Ａ，４４０Ｂ…補正情報。

Claims (12)

1. 撮像ユニットから取得した画像データに対して画像処理を施すデータ処理部を備えた画像処理装置であって、前記データ処理部は、
   前記撮像ユニットから画像データを順次に取得する画像取得部と、
   前記画像取得部により取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップを更新する画像分析部と、
   前記画像取得部により取得された１フレームの画像データに対して前記領域別補正マップに基づいて補正をおこなった記録用画像データを生成する記録用画像データ生成部を備えている、画像処理装置。
2. 前記画像分析部は、前記少なくとも２フレームの画像データに対して加算処理をおこなう加算部を有しており、前記少なくとも２フレームの画像データに含まれる１フレームの画像データと、加算処理により得られた少なくとも１フレームの画像データとに基づいて、前記領域別補正マップの更新をおこなう、請求項１に記載の画像処理装置。
3. 前記データ処理部は、順次に取得した画像データに対応する画像を表示器に順次に表示させる、請求項１に記載の画像処理装置。
4. 前記記録用画像データ生成部は、前記記録用画像データを含む画像ファイルを生成し、前記データ処理部は、前記画像ファイルを記録ユニットに記録させる、請求項１に記載の画像処理装置。
5. 日時情報を提供する時計と、前記データ処理部を制御する制御部とをさらに備えており、前記制御部は、前記時計から前記日時情報を取得し、前記記録用画像データ生成部に、取得した前記日時情報を前記画像ファイルに含めさせる、請求項４に記載の画像処理装置。
6. 前記制御部は、前記複数領域の位置情報と、前記複数領域のそれぞれに対して適用された補正情報とを含む前記領域別補正マップの情報を前記画像ファイルに含めさせる、請求項５に記載の画像処理装置。
7. 前記データ処理部は、前記撮像ユニットに、撮影条件を繰り返し変更させながら撮影をおこなわせ、各撮影条件での撮影における画像データを順次に出力させる、請求項１に記載の画像処理装置。
8. 前記画像取得部は、繰り返し変更される撮影条件での撮影における画像データを順次に取得し、
   前記画像取得部は、ひと通りの撮影条件での撮影における画像データに基づいてＨＤＲ画像データを生成するＨＤＲ画像データ生成部を有している、請求項７に記載の画像処理装置。
9. 前記画像取得部により順次に取得された画像を順次に表示する表示器と、少なくともユーザが画像の記録を指示することを可能にする前記操作器をさらに備えている、請求項１に記載の画像処理装置。
10. 前記記録用画像データを記録する記録ユニットをさらに備えている、請求項９に記載の画像処理装置。
11. 画像データを順次に出力する前記撮像ユニットをさらに備えている、請求項１０に記載の画像処理装置。
12. 撮像ユニットから取得した画像データに対して画像処理を施す画像処理方法であって、
    前記撮像ユニットから画像データを順次に取得することと、
    取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについての補正情報を有する領域別補正マップを更新することと、
    取得された１フレームの画像データに対して前記領域別補正マップに基づいて補正をおこなった記録用画像データを生成することを有している、画像処理方法。