JP2005160020A

JP2005160020A - 画像処理装置および画像処理方法

Info

Publication number: JP2005160020A
Application number: JP2004199953A
Authority: JP
Inventors: Naoki Kuwata; 直樹鍬田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2003-11-05
Filing date: 2004-07-07
Publication date: 2005-06-16
Anticipated expiration: 2024-07-07
Also published as: US20050185201A1; US20090303349A1; JP4428159B2

Abstract

【課題】時系列に連続する複数の画像データから切り出された静止画像データに対して、主要被写体の画質の向上を中心とした画像処理を行うこと。
【解決手段】フレーム画像データ特定部２２は取得した動画像データＭＤから任意の１つのフレーム画像データを特定し、連続フレーム画像データ取得部２３は特定されたフレーム画像データに連続するフレーム画像を取得する。主要被写体画像データ特定部２４は特定したフレーム画像データと連続フレーム画像データとを用いて、特定したフレーム画像データから主要被写体画像データを特定する。画質特性値取得部２５は、特定された主要被写体画像データを走査して、その画質の特性を示す画質特性値を取得し、基準値と取得した画質特性値とを用いて特定したフレーム画像データに対する補正量を決定する。画質調整部２６は、特定されたフレーム画像データに対して決定された補正量を適用する。
【選択図】図２

Description

本発明は、時系列に連続する複数の画像データから切り出した画像データ（静止画像データ）に対する画像処理技術に関する。

ビデオカメラなどで撮影して得られた動画像データは、時系列に連続する複数のフレーム画像データ（あるいはフィールド画像データ）で構成されている。また、ディジタルスチルカメラ等で連写撮影により得られる連写画像データも、画像ファイルとして互いに独立した、時系列に連続する複数の画像データから構成されている。このような動画像データの所望の場面（シーン）をユーザが指定し、指定されたシーンの画像データを静止画像データとして用いることによって、動画像データや連写画像データなどを構成する時系列に連続する複数の画像データから静止画像データを切り出す技術が知られている。動画像データが複数の画像データから構成されている場合には、指定されたシーンに対応するフレーム画像データが静止画像データとして用いられる。

また、静止画像データに対して、統計処理的によって静止画像データから画質に関わる特徴量を抽出し、抽出した特徴量を用いて、静止画像データに対する画質調整処理を施す技術が知られている。そして、かかる画像処理技術を適用することによって、動画像データから切り出した静止画像データに対しても、画質調整処理が実行されてきた。

特開２０００−１６５６４７

しかしながら、従来のフレーム画像データ（静止画像データ）の切り出し技術では、ユーザによって決定された切り出しシーンに対応する１つの静止画像データが切り出されるため、その画像データの中で重要な領域、すなわち、主要被写体が存在する領域を判別し、その領域に最適となるように画質調整処理を実行することが極めて困難であった。この結果、動画像データから切り出された静止画像データに対する画質調整処理は満足のいくものではなかった。

本発明は、上記課題を解決するためになされたものであり、動画像データや連写画像データといった時系列に連続する複数の画像データから切り出された静止画像データに対して、主要被写体の画質の向上を中心とした画像処理を行うこと。

上記課題を解決するために本発明の第１の態様は、複数の画像データから構成される動画像データから取得された静止画像データに対して画像処理を実行する画像処理装置を提供する。本発明の第１の態様に係る画像処理装置は、前記時系列に連続する複数の画像データから１つの画像データを特定画像データとして特定する特定手段と、前記特定画像データに連続する画像データを、連続画像データとして前記時系列に連続する複数の画像データから取得する連続画像データ取得手段と、前記特定画像データおよび前記連続画像データを用いて、前記特定画像データ中における主要被写体画像データを特定する主要被写体画像データ特定手段と、前記特定画像データを解析し、前記特定された主要被写体画像データを中心にして前記特定画像データの画質の特性を取得する画質特性取得手段と、前記取得された画質特性を用いて前記特定画像データに対して画質調整を実行する画質調整手段とを備えることを特徴とする。

本発明の第１の態様に係る画像処理装置によれば、特定された主要被写体画像データを中心にして特定画像データを解析して、特定画像データの画質の特性を取得し、取得した画質特性を用いて特定画像データに対して画質調整を実行することができるので、動画像データまたは連写画像データといった時系列に連続する複数の画像データから切り出された静止画像データ（画像データ）に対して、主要被写体の画質の向上を中心とした画像処理を行うことができる。

本発明の第１の態様に係る画像処理装置において、前記特定画像データを解析することによる、前記特定された主要被写体画像データを中心にした前記特定画像データの画質の特性の取得は、前記特定された主要被写体画像データに対する解析頻度を、前記特定された主要被写体画像データ以外の前記特定画像データに対する解析頻度よりも高くすることにより実行されても良い。かかる場合には、特定された主要被写体画像データからのサンプリング数が、主要被写体画像データ以外の特定画像データからのサンプリング数よりも多くなるので、主要被写体画像データの画質特性を中心とした特定画像データの画質の特性を取得することができる。

本発明の第１の態様に係る画像処理装置において、前記特定画像データを解析することによる、前記特定された主要被写体画像データを中心にした前記特定画像データの画質の特性の取得は、前記特定された主要被写体画像データから得られた画質の特性に対する重み付けを、前記特定された主要被写体画像データ以外の前記特定画像データから得られた画質の特性に対する重み付けよりも重くすることによって実行されても良い。かかる場合には、特定された主要被写体画像データから得られた画質の特性に対する重み付けが、主要被写体画像データ以外の特定画像データから得られた画質の特性に対する重み付けより重くなるので、主要被写体画像データの画質特性を中心とした特定画像データの画質の特性を取得することができる。

本発明の第１の態様に係る画像処理装置において、前記主要被写体画像データの特定は、前記特定画像データおよび前記連続画像データとを用いて、前記特定画像データ中の微変化領域を特定することにより実行されても良い。かかる場合には、特定画像データおよび連続画像データとを用いて、特定画像データ中の微変化領域を特定することにより主要被写体画像データを特定するので、特定画像データを特定することによって主要被写体画像データを容易かつ適切に特定することができる。なお、微変化領域とは、変化の程度が０または所定値以下の領域を意味する。

本発明の第１の態様に係る画像処理装置において、前記画像データは複数の画素データから構成されており、前記微変化領域の特定は、前記特定画像データを構成する画素データのうち、前記連続画像データにおいて対応する画素データの値の変化量が所定値以下である画素データによって構成される領域を前記微変化領域として特定することにより実行されても良い。かかる場合には、微変化領域を画素データの変化量に基づいて特定することが可能となり、主要被写体画像データをより正確に抽出することができる。

本発明の第１の態様に係る画像処理装置において、
前記主要被写体画像データ特定手段は、
前記特定画像データを複数のブロックに分割する分割手段と、
前記連続画像データにおける、前記分割された各ブロックの移動量を算出する移動量算出手段とを備え、
前記複数のブロックの内、前記移動量が所定値より小さいブロックを中心にして前記主要被写体画像データを特定しても良い。かかる場合には、ブロックの移動量に基づいて、微変化領域を特定することが可能となり、主要被写体画像データをより迅速に抽出することができる。

本発明の第１の態様に係る画像処理装置において、前記特定画像データに対する画質調整は、前記取得された画質特性を用いて、予め設定されている補正量を増減することによって実行されても良い。かかる場合には、各特定画像データの画質特性に応じた補正量によって、各特定画像データに対する画質調整を行うことができる。

本発明の第１の態様に係る画像処理装置において、前記画質特性は、前記特定画像データの画質に関する特性を示す１または複数の画質特性パラメータの統計値であり、前記特定画像データに対する画質調整は、前記取得された１または複数の画質特性パラメータの統計値と、前記１または複数の画質特性パラメータについて予め設定されている基準パラメータ値との偏差を解消または低減するように前記統計値を補正し、その補正した統計値を用いて実行されても良い。かかる場合には、補正された各特定画像データの画質特性パラメータの統計値に応じて、各特定画像データに対する画質調整を行うことができる。

本発明の第１の態様に係る画像処理装置において、前記画質特性は、前記特定画像データの画質に関する特性を示す１または複数の画質特性パラメータの統計値であり、前記特定画像データに対する画質調整は、前記取得された１または複数の画質特性パラメータの統計値と、前記１または複数の画質特性パラメータについて予め設定されている基準パラメータ値との偏差を解消または低減するように補正量を決定し、決定された補正量を前記特定画像データに対して適用することによって実行されても良い。かかる場合には、各特定画像データの画質特性パラメータの統計値に応じて補正量を決定し、決定した補正量を適用することによって、各特定画像データに対して適切な画質調整を行うことができる。

本発明の第２の態様は時系列に連続する複数の画像データから取得された画像データに対して画像処理を実行する画像処理装置を提供する。本発明の第２の態様に係る画像処理装置は、前記時系列に連続する複数の画像データから１つの場面を特定場面として特定する特定手段と、前記特定場面から所定時間内の他の場面を、連続場面として前記時系列に連続する複数の画像データから取得する連続場面取得手段と、前記特定場面の画像データおよび前記連続場面の画像データとを用いて、前記特定場面中における主要被写体領域を特定する主要被写体領域特定手段と、前記特定場面の画像データを解析し、前記特定された主要被写体領域を中心にして前記特定場面の画像データの画質特性を取得する画質特性取得手段と、前記取得された画質特性を用いて、前記特定場面の画像データに対して画質調整を実行する画質調整手段とを備えることを特徴とする。

本発明の第２の態様に係る画像処理装置によれば、特定された主要被写体領域を中心にして特定場面の画像データを解析し、その画質特性を取得し、取得した画質特性を用いて、特定場面の画像データに対して画質調整を実行することができるので、動画像データまたは連写画像データといった時系列に連続する複数の画像データから切り出された静止画像データ（画像データ）に対して、主要被写体の画質の向上を中心とした画像処理を行うことができる。

本発明の第２の態様に係る画像処理装置において、前記特定場面の画像データの解析による、前記特定された主要被写体領域を中心にした前記特定場面の画像データの画質特性の取得は、前記特定された主要被写体画像領域の画像データに対する解析頻度を、前記特定された主要被写体画像領域以外の前記特定場面の画像データに対する解析頻度よりも高くすることにより実行されてもよい。かかる場合には、特定された主要被写体画像領域の画像データのサンプリング数が、主要被写体画像領域以外の特定場面の画像データのサンプリング数よりも多くなるので、主要被写体画像領域の画像データの画質特性を中心として、特定場面の画像データの画質の特性を取得することができる。

本発明の第２の態様に係る画像処理装置において、前記特定場面の画像データの解析による、前記特定された主要被写体領域を中心にした前記特定場面の画像データの画質特性の取得は、前記特定された主要被写体領域の画像データから得られた画質の特性に対する重み付けを、前記特定された主要被写体領域以外の前記特定場面の画像データから得られた画質の特性に対する重み付けよりも重くすることによって実行されてもよい。かかる場合には、特定された主要被写体領域の画像データから得られた画質の特性に対する重み付けが、主要被写体領域の画像データ以外の特定場面の画像データから得られた画質の特性に対する重み付けより重くなるので、主要被写体領域の画像データの画質特性を中心として、特定場面の画像データの画質の特性を取得することができる。

本発明の第２の態様に係る画像処理装置において、前記特定場面の画像データに対する画質調整は、前記取得された画質特性を用いて、予め設定されている補正量を増減することによって実行されても良い。かかる場合には、各特定場面の画像データの画質特性に応じた補正量によって、各特定場面の画像データに対する画質調整を行うことができる。

本発明の第３の態様は、時系列に連続する複数の画像データから取得された画像データに対して画像処理を実行する画像処理方法を提供する。本発明の第３の態様に係る画像処理方法は、前記時系列に連続する複数の画像データから１つの画像データを特定画像データとして特定し、前記特定画像データに連続する画像データを、連続画像データとして前記時系列に連続する複数の画像データから取得し、前記特定画像データおよび前記連続画像データとを用いて、前記特定画像データ中における主要被写体画像データを特定し、前記特定画像データを解析し、前記特定された主要被写体画像データを中心にして前記特定画像データの画質の特性を取得し、前記取得された画質特性を用いて前記特定画像データに対して画質調整を実行することを特徴とする。

本発明の第３の態様に係る画像処理方法によれば、本発明の第１の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第３の態様に係る画像処理方法は、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。

本発明の第４の態様は、時系列に連続する複数の画像データから取得された画像データに対して画像処理を実行する画像処理方法を提供する。本発明の第４の態様に係る画像処理方法は、前記時系列に連続する複数の画像データから１つの場面を特定場面として特定し、前記特定場面から所定時間内の他の場面を、連続場面として前記時系列に連続する複数の画像データから取得し、前記特定場面の画像データおよび前記連続場面の画像データとを用いて、前記特定場面中における主要被写体領域を特定し、前記特定場面の画像データを解析し、前記特定した主要被写体領域を中心にして前記特定場面の画像データの画質特性を取得し、前記取得した画質特性を用いて、前記特定場面の画像データに対して画質調整を実行することを特徴とする。

本発明の第４の態様に係る画像処理方法によれば、本発明の第２の態様に係る画像処理装置と同様の作用効果を得ることができると共に、本発明の第４の態様に係る画像処理方法は、本発明の第２の態様に係る画像処理装置と同様にして種々の態様にて実現され得る。

本発明の第５の態様は、時系列に連続する複数の画像データから選択された１つの画像データに対してメタデータを関連付けて出力する画像データ生成装置を提供する。本発明の第５の態様に係る画像データ生成装置は、前記時系列に連続する複数の画像データから１つの画像データを特定画像データとして特定する特定手段と、前記特定画像データに連続する画像データを、連続画像データとして前記時系列に連続する複数の画像データから取得する連続画像データ取得手段と、前記特定画像データおよび前記連続画像データを用いて、前記特定画像データにおいて主要な被写体を表す主要被写体領域を特定する主要被写体領域特定手段と、特定された前記主要被写体領域に関する情報または特定された前記主要被写体領域に関する情報を用いて生成された情報を含むメタデータと前記特定した特定画像データとを関連付けて出力する特定画像データ出力手段とを備えることを特徴とする。

本発明の第５の態様に係る画像データ生成装置によれば、特定された主要被写体領域に関する情報または特定された主要被写体領域に関する情報を用いて生成された情報を含むメタデータと特定した特定画像データとを関連付けて出力することができる。したがって、画質補正装置における、動画像データまたは連写画像データといった時系列に連続する複数の画像データから切り出された静止画像データ（画像データ）に対する、主要被写体の画質の向上を中心とした画質調整処理を可能にする。本発明の第５の態様に係る画像データ生成装置は、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得ると共に、同様の作用効果を得ることができる。

本発明の第６の態様は、画像データに関連付けられたメタデータを用いて画像データに対する画質調整処理を実行する画質補正装置を提供する。本発明の第６の態様に係る画質補正装置は、本発明の第５の態様に係る画像データ生成装置から特定画像データおよび特定画像データに関連付けられたメタデータを取得する取得手段と、前記取得したメタデータを用いて前記取得した特定画像データに対する画質調整処理を実行する画質調整手段とを備えることを特徴とする。

本発明の第６の態様に係る画質補正装置によれば、取得したメタデータを用いて取得した特定画像データに対する画質調整処理を実行するので、動画像データまたは連写画像データといった時系列に連続する複数の画像データから切り出された静止画像データ（画像データ）に対する、主要被写体の画質の向上を中心とした画質調整処理を実行することができる。本発明の第６の態様に係る画像データ生成装置は、本発明の第１の態様に係る画像処理装置と同様にして種々の態様にて実現され得ると共に、同様の作用効果を得ることができる。

本発明の第３および第４の態様に係る画像処理方法は、この他にも、画像処理プログラム、および画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。本発明の第５の態様に係る画像データ生成装置および第６の態様に係る画質補正装置は、この他にも、それぞれ、画像データ生成方法、画像データ生成プログラム、画質補正方法、画質補正プログラム、画像データ生成プログラム、および画質補正プログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。

本発明の第１および第２の態様に係る画像処理装置、本発明の第３および第４の態様に係る画像処理方法、本発明の第５の態様に係る画像データ生成装置、および本発明の第６の態様に係る画質補正装置において、前記時系列に連続する複数の画像データは、動画像データであっても良い。

以下、本発明に係る画像処理装置および画像処理方法について図面を参照しつつ、実施例に基づいて説明する。なお、画像処理装置は、第２の実施例において示すように、画像データ生成装置および画質補正装置として実現されても良い。

・第１の実施例：
図１を参照して第１の実施例に係る画像処理装置を含む画像処理システムについて説明する。図１は第１の実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。

画像処理システムは、動画像データを生成する入力装置としてのディジタルビデオカメラ１１（動画像撮影可能なディジタルスチルカメラを含む）および動画像データを格納するネットワーク上のサーバ１２を含む動画像データリソース１０、動画像データリソース１０から取得した動画像データから切り出したフレーム画像データ（静止画像データ）に対して画質調整処理を実行する画像処理装置としてのパーソナルコンピュータ２０、画質調整処理が施されたフレーム画像データを用いて画像を出力する出力装置としてのカラープリンタ３０を備えている。なお、カラープリンタ３０は、パーソナルコンピュータ２０が備える画像処理機能を備えていても良く、かかる場合には、スタンドアローンにて、画像処理、画像出力を実行することができる。また、出力装置としては、プリンタ３０の他に、ＣＲＴディスプレイ、ＬＣＤディスプレイ等のモニタ２５、プロジェクタ等が用いられ得る。以下の説明では、パーソナルコンピュータ２０と接続されて用いられるカラープリンタ３０を出力装置として用いるものとする。

パーソナルコンピュータ２０は、一般的に用いられているタイプのコンピュータであり、動画像データからフレーム画像データ（静止画像データ）を切り出す処理、切り出したフレーム画像データにおける主要被写体画像データを中心とする画質特性の解析処理、解析処理に基づいた画像処理を始めとする各処理演算を実行する中央演算装置（ＣＰＵ）２００、入力された動画像データ、切り出されたフレーム画像データ、演算結果等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）２０１、動画像データから切り出されたフレーム画像データに対する各種画像処理を実行するためのプログラムを始めとする各種制御プログラムを格納するハードディスク（ＨＤＤ）２０２（またはリードオンリメモリ（ＲＯＭ））を備えている。パーソナルコンピュータ２０は、この他にも、ディジタルビデオカメラ１１等からの接続ケーブルを接続するための入出力端子（ディジタル端子、アナログ端子）２０３を備え、さらに、メモリカードを装着するためのメモリカードスロットを備えていても良い。

本実施例では、パーソナルコンピュータ２０はさらに、動画像データから切り出した主要被写体画像データを装飾して静止画像データを生成するための装飾画像データ、およびレイアウト制御情報をＨＤＤ２０２に格納している。装飾画像データは、例えば、枠画像のデータ、複数の主要被写体画像データを貼り付けるアルバム台紙画像のデータであり、ビットマップデータ、ベクトルデータのいずれであっても良い。レイアウト制御情報は、装飾画像データに対する主要被写体画像データの配置位置、配置寸法を規定すると共に装飾画像データに対応付けられており、装飾画像データに対する主要被写体画像データの配置位置および配置寸法を規定するスクリプトによって記述されている。

ディジタルビデオカメラ１１は、光の情報をディジタルデバイス（ＣＣＤや光電子倍増管といった光電変換素子）に結像させることにより動画像を取得するカメラであり、光情報を電気情報に変換するためのＣＣＤ等を備える光電変換回路、光電変換回路を制御してディジタル動画像データを生成するための動画像データ生成回路、生成したディジタル動画像データを加工処理するための画像処理回路等を備えている。ディジタルビデオカメラ１１は、取得したディジタル動画像データを記憶装置としての磁気テープ、光記録媒体といった記録媒体に保存する。ディジタルビデオカメラ１１における動画像データのデータフォーマットとしては、１秒間に３０の画像データ（静止画像データ）から構成されるＤＶフォーマットが一般的である。この他にも、基準画像データと基準画像データに対する動きベクトル（差分情報）を保存することで高い圧縮性を実現したＭＰＥＧ２フォーマットが知られている。なお、この他にも、ＡＶＩ、ＭＰＥＧ１を始めとする様々なデータフォーマットが用いられ得ることは言うまでもない。このように、本実施例において、動画像データＭＤとは、時系列的に並ぶ複数のフレーム画像データから形成される動画像データ、基準画像データと基準画像データに対する差分情報とから形成される動画像データ、時間情報により特定の場面を切り出すことができる動画像データのいずれをも意味する。すなわち、複数のフレーム画像データから構成される動画像データＭＤとは、複数のフレーム画像データが時系列的に並ぶものの他、特定場面（時間）の静止画像データを切り出すことができる動画像データを意味する。

サーバ１２は、ユーザがアップロードした動画像データ、コンテンツプロバイダが提供した動画像データをハードディスクドライブに格納している。サーバ１２は、静止画像データ生成装置であるパーソナルコンピュータ２０の要求に応じて、ネットワークを介して動画像データを配信する。

ディジタルビデオカメラ１１において生成された動画像データは、例えば、ケーブルＣＶを介して、または、メモリカードを介してパーソナルコンピュータ２０に転送される。パーソナルコンピュータ２０にて生成された静止画像データは、ケーブルＣＶを介してカラープリンタ３０に送出される。あるいは、プリンタ３０が静止画像データ生成機能を有する場合には、ディジタルビデオカメラ１１にて動画像データが格納されたメモリカードがプリンタ３０に対して装着されることによって動画像データがカラープリンタ３０に転送される。なお、以下の説明では、画像データに対する画像処理がパーソナルコンピュータ２０にて実行され、処理済みの画像データがカラープリンタ３０に対して出力される場合について説明する。

カラープリンタ３０は、カラー画像の出力が可能なプリンタであり、例えば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。あるいは、カラートナーを印刷媒体上に転写・定着させて画像を形成する電子写真方式のプリンタである。色インクには、上記４色に加えて、ライトシアン（薄いシアン、ＬＣ）、ライトマゼンタ（薄いマゼンタ、ＬＭ）、レッド、ブルーを用いても良い。

パーソナルコンピュータ２０における画像処理：
図２を参照して、パーソナルコンピュータ２０（ＣＰＵ２００）の機能的構成の概要について説明する。図２は第１の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。なお、以下の説明では、時系列に連続する複数の画像データの一例として、動画像データを用いる。時系列に連続する複数の画像データとしては、この他に、連続的に撮影されることによって得られる連写画像データが含まれ得る。

パーソナルコンピュータ２０は、複数のフレーム画像データから構成されている動画像データＭＤを動画像データ取得部２１において取得し、取得した動画像データＭＤから任意の１場面（１つのフレーム画像データ）をフレーム画像データ特定部２２において特定する。パーソナルコンピュータ２０は、特定されたフレーム画像データに連続するフレーム画像、例えば、１フレーム前後のフレーム画像データを連続フレーム画像データ取得部２３において取得する。

パーソナルコンピュータ２０は、特定したフレーム画像データ（特定画像データ）と取得した連続フレーム画像データ（連続画像データ）とを用いて、特定したフレーム画像データの中心的な被写体に対応する主要被写体画像データを主要被写体画像データ特定部２４において特定する。パーソナルコンピュータ２０は、画質特性値取得部２５において、特定された主要被写体画像データを画素単位にて走査して、主要被写体画像データの画質の特性を示す画質特性値（画像統計値）を取得し、予め用意されている基準値と取得した画質特性値とを用いて特定したフレーム画像データに対する補正量を決定する。パーソナルコンピュータ２０は、画質調整部２６において、フレーム画像データ特定部２２において特定されたフレーム画像データに対して決定された補正量を適用してその画質を調整（補正）して、出力用の画像データＧＤを出力する。

図３〜図１３を参照して第１の実施例に係るパーソナルコンピュータ２０において実行される画像処理について説明する。図３は第１の本実施例に係るパーソナルコンピュータ２０において実行される画像処理の処理ルーチンを示すフローチャートである。図４は主要被写体画像データを特定するために実行される処理ルーチンを示すフローチャートである。図５は複数のブロックに分割されたフレーム画像データを模式的に示す説明図である。図６は特定されたフレーム（Ｉ）に対応するフレーム画像データを模式的に示す説明図である。図７は特定されたフレーム（Ｉ）の次のフレーム（Ｉ＋１）に対応するフレーム画像データを示すと共に、ブロックの移動の様子を示す説明図である。図８はフレーム（Ｉ）に相当するフレーム画像データの具体例を示す説明図である。図９はフレーム（Ｉ＋１）に相当するフレーム画像データの具体例を示す説明図である。図１０は図８に示すフレーム（Ｉ）および図９に示すフレーム（Ｉ＋１）から求められた主要被写体画像データ（領域）を模式的に示す説明図である。図１１はフレーム（Ｉ）に相当するフレーム画像データの他の具体例を示す説明図である。図１２はフレーム（Ｉ＋１）に相当するフレーム画像データの他の具体例を示す説明図である。図１３は図１１に示すフレーム（Ｉ）および図１２に示すフレーム（Ｉ＋１）から求められた主要被写体画像データ（領域）を模式的に示す説明図である。

本実施例において実行される画像処理は、例えば、パーソナルコンピュータ２０にメモリカードが装着されたとき、あるいは、通信ケーブルを介してディジタルビデオカメラ１１がパーソナルコンピュータ２０に接続されたときに開始されてもよく、あるいは、キーボード等を介してユーザによって画像処理が指示された場合に実行されてもよい。

パーソナルコンピュータ２０（ＣＰＵ２００）は、画像処理を開始すると、ユーザにより選択された動画像データＭＤを取得してＲＡＭ２０１に一時的に格納する（ステップＳ１００）。動画像データＭＤの選択は、例えば、パーソナルコンピュータ２０上においてユーザによってキーボード等を介して行われ、１または複数の動画像データＭＤが選択され得る。あるいは、パーソナルコンピュータ２０のＨＤＤ２０２に格納されている複数の動画像データＭＤ、ネットワーク上のサーバ１２に格納されている複数の動画像データＭＤ等の中から、ＣＰＵ２００によって無作為に選択されても良い。

ＣＰＵ２００は、取得された動画像データＭＤから切り出しフレーム画像データＫＤ（特定画像データ）を特定する（ステップＳ１１０）。切り出すべきフレーム画像データは、一般的には、キーボード、マウスといった入力デバイスを介してユーザによって指定され、ＣＰＵ２００は、入力された指定情報に基づいて切り出しフレーム画像データＫＤをフレーム番号、時間によって特定する。ユーザは動画像データＭＤを再生してモニタ２５に表示し、コマ送り、コマ戻し、一時停止等の機能を利用して、静止画像データにしたい切り出し位置（フレーム位置、フレーム番号、フレーム時間）、すなわち、切り出しフレーム画像データＫＤを指定する。なお、本実施例におけるフレーム画像データとは、動画像データＭＤを構成する複数の静止画像データを意味するほか、基準となる画像データ、差分情報、および時間情報を用いて動的に生成される静止画像データをも意味する。

動画像データＭＤが、複数のフレーム画像データ（静止画像データ）から構成されるＤＶフォーマットを有する場合には、ユーザによるフレーム画像データの指定は、切り出しフレーム画像データＫＤを直接特定することになる。これに対して、動画像データＭＤが、基準フレーム（Ｉピクチャ）とＩピクチャに対する差分情報のみを有するＰピクチャ、ＢピクチャからなるＭＰＥＧ２フォーマットを有する場合には、ユーザによって指定されたフレーム画像データは、動画像データＭＤ中にはフレーム画像データとしては存在しない。そこで、ＣＰＵ２００は、ユーザにより指定されたフレーム画像データに対応する時間情報を用いて、差分情報をもとにして基準フレーム（Ｉピクチャ）から切り出しフレーム画像データＫＤを生成する。

ＣＰＵ２００は、切り出しフレーム画像データＫＤを特定すると、切り出しフレーム画像データＫＤに連続する連続フレーム画像データＲＤ（連続画像データ）を取得する（ステップＳ１２０）。連続フレーム画像データＲＤは、切り出しフレーム画像データＫＤのフレーム番号がＩである場合、１つ前（Ｉ−１）または１つ後（Ｉ＋１）のフレーム番号に対応するフレーム画像データから取得される。なお、本実施例では、１つ後のフレーム番号に対応するフレーム画像データを連続フレーム画像データＲＤとして取得する。

ＣＰＵ２００は、切り出しフレーム画像データＫＤと連続フレーム画像データＲＤとを用いて、切り出しフレーム画像中における撮影の中心となる被写体画像に対応する主要被写体画像データＯＤを特定する（ステップＳ１３０）。この特定処理では、動きベクトルを用いて、連続フレーム画像データＲＤとの対比において切り出しフレーム画像データＫＤにおける動きの少ない領域（画素データ、ブロック画素データ）を特定し、特定した領域を主要被写体画像データとして取り扱う。

図４を参照して、主要被写体画像データＯＤの特定処理について詳述する。ＣＰＵ２００は、切り出しフレーム画像データＫＤ（フレーム（Ｉ））を図５に示すように、ｍ×ｎの画素データから構成される複数のブロックＢＬＫ_kに分割する。例えば、フレームとブロックと縦横比がが同じになるように、８×８から１６×１６程度に縦横同数分割されても良く、縦横が異数分割されても良い。分割ブロック数が多いほど主要被写体画像データの特定精度は上がり、特に、ズーム・ワイドシーン（フレーム）においては、主要被写体の動きがほとんどないため、分割ブロック数は多いことが望ましい。

ＣＰＵ２００は、ブロック番号（ｋ）を初期化し（ステップＳ２００）、図６に示す切り出しフレーム画像データＫＤ（フレーム（Ｉ））におけるブロックＢＬＫ_kの、図７に示す連続フレーム画像データＲＤ（フレーム（Ｉ＋１））に対する移動量ＢＶ_kを算出する（ステップＳ２１０）。

移動量ＢＶ_kの算出手法の一例について以下説明する。
・フレーム（Ｉ）の座標(ｘ,ｙ)の画素値をＰ０(ｘ,ｙ)
・フレーム（Ｉ＋１）の座標(ｘ,ｙ)の画素値をＰ１(ｘ,ｙ)
・フレーム（Ｉ＋１）におけるブロックＢＬＫの座標移動量を(ｄｘ,ｄｙ)
・フレーム（Ｉ＋１）におけるブロックＢＬＫの移動後の座標(ｘ＋ｄｘ,ｙ＋ｄｙ)の画素値をＰ１(ｘ＋ｄｘ,ｙ＋ｄｙ)
・移動しきい値をＢＶref 切り出しフレーム画像データの縦横寸法のうち長い寸法をＣｍａｘとすると、ＢＶref＝Ｃｍａｘ/２０
とする。なお、座標（ｘ,ｙ）は、フレーム画像データ全体における座標を示す。

ＣＰＵ２００は、画素値Ｐ０(ｘ,ｙ)と画素値Ｐ１(ｘ＋ｄｘ,ｙ＋ｄｙ)との画素差分値ＤＩＦ(ｄｘ,ｄｙ)を次の式（１）から算出する。

ＤＩＦ(ｄｘ,ｄｙ)＝Σabs(Ｐ０(ｘ,ｙ)−Ｐ１(ｘ＋ｄｘ,ｙ＋ｄｙ)) 式（１）
ただし、ΣはＢＬＫ_k内の全ての座標（ｘ、ｙ）についての和である。

具体的には、ＣＰＵ２００は、式（１）に対して、ｄｘおよびｄｙを−ＢＶref＜ｄｘ，ｄｙ＜ＢＶrefの範囲にて順次当てはめ、ＤＩＦ(ｄｘ,ｄｙ)が最小となる最小座標移動量(ｄｘmin,ｄｙmin)を求める。したがって、(ｘ＋ｄｘmin,ｙ＋ｄｙmin)が、フレーム（Ｉ）におけるブロックＢＬＫ_k内の座標（ｘ,ｙ)の、フレーム（Ｉ＋１）における移動先の座標となる。

ＣＰＵ２００は、以下の式（２）からブロックＢＬＫの移動量ＢＶ_kを求める。

ＢＶ_k＝(ｄｘmin²＋ｄｙmin²)^1/2式（２）

ＣＰＵ２００は、算出したブロックＢＬＫ_kの移動量ＢＶ_kが判定しきい値ＢＶref以上であるか否かを判定する（ステップＳ２２０）。すなわち、対象となっているブロックＢＬＫ_kの移動量ＢＶ_kが、移動していないと見なせる範囲内にあるか否かが判定される。すなわち、ブロックＢＬＫ_kの移動量が０または微変動（微変化）であるか否かが判定される。

ＣＰＵ２００は、ＢＶ_k≧ＢＶrefであると判定した場合には（ステップ２２０：Ｙｅｓ）、ブロックＢＬＫ_kに移動マークを付し（ステップＳ２３０）、ステップＳ２４０に移行する。一方、ＣＰＵ２００は、ＢＶ_k≧ＢＶrefでないと判定した場合には（ステップ２２０：Ｎｏ）、移動マークを付すことなくステップＳ２４０に移行する。

ＣＰＵ２００は、周辺領域ブロックＰＢＬＫを除く全てのブロックについて移動量ＢＶを判定する処理を終えたか否かを判定し（ステップＳ２４０）、終えたと判定した場合には（ステップＳ２４０：Ｙｅｓ）、本処理ルーチンを終了し、図３のフローチャートの処理にリターンする。周辺領域ブロックＰＢＬＫを除くのは、一般的に主要な被写体は画像データの中心に捉えられていることが多く、周辺領域の画像データは主要な被写体の移動に伴い、前後のフレーム画像データにおいては消失している可能性が高いからである。

ＣＰＵ２００は、周辺領域ブロックＰＢＬＫを除く全てのブロックについて移動量ＢＶを判定する処理を終えていないと判定した場合には（ステップＳ２４０：Ｎｏ）、ブロックＢＬＫ_kの番号ｋを更新し（ステップＳ２５０）、次のブロックＢＬＫ_k+1についてステップＳ２１０〜Ｓ２４０の各処理を実行する。

図３に戻り説明を続けると、ＣＰＵ２００は、特定した主要被写体画像データＯＤを中心に切り出しフレーム画像データＫＤの解析を実行する（ステップＳ１５０）。既述のように、切り出しフレーム画像データＫＤ（フレーム（Ｉ））の各ブロックＢＬＫ_kのうち、連続フレーム画像データＲＤ（フレーム（Ｉ＋１））において移動していると判断されたブロックＢＬＫ_kには、移動マークが設定されている。したがって、移動マークの付されていないブロックＢＬＫ_kは、切り出しフレーム画像データＫＤ（フレーム（Ｉ））における、動きの少ない領域、すなわち、主要被写体画像データＯＤに対応する。したがって、移動マークの付されていないブロックＢＬＫ_kと移動マークが付されているブロックＢＬＫとを区別した画質特性の解析が可能となる。

図８〜図１３を参照して具体例に基づいて説明する。図８〜図１０は移動する主要被写体を追って撮影が行われた場合の例示であり、図１１〜図１３は主要被写体に対してズーム撮影が行われた場合の例示である。主要被写体が移動する場合、一般的に、主要被写体が画像の中心に位置するように、すなわち、主要被写体の位置が移動しないように撮影される。この結果、図８および図９に示すように、切り出しフレーム画像データＫＤにおける主要被写体画像データＯＤの領域位置と、連続フレーム画像データＲＤにおける主要被写体画像データＯＤの領域位置は、ほぼ同じである。この結果、移動マークが付されていないブロックは斜線で示すブロックＢＬＫ’となり、これらブロックＢＬＫ’によって形成される領域の画像データが主要被写体画像データＯＤに対応する。

主要被写体がズームされる場合には、主要被写体は画像の中心から移動することはなく、画像における主要被写体の専有面積が増大する。この結果、図１１および図１２に示すように、切り出しフレーム画像データＫＤにおける主要被写体画像データＯＤの中心位置と、連続フレーム画像データＲＤにおける主要被写体画像データＯＤの中心位置は同じである。この結果、移動マークが付されていないブロックは斜線で示すブロックＢＬＫ’となり、これらブロックＢＬＫ’によって形成される領域の画像データが主要被写体画像データＯＤに対応する。

画質特性値の解析は、具体的には、切り出しフレーム画像データＫＤを構成する複数の画素データを画素単位にて走査し、Ｒ、Ｇ、Ｂ各成分、およびＹ（輝度）成分についてヒストグラムを生成する。ＣＰＵ２００はまた、Ｒ、Ｇ、Ｂ各成分、およびＹ（輝度）成分について、例えば、平均値、最小値、最大値、中央値、分散といった各特性値（統計値）を算出する。そして、例えば、以下の手法によって主要被写体画像データＯＤを中心としたフレーム画像データＫＤの画質特性値の取得を実行することができる。

（１）移動マークが付されているブロックＢＬＫと移動マークが付されていないブロックＢＬＫ’とにおいてサンプリング数を変更する。
例えば、移動マークが付されていないブロックＢＬＫ’に対しては、全画素をサンプリングし、移動マークが付されているブロックＢＬＫに対しては縦横２画素毎にサンプリングを実行する。この結果、得られる画質特性値は、より多くサンプリングされた主要被写体画像データＯＤの画質特性値の影響を受け、主要被写体画像データＯＤの画質特性値に重きを置いたフレーム画像データＫＤの画質特性値を取得することができる。

（２）各ブロックＢＬＫ毎に作成されたヒストグラムを合計して切り出しフレーム画像データ全体のヒストグラムを作成する際に、重み付けを変える。
例えば、移動マークが付されていないブロックＢＬＫ’のヒストグラムは出現頻度を４倍にして、移動マークが付されているブロックＢＬＫのヒストグラムと合算する。この結果、得られる画質特性値は、重み付けられた主要被写体画像データＯＤのヒストグラム（画質特性値）の影響を受け、主要被写体画像データＯＤの画質特性値に重きを置いたフレーム画像データＫＤの画質特性値を取得することができる。

（３）ブロックＢＬＫに移動マークが付されているか否かに応じて、得られた画質特性値に重み付けをして、切り出しフレーム画像データＫＤ全体の画質特性値とする。
例えば、移動マークが付されていないブロックＢＬＫ’の平均輝度をＹｗ、移動マークが付されているブロックＢＬＫの平均輝度をＹｂとした場合に、切り出しフレーム画像データＫＤ全体の平均輝度Ｙaveを、
Ｙave＝（４Ｙｗ＋Ｙｂ）／５
とする。この結果、得られる画質特性値は、重み付けられた主要被写体画像データＯＤの画質特性値に影響を受け、主要被写体画像データＯＤの画質特性値に重きを置いたフレーム画像データＫＤの画質特性値を取得することができる。

ＣＰＵ２００は、解析結果に基づいて切り出しフレーム画像データＫＤに対する画質の補正量を決定する（ステップＳ１６０）。すなわち、上記手法により主要被写体画像データＯＤを中心とする切り出しフレーム画像データＫＤの解析によって算出した各特性値を用いて画質に関するパラメータである各画質パラメータに対する補正量を算出する。

画質パラメータとしては、例えば、コントラスト、明度（明るさ）、カラーバランス、彩度、シャープネスといった画質に関するパラメータが用いられる。各画質パラメータについての補正量は、例えば、取得された特性値（各画質パラメータ値）と各画質パラメータについて予め定められている画質の基準となる基準画質パラメータ値とを用いて、両者の差分値の絶対値を０とするように、または低減するように決定される。低減の度合いは予め定められていても良く、両者の差分値の絶対値の大きさによって段階的に定められていても良く、あるいは、ユーザによって設定可能とされていても良い。さらに、動画像データＭＤに低減レベルを規定する情報を持たせておいて、かかる情報に基づいて決定されても良い。ここで、基準画質パラメータ値は、見栄えの良い画質を実現するために各画質パラメータについて実験的に求められた値である。

ＣＰＵ２００は、決定された補正量を用いて切り出しフレーム画像データＫＤに対する画質調整処理を実行する（ステップＳ１７０）。画質調整は、例えば、シャドウ、ハイライト、明度、コントラスト、カラーバランス、記憶色補正の各画質パラメータに対しては、切り出しフレーム画像データＫＤのＲＧＢ成分またはＹ成分の入力レベルと出力レベルとを対応付けるトーンカーブ（Ｓカーブ）、ヒストグラムを用いて実行される。具体的には、各画質パラメータについて定められている入力レベル上の各ポイントに各画質パラメータについての補正量を適用してＲＧＢの各成分およびＹ成分についてのトーンカーブをそれぞれ変更する。補正量が適用された適用点以外の値はスプライン曲線にて補間される。最後に、変更したＲＧＢの各成分およびＹ成分に対応する各トーンカーブを用いて、切り出しフレーム画像データＫＤのＹ成分、Ｒ、Ｇ、Ｂの各成分について入力−出力変換が行われる。この結果、画質が調整された切り出しフレーム画像データＫＤが出力用の画像データＧＤ（静止画像データ）として得られる。

あるいは、ヒストグラムを用いた画質調整処理では、切り出しフレーム画像データＫＤの解析により得られたシャドウポイントおよびハイライトポイントと、基準パラメータ値とを用いてレベル補正値を決定し、決定したレベル補正値を用いてレベル補正を実行し、ヒストグラムの伸張を実行する。

ＣＰＵ２００は、画質調整処理を終えた切り出しフレーム画像データＫＤを出力画像データとしてプリンタドライバ、表示ディスプレイドライバに出力して（ステップＳ１８０）、本処理ルーチンを終了する。プリンタドライバでは、ルックアップテーブル等を用いたＲＧＢ−ＣＭＹＫ色変換処理、ハーフトーン処理等が実行され、例えば、出力画像データを印刷制御コマンド付きのラスタデータとしてプリンタ３０へと出力する。この結果、動画像データＭＤから切り出された切り出しフレーム画像データＫＤの出力画像が得られる。

以上説明したように、第１の実施例に係る画像処理装置としてのパーソナルコンピュータ２０によれば、動画像データＭＤから切り出されたフレーム画像データＫＤに対して画質調整処理を実行するにあたり、主要被写体画像データＯＤの画質特性を中心とした画質調整処理を実行することができる。すなわち、主要被写体画像データＯＤの画質特性を、切り出しフレーム画像データＫＤにおける主要被写体画像データＯＤ以外の画像データの画質特性よりも優先し、切り出しフレーム画像データＫＤに対する補正量が決定される。したがって、決定される補正量は、出力画像の中心となるべき、主要被写体画像データＯＤに適した補正量となり、見栄えの良い主要被写体画像を得ることができる。また、出力画像の中心となる主要被写体画像データＯＤの出力画像が最適化されることにより、切り出しフレーム画像データＫＤの出力画像としても質の高い、見栄えを良い出力結果を得ることができる。

また、パーソナルコンピュータ２０は、主要被写体画像データＯＤを特定するにあたり、連続する２つのフレーム画像データを用いて、切り出しフレーム画像データＫＤにおいて出力画像の中心となるべき主要被写体画像データＯＤを特定するので、ユーザは、切り出しを所望する主要被写体が含まれている１つのフレーム画像データを選択するだけで、主要被写体画像データに対して最適な画質調整処理が施された切り出しフレーム画像データＫＤの出力画像を得ることができる。

・第２の実施例：
図１４〜図１７を参照して第２の実施例について説明する。第２の実施例では、第１の実施例に係る画像処理装置が、画像データ生成装置と画質補正装置とによって実現される。すなわち、切り出しフレーム画像データＫＤの切り出し（例えば、アプリケーション機能）と、切り出しフレーム画像データＫＤに対する画質調整（例えば、ドライバ機能）とがそれぞれ別々に実行される。図１４は第２の実施例に係る画像データ生成装置の機能的な構成を示す機能ブロック図である。図１５は切り出しフレーム画像データにおける主要被写体領域と各ブロックに割り当てられた重み付け係数の一例を示す説明図である。図１６は第２の実施例に係る画像データ生成装置によって切り出しフレーム画像データに関連付けられるメタデータの一例を示す説明図である。図１７は第２の実施例に係る画質補正装置の機能的な構成を示す機能ブロック図である。

画像データ生成装置４０は、各種演算処理を実行するＣＰＵ、各種実行モジュールおよびサブモジュールを格納するメモリを備えており、ＣＰＵが各種実行モジュールおよびサブモジュールを実行することによって、画像データ生成装置４０の各種機能が実現される。画像データ生成装置４０は、例えば、ディジタルビデオカメラ、ディジタルスチルカメラ、パーソナルコンピュータとして実現され得る。また、画像データ生成装置４０の機能は、アプリケーションプログラムとしても実現され得る。以下、各実行モジュールおよびサブモジュールを用いて画像データ生成装置４０の動作について説明する。

動画像データ取得モジュール４１は、時系列に連続する複数の画像データから形成される動画像データＭＤを取得する。特定画像データ特定モジュール４２は、取得された動画像データＭＤの中から１つの画像データを特定画像データ（切り出しフレーム画像データＫＤ）として特定する。連続画像データ取得モジュール４３は、特定された切り出しフレーム画像データに連続する複数の画像データ（連続フレーム画像データＲＤ）を取得する。

主要被写体領域特定モジュール４４は、取得された切り出しフレーム画像データＫＤと連続フレーム画像データＲＤとを用いて切り出しフレーム画像データＫＤにおける主要被写体領域を特定する。主要被写体領域特定モジュール４４は、更に、切り出しフレーム画像データＫＤを複数のブロックに分割する分割サブモジュール４４１および連続フレーム画像データＲＤにおける分割された各ブロックの移動量を算出して第１のブロック（移動マークが付されていないブロック）と第２のブロック（移動マークが付されているブロック）とに分類するする移動量算出モジュール４４２を備えても良い。主要被写体領域の具体的な特定手法、ブロックの移動量の算出および分類の手法については第１の実施例において説明済みであるから説明を省略する。

重み付けモジュール４５は、主要被写体領域特定モジュール４４よって特定された主要被写体領域あるいは移動マークが付されていないブロックに対して、重み付けを行う。この重み付けについて図１５を参照して説明する。図１５に示す例では、太線で囲まれた領域ＴＡ１が主要被写体領域（移動マークが付されていないブロック）に該当し、残りの領域が主要被写体領域以外の領域（移動マークが付されているブロック）に該当する。
なお、主要被写体領域またはブロックに対して移動マークを付すことなく、直接重み付け係数を割り当てても良いことは言うまでもない。より具体的には、移動量が判定しきい値未満のブロックに対しては、移動量が判定しきい値以上のブロックに対して割り当てる重み付け係数よりも大きな重み付け係数を割り当てる。あるいは、各ブロックに対してデフォルト値として重み付け係数１を割り当てておき、移動量が判定しきい値未満のブロックに対して１より大きな重み付け係数を割り当てても良い。

図１５に示す例では、主要被写体領域ＴＡ１に属するあるいは含まれるブロックには重み付け係数４が割り当てられ、主要被写体領域ＴＡ１以外の領域に属するあるいは含まれるブロックには重み付け係数１が割り当てられている。なお、主要被写体領域ＴＡ１に属するあるいは含まれるブロックに対する重み付け係数が、主要被写体領域ＴＡ１以外の領域に属するあるいは含まれるブロックに対する重み付け係数よりも大きければ良い。また、基準となる重み付け係数が１の場合には、図１５の例では、主要被写体領域ＴＡ１に属するあるいは含まれるブロックに対してのみ重み付け係数が割り当てられており、主要被写体領域ＴＡ１以外の領域に属するあるいは含まれるブロックに対しては重み付け係数が割り当てられていないと言うこともできる。さらに、複数の判定しきい値を用いてブロックの移動量を判定することで、例えば、主要被写体領域、主要被写体領域周縁部、その他の領域のように各ブロックをより細かく分類することができる。この場合には、主要被写体領域の画質の向上を中心とした画質調整を実行することができると共に、主要被写体領域とその他の領域との境界における画質のギャップを低減することができる。

画質特性値取得モジュール４６は、主要被写体領域の情報または重み付け係数を用いて、主要被写体領域における画質特性値に重点をおいた画質特性値を取得する。すなわち、切り出しフレーム画像データＫＤの画質特性値として、主要被写体領域の画質の特性、例えば、カラーバランス、彩度、シャープネス、明度を反映した画質特性値が得られる。

補正量決定モジュール４７は、画質特性値取得モジュール４６によって取得された画質特性値を用いて、切り出しフレーム画像データＫＤに対して適用する補正量（画質補正量）を決定する。

特定画像データ出力モジュール４８は、重み付けモジュール４５によって付された重み付け係数、画質特性値取得モジュール４６によって取得された画質特性値、補正量決定モジュール４７によって決定された補正量の少なくとも１つの情報をメタデータとして、切り出しフレーム画像データＫＤに関連付けて出力する。

メタデータは例えば、図１６に示す情報を格納している。図１６の例では、重み付け係数については、各ブロックの位置情報と重み付け係数とが対応付けられて記述され、画質特性値については、Ｒ・Ｇ・Ｂ・Ｙ各成分の最大値、最小値、平均値、カラーバランスのずれ量、彩度特性値、シャープネスといった統計値が記述され、補正量としては、補正係数（彩度、シャープネス）、Ｒ・Ｇ・Ｂ・Ｙのトーンカーブの補正ポイント（例えば、入力値の１／４、３／４のポイント）におけるトーンカーブ通過点の上げ幅、下げ幅（コントラスト、明度、カラーバランス）が記述される。

画像データ生成装置４０がメタデータとして重み付け係数を出力する場合には、画像データ生成装置４０は図３を用いて説明したステップＳ１３０までの処理並びに図４を用いて説明したステップＳ２００〜Ｓ２５０までの処理を実行する。画像データ生成装置４０がメタデータとして画質特性値を出力する場合には、画像データ生成装置４０は図３を用いて説明したステップＳ１４０までの処理並びに図４を用いて説明したステップＳ２００〜Ｓ２５０までの処理を実行する。画像データ生成装置４０がメタデータとして補正量を出力する場合には、画像データ生成装置４０は図３を用いて説明したステップＳ１５０までの処理並びに図４を用いて説明したステップＳ２００〜Ｓ２５０までの処理を実行する。

図１７を用いて画質補正装置５０について説明する。画質補正装置５０は、各種演算処理を実行するＣＰＵ、各種実行モジュールおよびサブモジュールを格納するメモリを備えており、ＣＰＵが各種実行モジュールおよびサブモジュールを実行することによって、画質補正装置５０の各種機能が実現される。画質補正装置５０は、例えば、パーソナルコンピュータ、プリンタ、表示装置として実現され得る。また画質補正装置５０の機能は、プリンタドライバ、ディスプレイドライバとしても実現され得る。以下、各実行モジュールおよびサブモジュールを用いて画質補正装置５０の動作について説明する。

メタデータと関連付けられた特定画像データ（切り出しフレーム画像データＫＤ）は、特定画像データ・メタデータ取得モジュール５１によって、画質補正装置５０に取り込まれる。メタデータが画質特性値または画質補正量である場合には、切り出しフレーム画像データＫＤおよび画質補正量は画質調整モジュール５２に送られる。

メタデータとして画質特性値が記述されている場合には、画質調整モジュール５２によって図３を用いて説明したステップＳ１５０以降の処理が実行される。メタデータとして画質補正量が記述されている場合には、画質調整モジュール５２によって図３を用いて説明したステップＳ１６０以降の処理が実行される。

メタデータが重み付け係数である場合には、メタデータは画質特性値取得モジュール５３に送出され、切り出しフレーム画像データＫＤは画質調整モジュール５２に送られる。画質特性値取得モジュール５３は、メタデータとして記述された重み付け係数を用いて、画質特性値を取得する。より具体的には、画質特性値取得モジュール５３によって図３を用いて説明したステップＳ１４０の処理が実行され、画質調整モジュール５２によって図３を用いて説明したステップＳ１５０以降の処理が実行される。重み付け係数を用いた画質特性値の取得手法としては、例えば、以下の３つの方法が挙げられる。

（１）切り出しフレーム画像データＫＤにおいて、重み付け係数が所定値以上の領域あるいはブロックに対する画像解析のサンプリング数を、重み付け係数が所定値未満の領域あるいはブロックに対する画像解析のサンプリング数よりも増やす。例えば、重み付け係数が所定値以上の領域あるいはブロックに対しては、全画素をサンプリングし、重み付け係数が所定値未満の領域あるいはブロックに対しては縦横２画素毎にサンプリングを実行する。この結果、得られる画質特性値は、より多くサンプリングされた主要被写体領域に対応する画像データの画質特性値の影響を受け、主要被写体領域に対応する画像データの画質特性値に重きを置いたフレーム画像データＫＤの画質特性値を取得することができる。

（２）主要被写体領域および主要被写体領域以外の領域について作成されたヒストグラム、または各ブロック毎に作成されたヒストグラムを合計して切り出しフレーム画像データ全体のヒストグラムを作成する際に、重み付け係数を用いて重み付けを変える。例えば、重み付け係数が所定値以上のブロックのヒストグラムは出現頻度を４倍にして、重み付け係数が所定値未満のブロックのヒストグラムと合算する。この結果、得られる画質特性値は、重み付けられた主要被写体領域に対応する画像データのヒストグラム（画質特性値）の影響を受け、主要被写体領域に対応する画像データの画質特性値に重きを置いた切り出しフレーム画像データＫＤの画質特性値を取得することができる。

（３）主要被写体領域および主要被写体領域以外の領域、または各ブロック毎に画質特性値を算出し、重み付け係数を用いて得られた画質特性値に重み付けをして、切り出しフレーム画像データＫＤ全体の画質特性値とする。例えば、重み付け係数が所定値以上のブロックの平均輝度をＹｗ、重み付け係数が所定値未満ブロック平均輝度をＹｂとした場合に、切り出しフレーム画像データＫＤ全体の平均輝度Ｙaveを、
Ｙave＝（４Ｙｗ＋Ｙｂ）／５
とする。この結果、得られる画質特性値は、重み付けられた主要被写体領域に対応する画像データの画質特性値に影響を受け、主要被写体領域に対応する画像データの画質特性値に重きを置いたフレーム画像データＫＤの画質特性値を取得することができる。

画質調整モジュール５２は、画質調整を施した切り出しフレーム画像データを出力画像データとしてプリンタドライバ３１に送り、プリンタドライバ３１は出力画像データを用いて、画像を出力する。

以上説明したように、第２の実施例に係る画像データ生成装置４０によれば、切り出しフレーム画像データＫＤに対して主要被写体領域に関する情報または主要被写体領域に関する情報を用いて生成された情報を含むメタデータを関連づけて出力することができる。したがって、切り出しフレーム画像データＫＤおよびメタデータを用いた切り出しフレーム画像データＫＤに対する、主要被写体の画質の向上を中心とした画像処理を可能にする。

また、第２の実施例に係る画質補正装置５０によれば、受け取った切り出しフレーム画像データＫＤおよびメタデータを用いて切り出しフレーム画像データＫＤに対する、主要被写体の画質の向上を中心とした画像処理を実行することができる。すなわち、切り出しフレーム画像データＫＤに対する自動画質調整（基準値を用いた画質調整）を実行する場合に、主要被写体領域に関する情報または主要被写体領域に関する情報を含むメタデータを用いることができる。

さらに、切り出しフレーム画像データＫＤにメタデータが関連づけられているので、メタデータを用いて切り出しフレーム画像データＫＤの検索を行うことができる。例えば、メタデータとして、主要被写体領域の位置情報または重み付け係数が記述されている場合には、主要被写体が中央下部に配置されている画像の画像データを検索することができる。あるいは、メタデータとして画質特性値が記述されている場合には、判断指標に対して明るい、暗い、コントラストが良い画像の画像データを検索することができる。

・その他の実施例：
上記実施例における、主要被写体画像データＯＤを中心とする切り出しフレーム画像データＫＤの解析は、主要被写体画像データＯＤおよび主要被写体画像データＯＤ以外の切り出しフレーム画像データＫＤの双方について実行されているが、主要被写体画像データＯＤを構成する画素データに対してのみ画質特性値を取得するための解析（サンプリング）が実行されてもよい。かかる場合には、切り出しフレーム画像データＫＤに対しては、主要被写体画像データＯＤの画質特性のみを反映した画質調整処理が施され、より主要被写体画像に適した画質調整処理を実行することができる。

上記実施例では、切り出しフレーム画像データＫＤと連続フレーム画像データＲＤとを用いて主要被写体画像データＯＤを特定するにあたり、フレーム（Ｉ）のブロックＢＬＫ内における全ての座標（ｘ，ｙ）を用いているが、ブロックＢＬＫ_kの縦横を８〜１６分割し、６４〜２５６の格子点について既述の移動距離ＢＶ_kを算出しても良い。かかる場合には、ブロックＢＬＫ_kの移動量をより高速に算出することが可能となる。

上記実施例では、主要被写体画像データＯＤを特定できない場合、すなわち、切り出しフレーム画像データＫＤ中に、動きの少ない領域（微変化領域）が少ない場合、あるいは存在しない場合について詳述していない。かかる場合には、切り出しフレーム画像データＫＤの中央領域を主要被写体画像データＯＤと擬制しても良く、あるいは、主要被写体画像データＯＤを中心とする切り出しフレーム画像データＫＤの解析を実行しないこととしても良い。この条件下では、主要被写体画像データＫＤを適切に特定することは困難であるが、主要被写体画像データＯＤは一般的に切り出しフレーム画像データＫＤの中央領域に存在することが多く、主要被写体画像データＯＤに対する適切な画質調整処理が可能となる可能性高い。一方で、微変化領域画ほとんどない場合には、主要被写体画像データＯＤの画質特性を中心とする画質調整処理を実行することは困難であることから、主要被写体画像データＯＤを中心とする解析が実行されなくとも良い。

上記実施例における、ブロックＢＬＫの動きベクトルの算出手法は一例であり、この他にも公知の種々の手法にてブロックＢＬＫの移動量ＢＶが算出可能であることは言うまでもない。例えば、フレーム（Ｉ）におけるブロックＢＬＫの座標（ｘ，ｙ）の画素値Ｐ０（ｘ，ｙ）に最も近い画素値を有する座標をフレーム（Ｉ＋１）の全画素データから検索しても良い。すなわち、動画像データＭＤに含まれる連続する２つの画像情報を用いて、主要被写体画像データＯＤを特定することができれば良い。

上記実施例では、画像データの生成装置としてディジタルビデオカメラ１１を用いているがディジタルスチルカメラを用いてもよい。すなわち、上記実施例では、時系列に連続する複数の画像データとして動画像データを用いているが、この他にも、ディジタルスチルカメラにおいて、いわゆる連写モードで撮影された、時系列に連続する複数の連続静止画像データ（連写画像データ）を用いても良い。かかる場合には、例えば、連写モードにて撮影された複数の画像データを１つのファイルとして扱う等のグループ化を行うことによって、動画像データに代えて、連写画像データを用いることができる。連写画像データを用いる場合にも、時系列に連続しているので、上述した手法を用いて主要被写体を容易にかつ適切に切り出すことができる。なお、連写画像データは、所定の時間間隔未満にて連続していることが好ましい。

上記実施例では、画像処理装置として、パーソナルコンピュータ２０を用いて画像処理を実行しているが、このほかにも、例えば、画像処理機能を備えるスタンドアローン型のプリンタ、表示装置を画像処理装置として用いてもよく、この場合にはプリンタまたは表示装置において上記画像処理が実行される。また、画像処理装置等のハードウェア構成を伴うことなく、プリンタドライバ、ビデオドライバ、画像処理アプリケーション（プログラム）としても実現され得る。ここで、表示装置には、例えば、ＣＲＴ、液晶ディスプレイ、プロジェクタ等が含まれる。

さらに、パーソナルコンピュータ２０で実行される画像処理の全て、または、一部をディジタルビデオカメラ１１において実行しても良い。この場合には、ディジタルビデオカメラ１１のＲＯＭ等に格納されている、動画編集アプリケーションに上記実施例において説明した画像処理機能を持たせることによって実現される。ディジタルビデオカメラ１１にて生成された印刷制御コマンドと印刷用の静止画像データとを含む印刷用データは、ケーブルを介して、あるいは、メモリカードを介してプリンタ３０に提供される。印刷用データを受けたプリンタ３０は、印刷用データに従って、ドットパターンを印刷媒体上に形成して画像を出力する。なお、ディジタルビデオカメラ１１は、画質調整処理済みの切り出しフレーム画像データＫＤ（静止画像データ）をパーソナルコンピュータ２０またはプリンタ３０に提供しても良い。かかる場合には、パーソナルコンピュータ２０またはプリンタ３０において印刷用制御コマンドを含む印刷用データが生成される。

上記実施例では、画像処理が画像処理ソフトウェア、すなわちコンピュータプログラムの態様にて実行されているが、上記各処理（ステップ）を実行する論理回路を備えた静止画像データ書影処理ハードウェア回路を用いて実行されてもよい。かかる場合には、ＣＰＵ２００の負荷を軽減することができると共に、より高速な画像処理を実現することができる。画像処理ハードウェア回路は、例えば、ディジタルビデオカメラ１１およびプリンタ３０に対して実装回路として、パーソナルコンピュータ２０に対してアドオンカードとして実装され得る。

同一のシーン（撮影場面）から複数の切り出しフレーム画像データが切り出されている場合には、個々の切り出しフレーム画像データ毎に画質特性値を用いた画質調整処理を実行すると複数の切り出しフレーム画像データの間で画質調整の傾向がばらつくことがある。例えば、車が遠方から近づいてくるシーンでは、複数の切り出しフレーム画像データを切り出す場合には、主要被写体が小さい切り出しフレーム画像データから主要被写体が大きい切り出しフレーム画像データが含まれる。主要被写体が小さな場合には、画質特性値は背景の影響を強く受け、主要被写体が大きな場合には、画質特性値は主要被写体の影響を強く受けることになる。したがって、各切り出しフレーム画像データに対して最適な画質調整処理を実行すると全体として調和を図ることができるできなくなる。

そこで、切り出した各切り出しフレーム画像データの画質特性値または画質補正量の平均値を用いて各切り出しフレーム画像データに対する画質調整処理を実行しても良い。この場合には、同一のシーンから切り出された複数の切り出しフレーム画像データに対する画質調整の傾向を統一（処理結果の調和）を図ることができる。

あるいは、主要被写体領域の占有率が最も大きな切り出しフレーム画像データの画質特性値または画質補正量を用いて各切り出しフレーム画像データに対する画質調整処理を実行してもよい。上記実施例は、主要被写体の画質を向上させるための実施例であり、最も大きな主要被写体領域を備える切り出しフレーム画像データに対する画質の調整を最適化することができると共に、各切り出しフレーム画像データに対する画質調整の傾向の調和を図ることができる。

以上、実施例に基づき本発明に係る画像処理装置、画像データ生成装置、画質補正装置、これらの方法およびこれらのプログラムを説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。

第１の実施例に係る画像処理装置を含む画像処理システムの概略構成を示す説明図である。第１の実施例に係るパーソナルコンピュータ２０（ＣＰＵ２００）の機能ブロック図である。第１の実施例に係るパーソナルコンピュータ２０において実行される画像処理の処理ルーチンを示すフローチャートである。主要被写体画像データを特定するために実行される処理ルーチンを示すフローチャートである。複数のブロックに分割されたフレーム画像データを模式的に示す説明図である。特定されたフレーム（Ｉ）に対応するフレーム画像データを模式的に示す説明図である。特定されたフレーム（Ｉ）の次のフレーム（Ｉ＋１）に対応するフレーム画像データを示すと共に、ブロックの移動の様子を示す説明図である。フレーム（Ｉ）に相当するフレーム画像データの具体例を示す説明図である。フレーム（Ｉ＋１）に相当するフレーム画像データの具体例を示す説明図である。図８に示すフレーム（Ｉ）および図９に示すフレーム（Ｉ＋１）から求められた主要被写体画像データ（領域）を模式的に示す説明図である。フレーム（Ｉ）に相当するフレーム画像データの他の具体例を示す説明図である。フレーム（Ｉ＋１）に相当するフレーム画像データの他の具体例を示す説明図である。図１１に示すフレーム（Ｉ）および図１２に示すフレーム（Ｉ＋１）から求められた主要被写体画像データ（領域）を模式的に示す説明図である。第２の実施例に係る画像データ生成装置の機能的な構成を示す機能ブロック図である。切り出しフレーム画像データにおける主要被写体領域と各ブロックに割り当てられた重み付け係数の一例を示す説明図である。第２の実施例に係る画像データ生成装置によって切り出しフレーム画像データに関連付けられるメタデータの一例を示す説明図である。第２の実施例に係る画質補正装置の機能的な構成を示す機能ブロック図である。

符号の説明

１０…動画像データリソース
１１…ディジタルビデオカメラ
１２…サーバ
２０…パーソナルコンピュータ
２５…モニタ
２００…中央演算装置（ＣＰＵ）
２０１…ランダムアクセスメモリ（ＲＡＭ）
２０２…ハードディスク（ＨＤＤ）
２０３…入出力端子
３０…プリンタ
４０…画像データ生成装置
５０…画質補正装置

Claims

時系列に連続する複数の画像データから取得された画像データに対して画像処理を実行する画像処理装置であって、
前記時系列に連続する複数の画像データから１つの画像データを特定画像データとして特定する特定手段と、
前記特定画像データに連続する画像データを、連続画像データとして前記時系列に連続する複数の画像データから取得する連続画像データ取得手段と、
前記特定画像データおよび前記連続画像データを用いて、前記特定画像データ中における主要被写体画像データを特定する主要被写体画像データ特定手段と、
前記特定画像データを解析し、前記特定された主要被写体画像データを中心にして前記特定画像データの画質の特性を取得する画質特性取得手段と、
前記取得された画質特性を用いて前記特定画像データに対して画質調整を実行する画質調整手段とを備える画像処理装置。
請求項１に記載の画像処理装置において、
前記特定画像データを解析することによる、前記特定された主要被写体画像データを中心にした前記特定画像データの画質の特性の取得は、前記特定された主要被写体画像データに対する解析頻度を、前記特定された主要被写体画像データ以外の前記特定画像データに対する解析頻度よりも高くすることにより実行される画像処理装置。
請求項１に記載の画像処理装置において、
前記特定画像データを解析することによる、前記特定された主要被写体画像データを中心にした前記特定画像データの画質の特性の取得は、前記特定された主要被写体画像データから得られた画質の特性に対する重み付けを、前記特定された主要被写体画像データ以外の前記特定画像データから得られた画質の特性に対する重み付けよりも重くすることによって実行される画像処理装置。
請求項２または請求項３に記載の画像処理装置において、
前記主要被写体画像データの特定は、前記特定画像データおよび前記連続画像データとを用いて、前記特定画像データ中の微変化領域を特定することにより実行される画像処理装置。
請求項４に記載の画像処理装置において、
前記画像データは複数の画素データから構成されており、
前記微変化領域の特定は、前記特定画像データを構成する画素データのうち、前記連続画像データにおいて対応する画素データの値の変化量が所定値以下である画素データによって構成される領域を前記微変化領域として特定することにより実行される画像処理装置。
請求項２または請求項３に記載の画像処理装置において、
前記主要被写体画像データ特定手段は、
前記特定画像データを複数のブロックに分割する分割手段と、
前記連続画像データにおける、前記分割された各ブロックの移動量を算出する移動量算出手段とを備え、
前記複数のブロックの内、前記移動量が所定値より小さいブロックを中心にして前記主要被写体画像データを特定する画像処理装置。
請求項１ないし請求項６のいずれかに記載の画像処理装置において、
前記特定画像データに対する画質調整は、前記取得された画質特性を用いて、予め設定されている補正量を増減することによって実行される画像処理装置。
請求項１ないし請求項６のいずれかに記載の画像処理装置において、
前記画質特性は、前記特定画像データの画質に関する特性を示す１または複数の画質特性パラメータの統計値であり、
前記特定画像データに対する画質調整は、前記取得された１または複数の画質特性パラメータの統計値と、前記１または複数の画質特性パラメータについて予め設定されている基準パラメータ値との偏差を解消または低減するように前記統計値を補正し、その補正した統計値を用いて実行される画像処理装置。
請求項１ないし請求項６のいずれかに記載の画像処理装置において、
前記画質特性は、前記特定画像データの画質に関する特性を示す１または複数の画質特性パラメータの統計値であり、
前記特定画像データに対する画質調整は、前記取得された１または複数の画質特性パラメータの統計値と、前記１または複数の画質特性パラメータについて予め設定されている基準パラメータ値との偏差を解消または低減するように補正量を決定し、決定された補正量を前記特定画像データに対して適用することによって実行される画像処理装置。
時系列に連続する複数の画像データ取得された画像データに対して画像処理を実行する画像処理装置であって、
前記時系列に連続する複数の画像データから１つの場面を特定場面として特定する特定手段と、
前記特定場面から所定時間内の他の場面を、連続場面として前記時系列に連続する複数の画像データから取得する連続場面取得手段と、
前記特定場面の画像データおよび前記連続場面の画像データとを用いて、前記特定場面中における主要被写体領域を特定する主要被写体領域特定手段と、
前記特定場面の画像データを解析し、前記特定された主要被写体領域を中心にして前記特定場面の画像データの画質特性を取得する画質特性取得手段と、
前記取得された画質特性を用いて、前記特定場面の画像データに対して画質調整を実行する画質調整手段とを備える画像処理装置。
請求項１０に記載の画像処理装置において、
前記特定場面の画像データの解析による、前記特定された主要被写体領域を中心にした前記特定場面の画像データの画質特性の取得は、前記特定された主要被写体画像領域の画像データに対する解析頻度を、前記特定された主要被写体画像領域以外の前記特定場面の画像データに対する解析頻度よりも高くすることにより実行される画像処理装置。
請求項１０に記載の画像処理装置において、
前記特定場面の画像データの解析による、前記特定された主要被写体領域を中心にした前記特定場面の画像データの画質特性の取得は、前記特定された主要被写体領域の画像データから得られた画質の特性に対する重み付けを、前記特定された主要被写体領域以外の前記特定場面の画像データから得られた画質の特性に対する重み付けよりも重くすることによって実行される画像処理装置。
請求項１１または請求項１２に記載の画像処理装置において、
前記特定場面の画像データに対する画質調整は、前記取得された画質特性を用いて、予め設定されている補正量を増減することによって実行される画像処理装置。
請求項１ないし請求項１３のいずれかに記載の画像処理装置において、
前記時系列に連続する複数の画像データは、動画像データである画像処理装置。
時系列に連続する複数の画像データから取得された画像データに対して画像処理を実行する画像処理方法であって、
前記時系列に連続する複数の画像データから１つの画像データを特定画像データとして特定し、
前記特定画像データに連続する画像データを、連続画像データとして前記時系列に連続する複数の画像データから取得し、
前記特定画像データおよび前記連続画像データとを用いて、前記特定画像データ中における主要被写体画像データを特定し、
前記特定画像データを解析し、前記特定された主要被写体画像データを中心にして前記特定画像データの画質の特性を取得し、
前記取得された画質特性を用いて前記特定画像データに対して画質調整を実行する画像処理方法。
時系列に連続する複数の画像データから取得された画像データに対して画像処理を実行する画像処理方法であって、
前記時系列に連続する複数の画像データから１つの場面を特定場面として特定し、
前記特定場面から所定時間内の他の場面を、連続場面として前記時系列に連続する複数の画像データから取得し、
前記特定場面の画像データおよび前記連続場面の画像データとを用いて、前記特定場面中における主要被写体領域を特定し、
前記特定場面の画像データを解析し、前記特定した主要被写体領域を中心にして前記特定場面の画像データの画質特性を取得し、
前記取得した画質特性を用いて、前記特定場面の画像データに対して画質調整を実行する画像処理方法。
請求項１５または請求項１６に記載の画像処理方法において、
前記時系列に連続する複数の画像データは、動画像データである画像処理方法。
時系列に連続する複数の画像データから選択された１つの画像データに対してメタデータを関連付けて出力する画像データ生成装置であって、
前記時系列に連続する複数の画像データから１つの画像データを特定画像データとして特定する特定手段と、
前記特定画像データに連続する画像データを、連続画像データとして前記時系列に連続する複数の画像データから取得する連続画像データ取得手段と、
前記特定画像データおよび前記連続画像データを用いて、前記特定画像データにおいて主要な被写体を表す主要被写体領域を特定する主要被写体領域特定手段と、
特定された前記主要被写体領域に関する情報または特定された前記主要被写体領域に関する情報を用いて生成された情報を含むメタデータと前記特定した特定画像データとを関連付けて出力する特定画像データ出力手段とを備える画像データ生成装置。
請求項１８に記載の画像データ生成装置において、
各前記画像データは複数の画素データから構成されており、
前記主要被写体領域の特定は、前記特定画像データを構成する画素データのうち、前記連続画像データにおいて対応する画素データの値の変化量が所定値以下である画素データによって構成される領域を前記主要被写体領域として特定することにより実行され、
前記メタデータには、前記特定画像データにおける前記特定された主要被写体領域の位置情報が含まれている画像データ生成装置。
請求項１９に記載の画像データ生成装置はさらに、
前記特定画像データに対して、前記特定された主要被写体領域以外の領域に対する解析頻度よりも前記特定された主要被写体領域に対する解析頻度が高くなるよう解析を実行し、前記特定画像データの画質の特性値を取得する画質特性値取得手段を備え、
前記メタデータには前記取得された画質特性値が含まれる画像データ生成装置。
請求項１９に記載の画像データ生成装置はさらに、
前記特定画像データを解析して、前記特定された主要被写体領域および前記特定された主要被写体領域以外の領域に対応する前記特定画像データの画質の特性値を示す画質特性値をそれぞれ取得し、前記特定された主要被写体領域に対応する画質特性値に対して重み付けをして、前記特定画像データの画質特性値を取得する画質特性値取得手段を備え、
前記メタデータには前記取得された画質特性値が含まれる画像データ生成装置。
請求項２０または請求項２１に記載の画像データ生成装置はさらに、
前記取得した画質特性値を用いて、前記特定画像データの画質を調整するための補正量を決定する補正量決定手段を備え、
前記メタデータには前記決定された補正量が含まれる画像データ生成装置。
請求項１８に記載の画像データ生成装置において、
前記主要被写体領域特定手段は、
前記特定画像データを複数のブロックに分割する分割手段と、
前記連続画像データにおける、前記分割された各ブロックの移動量を算出する移動量算出手段とを備え、前記複数のブロックの内、前記移動量が所定値未満の第１のブロックを前記主要被写体領域として特定し、
前記画像データ生成装置はさらに、
前記第１のブロックに対して、前記移動量が所定値以上の第２のブロックに対応付ける重み付け係数よりも大きな重み付け係数を対応付ける重み付け手段と備え、
前記メタデータには、前記第１および第２のブロックに対応付けられた重み付け係数が含まれている画像データ生成装置。
請求項２３に記載の画像データ生成装置はさらに、
前記特定画像データに対して、前記第２のブロックに対する解析頻度よりも前記第１のブロックに対する解析頻度が高くなるよう解析を実行し、前記特定された主要被写体領域を中心にして前記特定画像データの画質の特性値を取得する画質特性値取得手段を備え、
前記メタデータには前記取得された画質特性値が含まれる画像データ生成装置。
請求項２３に記載の画像データ生成装置はさらに、
前記特定画像データを解析して、前記第１のブロックおよび前記第２のブロックに対応する前記特定画像データの画質の特性値を示す画質特性値をそれぞれ取得し、前記第１のブロックに対応する画質特性値に対して重み付けをして、前記特定画像データの画質特性値を取得する画質特性値取得手段を備え、
前記メタデータには前記取得された画質特性値が含まれる画像データ生成装置。
請求項２４または請求項２５に記載の画像データ生成装置はさらに、
前記取得した画質特性値を用いて、前記特定画像データの画質を調整するための補正量を決定する補正量決定手段を備え、
前記メタデータには前記決定された補正量が含まれる画像データ生成装置。
画像データに関連付けられたメタデータを用いて画像データに対する画質調整処理を実行する画質補正装置であって、
請求項１８ないし請求項２６のいずれかに記載の画像データ生成装置から特定画像データおよび特定画像データに関連付けられたメタデータを取得する取得手段と、
前記取得したメタデータを用いて前記取得した特定画像データに対する画質調整処理を実行する画質調整手段とを備える画質補正装置。
請求項２７に記載の画質補正装置はさらに、
前記取得した特定画像データを解析して、前記特定画像データの画質を示す画質特性値を取得する画質特性値取得手段を備え、
前記取得したメタデータが重み付け係数または主要被写体領域の位置情報である場合には、前記画質特性値の取得は、前記重み付け係数または主要被写体領域の位置情報を用いて、前記主要被写体領域における前記特定画像データを中心にして取得され、
前記特定画像データに対する画質調整は、前記取得された１または複数の画質特性パラメータの統計値と、前記１または複数の画質特性パラメータについて予め設定されている基準パラメータ値との偏差を解消または低減するように補正量を決定し、決定された補正量を前記特定画像データに対して適用することによって実行される画質補正装置。
請求項２７に記載の画質補正装置において、
前記取得したメタデータが画質特性値であると共に、前記特定画像データの画質に関する特性を示す１または複数の画質特性パラメータの統計値である場合には、
前記特定画像データに対する画質調整は、前記取得された１または複数の画質特性パラメータの統計値と、前記１または複数の画質特性パラメータについて予め設定されている基準パラメータ値との偏差を解消または低減するように補正量を決定し、決定された補正量を前記特定画像データに対して適用することによって実行される画質補正装置。
請求項２７に記載の画質補正装置において、
前記取得したメタデータが補正量である場合には、
前記特定画像データに対する画質調整は、前記取得された補正量を前記特定画像データに対して適用することによって実行される画質補正装置。