JP2015023514A - 情報処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】入力応答特性変換処理を好適に実現可能な画像データを生成する。
【解決手段】情報処理装置は、撮影された画像と、該画像の撮影した際の撮影条件を示す情報とを取得する。そして情報処理装置は、該撮影条件を示す情報に基づき、撮影された画像を所定の色応答関数に対応した画像に変換するデガンマ処理、カラーバランス補正処理、及び色空間変換処理の少なくともいずれかで使用される変換係数を生成する。情報処理装置は、生成した変換係数を撮影された画像に関連付けて記録する。
【選択図】図４

Description

本発明は、情報処理装置、撮像装置、制御方法、及びプログラムに関し、特にアカデミー色符号化仕様に準拠した入力応答特性変換処理が適用される画像データの生成に関する。

近年、映画興行を始めとする様々なシーンにおいて、デジタルデータである画像や動画像が観察者に対して提示される。提示される画像がデジタルカメラ等の撮像装置により撮影されたデータである場合、画像は撮像装置の特性に応じた色出力を示す。即ち、撮像装置の機種や個体差、撮影時に装着されていたレンズ等の光学部材、あるいは適用された変換処理等に応じた影響を受けるため、異なる色応答を示す。このように画像データの色応答が撮影時の条件に応じて変化するため、特に映画上映においてプロジェクタ等の画像提示装置を用いて画像データを順次提示した場合、撮影時の条件が異なる画像間で異なった印象を観察者に与えうる。

このため、上映される映画のデジタルデータの作成／編集時には、例えば同一シーンにおいて均一な色応答を示すように、撮影に用いた撮像装置毎に異なる色変換処理が適用される。即ち、撮像装置の個体差や設定等によって生じる色応答の変化を除去する（あるいは緩和する）処理が適用される。米国の映画芸術科学協会（Academy of Motion Picture Arts and Sciences。以下、アカデミー）は、理想的な撮像素子による色応答関数等を規定したアカデミー色符号化仕様（ＡＣＥＳ：Academy Coor Encoding Specification）を提案している。同仕様は、撮影時の条件に依存しない均一な色応答の実現を含んでいる。具体的には、画像データに対して撮影時の各種パラメータを考慮した入力応答特性変換（ＩＤＴ：Input Device Transform）処理を行うことで、理想的な色応答関数に従ったカラーバランスへの変換を実現する。

特開２００２−０１０１７８号公報

ところで、ＡＣＥＳのＩＤＴ処理では画像データの各々について、撮影時の条件を示すパラメータ（撮影時パラメータ）を必要とする。撮影により得られる画像データを理想的な色応答関数からカラーバランスを乖離させる要因には、撮像素子の違い、撮影時のレンズ色味や適用されたカラーフィルタ、画像データに対して適用された補正パラメータ等がある。ＩＤＴ処理では、これらの乖離要因である撮影時パラメータに応じてＩＤＴ変換係数を決定し、該決定したＩＤＴ変換係数を画像データに適用することで、理想的な色応答関数に対応した画像データに変換する。

しかしながら、ＩＤＴ変換係数の決定に必要となる撮影時パラメータを、外部装置におけるＩＤＴ処理のために出力する撮像装置はこれまでなかった。特許文献１には画像データに対して露光情報等の属性情報を含む撮影時パラメータを付加することが開示されているが、該撮影時パラメータはＩＤＴ変換係数の決定に必要となる上述のパラメータとは異なり、ＩＤＴ処理に利用することができなかった。このため、例えば映像編集する場合、ユーザは従来の撮影時パラメータを参考にＩＤＴ変換係数を決定し、外部装置において画像データにＩＤＴ処理を適用する必要があった。

本発明は、上述の問題点に鑑みてなされたものであり、入力応答特性変換処理を好適に実現可能な画像データを生成する情報処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の情報処理装置は、以下の構成を備えることを特徴とする。具体的には情報処理装置は、撮影された画像と、該画像の撮影した際の撮影条件を示す情報とを取得する取得手段と、撮影条件を示す情報に基づき、撮影された画像を所定の色応答関数に対応した画像に変換する変換処理で使用される変換係数を生成する生成手段と、生成手段により生成された変換係数を、撮影された画像に関連付けて記録する記録手段と、を有し、変換処理は、デガンマ処理、カラーバランス補正処理、及び色空間変換処理の少なくともいずれかを含むことを特徴とする。

このような構成により本発明によれば、入力応答特性変換処理を好適に実現可能な画像データを生成することが可能となる。

本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示したブロック図 本発明の実施形態１に係るデジタルビデオカメラ１００で実行される記録処理を例示したフローチャート 本発明の実施形態に係るＰＣ７００で実行されるＩＤＴ処理に必要な撮影時パラメータを説明するための図 本発明の実施形態に係るデジタルビデオカメラ１００で実行される情報取得処理を例示したフローチャート 本発明の実施形態に係る光源種類の特定に使用されるＸＹ色度図の例 本発明の実施形態１に係るカラーバランス変換マトリクスの構成方法を例示した図 本発明の実施形態に係るＰＣ７００の機能構成を示したブロック図 本発明の実施形態に係るＰＣ７００で実行されるＩＤＴ処理を例示したフローチャート 本発明の実施形態２に係るデジタルビデオカメラ１００で実行される記録処理を例示したフローチャート 本発明の実施形態３に係るデジタルビデオカメラ１００で実行される記録処理を例示したフローチャート 本発明の実施形態３に係るカラーバランス変換マトリクスの構成方法を例示した図

［実施形態１］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、情報処理装置の一例としての、入力応答特性変換（ＩＤＴ）処理に用いる画像データに対してＩＤＴ処理に必要なパラメータ（ＩＤＴ処理情報）を関連付けて記録するデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、ＩＤＴ処理に用いる画像データに対してＩＤＴ処理に必要なパラメータを関連付けて記録することが可能な任意の機器に適用可能である。

《デジタルビデオカメラの構成》
図１は、本発明の実施形態に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。

システム制御部１０１は、例えばＣＰＵである。システム制御部１０１は、デジタルビデオカメラ１００が備える各ブロックの動作を制御する。具体的にはシステム制御部１０１は、例えば不揮発性メモリ１０２に記憶されているデジタルビデオカメラ１００が備える各ブロックの動作プログラムを読み出し、システムメモリ１０３に展開して実行することにより、各ブロックの動作を制御する。

不揮発性メモリ１０２は、例えばＥＥＰＲＯＭ等の電気的に消去・記録可能なメモリである。不揮発性メモリ１０２は、デジタルビデオカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作において必要なパラメータ等を記憶する。システムメモリ１０３は、例えばＲＡＭのような揮発性メモリである。また、本実施形態では不揮発性メモリ１０２には、後述するＩＤＴ処理情報の生成に必要な情報が記憶されている。システムメモリ１０３は、各ブロックの動作プログラムの展開領域としてだけではなく、各ブロックの動作において出力された中間データ等が一時的に記憶される格納領域としても用いられる。

システムタイマ１０５は、デジタルビデオカメラ１００に内蔵されるタイマである。システムタイマ１０５は、システム制御部１０１により実行される各プログラムや処理における経過時間の計測やタイムスタンプ等に用いられる。

撮像ユニット１２０は、被写体を撮像し、画像データを出力するユニットである。撮像ユニット１２０は、撮影レンズ１２１、シャッタ１２２、撮像素子１２３、及びＡ／Ｄ変換部１２４を有する。撮影レンズ１２１は、フォーカスレンズやズームレンズ、カラーフィルタ等を含むデジタルビデオカメラ１００が備える撮影レンズ郡である。撮影レンズ１２１は、絞り、ＮＤフィルタ機能を備えるシャッタ１２２を介して光学像を撮像素子１２３に結像する。撮像素子１２３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、撮影レンズ１２１を介して結像された光学像をアナログ画像信号に変換してＡ／Ｄ変換部１２４に出力する。Ａ／Ｄ変換部１２４は、撮像素子１２３から入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用することにより、デジタル画像信号（画像データ／フレーム）に変換する。

画像処理部１０４は、撮像ユニット１２０から出力された画像データ、または後述するメモリ制御部１０６によりメモリ１０７から読み出された画像データに対し、種々の画像変換処理を適用する。種々の画像変換処理には、所定の画素補間処理、縮小といったリサイズ処理、色変換処理等が含まれる。また、画像処理部１０４は、撮像によりＡ／Ｄ変換部１２４より入力された画像データを用いて露出制御、測距制御に係る演算処理を実行し、演算結果をシステム制御部１０１に出力する。システム制御部１０１は、当該演算結果に基づき、不図示の駆動系により撮影レンズ１２１及びシャッタ１２２を動作させて露出制御及び測距制御を行う。

本実施形態のデジタルビデオカメラ１００は、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を採用しているものとする。なお、ＡＥ処理はシャッタスピード、絞り、ＮＤフィルタの制御、及び画像処理部１０４においてデジタル画像信号に適用されるゲインの制御を行われる。また画像処理部１０４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も実行する。

ＡＷＢ処理では、画像処理部１０４はまず撮像ユニット１２０から出力された画像データを複数の小ブロック領域に分割する。そして画像処理部１０４は、分割した小ブロック領域ごとに白色のサーチを行い、白色を検出した小ブロックについてデータ上の白となるよう、画像データのＲＧＢ比率係数を決定する。該ＲＧＢ比率係数は、ホワイトバランス検出値としてメモリ１０７に記憶される。

なお、デジタルビデオカメラ１００では通常の動画像を撮影するモードでの使用においてＡＦ処理、ＡＥ処理、ＡＷＢ処理はリアルタイムに実行されるものとして説明する。しかしながら、オート実行設定を解除した場合、各処理のパラメータはユーザによりマニュアルで設定可能であるものとする。

メモリ制御部１０６は、メモリ１０７からの情報の読み出し、及びメモリ１０７への情報の書き込みを制御するブロックである。メモリ制御部１０６は、Ａ／Ｄ変換部１２４より入力されたデジタル画像信号、または画像処理部１０４により各種処理が適用されて出力された画像信号を、メモリ１０７に書き込む。メモリ１０７は、撮影中の動画像のフレームに係る画像群に加え、撮影中の音声の情報も書き込まれるため、当該情報を格納するために十分な記憶容量を有するように設計されているものとする。

なお、メモリ１０７には撮像により得られた画像に加え、後述する表示部１０９に表示される表示画像も書き込まれる。当該表示画像を表示部１０９に表示する場合は、メモリ１０７により当該表示画像が読み出され、表示部１０９に表示するために後述するＤ／Ａ変換部１０８に出力されるものとする。

Ｄ／Ａ変換部１０８は、入力されたデジタル画像信号に対してＤ／Ａ変換処理を適用することにより、得られたアナログ画像信号を表示部１０９に出力して表示させる。表示部１０９は、例えば小型ＬＣＤ等の表示装置であり、Ｄ／Ａ変換部１０８より出力されたアナログ画像信号が表示される。なお、表示部１０９は、撮像によりＡ／Ｄ変換部１２４が逐次出力したデジタル画像信号がＤ／Ａ変換部１０８に入力され、再びアナログ画像信号に変換されて表示部１０９に表示（スルー表示）されることにより、電子ビューファインダとして機能する。

操作入力部１１５は、デジタルビデオカメラ１００が備える、電源ボタン、モード切り替えＳＷ、撮影ボタン等のユーザインタフェースである。操作入力部１１５は、ユーザによる各操作部材の操作がなされたことを検出すると、操作に対応する制御信号をシステム制御部１０１に伝送する。

記録媒体Ｉ／Ｆ１１１は、例えばメモリカードやＨＤＤ等の、デジタルビデオカメラ１００に着脱可能に接続される記録装置である記録媒体１１２とデジタルビデオカメラ１００とを接続するためのインタフェースである。記録媒体１１２には、例えば記録媒体Ｉ／Ｆ１１１を介して、ＭＰＥＧ等の所定の符号化形式に従って符号化部１１０により符号化された動画像のデータ及び音声が記録される。

外部出力Ｉ／Ｆ１１３は、例えば外部出力端子であり、デジタルビデオカメラ１００が有する外部機器への画像データの出力インタフェースである。外部出力される画像データは、記録媒体１１２に記録されている画像データに限らず、メモリ１０７に記憶されている画像データ、あるいは撮像ユニット１２０から出力された画像データであってもよい。また外部入力Ｉ／Ｆ１１４は、例えば外部入力端子であり、外部機器からのＩＤＴ処理に用いる各種情報等を受信するための入力インタフェースである。

《記録処理》
このような構成をもつ本実施形態のデジタルビデオカメラ１００の動画像を記録する記録処理について、図２のフローチャートを用いて具体的な処理を説明する。なお、本記録処理は、例えばデジタルビデオカメラ１００において動画撮影の指示がなされた際に開始されるものとして説明する。

Ｓ２０１で、システム制御部１０１は、画像処理部１０４による演算処理の結果を取得し、露出値を決定する。露出値は、シャッタスピード、絞りの開口量、及びＩＳＯ感度設定を含む、撮像ユニット１２０に係る制御量である。

Ｓ２０２で、システム制御部１０１は、決定した露出値を撮像ユニット１２０に設定し、撮像により動画像のフレームである画像データを出力させる。

Ｓ２０３で、システム制御部１０１は、撮像により得られた画像データについてＩＤＴ処理情報を取得する情報取得処理を実行する。本実施形態では、後述するＰＣで実行されるＩＤＴ処理において、デガンマ処理、ＡＣＥＳカラーバランス補正処理、及びＡＣＥＳ色空間変換処理の３つの変換処理が行われる。本ステップで実行される情報取得処理では、これら３つの変換処理においてＩＤＴ係数の決定に必要な撮影時のパラメータが取得される。

〈ＩＤＴ処理情報〉
以下、まずＩＤＴ処理において実行される３つの変換処理及び各処理に必要な撮影時パラメータについて、図を参照して説明する。

ＩＤＴ処理の１つであるデガンマ処理では、デジタルビデオカメラ１００において画像処理部１０４が画像データに適用したガンマ補正処理による影響を、画像データから除去する処理である。ガンマ補正処理では、例えば低階調を示す画素を広い階調域にマッピングし、反対に高階調を示す画素はより低く、狭い階調域にマッピングすることで、画像の暗部及び明部を視認しやすくする変換を行う。即ち、図３（ａ）に示されるように、通常は直線３０１のように階調値の入出力が変化しないところを、曲線３０２のように明部は引き下げ、暗部は引き上げるような補正を行う。つまり、記録媒体１１２に記録される動画像のフレームはガンマ補正処理により撮像素子１２３から出力された画像データと異なる色出力を示している。故に、ＡＣＥＳ（アカデミー色符号化仕様）の理想的な色応答関数に順応させるための変換において撮像素子や光学系による影響を把握するために、ＩＤＴ処理においてガンマ補正処理の影響を除外するデガンマ処理を行った上で他の色変換処理を行う必要がある。適用されたガンマ補正処理に係るＩＤＴ処理情報は、例えば補正後の画像データのＲＧＢ値を、入出力が一対一対応した補正前の値に変換するためのＬＵＴ（ルックアップテーブル）から取得される構成であってよい。

ＩＤＴ処理の他の１つであるＡＣＥＳカラーバランス補正処理では、画像データのカラーバランスをＡＣＥＳで規定される、視覚特性に忠実なカラーバランスに近づけるよう、画像データは補正される。視覚特性に忠実なカラーバランスとは、ＡＣＥＳの理想的な色応答関数に対応したカラーバランスである。上述したように画像データのカラーバランスは、撮影時の光源情報やカメラ設定（ホワイトバランス、ガンマ、クリップ）、及び使用された撮影光学系（レンズ色味、内蔵カラーフィルタ）等に起因して、視覚特性に忠実なカラーバランスから乖離する。即ち、図３（ｂ）のＸＹ色度図に示されるように、デジタルビデオカメラ１００において記録される画像データのＲ、Ｇ、Ｂの画素値は、本来であれば点３１０ａ乃至ｃのようになるが、上記のような要因により点３１１ａ乃至ｃのように変更される。故に、ＩＤＴ処理においてＡＣＥＳカラーバランス補正処理を実行し、画像データを視覚特性に忠実なカラーバランス（目標値）に近づけるために、本実施形態では該目標値への変換マトリクスをＩＤＴ処理情報として画像データに関連付ける。変換マトリクスは、
のような行列であり、画像データのＲＧＢ値に対して乗じられることで
理想的な色応答に近づけられたＲ’、Ｇ’、Ｂ’値を得ることができる。なお、カラーバランス変換用の情報は変換マトリクスに限らず、ＬＵＴ等が利用されてもよいことは容易に理解されよう。

ＩＤＴ処理の最後の１つであるＡＣＥＳ色空間変換処理では、画像データの色空間は、ＡＣＥＳで規定される色空間に変換される。ＡＣＥＳは、上述したような理想的な撮像素子による色応答関数を規定する側面に加え、対応する処理を行う際の共通フォーマット（ＡＣＥＳフォーマット）を規定する側面を有する。即ち、ＡＣＥＳ色空間変換処理では、画像データの色空間をＡＣＥＳフォーマットで規定される色空間に変換する処理が行われる。具体的には、例えば画像データがＩＴＵ−Ｒ ＢＴ．７０９で規定される色空間のＲＧＢ値（７０９ＲＧＢ）を有する場合に、一度ＸＹＺ色空間に変換した後、ＸＹＺ色空間からＡＣＥＳ色空間のＲＧＢ値（ＡＣＥＳ＿ＲＧＢ）に変換する処理が行われる。故に、本実施形態では該２段階の色空間の変換を規定する、
のような変換マトリクスをＭ_709→RGBを、ＩＤＴ処理情報として画像データに関連付ける。なお、本実施形態では色空間の変換に係る変換マトリクスをＩＤＴ処理情報として画像データに関連付けるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、色空間の変換は変換元の色空間が定まれば、該変換は常に一定となるため、画像データには画像データの色空間の情報がＩＤＴ処理情報として関連付けられてもよい。あるいは、画像データの色空間が予め判明している場合は、ＡＣＥＳ色空間変換処理に係るＩＤＴ処理情報は画像データに関連付けない構成であってもよい。

〈情報取得処理〉
次に、本実施形態のデジタルビデオカメラ１００で実行される情報取得処理について、図４のフローチャートを用いて詳細を説明する。

Ｓ４０１で、システム制御部１０１は、ＩＤＴ処理情報に係る撮影時の各種パラメータを取得する。撮影時の各種パラメータは、画像データに適用されたホワイトバランス係数、ガンマ補正係数、ゲイン、撮影時のＩＳＯ感度設定、フレームレート、クリップ、絞り、焦点位置等のカメラ設定データを含む。また各種パラメータには、撮影時に装着されていたレンズの画角、カラーフィルタ、レンズのカラーバランス等の撮影光学系に係る装着データを含む。

Ｓ４０２で、システム制御部１０１は、取得した各種パラメータのうちのガンマ補正に係る情報を参照し、デガンマ処理に係るＩＤＴ処理情報、即ちＬＵＴを取得する。ガンマ補正により変換されるガンマ曲線の形状は、ガンマ補正係数、ゲイン値、ＩＳＯ感度等により定まるため、システム制御部１０１はこれらの情報を参照してガンマ曲線を特定し、デガンマ処理に係るＩＤＴ処理情報を取得する。

Ｓ４０３で、システム制御部１０１は、取得した各種パラメータのうちのカラーバランスに係る情報を参照し、ＡＣＥＳカラーバランス補正処理に係るＩＤＴ処理情報、即ちカラーバランス変換マトリクスを取得する。

ここで、一例として光源の種類と撮像光学系において適用されたカラーフィルタの種類の推定に基づいてカラーバランス変換マトリクスを取得する処理の概要について図を用いて説明する。

まずシステム制御部１０１は、画像処理部１０４が得られた画像データの解析に基づいて決定したホワイトバランス係数（ＲＧＢ比率係数）を用いて光源の種類を特定する。本実施形態のデジタルビデオカメラ１００には、ホワイトバランス調整が想定される光源について、プリセットとしてホワイトバランス係数の情報がおけるホワイトバランス係数が予め定められている。光源の種類の特定は、画像データについてのホワイトバランス係数を、横軸がＲの比率係数／Ｇの比率係数、縦軸がＢの比率係数／Ｇの比率係数の２次元空間にマッピングし、予め定められた光源のホワイトバランス係数のいずれに近いかを判断することで行われる。図５は該２次元空間を示しており、図の例では光源Ａ１（daylight）と光源Ａ２（tungsten）がプリセットの光源のホワイトバランス係数を示している。画像データの解析に基づいて決定したホワイトバランス係数が例えば図の点５０１の位置にマッピングされる場合、撮影時の光源の種類は光源Ａ１、即ち日光下であるものとして特定される。

またシステム制御部１０１は、取得した各種パラメータのうちのカラーフィルタの情報を参照し、カラーフィルタの種類を特定する。なお、カラーフィルタの情報を機械的に取得することが不可能である場合、該情報は例えばユーザ設定等により入力される情報であってもよい。

そしてシステム制御部１０１は、光源の種類とカラーフィルタの種類の組み合わせに基づき、予め定められたカラーバランス変換マトリクスのうちの対応する変換マトリクスをＩＤＴ処理情報として取得する。カラーバランス変換マトリクスは、例えば図６（ａ）に示されるように光源の種類とカラーフィルタの組み合わせの各々について予め定められてメモリ１０７にテーブルとして記憶されていればよい。なお、該変換マトリクスは、例えばデジタルビデオカメラ１００において予めマクベスチャート等のカラーチャートを撮影し、得られた画像データについてのＡＣＥＳの理想的なカラーバランス目標値への変換係数に基づいて生成されればよい。

なお、カラーバランス変換マトリクスは、上述のような理想的なカラーバランスから乖離させる要因の復号条件について定めるものではなく、要因の各々について定められていてもよい。即ち、例えば光源の種類の違いにより生じるカラーバランスの変更と、カラーフィルタの種類の違いにより生じるカラーバランスの変更とは、それぞれ独立して生じるものである。このため、図６（ｂ）に示されるように光源とカラーフィルタの種類の各々について、別々に変換マトリクスが定義されていてもよい。

システム制御部１０１は、このように各種ＩＤＴ処理情報を取得した後、本情報取得処理を完了し、処理を記録処理に戻す。なお、本情報取得処理ではＡＣＥＳ色空間変換処理に係るＩＤＴ処理情報については処理を具体的に記載していないが、予め定められた変換マトリクスがＩＤＴ処理情報に含められればよい。

Ｓ２０４で、システム制御部１０１は、情報取得処理により得られたＩＤＴ処理情報を、動画像のフレームである画像データのフレームヘッダに含め、記録媒体Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。なお、本実施形態ではＩＤＴ処理情報はフレームヘッダに含められて記録されるものとして説明するが、本発明の実施はこれに限られるものでなく、動画像データに関連付けられた別ファイルとして記録される構成であってもよい。

Ｓ２０５で、システム制御部１０１は、動画撮影の終了指示がなされたか否かを判断する。システム制御部１０１は、動画撮影の終了指示がなされたと判断した場合は本記録処理を完了し、なされていないと判断した場合は処理をＳ２０１に戻す。

このようにすることで、本実施形態のデジタルビデオカメラ１００では、外部装置においてＩＤＴ処理を実行する際に必要となるＩＤＴ処理情報を関連付けた動画像データを生成することができる。ＩＤＴ処理情報には、デガンマ処理、ＡＣＥＳカラーバランス補正処理、及びＡＣＥＳ色空間変換処理において必要となる情報が含まれる。そして外部装置において該情報を用いてＩＤＴ処理が実行されることで、動画像データをＡＣＥＳで規定される理想的な色応答関数に順応した動画像データに変換することができる。

《ＩＤＴ処理》
次に、このようにデジタルビデオカメラ１００における記録処理の結果得られた動画像データに対してＩＤＴ処理を実行する際の動作について説明する。本実施形態ではＩＤＴ処理は、外部装置としてのＰＣ７００において実行されるものとして説明する。

〈ＰＣ７００の構成〉
まず、ＩＤＴ処理を実行するＰＣ７００の構成について図７を用いて説明する。図７に示されるように、ＰＣ７００は内部バスを介して接続されたＣＰＵ７０１、ＲＡＭ７０２、ＨＤＤ７０３、通信部７０４、表示制御部７０５、及びＰＣ操作入力部７０７に加え、ディスプレイ７０６が接続された形態で構成される。

ＣＰＵ７０１は、ＰＣ７００が有する各ブロックの動作を制御する。具体的にはＣＰＵ７０１は、例えばＨＤＤ７０３に記録されたＩＤＴ処理を実行するアプリケーションのプログラムを読み出し、ＲＡＭ７０２に展開して実行することにより各ブロックの動作を制御する。

ＲＡＭ７０２は、書き換え可能な揮発性メモリである。ＲＡＭ７０２は、アプリケーションプログラムのワーキングメモリとしてだけでなく、ＰＣ７００が有する各ブロックの動作において出力された中間データ等を記憶する。

ＨＤＤ７０３は、ＰＣ７００が有する記録装置である。ＨＤＤ７０３は、ＩＤＴ処理を実行するアプリケーションプログラムに加え、画像データやその他のデータを記録する。本実施形態ではＨＤＤ７０３は、デジタルビデオカメラ１００における記録処理により記録された動画像データが記録されているものとする。ＨＤＤ７０３への動画像データの記録は、例えば不図示のインタフェースに接続された記録媒体１１２からの移動またはコピーにより行われてもよいし、通信部７０４を介してデジタルビデオカメラ１００から受信されることにより行われてもよい。なお、通信部７０４はＰＣ７００が有する通信インタフェースであり、例えば無線通信によりデータの送受信が可能なように構成される。

表示制御部７０５は、ディスプレイ７０６に表示される画面に係る表示信号の出力を行う。具体的には表示制御部７０５は、ＣＰＵ７０１から画面に係る表示制御信号を受信し、該信号に基づいて表示信号を生成し、ディスプレイ７０６に出力する。例えば表示制御部７０５は、表示制御信号に基づいて各種ＧＵＩ（Graphical User Interface）データを読み出し、不図示のビデオメモリ上でこれらのデータを合成してＧＵＩ画面を生成し、表示信号として出力する。なお、本実施形態ではＰＣ７００は、構成要素としてディスプレイ７０６が含まれる、所謂ラップトップタイプであるものとして説明するが、本発明の実施はこれに限られるものではないことは理解されよう。

ＰＣ操作入力部７０７は、マウスやキーボード等のＰＣ７００が有するユーザインタフェースである。ＰＣ操作入力部７０７は、ユーザによりなされた操作入力を検出すると、操作に対応する制御信号をＣＰＵ７０１に出力する。

このような構成を有するＰＣ７００で実行されるＩＤＴ処理について、以下、図８のフローチャートを参照して詳細を説明する。なお、本記録処理は、例えばＰＣ７００において対応するアプリケーションが実行され、理想的な色応答関数に順応させる対象である動画像データが選択された際に開始されるものとして説明する。

Ｓ８０１で、ＣＰＵ７０１は、動画像データのフレームのうちの未処理のフレーム（対象フレーム）に係る画像データを取得する。具体的にはＣＰＵ７０１は、動画像データの先頭フレームから順に対象フレームとして選択し、該フレームのデータに対して復号処理を行うことで対応する画像データを取得する。取得した画像データは、ＲＡＭ７０２に格納される。

Ｓ８０２で、ＣＰＵ７０１は、対象フレームのフレームヘッダからＩＤＴ処理情報を読み出して、ＲＡＭ７０２に格納する。

Ｓ８０３で、ＣＰＵ７０１は、読み出したＩＤＴ処理情報を用いて、対象フレームに係る画像データに対してＩＤＴ処理を適用し、変換後の動画像データのフレームとして例えばＨＤＤ７０３に記録する。本ステップで適用されるＩＤＴ処理は、上述したデガンマ処理、ＡＣＥＳカラーバランス補正処理、及びＡＣＥＳ色空間変換処理である。なお、ＩＤＴ処理は該３つの処理が全て行われるのではなく、該処理のうちの少なくともいずれかの処理を行われる構成でもよい。この場合、画像データには対応する処理に係るＩＤＴ処理情報が関連付けられていればよい。

Ｓ８０４で、ＣＰＵ７０１は、動画像データの全てのフレームについてＩＤＴ処理を実行したか否かを判断する。ＣＰＵ７０１は、全てのフレームについてＩＤＴ処理を実行したと判断した場合は本ＩＤＴ処理を完了し、未処理のフレームが存在すると判断した場合は処理をＳ８０１に戻す。

このようにすることで、外部装置であるＰＣ７００において、ＩＤＴ処理に係る撮影時パラメータを正確に認識した上で、適切なＩＤＴ処理を実行することができる。即ち、ユーザによるＩＤＴ処理情報の入力を必要とすることなく、理想的な色応答関数に対応した画像データへの変換を実現することができる。

なお、本実施形態ではＩＤＴ処理情報として変換処理に用いるマトリックス等、具体的な処理パラメータを記録するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、デジタルビデオカメラ１００と、ＰＣ７００において実行されるアプリケーションとの対応付けができている場合は、アプリケーションで予め定められた処理パラメータを指定するリンク情報を、ＩＤＴ処理情報として記録する構成であってもよい。また、情報取得処理で説明したように、処理パラメータを特定あるいは生成するために必要となる撮影時パラメータが、ＩＤＴ処理情報として記録され、外部装置において該情報から処理パラメータを特定あるいは生成する構成であってもよい。

以上説明したように、本実施形態の情報処理装置は、入力応答特性変換処理を好適に実現可能な画像データを生成することができる。具体的には情報処理装置は、撮影された画像と、該画像の撮影した際の撮影条件を示す情報とを取得する。そして情報処理装置は、該撮影条件を示す情報に基づき、撮影された画像を所定の色応答関数に対応した画像に変換するデガンマ処理、カラーバランス補正処理、及び色空間変換処理の少なくともいずれかで使用される変換係数を生成する。情報処理装置は、生成した変換係数を撮影された画像に関連付けて記録する。

［実施形態２］
上述した実施形態では、デジタルビデオカメラ１００における記録処理の間、各フレームについてＩＤＴ処理情報を決定して関連付ける方法について説明した。本実施形態では全フレームのフレームヘッダにＩＤＴ処理情報を関連付けるのではなく、変化が生じたフレームについてのみＩＤＴ処理情報を関連付ける方法について説明する。なお、本実施形態のデジタルビデオカメラ１００及びＰＣ７００は、実施形態１と同様の構成であるため、説明を省略する。

《記録処理》
以下、本実施形態のデジタルビデオカメラ１００において実行される記録処理について、図９のフローチャートを参照して詳細を説明する。なお、本実施形態の記録処理において、上述した実施形態１の記録処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特徴的な処理を行うステップの説明に留める。

Ｓ２０２において動画像のフレームである画像データが出力された後、システム制御部１０１はＳ９０１で、記録する動画像データのファイルヘッダが存在するか否かを判断する。システム制御部１０１は、動画像データのファイルヘッダが存在すると判断した場合は処理をＳ９０３に移し、存在しないと判断した場合は処理をＳ２０３に移す。

Ｓ２０３において情報取得処理を実行してＩＤＴ処理情報を取得した後、システム制御部１０１はＳ９０２で、取得したＩＤＴ処理情報を記録する動画像データのファイルヘッダに含め、記録媒体Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。そしてシステム制御部１０１は、処理をＳ２０５に移す。

一方、Ｓ９０１においてファイルヘッダが存在すると判断した場合、システム制御部１０１はＳ９０３で、ＩＤＴ処理情報に係る撮影時の各種パラメータに変化が生じたか否かを判断する。具体的には、直前にファイルヘッダあるいはフレームヘッダに記録したＩＤＴ処理情報に対応する撮影時の各種パラメータをメモリ１０７に記憶しておき、システム制御部１０１は該パラメータと現在のパラメータとを比較し、変化が生じたか否かを判断する。システム制御部１０１は、撮影時の各種パラメータに変化が生じたと判断した場合は処理をＳ９０４に移し、生じていないと判断した場合は処理をＳ２０５に移す。

Ｓ９０４で、システム制御部１０１は、情報取得処理を実行し、変化した撮影時の各種パラメータに対応するＩＤＴ処理情報を取得する。

Ｓ９０５で、システム制御部１０１は、取得したＩＤＴ処理情報が直前にファイルヘッダあるいはフレームヘッダに記録したＩＤＴ処理情報から変化しているか否かを判断する。例えば室内から屋外へ移動しながらデジタルビデオカメラ１００での撮影を行う場合、光源が変化することによってホワイトバランス係数が変化し、ＡＣＥＳカラーバランス補正処理に係るＩＤＴ処理情報が変化することがある。このとき、図５に示されるように検出されるホワイトバランス係数のマッピングされる座標が点５０２から点５０１に遷移する場合、ユークリッド距離は光源Ａ２に近い状態から光源Ａ１に近い状態に変化するため、ＩＤＴ処理情報を変化させる必要がある。なお、遷移中の点５０３はユークリッド距離は光源Ａ２に近い状態で変化しないため、ＩＤＴ処理情報を変化させる必要はない。

システム制御部１０１は、取得したＩＤＴ処理情報が直前に記録したＩＤＴ処理情報から変化していると判断した場合は処理をＳ９０６に移し、変化していないと判断した場合は処理をＳ２０５に移す。

Ｓ９０６で、システム制御部１０１は、情報取得処理により得られたＩＤＴ処理情報を、画像データに対応するフレームヘッダに含め、記録媒体Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。なお、フレームヘッダに含められるＩＤＴ処理情報は、デガンマ処理、ＡＣＥＳカラーバランス補正処理、及びＡＣＥＳ色空間変換処理に係る全ての係数である必要はなく、変化が生じた係数のみ、あるいは変化が生じた係数の差分のみであってもよい。

このようにすることで、本実施形態のデジタルビデオカメラ１００は変化が生じたフレームについてのみＩＤＴ処理情報を関連付けることができるので、動画像データに係るファイルサイズを低減することができる。

なお、このようにして記録された動画像データに対してＩＤＴ処理を適用する場合は、先頭フレームからフレームヘッダにＩＤＴ処理情報が記録されているフレームまではファイルヘッダに記録されているＩＤＴ処理情報を使用すればよい。そして以降のフレームでは、該フレームヘッダに記録されたＩＤＴ処理情報を、次にフレームヘッダにＩＤＴ処理情報が記録されているフレームまで使用して処理を行えばよい。

［実施形態３］
上述した実施形態１及び２では、デジタルビデオカメラ１００がＩＤＴ処理に必要なＩＤＴ処理情報を生成して記録する、即ちデジタルビデオカメラ１００がＩＤＴ処理情報の生成に必要な情報を管理しているものとして説明した。しかしながら、現実的には全ての撮影条件についてのＩＤＴ処理情報の生成に必要な情報をデジタルビデオカメラ１００が記憶しておくことは現実的ではない。また、デジタルビデオカメラ１００に装着される光学系等は後発的に製品化されることも考えられるため、デジタルビデオカメラ１００が予めそのような製品に対応可能な情報を有している可能性は低い。本実施形態ではデジタルビデオカメラ１００とＰＣ７００とが接続されて撮影が行われる場合に、例えばアプリケーションプログラムが供給するＩＤＴ処理情報の生成に必要な情報がＰＣ７００からデジタルビデオカメラ１００に送信される態様について説明する。

《記録処理》
以下、本実施形態のデジタルビデオカメラ１００において実行される記録処理について、図１０のフローチャートを参照して詳細を説明する。なお、本実施形態の記録処理において、上述した実施形態１の記録処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特徴的な処理を行うステップの説明に留める。

Ｓ２０２において動画像のフレームである画像データが出力された後、システム制御部１０１はＳ１００１で、ＰＣ７００から外部入力Ｉ／Ｆ１１４を介してＩＤＴ処理情報の生成に必要な情報（受信情報）を受信する。

Ｓ１００２で、システム制御部１０１は、不揮発性メモリ１０２に記憶されているＩＤＴ処理情報の生成に必要な情報と、ＰＣ７００から受信した受信情報とを比較し、不揮発性メモリ１０２に記憶されていない条件の情報が受信情報に含まれるか否かを判断する。システム制御部１０１は、不揮発性メモリ１０２に記憶されていない条件の情報が受信情報に含まれると判断した場合は処理をＳ１００３に移し、含まれないと判断した場合は処理をＳ２０３に移す。

Ｓ１００３で、システム制御部１０１は、受信情報のうち、不揮発性メモリ１０２に記憶されていない条件の情報を不揮発性メモリ１０２に格納し、処理をＳ２０３に移す。例えば、不揮発性メモリ１０２に記憶されているＩＤＴ処理情報の生成に必要な情報が、図１１の１１０１の斜線部の情報であった場合、受信情報に含まれる情報１１０２及び１１０３が不揮発性メモリ１０２に格納される。なお、格納される情報は、受信情報のうちのデジタルビデオカメラ１００に関連する条件の情報であってよい。

このようにすることで、本実施形態のデジタルビデオカメラ１００は、ＩＤＴ処理情報の生成に必要な情報を予め有していなくとも、外部から情報を取得し、撮影条件に応じたＩＤＴ処理情報を画像データに関連付けて記録することができる。

なお、本発明の異なる態様について実施形態１乃至３の各々で詳細を説明したが、各態様は全てをあるいは部分的に組み合わせられてもよいことは言うまでもない。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 撮影された画像と、該画像の撮影した際の撮影条件を示す情報とを取得する取得手段と、
   前記撮影条件を示す情報に基づき、前記撮影された画像を所定の色応答関数に対応した画像に変換する変換処理で使用される変換係数を生成する生成手段と、
   前記生成手段により生成された前記変換係数を、前記撮影された画像に関連付けて記録する記録手段と、を有し、
   前記変換処理は、デガンマ処理、カラーバランス補正処理、及び色空間変換処理の少なくともいずれかを含む
   ことを特徴とする情報処理装置。
2. 前記デガンマ処理に係る前記撮影条件を示す情報は、前記撮影された画像に対して適用されたガンマ処理の情報であることを特徴とする請求項１に記載の情報処理装置。
3. 前記カラーバランス補正処理に係る前記撮影条件を示す情報は、前記撮影された画像に対して適用されたホワイトバランス係数、撮影時の撮像素子の設定に係る情報、撮影時に使用された光学系を特定する情報を含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記記録手段は、前記撮影された画像が動画像のフレームである場合、前記生成手段により生成された前記変換係数が直前に記録した変換係数から変化した場合に該生成された変換係数を記録することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記生成手段は、外部装置より取得された前記変換係数の生成に必要な情報に基づいて前記変換係数を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記所定の色応答関数は、アカデミー色符号化仕様で定められる色応答関数であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 撮影手段と、
   前記撮影手段により撮影が行われた場合に、撮影した際の撮影条件を示す情報を取得する取得手段と、
   前記撮影条件を示す情報に基づき、撮影された画像を所定の色応答関数に対応した画像に変換する変換処理で使用される変換係数を生成する生成手段と、
   前記生成手段により生成された前記変換係数を、前記撮影された画像に関連付けて記録する記録手段と、を有し、
   前記変換処理は、デガンマ処理、カラーバランス補正処理、及び色空間変換処理の少なくともいずれかを含む
   ことを特徴とする撮像装置。
8. 情報処理装置の取得手段が、撮影された画像と、該画像の撮影した際の撮影条件を示す情報とを取得する取得工程と、
   前記情報処理装置の生成手段が、前記撮影条件を示す情報に基づき、前記撮影された画像を所定の色応答関数に対応した画像に変換する変換処理で使用される変換係数を生成する生成工程と、
   前記情報処理装置の記録手段が、前記生成工程において生成された前記変換係数を、前記撮影された画像に関連付けて記録する記録工程と、を有し、
   前記変換処理は、デガンマ処理、カラーバランス補正処理、及び色空間変換処理の少なくともいずれかを含む
   ことを特徴とする情報処理装置の制御方法。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。