JP2014093716A - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ライブビュー中の色調整において、ユーザが全体画像と部分拡大画像の両方で色調整結果を同時に確認することができるようにする。
【解決手段】画像処理装置１５０は、撮像装置１００からライブビュー画像とＲＡＷデータとを受信し、表示部１５２にライブビュー画像の全体画像と部分拡大画像とを同時に表示する。このとき、ユーザにより全体画像と部分拡大画像のいずれかが選択可能となっている。また、画像処理装置１５０は、ユーザ操作により撮像装置１００から出力されるライブビュー画像の色調整を行うための色調整データを作成し、作成された色調整データを撮像装置１００に送信し、選択された画像の色調整データに基づいて色調整されたライブビュー画像を撮像装置１００から取得して表示すると共に、選択されていない画像には受信したＲＡＷデータを現像した画像を表示する。
【選択図】図４

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

近年、急速に普及したデジタルカメラでは、撮影した画像を撮影直後に再生表示して視認することができ、これがユーザにとって大きなメリットになっている。また、撮影画像を再生表示する際に拡大表示を行う機能は、撮影した被写体のピントを速やかに確認する際に有用である。そこで、例えば、撮影画像の再生表示の際に、撮影モードに応じて全体画像表示と拡大画像表示とを自動的に切り替えることが可能なデジタルカメラが提案されている（特許文献１参照）。

また、デジタルカメラ等の撮像装置をＵＳＢ等の接続手段を用いてパーソナルコンピュータ（ＰＣ）等へ接続し、撮像装置の撮像光学系を通して得られる動画像をリアルタイムにＰＣ等で再生することが行われている。このような方法によれば、ユーザは、構図や露出、ピント、画像調整等の確認を円滑に行うことができる。ここでも、上述の撮影画像の再生手法と同様に、ユーザ操作によりライブビュー画像を全体表示又は部分拡大表示のどちらで表示するかを自動的に切り替える技術が提案されている（特許文献２参照）。

特開２００５−３０３４０８号公報 特開２００９−１５２８９４号公報

ユーザが、ライブビュー画像の色調整を行う場合、画像全体の色調整結果の確認には全体表示を用い、一方、画像の特定部分の色調整結果の確認には部分拡大表示を用いるため、全体画像と部分拡大画像とを同時に確認できることが望ましい。

しかし、デジタルカメラは、ライブビュー中は、全体画像と部分拡大画像のいずれか一方しかＰＣへ送信することができない。そのため、ユーザが、ライブビュー中に色調整を行おうとしても、全体画像と部分拡大画像のそれぞれについての色調整結果を同時に確認することはできない。

本発明は、ライブビュー中の色調整において、ユーザが全体画像と部分拡大画像の両方で色調整結果を同時に確認することができる画像処理技術を提供することを目的とする。

本発明に係る画像処理装置は、撮像装置と通信可能に接続されて前記撮像装置からリアルタイムで出力されるライブビュー画像を受信して表示手段に表示する画像処理装置であって、前記撮像装置から受信するライブビュー画像の画像全体を前記表示手段の第１の表示領域に表示し、前記撮像装置から受信するライブビュー画像の一部を前記表示手段の第２の表示領域に拡大表示する制御手段と、ユーザ操作により前記第１の表示領域又は前記第２の表示領域のいずれかを選択する選択手段と、ユーザ操作により前記撮像装置の撮像条件を設定する撮像条件設定手段と、ユーザ操作により前記撮像装置から出力されるライブビュー画像の色調整を行うための色調整データを作成する色調整手段と、前記色調整手段により作成された色調整データを前記撮像装置に送信する送信手段と、前記撮像装置において前記色調整データに基づく色調整が行われ、前記選択手段により選択された領域に表示するライブビュー画像を前記撮像装置から取得するライブビュー画像取得手段と、前記選択手段により選択されていない領域に表示する画像のＲＡＷデータを前記撮像装置から取得するＲＡＷデータ取得手段と、前記ＲＡＷデータ取得手段が取得したＲＡＷデータを現像する現像手段とを備え、前記制御手段は、前記ライブビュー画像取得手段が取得したライブビュー画像を前記選択手段により選択された領域に表示し、前記現像手段で現像された画像を前記選択手段により選択されていない領域に表示することを特徴とする。

本発明によれば、ライブビュー中の色調整において、ユーザは、全体画像と部分拡大画像の両方で色調整結果を同時に確認することができる。

本発明の第１実施形態に係る画像処理システムの概略構成を示すブロック図である。 第１実施形態に係る画像処理システムが備える撮像装置の撮像動作を示すフローチャートである。 第１実施形態に係る画像処理システムが備える撮像装置の動作（画像処理装置との連係動作に係る処理）を示すフローチャートである。 第１実施形態に係る画像処理システムが備える画像処理装置の動作（撮像装置との連係動作に係る処理）を示すフローチャートである。 第１実施形態に係る画像処理システムが備える画像処理装置の表示部に表示される画面の例を示す図である。 第２実施形態に係る画像処理システムが備える画像処理装置の表示部に表示される色調整パラメータ編集画面の例を示す図である。 第２実施形態に係る画像処理システムが備える撮像装置の動作を示すフローチャートである。 第２実施形態に係る画像処理システムが備える画像処理装置の動作を示すフローチャートである。 第３実施形態に係る画像処理システムが備える画像処理装置の画像編集の動作を示すフローチャートである。 第３実施形態に係る画像処理システムが備える画像処理装置の画像再生動作を示すフローチャートである。 第３実施形態に係る画像処理システムが備える画像処理装置において８ｂｉｔ画像の１フレームの黒潰れ又は白飛びを判定する動作を示すフローチャートである。 第３実施形態に係る画像処理システムが備える画像処理装置において１フレームの補正可否を判定する動作を示すフローチャートである。 第３実施形態に係る画像処理システムが備える画像処理装置でプロキシ画像において黒潰れと白飛びが発生しているフレームについて対応する縮小ＲＡＷ画像を補正処理した結果の例を示すヒストグラムである。 第３実施形態に係る画像処理システムが備える画像処理装置でフレーム画像を部分的に補正する形態を模式的に示す図である。 第４実施形態に係る画像処理システムが備える画像処理装置の動作手順を示すフローチャートである。 第４実施形態に係る画像処理システムが備える撮像装置の動作手順を示すフローチャートである。 第５実施形態に係る画像処理システムが備える撮像装置の動作（撮像から画像データの生成）を示すフローチャートである。 第５実施形態に係る画像処理システムが備える撮像装置の動作（画像処理装置との連係動作に係る処理）を示すフローチャートである。 第５実施形態に係る画像処理システムが備える画像処理装置の動作を示すフローチャートである。 第６実施形態に係る画像処理システムが備える画像処理装置によるＲＡＷ動画データの現像再生手順を示すフローチャートである。 第６実施形態に係る画像処理システムが備える画像処理装置によるフレームの並び替え編集の手順を示すフローチャートである。 第６実施形態に係る画像処理システムが備える画像処理装置によるフレームの並び替え編集操作としての「挿入」を模式的に示す図である。 第６実施形態に係る画像処理システムが備える画像処理装置によるフレームの並び替え編集操作としての「削除」を模式的に示す図である。 第６実施形態に係る画像処理システムが備える画像処理装置によるフレームの並び替え編集操作としての「置換」を模式的に示す図である。 第６実施形態に係る画像処理システムが備える画像処理装置によるフレームの並び替え編集操作としての「移動挿入」を模式的に示す図である。 第６実施形態に係る画像処理システムが備える画像処理装置によるフレームの並び替え編集操作としての「移動置換」を模式的に示す図である。 図２１のステップＳ２１０２の処理例であって、フレームの並び替え編集のうちの「挿入」を実行する際のパラメータ補間手順を示すフローチャートである。 図２１のステップＳ２１０２の処理例であって、フレームの並び替え編集のうちの「削除」を実行する際のパラメータ補間手順を示すフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
第１実施形態では、本発明に係る画像処理システムとして、撮像装置と画像処理装置とかなるシステムを取り上げることとする。具体的には、撮像装置は、デジタルカメラやデジタルビデオカメラ等であり、画像処理装置は、パーソナルコンピュータ（ＰＣ）等の情報処理装置であるとする。但し、本発明に係る画像処理システムは、このような構成に限定されるものではなく、例えば、撮像装置は、ライブビュー画像（ライブビュー映像）を画像処理装置に伝送する機能を有していればよい。

図１は、本発明の第１実施形態に係る画像処理システムの概略構成を示すブロック図である。画像処理システムは、撮像装置１００と画像処理装置１５０とによって構成されている。

撮像装置１００は、不図示の撮像光学系を備える。また、撮像装置１００は、撮像素子１０１、Ａ／Ｄ変換部１０２、制御部１０３、記憶部１０４、通信インタフェース１０５、画像処理部１０６、ＲＡＭ１０７及びＲＯＭ１０８を備え、これらはシステムバス１０９を通して相互に通信可能となっている。

撮像素子１０１は、ＣＭＯＳやＣＣＤ等の光電変換素子であり、撮像光学系を通して得られる被写体光学像をアナログ電気信号に変換する。Ａ／Ｄ変換部１０２は、撮像素子１０１から出力されるアナログ電気信号をデジタル画像データ（ＲＡＷデータ）に変換する。制御部１０３は、中央演算処理装置（ＣＰＵ）を含み、ＲＯＭ１０８に格納された制御プログラムをＲＡＭ１０７のワークエリアに展開、実行することにより、撮像装置１００の各部を制御して、撮像装置１００全体の動作を制御する。なお、ＲＯＭ１０８は、制御プログラムの他に、制御プログラムの実行に必要な各種パラメータ等を格納する。

記憶部１０４は、フラッシュメモリやハードディスク等に代表される記憶媒体であり、撮像装置１００に内蔵されているか着脱式であるかを問わない。記憶部１０４には、画像処理装置１５０と連係動作するための各種プログラムが記憶され、また、撮像した静止画や動画等の画像データが保存される。制御部１０３は、記憶部１０４に格納された所定のプログラムをＲＡＭ１０７に展開、実行することで、画像処理装置１５０と連係動作を実現させる。

通信インタフェース１０５は、画像処理装置１５０との間でデータを送受信するためのインタフェースである。制御部１０３は、通信インタフェース１０５を介して、画像処理装置１５０から画像データの送信要求を受信し、これに応じて、ライブビュー画像データとＲＡＷデータを画像処理装置１５０へ送信する。また、制御部１０３は、通信インタフェース１０５を介して、画像処理装置１５０から色調整データや撮像条件の変更データを受信する。

画像処理部１０６は、制御部１０３が通信インタフェース１０５を介して画像処理装置１５０から受信した色調整データに従ってＲＡＷデータに対する現像処理を行い、ライブビュー画像（ライブビュー画像データ）を作成する。また、画像処理部１０６は、制御部１０３が画像処理装置１５０にＲＡＷデータを送信する際に、ＲＡＷデータに対して間引き処理又は切り取り処理を行う。ＲＡＷデータは、ＲＡＭ１０７に保持される。ＲＡＭ１０７は、その他のデータの一時記憶領域としても用いられる。

画像処理装置１５０は、操作部１５１、表示部１５２、制御部１５３、記憶部１５４、通信インタフェース１５５、ＲＡＭ１５６及びＲＯＭ１５７と、これらを相互に通信可能に接続するシステムバス１５８を備える。

操作部１５１は、キーボードやポインティングデバイスを含み、ユーザからの操作を受け付ける。なお、ポインティングデバイスとしては、マウス、トラックボール、タブレット等が挙げられる。表示部１５２は、例えば、液晶ディスプレイ（ＬＣＤ）であり、ＧＵＩ（Graphical User Interface）画面や画像データを表示する。

表示部１５２には、撮像装置１００から送られてくるライブビュー画像の画像全体を表示する第１の表示領域である全体表示画面と、ライブビュー画像の一部を拡大表示する第２の表示領域である部分拡大表示画面とが表示される。ユーザは、操作部１５１を操作して、全体表示画面（第１の表示領域）と部分拡大表示画面（第２の表示領域）のいずれかを、選択画面（選択領域）として選択することができる。

制御部１５３は、中央演算処理装置（ＣＰＵ）を含み、ＲＯＭ１５７に格納されたＯＳプログラムをＲＡＭ１５６のワークエリアに展開、実行することにより、画像処理装置１５０の各部を制御して、画像処理装置１５０全体の動作を制御する。また、制御部１５３は、記憶部１５４に格納されたアプリケーションソフトを実行することにより、撮像装置１００へ画像データの送信要求を送信し、これに応じたライブビュー画像データ又はＲＡＷデータを受信し、受信したＲＡＷデータに対する画像処理等を行う。なお、制御部１５３は、画像データの送信要求を行う際には、画像データの種類、画像サイズ、画像領域等を指定する情報を同時に送信する。更に、制御部１５３は、ユーザが操作部１５１を通して指定する色調整データや撮影条件の変更データを撮像装置１００に送信する。

ＲＡＭ１５６は、ＯＳプログラムの他に、ＯＳプログラムの実行に必要な各種パラメータ等を格納する。ＲＡＭ１５６は、制御部１５３による各種処理に必要な作業領域として用いられると共に、各種データの一時記憶領域として用いられる。

記憶部１５４は、フラッシュメモリやハードディスク等に代表される記憶媒体であり、各種アプリケーションソフトやデータを格納する。記憶部１５４に格納されているプログラムは、一旦、ＲＡＭ１５６に読み出された後、制御部１５３によって実行される。通信インタフェース１５５は、撮像装置１００の通信インタフェース１０５と通信ケーブルで接続されている。なお、通信インタフェースとしては、ＵＳＢ（Universal Serial Bus）を用いることができるが、これに限定されず、ＬＡＮケーブルを用いた有線接続の形態や無線通信接続の形態を用いてもよい。

図２は、撮像装置１００の撮像動作（ライブビュー撮像）を示すフローチャートである。図２に示す各処理は、制御部１０３がＲＯＭ１０８（又は記憶部１０４）に格納された所定のプログラムをＲＡＭ１０７のワークエリアに展開、実行して、撮像装置１００の各部の動作を制御することにより実現される。

ステップＳ２０１では、制御部１０３は、ライブビューモードでの撮像の終了指示がなされたか否かを判定する。制御部１０３は、終了指示がなされた場合（Ｓ２０１でＹＥＳ）、処理を終了させ、終了指示がなされていない場合（Ｓ２０１でＮＯ）、処理をステップＳ２０２に進める。

ステップＳ２０２では、制御部１０３は、撮像素子１０１から出力されたアナログ電気信号を取得する。制御部１０３は、続くステップＳ２０３では、制御部１０３は、ＲＡＷデータ作成処理を行う。即ち、制御部１０３は、ステップＳ２０２で取得したアナログ電気信号をＡ／Ｄ変換部１０２にてＲＡＷデータに変換する。続いて、ステップＳ２０４では、制御部１０３は、ステップＳ２０３で作成したＲＡＷデータをＲＡＭ１０７に保持する。このとき、ＲＡＭ１０７に既にＲＡＷデータが保持されている場合には、新しいＲＡＷデータが上書き保存され、古いＲＡＷデータは破棄される。これにより、画像処理装置１５０からの画像データの送信要求に対して速く応答することが可能になる。

図３は、撮像装置１００の動作を示すフローチャートであり、画像処理装置１５０との連係動作に係る処理の内容を示している。図３に示す各処理は、制御部１０３が記憶部１０４に記憶された所定のプログラムをＲＡＭ１０７に展開、実行して、撮像装置１００の各部の動作を制御することにより実現される。

ステップＳ３０１では、制御部１０３は、ライブビューモーのド終了指示がなされたかを判定する。制御部１０３は、終了指示がなされた場合（Ｓ３０１でＹＥＳ）、処理を終了させ、終了指示がなされていない場合（Ｓ３０１でＮＯ）、処理をステップＳ３０２へ進める。ステップＳ３０２では、制御部１０３は、画像処理装置１５０からの指示に従って処理を分岐させる。

ステップＳ３０３，Ｓ３０４の処理は、画像処理装置１５０からライブビュー画像の送信要求を制御部１０３が受信した場合の処理である。ライブビュー画像の送信要求には、画像サイズと画像領域を指定するデータが含まれている。

ステップＳ３０３では、制御部１０３は、ライブビュー画像生成処理を行う。具体的には、ＲＡＭ１０７からＲＡＷデータを読み出し、指定された画像領域を画像処理部１０６にて現像し、指定された画像サイズのライブビュー画像を作成する。このステップＳ３０３の現像処理では、画像処理装置１５０から受信した色調整データを反映した処理を行う。これにより、画像処理装置１５０は、色調整データを反映したライブビュー画像を取得することができる。続くステップＳ３０４では、制御部１０３は、通信インタフェース１０５を介して、ステップＳ３０３で生成されたライブビュー画像（ライブビュー画像データ）を画像処理装置１５０に送信する。ステップＳ３０４の後、制御部１０３は、処理をステップＳ３０１へ戻す。

ステップＳ３０５，Ｓ３０６の処理は、画像処理装置１５０からＲＡＷデータの送信要求を制御部１０３が受信した場合の処理である。ＲＡＷデータの送信要求には、画像サイズと画像領域を指定するデータが含まれている。

ステップＳ３０５では、制御部１０３は、ＲＡＭ１０７からＲＡＷデータを読み出し、画像処理部１０６で指定された画像領域、指定された画像サイズに従い、クロップ及びリサイズを行ったＲＡＷデータを生成する。これにより、画像処理装置１５０との通信における通信量が低減され、通信負荷を軽くすることができる。なお、生成されたＲＡＷデータは、現像処理のために必要な指定画像領域外のデータも持つため、指定された画像領域よりも大きめの画像領域を持つデータとなる。ステップＳ３０６では、制御部１０３は、ステップＳ３０５で生成したＲＡＷデータを画像処理装置１５０に送信する。ステップＳ３０６の後、制御部１０３は、処理をステップＳ３０１へ戻す。

ステップＳ３０７は、画像処理装置１５０から撮像条件又は色調整データの変更データを制御部１０３が受信した場合の処理である。ステップ３０７では、制御部１０３は、受信した撮像条件又は色調整データをＲＡＭ１０７に格納する。格納された撮像条件又は色調整データは、撮像処理や現像処理の際に利用される。なお、撮像条件は、ＩＳＯ感度や絞り値、シャッタースピード、撮影モード、ホワイトバランス等の撮像に関する様々な情報を含む。また、色調整データは、各色のマッピングデータ、変換関数等の情報を含む。ステップＳ３０７の後、制御部１０３は、処理をステップＳ３０１へ戻す。

図４は、画像処理装置１５０の動作を示すフローチャートであり、撮像装置１００との連係動作に係る処理の内容を示している。図４に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ４０１では、制御部１５３は、ユーザ操作により操作部１５１を通じてライブビューモードの終了指示がなされたか否かを判定する。制御部１５３は、終了指示がなされた場合（Ｓ４０１でＹＥＳ）、処理を終了させ、終了指示がなされていない場合（Ｓ４０１でＮＯ）、処理をステップＳ４０２へ進める。

ステップＳ４０２では、制御部１５３は、操作部１５１を通してユーザから色調整が指示されたか否かを判定する。なお、色調整を指示するための色調整データは、ユーザによる操作部１５１の操作により作成され、ＲＡＭ１５６に格納される。制御部１５３は、色調整が指示された場合（Ｓ４０２でＹＥＳ）、処理をステップＳ４０３に進め、色調整が指示されていない場合（Ｓ４０２でＮＯ）、処理をステップＳ４０４へ進める。

制御部１５３は、ステップＳ４０３において、色調整データ送信処理を実行する。即ち、制御部１５３は、ユーザにより指示された色調整データを撮像装置１００に送信し、その後、処理をステップＳ４０４へ進める。ステップＳ４０４では、制御部１５３は、ユーザ操作により操作部１５１を通じて選択表示画面又は撮像条件の設定の変更が指示されたか否かを判定する。なお、選択表示画面の変更とは、表示部１５２に表示される全体表示画面と部分拡大表示画面のいずれを選択画面とするかを変更することを指す。撮像条件設定変更は、ユーザ操作により操作部１５１を通じて行うことができる。制御部１５３は、選択表示画面又は撮像条件の設定が変更された場合（Ｓ４０４でＹＥＳ）、処理をステップＳ４０５へ進め、設定が変更されていない場合（Ｓ４０４でＮＯ）、処理をステップＳ４０６へ進める。

制御部１５３は、ステップＳ４０５において、ＲＡＷデータ取得処理を行う。即ち、制御部１５３は、ステップＳ４０４での変更後の非選択表示画面に対応する画像領域と画像サイズのＲＡＷデータを撮像装置１００に要求し、撮像装置１００から出力されるＲＡＷデータを受信し、その後、処理をステップＳ４０６へ進める。なお、ステップＳ４０５で取得したＲＡＷデータは、ＲＡＭ１５６に保存される。また、既にＲＡＷデータがＲＡＭ１５６に保存されていた場合、古いＲＡＷデータは破棄される。

ステップＳ４０６では、制御部１５３は、ユーザ操作により、現像パラメータ又はＲＡＷデータの変更が指示されたか否かを判定する。なお、現像パラメータとは、現像処理時に利用するパラメータ群であり、撮像条件や色調整を含み、ＲＡＭ１５６に格納されている。制御部１５３は、現像パラメータ又はＲＡＷデータの変更が指示された場合（Ｓ４０６でＹＥＳ）、処理をステップＳ４０７へ進め、変更が指示されていない場合（Ｓ４０６でＮＯ）、処理をステップＳ４１０へ進める。

ステップＳ４０７では、制御部１５３は、現像処理において優先する事項に従って処理を分岐させ、ここでは、処理速度を優先するか処理精度を優先するかを判定するものとし、いずれを優先するかは、ユーザ操作により操作部１５１を通じて設定される。制御部１５３は、処理精度を優先する場合（Ｓ４０７でＮＯ）、処理をステップＳ４０８へ進め、処理速度を優先する場合（Ｓ４０７でＹＥＳ）、処理をステップＳ４０９へ進める。

ステップＳ４０８，Ｓ４０９では共にＲＡＷデータ現像処理を行うが、ステップＳ４０８とステップＳ４０９とでは、その内容が異なる。具体的には、制御部１５３は、ステップＳ４０８において、ＲＡＭ１５６に格納されているＲＡＷデータを読み出し、現像パラメータを用いて現像処理を行い、生成された画像データをＲＡＭ１５６に保存し、その後、処理をステップＳ４１０へ進める。一方、制御部１５３は、ステップＳ４０９において、ＲＡＭ１５６に格納されているＲＡＷデータを読み出し、現像パラメータを用いて簡易的な現像処理を行い、生成された画像データをＲＡＭ１５６に保存し、その後、処理をステップＳ４１０へ進める。なお、簡易的な現像処理とは、レンズ補正等の生成画像の色に影響を及ぼさない処理を省く現像処理等の、処理速度を向上させた現像処理をいう。

ステップＳ４１０では、制御部１５３は、ライブビュー画像取得処理を行う。具体的には、制御部１５３は、選択表示画面に対応する画像領域、画像サイズのライブビュー画像を撮像装置１００に要求し、撮像装置１００から出力されるライブビュー画像データを受信し、ＲＡＭ１５６に保存する。ここで取得したライブビュー画像には、ステップＳ４０３で送信した色調整データを利用した処理が行われており、ユーザによる色調整結果を反映させた画像となっている。続くステップＳ４１１では、制御部１５３は、ステップＳ４０８又はステップＳ４０９で生成した画像データを表示部１５２の非選択表示画面に表示し、ステップＳ４１０で取得したライブビュー画像を表示部１５２の選択表示画面に表示する。その後、制御部１５３は、処理をステップＳ４０１へ戻す。

図５は、表示部１５２に表示される画面の例を示す図である。表示部１５２の上段には画像全体を表示する全体表示画面が表示され、表示部１５２の下段には画像の一部を拡大表示する部分拡大表示画面が表示される。

図５では、全体表示画面が非選択画面に、部分拡大表示画面が選択画面となっており、図５（ａ）は色調整を行う前の画像であり、図５（ｂ）は拡大部分に対して色調整を行った結果を示している。このように、本実施形態によれば、ユーザは、全体表示画面と部分拡大表示画面の両方を同時に視認しながら、色調整を行ったときに得られる画像を確認することができるため、色調整を効率よく行うことができる。

＜第２実施形態＞
第２実施形態に係る画像処理システムは、現在の画像に対して色調整を行ったときの時刻変化に伴う色変化を予測した画像を比較可能に表示することにより、ユーザが色調整の効果をリアルタイムに確認することができるように動作する。第２実施形態に係る画像処理システムのブロック構成は、第１実施形態に係る画像処理システムのブロック構成と同じであるため、第２実施形態に係る画像処理システムのブロック構成についての説明は省略する。

図６は、第２実施形態に係る画像処理システムが備える画像処理装置１５０の表示部１５２に表示される色調整パラメータ編集画面の例を示す図である。

表示部１５２に表示される色調整パラメータ編集画面６００には、色調整に用いられる複数の画像表示画面６０１が表示される。表示部１５２には、複数の画像表示画面６０１を表示することができるようになっており、図６には、２つの画像表示画面６０１が表示された状態が示されている。画像表示画面６０１は、撮像装置１００から受信したライブビュー画像をリアルタイムに表示し、或いは、画像処理装置１５０の記憶部１５４又はＲＡＭ１５６に保存された画像を表示する。例えば、１つの画像表示画面６０１にはライブビュー画像を表示し、これと同時に、他の画像表示画面６０１には撮影画像を表示するという用い方も可能である。画像表示画面６０１には、画像表示画面６０１上を自由に移動させることができるカーソル６０２が表示され、カーソル６０２で指し示した部分の色を編集の対象色として取得することができるようになっている。

色調整パラメータ編集画面６００には、ＨＳＬ空間で表されたカラーサークル６０３が表示され、カラーサークル６０３は、カーソル６０２により取得した対象色の色と影響範囲を表示する。また、色調整パラメータ編集画面６００には、色調整パラメータである色相を調整する色相操作部材６０４と、彩度を調整する彩度操作部材６０５と、明度を調整する明度操作部材６０６が表示される。これらの操作部材はそれぞれ、図６の右側に動かすと正方向に、左側に動かすと負方向に対応する値を調整する。本実施形態では、これらの操作部材が動かされた時点で、撮像装置１００に対して色調整パラメータが送信されるようになっているものとする。

図７は、撮像装置１００の動作を示すフローチャートであり、画像処理装置１５０との連係動作に係る処理の内容を示している。具体的には、図７のフローチャートは、撮像装置１００が画像処理装置１５０から色調整パラメータを受信して、ライブビュー画像を画像処理装置１５０へ送信する動作を示している。なお、図７に示す各処理は、制御部１０３が記憶部１０４に記憶された所定のプログラムをＲＡＭ１０７に展開、実行して、撮像装置１００の各部の動作を制御することにより実現される。

制御部１０３は、ステップＳ７０１において、画像処理装置１５０からのライブビュー中の編集開始指示を受信し、続くステップＳ７０２において、編集の基準となる基準色調整パラメータを設定する。基準色調整パラメータは、例えば、図６に示した色相操作部材６０４、彩度操作部材６０５及び明度操作部材６０６のそれぞれの中間値で設定してもよいし、予め定められた所定値で設定してもよい。

次に、ステップＳ７０３では、制御部１０３は、画像処理装置１５０から色調整パラメータを受信したか否かを判定する。制御部１０３は、色調整パラメータを受信した場合（Ｓ７０３でＹＥＳ）、処理をステップＳ７０４へ進め、色調整パラメータを受信していない場合（Ｓ７０３でＮＯ）、処理をステップＳ７０５へ進める。

ステップＳ７０４では、制御部１０３は、ステップＳ７０３で受信した色調整パラメータをＲＡＭ１０７に保持する。ステップＳ７０５では、制御部１０３は、ステップＳ７０２又はステップＳ７０４で保持した色調整パラメータを適用した画像である色調整パラメータ適用画像を画像処理部１０６により生成し、ＲＡＭ１０７に保持する。このとき、古い色調整パラメータ適用画像はＲＡＭ１０７から削除される。

続くステップＳ７０６では、制御部１０３は、色調整パラメータを適用しない画像である色調整パラメータ未適用画像を生成し、ＲＡＭ１０７に保持する。色調整パラメータ未適用画像は、基準色調整パラメータのみを適用して現像処理した画像でもよいし、現像処理を行っていないＲＡＷデータの画像でもよい。このとき、古い色調整パラメータ未適用画像はＲＡＭ１０７から削除される。ステップＳ７０７では、制御部１０３は、色調整パラメータ適用画像の送信要求を受信したか否かを判定する。制御部１０３は、送信要求を受信した場合（Ｓ７０７でＹＥＳ）、処理をステップＳ７０８へ進め、送信要求を受信していない場合（Ｓ７０７でＮＯ）、処理をステップＳ７０９へ進める。

制御部１０３は、ステップＳ７０８において、画像処理装置１５０に色調整パラメータ適用画像を送信し、その後、処理をステップＳ７０９へ進める。ステップＳ７０９では、制御部１０３は、色調整パラメータ未適用画像の送信要求を受信したか否かを判定する。制御部１０３は、送信要求を受信した場合（Ｓ７０９でＹＥＳ）、処理をステップＳ７１０へ進め、送信要求を受信していない場合（Ｓ７０９でＮＯ）、処理をステップＳ７１１へ進める。

制御部１０３は、ステップＳ７１０において、画像処理装置１５０に色調整パラメータ未適用画像を送信し、その後、処理をステップＳ７１１へ進める。ステップＳ７１１では、制御部１０３は、ライブビュー中の編集終了通知を受信したか否かを判定する。制御部１０３は、編集終了通知を受信した場合（Ｓ７１１でＹＥＳ）、処理をステップＳ７１２へ進め、編集終了通知を受信していない場合（Ｓ７１１でＮＯ）、処理をステップＳ７０３へ戻す。ステップＳ７１２では、制御部１０３は、色調整パラメータを記憶部１０４に記憶して、処理を終了させる。

図８は、画像処理装置１５０の動作を示すフローチャートであり、撮像装置１００との連係動作に係る処理の内容を示している。具体的には、図８のフローチャートは、画像処理装置１５０が、撮像装置１００からリアルタイムにライブビュー画像を受信しながら、ユーザから色調整パラメータの編集を受け付けたときの動作を示している。なお、図８に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ８０１では、制御部１５３は、ユーザからの操作部１５１によるライブビュー中の編集開始の指示を受けて、撮像装置１００に対してライブビュー中の編集開始の指示を送信し、色調整パラメータ編集画面６００を表示する。続くステップＳ８０２では、制御部１５３は、前回に色調整パラメータを撮像装置１００に送信してから、色調整パラメータがユーザによる操作部１５１の操作により編集（変更）されたか否かを判定する。制御部１５３は、色調整パラメータが編集された場合（Ｓ８０２でＹＥＳ）、処理をステップＳ８０３へ進め、編集されていない場合（Ｓ８０２でＮＯ）、処理をステップＳ８０４へ進める。

制御部１５３は、ステップＳ８０３において、撮像装置１００に変更後の色調整パラメータを送信し、その後、処理をステップＳ８０４へ進める。ステップＳ８０４では、制御部１５３は、色調整パラメータを適用したライブビュー画像を撮像装置１００から取得し、画像表示画面６０１にライブビュー画像を表示する。続くステップＳ８０５では、制御部１５３は、色調整パラメータ未適用画像を取得してからの間隔（時間）が５秒を超えたか否かを判定する。制御部１５３は、色調整パラメータ未適用画像を取得してからの間隔が５秒を超えている場合（Ｓ８０５でＹＥＳ）、処理をステップＳ８０６へ進め、５秒を超えていない場合（Ｓ８０５でＮＯ）、処理をステップＳ８０７へ進める。

制御部１５３は、ステップＳ８０６において、色調整パラメータ未適用画像を取得し、その後、処理をステップＳ８０７へ進める。ステップＳ８０７では、色調整パラメータ未適用画像が有効であるか否かを判定する。ステップＳ８０７の判定では、本実施形態では、カーソル６０２で指定した色と色相の差の絶対値が５度以上、彩度の差の絶対値が５以上、又は、明度の差の絶対値が５以上となる場合には、無効と判定する。但し、このような判定基準に限定されない。例えば、現時刻より前の複数の色調整パラメータ適用画像から得られる動きベクトルと、色調整パラメータ未適用画像と同じ時刻の色調整パラメータ適用画像とその１つ前に受信した色調整パラメータ適用画像との動きベクトルとの差異が大きい場合、無効と判定するようにしてもよい。これにより、無効な色調整に応じた色変化を求めないようにすることができる。

制御部１５３は、色調整パラメータ未適用画像が有効である場合（Ｓ８０７でＹＥＳ）、処理をステップＳ８０９へ進め、有効でない場合（Ｓ８０７でＮＯ）、処理をステップＳ８０８へ進める。制御部１５３は、ステップＳ８０８において、受信した色調整パラメータ未適用画像を破棄し、その後、処理をステップＳ８０９へ進める。ステップＳ８０９では、制御部１５３は、色調整パラメータ未適用画像が２枚以上となったか否かを判定する。制御部１５３は、色調整パラメータ未適用画像が２枚以上ある場合（Ｓ８０９でＹＥＳ）、処理をステップＳ８１０へ進め、２枚以上ない場合（Ｓ８０９でＮＯ）、処理をステップＳ８１３へ進める。

ステップＳ８１０では、制御部１５３は、２枚の色調整パラメータ未適用画像についてカーソル６０２で指定した部分の色の差分から線形的な色変化パラメータを算出する。但し、このような方法に限定されず、例えば、最も古い色調整パラメータ未適用画像に対してカーソル６０２で指定した色が存在する点の差分を用いてもよい。また、線形的な変化情報に限られず、２次以上の曲線等の曲線を用いてもよい。

続くステップＳ８１１では、制御部１５３は、ステップＳ８１０で求めた色変化パラメータと予測する時刻情報から、予測色調整パラメータを求める。そして、ステップＳ８１２では、制御部１５３は、ステップＳ８１１で求めた予測色調整パラメータを最新の色調整パラメータ未適用画像に適用すると共に、新たに画像表示画面６０１を生成し、この新たな画像表示画面６０１に予測色調整パラメータを適用した画像を表示する。これにより、色調整パラメータ編集画面６００には、現在の色調整パラメータ適用画像と予測色調整パラメータを適用した画像とが並べて表示されることとなり、ユーザは色調整の適用結果を容易に確認することができる。

続いて、ステップＳ８１３では、制御部１５３は、ユーザからの操作部１５１によるライブビュー中の編集終了の指示を受けたか否かを判定する。制御部１５３は、編集終了指示を受けた場合（Ｓ８１３でＹＥＳ）、処理を終了させ、編集終了指示を受けていない場合（Ｓ８１３でＮＯ）、処理をステップＳ８０２へ戻す。

以上の説明の通り、本実施形態によれば、ライブビュー中に色調整パラメータが編集された場合に、時刻変化に伴う色変化を考慮した画像を得ることができる。このとき、編集した色調整パラメータの効果を確認するために、色調整に使用している画像以外の画像に予測色調整パラメータを適用した画像が表示されるので、ユーザは適用結果を容易に確認することができる。

＜第３実施形態＞
第３実施形態に係る画像処理システムは、画像編集の容易性を保ちつつ、画像における黒潰れや白飛びを補正する。第３実施形態に係る画像処理システムのブロック構成は、第１実施形態に係る画像処理システムのブロック構成と同じである。ここでは、第１実施形態に係る画像処理システムと比較したときの、第３実施形態に係る画像処理システムを構成する撮像装置１００と画像処理装置１５０の特徴的な機能（構成）についてのみ説明する。

第３実施形態に係る画像処理システムを構成する撮像装置１００は、ＲＡＷ画像（ＲＡＷデータ）と、ＲＡＷ画像を縮小したプロキシ画像（プロキシ画像データ）の２系統の画像（画像データ）を画像処理装置１５０に送信することができる。画像処理装置１５０において、撮像装置１００から受信した画像は、記憶部１５４又はＲＡＭ１５６に保持される。

ユーザは、画像処理装置１５０の操作部１５１を操作することにより、撮像装置１００から送られてきて表示部１５２に表示された画像のどの範囲を編集したいかを指定することができる。画像処理装置１５０の制御部１５３は、ユーザにより指定された編集範囲の画像に対して、トーン調整を適用した画像処理を実行する。なお、トーン調整とは、ゲインダウン、ゲインアップ、任意のトーンカーブのコントロール等の調整を指し、トーン調整の結果は、フレーム毎にＲＡＭ１５６に記憶される。

また、制御部１５３は、ユーザにより指定された編集範囲のプロキシ画像に対して画像解析を実行し、フレーム毎に黒潰れ或いは白飛びの発生の有無を判定し、その判定結果をＲＡＭ１５６に保持する。更に、制御部１５３は、記憶部１５４に保持されているＲＡＷ画像のうち、プロキシ画像に対する画像解析の結果、黒潰れ或いは白飛びが発生していると判定されたフレームについて縮小ＲＡＷ画像を作成し、作成した縮小ＲＡＷ画像を記憶部１５４に保持する。

更に、制御部１５３は、記憶部１５４に保持された縮小ＲＡＷ画像について、トーン調整された結果、黒潰れ或いは白飛びが補正されるか否かを判定し、判定結果をＲＡＭ１５６に保持する。制御部１５３による制御に従い、表示部２０３には、トーン調整中のフレームで黒潰れ或いは白飛びの補正が可能と判定されたフレームについては、縮小ＲＡＷ画像を現像して、トーン調整を施した結果が表示される。一方、トーン調整中のフレームで黒潰れ或いは白飛びの補正が可能でないと判定されたフレームについては、プロキシ画像にトーン調整を施した結果が表示部２０３に表示される。

図９は、画像処理装置１５０の画像編集動作を示すフローチャートである。なお、図９に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ９０１では、制御部１５３は、ユーザが操作部１５１を操作して指定した、撮像装置１００から受信する画像に対する編集範囲の指定を受け付ける。続くステップＳ９０２では、制御部１５３は、指定された編集範囲にあるプロキシ画像を走査し、黒潰れ又は白飛びが発生していないかを判定する。そして、ステップＳ９０３では、制御部１５３は、黒潰れ又は白飛びが発生しているプロキシ画像に対応するＲＡＷ画像から縮小ＲＡＷ画像を生成し、作成した縮小ＬＡＷ画像を記憶部１５４に保持する。

続くステップＳ９０４では、制御部１５３は、ユーザの操作部１５１からの操作指示に従ってトーン調整を開始する。ステップＳ９０５において、表示部１５２に表示中のフレームの画像に黒潰れ又は白飛びが発生しているか否かを判定する。制御部１５３は、黒潰れも白飛びも発生していない場合（Ｓ９０５でＮＯ）、処理をステップＳ９０７へ進め、黒潰れ又は白飛びが発生している場合（Ｓ９０５でＹＥＳ）、処理をステップＳ９０６へ進める。ステップＳ９０６では、制御部１５３は、表示中フレームの画像がトーン調整によって黒潰れ又は白飛びが補正可能か否かを判定する。制御部１５３は、補正可能でない場合（Ｓ９０６でＮＯ）、処理をステップＳ９０７へ進め、補正可能である場合（Ｓ９０６でＹＥＳ）、処理をステップＳ９０８へ進める。

ステップＳ９０７では、制御部１５３は、表示中フレームのプロキシ画像にトーン調整を適用した結果を表示部２０３に表示する。ステップＳ９０８では、制御部１５３は、表示中フレームの縮小ＲＡＷ画像を現像処理し、トーン調整を施した結果を表示部２０３に表示する。制御部１５３は、表示中フレームの処理であるステップＳ９０７，Ｓ９０８の終了後に、処理をステップＳ９０９へ進める。

ステップＳ９０９では、制御部１５３は、表示中フレーム以外の編集範囲にある全てのフレームについて、ステップＳ９０５〜Ｓ９０８の処理を実行し、補正可否の判断結果をＲＡＭ１５６に保持する。その後、ステップＳ９１０では、制御部１５３は、ユーザから操作部１５１を介してトーン調整の終了指示があったか否かを判定し、終了指示がない場合（Ｓ９１０でＮＯ）、処理をステップＳ９０４へ戻し、終了指示があった場合（Ｓ９１０でＹＥＳ）、本処理を終了させる。

図１０は、画像処理装置１５０の画像再生動作を示すフローチャートである。なお、図１０に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

制御部１５３は、画像再生開始と同時に、現像に必要な現像スレッドを起動する。再生メインスレッドでは、時間軸に沿って再生対象のフレームが決まっていくので、ステップＳ１００１では、制御部１５３は、ＲＡＭ１５６に保持されているステップＳ９０６での判定結果を確認していく。制御部１５３は、ステップＳ９０６での判定結果がＹＥＳ（補正可）である場合（Ｓ１００１でＹＥＳ）、処理をステップＳ１００２へ進め、ステップＳ９０６での判定結果がＮＯ（補正不可）である場合（Ｓ１００１でＮＯ）、処理をステップＳ１００５へ進める。

制御部１５３は、ステップＳ１００２において、再生対象フレームに対応する縮小ＲＡＷ画像を現像スレッドに渡して現像処理を要求し、その後、現像結果ができ上がるまで待機状態に入る（ステップＳ１００３）。一方、現像スレッドは、現像処理要求の待機状態にある（ステップＳ１０１１）。現像スレッドは、ステップＳ１００２による現像処理要求を受けたタイミングで再起動（Ｒｅｓｕｍｅ）し、縮小ＲＡＷ画像の現像処理を行い、現像結果を再生メインスレッドに受け渡し（ステップＳ１０１２）、その後、再び待機状態（Ｓｕｓｐｅｎｄ）に入る。

制御部１５３は、ステップＳ１００３の待機状態においてステップＳ１０１２による現像結果を受信すると、処理をステップＳ１００４へ進め、現像スレッドから受け渡された現像結果にトーン調整を施して表示部１５２に再生表示する。一方、ステップＳ１００５では、制御部１５３は、再生対象フレームのプロキシ画像にトーン調整を施した結果を表示部１５２に再生表示する。

制御部１５３は、ステップＳ１００４，Ｓ１００５の終了後に処理をステップＳ１００６へ進め、再生の終端フレームに達したか否かを判定する。制御部１５３は、終端フレームに達していない場合（Ｓ１００６でＮＯ）、処理をステップＳ１００３へ戻し、終端フレームに達した場合（Ｓ１００６でＹＥＳ）、現像スレッドに終了指示を出して、本処理を終了させる。

図１１は、画像処理装置１５０において、８ｂｉｔ画像の１フレームの黒潰れ又は白飛びを判定する動作を示すフローチャートである。なお、図１１に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ１１０１では、制御部１５３は、判定対象となる１フレームのヒストグラムを生成する。続くステップＳ１１０２では、制御部１５３は、ヒストグラムの０位置に画素が存在するか否かを判定する。制御部１５３は、０位置に画素が存在する場合（Ｓ１１０２でＹＥＳ）、ステップＳ１１０３において黒潰れが発生していると判定し、その後、処理をステップＳ１１０４へ進める。一方、制御部１５３は、０位置に画素が存在しない場合（Ｓ１１０２でＮＯ）、黒潰れは発生していないと判定して、処理をステップＳ１１０４へ進める。

ステップＳ１１０４では、制御部１５３は、ヒストグラムの２５５位置に画素が存在するか否かを判定する。制御部１５３は、２５５位置に画素が存在する場合（Ｓ１１０４でＹＥＳ）、ステップＳ１１０５において白飛びが発生していると判定し、その後、処理をステップＳ１１０６へ進める。一方、制御部１５３は、２５５位置に画素が存在しない場合（Ｓ１１０４でＮＯ）、白飛びは発生していないと判定して、処理をステップＳ１１０６へ進める。ステップＳ１１０６では、制御部１５３は、ステップＳ１１０２〜１１０５により得られた、黒潰れと白飛びの有無の判定結果をＲＡＭ１５６に保持する。その後、制御部１５３は、本処理を終了させる。

図１２は、画像処理装置１５０において、１フレームの補正可否を判定する動作を示すフローチャートである。なお、図１１に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ１２０１では、制御部１５３は、判定対象となる１フレームが白飛びしており、且つ、トーン調整でゲインがダウンされたか否かを判定する。制御部１５３は、白飛びし、且つ、ゲインダウンされている場合（Ｓ１２０１でＹＥＳ）、ステップＳ１２０３において補正が可能と判断し、その後、処理をステップＳ１２０５へ進める。一方、制御部１５３は、白飛びしておらず又はゲインダウンされていない場合（Ｓ１２０１でＮＯ）、ステップＳ１２０２において、判断対象の１フレームが黒潰れしており、且つ、トーン調整でゲインがアップされたか否かを判定する。制御部１５３は、黒潰れし、且つ、ゲインアップされている場合（Ｓ１２０２でＹＥＳ）、ステップＳ１２０３において補正が可能と判断し、その後、処理をステップＳ１２０５へ進める。一方、制御部１５３は、黒潰れしておらず又はゲインアップされていない場合（Ｓ１２０２でＮＯ）、ステップＳ１２０４において補正不可と判断し、その後、処理をステップＳ１２０５へ進める。

ステップＳ１２０５では、制御部１５３は、ステップＳ１２０１〜１２０４により得られた、補正可否の判定結果をＲＡＭ１５６に保持する。その後、制御部１５３は、本処理を終了させる。

図１３は、プロキシ画像において黒潰れと白飛びが発生しているフレームについて、対応する縮小ＲＡＷ画像を補正処理した結果の例を示すヒストグラムである。図１３（ａ）では、プロキシ画像の白飛びが発生しているフレームについて、トーン調整でゲインダウンされた場合に、縮小ＲＡＷ画像を用いて現像処理した結果を示している。図１３（ａ）の右図のハッチング部分は、図１３（ａ）の左図のプロキシ画像では白飛びしていた部分に対応し、この部分の白飛びが補正されていることがわかる。

図１３（ｂ）では、プロキシ画像の黒潰れが発生しているフレームについて、トーン調整でゲインアップされた場合に、縮小ＲＡＷ画像を用いて現像処理した結果を示している。図１３（ｂ）の右図のハッチング部分は、図１３（ｂ）の左図のプロキシ画像では黒潰れしていた部分に対応し、この部分の黒潰れが補正されていることがわかる。

図１４は、フレーム画像を部分的に補正する形態を模式的に示す図である。図１４の例では、フレーム画像を一定の単位で分割し、分割した単位毎にヒストグラムを生成している。画像処理装置１５０の制御部１５３は、生成したヒストグラム毎に、図１１及び図１２に示したフローチャートに従う処理を実行し、補正可と判定された場合に、分割した単位で現像処理を行い、その結果を表示部１５２に表示する。図１４において、太線で囲まれた部分は白飛びしている。そのため、トーン調整でゲインダウンが行われた場合、対応する縮小ＲＡＷ画像の対応する部分のみが現像処理されて、表示部１５２に表示されることとなる。

以上の説明の通り、本実施形態によれば、編集の容易性を保ちつつ、黒潰れと白飛びを補正することができる。

＜第４実施形態＞
第４実施形態に係る画像処理システムでは、撮像装置１００から画像処理装置１５０へライブビュー画像を送信する際のデータ転送量と画像処理装置１５０での処理量を抑えつつ、画像処理装置１５０でのライブビュー中に色調整データ編集用の色情報を取得できるようにする。第４実施形態に係る画像処理システムのブロック構成は、第１実施形態に係る画像処理システムのブロック構成と同じであり、実行される処理の内容のみが異なるため、ここでは、画像処理システムのブロック構成についての説明は省略する。

図１５は、画像処理装置１５０の動作手順を示すフローチャートである。なお、図１５に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ１５０１において、制御部１５３は、表示部１５２の表示モードを「表示のみモード」に設定し、撮像装置にライブビュー画像の送信開始指示を送信する。なお、「表示のみモード」とは、撮像装置１００から送信されるライブビュー画像のみを表示部１５２に表示するモードである。続くステップＳ１５０２では、制御部１５３は、イベント待ちに入る。ここで、イベントには、撮像装置１００からのデータ受信と、操作部１５１を通じたユーザによるＵＩ操作（以下「ユーザ操作」という）とがある。制御部１５３は、撮像装置１００からのデータ受信イベントが発生した場合には処理をステップＳ１５０３へ進め、一方、ユーザによるユーザ操作イベントが発生した場合には処理をステップＳ１５０６へ進める。

ステップＳ１５０３では、制御部１５３は、撮像装置１００から受信したデータの種類に応じて処理を分岐させる。制御部１５３は、撮像装置１００から受信したデータが表示用画像データである場合には処理をステップＳ１５０４へ進め、撮像装置１００から受信したデータが色情報取得用データである場合には処理をステップＳ１５０５へ進める。制御部１５３は、ステップＳ１５０４において、撮像装置１００から受信した表示用画像データを表示部１５２に表示し、その後、処理をステップＳ１５０２へ戻す。一方、制御部１５３は、ステップＳ１５０５において、撮像装置１００から受信した色情報取得用画像データをＲＡＭ１５６に保存し、その後、処理をステップＳ１５０２へ戻す。

ステップＳ１５０６では、制御部１５３は、ユーザ操作に応じて処理を分岐させ、ユーザ操作がモード切替である場合には処理をステップＳ１５０７へ進め、ユーザ操作が表示画像上の座標指定である場合には処理をステップＳ１５１１へ進める。

ステップＳ１５０７では、制御部１５３は、ユーザが選択したモードに応じて処理を分岐させる。制御部１５３は、ユーザがライブビューの終了を選択した場合には処理をステップＳ１５０８へ進め、ユーザが座標指定モードの開始を選択した場合には処理をステップＳ１５０９へ進める。また、制御部１５３は、ユーザが座標指定モードの終了を選択した場合には処理をステップＳ１５１０へ進める。なお、座標指定モードでは、ユーザが操作部１５１のポインティングデバイスを操作して、表示部１５２に表示されている画像の所定位置（座標）を指定することができる。

制御部１５３は、ステップＳ１５０８において、撮像装置１００にライブビュー画像の送信終了指示を送信し、その後、ライブビューを終了させる。制御部１５３は、ステップＳ１５０９において、表示部１５２の表示モードを座標指定モードに設定し、撮像装置１００に色情報取得用データ要求を送信した後、処理をステップＳ１５０２へ戻す。制御部１５３は、ステップＳ１５１０において、表示部１５２の表示モードを表示のみモードに設定し、撮像装置１００にライブビューの再開指示を送信し、その後、処理をステップＳ１５０２へ戻す。

ステップＳ１５１１では、制御部１５３は、表示部１５２の表示モードが座標指定モードか否かを判定する。制御部１５３は、座標指定モードでない場合（Ｓ１５１１でＮＯ）、ユーザ操作を無視して処理をステップＳ１５０２へ戻し、座標指定モードである場合（Ｓ１５１１でＹＥＳ）、処理をステップＳ１５１２へ進める。ステップＳ１５１２では、制御部１５３は、ステップＳ１５０５でＲＡＭ１５６に保持した色情報取得用画像データから、画像上で指定された座標に対応する色情報を取得する。制御部１５３は、続くステップＳ１５１３において、ステップＳ１５１２で取得した色情報を編集対象色としてＲＡＭ１５６に保持し、その後、処理をステップＳ１５０２へ戻す。

図１６は、撮像装置１００の動作手順を示すフローチャートである。図１６に示す各処理は、制御部１０３が記憶部１０４に記憶された所定のプログラムをＲＡＭ１０７に展開、実行して、撮像装置１００の各部の動作を制御することにより実現される。

ステップＳ１６０１では、制御部１０３は、ライブビュー一時停止フラグをオフにすると共に、色情報取得用画像データ作成フラグをオフにする。続くステップＳ１６０２では、制御部１０３は、画像処理装置１５０からデータを受信したか否かを判定する。制御部１０３は、データを受信していない場合（Ｓ１６０２でＮＯ）、処理をステップＳ１６０３へ進め、データを受信した場合（Ｓ１６０２でＹＥＳ）、処理をステップＳ１６１１へ進める。

ステップＳ１６０３では、制御部１０３は、ライブビュー一時停止フラグがオンになっているかを判定する。これは、後述する処理の終了後にステップＳ１６０２への戻りがあるためである。制御部１０３は、ライブビュー一時停止フラグがオンの場合（Ｓ１６０３でＹＥＳ）、処理をステップＳ１６０２へ戻し、リモートライブビュー一時停止フラグがオフの場合（Ｓ１６０３でＮＯ）、処理をステップＳ１６０４へ進める。制御部１０３は、ステップＳ１６０４において、撮像素子１０１から出力されるアナログ電気信号をＡ／Ｄ変換部１０２でデジタル信号に変換し、ＲＡＷデータを作成する。続くステップＳ１６０５では、制御部１０３は、ステップＳ１６０４で作成したＲＡＷデータを、画像処理部１０６で現像し、縮小処理して、表示用画像データを作成する。なお、制御部１０３は、画像処理部１０６において、表示用画像データにＪＰＥＧ圧縮を適用することもできる。

次に、ステップＳ１６０６では、制御部１０３は、ステップＳ１６０５で作成した表示用画像データを、通信インタフェース１０５を通じて、画像処理装置１５０に送信する。その後、ステップＳ１６０７では、制御部１０３は、色情報取得用画像データ作成フラグがオンになっているかを判定する。制御部１０３は、色情報取得用画像データ作成フラグがオフの場合（Ｓ１６０７でＮＯ）、処理をステップＳ１６０２へ戻し、色情報取得用画像データ作成フラグがオンの場合（Ｓ１６０７でＹＥＳ）、処理をステップＳ１６０８へ進める。

ステップＳ１６０８では、制御部１０３は、画像処理部１０６にて、ステップＳ１６０４で作成したＲＡＷデータから色情報取得用画像データを作成する。ここで、色情報取得用画像データは、ＲＡＷデータを一定領域で分割し、その領域内の平均値を求め、求めた平均値をその領域の値とする。これにより、色情報取得用画像サイズを表示用画像サイズと同じ大きさに縮小してデータ量を減らすことができ、ＲＡＷデータにおけるノイズ等の局所的に突出した値を低減させることができる。

ステップＳ１６０９では、制御部１０３は、ステップＳ１６０８で作成した色情報取得用画像データを、通信インタフェース１０５を通じて、画像処理装置１５０に送信する。続いて、制御部１０３は、ステップＳ１６１０において、色情報取得用画像データ作成フラグをオフにし、その後、処理をステップＳ１６０２へ戻す。

ステップＳ１６１１では、制御部１０３は、画像処理装置１５０から送信されたデータに応じて処理を分岐させる。制御部１０３は、画像処理装置１５０からライブビューの再開指示を受信した場合には処理をステップＳ１６１２へ進め、画像処理装置１５０から色情報取得用画像データ要求を受信した場合には処理をステップＳ１６１３へ進める。また、制御部１０３は、画像処理装置１５０からライブビュー終了指示を受信した場合には、ライブビュー動作を終了させる。

制御部１０３は、ステップＳ１６１２において、ライブビュー一時停止フラグをオフにし、その後、処理をステップＳ１６０４へ進める。また、制御部１０３は、ステップＳ１６１３において、ライブビュー一時停止フラグをオンにした後、ステップＳ１６１４において色情報取得用画像データ作成フラグをオンにし、その後、処理をステップＳ１６０４へ進める。

以上の説明の通り、本実施形態によれば、撮像装置１００から画像処理装置１５０へのデータ転送量や画像処理装置１５０での処理量を抑えつつ、画像処理装置１５０はライブビュー中に色調整データ編集用の色情報を取得することができる。

＜第５実施形態＞
第５実施形態では、撮像装置１００のハードウエア資源を効率的に使用すると共に、ライブビュー画像を提供中に、撮像画像の画素値を画像処理装置１５０が取得することができるようにする。第５実施形態に係る画像処理システムのブロック構成は、第１実施形態に係る画像処理システムのブロック構成と同じであり、実行される処理の内容のみが異なるため、ここでは、画像処理システムのブロック構成についての説明は省略する。

なお、画像処理装置１５０の表示部１５２には、不図示であるが、撮像装置１００から受信したライブビュー画像を表示する画像表示領域と、ライブビュー画像において選択した部分の画素値を表示する領域とが表示される。また、表示部１５２には、適宜、取得する画像の色調整を行うための色調整ツールが表示される。

また、撮像装置１００のＲＡＭ１０７は、未送信表示用画像データを保持する。未送信表示用画像データは、画像処理部１０６が作成した表示用画像データであって、画像処理装置１５０へ送信するまで保持するデータである。また、ＲＡＭ１０７は、未送信問い合わせ用画像データを保持する。未送信問い合わせ用画像データは、画像処理部１０６が作成した画素値問い合わせ用画像データであって、対応する表示用画像データを画像処理装置１５０に送信するまで保持するデータである。更に、ＲＡＭ１０７は、送信済み問い合わせ用画像データを保持する。送信済み問い合わせ用画像データは、保持している表示用画像データを画像処理装置１５０に送信した後に保持する画素値問い合わせ用画像データである。また、ＲＡＭ１０７は、表示中問い合わせ用画像データを保持する。表示中問い合わせ用画像データは、画像処理装置１５０から画像表示完了通知を受信した後に保持する画素値問い合わせ用画像データである。

図１７は、撮像装置１００の動作（撮像から画像データの生成）を示すフローチャートである。図１７に示す各処理は、制御部１０３が記憶部１０４に記憶された所定のプログラムをＲＡＭ１０７に展開、実行して、撮像装置１００の各部の動作を制御することにより実現される。

ステップＳ１７０１において、制御部１０３は、ライブビューモードの終了指示を受信したか否かを判定する。制御部１０３は、終了指示を受信した場合（Ｓ１７０１でＹＥＳ）、ライブビューモードを終了させ、終了指示を受信していない場合（Ｓ１７０１でＮＯ）、処理をステップＳ１７０２へ進める。ステップＳ１７０２では、制御部１０３は、撮像素子１０１から出力されたアナログ電気信号をＡ／Ｄ変換部１０２でデジタル信号であるＲＡＷデータに変換する。

続くステップＳ１７０３では、制御部１０３は、画像処理部１０６によりＲＡＷデータに現像処理を施し、表示用画像データの大きさにリサイズ処理を行い、表示用画像データを作成する。なお、リサイズ処理は、例えば、撮像画像データサイズが縦２０００画素×横１０００画素のとき、表示用画像データサイズは縦１０００画素×横５００画素であるとする。この場合、撮像画像データの縦２画素×横２画素（＝４画素）が、表示用画像データの１画素に対応する。ここで、バイリニア法等の補間方法を用いて、撮像画像データの縦２画素×横２画素の４画素の平均値を表示用画像データに使用する。ステップＳ１７０３では、更に、制御部１０３は、作成した表示用画像データをＲＡＭ１０７に未送信表示用画像データとして保持する。

次に、ステップＳ１７０４では、制御部１０３は、画像処理部１０６によりＲＡＷデータに現像処理を施し、表示用画像データの大きさに間引き処理を行い、画素値問い合わせ用画像データを作成する。なお、間引き処理は、例えば、前述の画像データサイズの条件で、撮像画像データの縦２画素×横２画素の４画素のブロックのうち、左上１画素の値をそのブロックの代表画素とし、画素値問い合わせ用画像データに使用する。これにより、撮像画像の画素値を変更することなく、画像処理装置１５０からの画素値問い合わせに応答することが可能なデータを保持することができる。

ステップＳ１７０４では更に、制御部１０３は、作成した画素値問い合わせ用画像データを未送信問い合わせ用画像データとしてＲＡＭ１０７に保持する。その後、制御部１０３は、ステップＳ１７０５において、ステップＳ１７０２で作成したＲＡＷデータを破棄し、その後、処理をステップＳ１７０１へ戻す。

図１８は、撮像装置１００の動作手順を示すフローチャートであり、画像処理装置１５０との連係動作に係る処理の内容を示している。図１８に示す各処理は、制御部１０３が記憶部１０４に記憶された所定のプログラムをＲＡＭ１０７に展開、実行して、撮像装置１００の各部の動作を制御することにより実現される。

ステップＳ１８０１では、制御部１０３は、画像処理装置１５０からライブビューモードの終了指示を受信したか否かを判定する。制御部１０３は、終了指示を受信した場合（Ｓ１８０１でＹＥＳ）、ライブビューモードを終了させ、終了指示を受信していない場合（Ｓ１８０１でＮＯ）、処理をステップＳ１８０２へ進める。ステップＳ１８０２では、制御部１０３は、画像処理装置１５０からの指示に従って処理を分岐させる。

ステップＳ１８０３〜Ｓ１８０７は、撮像装置１００が画像処理装置１５０から表示用画像要求を受信した場合の処理である。ステップＳ１８０３では、制御部１０３は、ＲＡＭ１０７に未送信表示用画像データが存在するか否かを判定する。制御部１０３は、未送信表示用画像データが存在しない場合（Ｓ１８０７でＮＯ）、処理をステップＳ１８０１へ戻し、未送信表示用画像データが存在する場合（Ｓ１８０７でＹＥＳ）、処理をステップＳ１８０４へ進める。

制御部１０３は、ステップＳ１８０４において、ＲＡＭ１０７に保持されている未送信表示用画像データを画像処理装置１５０に送信し、続くステップＳ１８０５において、ステップＳ１８０４で画像処理装置１５０に送信した未送信表示用画像データを破棄する。その後のステップＳ１８０６では、制御部１０３は、ＲＡＭ１０７に保持している未送信問い合わせ用画像データを送信済み問い合わせ用画像データとして保持し直す。そして、制御部１０３は、ステップＳ１８０７において、ＲＡＭ１０７の未送信問い合わせ用画像データをクリアした後、処理をステップＳ１８０１へ戻す。

ステップＳ１８０８〜Ｓ１８１０は、撮像装置１００が画像処理装置１５０から表示用画像の表示完了通知を受信した場合の処理である。ステップＳ１８０８では、制御部１０３は、ＲＡＭ１０７に保持されている表示中問い合わせ画像データを破棄する。続くステップＳ１８０９では、制御部１０３は、ＲＡＭ１０７に保持されている送信済み問い合わせ用画像データを表示中問い合わせ画像データとして保持し直す。そして、制御部１０３は、ステップＳ１８１０において、ＲＡＭ１０７の送信済み問い合わせ用画像データをクリアした後、処理をステップＳ１８０１へ戻す。

ステップＳ１８１１は、撮像装置が画像処理装置１５０から画素値要求を受信した場合の処理である。制御部１０３は、ステップＳ１８１１において、表示中問い合わせ画像データの指定座標の画素値を画像処理装置１５０に送信し、その後、処理をステップＳ１８０１へ戻す。

図１９は、画像処理装置１５０の動作手順を示すフローチャートである。なお、図１９に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ１９０１では、制御部１５３は、撮像装置１００からの受信イベント、操作部１５１からの入力イベント、タイマイベントに応じて処理を分岐させる。

ステップＳ１９０２〜Ｓ１９０３は、ユーザにより操作部１５１から操作入力があったときの処理であり、ここでは、マウス操作が行われたものとする。ステップＳ１９０２では、制御部１５３は、マウスカーソルが表示部１５２に表示された画像表示領域内にあるか否かを判定する。制御部１５３は、マウスカーソルが画像表示領域内に存在しない場合（Ｓ１９０２でＮ０）、何ら処理を行わずに処理をステップＳ１９０１へ戻し、マウスカーソルが画像表示領域内に存在する場合（Ｓ１９０２でＹＥＳ）、処理をステップＳ１９０３へ進める。制御部１５３は、ステップＳ１９０３において、マウスカーソルの位置を表示画像の座標で取得し、その座標値を伴って撮像装置１００に画素値要求を送信し、その後、処理をステップＳ１９０１へ戻す。

ステップＳ１９０４は、タイマイベント時の処理である。制御部１５３は、ステップＳ１９０４において、タイマにより指定された時刻に撮像装置１００に表示用画像要求を送信し、その後、処理をステップＳ１９０１へ戻す。なお、タイマの機能は制御部１５３が備えている。

ステップＳ１９０５〜Ｓ１９０８は、撮像装置１００からデータを受信した場合の処理である。ステップＳ１９０５では、制御部１５３は、表示用画像データを受信したか否かを判定する。制御部１５３は、表示用画像データを受信した場合（Ｓ１９０５でＹＥＳ）、処理をステップＳ１９０６へ進め、表示用画像データを受信していない場合（Ｓ１９０５でＮ０）、処理をステップＳ１９０８へ進める。

制御部１５３は、ステップＳ１９０６において、受信した表示用画像を表示部１５２の画像表示領域に表示した後、ステップＳ１９０７において、撮像装置１００に表示用画像の表示完了通知を送信し、その後、処理をステップＳ１９０１へ戻す。ステップＳ１９０８は、撮像装置１００から画素値を受信した場合の処理であり、制御部１５３は、受信した画素値を表示部１５２の画素値表示領域に表示し、その後、処理をステップＳ１９０１へ戻す。

以上の説明の通り、本実施形態によれば、撮像装置１００のＲＡＭ１０７に効率的にデータが保持される。こうして、撮像装置１００のハードウエア資源を有効に使用することができる。また、画像処理装置１５０はライブビュー画像の提供中に撮像画像の画素値を取得することができるため、色調整等の作業を適切に行うことができるようになる。

＜第６実施形態＞
第６実施形態では、画像処理装置１５０において、撮影時パラメータを保持していないフレームを含むＲＡＷ動画のフレームを並び替え編集したときに、適切な現像結果が得られるようにする。なお、画像処理装置１５０は、撮像装置１００からＲＡＷ動画データを取得し、記憶部１５４に保存する。画像処理装置１５０の制御部１５３は、ＲＡＷ動画データをＲＡＭ１５６に読み出して現像し、表示部１５２に表示する。第６実施形態に係る画像処理システムのブロック構成は、第１実施形態に係る画像処理システムのブロック構成と同じであり、実行される処理の内容のみが異なるため、ここでは、画像処理システムのブロック構成についての説明は省略する。

図２０は、画像処理装置１５０がＲＡＷ動画データの現像再生手順を示すフローチャートである。なお、図２０に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ２００１では、制御部１５３は、ＲＡＷ動画の再生終了フレーム（再生範囲の最後のフレーム）まで再生したか否かを判定する。制御部１５３は、再生終了フレームまで再生した場合（Ｓ２００１でＹＥＳ）、処理を終了させ、再生終了フレームまで再生していない場合（Ｓ２００１でＮＯ）、処理をステップＳ２００２へ進める。ステップＳ２００２では、制御部１５３は、記憶部１５４からＲＡＷ動画のフレームデータをＲＡＭ１５６に読み込む。

続くステップＳ２００３では、制御部１５３は、ステップＳ２００２でＲＡＭ１５６に読み込んだフレームデータに所定の撮影時パラメータが存在するか否かを判定する。なお、撮影時パラメータは、ＲＡＷ動画のフレームデータ内に存在していてもよく、ＲＡＷ動画のフレームデータとは別に存在していてもよい。撮影時パラメータとは、露出調整処理のためのパラメータ、ホワイトバランス処理のためのパラメータ、ＮＲ処理のためのパラメータ、彩度調整のためのパラメータ、色調調整のためのパラメータ等である。ステップＳ２００２での判定対象となる撮影時パラメータは、これらの現像パラメータの全てであってもよく、一部であってもよい。

制御部１５３は、撮影時パラメータが存在する場合（Ｓ２００３でＹＥＳ）、処理をステップＳ２００４に進め、撮影時パラメータが存在しない場合（Ｓ２００３でＮＯ）、処理をステップＳ２００５へ進める。ステップＳ２００４では、制御部１５３は、該当フレーム（Ｓ２００２でＲＡＭ１５６に読み込まれたフレーム）の撮影時パラメータをＲＡＭ１５６に読み込む。一方、ステップＳ２００５では、制御部１５３は、該当フレームの撮影時刻の前及び後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、該当フレームの撮影時パラメータを補間して作成し、ＲＡＭ１５６に保持する。補間方法は、例えば、直近の２値の線形補間による内挿があるが、これに限定されるものではない。

ステップＳ２００４，Ｓ２００５の終了後のステップＳ２００６では、制御部１５３は、ステップＳ２００４又はステップＳ２００５により得られた撮影時パラメータを用いて、該当フレームデータを現像処理する。そして、制御部１５３は、続くステップＳ２００７において、ステップＳ２００６で得られた現像済み画像を表示部１５２に表示し、その後、処理をステップＳ２００１へ戻す。

図２１は、画像処理装置１５０によるフレームの並び替え編集の手順を示すフローチャートである。なお、図２１に示す各処理は、制御部１５３が記憶部１５４に記憶された所定のプログラムをＲＡＭ１５６に展開、実行して、画像処理装置１５０の各部の動作を制御することにより実現される。

ステップＳ２１０１において、制御部１５３は、ユーザの操作部１５１の操作によるフレームの並び替え編集の指示を受け付ける。フレームの並び替え編集の指示では、並び替え対象である１フレーム以上の連続したフレーム（以下「ソースフレーム」という）と、並び替え編集操作と、並び替え先（以下「デスティネーション」という）とが特定される必要がある。但し、図２３を参照して後述するように、特定のフレームを削除する並び替え編集では、デスティネーションは存在しない。

並び替え編集操作としては、挿入／削除／移動／置換が挙げられる。「挿入」では、１フレーム以上の連続したフレーム（ソースフレーム）を、別のフレーム間（デスティネーション）に複製する。図２２は、フレームの並び替え編集操作としての「挿入」を模式的に示す図である。図２２では、フレームｉからフレームｊがソースフレームであり、フレームｋとフレームｋ＋１の間がデスティネーションであり、フレームｋとフレームｋ＋１の間にソースフレームが、フレームｉ´からフレームｊ´として複製される。

「削除」では、１フレーム以上の連続したフレーム（ソースフレーム）を取り除く。図２３は、フレームの並び替え編集操作としての「削除」を模式的に示す図である。図２３では、フレームｉ−１とフレームｊ＋１の間のフレームｉからフレームｊがソースフレームであり、ソースフレームが削除されることによって、フレームｉ−１にフレームｊ＋１が続く構成へと変わる。

「置換」では、１フレーム以上の連続したフレーム（ソースフレーム）を、別の１フレーム以上の連続したフレーム（デスティネーション）と置き換える。これは、デスティネーションを削除し、削除した位置にソースフレームを挿入することに等しい。図２４は、フレームの並び替え編集操作としての「置換」を模式的に示す図である。図２４では、フレームｉからフレームｊがソースフレームであり、フレームｍからフレームｎがデスティネーションである。よって、「置換」によって、フレームｍからフレームｎがフレームｉからフレームｊに置き換わり、フレームｉ´からフレームｊ´となる。これは、フレームｍからフレームｎが削除され、その後、フレームｉからフレームｊをフレームｍ−１とフレームｎ＋１との間に挿入することと同じとなる。

「移動」では、１フレーム以上の連続したフレーム（ソースフレーム）を、別の場所（デスティネーション）に挿入（以下「移動挿入」という）又は置換（以下「移動置換」という）するが、その際、ソースフレームを元の位置から削除する。したがって、「移動」は、「削除」と「挿入」の組み合わせと考えることができる。図２５は、フレームの並び替え編集操作としての「移動挿入」を模式的に示す図である。図２５では、フレームｉからフレームｊがソースフレームであり、フレームｋとフレームｋ＋１の間がデスティネーションである。この場合、フレームｉからフレームｊがフレームｋとフレームｋ＋１の間に挿入されてフレームｉ´からフレームｊ´となると同時に、元の位置のフレームｉからフレームｊが削除されることとなる。

図２６は、フレームの並び替え編集操作としての「移動置換」を模式的に示す図である。図２６では、フレームｉからフレームｊがソースフレームであり、フレームｍからフレームｎがデスティネーションである。この場合、フレームｍからフレームｎが削除されて、フレームｍ−１とフレームｎ＋１の間にフレームｉからフレームｊが挿入されると同時に、元の位置のフレームｉからフレームｊが削除されることとなる。

図２１の説明に戻る。ステップＳ２１０２では、制御部１５３は、撮影時パラメータを持たないフレームのうち、フレームの並び替えによって再生時に前後フレームから撮影時パラメータを補間できなくなるフレームについて、フレーム並び替え前に前後フレームから撮影時パラメータを補間し、付加する。このステップＳ２１０２の詳細については、図２７及び図２８を参照して後述する。制御部１５３は、続くステップＳ２１０３において、フレーム並び替えを行い、その後、本処理を終了させる。

図２７は、ステップＳ２１０２の処理例であって、フレームの並び替え編集のうちの「挿入」を実行する際のパラメータ補間手順を示すフローチャートである。図２７のフローチャートについての説明では、適宜、「挿入」の例を示した図２２を参照する。

ステップＳ２７０１では、制御部１５３は、ソースフレームの先頭フレームに撮影時パラメータが存在するか否かを判定する。ソースフレームの先頭フレームは、図２２の例では、フレームｉである。なお、ステップＳ２７０１の処理は、図２０のステップＳ２００３と同等の処理である。制御部１５３は、ソースフレームの先頭フレームに撮影時パラメータが存在しない場合（Ｓ２７０１でＮＯ）、処理をステップＳ２７０２へ進め、この先頭フレームに撮影時パラメータが存在する場合（Ｓ２７０１でＹＥＳ）、処理をステップＳ２７０３へ進める。

ステップＳ２７０２では、制御部１５３は、ソースフレームの先頭フレームの撮影時刻の前後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、この先頭フレームの撮影時パラメータを補間して作成し、先頭フレームに付加する。なお、ステップＳ２７０２の処理は、図２０のステップＳ２００５と同等の処理である。その後、制御部１５３は、処理をステップＳ２７０３へ進める。

ステップＳ２７０３では、制御部１５３は、ソースフレームの最後のフレームに撮影時パラメータが存在するかどうか調べる。ソースフレームの最後のフレームは、図２２の例では、フレームｊである。なお、ステップＳ２７０３の処理は、図２０のステップＳ２００３と同等の処理である。制御部１５３は、ソースフレームの最後のフレームに撮影時パラメータが存在しない場合（Ｓ２７０３でＮＯ）、処理をステップＳ２７０４へ進め、この最後のフレームに撮影時パラメータが存在する場合（Ｓ２７０３でＹＥＳ）、処理をステップＳ２７０５へ進める。

ステップＳ２７０４では、制御部１５３は、ソースフレームの最後のフレームの撮影時刻の前後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、最後のフレームの撮影時パラメータを補間して作成し、最後のフレームに付加する。なお、ステップＳ２７０４の処理は、図２０のステップＳ２００５と同等の処理である。その後、制御部１５３は、処理をステップＳ２７０５へ進める。

ステップＳ２７０５では、制御部１５３は、デスティネーションの直前のフレームに撮影時パラメータが存在するか否かを判定する。デスティネーションの直前のフレームは、図２２の例では、フレームｋである。なお、ステップＳ２７０５の処理は、図２０のステップＳ２００３と同等の処理である。制御部１５３は、デスティネーションの直前のフレームに撮影時パラメータが存在しない場合（Ｓ２７０５でＮＯ）、処理をステップＳ２７０６へ進める。一方、制御部１５３は、デスティネーションの直前のフレームに撮影時パラメータが存在する場合（Ｓ２７０５でＹＥＳ）、処理をステップＳ２７０７へ進める。

ステップＳ２７０６では、制御部１５３は、デスティネーションの直前のフレームの撮影時刻の前後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、この直前のフレームの撮影時パラメータを補間して作成し、付加する。なお、ステップＳ２７０６の処理は、図２０のステップＳ２００５と同等の処理である。その後、制御部１５３は、処理をステップＳ２７０７へ進める。

ステップＳ２７０７では、制御部１５３は、デスティネーションの直後のフレームに撮影時パラメータが存在するか否かを判定する。デスティネーションの直後のフレームは、図２２の例では、フレームｋ＋１である。なお、ステップＳ２７０７の処理は、図２０のステップＳ２００３と同等の処理である。制御部１５３は、デスティネーションの直後のフレームに撮影時パラメータが存在しない場合（Ｓ２７０７でＮＯ）、処理をステップＳ２７０８へ進める。一方、制御部１５３は、デスティネーションの直後のフレームに撮影時パラメータが存在する場合（Ｓ２７０７でＹＥＳ）、処理をステップＳ２７０９へ進める。

ステップＳ２７０８では、制御部１５３は、デスティネーションの直後のフレームの撮影時刻の前後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、この直後のフレームの撮影時パラメータを補間して作成し、付加する。なお、ステップＳ２７０８の処理は、図２０のステップＳ２００５と同等の処理である。その後、制御部１５３は、処理をステップＳ２７０９へ進める。

ステップＳ２７０９では、制御部１５３は、ソースフレームをデスティネーションに挿入する。これは、図２２の例の通り、フレームｉからフレームｊを、フレームｋとフレームｋ＋１の間に、フレームｉ´からフレームｊ´として挿入する処理である。図２２の例では、この挿入操作により、フレームｋとフレームｉ´の間及びフレームｊ´とフレームｋ＋１の間が撮影時刻の不連続点となる。しかし、フレームｋ、フレームｉ´、フレームｊ´、フレームｋ＋１の全てが撮影時パラメータを保持している。そのため、この時点で撮影時パラメータを保持していないフレームについて、その前後の撮影時パラメータを保持しているフレームの撮影時パラメータから撮影時パラメータの補間を行っても、撮影時刻の不連続点を跨ぐことはない。

図２８は、ステップＳ２１０２の処理例であって、フレームの並び替え編集のうちの「削除」を実行する際のパラメータ補間手順を示すフローチャートである。図２８のフローチャートについての説明では、適宜、「削除」の例を示した図２３を参照する。

ステップＳ２８０１では、ソースフレームの直前のフレームに撮影時パラメータが存在するか否かを判定する。ソースフレームの直前のフレームは、図２３の例では、フレームｉ−１である。なお、ステップＳ２８０１の処理は、図２０のステップＳ２００３と同等の処理である。制御部１５３は、ソースフレームの直前のフレームに撮影時パラメータが存在しない場合（Ｓ２８０１でＮＯ）、処理をステップＳ２８０２へ進める。一方、制御部１５３は、ソースフレームの直前のフレームに撮影時パラメータが存在する場合（Ｓ２８０１でＹＥＳ）、処理をステップＳ２８０３へ進める。

ステップＳ２８０２では、制御部１５３は、ソースフレームの直前のフレームの撮影時刻の前後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、この直前のフレームの撮影時パラメータを補間して作成し、付加する。なお、ステップＳ２８０２の処理は、図２のステップＳ２００５と同等の処理である。その後、制御部１５３は、処理をステップＳ２８０３へ進める。

ステップＳ２８０３では、制御部１５３は、ソースフレームの直後のフレームに撮影時パラメータが存在するかどうか否かを判定する。ソースフレームの直後のフレームは、図２３の例では、フレームｊ＋１である。なお、ステップＳ２８０３の処理は、図２０のステップＳ２００３と同等の処理である。制御部１５３は、ソースフレームの直後のフレームに撮影時パラメータが存在しない場合（Ｓ２８０３でＮＯ）、処理をステップＳ２８０４へ進める。一方、制御部１５３は、ソースフレームの直後のフレームに撮影時パラメータが存在する場合（Ｓ２８０３でＹＥＳ）、処理をステップＳ２８０５へ進める。

ステップＳ２８０４では、制御部１５３は、ソースフレームの直後のフレームの撮影時刻の前後に撮影されたフレームで撮影時パラメータを持つフレームの撮影時パラメータを用いて、この直後のフレームの撮影時パラメータを補間して作成し、付加する。なお、ステップＳ２８０４の処理は、図２０のステップＳ２００５と同等の処理である。その後、制御部１５３は、処理をステップＳ２８０５へ進める。

ステップＳ２８０５では、制御部１５３は、ソースフレームを削除する。これは、図２３の例の通り、フレームｉからフレームｊを削除する処理であり、これにより、フレームｉ−１とフレームｊ＋１との間が撮影時刻の不連続点となる。しかし、フレームｉ−１とフレームｊ＋１は撮影時パラメータを保持している。そのため、この時点で撮影時パラメータを保持していないフレームついて、その前後の撮影時パラメータを保持しているフレームの撮影時パラメータから撮影時パラメータの補間を行っても、撮影時刻の不連続点を跨ぐことはない。

以上の説明の通り、本実施形態によれば、撮影時パラメータを保持していないフレームがあるＲＡＷ動画のフレームを並び替え編集したときに、適切なパラメータ値で補間することが可能になり、よって、適切な現像結果を得ることができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１０３，１５３ 制御部
１０６ 画像処理部
１０４，１５４ 記憶部
１０５，１５５ 通信インタフェース
１５０ 画像処理装置
１５１ 操作部
１５２ 表示部

Claims (10)

1. 撮像装置と通信可能に接続されて前記撮像装置からリアルタイムで出力されるライブビュー画像を受信して表示手段に表示する画像処理装置であって、
   前記撮像装置から受信するライブビュー画像の画像全体を前記表示手段の第１の表示領域に表示し、前記撮像装置から受信するライブビュー画像の一部を前記表示手段の第２の表示領域に拡大表示する制御手段と、
   ユーザ操作により前記第１の表示領域又は前記第２の表示領域のいずれかを選択する選択手段と、
   ユーザ操作により前記撮像装置の撮像条件を設定する撮像条件設定手段と、
   ユーザ操作により前記撮像装置から出力されるライブビュー画像の色調整を行うための色調整データを作成する色調整手段と、
   前記色調整手段により作成された色調整データを前記撮像装置に送信する送信手段と、
   前記撮像装置において前記色調整データに基づく色調整が行われ、前記選択手段により選択された領域に表示するライブビュー画像を前記撮像装置から取得するライブビュー画像取得手段と、
   前記選択手段により選択されていない領域に表示する画像のＲＡＷデータを前記撮像装置から取得するＲＡＷデータ取得手段と、
   前記ＲＡＷデータ取得手段が取得したＲＡＷデータを現像する現像手段とを備え、
   前記制御手段は、前記ライブビュー画像取得手段が取得したライブビュー画像を前記選択手段により選択された領域に表示し、前記現像手段で現像された画像を前記選択手段により選択されていない領域に表示することを特徴とする画像処理装置。
2. ユーザ操作によって前記選択手段により選択された領域が変更された場合、又は、前記撮像条件設定手段により前記撮像装置の撮像条件が変更された場合に、前記ＲＡＷデータ取得手段は、変更後の前記選択手段により選択されていない領域に表示する画像のＲＡＷデータの送信要求を前記撮像装置に対して送信することを特徴とする請求項１記載の画像処理装置。
3. 前記選択手段により選択された領域が変更されることにより前記撮像装置から取得するＲＡＷデータが変更された場合、又は、ユーザ操作により前記現像手段による現像パラメータが変更された場合に、前記現像手段は、処理精度を優先するときには設定されている前記現像パラメータに従って前記ＲＡＷデータを現像処理し、処理速度を優先するときには生成画像の色に影響を及ぼさない処理を省く現像処理を前記ＲＡＷデータに対して実行することを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮像装置と画像処理装置とが通信可能に接続された画像処理システムであって、
   前記撮像装置は、
   撮像手段と、
   前記撮像手段で撮像した画像のＲＡＷデータを作成するＲＡＷデータ作成手段と、
   前記ＲＡＷデータからライブビュー画像を生成するライブビュー画像生成手段と、
   前記画像処理装置からの要求に応じて前記ライブビュー画像と前記ＲＡＷデータを前記画像処理装置に対して出力する出力手段とを備え、
   前記画像処理装置は、
   表示手段と、
   前記撮像装置から受信するライブビュー画像の画像全体を前記表示手段の第１の表示領域に表示し、前記撮像装置から受信するライブビュー画像の一部を前記表示手段の第２の表示領域に拡大表示する制御手段と、
   ユーザ操作により前記第１の表示領域又は前記第２の表示領域のいずれかを選択する選択手段と、
   ユーザ操作により前記撮像装置の撮像条件を設定する撮像条件設定手段と、
   ユーザ操作により前記撮像装置から出力されるライブビュー画像の色調整を行うための色調整データを作成する色調整手段と、
   前記色調整手段により作成された色調整データを前記撮像装置に送信する送信手段と、
   前記撮像装置において前記色調整データに基づく色調整が行われ、前記選択手段により選択された領域に表示するライブビュー画像を前記撮像装置から取得するライブビュー画像取得手段と、
   前記選択手段により選択されていない領域に表示する画像のＲＡＷデータを前記撮像装置から取得するＲＡＷデータ取得手段と、
   前記ＲＡＷデータ取得手段が取得したＲＡＷデータを現像する現像手段とを備え、
   前記制御手段は、前記ライブビュー画像取得手段が取得したライブビュー画像を前記選択手段により選択された領域に表示し、前記現像手段で現像された画像を前記選択手段により選択されていない領域に表示することを特徴とする画像処理システム。
5. 前記撮像装置は、前記画像処理装置からＲＡＷデータの送信要求があった場合に、撮像手段が取得した画像のＲＡＷデータにリサイズ又はクロップを施したＲＡＷデータを前記画像処理装置に送信することを特徴とする請求項４記載の画像処理システム。
6. 前記画像処理装置において、ユーザ操作によって前記選択手段により選択された領域が変更された場合、又は、前記撮像条件設定手段により前記撮像装置の撮像条件が変更された場合に、前記ＲＡＷデータ取得手段は、変更後の前記選択手段により選択されていない領域に表示する画像のＲＡＷデータの送信要求を前記撮像装置に対して送信することを特徴とする請求項４又は５に記載の画像処理システム。
7. 前記画像処理装置において、前記選択手段により選択された領域が変更されることにより前記撮像装置から取得するＲＡＷデータが変更された場合、又は、ユーザ操作により前記現像手段による現像パラメータが変更された場合に、前記現像手段は、処理精度を優先するときには前記ＲＡＷデータを設定されている前記現像パラメータに従って現像処理を実行し、処理速度を優先するときには前記ＲＡＷデータに生成画像の色に影響を及ぼさない処理を省く現像処理を実行することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理システム。
8. 撮像装置と通信可能に接続されて前記撮像装置からリアルタイムで出力されるライブビュー画像を受信して表示手段に表示する画像処理装置における画像処理方法であって、
   ユーザ操作により前記撮像装置の撮像条件を設定する撮像条件設定ステップと、
   前記撮像装置から受信するライブビュー画像の画像全体を前記表示手段の第１の表示領域に表示し、前記撮像装置から受信するライブビュー画像の一部を前記表示手段の第２の表示領域に拡大表示する表示ステップと、
   ユーザ操作により前記撮像装置から出力されるライブビュー画像の色調整を行うための色調整データを作成し、作成された前記色調整データを前記撮像装置に送信する色調整データ送信ステップと、
   ユーザ操作により前記第１の表示領域又は前記第２の表示領域のいずれかを選択する選択ステップと、
   前記撮像装置において前記色調整データに基づく色調整が行われ、前記選択ステップで選択された領域に表示するライブビュー画像を前記撮像装置から取得するライブビュー画像取得ステップと、
   前記選択ステップで選択されていない領域に表示する画像のＲＡＷデータを前記撮像装置から取得して現像するＲＡＷデータ現像ステップとを有し、
   前記表示ステップでは、前記ライブビュー画像取得ステップにて取得したライブビュー画像を前記選択ステップで選択された領域に表示し、前記現像ステップで現像された画像を前記選択ステップで選択されていない領域に表示することを特徴とする画像処理方法。
9. 撮像装置と通信可能に接続されて前記撮像装置からリアルタイムで出力されるライブビュー画像を受信して表示手段に表示する画像処理装置における画像処理方法であって、
   ユーザ操作により前記撮像装置の撮像条件を設定する撮像条件設定ステップと、
   前記撮像装置から受信するライブビュー画像の画像全体を前記表示手段の第１の表示領域に表示し、前記撮像装置から受信するライブビュー画像の一部を前記表示手段の第２の表示領域に拡大表示する表示ステップと、
   ユーザ操作により前記撮像装置から出力されるライブビュー画像の色調整を行うための色調整データを作成し、作成された前記色調整データを前記撮像装置に送信する色調整データ送信ステップと、
   ユーザ操作により前記第１の表示領域又は前記第２の表示領域のいずれかを選択する選択ステップと、
   前記撮像装置において前記色調整データに基づく色調整が行われ、前記選択ステップで選択された領域に表示するライブビュー画像を前記撮像装置から取得するライブビュー画像取得ステップと、
   前記選択ステップで選択されていない領域に表示する画像のＲＡＷデータを前記撮像装置から取得して現像するＲＡＷデータ現像ステップとを有し、
   前記表示ステップでは、前記ライブビュー画像取得ステップにて取得したライブビュー画像を前記選択ステップで選択された領域に表示し、前記現像ステップで現像された画像を前記選択ステップで選択されていない領域に表示することを特徴とする画像処理方法。
10. 撮像装置と通信可能に接続されて前記撮像装置からリアルタイムで出力されるライブビュー画像を受信して表示手段に表示する画像処理方法をコンピュータに実行させるプログラムであって、
    前記画像処理方法は、
    ユーザ操作により前記撮像装置の撮像条件を設定する撮像条件設定ステップと、
    前記撮像装置から受信するライブビュー画像の画像全体を前記表示手段の第１の表示領域に表示し、前記撮像装置から受信するライブビュー画像の一部を前記表示手段の第２の表示領域に拡大表示する表示ステップと、
    ユーザ操作により前記撮像装置から出力されるライブビュー画像の色調整を行うための色調整データを作成し、作成された前記色調整データを前記撮像装置に送信する色調整データ送信ステップと、
    ユーザ操作により前記第１の表示領域又は前記第２の表示領域のいずれかを選択する選択ステップと、
    前記撮像装置において前記色調整データに基づく色調整が行われ、前記選択ステップで選択された領域に表示するライブビュー画像を前記撮像装置から取得するライブビュー画像取得ステップと、
    前記選択ステップで選択されていない領域に表示する画像のＲＡＷデータを前記撮像装置から取得して現像するＲＡＷデータ現像ステップとを有し、
    前記表示ステップでは、前記ライブビュー画像取得ステップにて取得したライブビュー画像を前記選択ステップで選択された領域に表示し、前記現像ステップで現像された画像を前記選択ステップで選択されていない領域に表示することを特徴とするプログラム。

Images