JP2021103451A - 画像処理装置、外部装置およびそれらの制御方法、システム、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】画像処理を行う際の作業効率を低下させないようなシステムを実現する。【解決手段】外部装置と画像処理装置とを含むシステムであって、前記外部装置は、前記画像処理装置から受信した第１の画像データに第１の画像処理を施す画像処理手段と、前記第１の画像処理が施された第２の画像データを前記画像処理装置に送信する送信手段と、を有し、前記画像処理装置は、前記第２の画像データを受信する受信手段と、前記第２の画像データに第２の画像処理を施し第３の画像データを生成する画像処理手段と、前記第２の画像データと、前記第１の画像データから抽出された前記第２の画像処理に用いる情報とを関連付けて記録する記録手段と、を有する。【選択図】図１２

Description

本発明は、クラウドなどを利用して画像処理を行うシステムに関する。

ユーザはＲＡＷ画像データの現像処理をＰＣ（パーソナルコンピュータ）などで実行することにより、デジタルカメラなどで現像する場合よりも意図通りの画像に仕上げることができる。特許文献１にはＲＡＷ画像データの現像処理方法が開示されている。

特開２００５−２５１１６６号公報

現像処理はより高度化しており、ＰＣなどで実行するには長い時間を要する場合がある。このため、クラウドサービスなどで提供される現像処理機能を利用して、現像処理を処理性能の高いサーバで行うことで比較的短い時間で現像できるサービスがある。

しかしながら、サーバなどで現像処理が高速に処理できてもＲＡＷ画像データやサーバにより現像処理が施された中間画像データのデータサイズが非常に大きいためにデータ転送に費やす時間が非常に長くなる可能性がある。例えば、意図通りの画像に仕上げるためにサーバで現像処理をやり直す場合において、転送するデータサイズが大きいと、中間画像データの表示レスポンスが悪くなるなど作業効率が低下してしまう。また、ＰＣの記憶容量の確保のためにサーバでの現像処理後にＲＡＷ画像データを削除した場合、ＰＣで中間画像データの微調整や現像処理に使用する情報が失われてしまうため、ＰＣで中間画像データの調整や現像処理を行うことができなくなってしまう。

本発明は、上記課題に鑑みてなされ、その目的は、画像処理を行う際の作業効率を低下させないようなシステムを実現することである。

上記課題を解決し、目的を達成するために、本発明は、外部装置と画像処理装置とを含むシステムであって、前記外部装置は、前記画像処理装置から受信した第１の画像データに第１の画像処理を施す画像処理手段と、前記第１の画像処理が施された第２の画像データを前記画像処理装置に送信する送信手段と、を有し、前記画像処理装置は、前記第２の画像データを受信する受信手段と、前記第２の画像データに第２の画像処理を施し第３の画像データを生成する画像処理手段と、前記第２の画像データと、前記第１の画像データから抽出された前記第２の画像処理に用いる情報とを関連付けて記録する記録手段と、を有する。

本発明によれば、画像処理を行う際の作業効率を低下させないようなシステムを実現することができる。

本実施形態のシステム構成図。 本実施形態のＰＣのハードウェア構成を示すブロック図。 本実施形態のサーバのハードウェア構成を示すブロック図。 実施形態１のＰＣのアプリケーション画面を例示する図。 実施形態１のＰＣのアプリケーション画面を例示する図。 実施形態１のＰＣとサーバの接続処理を例示するシーケンス図。 実施形態１のＰＣからサーバへＲＡＷ画像データをアップロードする処理を示すシーケンス図。 実施形態１のＰＣとサーバで実行される現像処理を示すシーケンス図。 実施形態１のＰＣの現像処理を示すフローチャート。 図９のＳ９０１におけるプレ現像処理を示すフローチャート。 図９のＳ９０４におけるポスト現像処理を示すフローチャート。 実施形態１のデータフローを示す図。 実施形態２のデータフローを示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本実施形態では、ＰＣ１００で実行するＲＡＷ画像データの現像処理の一部または全部を、ＰＣ１００で実行する現像処理よりも高度な現像処理機能を提供するサービスサイトのサーバコンピュータ（サーバ３００）を利用して実行する例を説明する。なお、本実施形態では、サーバ３００においてＲＡＷ画像データに現像処理を実行する例を説明するが、本実施形態で例示する現像処理以外の画像処理を実行するようにしてもよい。また、以下では、ＰＣ１００で実行する現像処理をローカル現像処理、サーバ３００で実行する現像処理をサーバ現像処理と呼ぶこともある。

＜システム構成＞まず、図１を参照して、本実施形態のシステム構成について説明する。

ＰＣ１００には、サーバ３００の現像処理機能を利用するための画像処理アプリケーションがインストールされている。ＰＣ１００はＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、公衆回線などの通信ネットワーク２００を介してサーバ３００と通信可能である。

本実施形態のシステムでは、ＰＣ１００が保有しているＲＡＷ画像データをサーバ３００に送信し、サーバ３００がＰＣ１００から受信したＲＡＷ画像データに対して所定の現像処理を実行し、現像処理済みの中間画像データ（サーバ中間画像データ）をＰＣ１００に返信する。ユーザはＰＣ１００の画像処理アプリケーションからサーバ３００に対して画像処理要求を送信する。サーバ３００は、ＰＣ１００から受信した画像処理要求に応じてサーバ３００で画像処理を実行し、サーバ中間画像データをＰＣ１００に返信する。

ＰＣ１００が利用するＲＡＷ画像データは、デジタルカメラなどで生成される静止画や動画など画像データであって、現像処理を行わないでファイル化されたものである。ユーザは、デジタルカメラなどを用いて撮影を行う場合、ＲＡＷ画像データを記録するモードで撮影を行い、その後、ＲＡＷ画像データをデジタルカメラからＰＣ１００に転送する。

＜ＰＣ１００の構成＞次に、図２を参照して、ＰＣ１００のハードウェア構成について説明する。

なお、本実施形態では、画像処理装置としてデスクトップＰＣのように据え置き型のＰＣ１００に適用した例を説明するが、これに限定されるものではない。例えば、携帯電話の一種であるスマートフォン、通信機能付きのデジタルカメラ、携帯型メディアプレーヤなどの再生装置、タブレットデバイスなどの情報処理装置であってもよい。

制御部１０１は、ＰＣ１００の全体を統括して制御する演算処理装置（ＣＰＵ）であって、後述する不揮発性メモリ１０３に格納されたプログラムを実行することで、後述する各機能ブロックやフローチャートの処理を実現する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

不揮発性メモリ１０３は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０３には、制御部１０１の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述するサーバ３００との通信処理を実行するためのプログラムを含む。また、不揮発性メモリ１０３には、制御部１０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現する画像処理アプリケーションが格納されている。本実施形態のＰＣ１００の処理は、画像処理アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、画像処理アプリケーションはＰＣ１００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、ＰＣ１００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。

作業用メモリ１０４は、制御部１０１の動作用の定数、変数、不揮発性メモリ１０３から読み出したプログラム等を展開する作業領域として使用される。また、作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリとして使用される。

操作部１０５は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材からなる。操作部１０５は、例えば、電源のオンまたはオフにするボタンや画像の撮影を行うボタンなどを含む。また、後述する表示部１０６に一体的に形成されるタッチパネルも操作部１０５に含まれる。また、操作部１０５は、後述の接続部１１１を介して外部装置との通信を開始するための専用の接続ボタンなどの操作部材を含む。また、操作部１０５は、ＰＣ１００と一体化された構成であっても、ＰＣ１００に接続された外部装置であってもよい。ＰＣ１００は、操作部１０５と接続することができればよい。

表示部１０６は、ＰＣ１００やサーバ３００で画像処理が実行された中間画像データや画像処理アプリケーションのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）など、対話的な操作のための文字表示等を行う。表示部１０６は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示デバイスである。表示部１０６は、ＰＣ１００と一体化された構成であっても、ＰＣ１００に接続された外部装置であってもよい。ＰＣ１００は、表示部１０６と接続することができ、表示部１０６の表示を制御する機能を有していればよい。

ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０８は、ＲＡＷ画像データや中間画像データに対し、各種の画像処理を施した静止画データをＪＰＥＧ等により圧縮符号化したり、動画データをＭＰＥＧ２やＨ．２６４等の動画圧縮方式でエンコードしたりして画像ファイルを生成する。制御部１０１は、ＧＰＵ１０８を制御することで、表示部１０６に画像を表示するための表示用データの生成、ＲＡＷ画像データに対する画像処理を実行できる。

記録媒体Ｉ／Ｆ（インターフェース）１１０は、外部ストレージに対してデータの読み出しおよび書き込みを行う。外部ストレージに格納されているプログラムや画像データは、記録媒体Ｉ／Ｆ１１０により作業用メモリ１０４に読み出される。外部ストレージは、例えば、ＤＶＤ−ＲＷ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭなどの光ディスクや、フレキシブルディスク、ＭＯなどの磁気ディスク、着脱可能なハードディスクドライブ（ＨＤＤ）、フラッシュメモリで構成されるソリッドステートドライブ（ＳＳＤ）、メモリカードなどである。

接続部１１１は、後述するサーバ３００やデジタルカメラなどの外部装置と接続するためのインターフェースである。本実施形態のＰＣ１００は、接続部１１１を介して、外部装置とデータの授受を行うことができる。例えば、ＰＣ１００が保有するＲＡＷ画像データを、接続部１１１を介して外部装置に送信することができる。なお、本実施形態では、接続部１１１は外部装置と無線方式や有線方式で通信するためのインターフェースを含む。制御部１０１は、接続部１１１を制御することで外部装置との通信を実現する。

＜サーバ３００の構成＞次に、図３を参照して、サーバ３００のハードウェア構成について説明する。

本実施形態のサーバ３００は、制御部３０１、不揮発性メモリ３０３、作業用メモリ３０４、操作部３０５、ＧＰＵ３０８、接続部３１１を備える。これらの要素の基本的な機能はＰＣ１００と同様であり、詳細な説明は省略する。

不揮発性メモリ３０３には、制御部３０１が実行する基本的なソフトウェアであるＯＳや、このＯＳと協働して応用的な機能を実現する画像処理アプリケーションが記録されている。本実施形態のサーバ３００の処理は、画像処理アプリケーションにより提供されるソフトウェアを読み込むことにより実現される。なお、画像処理アプリケーションはサーバ３００にインストールされたＯＳの基本的な機能を利用するためのソフトウェアを有しているものとする。なお、サーバ３００のＯＳが本実施形態における処理を実現するためのソフトウェアを有していてもよい。不揮発性メモリ３０３は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、フラッシュメモリ、光ディスクなどである。

ＧＰＵ３０８は、ＰＣ１００から受信したＲＡＷ画像データおよび画像処理要求に従い、ＲＡＷ画像データに対し、各種の画像処理を施した中間画像データを生成する。ＧＰＵ３０８は、ＧＰＵ１０８よりも画像処理能力（処理の種別や処理速度）が高い。

接続部３１１は、上述したＰＣ１００などの外部装置と接続するためのインターフェースである。本実施形態のサーバ３００は、接続部３１１を介して、外部装置とデータの授受を行うことができる。例えば、サーバ３００で画像処理が実行された中間画像データを、接続部３１１を介して外部装置に送信することができる。なお、本実施形態では、接続部３１１は外部装置と無線方式や有線方式で通信するためのインターフェースを含む。制御部３０１は、接続部３１１を制御することで外部装置との通信を実現する。

＜アプリケーション画面＞次に、図４を参照して、ＰＣ１００の画像処理アプリケーション画面について説明する。

図４（ａ）に示すように、メイン画面４００にはタイトルバー４０１、メニューバー４０２、ツールバー４０３が配置されている。フォルダツリーウインドウ４１０には、外部ストレージに構築されたフォルダ（ディレクトリ）の階層を示すツリーが表示される。ユーザは、このツリー上のフォルダアイコンをマウスクリックすることで、所望の画像データが格納されているフォルダを選択することができる。

フォルダツリーウインドウ４１０において、画像ファイルに係るフォルダが選択された場合は、サムネイル表示エリア４２０には、フォルダ内の画像ファイル群が読み込まれて、サムネイル（縮小）４２１が選択可能に表示される。

このように、所望のフォルダを選択しそのフォルダに格納されている画像データファイルの一覧を閲覧することで所望の画像ファイルを探すことができる。また、フィルター機能４０４を活用することで、選択されたフォルダに格納されている画像ファイルから指定したフィルター条件に合致した画像のみをピックアップして表示することもできる。

サムネイル表示エリア４２０に表示されたサムネイル４２１にはそれぞれ画像ファイルの詳細情報がアイコンや文字で表示されている。詳細情報にはＪＰＥＧやＲＡＷなどの画像ファイルタイプを示す情報やファイル名、画像撮影時のメタデータやレーティングなどのセレクト情報、編集したか否かなどの処理条件などが識別可能に表示される。

上述したフォルダツリーウインドウ４１０において、フォルダを選択して画像ファイルを表示する場合、フォルダが異なる複数の画像ファイルを同時に閲覧や編集が困難であり使い勝手が悪い。このようなユースケースにも柔軟に対応できるようにコレクションウインドウ４３０を設けている。コレクション追加ボタン４３１をクリックすると新しいコレクションが作成されコレクションの名称入力を行い新規にコレクションが作成される。このようにして作成したコレクションに対して所望のサムネイル４２１をドラック＆ドロップすることでコレクションに画像ファイルを登録することができる。コレクションが作成されて画像ファイルを登録すると、図４（ｂ）のコレクション４３２のように表示される。カッコ内の数値は登録されている画像ファイル数を示している。このようにしてフォルダを跨いだ画像ファイルに対してもひとまとまりの仮想フォルダにある画像のように扱えるようになり画像の比較や編集作業を同時に行うことができる。

一方、メイン画面４００にはレイアウト変更ボタン４０５が設けられ、マルチレイアウトに切り替えると、図５（ａ）に示すように、サムネイルエリア４２５にサムネイルを一列に並べて選択可能に表示し、プレビューエリア４２６に選択されたサムネイルに対応する画像を大きく表示することもできる。プレビューエリア４２６に比較する複数の画像を並べて表示したり、拡大表示をしたり、編集目的に合わせて画像の表示方法を変えたりすることができる。

また、サムネイルが選択されると、プレビューエリア４２６に表示された画像の編集が可能なツールパレット４４０が表示され、選択されている画像の画像処理のパラメータを設定することができる。

ツールバー４０３に配置されているサインインボタン４０６をマウスクリックするとクラウドサービスを利用するためのユーザ登録が行える。サーバ３００に接続してユーザ登録に必要な情報を入力することでユーザアカウントが作成されクラウドサービスを利用する高度なプレ現像処理が利用可能になる。入力されたアカウントのＩＤはアプリケーションに記憶され以後サインアウトが実行されるまでアプリケーションプログラムが起動時に自動的にサーバにログインすることとなる。

＜ＰＣ１００とサーバ３００の接続処理＞次に、図６を参照して、ＰＣ１００とサーバ３００が接続する処理について説明する。

図６はＰＣ１００とサーバ３００が接続する場合の動作シーケンスを示している。

図６のシーケンスは、ユーザがサインインを実行した時、もしくは、既にアプリケーションプログラムがアカウントＩＤを記憶している場合はアプリケーションの起動時に実行される。

Ｓ６０１では、ＰＣ１００は、ユーザアカウント情報からサーバ３００に対してユーザ認証を行い接続が確立される。

Ｓ６０２では、ＰＣ１００は、自機の性能情報をサーバ３００へ送信する。この性能情報は、例えば、ＰＣのタイプ（据え置き型）であること、ＧＰＵ１０８のスペック、および現在の通信速度などである。

Ｓ６０３では、サーバ３００は、ポスト現像処理をＰＣ１００が実行するかサーバ３００が実行するかを判定する。サーバ３００は、Ｓ６０２において受信したＰＣ１００の性能情報に基づいて、ポスト現像処理を実行するデバイスを判定する。本実施形態では、サーバ３００はＳ６０２において受信した性能情報から、ＰＣ１００が据え置きの装置であること、ＧＰＵ１０８のスペックが所定の性能以上であること、およびＰＣ１００の通信速度が所定の閾値より速いことなどが判定できる。この所定の性能および所定の閾値はそれぞれサーバ３００の管理者が任意に決定する値である。本実施形態ではサーバ３００はＰＣ１００の性能が所定の性能以上であると判定し、ＰＣ１００がポスト現像処理を実行すると判定する。

Ｓ６０４では、サーバ３００は、Ｓ６０３において判定したポスト現像処理を実行するデバイスについての通知を送信する。本実施形態ではサーバ３００はＰＣ１００がポスト現像処理を実行する旨の通知をＰＣ１００へ送信する。

以上のように、ＰＣ１００とサーバ３００の接続処理が完了すると、ＰＣ１００のユーザは、クラウドサービスを利用する高度なプレ現像処理が利用可能になる。図５（ｂ）に示すアプリケーション画面のコレクションウインドウ４３０には、通常のコレクション４３２とは異なるサーバ現像処理用の特別なコレクション４３３が生成される。

なお、Ｓ６０２において、ＰＣ１００は、現在の通信速度の実効値や従量制課金通信であることなどを通知し、サーバ３００は、Ｓ６０３において、これらの情報も利用してポスト現像処理をサーバ３００が実行するか否かを判定してもよい。

ユーザは、サーバ現像処理を行いたい所望の画像ファイルのサムネイル４２１をマウスによるドラックドロップでサーバ現像コレクション４３３に登録することでクラウドサービスを利用する高度なプレ現像処理が利用できる。サーバ現像コレクション４３３に画像ファイルの登録が行われると、サーバ３００に対して画像ファイルのアップロードが自動的に実行される。

＜ＲＡＷ画像データのアップロード＞次に、図７を参照して、ＰＣ１００からサーバ３００へＲＡＷ画像データをアップロードする動作シーケンスについて説明する。

図７は、ＰＣ１００からサーバ３００へＲＡＷ画像データをアップロードする動作シーケンスを示している。図７のシーケンスは、サーバ現像コレクション４３３にユーザ登録が実行されると開始される。

Ｓ７０１では、ＰＣ１００は、サーバ３００へ送信するＲＡＷ画像データを不揮発性メモリ１０３または記録媒体Ｉ／Ｆ１１０を介して外部ストレージから読み込む。

Ｓ７０２では、ＰＣ１００は、Ｓ７０１で読み込んだＲＡＷ画像データをサーバ３００へ送信する。

Ｓ７０３では、サーバ３００は、ＰＣ１００から受信したＲＡＷ画像データを不揮発性メモリ３０３または記録媒体Ｉ／Ｆ１１０を介して外部ストレージに記憶する。

ユーザがサーバ現像コレクション４３３を開くと、登録された画像ファイルのサムネイルが表示される。サムネイルにはサーバ３００に対して画像データが転送済みか否かを示す情報や、サーバ現像処理の実行状況を示す情報が視認できるように付加され表示される。ＲＡＷ画像データがアップロードに成功すると引き続きＲＡＷ画像データの現像処理が実行される。

＜現像処理＞次に、図９を参照して、本実施形態のＰＣ１００の現像処理について説明する。

本実施形態では、ＲＡＷ画像データに対してプレ現像処理とポスト現像処理を実行する。

図９は、ＰＣ１００においてＲＡＷ画像データを現像する処理を示すフローチャートである。図９の処理は、不揮発性メモリ１０３に格納されているプログラムを作業用メモリ１０４に展開して制御部１０１が実行することで実現する。図９の処理は、制御部１０１が画像処理アプリケーションにおいてＲＡＷ画像データを読み込むと開始される。

Ｓ９０１では、制御部１０１は、ＧＰＵ１０８によってＲＡＷ画像データに対してプレ現像処理を実行しローカル中間画像データを生成する。このローカル中間画像データは、図１１で後述するポスト現像処理において、サーバ中間画像データとの加重加算処理に使用される。本実施形態では、制御部１０１はＲＡＷ画像データに含まれる属性情報（メタデータ）に基づいてＲＡＷ画像データに対してプレ現像処理を実行する。属性情報は、ＲＡＷ画像データの撮影時に決定される撮像条件である。属性情報は、例えば、ビット深度、露出時間、シャッター速度、絞り値、輝度値（ヒストグラム）、露光補正値、レンズ最小Ｆ値、被写体距離、測光方式、光源、フラッシュの有無、レンズ焦点距離、Ｆナンバー、ＩＳＯ感度、フラッシュ強度、ダイナミックレンジ、レンズ収差などである。プレ現像処理によって、ＲＡＷ画像データから中間画像データ（ローカル中間画像データ）が生成される。ローカル中間画像データは現像処理の一部が実行された画像データであり、ＲＡＷ画像データおよび後述する汎用画像データとは異なるファイル形式のデータである。プレ現像処理の詳細は後述する。

Ｓ９０２では、制御部１０１は、Ｓ９０１において生成されたローカル中間画像データを表示部１０６に表示する。

図５（ｃ）は、中間画像データのサムネイルを例示している。図５（ｃ）において、ＰＣ１００からサーバ３００へＲＡＷ画像データの転送が完了すると、ＰＣ１００でプレ現像処理が実行されたローカル中間画像データのサムネイル４３５がサーバ現像コレクション４３３に登録され、サムネイルエリア４２５に表示される。サーバ現像コレクション４３３に登録されたサムネイル４３５にはサーバ３００へＲＡＷ画像データの転送が完了したことを示すアイコン４３６が表示される。ＰＣ１００がサーバ３００からサーバ中間画像データを受信すると、新規にサーバ中間画像データのサムネイル４３７がサーバ現像コレクション４３３に登録され、サムネイルエリア４２５に表示される。サーバ中間画像データのサムネイル４３７にはサーバ３００から受信した画像データであることを示すアイコン４３８が表示される。このようなマークを表示することにより、ユーザは、サムネイル４３５がローカル中間画像データ、サムネイル４３７がサーバ中間画像データであることを容易に識別できるようになる。また、サーバ中間画像データとローカル中間画像データは個別に削除可能であり、サーバ中間画像データを削除する場合、事前に警告が表示される。

Ｓ９０３では、制御部１０１は、Ｓ９０４において実行するポスト現像処理に利用するパラメータを設定するためのユーザ操作を操作部１０５を介して受け付ける。本実施形態では、ユーザは画像処理アプリケーション画面のＧＵＩを操作してポスト現像処理に利用するパラメータを設定する。例えば、図５（ａ）に示すようにツールパレット４４０に配置されたパラメータ設定コントローラを操作することにより調整を行う。プレ現像処理済みの中間画像データのパラメータの設定についても同様に行うことができる。調整できる項目はホワイトバランス、色相、コントラスト、明るさ、鮮鋭度、およびリサイズなどである。ユーザはそれぞれのパラメータ設定画面を選択的に切り替えることができる。このようにユーザは画像処理アプリケーション画面でポスト現像処理や中間画像データに利用するパラメータを設定することができる。そして、例えば１つのパラメータの設定が完了したと制御部１０１が判定すると、処理をＳ９０４に進める。

Ｓ９０４では、制御部１０１は、ＧＰＵ１０８によってＳ９０１において生成された中間画像データに対してポスト現像処理を実行する。ポスト現像処理によって中間画像データから汎用画像データが生成される。汎用画像データは、例えば、ＪＰＥＧ、ＰＮＧ、ＨＥＶＣ、およびＴＩＦＦ等の画像フォーマットに基づいて圧縮された画像データである。ポスト現像処理の詳細は後述する。

Ｓ９０５では、制御部１０１は、Ｓ９０４において生成された汎用画像データを表示部１０６に表示する。

Ｓ９０６では、制御部１０１は、ポスト現像処理をやり直すか否かを判定する。例えばユーザが操作部１０５によって再度ポスト現像処理を行う指示をした場合、制御部１０１はポスト現像処理をやり直すと判定し、処理をＳ９０１に戻す。例えば、ユーザが操作部１０５によってポスト現像処理を終了する指示をした場合、制御部１０１はポスト現像処理が完了したと判定し、処理をＳ９０７に進める。

Ｓ９０７では、制御部１０１は、Ｓ９０４において生成された汎用画像データを不揮発性メモリ１０３や記録媒体Ｉ／Ｆ１１０を介して外部ストレージに記憶する。

本実施形態のサーバ３００によるプレ現像処理は、画像データの補正処理やノイズ低減処理などのユーザが設定したパラメータに基づかずに実行される画像処理である。そのため、サーバ３００におけるプレ現像処理を同一のＲＡＷ画像データに対して何度行っても同じサーバ中間画像データが生成されることになる。よって、本実施形態では、図８で後述するように、サーバ３００において同一のＲＡＷ画像データに対するプレ現像処理を一度だけ実行する。また、本実施形態のＰＣ１００によるプレ現像処理は、画像データの補正処理やノイズ低減処理などのユーザが設定したパラメータに基づいて実行される画像処理である。そのため、ＰＣ１００におけるプレ現像処理は、目的や嗜好に合わせた中間画像データになるまで繰り返すことができる。そして、図１１で後述するように、サーバ中間画像データとローカル中間画像データとを加重加算することにより、サーバ３００でのプレ現像処理の効果の強さを後から微調整できるようにする。

一方、ＰＣ１００によるポスト現像処理は、汎用画像データの見た目がユーザの目的や嗜好に合わせた画像データになるように、ユーザが設定したパラメータに基づいて実行される画像処理である。そのため、ＰＣ１００によるポスト現像処理は、目的や嗜好に合わせた汎用画像データに仕上がるまで繰り返すことができる。

このように、本実施形態によれば、プレ現像処理をサーバ３００で実行し、サーバ中間画像データのポスト現像処理をＰＣ１００で実行することにより、ＲＡＷ画像データの現像処理を効率的に実行できる。

なお、Ｓ９０３からＳ９０４に処理を進める条件は、制御部１０１が１つのパラメータ設定が完了したと判定した場合に限らない。例えば、表示部１０６にポスト現像処理を開始するためのボタンが表示される場合、制御部１０１が操作部１０５を介してユーザからポスト現像処理を開始するよう指示を受け付けたことを条件にしてもよい。

なお、Ｓ９０１において、中間画像データはＲＡＷ画像データとはファイル形式が異なるデータと説明したが、中間画像データはＲＡＷ画像データと同じファイル形式であってもよい。さらになお、中間画像データとＲＡＷ画像データのファイル名が同じになるように命名してもよい。この場合、両ファイルが関連するデータであることをユーザに容易に認識させることができる。

＜ＰＣ１００およびサーバ３００による現像処理＞次に、図８を参照して、ＰＣ１００がサーバ３００を利用してＲＡＷ画像データの現像処理を実行する処理について説明する。

図８は、ＰＣ１００がサーバ３００の現像処理機能を利用してＲＡＷ画像データの現像処理を実行する動作シーケンスを示している。図８のシーケンスは、例えば、ユーザがＰＣ１００にＲＡＷ画像データの現像処理を指示した場合に開始される。なお、ＰＣ１００は図８のシーケンスを開始する前に現像処理を実行するＲＡＷ画像データをサーバ３００へ送信済みであるものとする。

Ｓ８０１では、ＰＣ１００は、図７のＳ７０２において送信したＲＡＷ画像データのプレ現像処理をサーバ３００に指示する。

Ｓ８０２では、サーバ３００は、Ｓ８０１においてプレ現像処理を指示されたＲＡＷ画像データのプレ現像処理を実行する。プレ現像処理は、例えば図１０のフローチャートに示す処理である。

Ｓ８０３では、サーバ３００は、Ｓ８０２におけるプレ現像処理によって生成したサーバ中間画像データをＰＣ１００へ送信する。

Ｓ８０４では、ＰＣ１００は、Ｓ８０３において受信したサーバ中間画像データを表示部１０６に表示する。なお、図５（ｃ）に例示したように、サムネイルエリア４２５に表示されているサムネイル４３５が選択されている場合はローカル中間画像が表示され、サムネイル４３７が選択されている場合はサーバ中間画像が表示されるようにすることにより、サーバ現像処理の効果をローカル現像処理の効果を比較することが可能になる。また、ローカル中間画像とサーバ中間画像を並べて表示することにより、ユーザは、ＰＣ１００とサーバ３００での現像処理結果を比較することができ、ポスト現像処理や中間画像データのパラメータの微調整などに活用できる。

Ｓ８０５では、ＰＣ１００は、操作部１０５を介して、ポスト現像処理のパラメータ設定のためのユーザ操作を受け付ける。

Ｓ８０６では、ＰＣ１００は、Ｓ８０５において受け付けたユーザ操作に基づいて、図５（ｃ）に示したサムネイル４３５、４３７のいずれか選択されている画像に対してポスト現像処理を実行する。ポスト現像処理は、例えば図１１のフローチャートに示す処理である。

Ｓ８０７では、ＰＣ１００は、Ｓ８０６におけるポスト現像処理によって生成された汎用画像データを表示する。

Ｓ８０８では、ＰＣ１００は、Ｓ８０６におけるポスト現像処理によって生成された汎用画像データを不揮発性メモリ１０３または記録媒体Ｉ／Ｆ１１０を介して外部ストレージに記憶する。

＜プレ現像処理＞次に、図１０を参照して、図９のＳ９０１におけるプレ現像処理について説明する。

本実施形態では、制御部１０１はＲＡＷ画像データに含まれる属性情報に基づいてＲＡＷ画像データを補正する。

Ｓ１００１では、制御部１０１は、レンズの収差やイメージセンサに起因する傷データの補正などを行う。

Ｓ１００２では、制御部１０１は、ＲＡＷ画像データの黒レベルを調整する。

Ｓ１００３では、制御部１０１は、ＲＡＷ画像データのホワイトバランスを調整する。本実施形態では、制御部１０１はＲＡＷ画像データに対してオートホワイトバランス機能によってホワイトバランスを調整する。これにより、ポスト現像処理においてもホワイトバランスを調整できるようになる。

Ｓ１００４では、制御部１０１は、ＲＡＷ画像データにおけるイメージセンサに起因するノイズを低減する。

Ｓ１００５では、制御部１０１は、ＲＡＷ画像データに画素補間処理を実行する。

Ｓ１００６では、制御部１０１は、Ｓ１００１〜Ｓ１００５において処理されたＲＡＷ画像データを中間画像データとして作業用メモリ１０４に記憶し、図９のＳ９０２に進む。

＜ポスト現像処理＞次に、図１１を参照して、図９のＳ９０４におけるポスト現像処理について説明する。

図１１の処理は、プレ現像済みの中間画像データが入力されると開始される。また、制御部１０１は、サーバ３００においてプレ現像処理を実行したサーバ中間画像データと、ＰＣ１００においてプレ現像処理を実行したローカル中間画像データとを作業用メモリ１０４に保持している。

Ｓ１１０１では、制御部１０１は、サーバ中間画像データとローカル中間画像データとを加重加算することにより、サーバ３００でのプレ現像処理の効果の強さを後から微調整できるようにする。ユーザは、図５（ａ）に示すツールパレット４４０に配置されている強さパラメータを設定することで中間画像データのパラメータを微調整することができる。

Ｓ１１０２では、制御部１０１は、中間画像データにおいて、最終的なホワイトバランスが適用されているか否かを確認し、ユーザが最終的に選択したホワイトバランスが適用されていない場合、最終的なホワイトバランスの調整を実行する。中間画像データにはオートホワイトバランスが適用されているため、中間画像データに対して、ユーザが指定した最終的なホワイトバランスの係数を乗算した後、オートホワイトバランスの係数を除算するなどの処理となる。

Ｓ１１０３では、制御部１０１は、中間画像データに対してガンマ調整を行う。この場合、画像撮影時のメタデータからＩＳＯやダイナミックレンジなどの撮影条件やヒストグラムなどを参照し、ツールパレット４４０の指定された調整項目に応じて調整値を設定する。

Ｓ１１０４では、制御部１０１は、中間画像データに対して色調整を行う。この場合、ツールパレット４４０の指定された調整項目に応じて調整値を設定する。

Ｓ１１０５では、制御部１０１は、中間画像データに対して明るさ調整を実行する。この場合、ツールパレット４４０の指定された調整項目に応じて調整値を設定する。

Ｓ１１０６では、制御部１０１は、Ｓ１１０３〜Ｓ１１０５で調整された中間画像データに対して、カメラの持つ色域から利用先の色域に適合するように色空間変換などを実行する。

Ｓ１１０７では、制御部１０１は、Ｓ１１０１〜Ｓ１１０６の処理が施された画像データの圧縮処理を実行し、汎用画像ファイルとして不揮発性メモリ１０３や記録媒体Ｉ／Ｆ１１０を介して外部ストレージに記憶し、図９のＳ９０５に進む。画像圧縮処理は、静止画の場合はＪＰＥＧ、動画の場合はＨＥＶＣなどであり、利用先に応じて画像ファイルとして保存するのに適した圧縮方式が採用される。

＜ＲＡＷ画像データが削除されるユースケース＞
例えば、サーバ３００からサーバ中間画像データを取得した場合、既に高度なプレ現像処理が完了しているので、ＲＡＷ画像データは、その後使用しないことがある。この場合、ＲＡＷ画像データはデータサイズが大きいので、ＰＣ１００がＳＳＤなどの比較的容量の少ない不揮発性メモリ１０３を使用している場合は、システムの記憶容量確保のために既にサーバ現像処理が完了したＲＡＷ画像データを削除して容量を確保したいと考えられる。ところが、ＲＡＷ画像データが削除されてしまうと、ＰＣ１００でのプレ現像処理に使用するメタデータや中間画像データなどの情報が失われてしまうため、再度クラウド現像処理を依頼することやＰＣ１００でサーバ中間画像データの微調整やポスト現像処理を行うことができなくなってしまう。

このような状況に対応するために、図１２のデータフローに示すようにＰＣ１００においてＲＡＷ画像データ２０から中間画像データの微調整やポスト現像処理に必要なメタデータ２１を抽出しておく。また、ＰＣ１００は、サーバ３００からサーバ中間画像データ３０を受信している途中に、ＲＡＷ画像データにプレ現像処理を実行したローカル中間画像データ２２を生成しておく。そして、サーバ３００からサーバ中間画像データ３０を受信したときに、メタデータ２１およびローカル中間画像データ２２をサーバ中間画像データ３０に付加もしくは関連付けして記憶するようにする。なお、中間画像データの微調整やポスト現像処理の内容によっては、メタデータ２１、ローカル中間画像データの一方を関連付けているだけでもよい。

このようにすることにより、ＲＡＷ画像データがなくなってしまった場合であっても、ＰＣ１００においてサーバ中間画像データ３０の微調整やポスト現像処理を効率よく行えるようになる。

［実施形態２］以下、実施形態２について説明する。

ＰＣ１００の構成やサーバ３００の構成は実施形態１の図２および図３と同様である。

ＰＣ１００の性能が低い場合や、スマートフォンやタブレットなどの携帯端末をＰＣ１００に適用した場合、かつ５Ｇ（第５世代移動通信システム）などの次世代の高速通信が利用できる環境では、図１３のデータフローに示すように、メタデータ２１の抽出やローカル中間画像データ２２の生成をサーバ３００が行うようにした方が有利となる場合がある。

実施形態２では、実施形態１においてＰＣ１００で行っていたメタデータ２１の抽出やローカル中間画像データ２２の生成をサーバ３００で行い、サーバ３００で行い、メタデータ２１やローカル中間画像データ２２などの情報をまとめてＰＣ１００へ転送する。このようにすることで、ＰＣ１００では比較的処理負荷の軽いポスト現像処理だけを行えばよいので、モバイル環境での画像処理に向いており、実施形態１と同様に現像処理を効率よく行えるようになる。

［他の実施形態］
本発明は、各実施形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…ＰＣ、１０１…制御部、１０６…表示部、１０８…ＧＰＵ、１１１…接続部、３００…サーバ、３０１…制御部、３０８…ＧＰＵ、３１１…接続部

Claims (19)

1. 外部装置と通信する通信手段と、
   前記外部装置において第１の画像処理を実行するための第１の画像データを前記外部装置に送信する送信手段と、
   前記外部装置において前記第１の画像処理が施された第２の画像データを受信する受信手段と、
   前記第２の画像データに第２の画像処理を施し第３の画像データを生成する画像処理手段と、
   前記第２の画像データと、前記第１の画像データから抽出された前記第２の画像処理に用いる情報とを関連付けて記録する記録手段と、を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記第１の画像データに第３の画像処理を施し第４の画像データを生成し、
   前記記録手段は、前記第２の画像データと、前記第１の画像データから抽出された前記第２の画像処理に用いる情報と、前記第４の画像データとを関連付けて記録することを特徴とする請求項１に記載の画像処理装置。
3. 前記外部装置で実行される第１の画像処理は、ユーザが設定したパラメータに基づかずに実行される画像処理であり、
   前記画像処理手段で実行される第３の画像処理は、ユーザが設定したパラメータに基づいて実行される画像処理であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像データは、ＲＡＷ画像データであり、
   前記第１の画像処理、前記第２の画像処理および前記第３の画像処理は、前記ＲＡＷ画像データの現像処理であることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第２の画像処理において、前記第２の画像データと前記第４の画像データとが加重加算されることを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記情報は、前記第１の画像データの撮影時の撮影条件、ヒストグラム、およびレンズの収差の少なくとも１つに関する情報を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記情報と前記第４の画像データは、前記外部装置から前記第２の画像データを受信したときに生成されることを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
8. 前記情報と前記第４の画像データは、前記外部装置から前記第２の画像データを受信している途中に生成されることを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
9. 前記画像処理装置は、表示手段をさらに有し、
   前記第２の画像データと前記第４の画像データとが前記表示手段に並べて表示されることを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
10. 前記第２の画像データには、前記外部装置から受信したことを示すマークが表示されることを特徴とする請求項９に記載の画像処理装置。
11. 前記表示手段に表示されている前記第２の画像データと前記第４の画像データは、個別に削除可能であることを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記第２の画像データを削除する場合、事前に警告が表示されることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第２の画像データと前記第４の画像データが選択可能に表示され、
    選択された画像データに対する画像処理のパラメータを調整するための設定手段が表示されることを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
14. 画像処理装置と通信する通信手段と、
    前記画像処理装置から受信した第１の画像データに第１の画像処理を施す画像処理手段と、
    前記第１の画像処理が施された第２の画像データを前記画像処理装置に送信する送信手段と、
    前記第１の画像データから、前記画像処理装置において前記第２の画像データから第３の画像データを生成する第２の画像処理に用いる情報を抽出し、前記第１の画像データに前記画像処理装置で実行される第３の画像処理を施し第４の画像データを生成する生成手段と、を有し、
    前記送信手段は、前記第２の画像データと、前記第１の画像データから抽出された情報と、前記第４の画像データとを前記画像処理装置に送信することを特徴とする外部装置。
15. 外部装置と画像処理装置とを含むシステムであって、
    前記外部装置は、
    前記画像処理装置から受信した第１の画像データに第１の画像処理を施す画像処理手段と、
    前記第１の画像処理が施された第２の画像データを前記画像処理装置に送信する送信手段と、を有し、
    前記画像処理装置は、
    前記第２の画像データを受信する受信手段と、
    前記第２の画像データに第２の画像処理を施し第３の画像データを生成する画像処理手段と、
    前記第２の画像データと、前記第１の画像データから抽出された前記第２の画像処理に用いる情報とを関連付けて記録する記録手段と、を有することを特徴とするシステム。
16. 外部装置と通信する画像処理装置の制御方法であって、
    前記外部装置において第１の画像処理を実行するための第１の画像データを前記外部装置に送信するステップと、
    前記外部装置において前記第１の画像処理が施された第２の画像データを受信するステップと、
    前記第２の画像データに第２の画像処理を施し第３の画像データを生成するステップと、
    前記第２の画像データと、前記第１の画像データから抽出された前記第２の画像処理に用いる情報とを関連付けて記録するステップと、を有することを特徴とする制御方法。
17. 画像処理装置と通信する外部装置の制御方法であって、
    前記画像処理装置から受信した第１の画像データに第１の画像処理を施すステップと、
    前記第１の画像処理が施された第２の画像データを前記画像処理装置に送信するステップと、
    前記第１の画像データから、前記画像処理装置において前記第２の画像データから第３の画像データを生成する第２の画像処理に用いる情報を抽出し、前記第１の画像データに前記画像処理装置で実行される第３の画像処理を施し第４の画像データを生成するステップと、を有し、
    前記送信するステップでは、前記第２の画像データと、前記第１の画像データから抽出された情報と、前記第４の画像データとを前記画像処理装置に送信することを特徴とする制御方法。
18. コンピュータを、請求項１から１３のいずれか１項に記載された画像処理装置として機能させるためのプログラム。
19. コンピュータを、請求項１から１３のいずれか１項に記載された画像処理装置として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images