JP2009141904A

JP2009141904A - 画像処理システムおよび撮影装置、および画像処理方法

Info

Publication number: JP2009141904A
Application number: JP2007318992A
Authority: JP
Inventors: Takashi Oya; 崇大矢; Shunzui Yamane; 俊瑞山根
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-12-10
Filing date: 2007-12-10
Publication date: 2009-06-25

Abstract

【課題】画像の入出力機器を含む複数の機器がネットワークに接続された画像処理システムにおいて、該システムに接続された機器構成に応じて入出力機器それぞれの環境光情報を取得し、カラーマッチングを簡便に行う。
【解決手段】撮影カメラ１１１側では、環境光情報を取得可能な環境光取得機器として照明１３１をネットワーク上から検出し（Ｓ８１０）、ディスプレイ１４０側では該環境光取得機器としてカメラ１１２を検出する。そして、これら検出された環境光取得機器から環境光情報を取得する（Ｓ８１２，Ｓ８２３）。撮影カメラ１１１は、取得した環境光情報とデバイスプロファイルを撮影画像に付加してディスプレイ１４０に送信する（Ｓ８１４，Ｓ８４１）。ディスプレイ１４０では、撮影側と表示側のそれぞれの環境光情報とデバイスプロファイルに基づいてカラーマッチングを行う（Ｓ８４２，Ｓ８４３）。
【選択図】図８

Description

本発明は、画像の入力機器および出力機器がネットワークを介して接続された際に、該入出力機器間におけるカラーマッチングを行う画像処理システムおよび撮影装置、および画像処理方法に関する。

近年、ネットワーク接続機能を持つ録画機器やテレビジョンなどの家電製品が多く市販されている。このようなデバイスの普及に伴い、異なるメーカー間における静止画や動画の送受信に関する標準規格や実装指針が制定されている。例えば、UPnP(Universal Plug and Play)や、DLNA(Digital Living Network Alliance)が知られている。また、ネットワーク接続機能を持たない入出力デバイスに対しては、ネットワーク接続機能を付加する通信アダプタを利用することが可能である。例えば、USB(Universal Serial Bus)インターフェースを持つプリンタに対し、ネットワーク接続機能を持たせるようなプリンタサーバが市販されている。

画像の入出力デバイスによる発色の違いや照明による見え方の違いを吸収する技術として、カラーマネジメント技術が知られている。カラーマネジメントを行うためには、例えば記録紙の発色特性やディスプレイの色再現特性等を知る必要がある。このような情報は、ICC(International Color Consortium)プロファイルとして定義されている。さらに、環境光情報として照明の色温度や分光特性を知る必要がある。このようなICCプロファイルの作成や環境光情報の計測を行うために、ディスプレイの発光特性測定センサと環境光の色温度測定センサを備えた計測装置が市販されている。

カラーマッチングを実行する例として、以下のような技術が知られている。まず、通信回線で接続された遠隔地間のカラーマッチングの例として、通信回線経由でデバイスプロファイルや環境光情報を送受信する技術がある（例えば、特許文献１，２参照）。また、表示デバイスにおいてデバイスプロファイルと環境光を選択する技術がある（例えば、特許文献３参照）。また、銀鉛カメラにおいて環境光の色温度測定センサを有し、記録媒体に色温度を記録する技術がある（例えば、特許文献４参照）。また、専用の環境光測定センサを有する一眼レフカメラの技術がある（例えば、特許文献５参照）。また、通信機能を有する制御装置に接続された照明装置を用いて、撮影時ないしは表示時にカメラないしはディスプレイから照明情報を取得したり、照明を制御したりすることによって好ましい色を再現する技術がある（例えば、特許文献６参照）。
特開平０８−０４６９９０号公報特開平１０−２２４６４６号公報特開平１０−３２２５６６号公報特開平０３−１３６０２６号公報特開平０６−２４２４８７号公報特開２００３−１１１０８６号公報

上述したように、カラーマッチングを行うためには入出力デバイスの色空間特性情報と環境光情報が必要である。このうち環境光情報については、専用の環境光測定センサを用いるか、手動で入力した照明情報から色温度および分光特性を求める方式が一般的である。このような一般的な方式に対し、上記従来例で示したような、環境光測定センサや照明がネットワーク接続され、環境光情報をネットワーク経由で取得できる方式がある。しかしながらこの方式においては、ネットワーク接続された環境光測定センサや照明が常に存在するとは限らないため、必ずしも最適なカラーマッチングが行えるものではなかった。

本発明は上述した問題を解決するためになされたものであり、以下の機能を有する画像処理システムおよび撮影装置、および画像処理方法を提供することを目的とする。すなわち、画像の入力機器および出力機器を含む複数の機器がネットワークに接続された画像処理システムにおいて、入力側と出力側のそれぞれの機器構成に応じてそれぞれの環境光情報を取得し、入出力機器間におけるカラーマッチングを簡便に行う。

上記目的を達成するための一手段として、本発明の撮影装置は以下の構成を備える。

すなわち、画像の入力機器および出力機器を含む複数の機器がネットワークに接続された画像処理システムであって、前記入力機器および前記出力機器のそれぞれが、環境光情報を取得可能な環境光取得機器を前記ネットワーク上から検出する検出手段と、該検出された環境光取得機器から環境光情報を取得する環境光取得手段と、を有し、さらに前記出力機器が、前記入力機器および前記出力機器のそれぞれにおける前記環境光情報と色空間特性情報とに基づいて、前記入力機器と前記出力機器との間におけるカラーマッチングを行うカラーマッチング手段、を有し、前記検出手段は、前記環境光取得機器として撮影装置および照明装置を検出可能であることを特徴とする。

さらに、前記撮影装置による撮影画像を解析して環境光情報を推定する環境光推定手段を有し、前記環境光取得手段は、前記検出手段において前記環境光取得機器が検出されない場合に、前記環境光推定手段によって撮影画像から推定された環境光情報を取得することを特徴とする。

上記構成からなる本発明によれば、以下のような効果が得られる。すなわち、画像の入力機器および出力機器を含む複数の機器がネットワークに接続された画像処理システムにおいて、入力側と出力側のそれぞれの機器構成に応じてそれぞれの環境光情報を取得し、入出力機器間におけるカラーマッチングが簡便に行える。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態においては、ネットワーク上の環境光情報を収集して画像に付与する機能と、該環境光情報をネットワーク経由で提供する機能と、を有するカメラ装置について説明する。

また、撮影側と表示側の二つの独立したネットワーク間において、それぞれのネットワークに接続された機器の構成に応じた方法で環境光情報を取得し、色合わせを行う撮影・表示システムについて説明する。該システムにおいて撮影側は、通信機能を持つ環境光測定センサ、通信機能を持つ照明、撮影画像、のいずれか一つから環境光の分光特性情報を取得し、該分光特性情報を、カメラの色空間プロファイルとともに撮影した画像に添付する。また表示側も、通信機能を持つ環境光測定センサ、通信機能を持つ照明、同一ネットワーク上のカメラで撮影した画像、のいずれか一つから環境光の分光特性情報を取得する。そして、受信した画像から得た撮影側の環境光情報とカメラの色空間プロファイル、および、撮影側の環境光情報とディスプレイの色空間プロファイル、とを用いて画像の色変換を行い、ディスプレイに表示する。

●システム構成
図１は、本実施形態におけるシステム構成を示す図である。本システムは、照明条件が異なる場所にある２つのネットワークと、各ネットワークに接続された機器により構成される。図１に示す例では、ネットワークは撮影側ＬＡＮ１７０と表示側ＬＡＮ１８０からなり、両ネットワークはインターネット（ＷＡＮ）１９０経由で接続され互いに通信可能である。

撮影側ＬＡＮ１７０には、画像入力機器として、撮影を行うカメラ１１１（以下、特に撮影カメラ１１１と称する）が接続される。また、画像保存のためのストレージ１２１、環境光情報を提供する照明１３１、が接続される。表示側ＬＡＮ１８０には、画像出力機器として、画像表示を行うディスプレイ１４０が接続される。また、カメラ１１２、照明１３２が接続される。ここで各デバイスはネットワークインタフェースを有するものとする。以下、撮影側ＬＡＮ１７０を単に撮影側と称し、表示側ＬＡＮ１８０を単に表示側と称する。

カメラ１１１，１１２は、ネットワーク経由でズーム、焦点、露出、シャッタースピードなどのカメラパラメータの変更や、レリーズ動作、画像の取り出しや削除などの制御が可能である。このようなカメラ制御要求のためのアプリケーションソフトウェアは、例えばディスプレイ１４０に実装可能である。ユーザーはディスプレイ１４０上に表示されたＧＵＩ(Graphical User Interface)を介して、カメラ１１２の制御を行うことができる。なお、この制御プロトコルとしてはUPnPやDLNAがあるが、本実施形態は特定のプロトコルに依存するものでない。

●カラーマッチング処理手順
次に図２を用いて、本実施形態におけるカラーマッチング処理の手順を説明する。まず、画像入力環境の環境光の分光特性、画像入力装置の色空間、同様に、画像出力環境の環境光の分光特性、画像出力装置の色空間については、既に分かっているものとする。またこれらの情報に基づいて、標準光（例えば色温度が６５００Ｋ）環境下の標準色空間との変換行列が明らかであるものとする。入出力デバイスの色空間に関する情報は、デバイスに対応するＩＣＣ（International Color Consortium）プロファイルに記載されている。またディスプレイの場合、表示色を測定してＩＣＣプロファイルを作成するキャリブレーション装置が市販されている。

図２に示すように本実施形態のカラーマッチング処理においては、入力画像である撮影画像２０１に対して、撮影側環境光フィルタ２０２を用いた撮影側環境光逆変換を行う。そして次に、撮影デバイス色空間フィルタ２０３を用いた撮影画像色空間逆変換を行うことにより、標準光における標準色空間画像２０４が得られる。そして、標準色空間画像２０４に対し、表示デバイス色空間フィルタ２０５を用いた表示側色空間変換を施し、さらに表示側環境光フィルタ２０６を用いた表示側環境光変換を施すことにより、表示画像２０７が得られる。これによりすなわち、撮影環境と同じ見え方となる画像を表示環境下で得ることができる。このような、入力画像から標準光環境下における標準色空間を経由して出力画像を得る方法は、例えば上述した特許文献２にも詳細に記載されている。

●撮影側における撮影処理および環境光情報取得
以下、本実施形態の撮影側において、撮影カメラ１１１を用いたカラーマッチングを行う際の撮影処理を、図３のフローチャートを用いて説明する。

本実施形態の撮影カメラ１１１は、撮影機能と環境光情報の付与機能を持ち、表示側クライアント（例えばディスプレイ１４０）からの要求に対して撮影を行い、撮影した画像に環境光情報と自身の色空間プロファイルを添付する。すなわち、まずステップＳ３０１において表示側からの撮影要求を待ち、撮影要求を検出するとステップＳ３０２で自動ホワイトバランス（ＷＢ）モードに移行してホワイトバランスを調整した後、ステップＳ３０３で撮影を行う。

次にステップＳ３０４において、環境光情報を取得可能な環境光取得機器として、照明ないしは環境光センサを探索する。一般に、ネットワーク上における機器の検出・制御は、例えばUPnPを実装することにより可能となる。UPnPを用いる利点は、デバイスの検出、デバイスの状態の取得や通知、制御に至るプロトコルが標準化されていることである。本実施形態の撮影側ＬＡＮ１７０において、照明１３１や環境光センサ（不図示）はサービスを提供するUPnPのデバイスとして動作し、撮影カメラ１１１はこれらのサービスを利用するコントロールポイントとして動作する。

一般に、UPnPの枠組みを用いて制御可能な機能は、デバイス記述ファイルおよびサービス記述ファイルに記載される。ここで図４に、照明サービス記述ファイルの例を示す。図４によれば、照明サービスは状態変数として、電源状態Powerおよび色温度ColorTemparatureを持ち、電源状態の取得と変更、および色温度の取得が可能である。具体的には、GetColorTemparatureアクションを用いることにより、ResultColorTemparatureとして色温度を取得できる。光源の色温度が分かれば分光特性を求めることが可能であるため、標準光源との差分を表す変換行列を作成することができる。

UPnPによる手法は環境光センサにも適用可能である。環境光センサはＲＧＢの各色成分の強度を直接求められるため、環境光の分光特性を取得することができる。各色の成分をUPnPの状態変数として定義すれば、UPnP照明と同様にネットワーク経由で環境光情報を提供することが可能である。ここで図５に、UPnP環境光サービスにおけるサービス記述ファイルの例を示す。図５によれば、GetEnvironmentalLightConditionアクションにより、環境光の各色要素（ColorElementRed,ColorElementGreen,ColorElementBlue）を取得できる。このような環境光センサは、市販の環境光センサにネットワーク機能を付加することで実現できる。

撮影カメラ１１１においては、ステップＳ３０４において以上のように環境光取得機器としての照明または環境光センサを探索した後、ステップＳ３０５で該探索により環境光取得機器が検出できたか否かを判定する。検出できた場合にはステップＳ３０６で環境光情報を取得し、検出できなかった場合にはステップＳ３１０で環境光を推定する。ここでの環境光の推定方法としては、撮影画像のホワイトバランス情報を用いる手法がある。例えば、画像にExif2.1形式のヘッダ情報がある場合、光源情報として色温度を"D65"などと取得することができる。これは6500Kの色温度を持つ光源であることを意味している。

以上のようにステップＳ３０６で環境光情報が検出される、またはステップＳ３１０で推定されると、次にステップＳ３０７において撮影画像を読み出し、ステップＳ３０８で該環境光情報を撮影画像に書き込む。ここでは、Exif2.1形式のユーザ情報欄に、環境光情報として色分光特性を記録する。また同時に、撮影カメラ１１１の色空間プロファイルも記録する。そして最後にステップＳ３０９において、要求のあった表示側装置に対して、撮影画像を送信する。

なお、上述した図１に示すように、本実施形態における撮影カメラ１１１は最初からネットワーク（撮影側ＬＡＮ１７０）に接続され、表示側からのネットワーク経由の撮影要求に対して撮影を行う例を示したが、本発明はこの例に限らない。例えば、撮影カメラ１１１をネットワーク接続することなく、撮影カメラ１１１単体での撮影を行い、撮影終了後に撮影カメラ１１１をネットワーク接続することも可能である。この場合、まず撮影カメラ１１１単体で撮影を行った後に、撮影側ＬＡＮ１７０に接続してステップＳ３０４〜Ｓ３０８の処理を行い、その後、要求があった際に撮影画像を表示側に返信することも可能である。

このように本実施形態においては、撮影側でそのデバイス構成に応じて環境光情報を取得し、これを撮影画像に付与して送信する。

●表示側における環境光情報取得
以下、本実施形態の表示側において、カメラ１１２をUPnP環境光センサとして使用する場合の環境光情報取得処理を、図６および図７を用いて説明する。

図６は、静止画撮影による環境光取得処理を示すフローチャートである。まずステップＳ６０１で、カメラ１１２は環境光情報の要求待ちを行う。該要求を受信すると、ステップＳ６０２で自動ホワイトバランス（ＷＢ）モードに移行してホワイトバランスの調整を行う。次にステップＳ６０３で静止画の撮影を行い、さらにステップＳ６０４で該撮影画像のヘッダからホワイトバランス情報を読み出す。ここでホワイトバランスは画像中の色分布から推定されるものであり、該推定処理はカメラ１１２に内蔵した専用の画像処理回路によりなされる。以上の処理により、図３での説明と同様に環境光の色温度が取得できるため、ステップＳ６０５ではこれを分光特性に変換する。最後にステップＳ６０６で状態変数に分光特性を設定し、要求のあったクライアント（例えばディスプレイ１４０）に対して環境光情報として返信する。

図７は、ファインダ画像、すなわち動画撮影による環境光取得処理を示すフローチャートである。まずステップＳ７０１で、カメラ１１２は環境光情報の要求待ちを行う。該要求を受信すると、ステップＳ７０２でファインダ画像をＯＮにする。なお、このファインダ画像は、カメラ１１２における撮影対象画像のプレビュー確認用の画像であり、実際に撮影される画像に対してサイズも小さい。そしてステップＳ７０３において、このファインダ画像に対してホワイトバランスを推定する。この推定処理は図６の場合と同様に、カメラ１１２に内蔵された専用の画像処理回路にて実行される。なお、この推定処理は複数枚の画像に基づいて行われる場合があるため、ステップＳ７０４で示すように解析終了まで待ち時間が生ずる場合がある。推定処理の終了後、ステップＳ７０５でファインダをＯＦＦにし、ステップＳ７０６で上述した図６のステップＳ６０５と同様に、環境光情報を生成する。そして最後にステップＳ７０７で状態変数に分光特性を設定し、要求のあったクライアント（例えばディスプレイ１４０）に対して環境光情報として返信する。

このように本実施形態においては、表示側でそのデバイス構成に応じて環境光情報を取得する。

●ネットワーク間におけるカラーマッチング処理
次に、本実施形態における撮影側および表示側のネットワーク間におけるカラーマッチング処理について、図８の処理シーケンスを用いて説明する。図８においては、撮影側にUPnP照明１３１とUPnP照明のコントロールポイント機能を持つカメラ１１１が存在している。また表示側にはディスプレイ１４０とUPnP環境光センササービスを持つカメラ１１２が存在する。

処理開始後、まずステップＳ８０１でディスプレイ１４０がカメラ１１１に対して撮影を要求する。カメラ１１１はステップステップＳ８０１でこれを受けて撮影を行い、ステップＳ８０２で撮影終了通知をディスプレイ１４０に返す。するとディスプレイ１４０は、画像の要求を別途行う（例えばＳ８４０）。なお、上述した図３では撮影要求に応じて、撮影終了通知を返信することなく、撮影画像を返信する例を示したが、このようにステップＳ８００の撮影要求に対して、ステップＳ８４１で撮影画像を返信してもよい。ただしこの場合、撮影要求に対する返信までの時間がかかることとなる。

カメラ１１１は撮影終了後、環境光情報の取得を試みる。このためステップＳ８１０で、環境光情報を検出可能な環境光取得機器である、UPnP照明やUPnP環境光センサをネットワーク（撮影側ＬＡＮ１７０）上で探索する。これに対しUPnP照明デバイスである照明１３１が、ステップＳ８１１で探索信号に対して返信する。これにより、色温度情報を取得可能な照明が存在することが判明したので、カメラ１１１は次にステップＳ８１２でUPnP照明１３１に対して色温度を要求する。この要求には図４で説明したように、GetColorTemparetureアクションを用いる。これに対してUPnP照明１３１は、ステップＳ８１３で色温度情報を返信する。するとカメラ１１１は、ステップＳ８１４で受信した色温度情報を環境光情報に変換し、デバイスプロファイルと環境光情報を撮影画像に付与する。

一方、表示側のディスプレイ１４０においては、カメラ１１１からの撮影終了通知を受信した後、ステップＳ８２０で環境光取得機器としてのUPnP照明ないしは環境光センサをネットワーク（表示側ＬＡＮ１８０）上で探索する。表示側ＬＡＮ１８０ではカメラ１１２がUPnP環境光センサデバイスとして動作しているので、カメラ１１２がステップＳ８２１で、該探索信号に対して環境光取得機器として返信する。するとディスプレイ１４０は、ステップＳ８２２で環境光取得機器としてカメラ１１２を検出し、次にステップＳ８２３でこのカメラ１１２に対して環境光情報を要求する。この要求には図５で説明したように、GetEnvironmentalLightアクションを用いる。するとカメラ１１２はステップＳ８２６において、図６または図７で説明した手順によって環境光情報を生成し、ステップＳ８２７でディスプレイ１４０に返信する。

するとディスプレイ１４０は、ステップＳ８４０でカメラ１１１に対して画像を要求すし、この要求に答えてカメラ１１１は、ステップＳ８４１で撮影画像を返信する。するとディスプレイ１４０はステップＳ８４２で画像変換関数を作成する。このとき、カメラ１１１において撮影画像に付与された撮影側の環境光情報とカメラ１１１のデバイスプロファイル、およびカメラ１１２より取得した表示側の環境光情報とディスプレイ１４０のデバイスプロファイルを参照する。これにより、撮影側と表示側との環境光および画像入出力デバイスの色空間情報（デバイスプロファイル）を考慮した、カラーマッチング用の画像変換関数を作成することができる。そしてステップＳ８４３において該画像変換関数を用いて、図２で説明した画像変換処理すなわちカラーマッチングを行い、ステップＳ８４４でマッチング後の画像を表示する。

以上説明したように本実施形態によれば、独立したネットワーク間におけるカラーマッチングを、それぞれのネットワークに接続されたデバイス構成に応じた環境光測定により行うことにより実現する。例えば、撮影側で環境光情報を取得できる照明ないしはセンサがある場合にはこれを利用し、ない場合には撮影用のカメラにおいて、撮影画像から照明条件を抽出して画像に付加する。また表示側では、環境光センサとして機能するカメラを備える。このように、環境光情報を取得する多様な方法を選択可能とすることによって、ネットワーク上に存在する各種デバイスを有効に活用することができる。すなわち、特殊なセンサの有無等のデバイス構成に依存することなく、柔軟かつ簡便にカラーマッチングを行い、表示することが可能である。

＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。第２実施形態においては、カメラが提供する複数のサービスに優先順位をつける例を示す。なお、第２実施形態におけるシステム構成は、上述した第１実施形態の図１に示した構成と同様である。

上述した第１実施形態において、表示側の撮影カメラ１１１はネットワーク接続した状態でUPnPデバイスとして振る舞い、環境光センササービスを提供した。ここで問題となるのは、撮影カメラ１１１の提供する他のサービスとの両立である。撮影カメラ１１１がネットワーク経由で制御される場合に提供されるサービスとしては、環境光センササービスはもとより、静止画や動画を撮影して送信するサービスや、ライブ動画を配信するサービスなどがある。これらのサービスは撮影カメラ１１１の動作モードが異なるため、同時に提供することはできない。従って、遠隔画像撮影サービスに対する要求が発生した場合には、環境光の測定サービスが一時的に使用できなくなってしまう。

第２実施形態では、この問題を以下のように解決する。第一に、各サービスが利用可能であるか否かを示すUPnP状態変数を新たに定義する。第二に、各サービスの優先順位付けに従って利用可能なサービスを選択限定し、上位のサービスを提供中は下位のサービスの状態変数を利用不可能状態にする。第三に、サービスを利用する全てのクライアント（例えばUPnPのコントロールポイントとして実装される）に対して状態変数の変化を通知する。第四に、サービスを利用するクライアントは、サービスが利用可能であるか否かを該当する状態変数を参照することにより確認して、サービスを利用する。

以下、第２実施形態をより具体的に説明する。例えば、撮影カメラ１１１が提供可能なサービスを優先度の高い順に、遠隔撮影サービス、環境光測定サービス、ライブ画像配信サービスとする。また、これら各サービスが可能であるか否かを示す状態変数をそれぞれ以下のように定義する。

StillImageCaptureServiceStatus,
LiveImageServiceStatus,
EnvironMentalLightSensorServiceStatus
この場合、例えば撮影カメラ１１１においてライブ画像配信サービス中に環境光測定サービスへの要求が生じたとする。すると、ライブ画像配信サービス提供可能を示す状態変数LiveImageServiceStatusがNotAvailable（使用不可）になる。その後、実際にライブ画像配信サービスを一旦停止し、環境光測定サービスに対する要求処理を行う。そして環境光測定サービスが終了すると、再びライブ画像撮影サービスが復活する。このときに、LiveImageServiceStatusはAvailable（使用可能）となる。

撮影カメラ１１１におけるこのようなサービスの優先順位制御は、提供可能なサービスを示す状態変数を設定し、全てのクライアントに状態変数の変更を通知することによって実現される。この通知は、例えばUPnPのＧＥＮＡ（General Event Notification Architecture）を用いれば良い。

ところで、撮影カメラ１１１が配信するライブ画像を画像解析処理することによって環境光を推定することも可能である。この場合、撮影カメラ１１１においてライブ画像配信サービスを中断することなく、環境光測定サービスを提供することが可能となる。ただしこの場合、撮影カメラ１１１で環境光推定と画像配信処理とを同時に行うため、配信速度の低下が発生する。このような状況をクライアント側に伝えるためには、ライブ動画配信サービス状態を示す状態変数LiveImageServiceStatusに、LowSpeed(フレームレート低下)をセットすれば良い。

以上説明したように第２実施形態によれば、環境光情報を提供するカメラ（例えば撮影カメラ１１１）において、実行可能なサービスに優先順位をつけることにより、複数のサービスを同時に提供することができる。したがって、ネットワークに接続されているカメラをより有効に活用することができる。

＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。第３実施形態においては、上述した第１および第２実施形態において、カメラの通信インターフェース部を外付けにした構成をとることを特徴とする。すなわち、第３実施形態におけるシステム構成は、上述した第１実施形態の図１に示した構成とほぼ同様であるが、撮影側の撮影カメラ１１１および表示側のカメラ１１２が、通信アダプタ経由でネットワークに接続される。以下、第３実施形態で撮影カメラ１１１およびカメラ１１２が接続される通信アダプタを、カメラアダプタと称する。

なお、第３実施形態におけるカメラとカメラアダプタ間における通信は、USBなどのインターフェースを介して行うため、カメラアダプタはカメラ内の画像処理回路に直接アクセスすることはできない。カメラアダプタは、USB、IEEE1394、RS-232-Cなどの規格に基づく機器接続用のインターフェースとネットワーク接続のためのインターフェース、CPU，ROM，RAM，小型表示装置，操作のためのスイッチ類、等を有する。すなわち第３実施形態におけるカメラアダプタは、一般的な小型のコンピュータとして実装可能である。

ここでカメラの色空間を表すプロファイルはカメラ自体が保持し、画像に添付してカメラアダプタに送信してもよい。また、カメラアダプタが複数のカメラに対応するために、カメラアダプタ内に用意された複数のプロファイルとカメラデバイス名とを照合して選択してもよい。

カメラアダプタを用いる第３実施形態においては、上述した第１実施形態で図３，図６，図７に示した処理は基本的にカメラアダプタにて行われ、カメラはカメラアダプタからの指示に従って、撮影や画像の提供処理を行うことになる。すなわち、上述した第１実施形態で説明した処理手順そのものは変更されない。例えば、図３のステップＳ３０８に示した環境光情報の画像への書込み処理は、カメラアダプタにおいて、撮影カメラ１１１から取得したホワイトバランスから求めた色温度情報と、カメラデバイスプロファイルを画像に付加する。

●ネットワーク間におけるカラーマッチング処理
以下、第３実施形態の表示側においてカメラ１１２をUPnP環境光センサとして用いる処理について、図９の処理シーケンスを用いて説明する。図９は、上述した第１実施形態で図８に示したステップＳ８２０〜Ｓ８２７の部分を説明したものであり、カメラ１１２は図６に示したように動作する。

カメラ１１２がステップＳ９００で起動されると、カメラアダプタはステップＳ９０１で、この起動を検出する。ディスプレイ１４０はステップＳ９１０でUPnP環境光センサを探索し、ステップＳ９１１でカメラアダプタからの返信がなされるので、ステップＳ９１２でデバイスが検出される。

次にステップＳ９１３でディスプレイ１４０が環境光の要求を行うと、ステップＳ９２０でカメラアダプタはカメラ１１２に対して撮影モードへの移行を要求し、ステップＳ９２１でカメラ１１２は画像撮影モードに移行する。さらにカメラアダプタは、ステップＳ９２２でカメラ１１２に対して自動ホワイトバランスモードへの移行を要求し、ステップＳ９２３でカメラ１１２は自動ホワイトバランスモードに移行する。カメラアダプタはさらに、ステップＳ９２４でカメラ１１２に対して静止画撮影要求を行い、カメラ１１２はステップＳ９２５で静止画を撮影する。この際に、カメラアダプタが動画提供サービス中であれば、動画受信元に一時的にサービスの提供を停止する旨の通知（不図示）を行う。カメラ１１２において撮影を終了すると、カメラアダプタはステップＳ９２６でカメラ１１２に対して画像要求を行い、カメラ１１２はステップＳ９２７で撮影した静止画像を返信する。するとカメラアダプタは、ステップＳ９２８で静止画像からＷＢ情報を読み出し、ステップＳ９２９で環境光情報を生成する。カメラアダプタはさらにステップＳ９３０で、生成した環境光情報をディスプレイ１４０に返信する。

以上説明したように第３実施形態によれば、上述した第１実施形態のシステム構成に対し、さらにカメラアダプタとカメラとを分離した構成を提供することができる。これにより、第１実施形態のカメラ組込構成と比較して、通信機能や画像処理機能を強化することができる。

＜他の実施形態＞
本発明は例えば、システム、装置、方法、プログラム若しくは記憶媒体(記録媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。なお、この場合のプログラムとは、実施形態において図に示したフローチャートに対応したコンピュータ可読のプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、以下に示す媒体がある。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM，DVD-R)などである。

プログラムの供給方法としては、以下に示す方法も可能である。すなわち、クライアントコンピュータのブラウザからインターネットのホームページに接続し、そこから本発明のコンピュータプログラムそのもの(又は圧縮され自動インストール機能を含むファイル)をハードディスク等の記録媒体にダウンロードする。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせることも可能である。すなわち該ユーザは、その鍵情報を使用することによって暗号化されたプログラムを実行し、コンピュータにインストールさせることができる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、実行されることによっても、前述した実施形態の機能が実現される。すなわち、該プログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うことが可能である。

本発明に係る一実施形態におけるシステム構成例を示す図である。本実施形態におけるカラーマッチング処理概要を示す図である。本実施形態の撮影側における撮影処理を示すフローチャートである。本実施形態においてネットワーク経由で制御可能な照明サービスの記述ファイル例を示す図である。本実施形態においてネットワーク経由で制御可能な環境光情報サービスの記述ファイル例を示す図である。本実施形態の表示側における静止画撮影による環境光取得処理を示すフローチャートである。本実施形態の表示側における動画撮影による環境光取得処理を示すフローチャートである。本実施形態のネットワーク間におけるカラーマッチング処理シーケンスを示す図である。第３実施形態におけるカメラアダプタを用いたカラーマッチング処理シーケンスを示す図である。

Claims

画像の入力機器および出力機器を含む複数の機器がネットワークに接続された画像処理システムであって、
前記入力機器および前記出力機器のそれぞれが、
環境光情報を取得可能な環境光取得機器を前記ネットワーク上から検出する検出手段と、
該検出された環境光取得機器から環境光情報を取得する環境光取得手段と、
を有し、
さらに前記出力機器が、
前記入力機器および前記出力機器のそれぞれにおける前記環境光情報と色空間特性情報とに基づいて、前記入力機器と前記出力機器との間におけるカラーマッチングを行うカラーマッチング手段、を有し、
前記検出手段は、前記環境光取得機器として撮影装置および照明装置を検出可能であることを特徴とする画像処理システム。
前記撮影装置は、撮影画像を解析して環境光情報を推定する環境光推定手段を有することを特徴とする請求項１に記載の画像処理システム。
前記環境光推定手段は、前記撮影画像におけるホワイトバランス情報に基づいて前記環境光情報を推定することを特徴とする請求項２に記載の画像処理システム。
前記入力機器は前記撮影装置であり、前記検出手段において他の環境光取得機器が検出されない場合に、前記環境光推定手段によって撮影画像から推定された環境光情報を取得することを特徴とする請求項２または３に記載の画像処理システム。
前記入力機器は、入力した画像に前記環境光取得手段で取得した環境光情報および該入力機器の色空間特性情報を付加して前記出力機器に送信する送信手段、を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。
前記入力機器および前記出力機器は、前記ネットワークに接続するための通信アダプタを有し、
前記検出手段および前記環境光取得手段は前記通信アダプタに備えられることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
前記環境光情報は、色温度情報であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
前記環境光情報は、分光特性情報であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
前記撮影装置は、ネットワークを介した要求に基づく撮影、動画配信、環境光測定のうち少なくとも２つの機能を、それぞれに優先順位を付して有し、
前記要求に対し、前記優先順位に基づいて各機能の動作を制御することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
前記ネットワークは、UPnPのプロトコルによる通信を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理システム。
ネットワークを介した要求に基づく撮影を行う撮影手段と、
環境光情報を取得可能な環境光取得機器を前記ネットワーク上から検出する検出手段と、
該検出された環境光取得機器から環境光情報を取得する環境光取得手段と、
前記撮影手段で撮影された画像に対して前記環境光情報および自身の色空間特性情報を付加して前記ネットワーク上に送信する送信手段と、
を有することを特徴とする撮影装置。
さらに、前記撮影手段で撮影された画像を解析して環境光情報を推定する環境光推定手段を有し、
前記環境光取得手段は、前記検出手段において前記環境光取得機器が検出されない場合に、前記環境光推定手段によって推定された環境光情報を取得することを特徴とする請求項１１に記載の撮影装置。
画像の入力機器および出力機器を含む複数の機器がネットワークに接続された画像処理システムにおける画像処理方法であって、
前記入力機器および前記出力機器のそれぞれにおいて、
環境光情報を取得可能な環境光取得機器を前記ネットワーク上から検出し、
該検出された環境光取得機器から環境光情報を取得し、
さらに前記出力機器において、前記入力機器および前記出力機器のそれぞれにおける前記環境光情報と色空間特性情報とに基づいて、前記入力機器と前記出力機器との間におけるカラーマッチングを行い、
前記環境光取得機器として撮影装置および照明装置を検出可能であることを特徴とする画像処理方法。
コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理システムにおける出力機器として機能させるためのプログラム。
請求項１４に記載のプログラムを記録したコンピュータ可読な記録媒体。