JP2019179432A - 画像補正システム、画像補正方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの負担を増加させることなく、撮影時の光源の環境光や撮影デバイスの特性に依存せず、所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム、画像補正方法、及びプログラムを提供する。【解決手段】画像補正サーバ４は、撮像対象物の撮像画像を示す撮像対象画像情報を取得する撮像画像取得部４１０と、色を示す色情報を測定する測定器により、撮像対象物の特定の箇所で測定された分光反射率を含む三刺激値を示す特定箇所色情報を取得する特定箇所色情報取得部４１２と、特定箇所色情報により撮像画像の画素の三刺激値である撮像三刺激値を、標準光源下の推定三刺激に補正する補正式を生成する撮像画像補正式生成部４１３と、補正式で撮像対象画像情報の撮像対象物の全画素の撮像三刺激値を推定三刺激値に補正し、補正された撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力部４１４とを備える。【選択図】図４

Description

本発明は、画像補正システム、画像補正方法、及びプログラムに関する。

標準光源下ではなく任意の光源の環境光下で撮像した場合、撮像対象物を撮像した画像(以下、撮像画像という)において、環境光下における撮像対象物の実物の色と、表示装置に表示させた撮像対象物の撮像画像の色の見えとが異なってしまう。このため、撮像対象物の実物の色と表示装置に表示される撮像画像の色の各々の見えを一致させる、撮像画像の色を補正するカラーマネジメントという手法が知られている。
例えば、特許文献１には、被写体（対象物）の撮影信号と、既知の分光反射率をもつ複数の色票からなる指定チャートの撮影信号とを取得することにより、被写体の分光反射率を推定する技術が開示されている。

特開平１１−９６３３３号公報

しかしながら、特許文献１においては、被写体と指定チャートを一緒に撮影する場合には撮影時に指定チャートを所持していなければならず手間がかかる。また、被写体と指定チャートの色材が異なる場合には推定する被写体の分光反射率に誤りが生じる可能性がある。例えば、被写体が「染料」で着色されている一方で、指定チャートが「顔料」で印刷されている場合、人の目には同じ色に見えていても、「染料」と「顔料」とのそれぞれの分光反射率の違いにより、必ずしも実物の対象物の色と一致する方向に補正されるとは限らない。また、指定チャートに基づいて、画像全体の色を補正するため、特に色を一致させたい部分などがあった場合でも、部分的な補正をすることができないという問題があった。

本発明は、このような状況に鑑みてなされたもので、ユーザの負担を増加させることなく、撮影時の光源の環境光や撮影デバイスの特性に依存せず、所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム、画像補正方法、及びプログラムを提供する。

本発明の画像補正システムは、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得部と、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得部と、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成部と、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力部とを備えることを特徴とする。

本発明の画像補正システムは、前記撮像画像補正式生成部が、前記推定三刺激値、及び前記撮像対象物を観察する所定の光源の分光分布に基づき、前記推定三刺激値を前記所定の光源の環境光下における任意光源環境下三刺激値に補正する他の補正式を生成し、前記補正撮像画像出力部が、前記他の補正式により、前記撮像対象画像情報における前記撮像対象物の全画素の推定三刺激値の各々を前記任意光源環境下三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力することを特徴とする。

本発明の画像補正システムは、前記撮像対象画像情報に基づいて、前記撮像対象物における前記特定箇所色情報を取得する前記箇所である特定箇所を特定し、当該特定箇所における位置を示す特定箇所位置情報を出力する特定箇所指示部をさらに備えることを特徴とする。

本発明の画像補正システムは、前記特定箇所色情報取得部は、前記撮像対象物における前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を取得する、ことを特徴とする。

本発明の画像補正システムは、前記色情報が、前記三刺激値または分光放射輝度のいずれかと、前記分光反射率とである、ことを特徴とする。

本発明の画像補正システムは、前記補正撮像画像情報が、前記撮像対象物の特定の箇所における前記分光反射率の情報を付加して構成されていることを特徴とする。

本発明の画像補正システムは、前記補正撮像画像情報に基づいて、色の基準となる基準色を特定し、前記基準色を含む基準画像を示す基準画像情報を出力する基準色特定部と、色を示す色情報を測定する測定器により検出される、表示部に表示された前記基準画像の色情報である基準画像色情報を取得する基準画像色情報取得部と、前記基準画像色情報に基づいて、前記補正撮像画像情報に基づく補正撮像画像の色を補正して補正表示画像情報を生成して出力する表示画像補正部と、をさらに備える、ことを特徴とする。

本発明の画像補正システムは、前記基準画像色情報が、前記表示部に表示される前記基準画像の色における分光放射輝度または三刺激値のいずれかであることを特徴とする。

本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、前記撮像対象画像情報及び前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置とを備える、ことを特徴とする。

本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所指示部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、前記撮像対象画像情報を前記画像補正サーバに出力するとともに、前記特定箇所位置情報を前記画像補正サーバから取得し、取得した前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力し、前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置とを備える、ことを特徴とする。

本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、前記特定箇所指示部と、前記撮像対象画像情報、前記特定箇所指示部が特定した前記特定箇所位置情報及び前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部とを有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置とを備える、ことを特徴とする。

本発明の画像補正システムは、前記基準色特定部、前記基準画像色情報取得部、前記表示画像補正部、及び前記基準画像を出力する基準画像出力部、を有する画像補正サーバと、前記基準画像情報、前記補正撮像画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに、前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末とを備える、ことを特徴とする。

本発明の画像補正システムは、前記表示画像補正部、及び前記基準画像色情報取得部、を有する画像補正サーバと、前記基準色特定部と、前記基準画像情報を前記画像補正サーバに出力する基準画像出力部と、前記基準画像色情報を前記画像補正サーバに出力するとともに前記補正表示画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と、を備える、ことを特徴とする。

本発明の画像補正システムは、前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、前記補正撮像画像出力部、前記基準色特定部、前記基準画像色情報取得部、及び前記表示画像補正部、を有する画像補正サーバと、前記撮像対象画像情報、前記特定箇所色情報を前記画像補正サーバに出力するとともに 前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された撮像側ユーザ端末装置と、前記基準画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された閲覧側ユーザ端末装置とを備える、ことを特徴とする。

本発明の画像補正方法は、特定箇所色情報取得部が、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得過程と、特定箇所色情報取得部が、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得過程と、撮像画像補正式生成部が、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成過程と、補正撮像画像出力部が、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力過程とを含むことを特徴とする。

本発明のプログラムは、コンピュータに、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得手段、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得手段、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成手段、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力手段とを実行させるためのプログラムである。

以上説明したように、本発明によれば、ユーザの負担を増加させることなく、撮影時の光源の環境光や撮影デバイスの特性に依存せず、所定の光源の環境光下における実物の色の見えに近い画面表示を実現する画像補正システム、画像補正方法、及びプログラムを提供することが可能となる。

本発明の第１の実施形態の画像補正システム１の構成例を示す概念図である。 第１の実施形態のユーザ端末装置２−１の構成例を示す概念図である。 第１の実施形態のユーザ端末装置２−２の構成例を示す概念図である。 第１の実施形態の画像補正サーバ４の構成例を示す構成図である。 第１の実施形態のユーザ端末装置２の表示画面に表示される特定箇所を指示する画像の例を示す図である。 第１の実施形態のユーザ端末装置２−２の表示画面に表示される基準色の画像の例を示す図である。 撮像画像補正式生成部４１３による補正式の生成処理、及び補正撮像画像出力部４１４による撮像対象画像情報の補正処理を説明する概念図である。 撮像画像補正式生成部４１３による補正式の生成処理、及び補正撮像画像出力部４１４による撮像対象画像情報の補正処理を説明する概念図である。 ユーザ端末装置２−２に表示する画像の補正の処理の動作例を示すシーケンス図である。 撮像画像補正式生成部４１３Ａによる補正式の生成処理、及び補正撮像画像出力部４１４による撮像対象画像情報の補正処理を説明する概念図である。

以下、実施形態の画像補正システム、画像補正方法、及びプログラムを、図面を参照して説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態の画像補正システム１の構成例を示す概念図である。画像補正システム１は、ユーザ端末装置２−１、２−２と、色測定器３−１、３−２と、画像補正サーバ４と、ネットワーク５と、を備える。画像補正システム１では、色測定器３が接続されたユーザ端末装置２−１、２−２と、画像補正サーバ４と、がネットワーク５を経由して通信可能に接続される。

ユーザ端末装置２−１、２−２の各々は、ユーザが使用するネットワーク端末である。具体的には、ユーザ端末装置２−１、２−２の各々は、例えばパーソナルコンピュータ、携帯電話、スマートフォン、タブレット端末などである。
第１の実施形態の画像補正システム１では、画像を送信するユーザ端末装置２が少なくとも一つあればよく、この他に複数のユーザ端末装置２（ユーザ端末装置２＿１、２＿２を含め複数のユーザ端末装置を示す）が画像補正サーバ４とネットワーク５を経由して通信可能に接続されていてもよい。また、第２の実施形態の画像補正システム１Ａでは、画像を送信する撮像側のユーザ端末装置２−１、および画像を受信する閲覧側のユーザ端末装置２−２が少なくとも一つずつあればよく、この他に複数のユーザ端末装置２が画像補正サーバ４とネットワーク５を経由して通信可能に接続されていてもよい。

ユーザ端末装置２−１及び２−２の各々には、画像共有アプリケーションがインストールされる。画像共有アプリケーションは、例えば、ユーザがスマートフォンのカメラを使って撮像した対象物Ｔ（図２参照）の画像を、他のユーザと共有することができるアプリケーションソフトウェアである。画像共有アプリケーションが動作するユーザ端末装置では、例えば、商品として出品した対象物Ｔの撮像画像Ｇを他のユーザの他のユーザ端末装置（不図示）と共有し、その対象物Ｔの撮像画像Ｇを、他のユーザ端末装置で見て気に入った他のユーザに対し、商品を販売する処理を実行することができる。

本実施形態において、ユーザ端末装置２−１は画像の撮像側のユーザの端末であり、ユーザ端末装置２−２は画像の閲覧側のユーザ（上記他のユーザ）の端末であるとして説明する。
また、ユーザ端末装置２−１は、撮像された光源の環境光下において色測定器３により検出される対象物Ｔの色を示す情報として特定箇所色情報（後述）を取得する。このユーザ端末装置２が取得する特定箇所色情報は、対象物Ｔの撮像画像Ｇの色を補正する際に用いられる。

色測定器３−１は、ユーザ端末装置２−１に接続され、対象物Ｔの色情報を測定する測定器である。また、色測定器３−１は、例えば、色情報として分光反射率及び三刺激値を検出するセンサを備える。色測定器３−１は、例えば、ペンシル形状を有し、ユーザの操作によりペンシル形状の先端部分を対象物Ｔに接触させる操作、及び対象物Ｔに非接触状態で近付ける操作（以下、これらの操作をまとめて「タッチ操作」という）が行われることにより、対象物Ｔの色情報を検出する。この色測定器３−１が取得する色情報は、例えば、対象物Ｔの分光放射輝度または三刺激値のいずれかと、対象物Ｔの分光反射率とである。
色測定器３−２は、ユーザ端末装置２−２の表示画面に表示される画面計測用パッチの画像をタッチ操作し、画面計測用パッチの三刺激値または分光反射輝度を色情報として取得する。

なお、色測定器３−１、３−２の各々とユーザ端末装置２−１、２−２それぞれとの間の通信は、例えば、セルラー網などの無線通信網、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信網、ＬＡＮ（Local Area Network）などを介した有線通信網を介して行われる。

画像補正サーバ４は、画像共有アプリケーションのサービス提供者が運用するサーバである。画像共有アプリケーションが動作するユーザ端末装置２−１により送信された撮像画像Ｇを管理する。また、画像補正サーバ４は、ユーザ端末装置２−１により送信された撮像画像Ｇを、標準光源下で、例えば標準光源Ｄ５０、Ｄ５５及びＤ６５などの光源下で撮像された画像である補正撮像画像に変換する補正を行う。本実施形態においては、一例として標準光源Ｄ５０を用いた場合を例として説明を行う。

ネットワーク５は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。

本実施形態の画像補正システムにおいては、ユーザ端末装置２−１は、提示側のユーザ端末装置２であり、ユーザの操作により、他のユーザ端末装置２に対して提示する対象物（例えば後述する対象物Ｔ）を撮像した撮像画像を、例えば、画像共有アプリケーションで提示したい対象物の撮像画像を画像補正サーバ４に送信する。
また、画像補正サーバ４は、ユーザ端末装置２−１から受信した撮像画像に基づいて、特に色を一致させたい箇所（特定箇所）を判定し、判定した箇所をユーザ端末装置２−１に通知する。ここで、画像補正サーバ４が「特に色を一致させたい特定箇所」とは、例えば、商品の大部分を占める同じ色を示す箇所や、全く異なる色をそれぞれ示す複数の箇所である。この場合、ユーザ端末装置２−１は、画像共有アプリケーションにて通知された特定箇所に対応する領域の対象物Ｔの色情報である特定箇所色情報を、画像補正サーバ４に送信する。

ここで、ユーザ端末装置２−１は、ユーザの操作により特に色を一致させたい特定箇所を指定し、指定した特定箇所の特定箇所色情報にその特定箇所を示す位置情報に対応づけて、画像補正サーバ４に送信するようにしてもよい。
また、上述した「特に色を一致させたい特定箇所」としては、ユーザが画像共有アプリケーションで表示された画像の色が実物の色と異なっていると感じる箇所や、商品として画像の色を実物の色を一致させたいと感じる箇所としても良い。
画像補正サーバ４は、ユーザ端末装置２−１から受信した撮像画像を、ユーザ端末装置２から受信した特定箇所色情報に基づいて、標準光源Ｄ５０下の撮像画像である補正撮像画像に補正する。

このような画像共有アプリケーションにより対象物を商品として、この商品を提示して商品取引を行う場合、ユーザは商品の撮像画像を、自身のユーザ端末装置の表示画面で閲覧することで商品を購入するか否かを決定する。このため、自身のユーザ端末装置の表示画面における撮像画像で視認される商品の色が、商品の実際の色に対して異なっている場合、商品が届いた際に、標準光源Ｄ５０の環境光下で視認した際、「画像では明るい青に見えるが、暗めの青だった」などという不満が生じかねない。このような、画像の色と実際の色との相違は、出品するユーザの信頼を損ねることにも繋がる。

本実施形態の画像補正システム１では、画像補正サーバ４が、撮像画像の色が、標準光源Ｄ５０の環境光下において実際の色に対して近い色の補正撮像画像となるように補正する。このとき、撮像画像の中でも、特に色を一致させたい箇所について実際の色に近づけるように補正する。これにより、撮像画像の色を標準光源Ｄ５０の環境光下における色に近づけ、補正撮像画像で視認される商品の色に基づくイメージに、実際の商品との差異が生じないようにする。こうすることで、商品が届いた後の満足度を向上させ、商品を出品するユーザの信頼度を向上させることができる。

［第１の実施形態のユーザ端末装置２の構成例の説明］
図２は、第１の実施形態のユーザ端末装置２−１の構成例を示す概念図である。ユーザ端末装置２−１は、例えば、ＮＷ（ネットワーク）通信部２０と、色情報取得部２３と、撮像部２４と、表示部２５と、制御部２６と、を備える。

ＮＷ通信部２０は、受信部２１と、送信部２２とを備え、ネットワーク５に接続されて画像補正サーバ４とデータの送受信を行う。
受信部２１は、画像補正サーバ４により送信された、画像補正サーバ４が推奨する撮像画像における特定箇所の位置を示す特定箇所位置情報を受信し、この特定箇所位置情報を制御部２６に出力する。ここで、特定箇所位置情報は、対象物Ｔの一部の箇所を示す情報である。
送信部２２は、画像補正サーバ４に対し、撮像対象画像情報、および特定箇所色情報（例えば、推奨箇所色情報）を送信する。ここで、撮像対象画像情報は、対象物Ｔの撮像画像を示す情報である。特定箇所色情報は、対象物Ｔの特定の箇所における色を示す情報である。

色情報取得部２３は、色測定器３により検出された色情報を取得する。ここで、色情報は、色を示す情報であり、上述した分光放射輝度または三刺激値のいずれか、及び対象物Ｔの分光反射率である。色情報取得部２３は、取得した色情報を制御部２６に出力する。
図２に示すように、第１の実施形態において、色情報取得部２３は、ユーザにより色測定器３が操作されることにより対象物Ｔにおける特定箇所の色情報である特定箇所色情報を取得する。

撮像部２４は、例えば、スマートフォンに内蔵されたカメラである。撮像部２４は、制御部２６の制御に基づいて対象物Ｔを撮像し、撮像した対象物Ｔの撮像画像を示す情報を制御部２６に出力する。
表示部２５は、例えば、スマートフォンに内蔵された表示ディスプレイである。表示部２５は、制御部２６の制御に基づいて画像や文字、記号等の形状を表示する。

制御部２６は、例えば、ＣＰＵなどを含むプロセッサであり、ユーザ端末装置２を統括的に制御する。制御部２６は、例えばＣＰＵに画像共有アプリケーションプログラムを実行させることにより、画像共有アプリケーションを動作させる。
制御部２６は、画像共有アプリケーションの動作として、撮像部２４により撮像された画像の情報を、出品する商品の撮像対象画像情報として、送信部２２を介して画像補正サーバ４に送信する。

また、制御部２６は、画像共有アプリケーションの動作として、色情報取得部２３により取得された色情報を、出品する商品の撮像画像の色を補正するための特定箇所色情報として、送信部２２を介して画像補正サーバ４に送信する。
制御部２６は、画像共有アプリケーションの動作として、画像補正サーバ４からの特定箇所位置情報を、受信部２１を介して取得する。制御部２６は、取得した特定箇所位置情報を、例えば表示部２５に表示させる。これにより、表示部２５には、推奨する特定箇所を示す画像が表示される。表示部２５が表示する特定箇所を示す画像については、図５を参照して説明する。

図３は、第１の実施形態のユーザ端末装置２−２の構成例を示す概念図である。ユーザ端末装置２−２は、例えば、ＮＷ通信部２０と、色情報取得部２３と、表示部２５と、制御部２６と、を備える。ユーザ端末装置２−２は、構成が撮像部２４を含まない以外、ユーザ端末装置２−１と同様であるが閲覧側として、撮像側のユーザ端末装置２−１と各々の部の動作が異なる。以下、ユーザ端末装置２−２の各部の動作を説明する。

ＮＷ通信部２０は、受信部２１と、送信部２２とを備え、ネットワーク５に接続されて画像補正サーバ４と通信を行う。
受信部２１は、画像補正サーバ４により送信された基準画像情報、補正撮像画像情報、および補正表示画像情報を受信する。ここで、基準画像情報は、画像の色を補正する際に、基準の色とする既知の色が描画された画像を示す情報である。補正表示画像情報は、画像補正サーバ４Ａにより、補正画像に対して、更に閲覧側のユーザ端末装置２−２の「表示特性」に応じて色が補正された画像を示す情報である。受信部２１は、受信したこれらの情報を制御部２６に出力する。
送信部２２は、画像補正サーバ４に対し、基準画像色情報を送信する。ここで、基準画像色情報は、基準の色を表示させた画像における色を示す情報である。

色情報取得部２３は、図３に示すように、ユーザにより色測定器３がタッチ操作されることにより、ユーザ端末装置２−２の表示部２５に表示された基準となる色の基準画像ＧＰにおける基準色の画像の色情報（三刺激値または分光放射輝度）を取得する。表示部２５が表示する基準画像ＧＰについては、図６を参照して説明する。

制御部２６は、例えば、ＣＰＵなどを含むプロセッサであり、ユーザ端末装置２−２を統括的に制御する。制御部２６は、例えばＣＰＵに画像共有アプリケーションプログラムを実行させることにより、画像共有アプリケーションを動作させる。

制御部２６は、画像共有アプリケーションの動作として、画像補正サーバ４からの基準画像情報を、受信部２１を介して取得する。制御部２６は、取得した基準画像情報を、例えば表示部２５に表示させる。これにより、表示部２５には、基準色を示す基準画像ＧＰが表示される。

また、制御部２６は、画像共有アプリケーションの動作として、色情報取得部２３により取得された色情報を、基準色を表示部２５に表示させた画像の色を示す基準画像色情報として、送信部２２を介して画像補正サーバ４に送信する。

また、制御部２６は、画像共有アプリケーションの動作として、画像補正サーバ４からの補正表示画像情報を、受信部２１を介して取得する。制御部２６は、取得した補正表示画像情報を、例えば表示部２５に表示させる。これにより、表示部２５には、画像補正サーバ４により基準画像色情報に基づいて補正された画像が表示される。表示部２５が表示する基準画像色情報に基づいて補正された画像については、図６を参照して説明する。

また、図２及び図３の各々において、撮像側のユーザ端末装置２−１、閲覧側のユーザ端末装置２−２それぞれは、機能構成は同一であるが、画像補正サーバ４Ａとの間で送受信される情報、および、それらの送受信される情報に基づく動作が互いに異なる。このため、ユーザ端末装置２−１が撮像側として固定された動作を行うものではないし、ユーザ端末装置２−２が閲覧側として固定された動作を行うものではない。例えば、あるタイミングにおいて、ユーザ端末装置２−１が、画像補正サーバ４に画像を送信する撮像側として動作し、ユーザ端末装置２−２が、画像補正サーバ４から画像を受信する閲覧側として動作する。また別のタイミングにおいては、ユーザ端末装置２−１が、画像補正サーバ４から画像を受信する閲覧側として動作し、ユーザ端末装置２−１が、画像補正サーバ４に画像を送信する撮像側として動作してもよい。

［第１の実施形態の画像補正サーバの構成例の説明］
図４は、第１の実施形態の画像補正サーバ４の構成例を示す構成図である。図４において、画像補正サーバ４は、例えば、ＮＷ（ネットワーク）通信部４０と、制御部４１と、を備える。

ＮＷ通信部４０は、受信部４００と、送信部４０１とを備え、ネットワーク５に接続されてユーザ端末装置２と通信を行う。
受信部４００は、ユーザ端末装置２により送信された撮像対象画像情報、および特定箇所色情報を受信する。受信部４００は、これらの情報を制御部４１に出力する。
送信部４０１は、ユーザ端末装置２に対し、特定箇所位置情報、および補正撮像画像情報を送信する。

制御部４１は、例えば、ＣＰＵなどを含むプロセッサであり、画像補正サーバ４を統括的に制御する。制御部４１としての機能は、例えばＣＰＵにプログラムを実行させることにより実現される。制御部４１は、撮像画像取得部４１０と、特定箇所指示部４１１と、特定箇所色情報取得部４１２と、撮像画像補正式生成部４１３と、補正撮像画像出力部４１４と、基準色特定部４１５、基準画像色情報取得部４１６と、表示画像補正部４１７とを備える。

撮像画像取得部４１０は、ユーザ端末装置２により送信された撮像対象画像情報を、受信部４００を介して取得する。撮像画像取得部４１０は、取得した撮像対象画像情報を、特定箇所指示部４１１に出力する。また、撮像画像取得部４１０は、取得した撮像対象画像情報を、撮像画像補正式生成部４１３に出力する。
特定箇所指示部４１１は、撮像画像取得部４１０から出力された撮像対象画像情報に基づいて、撮像画像に示される対象物Ｔの画像全体の中で色情報が取得されることが望ましい特定箇所を抽出する。ここで、特定箇所は、特定箇所指示部４１１により実物の対象物Ｔと対象物Ｔの撮像画像とにおいて、特に色を一致させたい箇所として抽出された箇所であり、例えば、対象物Ｔの中で同じ色を示す大部分を占める箇所や、対象物Ｔの中で色のコントラストが大きく変化する色をそれぞれ示す箇所である。特定箇所指示部４１１は、抽出した箇所を示す位置情報（撮像画像における画素の位置を示す情報）を特定箇所位置情報として、送信部４０１を介してユーザ端末装置２に送信する。

特定箇所色情報取得部４１２は、ユーザ端末装置２により送信された特定箇所色情報を、受信部４００を介して取得する。特定箇所色情報取得部４１２は、取得した特定箇所色情報を、撮像画像補正式生成部４１３に出力する。
撮像画像補正式生成部４１３は、撮像画像取得部４１０から出力された撮像対象画像情報、および特定箇所色情報取得部４１２から供給される特定箇所色情報に基づき、撮像画像に示される色を補正する補正式（一例として、後述する各変換マトリクス（行列））を生成する。そして、撮像画像補正式生成部４１３は、生成した補正式を補正撮像画像出力部４１４に出力する。ここで、撮像画像に示される色の補正は、上記補正式による方法に限定されず、特定箇所色情報に基づいた補正であれば、どのような補正方法でも良い。
補正撮像画像出力部４１４は、撮像画像補正式生成部４１３から供給される補正式により、撮像対象画像情報の各画素の色を補正する。また、補正撮像画像出力部４１４は、撮像対象画像情報を補正することで生成した補正撮像画像情報を、基準色特定部４１５に出力する。

基準色特定部４１５は、補正撮像画像出力部４１４から出力された補正撮像画像情報に基づいて、基準色を特定する。基準色特定部４１５は、例えば、補正された撮像のうち同じ色が大部分を占める場合にはその色を基準色に特定する。基準色特定部４１５は、例えば、補正された撮像に色調が大きく異なる色がある場合にはそれらの色を基準色に特定する。また、基準色特定部４１５は、特定した色に近い色をもつ複数の色を基準色としてもよい。

基準色特定部４１５は、画像補正サーバ４の図示しない記憶部に予め記憶された色情報が示す色を、単数又は複数選択して基準色を特定するようにしてもよい。
基準色特定部４１５は、特定した基準色を含む画像を示す情報を基準画像情報として送信部４０１を介して閲覧側のユーザ端末装置２−２に送信する。
また、基準色特定部４１５は、基準画像情報とともに、または基準画像情報とは別に、補正撮像画像出力部４１４から出力された補正撮像画像情報を、送信部４０１を介してユーザ端末装置２−２に送信するようにしてもよい。

基準画像色情報取得部４１６は、ユーザ端末装置２−２により送信された基準画像色情報を、受信部４００を介して取得する。基準画像色情報取得部４１６は、取得した基準画像色情報を、表示画像補正部４１７に出力する。

表示画像補正部４１７は、基準色特定部４１５から出力された基準画像情報、および基準画像色情報取得部４１６から出力された基準画像色情報に基づき、閲覧側ユーザの端末装置２−２の表示部２５に表示される補正撮像画像情報に基づく画像（以下、表示画像という）に示される色を、基準画像色情報を用いて補正する。表示画像補正部４１７は、補正した表示画像を示す情報を補正表示画像情報として、送信部４０１を介してユーザ端末装置２−２に送信する。ここで、表示画像補正部４１７は、基準画像色情報と基準画像情報とから、ユーザ端末装置２−２の表示部２５のカラープロファイルを生成し、このカラープロファイルにより補正撮像画像情報を補正表示画像情報に補正する。そして、表示画像補正部４１７は、補正で得られた補正表示画像情報をユーザ端末装置２−２に対して送信する。

［第１の実施形態のユーザ端末装置における特定箇所の表示例の説明］
図５は、第１の実施形態のユーザ端末装置２の表示画面に表示される特定箇所を指示する画像の例を示す図である。図５は、ユーザ端末装置２の制御部２６が、画像補正サーバ４から取得した特定箇所位置情報に基づく、特定箇所を示す画像を、表示部２５に表示させた例を示している。

図５に示すように、ユーザ端末装置２−１は、表示部２５の表示画面に対して、対象物Ｔの撮像画像Ｇを表示する。そして、ユーザ端末装置２は、表示部２５の表示画面の撮像画像Ｇに対して、色情報を取得することを推奨する特定箇所の位置を示す丸枠ＧＭ−１〜ＧＭ−３を表示する。
図５に示すように、特定箇所位置情報は、例えば、対象物Ｔの撮像画像Ｇに、色情報を取得することを推奨する箇所を示す印が描画された画像を示す情報である。また、図５に示すように、特定箇所は、複数の箇所を示す画像であってもよいし、一つの箇所を示す画像であってもよい。

ユーザは、ユーザ端末装置２における表示部２５の表示画面に表示された撮像画像Ｇ、および丸枠ＧＭ−１〜ＧＭ−３の画像を視認する。そして、ユーザは、例えば、表示部２５の表示画面における対象物Ｔの撮像画像Ｇにおいて、色測定器３を用いて丸枠ＧＭ−１の画像により指示された特定箇所をタッチ操作する。
色測定器３は、ユーザのタッチ操作により、対象物Ｔの撮像画像Ｇにおいてタッチ操作がなされた特定箇所の色を検出し、検出した特定箇所の色情報をユーザ端末装置２に出力する。ユーザ端末装置２において、制御部２６は、色情報取得部２３を介して色測定器３からの特定箇所の色情報を取得する。制御部２６は、取得した特定箇所の色情報を、丸枠ＧＭ−１が示す位置情報に対応付けて特定箇所色情報とし、送信部２２を介して、画像補正サーバ４に送信する。

［第１の実施形態のユーザ端末装置における基準色の表示例の説明］
図６は、第１の実施形態のユーザ端末装置２−２の表示画面に表示される基準色の画像の例を示す図である。
図６（ａ）は、閲覧側のユーザ端末装置２−２の制御部２６が、画像補正サーバ４から取得した補正撮像画像情報、および基準画像情報に基づく画像を、表示部２５に表示させた例を示す。図６（ｂ）は、閲覧側のユーザ端末装置２−２の制御部２６が、画像補正サーバ４から取得した補正表示画像情報に基づく画像を、表示部２５に表示させた例を示す。

図６（ａ）に示すように、閲覧側のユーザ端末装置２−２の表示部２５の表示画面には、対象物Ｔの撮像画像Ｇとともに、基準画像ＧＰが表示される。基準画像ＧＰには、三つの色を示す画像（Ｇ−６〜Ｇ−８）が示される。また、図６（ａ）に示すように、基準色には、複数の色が含まれていてもよいし、一つの色であってもよい。

撮像画像Ｇは、補正撮像画像情報に基づく画像であり、撮像側のユーザ端末装置２−１の特定箇所色情報に基づいて色が補正された画像である。しかしながら、ユーザ端末装置２−２に表示される撮像画像Ｇは、撮像側のユーザ端末装置２−１において表示される撮像画像Ｇの色とは異なる。このように、同じ画像情報に基づいて画像を表示させても、ユーザ端末装置２−２が備える表示部２５の特性によっては、色味の異なる画像として表示されてしまう。特に、カラープロファイルが付加されておらず、入力される補正撮像画像情報の三刺激値を、簡易にＲＧＢデータに変換して表示する簡易な表示部である場合、補正撮像画像情報と実際に表示された撮像画像Ｇとの色味の違いが顕著である。

閲覧側のユーザは、表示部２５の表示画面に表示された基準画像ＧＰを視認し、例えば、色測定器３を用いて表示画面に表示された基準画像ＧＰの色部分（例えば画像Ｇ−６）をタッチ操作する。
色測定器３は、ユーザの操作により、表示画面のタッチ操作がなされた箇所の色を検出し、検出した色情報をユーザ端末装置２−２に出力する。ユーザ端末装置２−２の制御部２６は、色情報取得部２３を介して色測定器３からの色情報を取得する。制御部２６は、取得した色情報を、画像Ｇ−６が示す色に対応付けて基準画像色情報とし、送信部２２を介して、画像補正サーバ４に送信する。
画像補正サーバ４は、このようにして、基準となる色情報を取得し、取得した色情報（基準画像色情報）を用いて撮像画像Ｇ（補正撮像画像情報）を補正する。これにより、本実施形態の画像補正システム１においては、ユーザ端末装置２−２の表示部２５の「表示特性」に対応させるように、対象物Ｔの撮像画像Ｇ（補正撮像画像情報）を補正して、補正表示画像情報による撮像画像Ｇを表示することができる。

図６（ｂ）に示すように、閲覧側のユーザ端末装置２−２の表示部２５の表示画面には、基準画像色情報に基づいて補正された撮像画像Ｇが表示される。図６（ｂ）の撮像画像Ｇは、標準光源Ｄ５０の環境光下において視認される対象物Ｔの色に近づいている。
つまり、撮像側のユーザ端末装置２−１からの色情報（特定箇所色情報）に基づいて補正された補正撮像画像情報が示す画像（図６（ａ）の撮像画像Ｇ）を、ユーザ端末装置２−２の表示部２５に表示させた場合に、表示部２５の「表示特性」によっては、画像が、標準光源Ｄ５０の環境光下において視認される実物の対象物Ｔの色に近づいて視認される状態で表示されるとは限らない。このため、ユーザ端末装置２−２に表示させた基準画像の色情報（基準画像色情報）に基づいて再度の補正を行う。こうすることで、ユーザ端末装置２−２の表示部２５の「表示特性」に基づいた補正を行うことができ、対象物Ｔの撮像画像Ｇを標準光源Ｄ５０の環境光下において視認される対象物Ｔの見えに近づけることが可能となる。

［第１の実施形態における補正式の生成及び撮像対象画像情報の補正の説明］
以下、図面を参照して、撮像画像補正式生成部４１３による補正式の生成処理、及び補正撮像画像出力部４１４による撮像対象画像情報の補正処理を説明する。
図７及び図８の各々は、撮像画像補正式生成部４１３による補正式の生成処理、及び補正撮像画像出力部４１４による撮像対象画像情報の補正処理を説明する概念図である。
図７及び図８の各々において、撮像対象画像情報７０１は、ユーザが対象物Ｔの撮像画像Ｇをユーザ端末装置２により撮像した画像である。

ここで、撮像対象画像情報７０１は、対象物Ｔの全体画像であり、全体画像における全画素のＲＧＢの階調度（以下、ＲＧＢデータ）を有している。
また、三刺激値データ７０２は、特定箇所でユーザが計測した特定箇所の各々の三刺激値（撮像対象画像情報７０１における一部の画素における三刺激値）を示し、特定位置に対応する画素毎に取得されたデータである。
分光反射率データ７０５は、特定箇所でユーザが計測した特定箇所の各々の分光反射率（撮像対象画像情報７０１における一部の画素における分光反射率）を示し、特定位置に対応する画素毎に取得されたデータである。

処理Ｆ１：
撮像画像補正式生成部４１３は、撮像対象画像情報７０１のＲＧＢデータと三刺激値データ７０２とから、ＲＧＢデータから三刺激値データに変換する変換マトリクスＭ_{ＲＧＢｔｏＸＹＺｅｎｖ}を生成する。ここで、撮像画像補正式生成部４１３は、例えば、変換マトリクスＭ_{ＲＧＢｔｏＸＹＺｅｎｖ}を生成する際、三刺激値データ７０２からＲＧＢデータに変換する逆行列（変換マトリクスＭ_{ＲＧＢｔｏＸＹＺｅｎｖ}の逆行列）を生成し、三刺激値データ７０２をＲＧＢデータに変換し、変換したＲＧＢデータの各々が撮像対象画像情報７０１の対応する位置の画素のＲＧＢデータとの差分を最小化させる逆行列を求める。そして、撮像画像補正式生成部４１３は、この求めた逆行列から変換マトリクスＭ_{ＲＧＢｔｏＸＹＺｅｎｖ}７０３を生成する。

処理Ｆ２：
撮像画像補正式生成部４１３は、生成した変換マトリクスＭ_{ＲＧＢｔｏＸＹＺｅｎｖ}７０３を用いて、以下の（１）式に示すように、撮像対象画像情報７０１のＲＧＢデータを、補完三刺激値データ７０４（撮像三刺激値）に変換する。

処理Ｆ３：
撮像画像補正式生成部４１３は、以下の（２）式を用いて、三刺激値データ７０２及び分光反射率データ７０５から、撮像画像Ｇを撮像した際の環境光の分光分布である撮影環境分光分布Ｐ_ｅｎｖ（λ）７０６を算出する。以下の（２）式において、ＸＹＺは三刺激値である。ｘ（λ）、ｙ（λ）、ｚ（λ）は等色関数である。Ｒ（λ）は分光反射率データにおける分光反射率である。Ｐ（λ）は環境光の分光分布である。φ（λ）は、撮影対象（例えば対象物Ｔ）の分光放射輝度である。∫_ｖｉｓは可視波長域での積分を示している。

処理Ｆ４：
撮像画像補正式生成部４１３は、分光反射率データ７０５と、予め内部に記憶されていた標準光源分光分布（標準光源Ｄ５０の分光分布）とから、標準光源Ｄ５０の環境光下における推定三刺激値データ７０８を算出する。ここで、撮像画像補正式生成部４１３は、分光反射率データ７０５の各々の画素の分光反射率に対し、標準光源分光分布を乗算して、推定三刺激値データ７０８を算出する。この推定三刺激値データ７０８は、分光反射率データ７０５に対応した位置の画素の各々における三刺激値である。

処理Ｆ５：
撮像画像補正式生成部４１３は、三刺激値データ７０２と推定三刺激値データ７０８とから、撮像した際の光源の環境光下における補完三刺激値データ７０４を変換し、標準光源下推定三刺激値データ７１０（推定三刺激値）を得る三刺激値変換マトリクスＭ_{ＸＹＺｅｎｖｔｏＸＹＺＤ５０}７０９（補正式）を生成する。ここで、撮像画像補正式生成部４１３は、例えば、三刺激値変換マトリクスＭ_{ＸＹＺｅｎｖｔｏＸＹＺＤ５０}を生成する際、三刺激値データ７０２からＲＧＢデータに変換する逆行列（三刺激値変換マトリクスＭ_{ＸＹＺｅｎｖｔｏＸＹＺＤ５０}の逆行列）を生成し、三刺激値データ７０２をＲＧＢデータに変換し、変換したＲＧＢデータの各々が撮像対象画像情報７０１の対応する位置の画素のＲＧＢデータとの差分を最小化させる逆行列を求める。そして、撮像画像補正式生成部４１３は、この求めた逆行列から三刺激値変換マトリクスＭ_{ＸＹＺｅｎｖｔｏＸＹＺＤ５０}７０３（補正式）を生成する。

処理Ｆ６：
撮像画像補正式生成部４１３は、生成した補完三刺激値データ７０４を、三刺激値変換マトリクスＭ_{ＸＹＺｅｎｖｔｏＸＹＺＤ５０}７０９により、（３）式に示すように、標準光源下推定三刺激値データ７１０に変換する。

処理Ｆ７：
撮像画像補正式生成部４１３は、撮像対象画像情報７０１と標準光源下推定三刺激値データ７１０とに基づき、カラープロファイル７１３を生成する。ここで、撮像画像補正式生成部４１３は、例えば、カラープロファイル７１３を生成する際、撮像対象画像情報７０１における画素の各々のＲＧＢデータを三刺激値に変換した際、変換される三刺激値が標準光源下推定三刺激値データ７１０の対応する画素の標準光源下推定三刺激値との差が最小となるように上記カラープロファイル７１３を生成する。

処理Ｆ８：
補正撮像画像出力部４１４は、撮像画像補正式生成部４１３が生成したカラープロファイル７１３を、撮像対象画像情報７０１に添付する（埋め込む）。

処理Ｆ９：
補正撮像画像出力部４１４は、撮像対象画像情報７０１に上記カラープロファイル７１３に加え、分光反射率データ７０５を付加する。

次に、図９は、ユーザ端末装置２−２に表示する画像の補正の処理の動作例を示すシーケンス図である。
ステップＳ１０１：
画像補正サーバ４において、補正撮像画像出力部４１４は、ユーザがユーザ端末装置２−２から画像の閲覧を指示された撮像画像Ｇを、すなわち撮像対象画像情報７０１の各々のＲＧＢデータを、カラープロファイル７１３により三刺激値データに変換し、補正撮像画像情報を生成する。

ステップＳ１０２：
基準色特定部４１５は、補正撮像画像出力部４１４から出力された補正撮像画像情報に基づいて、基準色を特定する。
そして、基準色特定部４１５は、特定した基準色を示す基準画像ＧＰの基準画像情報を、ユーザ端末装置２−２に送信する。
また、補正撮像画像出力部４１４は、生成した補正撮像画像情報を、ユーザ端末装置２−２に送信する。

ステップＳ１０３：
ユーザ端末装置２−２は、基準画像情報に基づいて基準色を示す基準画像ＧＰ、及び補正撮像画像情報に基づく撮像画像Ｇの各々を表示部２５の表示画面に表示する。
ユーザは、ユーザ端末装置２−２に接続されている色測定器３−１により、ユーザ端末装置２−２の表示部２５の表示画面に表示されている基準色画像をタッチ操作し、基準画像の色情報を取得する。

ステップＳ１０４：
ユーザ端末装置２−２における色情報取得部２３は、取得した基準色の色情報を、基準画像色情報として、画像補正サーバ４に送信する。

ステップＳ１０５：
画像補正サーバ４において、表示画像補正部４１７は、受信した基準画像色情報と、特定した基準色の色情報とに基づき、ユーザ端末装置２−２の表示部２５のカラープロファイルを生成する。
また、表示画像補正部４１７は、すでに生成している補正撮像画像情報を上記カラープロファイルにより補正する。

ステップＳ１０６：
表示画像補正部４１７は、送信部４０１を介して、補正した結果の補正表示画像情報を、ユーザ端末装置２−２に出力する。

ステップＳ１０７：
ユーザ端末装置２−２は、供給される補正表示画像情報に基づき、対象物Ｔの補正撮像画像としての撮像画像Ｇを表示部２５の表示画面に表示する。

また、本実施形態によれば、閲覧側のユーザ端末装置２−２に表示される対象物Ｔの撮像画像Ｇの色味を、ユーザが対象物Ｔの実物を標準光源（例えば標準光源Ｄ５０）の環境光下で視認する色味に近づけることができる。
これにより、本実施形態によれば、対象物Ｔをどのような環境光下において撮像した撮像画像であっても、ユーザが対象物Ｔの実物を標準光源の環境光下で視認する色味でユーザ端末装置２−２に表示できるため、閲覧側のユーザが対象物Ｔの色味を正確に認識することが可能となり、対象物Ｔの入手後に色味の違いにより不満を感じることを低減することができる。このため、閲覧側のユーザに商品としての対象物Ｔが届いた際、標準光源の環境光下で観察した場合、ユーザ端末装置２−２に表示された際に視認した色味と、ユーザが実物を観察して視認する色味とが近く、閲覧側のユーザの商品に対する満足度を向上させ、商品を出品する提示側のユーザの信頼度を向上させることができる。

＜第２の実施形態＞
第１の実施形態においては、画像補正システム１は、提示側のユーザ端末装置２−１の撮像部２４により、どのような光源の環境光下で撮像画像を撮像した場合においても、閲覧側のユーザ端末装置２−２において標準光源の環境光下、例えば標準光源Ｄ５０の環境光下において視認される対象物Ｔの見え（色味）により対象物Ｔを表示する構成となっている。

例えば、閲覧側が対象物Ｔを商品として購入し、標準光源Ｄ５０の環境光下で観察した場合、第１の実施形態におけるユーザ端末装置２−２の表示画面で視認した対象物Ｔの画像の色味と、対象物Ｔの実物の色味とが近く、ユーザが色味の違いを知覚することは少ない。
しかしながら、標準光源Ｄ５０と異なる任意の光源の環境光下で観察した場合、第１の実施形態におけるユーザ端末装置２−２の表示画面で視認した対象物Ｔの画像を視認した際の色味と、対象物Ｔの実物を観察した際に視認される色味とが異なり、ユーザが色味の違いを知覚することになる。

第２の実施形態の画像システムの構成は、第１の実施形態における画像補正サーバ４の撮像画像補正式生成部４１３の機能が変更され、撮像画像補正式生成部４１３に換えて撮像画像補正式生成部４１３Ａを有している。
以下、撮像画像補正式生成部４１３Ａが、第１の実施形態における撮像画像補正式生成部４１３と異なる点を説明する。

［第２の実施形態における補正式の生成及び撮像対象画像情報の補正の説明］
以下の処理は、第１の実施形態における処理Ｆ９の後に行われる処理であり、すでにカラープロファイル７１３が撮像対象画像情報７０１が付加された状態であることが前提である。そして、第２の実施形態の機能は、ディフォルトで設定されていても良いし、またユーザがユーザ端末装置２−２の表示部２５の表示画面に対象物Ｔの画像を表示させる際、任意の光源の環境光下における色味とすることを指示する表示画面のボタンを押下して、任意の光源の環境光下における色味とする処理を行わせても良い。
図１０は、撮像画像補正式生成部４１３による補正式の生成処理、及び補正撮像画像出力部４１４による撮像対象画像情報の補正処理を説明する概念図である。

処理Ｆ１０：
撮像画像補正式生成部４１３Ａは、撮像対象画像情報７０１に付加されているカラープロファイル７１３により、撮像対象画像情報７０１を補正して、標準光源下推定三刺激値データ７１０を生成する。

処理Ｆ１１：
撮像画像補正式生成部４１３Ａは、分光反射率データ７０５と、予め内部に記憶されていた任意光源分光分布Ｐ_ｖａｒ（λ）７１４（任意光源の分光分布）とから、任意光源の環境光下における任意光源下推定三刺激値データ７１５を算出する。ここで、撮像画像補正式生成部４１３Ａは、分光反射率データ７０５の各々の画素の分光反射率に対し、任意光源分光分布Ｐ_ｖａｒ（λ）７１４を乗算して、任意光源下推定三刺激値データ７１５を算出する。この任意光源下推定三刺激値データ７１５は、分光反射率データ７０５に対応した位置の画素の各々における三刺激値である。
ここで、任意光源分光分布Ｐ_ｖａｒ（λ）７１４は、閲覧者側のユーザが予め画像補正サーバ４に登録しておいても良いし、サービス提供者（画像補正サーバの運営者）が画像補正サーバ４に登録しておいても良い。

処理Ｆ１２：
撮像画像補正式生成部４１３Ａは、任意光源下推定三刺激値データ７１５と標準光源下推定三刺激値データ７１０とから、標準光源の三刺激値を任意光源の三刺激値に変換する変換マトリクスＭ_{ＸＹＺ５０ｔｏＸＹＺｖａｒ}７１６（補正式）を生成する。ここで、撮像画像補正式生成部４１３Ａは、例えば、変換マトリクスＭ_{ＸＹＺ５０ｔｏＸＹＺｖａｒ}７１６を生成する際、任意光源下推定三刺激値データ７１５から標準光源下推定三刺激値データ７１０に変換する逆行列（変換マトリクスＭ_{ＸＹＺ５０ｔｏＸＹＺｖａｒ}の逆行列）を生成し、任意光源下推定三刺激値データ７１５を標準光源下推定三刺激値データ７１０に変換し、変換した標準光源下推定三刺激値の各々が標準光源下推定三刺激値データ７１０の対応する位置の画素の三刺激値との差分を最小化させる逆行列を求める。そして、撮像画像補正式生成部４１３Ａは、この求めた逆行列から変換マトリクスＭ_{ＸＹＺ５０ｔｏＸＹＺｖａｒ}７１６を生成する。

処理Ｆ１３：
撮像画像補正式生成部４１３Ａは、標準光源下推定三刺激値データ７１０を、生成した変換マトリクスＭ_{ＸＹＺ５０ｔｏＸＹＺｖａｒ}７１６により、（４）式に示す様に、撮像画像の全画素の標準光源下推定三刺激値を任意光源下推定三刺激値に変換することにより、任意光源の環境光下における任意光源下推定三刺激値データ７１７を生成する。

処理Ｆ１４：
撮像画像補正式生成部４１３Ａは、撮像対象画像情報７０１と、任意光源下推定三刺激値データ７１７とから、ＲＧＢデータから三刺激値を得るカラープロファイル７１８（任意光源）を生成する。ここで、撮像画像補正式生成部４１３Ａは、例えば、カラープロファイル７１８を生成する際、任意光源下推定三刺激値データ７１７における画素の各々の三刺激値をＲＧＢデータに変換した際、変換されるＲＧＢデータが任意光源下推定三刺激値データ７１７の対応する画素のＲＧＢデータとの差が最小となるように上記カラープロファイル７１８を生成する。

処理Ｆ１５：
撮像画像補正式生成部４１３Ａは、撮像対象画像情報７０１に付加されているカラープロファイル７１３を削除する。

処理Ｆ１６：
補正撮像画像出力部４１４は、撮像画像補正式生成部４１３Ａが生成したカラープロファイル７１８を、撮像対象画像情報７０１に添付する（埋め込む）。

また、以後の処理は、第１の実施形態と同様であるが、補正撮像画像出力部４１４は、撮像対象画像情報７０１の各画素のＲＧＢデータを、カラープロファイル７１８により三刺激値に変更し、変更結果を補正撮像画像情報として用いる。

また、本実施形態によれば、閲覧側のユーザ端末装置２−２に表示される対象物Ｔの撮像画像Ｇの色味を、ユーザが対象物Ｔの実物を観察する任意光源の環境光下で視認する色味に近づけることができる。
これにより、本実施形態によれば、対象物Ｔをどのような環境光下において撮像した撮像画像であっても、ユーザが対象物Ｔの実物を観察する任意光源の環境光下で視認する色味でユーザ端末装置２−２に表示できる。このため、閲覧側のユーザに商品としての対象物Ｔが届いた際、任意光源（予め画像補正サーバに分光分布が登録されている光源）の環境光下で観察した場合、ユーザ端末装置２−２に表示された際に視認した商品の画像の色味と、ユーザが実物を観察して視認する色味とが近く、閲覧側のユーザの商品に対する満足度を向上させ、色味の違いにより不満を感じることを低減し、商品を出品する提示側のユーザの信頼度を向上させることができる。

なお、上述した第１の実施形態及び第２の実施形態においては、画像補正サーバ４に特定箇所指示部４１１が備えられているが、撮像側のユーザ端末装置２−１に特定箇所指示部４１１に対応する機能部が備わっていても良い。さらに、ユーザ端末装置２−１に補正撮像画像出力部４１４に対応する機能部が備わっていてもよい。撮像側のユーザ端末装置２−１に、撮像画像補正式生成部４１３（４１３Ａ）に対応する機能部が備わっていてもよい。撮像画像補正式生成部は、画像補正サーバ４の制御部４１に備えられた撮像画像補正式部４１３（４１３Ａ）における機能を、ユーザ端末装置２−１の機能として動作させる機能部である。これにより、本実施形態の画像補正システム１では、撮像側のユーザ端末装置２−１により、対象物の撮像、補正式の生成および撮像画像の補正を行うことができる。このため、撮像対象画像情報、特定箇所位置情報、および撮像画像の補正に用いる特定箇所色情報を、ユーザ端末装置２−１から画像補正サーバ４に送信する必要がなく、ネットワーク５の負荷を低減させることができる。また、画像補正サーバ４が補正式の生成及び撮像画像の補正を行う必要がないため、画像補正サーバ４の処理負担を低減させることができる。

また、上述した実施形態においては、画像補正サーバ４に基準色特定部４１５が設けられているが、閲覧側のユーザ端末装置２−２に基準色特定部４１５の機能が備えられていても良い。さらに、閲覧側のユーザ端末装置２−２に、表示画像補正部４１７の機能が備わっていてもよい。この表示画像補正部は、画像補正サーバ４の制御部４１に備えられた表示画像補正部４１７における機能を、ユーザ端末装置２−２の機能として動作させる機能部である。これにより、画像補正システム１では、ユーザ端末装置２−２により撮像対象画像の補正を行うことができる。このため、基準画像情報を画像補正サーバ４からユーザ端末装置２−２に送信する必要がなく、また基準画像情報、および基準画像色情報をユーザ端末装置２−２から画像補正サーバ４に送信する必要がない。このため、ネットワーク５の負荷を低減させることができる。また、画像補正サーバ４が補正撮像画像の再度の補正を行う必要がないため、画像補正サーバ４の処理負担を低減させることができる。

また、上記した少なくとも一つの実施形態においては、ユーザ端末装置２−１、２−２には、画像共有アプリケーションがインストールされている例を示した。しかしながら、ユーザ端末装置２に画像共有アプリケーションがインストールされていなくともよい。例えば、ユーザ端末装置２−１、２−２に予め備わっている、あるいは後からインストールされたＷｅｂ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）ブラウザから、画像補正サーバ４、あるいは他のサーバに備わっているＷｅｂアプリケーションにアクセスし、当該Ｗｅｂアプリケーション上で上記処理を行ってもよい。これにより、ユーザ端末装置２−１、２−２に画像共有アプリケーションをインストールする必要がなく、ユーザ端末装置２の負荷を低減させることができる。また、ユーザ端末装置は、２台で限定されるわけではなく、３台以上の複数でも良い。

また、上記した少なくとも一つの実施形態においては、画像補正システム１が、一つの画像補正サーバ４を備えている例を示した。しかしながら、画像補正サーバ４は複数であってもよい。例えば、画像補正サーバ４は、ネットワーク上に設けられた複数のクラウドサーバを互いに連携させてもよい。これにより、画像補正システム１の規模を拡大するには、クラウドサーバを増設すればよいため、システムの規模を容易に拡大することができる。また、ユーザ端末装置２から画像補正サーバ４へのアクセスを複数のクラウドサーバに分散させることができ、１つの画像補正サーバ４にアクセスが集中して機能不全に陥ることを防止することができる。
また、上述した第１の実施形態及び第２の実施形態においては、色測定器３−１が取得する色情報として、対象物Ｔの三刺激値を用いて説明したが、対象物Ｔの分光放射輝度を測定し、上記（２）式によりこの測定した分光放射輝度から三刺激値を求めて、上述した色の補正を行う構成としても良い。

なお、本発明における図１における画像補正サーバ４の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりユーザ端末装置の表示部の表示画面に表示される画像の色味の調整の制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…画像補正システム
２−１，２−２…ユーザ端末装置
３−１，３−２…色測定器
４…画像補正サーバ
５…ネットワーク
２０，４０…ＮＷ通信部
２１，４００…受信部
２２，４０１…送信部
２３…色情報取得部
２４…撮像部
２５…表示部
２６…制御部
４１…制御部
４１０…撮像画像取得部
４１１…特定箇所指示部
４１２…特定箇所色情報取得部
４１３…撮像画像補正式生成部
４１４…補正撮像画像出力部
４１５…基準色特定部
４１６…基準画像色情報取得部
４１７…表示画像補正部

Claims (16)

1. 撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得部と、
   色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得部と、
   前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成部と、
   前記補正式により前記撮像対象画像情報における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力部と
   を備えることを特徴とする画像補正システム。
2. 前記撮像画像補正式生成部が、前記推定三刺激値、及び前記撮像対象物を観察する所定の光源の分光分布に基づき、前記推定三刺激値を前記所定の光源の環境光下における任意光源環境下三刺激値に補正する他の補正式を生成し、
   前記補正撮像画像出力部が、前記他の補正式により、前記撮像対象画像情報における前記撮像対象物の全画素の推定三刺激値の各々を前記任意光源環境下三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する
   ことを特徴とする請求項１に記載の画像補正システム。
3. 前記撮像対象画像情報に基づいて、前記撮像対象物における前記特定箇所色情報を取得する前記箇所である特定箇所を特定し、当該特定箇所における位置を示す特定箇所位置情報を出力する特定箇所指示部をさらに備える、
   ことを特徴とする請求項１または請求項２に記載の画像補正システム。
4. 前記特定箇所色情報取得部は、前記撮像対象物における前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を取得する、
   ことを特徴とする請求項３に記載の画像補正システム。
5. 前記色情報が、前記三刺激値または分光放射輝度のいずれかと、前記分光反射率とである、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像補正システム。
6. 前記補正撮像画像情報が、前記撮像対象物の特定の箇所における前記分光反射率の情報を付加して構成されている
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の画像補正システム。
7. 前記補正撮像画像情報に基づいて、色の基準となる基準色を特定し、前記基準色を含む基準画像を示す基準画像情報を出力する基準色特定部と、
   色を示す色情報を測定する測定器により検出される、表示部に表示された前記基準画像の色情報である基準画像色情報を取得する基準画像色情報取得部と、
   前記基準画像色情報に基づいて、前記補正撮像画像情報に基づく補正撮像画像の色を補正して補正表示画像情報を生成して出力する表示画像補正部と、
   をさらに備える、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像補正システム。
8. 前記基準画像色情報が、前記表示部に表示される前記基準画像の色における分光放射輝度または三刺激値のいずれかである
   ことを特徴とする請求項７に記載の画像補正システム。
9. 前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、
   前記撮像対象画像情報及び前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と
   を備える、
   ことを特徴とする請求項１から請求項８のいずれか一項に記載の画像補正システム。
10. 前記撮像画像取得部、前記特定箇所指示部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、
    前記撮像対象画像情報を前記画像補正サーバに出力するとともに、前記特定箇所位置情報を前記画像補正サーバから取得し、取得した前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力し、前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と
    を備える、
    ことを特徴とする請求項３または請求項４に記載の画像補正システム。
11. 前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、及び前記補正撮像画像出力部を有する画像補正サーバと、
    前記特定箇所指示部と、前記撮像対象画像情報、前記特定箇所指示部が特定した前記特定箇所位置情報及び前記特定箇所位置情報に対応する箇所の前記特定箇所色情報を前記画像補正サーバに出力するとともに前記補正撮像画像情報を前記画像補正サーバから取得する制御部とを有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と
    を備える、
    ことを特徴とする請求項３または請求項４に記載の画像補正システム。
12. 前記基準色特定部、前記基準画像色情報取得部、前記表示画像補正部、及び前記基準画像を出力する基準画像出力部、を有する画像補正サーバと、
    前記基準画像情報、前記補正撮像画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに、前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末と
    を備える、
    ことを特徴とする請求項７または請求項８に記載の画像補正システム。
13. 前記表示画像補正部、及び前記基準画像色情報取得部、を有する画像補正サーバと、
    前記基準色特定部と、前記基準画像情報を前記画像補正サーバに出力する基準画像出力部と、前記基準画像色情報を前記画像補正サーバに出力するとともに前記補正表示画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続されたユーザ端末装置と、
    を備える、
    ことを特徴とする請求項７または請求項８に記載の画像補正システム。
14. 前記撮像画像取得部、前記特定箇所色情報取得部、前記撮像画像補正式生成部、前記補正撮像画像出力部、前記基準色特定部、前記基準画像色情報取得部、及び前記表示画像補正部、を有する画像補正サーバと、
    前記撮像対象画像情報、前記特定箇所色情報を前記画像補正サーバに出力するとともに 前記補正撮像画像情報を前記画像補正サーバから取得する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された撮像側ユーザ端末装置と、
    前記基準画像情報及び前記補正表示画像情報を前記画像補正サーバから取得するとともに前記基準画像色情報を前記画像補正サーバに出力する制御部を有し、前記画像補正サーバとネットワークを介して通信可能に接続された閲覧側ユーザ端末装置と
    を備える、
    ことを特徴とする請求項７または請求項８に記載の画像補正システム。
15. 特定箇所色情報取得部が、撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得過程と、
    特定箇所色情報取得部が、色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得過程と、
    撮像画像補正式生成部が、前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成過程と、
    補正撮像画像出力部が、前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力過程と
    を含むことを特徴とする画像補正方法。
16. コンピュータに、
    撮像対象物が撮像された撮像画像を示す撮像対象画像情報を取得する撮像画像取得手段、
    色を示す色情報を測定する測定器により、前記撮像対象物の特定の箇所において測定された分光反射率を含む三刺激値を示す色の情報である特定箇所色情報を取得する特定箇所色情報取得手段、
    前記特定箇所色情報に基づいて、前記撮像画像の各々の画素の三刺激値である撮像三刺激値を、標準光源下における三刺激値である推定三刺激値に補正する補正式を生成する撮像画像補正式生成手段、
    前記補正式により前記撮像画像における前記撮像対象物の全画素の撮像三刺激値の各々を前記推定三刺激値に補正し、補正された前記撮像画像を示す補正撮像画像情報を出力する補正撮像画像出力手段と
    を実行させるためのプログラム。

Images