JP2021077299A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】 物体と鏡面球とを撮像して得られる画像を用いた機械学習により、高精度に光源の方向を推定するための処理を提供することを目的とする。【解決手段】 情報処理装置であって、光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、前記第１画像データ群に基づいて、前記物体に対応する領域において、光源の位置に応じて色が大きく変化する領域を特定する特定手段と、前記特定された領域の画素値を用いて、物体から光源への方向を推定するための学習モデルを生成する生成手段と、を有することを特徴とする。【選択図】 図６

Description

本発明は、物体に光を照射する光源に関する情報を推定するための技術に関する。

従来、物体の周囲の環境における光源の方向や位置を推定する技術がある。特許文献１は、物体が配置された環境に鏡状球体を配置して鏡状球体を撮像して得られる画像を基に、光源を含む環境情報を作成する技術を開示している。

特開２０１０−２４３４７８号公報

物体と鏡面球とを撮像して得られる画像を用いた機械学習により光源の方向を推定しようとする場合、該物体に光源の位置に応じて色があまり変化しない領域が含まれていると、光源の方向を高精度に推定できないという課題があった。

本発明は、上記課題を鑑みてなされたものであり、物体と鏡面球とを撮像して得られる画像を用いた機械学習により、高精度に光源の方向を推定するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る情報処理装置は、光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、前記第１画像データ群に基づいて、前記物体に対応する領域において、光源の位置に応じて色が大きく変化する領域を特定する特定手段と、前記特定された領域の画素値を用いて、物体から光源への方向を推定するための学習モデルを生成する生成手段と、を有することを特徴とする。

本発明によれば、物体と鏡面球とを撮像して得られる画像を用いた機械学習により、高精度に光源の方向を推定することができる。

生徒データを得るための撮像の様子を示す図 光の当たり方に応じた色の変化を説明するための図 教師データを得るための撮像の様子を示す図 撮像された画像内の鏡面球に写り込む光源を説明するための図 色評価システムのハードウェア構成を示すブロック図 色評価システムの機能構成を示すブロック図 ニューラルネットワークを説明するための図 参照物体を撮像する様子を示す図 情報処理装置が実行する処理を示すフローチャート 光源ベクトルを導出する処理を説明するための図 色の評価値を導出する処理を示すフローチャート 色参照テーブルから色情報を取得する処理を説明するための図 評価結果の表示例を示す図 光の当たり方に応じた色の変化を説明するための図

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
従来、物体を撮像して得られる画像を基に、物体の色を評価する技術がある。特に、光の当たり方に応じて色の見え方が異なる物体を評価する場合には、光源がどの方向から物体に対して光を照射しているかを特定する情報が必要となる。光源の方向を推定する技術として、評価対象の物体と鏡面球とを同じ撮像範囲に含めて撮像を行うことにより、評価対象の物体に光を照射する光源の方向を推定する技術がある。しかしこの技術では、物体の色を評価する度に鏡面球を画像内に写り込ませる必要がある。そこで、本実施形態においては、所定の物体を撮像して得られる画像データと、鏡面球を撮像して得られる画像データと、を学習データとして学習モデルを予め生成しておき、学習モデルから出力される情報を基に物体に対する光源の方向を推定する。これにより、鏡面球を毎度用意することなく、物体の色の評価を行うことができる。

本実施形態において色を評価する対象の物体は車である。よって、学習モデルに学習させる入力用の画像データ（以下、生徒データと呼ぶ）は、車を撮像して得られる画像データである。図１は、生徒データを得るための撮像の様子を示す図である。車３は、光源４の方向を変化させながら撮像装置５により撮像される。車のボディは、一般的に金属で作られているため、入射した光を鏡面反射しやすい。このため、車のボディに対する光の当たり方に応じて鏡面反射光がどの程度観察されるかが変わる。図２に光の当たり方に応じた色の見え方を示す。図２により、光源の位置に応じて色の見え方が変化していることがわかる。光源の位置に応じた色の見え方の変化度合いは、物体の領域ごとに異なる場合がある。例えば、車の場合、窓やタイヤなどは光源の位置が変化しても色の見え方があまり変化しないのに対し、金属で作られているボンネットやフェンダーなどは光源の位置に応じて色の見え方が大きく変化する。さらに、フェンダーとバンパーなど別々のパーツ間で塗装の方法が異なる場合であっても、光源の位置に応じた色の変化度合いは異なる。本実施形態においては、物体における光源の位置に応じた色の変化度合いが大きい領域を特定し、特定した領域に対応する画素値を学習モデルの生成に用いる。これにより、高精度に光源の方向を推定するための学習モデルを生成することができる。

また、学習モデルに学習させる出力用の画像データ（以下、教師データと呼ぶ）は、鏡面球を車と同じ撮像条件において撮像して得られる画像データである。図３は、教師データを得るための撮像の様子を示す図である。鏡面球６は、図１の車３と同一位置に配置され、光源４の方向を変化させながら撮像装置５により撮像される。撮像により得られる画像内の鏡面球には、図４のように光源が写り込む。写り込んだ鏡面球内の光源の位置を基に、光源の方向を推定することができる。鏡面球に対する光の当たり方と車のボディの色味の変化との相関関係を学習モデルに学習させることによって、光源の方向を推定する学習モデルを生成する。具体的には、本実施形態における学習モデルは、物体の撮像画像データを入力とした場合に、該物体に光を照射する光源の方向を推定するために用いられる鏡面球の画像データを出力する学習モデルである。尚、本実施形態においては、光源の方向を変化させながら車と鏡面球とを同一位置に配置して撮像を行い、同じ撮像条件の生徒データと教師データとをセットとして機械学習に用いる。尚、本実施形態においては、車と鏡面球とを同一位置に配置したが、撮像の環境が同じであれば多少位置が異なっていてもよい。

＜色評価システムの構成＞
本実施形態における色評価システムは、図５（ａ）に示すように、学習モデルを生成する情報処理装置１と、学習モデルから出力される画像データを基に光源情報推定及び色の評価を行う情報処理装置２と、から構成される。

＜情報処理装置のハードウェア構成＞
図５（ｂ）は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。また、情報処理装置１は、ＶＣ（ビデオカード）１０４、汎用Ｉ／Ｆ（インターフェース）１０５、ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０６、ＮＩＣ（ネットワークインターフェースカード）１０７を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１１３などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０８を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１１３などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。ＶＣ１０４には、ディスプレイ１１５が接続される。汎用Ｉ／Ｆ１０５には、シリアルバス１０９を介して、マウスやキーボードなどの入力デバイス１１０や撮像装置１１１が接続される。ＳＡＴＡＩ／Ｆ１０６には、シリアルバス１１２を介して、ＨＤＤ１１３や各種記録メディアの読み書きを行う汎用ドライブ１１４が接続される。ＮＩＣ１０７は、外部装置との間で情報の入力及び出力を行う。ＣＰＵ１０１は、ＨＤＤ１１３や汎用ドライブ１１４にマウントされた各種記録メディアを各種データの格納場所として使用する。ＣＰＵ１０１は、プログラムによって提供されるＧＵＩ（グラフィカルユーザインターフェース）をディスプレイ１１５に表示し、入力デバイス１１０を介して受け付けるユーザ指示などの入力を受信する。尚、情報処理装置２も情報処理装置１と同様のハードウェア構成であるため説明を省略する。

＜色評価システムの機能構成＞
図６は、情報処理装置１と情報処理装置２とを含む色評価システムの機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２又はＨＤＤ１１３に格納されたプログラムを読み出して実行することによって、図６に示す機能構成として機能する。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全てがＣＰＵ１０１以外の一つまたは複数の処理回路によって行われるように色評価システムが構成されていても良い。

情報処理装置１は、学習画像取得部２０１、領域特定部２０２、学習モデル生成部２０３を有する。学習画像取得部２０１は、学習モデルを生成するための学習に用いる生徒データと教師データとの複数のセットを取得する。生徒データは、上述したように、光源の位置を変化させながら車を複数回撮像して得られる画像データである。教師データは、上述したように、光源の位置を変化させながら車と同一位置に配置された鏡面球を複数回撮像して得られる画像データである。学習画像取得部２０１は、光源の位置が同じ条件において撮像された画像データをセットとして取得する。領域特定部２０２は、学習画像取得部２０１が取得した、光源の位置を変化させながら車を複数回撮像して得られる画像データが表す各画像において、車における光源の位置に応じた色の変化度合いが大きい領域を特定する。特定された領域に含まれる画素の画素値は、領域特定生徒データとして学習モデルの生成に用いられる。具体的には、領域特定部２０２は、光源の位置が互いに異なる複数の画像のうち２つの画像を選択し、２つの画像間で画素ごとに色差を算出する。色差を算出するための２つの画像には、光源の位置が最も離れている２つの画像を選択すればよい。領域特定部２０２は、色差が所定の閾値よりも大きい画素に対応する領域を、光源の位置に応じた色の変化度合いが大きい領域として特定する。学習モデル生成部２０３は、領域特定生徒データと教師データとの複数のセットに基づいて、光源を含む環境に関する情報を推定するための学習モデルを生成する。本実施形態における学習モデルは、入力画像データから、入力画像データに対応する鏡面球の画像データを出力するニューラルネットワークに基づくネットワーク構造とそのパラメータである。

ここでニューラルネットワークについて説明する。尚、ニューラルネットワークの原理自体は公知であるため、簡単に説明する。図７は、ニューラルネットワークを説明する図である。図７では中間層を１層としているが、２層以上で中間層を構成することが望ましい。図７に示すニューラルネットワークでは、入力層はＭｉ個のノード（ｎ１１、ｎ１２、…、ｎ１Ｍｉ）を有し、中間層はＭｈ個のノード（ｎ２１、ｎ２２、…、ｎ２Ｍｈ）を有し、出力層（最終層）はＭｏ個のノード（ｎ３１、ｎ３２、…、ｎ３Ｍｏ）を有している。そして、各層のノードは隣接する層の全てのノードと結合しており、階層間で情報伝達を行う３層の階層型ニューラルネットワークを構成している。

入力層に画像を入力する場合、該入力層には、画素とノードとが１対１となるように、画素数分のノードを設ける。また、出力層においても出力する画素数分のノードが設定されている。例えば、１６画素×１６画素の画像が入力される場合、１６画素×１６画素の画素値を出力するため、入力層および出力層におけるノードは２５６個である。データは、図７の左から右へ、即ち、入力層、中間層、出力層の順で受け渡される。入力層の各ノードは中間層のすべてのノードに接続され、ノード間の接続はそれぞれ重みを持っている。一方のノードから結合を通して他方のノードに伝達される際の出力値は、結合の重みによって増強あるいは減衰される。このような接続に定められた重み係数、バイアス値の集合は学習モデルのパラメータである。なお活性化関数については特に限定しないが、ロジスティックシグモイド関数やＲｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＲｅＬＵ）関数などを用いれば良い。学習方法としては、種々提案されているニューラルネットワークの学習方法を適用すれば良い。例えば、入力層に生徒データを入力してニューラルネットワークを動作させた場合に出力層から得られる出力と、該生徒データに予め対応づけられている教師データと、の差分を計算し、該差分を極小化するように、重み係数及びバイアス値を調整する。

情報処理装置２は、入力画像取得部２１１、領域抽出部２１２、球画像生成部２１３、推定部２１４、色評価部２１５を有する。入力画像取得部２１１は、評価対象の物体を撮像して得られる入力画像データを取得する。本実施形態における評価対象の物体は車である。領域抽出部２１２は、入力画像データが表す入力画像において、光源の位置に応じた色の変化度合いが大きい領域に対応する画素値を抽出する。本実施形態における領域抽出部２１２は、領域特定部２０２と同様の処理を行うことにより、光源の位置に応じた色の変化度合いが大きい領域に対応する画素値を抽出する。尚、領域抽出部２１２は、画素値の数が入力層のノードの数と同一となるように閾値の調整を行う。球画像生成部２１３は、情報処理装置１が生成した学習モデルを用いて、鏡面球画像データを生成する。具体的には、学習モデルに領域抽出部２１２が抽出した画素値を入力することによって、学習モデルから出力される鏡面球画像データを取得する。推定部２１４は、鏡面球画像データに基づいて、評価対象の物体を撮像する際の環境に含まれる光源の情報を推定する。本実施形態において推定する光源の情報は、入力画像データを得るための撮像の際に、評価対象の物体に光を照射する光源の方向である。評価対象の物体に光を照射する光源の方向を推定する方法は後述する。

色評価部２１５は、データ取得部２１５１、評価値導出部２１５２、データ保持部２１５３、表示制御部２１５４を有する。データ取得部２１５１は、入力画像データと、光源データと、撮像方向データと、形状データと、を取得する。入力画像データは、入力画像取得部２１１により取得された画像データである。光源データは、推定部２１４が推定した光源の方向を表すデータである。撮像方向データは、入力画像データを得るための撮像の際の撮像方向を表すデータである。形状データは、評価対象の物体の形状を表すデータである。形状データは、予め物体の形状を測定することにより生成しておく。物体の形状を測定する方法には、公知の位相シフト法を用いても良いし、物体にマーカーを配置する方法を用いても良い。またＣＡＤデータを形状データとして用いても良い。

評価値導出部２１５２は、データ取得部２１５１が取得するデータとデータ保持部２１５３が保持する参照色テーブルとに基づいて、評価対象の物体に関する色の評価値を導出する。データ保持部２１５３が保持する参照色テーブルは、評価対象の物体と色を比較するための参照物体を撮像して得られる色を表すデータであり、予め生成しておく。図８は、参照物体を撮像する様子を示す図である。

図８（ａ）において、参照物体８１は色の評価において評価対象の物体の比較対象となる平面状の板である。参照色テーブルは、参照物体８１を撮像して得られるデータである。撮像の方法を図８（ｂ）を用いて説明する。図８（ｂ）に示すように、光源４の位置を固定して、撮像装置５を参照物体８１に対して方位角０度から３５０度まで１０度ずつ移動させ、移動させる度に撮像を行う。この撮像を参照物体８１に対して仰角０度から９０度まで１０度毎に行う。次に、撮像装置５を移動させる度に行う撮像を、光源４を参照物体８１に対して方位角０度から３５０度まで１０度ずつ移動させて行う。さらに、この撮像を、光源４を参照物体８１に対して仰角０度から９０度まで１０度ずつ移動させる度に行う。尚、撮像装置５の位置と光源４の位置とが重複する場合は、撮像は行わない。また、仰角９０度の位置においては方位角を変えられないため、方位角方向の移動は行わない。参照物体８１はどの領域も同じ色であるとして、撮像して得られた撮像画像の任意の画素に記録された色情報（ＲＧＢ値）を各撮像条件における参照物体８１の色情報とする。図８（ｃ）は、各撮像条件における色情報（ＲＧＢ値）が記録された参照色テーブルである。ここで撮像条件は、光源４の位置の方位角及び仰角と、撮像装置５の位置の方位角及び仰角と、によって決まる。尚、撮像装置５及び光源４を移動させる角度は１０度ずつである必要はなく、１度毎にしても良い。また、光源４から参照物体８１への光の鏡面反射方向の付近は反射強度が大きく変化するため、鏡面反射方向の付近においては１度毎の移動とし、鏡面反射方向から離れるにつれて移動させる角度を大きくしても良い。

表示制御部２１５４は、評価値導出部２１５２による色の評価結果をディスプレイ１１５に表示させる。

＜情報処理装置１が実行する処理（学習モデルの生成）＞
図９（ａ）は、情報処理装置１が実行する処理を示すフローチャートである。以下、図９（ａ）を参照して情報処理装置１の処理の詳細を説明する。図９（ａ）のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３０１において、学習画像取得部２０１は、生徒データと教師データとの複数のセットを取得する。Ｓ３０２において、領域特定部２０２は、光源の位置を変化させながら車を複数回撮像して得られる画像データが表す各画像において、車における光源の位置に応じた色の変化度合いが大きい領域を特定する。Ｓ３０３において、学習モデル生成部２０３は、領域特定生徒データと教師データとの複数のセットに基づいて、光源の方向を推定するために用いられる学習モデルを生成する。Ｓ３０４において、学習モデル生成部２０３は、生成した学習モデルを情報処理装置２に出力する。

＜情報処理装置２が実行する処理（光源情報の推定及び色の評価）＞
図９（ｂ）は、情報処理装置１が実行する処理を示すフローチャートである。以下、図９（ｂ）を参照して情報処理装置１の処理の詳細を説明する。図９（ｂ）のフローチャートが示す処理は、ユーザによって入力デバイス１１０を介して指示が入力され、ＣＰＵ１０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ３１１において、入力画像取得部２１１は、入力画像データを取得する。Ｓ３１２において、領域抽出部２１２は、入力画像データが表す入力画像において、光源の位置に応じた色の変化度合いが大きい領域に対応する画素値を抽出する。Ｓ３１３において、球画像生成部２１３は、抽出された画素値と学習モデルとに基づいて、鏡面球画像データを生成する。Ｓ３１４において、推定部２１４は、鏡面球画像データに基づいて、物体に対する光源の方向を推定する。以下に光源の方向を推定する方法の詳細を説明する。

鏡面球画像データが表す画像内の鏡面球には、図４のように光源が写り込んでいる。図１０は、光源４から評価対象の物体へ照射する光の方向を表す光源ベクトルを導出する処理を説明するための図である。円１００１は、鏡面球画像における鏡面球６であり、評価対象の物体の表面に対して方位角方向のどの角度に光源が存在するかを示している。半円１００２は、評価対象の物体の表面に対して仰角方向のどの角度に光源が存在するかを示している。Ｓ３１４において、推定部２１４は、まず、鏡面球画像における鏡面球６に対応する領域の中心の画素位置を導出する。具体的には、鏡面球画像の画素値を２値化する。この２値化処理は、所定の閾値以上の画素値を有する画素を白、所定の閾値未満の画素値を有する画素を黒とする２値化処理である。２値化処理後の鏡面球画像において公知のキャニー法を用いてエッジ位置を抽出し、８つの近傍画素にエッジ位置がある画素を同一の輪郭とみなしてグループ化する輪郭抽出を行う。抽出した複数の輪郭グループの中から円又は楕円の輪郭を選択する。円又は楕円の輪郭が１つである場合は、その１つを鏡面球６に対応する領域とし、エッジ位置上において所定の距離以上離れた３点の重心を、鏡面球６に対応する領域の中心の画素位置とする。尚、重心の導出の方法は、エッジ位置上の少なくとも３点を用いればよく、より多くの点を用いることによって、より高精度に鏡面球６に対応する領域の中心の画素位置を導出できる。円又は楕円の輪郭が複数ある場合は、輪郭内の平均輝度が最も高い輪郭を、鏡面球６に対応する領域とする。次に、鏡面球６に映り込んだ光源４の中心の画素位置を導出する。ここでは、鏡面球画像における鏡面球６に対応する領域の中で、輝度が最も大きい画素を光源４の中心の画素位置とする。

次に、推定部２１４は、図１０に示すｘｌ、ｙｌを算出する。ｘｌ、ｙｌはそれぞれ、鏡面球６に対応する領域の中心の画素位置から、光源４の中心の画素位置までのｘ方向、ｙ方向の画素数である。次に、式（１）を用いて、ｚｌを導出する。

ここで、ｒは鏡面球画像における鏡面球６の半径である。半径ｒは、鏡面球６に対応する領域の中心の画素位置から、鏡面球６に対応する領域のエッジ位置までの画素数とする。ｘｌ、ｙｌ、ｚｌを導出した後に、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）を各画素に記録した光源データを生成する。

Ｓ３１５において、データ取得部２１５１は、評価用のデータを取得する。ここで、評価用のデータは、入力画像データと、光源データと、撮像方向データと、形状データである。光源データは、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）が各画素に記録されたデータであり、撮像方向データは、撮像装置から評価対象の物体への方向を表す撮像方向ベクトル（ｘｃ，ｙｃ，ｚｃ）が各画素に記録されたデータである。また、形状データは、評価対象の物体の表面における法線方向を表す法線ベクトル（ｘｎ，ｙｎ，ｚｎ）が各画素に記録されたデータである。

Ｓ３１６において、評価値導出部２１５２は、色の評価値を導出する。図１１は、Ｓ３１６における処理を示すフローチャートである。以下において、Ｓ３１６における処理の流れを図１１を用いて説明する。

Ｓ３１６１において、評価値導出部２１５２は、入力画像の各画素に記録された色情報（ＲＧＢ値）をＸＹＺ値に変換する。ＲＧＢ値からＸＹＺ値への変換は、公知の方法を用いて行う。Ｓ３１６２において、評価値導出部２１５２は、入力画像をディスプレイ１１５に表示し、入力画像における、ユーザにより指定された色の評価領域を表す情報を受け付ける。Ｓ３１６３において、評価値導出部２１５２は、入力画像における評価領域の色情報と比較するための、参照物体の色情報を参照色テーブルから取得する。以下に参照物体の色情報を取得する方法の詳細を説明する。まず、図１２（ａ）に示すように、入力画像における評価領域内の各画素に対応する法線ベクトル（ｘｎ，ｙｎ，ｚｎ）、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）、撮像方向ベクトル（ｘｃ，ｙｃ，ｚｃ）を取得する。

法線ベクトル（ｘｎ，ｙｎ，ｚｎ）は形状データから取得し、光源ベクトル（ｘｌ，ｙｌ，ｚｌ）は光源データから取得する。撮像方向ベクトルは、撮像装置５が撮像する面に対して正対しているため、（０，０，−１）となる。次に、図１２（ｂ）に示すように、法線ベクトルが真上を向く状態に回転させる回転行列を導出し、光源ベクトル、撮像方向ベクトルを導出した回転行列で回転させる。回転後の光源ベクトルを（ｘｌ’，ｙｌ’，ｚｌ’）とし、回転後の撮像方向ベクトルを（ｘｃ’，ｙｃ’，ｚｃ’）とする。法線ベクトルが真上を向く状態に回転させるのは、参照色テーブルを生成する際に、参照物体の表面の法線が真上を向いた状態において撮像を行っているためである。尚、法線ベクトルが真上を向く状態は、法線ベクトル（ｘｎ，ｙｎ，ｚｎ）が（０，０，√（ｘｎ^２＋ｙｎ^２＋ｚｎ^２））となる状態である。（ｘｌ’，ｙｌ’，ｚｌ’）と、（ｘｃ’，ｙｃ’，ｚｃ’）と、がそれぞれ表す光源の方向と、撮像の方向と、に最も近い撮像条件における撮像によって得られた参照物体の色情報を、参照色テーブルから取得する。尚、参照物体の色情報は、近い撮像条件の色情報を参照色テーブルから４つ抽出して補間処理によって導出してもよい。さらに、参照物体の色情報（ＲＧＢ値）を、Ｓ３１６１における方法と同じ方法によって、ＸＹＺ値に変換する。

Ｓ３１６４において、評価値導出部２１５２は、入力画像における評価領域の各画素の色情報と、その色情報に対応する参照物体の色情報と、に基づいて、色の評価値を算出する。具体的には、まず、式（２）、（３）、（４）、（５）、（６）を用いて、ＸＹＺ値をＬ^＊ａ^＊ｂ^＊値を変換する。入力画像の色情報を（Ｘｃ，Ｙｃ，Ｚｃ）とし、参照物体の色情報を（Ｘｂ，Ｙｂ，Ｚｂ）とし、基準白色のＸＹＺ値を（Ｘｗ，Ｙｗ，Ｚｗ）とする。基準白色のＸＹＺ値には、予め設定されている値を用いる。式（２）〜式（６）を用いて、（Ｘｃ，Ｙｃ，Ｚｃ）、（Ｘｂ，Ｙｂ，Ｚｂ）をそれぞれ（Ｘ，Ｙ，Ｚ）に代入した場合の、（Ｌ^＊ｃ，ａ^＊ｃ，ｂ^＊ｃ）、（Ｌ^＊ｂ，ａ^＊ｂ，ｂ^＊ｂ）をそれぞれ求める。

導出した（Ｌ^＊ｃ，ａ^＊ｃ，ｂ^＊ｃ）、（Ｌ^＊ｂ，ａ^＊ｂ，ｂ^＊ｂ）を用いて、色差ΔＥ、明度差ΔＬ^＊、Δａ^＊、Δｂ^＊、彩度差ΔＣのいずれかを評価値として導出する。評価値の導出は、以下の式（７）を用いる。本実施形態においては、色差ΔＥを評価値とするように予め設定されているものとする。

尚、上述した色差ΔＥ、明度差ΔＬ^＊、Δａ^＊、Δｂ^＊、彩度差ΔＣを複数組み合わせた値を評価値としてもよい。また、ディスプレイ１１５に評価値の候補を表示させて、評価値をユーザに選択させてもよい。

Ｓ３１７において、表示制御部２１５４は、評価値導出部２１５２による色の評価結果をディスプレイ１１５に表示させる。図１３に、評価結果の表示例を示す。評価領域１３００は、ユーザにより指定された評価領域である。画面１３０１は評価領域１３００に対する評価結果を表示する画面であり、評価値スケール１３０２は評価値のスケールを表す。最大値１３０３は評価値スケールの最大値である。表示１３０４は、評価値が所定の閾値以下であり、検査が合格（ＯＫ）である場合の表示である。評価値が所定の閾値より大きく検査が不合格である場合はＮＧが表示される。尚、画面１３０１における表示の際、評価値が０の場合に評価値スケール１３０２の１番下の色、評価値が評価値スケールの最大値１３０３以上の場合に評価値スケール１３０２の１番上の色になるように表示する。０以上、かつ、評価値スケール１３０２の最大値以下の場合には線形補間で導出された中間の色を表示する。

＜第１実施形態の効果＞
以上説明したように、本実施形態における情報処理装置は、光源の位置を変化させながら物体を複数回撮像して得られる画像データ群を取得する。画像データ群に基づいて、物体に対応する領域において、光源の位置に応じて色が大きく変化する領域を特定する。特定された領域の画素値を用いて、物体から光源への方向を推定するための学習モデルを生成する。これにより、物体と鏡面球とを撮像して得られる画像を用いた機械学習により、高精度に光源の方向を推定することができる。

［変形例］
上述した実施形態においては、情報処理装置１と情報処理装置２とが別々の装置であったが、１つの情報処理装置が、学習モデルの生成、光源情報の推定、色の評価を行っても良い。

上述した実施形態においては、生成した学習モデルから出力された鏡面球画像を基に光源の方向を推定したが、光源の位置や、物体の周囲にある光源の数、光源の色温度を推定しても良い。

上述した実施形態においては、評価対象の物体を車としたが、光の当たり方に応じて色の見え方が異なる物体であれば、車以外の物体であってもよい。例えば、人を評価対象としても良い。図１４のような人の髪や肌、衣服の色味の変化と鏡面球に対する光の当たり方との相関関係を学習モデルに学習させることにより、光源の方向を推定できる。

上述した実施形態においては、選択した２つの画像間の色差に基づいて光源の位置に応じた色の変化度合いが大きい領域を特定したが、他の方法により光源の位置に応じた色の変化度合いが大きい領域を特定してもよい。例えば、複数の画像間で画素ごとに色差を算出し、画素位置ごとに色差の平均値を閾値と比較してもよい。また、色差ではなく、明度差や彩度差などを閾値と比較してもよい。また、ユーザに指定された領域を光源の位置に応じた色の変化度合いが大きい領域として特定してもよい。ユーザの指定方法は、例えば、画像をディスプレイ１１５に表示し、入力デバイス１１０を介してユーザが領域を指定することができる。また、ユーザが物体の領域の名称を指定してもよい。例えば物体が車である場合、ボンネットやフェンダーなどを選択肢とすることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 情報処理装置
２０１ 学習画像取得部
２０２ 領域特定部
２０３ 学習モデル生成部

Claims (10)

1. 光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する第１取得手段と、
   前記第１画像データ群に基づいて、前記物体に対応する領域において、光源の位置に応じて色が大きく変化する領域を特定する特定手段と、
   前記特定された領域の画素値を用いて、物体から光源への方向を推定するための学習モデルを生成する生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記特定手段は、光源が第１位置にある条件において撮像された第１画像と、光源が前記第１位置とは異なる第２位置にある条件において撮像された第２画像と、を比較することにより、前記光源の位置に応じて色が大きく変化する領域を特定し、
   前記第１画像は前記第１画像データ群に含まれる第１画像データが表す画像であり、前記第２画像は前記第１画像データ群に含まれる第２画像データが表す画像であることを特徴とする請求項１に記載の情報処理装置。
3. 前記特定手段は、前記第１画像と前記第２画像との、前記物体に対応する領域の色差を算出し、算出した色差に基づいて前記光源の位置に応じて色が大きく変化する領域を特定することを特徴とする請求項２に記載の情報処理装置。
4. 前記特定手段は、前記色差が所定の閾値より大きいか否かに基づいて、前記光源の位置に応じて色が大きく変化する領域を特定することを特徴とする請求項３に記載の情報処理装置。
5. 前記特定手段は、ユーザが指定した領域を、前記光源の位置に応じて色が大きく変化する領域として特定することを特徴とする請求項１に記載の情報処理装置。
6. 前記物体を撮像した環境に配置された、表面が鏡面である球を、前記光源の位置を変化させながら複数回撮像して得られる第２画像データ群を取得する第２取得手段をさらに有し、
   前記生成手段は、前記特定された領域の画素値と第２画像データ群とを用いた機械学習によって、前記学習モデルを生成することを特徴とする請求項１乃至請求項５のいずれか一項に記載の情報処理装置。
7. 前記学習モデルから出力された画像に基づいて、前記物体から光源への方向を推定する推定手段をさらに有することを特徴とする請求項１乃至請求項６のいずれか一項に記載の情報処理装置。
8. 前記学習モデルを基に推定された光源への方向に基づいて、物体の色を評価する評価手段をさらに有することを特徴とする請求項７に記載の情報処理装置。
9. コンピュータを請求項１乃至請求項８のいずれか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
10. 光源の位置を変化させながら物体を複数回撮像して得られる第１画像データ群を取得する取得ステップと、
    前記第１画像データ群に基づいて、前記物体に対応する領域において、光源の位置に応じて色が大きく変化する領域を特定する特定ステップと、
    前記特定された領域の画素値を用いて、物体から光源への方向を推定するための学習モデルを生成する生成ステップと、
    を有することを特徴とする情報処理方法。

Images