JP2022142428A - 機械学習用教師データ生成システム、機械学習用教師データ生成方法及びプログラム - Google Patents

Abstract

【課題】ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、分光分布及び分光感度などの分光情報を推定する機械学習モデルの教師データを、学習に必要な数だけ、すでに存在する分光情報を調整して生成する機械学習用教師データ生成システムを提供する。【解決手段】本発明の機械学習用教師データ生成システムは、少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、撮像画像の撮像装置の分光感度、撮像画像を撮像した環境の光源の分光分布の各々を分光情報として記憶されている基礎分光情報記憶部と、分光情報から生成する、機械学習モデルへの入力データと、入力データにより機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力部と、仕様に対応して、分光情報の各々を調整して入力データ及び出力データとを備える教師データを生成する教師データ生成部とを備える。【選択図】図１

Description

本発明は、機械学習モデルの学習に用いる教師データを生成する機械学習用教師データ生成システム、機械学習用教師データ生成方法及びプログラムに関する。

一般的な通院患者に対する主な診療方法は、患者が定期的に医療機関に通院し、医療機関にある医療機器および健康機器によって身体の検査を行ない、検査結果に対応して医師などの専門家が患者の状態を判断している。
近年、離島やへき地の遠隔診療が医師不足を背景に増加しており、患者が直接に医療機関に容易に通院できないため、患者を撮像した画像や映像をもとに、医療機関において医師が診察を行う（例えば、特許文献１及び特許文献２を参照）。

同様に、在宅療養を行っている患者も同様であり、医師が頻繁に診察に出向けないため、上述した遠隔診療が行われている。
また、急病や事故などでの負傷した場合に救急搬送が行われるが、自宅や事故現場あるいは救急車の中などで一刻を争うため、患者に対して上述と同様の遠隔診療が行われる。
自宅或いは事故現場または搬送時などにおいて、患者の診察ができれば、受け入れ後の検査などを想定することが可能となり、患者の状態に合わせた早期治療に役立つ。

しかし、通常のデジタルカメラで撮像した場合、照明などの環境光により、患者の患部の正確な色を観察することができない。
例えば、医師は通常の場合、医療機関における診察室で患者の診察を行っているため、環境が異なった場合に、患部の色が医療機関で観察される色と一致しないため、正確な診察が行えない虞がある。

また、近年、ディープラーニングなどの機械学習モデルを用いて、分光反射率の推定が行われている（例えば、特許文献３）。
そのため、上述した問題を解決するため、ディープラーニングなどの機械学習モデルを用いて、デジタルカメラなどで撮像した色成分Ｒ、色成分Ｇ及び色成分Ｂの３個の色チャネルの画像（以下、単にＲＧＢ画像）から、分光反射率を推定することが考えられる。

特許第３４１７２３５号公報 特許第６００１２４５号公報 特開２０２０－１０２８０７号公報

しかしながら、入力する入力画像に対してどのような出力画像を推定するかを、機械学習モデルを学習させるためには、入力画像と出力画像とのペアからなる多くの教師データが必要となる。
ここで、分光放射輝度計などを用いて、機械学習モデルの学習に十分な数の分光画像を撮像するのは困難である。

特許文献３のように、教師データが印刷したチャートを解析することにより容易に作成することが出来ればよいが、分光反射率を推定する対象物によっては、例えば、患者の患部の分光反射率を推定する教師データは容易に作成することができない。
すなわち、機械学習モデルを学習させるためには多くの教師データが必要となるが、患者の患部のＲＧＢ画像と、このＲＧＢ画像から求めた分光反射率あるいは分光画像との組合せは多くの数を容易に準備できない。
そのため、不十分な数の教師データにより機械学習モデルを学習させた場合、当該機械学習モデルは、ＲＧＢ画像から高い精度で分光画像を推定することができない。

本発明は、このような状況に鑑みてなされたもので、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を調整することにより生成する機械学習用教師データ生成システム、機械学習用教師データ生成方法及びプログラムを提供する。

上述した課題を解決するために、本発明の機械学習用教師データ生成システムは、少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、当該撮像画像の撮像装置の分光感度、前記撮像画像を撮像した環境の光源の分光分布の各々を分光情報として予め書き込まれて記憶されている基礎分光情報記憶部と、前記分光情報から生成する、機械学習モデルへの入力データと、当該入力データにより前記機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力部と、前記仕様に対応して、前記分光情報の各々を調整して前記入力データ及び前記出力データとを備える教師データを生成する教師データ生成部とを備えることを特徴とする。

本発明の機械学習用教師データ生成システムは、前記教師データ生成部が、前記分光情報に含まれない、前記撮像画像における新たな分光情報を、前記入力データまたは前記出力データとして生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記分光情報から前記撮像装置が撮像した撮像画像を、前記教師データとして教師用撮像画像として生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記分光情報を調整する複数の種類の光源の分光分布である調整用分光分布が予め書き込まれて記憶されている光源分光分布記憶部をさらに有し、前記教師データ生成部が、前記分光情報における前記分光分布に加え、前記調整用分光分布を用いて、前記教師用撮像画像を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記教師データ生成部が、前記調整用分光分布間で波長毎のスペクトル強度を所定の比率にて合成し、新たな合成分光分布を生成し、当該合成分光分布を用いて、前記教師用撮像画像を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記分光情報を調整する複数の種類の撮像装置の分光感度である調整用分光感度が予め書き込まれて記憶されている光源分光感度記憶部をさらに有し、前記教師データ生成部が、前記分光情報における前記分光感度に加え、前記調整用分光感度を用いて、前記教師用撮像画像を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記教師データ生成部が、前記調整用分光感度間で波長毎のスペクトル強度を所定の比率にて合成し、新たな合成分光感度を生成し、当該合成分光感度を用いて、前記教師用撮像画像を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記撮像画像における対象物体の種別毎に、当該種別の分光反射率における含有比率が大きい分光成分が予め書き込まれて記憶されている対象物体分光特性記憶部をさらに有し、前記教師データ生成部が、前記対象物体の分光反射率を、調整した前記分光成分により変更させ、新たな分光反射率である調整用分光反射率を生成して、前記教師用撮像画像を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記教師データ生成部が、分光成分に所定の係数を乗算し、乗算結果を前記分光反射率に対して加算、あるいは減算を行うことにより、前記調整用分光反射率を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記分光成分が、前記撮像画像における対象物体の種別毎に、当該種別の分光反射率を主成分分析した複数の主成分分光成分であり、前記教師データ生成部が、前記主成分分光成分の各々に係数を乗算し、前記主成分分光成分の乗算結果のそれぞれを加算して、前記調整用分光反射率を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記対象物体が人体における肌である場合、前記分光成分が少なくともメラニン及びヘモグロビンの各々の分光特性を用いて、前記調整用分光反射率を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記撮像画像を生成するために必要な情報が前記分光情報において欠落している場合、欠落している情報である欠落情報を取得する欠落情報取得部をさらに有し、少なくとも分光情報に含まれる前記欠落情報と異なる他の情報を元に、当該欠落情報を取得することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記他の情報が、前記分光情報における前記欠落情報を補完するために用いる、分光情報における前記分光反射率、前記分光感度及び前記分光分布を特定する補完用情報であることを特徴とする。

本発明の機械学習用教師データ生成システムは、前記分光情報が、前記対象物体の３次元形状の情報である３次元形状情報を含むことを特徴とする。

本発明の機械学習用教師データ生成システムは、前記３次元形状情報が、同一の対象物体を複数の異なる視点から撮像した撮像画像の各々からなる多視点画像であり、前記教師データ生成部が、前記多視点画像から前記対象物体の前記３次元形状を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記教師データ生成部が、前記３次元形状を所定の視点から観察される仮想撮像画像、当該仮想撮像画像に対応する前記分光反射率の情報を有する画像のそれぞれを生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記教師データ生成部が、前記データセット仕様入力部からシェーディングの有無の情報及び前記シェーディングを施す範囲が供給された場合、前記仮想撮像画像、当該仮想撮像画像に対応する前記分光反射率の情報を有する画像の前記範囲にシェーディングを施すことを特徴とする。

本発明の機械学習用教師データ生成システムは、前記データセット仕様入力部が、ボクセルのデータの種類が、分光放射輝度と、分光反射率と、ＲＧＢ値とのいずれかで表される前記３次元形状の生成の要求が入力された場合、前記教師データ生成部に対して、要求された種類のデータのボクセルから構成される前記３次元形状の生成を指示し、前記教師データ生成部が、要求された種類のデータのボクセルからなる前記３次元形状を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記３次元形状と類似した類似３次元形状を生成する類似形状生成部をさらに備え、前記データセット仕様入力部が、前記対象物体の前記３次元形状と類似する類似３次元形状を生成の要求が入力された場合、前記類似形状生成部に対して、前記類似３次元形状の生成を指示し、前記類似形状生成部が、前記対象物体の前記３次元形状の分光反射率をそのまま用いて、当該３次元形状と類似する前記類似３次元形状を生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記対象物体が人体における所定の部位であることを特徴とする。

本発明の機械学習用教師データ生成システムは、コンピュータグラフィックデータを生成するコンピュータグラフィックデータ生成部をさらに備え、前記データセット仕様入力部が、前記対象物体の他にコンピュータグラフィックデータによる擬似対象物体を生成する要求が入力された場合、前記コンピュータグラフィックデータ生成部に対して、前記擬似対象物体の生成を指示し、前記コンピュータグラフィックデータ生成部が、前記対象物体が撮像された前記撮像画像に合成するための前記擬似対象物体をコンピュータグラフィックにより生成することを特徴とする。

本発明の機械学習用教師データ生成システムは、前記擬似対象物体のＲＧＢ画像における色成分Ｒ、色成分Ｇ及び色成分Ｂとの各々が、前記対象物体の色成分Ｒ、色成分Ｇ、色成分Ｂそれぞれと同様であり、かつ前記擬似対象物体の分光反射率が前記対象物体と異なっていることを特徴とする。

本発明の機械学習用教師データ生成方法は、データセット仕様入力が、少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、当該撮像画像の撮像装置の分光感度、前記撮像画像を撮像した環境の光源の分光分布の各々を分光情報として予め書き込まれて記憶されている基礎分光情報記憶部における前記分光情報から生成する、機械学習モデルへの入力データと、当該入力データにより前記機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力過程と、教師データ生成部が、前記仕様に対応して、前記分光情報の各々を調整して前記入力データ及び前記出力データとを備える教師データを生成する教師データ生成過程とを含むことを特徴とする。

本発明のプログラムは、少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、当該撮像画像の撮像装置の分光感度、前記撮像画像を撮像した環境の光源の分光分布の各々を分光情報として予め書き込まれて記憶されている基礎分光情報記憶部における前記分光情報から、機械学習モデルの教師データを生成する機械学習用教師データ生成システムとしてコンピュータを機能させるプログラムであって、前記コンピュータを、前記分光情報から生成する、前記機械学習モデルへの入力データと、当該入力データにより前記機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力手段、前記仕様に対応して、前記分光情報の各々を調整して前記入力データ及び前記出力データとを備える前記教師データを生成する教師データ生成手段として機能させるためのプログラムである。

以上説明したように、本発明によれば、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を調整することにより生成する機械学習用教師データ生成システム、機械学習用教師データ生成方法及びプログラムを提供することができる。

本発明における教師データを生成する対象となる機械学習モデルの入力データと当該入力データにより推定される出力データとの関係を説明する図である。 ＲＧＢ画像から分光反射率情報としての分光画像、あるいは、分光反射率画像を出力する機械学習モデルの例を示す概念図である。 本発明の第１の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。 学習対象の機械学習モデルの教師データのデータセットを生成するために用いる、基礎分光情報記憶部１０５に記憶された分光情報が記載された分光情報テーブルの構成例を示す図である。 本実施形態による機械学習用教師データ生成システム１００による教師データの生成処理の動作例を示すフローチャートである。 本発明の第２の実施形態による機械学習用教師データ生成の構成例を示すブロック図である。 光源分光分布記憶部１０７に予め書き込まれている光源分光分布のデータテーブルである光源分光分布テーブルの構成例を示す図である。 撮像装置分光感度記憶部１０８に予め書き込まれている撮像装置分光分布のデータテーブルである撮像装置分光分布テーブルの構成例を示す図である。 第２の実施形態における光源分光分布テーブル及び撮像装置分光分布テーブルを参照して教師データを生成する処理を説明する概念図である。 本発明の第３の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。 第３の実施形態における分光成分情報記憶部１０９に予め書き込まれている分光成分のデータテーブルである分光成分テーブルの構成例を示す図である。 第３の実施形態における分光成分テーブルを参照して教師データを生成する処理を説明する概念図である。 本発明の第４の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。 本発明の第５の実施形態における基礎分光情報記憶部１０５に予め書き込まれている第２分光情報テーブルの構成例を示す図である。 本発明の第６の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。 本発明の第７の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。 教師データ生成部１０３がＣＧデータをＲＧＢ画像に付与する処理を説明する概念図である。

本発明は、機械学習モデルを学習させる際に用いる、入力データと出力データとからなるデータセットとしての教師データを生成する。
機械学習モデルは、入力データを入力することにより、当該入力データに対応して推定した出力データを出力する。
このため、機械学習モデルの学習に用いる教師データとしては、入力データと出力データとの双方が既知である必要がある。

図１は、本発明における教師データを生成する対象となる機械学習モデルの入力データと当該入力データにより推定される出力データとの関係を説明する図である。
以下、本発明における教師データを生成する対象となる機械学習モデルの入力データと当該入力データにより推定される出力データとの関係を説明する。すなわち、図１は、学習対象の機械学習モデルのデータセットにおける入力データと出力データとの関係を示している。

図１（ａ）は、ＲＧＢ画像における各画素のＲＧＢ値（色成分Ｒ、色成分Ｇ、色成分Ｂの各々の数値）が、光源（の分光分布）と、対象物体の分光反射率と、撮像装置の分光感度の各々の要素を波長（λ）ごとに乗算した乗算結果を、４００ｎｍから７００ｎｍの波長（λ）の積分値として求められることを示す式である。この式から分かるように、入力データに含まれない要素（情報）は、出力データとして推定することはできない。

図１（ｂ）は、レコード毎に、学習対象の機械学習モデルにおける入力データと出力データとの関係を示したテーブルである。
教師データのデータセットとして、この入力データと出力データとの既知のデータの組合せが必要となる。

例えば、行２０１において、ＲＧＢ画像（ＲＧＢ）を入力データとし、分光反射率（反射率）、放射輝度（分光放射輝度）、光源分光分布（光源）、撮像装置分光感度（感度）の各々のいずれか、あるいは複数が出力データとされる機械学習モデルの教師データのデータセット例である。ＲＧＢ画像は、例えば、撮像装置がデジタルカメラの場合であり、各画素がＲＧＢ値で構成されている。

すなわち、入力データとしてＲＧＢ画像を入力した場合、機械学習モデルが、例えば撮像対象の分光反射率を推定して出力データとする場合、教師データとしては、ＲＧＢ画像及び分光反射率の関係が既知であることが必要である。このため、教師データとして、ＲＧＢ画像と、このＲＧＢ画像の既知の（予めＲＧＢ画像を計測した、あるいは一般的な計算により算出した）分光反射率とのデータセットとする。

図２は、ＲＧＢ画像から分光反射率情報としての分光画像、あるいは、分光反射率画像を出力する機械学習モデルの例を示す概念図である。
機械学習モデル３００は、例えば、ＲＧＢ画像３０１を入力データとして、このＲＧＢ画像３０１から分光反射率の所定の波長（例えば、４００ｎｍから７００ｎｍの波長範囲における１０ｎｍ刻みの波長）の各々の分光画像３０２を出力する。
また、機械学習モデル３００は、ＲＧＢ画像３０１を入力データとして、このＲＧＢ画像３０１が撮像された環境の光源の分光分布（光源分光分布）３０３を推定する。
また、機械学習モデル３００は、ＲＧＢ画像３０１を入力データとして、このＲＧＢ画像３０１を撮像した撮像装置の分光感度（撮像装置分光感度）３０４を推定する。

図１に戻り、行２０２において、分光放射輝度画像（放射輝度）を入力データとし、分光反射率（反射率）、光源分光分布（光源）の各々のいずれか、あるいは複数が出力データとされる機械学習モデルの教師データのデータセット例である。分光放射輝度画像は、例えば撮像装置がハイパースペクトルカメラであり、各画素が分光放射輝度値（分光分布×分光反射率）で構成されている。
すなわち、入力データとして分光放射輝度画像を入力した場合、機械学習モデルが、例えば撮像対象の分光放射輝度を推定して出力データとする場合、教師データとしては、分光放射輝度画像及び分光反射率の関係が既知であることが必要である。このため、教師データとして、分光放射輝度画像と、この分光放射輝度画像の既知の分光反射率とのデータセットとする。

また、行２０３において、複数の入力データの例として、ＲＧＢ画像及び当該ＲＧＢ画像を撮像した際の光源の分光分布（光源）の２個のデータを入力データとし、分光反射率（反射率）、放射輝度（分光放射輝度）、撮像装置分光感度（感度）の各々のいずれか、あるいは複数が出力データとされる機械学習モデルの教師データのデータセット例である。ＲＧＢ画像は、例えば、撮像装置がデジタルカメラの場合であり、各画素がＲＧＢ値で構成されている。
すなわち、入力データとしてＲＧＢ画像を入力した場合、機械学習モデルが、例えば撮像対象の分光反射率を推定して出力データとする場合、教師データとしては、ＲＧＢ画像及び分光反射率の関係が既知であることが必要である。このため、教師データとして、ＲＧＢ画像と、このＲＧＢ画像の既知の分光反射率とのデータセットとする。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図３は、本発明の第１の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。
図１において、機械学習用教師データ生成システム１００は、データ入力部１０１、データセット仕様入力部１０２、教師データ生成部１０３、教師データ出力部１０４、基礎分光情報記憶部１０５及び教師データ記憶部１０６の各々を備えている。

データ入力部１０１は、外部装置から供給される、機械学習モデルを学習させるための教師データを生成する基礎となる分光情報を、基礎分光情報記憶部１０５に対して書き込んで記憶させる。

ここで、本発明の第１の実施形態における教師データを生成する対象となる機械学習モデルの入力データと当該入力データにより推定される出力データとのデータセットを生成する分光情報の例を説明する。
図４は、学習対象の機械学習モデルの教師データのデータセットを生成するために用いる、基礎分光情報記憶部１０５に記憶された分光情報が記載された分光情報テーブルの構成例を示す図である。

分光情報テーブルは、レコード毎に、分光情報識別情報、分光反射率画像インデックス（またはＲＧＢ画像あるいは分光放射輝度画像などの少なくとも分光反射率や光源分光感度の情報を含む画像）、撮像装置分光感度インデックス、光源分光分布インデックスの各々の欄を備えている。
分光情報識別情報は、分光情報（分光反射率、撮像装置分光感度、光源分光分布）の各々を抽出した撮像画像のそれぞれを識別する識別情報である。ここで、撮像装置分光感度は、分光情報を抽出した撮像画像をデジタルカメラで撮像された場合における分光情報である。また、ハイパースペクトルカメラで撮像した分光放射輝度画像には含まれない情報である。

分光反射率情報インデックスは、撮像画像に対応して予め求められている分光反射率画像が書き込まれている領域を示す情報、たとえばアドレスである。分光反射率画像は、例えばすでに説明した分光画像、あるいは画素毎の分光反射率の情報を備える画像である。また、この分光反射率情報として、ＲＧＢ画像あるいは分光放射輝度画像など、少なくとも分光反射率、光源分光分布の情報を（撮像装置がデジタルカメラの場合、撮像装置分光感度も含む）含む画像でもよい。

光源分光分布インデックスは、撮像画像を撮像した環境の光源の分光分布情報（光源分光分布、波長と分光放射輝度との対応を示す曲線グラフなど）が書き込まれている領域を示す情報、たとえばアドレスである。
撮像装置分光感度インデックスは、撮像画像を撮像した撮像装置（デジタルカメラの場合）の分光感度情報（撮像装置分光感度、波長と感度との対応を示す曲線グラフなど）が書き込まれている領域を示す情報、たとえばアドレスである。

図３に戻り、データセット仕様入力部１０２は、機械学習モデルを学習させるための生成する教師データの仕様を示す仕様情報が入力された場合、当該仕様を教師データ生成部１０３に対して出力する。
教師データの仕様情報とは、機械学習モデルを学習させる教師データを生成する数、すなわちデータセット数と入力データの種類と、出力データの種類と、生成する画像のサイズ（縦の画素数×横の画素数）と、分光情報の画像処理の方式との各々を少なくとも含んでいる。

ここで、入力データの種類としては、たとえば、ＲＧＢ画像、分光放射輝度画像など、図１（ｂ）に示した入力データの種類がある。
同様に、出力データの種類としては、たとえば、分光反射率画像（あるいは分光画像）、撮像画像を撮像した環境における光源の光源分光分布、撮像画像を撮像した撮像装置分光感度、分光放射輝度画像などがある。

また、ここで、画像処理の方式とは、一つの分光情報のデータの各々を基に、複数の教師データとする画像を生成する際に用いる画像処理の各々を示している。画像処理は、例えば、各画素の明度変化、撮像されている対象物の画像の拡大、撮像されている対象物の画像の縮小、クロップ（画像の一部の切り取り）、撮像されている対象物の画像の回転、撮像されている対象物以外の背景除去、高解像度化（すなわち、画像の縦方向及び横方向の画素数の調整による解像度の調整）などがある。

教師データ生成部１０３は、基礎分光情報記憶部１０５に記憶されている分光情報の各々から、データセット仕様入力部１０２から供給される仕様情報に対応した入力データ、出力データのそれぞれからなるデータセットの教師データを生成する
ここで、例えば、仕様情報において入力データとしてＲＧＢ画像、出力データとして分光反射率画像、データセット数が１００００個、画像処理の方式として画像の回転及び画像の縮小、所定の画像サイズが設定され、基礎分光情報記憶部１０５に１０個の人間の手の皮膚の撮像画像の分光情報が記憶されている場合における教師データ生成部１０３の教師データの生成について以下に説明する。

教師データ生成部１０３は、基礎分光情報記憶部１０５の１０個の分光情報の各々から、それぞれ１０００個の教師データを生成し、合計１００００個の教師データのデータセットを生成する。
このとき、教師データ生成部１０３は、分光情報において、分光反射率の情報として分光反射率画像が記憶されている場合、分光反射率画像（手が撮像されている画像領域）を所定の回転角度で、それぞれが異なる画像の角度を有する１００個の処理画像を生成する。

そして、教師データ生成部１０３は、１００個の処理画像の各々を、１０段階の異なる大きさに縮小させて、教師データとして用いる、分光反射率画像である教師用分光反射率画像として１０００個の処理画像を生成する。教師データ生成部１０３は、教師用分光反射率画像を生成する処理を１０個の分光情報の各々に対して行うため、総計として１００００個が生成される。これにより、教師データのデータセットにおける出力データとしての教師用分光反射率画像が生成される。

また、教師データ生成部１０３は、分光情報毎に生成した教師用分光反射率画像の各々に対して、分光情報それぞれの光源分光分布及び撮像装置分光感度を乗じて（図１（ａ））、画素毎分光反射率をＲＧＢ値として、各教師用分光反射率に対応するＲＧＢ画像を生成する。
ここで、教師データ生成部１０３は、１００００個の教師用分光反射率画像の各々を、それぞれＲＧＢ画像に変更するため、教師用分光反射率画像の各々に対応した、教師データとして用いる教師用ＲＧＢ画像として１００００個のＲＧＢ画像を生成する。

これにより、教師データのデータセットにおける入力データとしての教師用ＲＧＢ画像（ＲＧＢ画像）が、分光情報に存在しなかった情報として新たに生成される。
そして、教師データ生成部１０３は、教師用分光反射率画像と、当該教師用分光反射率画像から生成した教師用ＲＧＢ画像とを、教師データのデータセット（１００００個のデータセット）として、教師データ記憶部１０６に対して書き込んで記憶させる。

上述したように、教師データ生成部１０３は、基礎分光情報記憶部１０５における既知の分光情報を画像処理により、それぞれ異なる撮像画像の分光情報に変更し、図１（ｂ）に示す、入力データ及び出力データの各々からなるデータセットの教師データを生成する。
また、教師データ生成部１０３は、入力データが分光放射輝度画像であり、出力データが分光反射率画像である場合、教師用分光反射率画像をデータセットの数分の出力データとして、分光情報から画像処理により生成する。

そして、教師データ生成部１０３は、生成した教師分光反射率画像に対して光源分光分布を乗算し、各画素が分光放射輝度値を有する分光放射輝度画像である教師用分光放射輝度画像を生成し、教師データ記憶部１０６に対して書き込んで記憶させる。

教師データ出力部１０４は、外部装置からの要求に対応し、教師データ記憶部１０６に書き込まれている、作成された教師データを読み出して外部装置に対して出力する。

図５は、本実施形態による機械学習用教師データ生成システム１００による教師データの生成処理の動作例を示すフローチャートである。以下の説明においては、入力データがＲＧＢ画像データであり、出力データが分光反射率画像であるデータセットの教師データを作成する場合を例に説明する。

ステップＳ１０１：
データセット仕様入力部１０２は、機械学習モデルを学習させるための生成する教師データの仕様を示す仕様情報が、不図示の入力手段から入力された場合、当該仕様情報を教師データ生成部１０３に対して出力する。

ステップＳ１０２：
教師データ生成部１０３は、基礎分光情報記憶部１０５の分光情報テーブルを参照して、基礎分光情報記憶部１０５に記憶されている分光情報の数を取得する（分光情報数の確認）。

ステップＳ１０３：
教師データ生成部１０３は、基礎分光情報記憶部１０５の分光情報テーブルにおける上部のレコードから、一個ずつ分光情報における分光反射率画像を読み込む。

ステップＳ１０４：
そして、教師データ生成部１０３は、仕様情報における生成するデータセット数を、取得した分光情報の数で除算し、分光情報の一個あたりから生成する教師データの数を求める（教師データ数の算出）。

ステップＳ１０５：
教師データ生成部１０３は、分光反射率画像を仕様情報における画像処理の方式（あるいは画像処理方式の組合せ）により分光反射率画像を変更して（分光情報の変更）、分光情報の一個あたりから生成する教師データの数となる教師用分光反射率画像を、出力データとして生成する。

ステップＳ１０６：
教師データ生成部１０３は、基礎分光情報記憶部１０５の分光情報テーブルにおける全ての分光情報に対する変更が終了したか否かの判定を行う。
このとき、教師データ生成部１０３は、基礎分光情報記憶部１０５の分光情報テーブルにおける全ての分光情報に対する変更が終了した場合、処理をステップＳ１０７へ進める。
一方、教師データ生成部１０３は、基礎分光情報記憶部１０５の分光情報テーブルにおける全ての分光情報に対する変更が終了していない場合、処理をステップＳ１０５へ進める。

ステップＳ１０７：
教師データ生成部１０３は、生成した教師用分光反射率画像の各々に対して、それぞれの教師用分光反射率画像に対応した光源分光分布及び撮像装置分光感度とを乗じて、入力データとしてＲＧＢ画像を生成する。

ステップＳ１０８：
教師データ生成部１０３は、生成した入力データ及び出力データの各々からなる教師データを教師データ記憶部１０６に対して書き込んで記憶させる。

上述したように、本実施形態によれば、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
図６は、本発明の第２の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。
図６において、機械学習用教師データ生成システム１００Ｂは、データ入力部１０１、データセット仕様入力部１０２、教師データ生成部１０３、教師データ出力部１０４、基礎分光情報記憶部１０５、教師データ記憶部１０６、光源分光分布記憶部１０７及び撮像装置分光感度記憶部１０８の各々を備えている。

以下、第２の実施形態による機械学習用教師データ生成システム１００Ｂについて、第１の実施形態と異なる構成及び動作のみを説明する。
光源分光分布記憶部１０７には、複数の異なる光源の光源分光分布のデータが書き込まれている。
図７は、光源分光分布記憶部１０７に予め書き込まれている光源分光分布のデータテーブルである光源分光分布テーブルの構成例を示す図である。
光源分光分布テーブルは、レコード毎に、分光分布識別情報と光源分光分布インデックスと組となって書き込まれている。

分光分布識別情報は、光源分光分布のデータの各々をそれぞれ個別に識別する識別情報である。この光源分光分布テーブルにおける光源分光分布は、基礎分光情報記憶部１０５に記憶されている分光情報の各々における光源分光分布それぞれと異なる光源のデータである。
光源分光分布インデックスは、光源の分光分布のデータ、すなわち波長と分光放射輝度との対応を示す曲線グラフなどのデータあるいは関数などが書き込まれている領域を示す情報、たとえばアドレスである。

図８は、撮像装置分光感度記憶部１０８に予め書き込まれている撮像装置分光分布のデータテーブルである撮像装置分光分布テーブルの構成例を示す図である。
撮像装置分光感度テーブルは、レコード毎に、分光感度識別情報と撮像装置分光感度インデックスと組となって書き込まれている。

分光感度識別情報は、撮像装置分光感度のデータの各々をそれぞれ個別に識別する識別情報である。この撮像装置分光感度テーブルにおける撮像装置分光感度は、基礎分光情報記憶部１０５に記憶されている分光情報の各々における撮像装置分光感度それぞれと異なる撮像装置のデータである。
撮像装置分光感度インデックスは、撮像装置の分光感度のデータ、すなわち波長と分光スペクトルとの対応を示す曲線グラフなどのデータあるいは関数などが書き込まれている領域を示す情報、たとえばアドレスである。

図９は、第２の実施形態における光源分光分布テーブル及び撮像装置分光分布テーブルを参照して教師データを生成する処理を説明する概念図である。
図９（ａ）は、図１（ａ）で説明した式において、教師データ生成部１０３が、ＲＧＢ値を求める際に分光反射率（反射率）に乗算する光源分光分布（光源）及び撮像装置分光感度（カメラ分光感度）の各々に、撮像装置分光感度テーブルの撮像装置分光感度（調整用分光感度）、光源分光分布テーブルの光源分光分布（調整用分光分布）のそれぞれを用いることを示している。
また、撮像装置がハイパースペクトルカメラの場合、教師データ生成部１０３は、分光放射輝度値を求める際に分光反射率（反射率）に乗算する光源分光分布（光源）に、光源分光分布テーブルの光源分光分布を用いることを示している。

図９（ｂ）に示すように、分光情報における分光放射率画像（分光画像）４０１やＲＧＢ画像４０２はそのまま用い、分光情報における光源分光分布４０３に加えて、光源分光分布テーブルの光源分光分布４０５＿１～４０５＿３や、撮像装置分光感度テーブルの撮像装置分光感度４０６＿１、４０６＿２を用いる。

これにより、教師データ生成部１０３は、分光反射率画像を抽出した撮像画像の撮像時における光源分光分布及び撮像装置分光感度と異なる複数の光源分光分布、撮像装置分光感度のそれぞれにより、一つの分光反射画像４０１から複数のＲＧＢ画像４０７を生成することができる。
すなわち、教師データ生成部１０３上述した光源分光分布及び撮像装置分光感度とを調整することにより、第１の実施形態における画像処理に加えて、さらに教師データの数を増加させることができる。

また、教師データ生成部１０３は、光源分光分布テーブルの光源分光分布の各々を、所定の比率を乗じて加算することにより、新たな光源分光分布（合成分光分布）を生成して、上述した分光情報における光源分光分布との置換を行って、異なるＲＧＢ画像を生成する構成としてもよい。
同様に、教師データ生成部１０３は、撮像装置分光感度テーブルの撮像装置分光感度の各々を、所定の比率を乗じて加算することにより、新たな撮像装置分光感度（合成分光感度）を生成して、上述した分光情報における撮像装置分光感度との置換を行って、異なるＲＧＢ画像を生成する構成としてもよい。

また、教師データ生成部１０３は、分光情報における光源分光分布と、光源分光分布テーブルの光源分光分布の各々とを、所定の比率を乗じて加算することにより、新たな光源分光分布を生成して、上述した分光情報における光源分光分布との置換を行って、異なるＲＧＢ画像を生成する構成としてもよい。
同様に、教師データ生成部１０３は、分光情報における撮像装置分光感度と、撮像装置分光感度テーブルの撮像装置分光感度の各々とを、所定の比率を乗じて加算することにより、新たな撮像装置分光感度を生成して、上述した分光情報における撮像装置分光感度との置換を行って、異なるＲＧＢ画像を生成する構成としてもよい。

また、ＲＧＢ画像４０２の各々のＲＧＢ値を、光源分光分布テーブルの光源分光分布や撮像装置分光感度テーブルの撮像装置分光感度を用いて除算することにより、分光情報における光源分光分布及び撮像装置分光感度を用いた場合と異なる分光反射率を取得することができる。
これにより、取得した分光反射率の各々と、ＲＧＢ画像との組合せを増加させることが可能となり、教師データのデータセットの数を増加させることができる。

上述したように、本実施形態によれば、第１の実施形態と同様に、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

また、本実施形態によれば、分光情報における光源分光分布及び撮像装置分光感度の各々を、光源分光分布テーブルの光源分光分布、撮像装置分光感度テーブルの撮像装置分光感度のそれぞれ、あるいは合成分光分布及び合成分光感度のそれぞれと置換することにより、第１の実施形態における画像処理の組合せに加え、分光分布及び分光感度の組合せにより、すでに存在する分光情報からより多くの教師データを生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。
図１０は、本発明の第３の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。
図１０において、機械学習用教師データ生成システム１００Ｃは、データ入力部１０１、データセット仕様入力部１０２、教師データ生成部１０３、教師データ出力部１０４、基礎分光情報記憶部１０５、教師データ記憶部１０６、光源分光分布記憶部１０７、撮像装置分光感度記憶部１０８及び分光成分情報記憶部１０９の各々を備えている。

以下、第３の実施形態による機械学習用教師データ生成システム１００Ｃについて、第２の実施形態と異なる構成及び動作のみを説明する。
分光成分情報記憶部１０９には、複数の異なる対象物の分光反射率における分光成分のデータが書き込まれている。
図１１は、第３の実施形態における分光成分情報記憶部１０９に予め書き込まれている分光成分のデータテーブルである分光成分テーブルの構成例を示す図である。
分光成分テーブルは、レコード毎に、分光成分識別情報と分光分布インデックスとが組となって書き込まれている。

分光成分識別情報は、分光成分のデータの各々をそれぞれ個別に識別する識別情報である。この分光成分テーブルにおける分光成分は、例えば、対象物の分光反射率の主成分分析を行ない、当該主成分分析で得られた複数の主成分曲線（波長毎のスペクトル強度の関係曲線）の各々を示している。
分光成分インデックスは、分光成分のデータ、すなわち波長とスペクトル強度との対応を示す曲線グラフなどのデータあるいは関数などが書き込まれている領域を示す情報、たとえばアドレスである。

教師データ記憶部１０６は、分光成分情報記憶部１０９の分光成分テーブルから読み出した主成分曲線の各々に対して任意の比率により、主成分曲線の各々を合成し、新たな分光反射率を生成して、分光情報における分光反射率と置換し、これに光源分光感度及び撮像装置分光感度を乗じて、新たなＲＧＢ値を有するＲＧＢ画像を生成する構成としてもよい。
また、教師データ記憶部１０６は、分光情報における分光反射率と、主成分曲線の各々とを、任意の比率により合成し、新たな分光反射率を生成して、分光情報における分光反射率と置換し、これに光源分光感度及び撮像装置分光感度を乗じて、新たな分光放射輝度値を有する分光放射輝度値画像を生成する構成としてもよい。

また、教師データ記憶部１０６は、分光情報における分光反射率と、主成分曲線の各々とを、任意の比率により合成し、新たな分光反射率を生成して、分光情報における分光反射率と置換し、これに光源分光感度及び撮像装置分光感度を乗じて、新たなＲＧＢ値を有するＲＧＢ画像を生成する構成としてもよい。
同様に、教師データ記憶部１０６は、分光情報における分光反射率と、主成分曲線の各々とを、任意の比率により合成し、新たな分光反射率を生成して、分光情報における分光反射率と置換し、これに光源分光感度を乗じて、新たな分光放射輝度値を有する分光放射輝度値画像を生成する構成としてもよい。

図１２は、第３の実施形態における分光成分テーブルを参照して教師データを生成する処理を説明する概念図である。
図１２（ａ）は、図１（ａ）で説明した式において、教師データ生成部１０３が、ＲＧＢ値を求める際の分光反射率（反射率）に新たに生成した分光反射率を用い、この分光反射率に光源分光分布（光源）及び撮像装置分光感度（カメラ分光感度）の各々を乗算することを示している。
また、撮像装置がハイパースペクトルカメラの場合、教師データ生成部１０３は、分光放射輝度値を求める際に、分光情報における分光反射率に換え、新たに生成した分光反射率と、光源分光分布とを乗算して求めることを示している。

図１２（ｂ）は、分光反射率（反射率）を求める式が示されており、分光成分（第ｎ成分）の各々に対し、係数ｋｎのそれぞれを乗算し、乗算結果を加算し（合成し）、新たな分光反射率を生成する。
この分光成分としては、一例として、上述したように、対象物の分光反射率の主成分分析を行った主成分の波長及びスペクトルの関係を示すデータを用いる。
また、分光成分としては、他の例として、例えば、対象物の分光反射率を主に決定する成分の各々の分光反射率のデータそれぞれでもよい。

図１２（ｃ）は、教師データ生成部１０３が、人体の部位、例えば肌を形成する成分であるヘモグロビンを第１成分、メラニンを第２成分とし、第１成分の分光反射率５０１と第２成分の分光反射率５０２との各々に、それぞれ係数ｋ１、ｋ２のそれぞれを乗算し、乗算結果を加算（合成）して、すなわち、対象物における分光成分を所定の含有比率で調整し、新たな分光反射率５０３を求めることが示されている。他の人体の部位における分光反射率も同様に調整することが可能である。
教師データ生成部１０３は、この新たな分光反射率５０３と、光源分光分布と、撮像装置分光感度との各々を乗算し、乗算結果からなるＲＧＢ値を有するＲＧＢ画像を生成する構成としてもよい。

上述したように、本実施形態によれば、第１の実施形態と同様に、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

また、本実施形態によれば、分光情報における分光反射率を、分光成分情報記憶部１０９に記憶されている分光成分の各々を所定の比率で合成し、また分光情報の分光反射率と分光成分情報記憶部１０９に記憶されている分光成分の各々とを所定の比率で合成することにより、分光反射率のデータ数を増加させることが可能となり、すでに存在する分光情報における光源分光分布及び撮像装置分光感度と、光源分光分布テーブルの光源分光分布及び撮像装置分光感度テーブルの撮像装置分光感度とを組み合わせることにより、多くの教師データを生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

＜第４の実施形態＞
以下、本発明の第４の実施形態について、図面を参照して説明する。
図１３は、本発明の第４の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。
図１３において、機械学習用教師データ生成システム１００Ｄは、データ入力部１０１、データセット仕様入力部１０２、教師データ生成部１０３、教師データ出力部１０４、基礎分光情報記憶部１０５、教師データ記憶部１０６、欠落情報追加部１１０及び補完用情報記憶部１１１の各々を備えている。

以下、第４の実施形態による機械学習用教師データ生成システム１００Ｄについて、第１の実施形態と異なる構成及び動作のみを説明する。
欠落情報追加部１１０は、分光情報における分光反射率の情報、光源分光分布あるいは撮像装置分光感度の各々において、欠如している情報である欠落情報の追加を行う。
補完用情報記憶部１１１には、欠落情報を補完するために用いる補完用情報が書き込まれて記憶されている。

分光成分情報記憶部１０９には、複数の異なる対象物の分光反射率における分光成分のデータが書き込まれている。
図１１は、第３の実施形態における分光成分情報記憶部１０９に予め書き込まれている分光成分のデータテーブルである分光成分テーブルの構成例を示す図である。
分光成分テーブルは、レコード毎に、分光成分識別情報と分光分布インデックスとが組となって書き込まれている。

教師データの生成については、すでに述べてきたように、デジタルカメラで撮像したＲＧＢ画像において、最低限の分光情報として、分光反射率画像と、撮像装置分光感度と、光源分光分布との各々が必要になる。
同様に、教師データの生成については、すでに述べてきたように、ハイパースペクトルカメラで撮像した分光放射輝度値画像において、最低限の分光情報として、分光反射率画像と、光源分光分布との各々が必要になる。

欠落情報追加部１１０は、例えば、撮像画像の分光反射率のデータが無い場合、同一の環境（光源分光分布）で、同一の撮像装置（撮像装置分光感度）で撮像したＲＧＢ画像があれば、このＲＧＢ画像から分光反射率の推定を行い、分光反射率画像を補完する。
また、欠落情報追加部１１０は、撮像場所の情報があれば、撮像場所が部屋である場合、光源の種類が特定でき、インターネットの検索により、光源の光源分光分布を取得する。
また、欠落情報追加部１１０は、撮像場所や撮像日時の各々の情報があれば、撮像場所が屋外である場合、撮像場所における撮像時の天気を、インターネットの検索により取得でき、その天気に応じた光源分光分布を取得する。

また、欠落情報追加部１１０は、光源種（光源の種類）、例えば、太陽光、ＬＥＤ（light emitting diode）光源、蛍光灯、白熱灯などが判れば、それぞれの代表的な光源分光分布を、インターネットの検索により取得する。
また、欠落情報追加部１１０は、被写体の種類が判れば、被写体の分光反射率をインターネットの検索により取得する。

また、欠落情報追加部１１０は、撮像装置の機種や品番が判れば、撮像装置の撮像装置分光感度を、撮像装置のメーカーのホームページなどから、インターネットの検索により取得する。
また、欠落情報追加部１１０は、撮像装置の機種や品番が判れば、撮像装置の撮像装置分光感度を、撮像装置のメーカーのホームページなどから、インターネットの検索により取得する。
また、欠落情報追加部１１０は、撮像装置のカメラ設定判れば、撮像画像のＩＳＯ感度、シャッタースピードや絞りなどから、撮像装置の撮像時における撮像装置分光感度のスケール（明るさの度合）を推定することができる。

また、欠落情報追加部１１０は、分光情報において、分光反射率が不明であり、ＲＧＢ画像、光源分光分布及び撮像装置分光感度が既知の場合、被写体の種類毎の分光反射率を主成分分析して取得されている分光主成分の主成分曲線の各々に乗ずる係数を調整しつつ、ＲＧＢ画像のＲＧＢ値となる分光反射率を推定することで、分光反射率を取得する。

また、欠落情報追加部１１０は、分光情報において、分光反射率及び光源分光分布が不明で、カラーチャートを撮像したＲＧＢ画像、カラーチャートの分光反射率、撮像装置分光感度が既知の場合、光源分光分布の主成分分析をして取得されている分光主成分の主成分曲線の各々に乗ずる係数を調整しつつ、カラーチャートのＲＧＢ画像のＲＧＢ値となる分光分布を推定することで、光源分光分布を取得する。
そして、欠落情報追加部１１０は、既知のＲＧＢ画像と、既知の撮像装置分光感度と、推定した分光分布とにより、被写体の種類毎の分光反射率を主成分分析して取得されている分光主成分の主成分曲線の各々に乗ずる係数を調整しつつ、ＲＧＢ画像のＲＧＢ値となる分光反射率を推定することで、分光反射率を取得する。

また、欠落情報追加部１１０は、分光情報において、分光反射率及び撮像装置分光感度が不明であり、カラーチャートを撮像したＲＧＢ画像、カラーチャートの分光反射率、光源分光分布が既知の場合、撮像装置分光感度の主成分分析をして取得されている分光主成分の主成分曲線の各々に乗ずる係数を調整しつつ、カラーチャートのＲＧＢ画像のＲＧＢ値となる分光感度を推定することで、撮像装置分光感度を取得する。
そして、欠落情報追加部１１０は、既知のＲＧＢ画像と、推定した撮像装置分光感度と、既知の光源分光分布とにより、被写体の種類毎の分光反射率を主成分分析して取得されている分光主成分の主成分曲線の各々に乗ずる係数を調整しつつ、ＲＧＢ画像のＲＧＢ値となる分光反射率を推定することで、分光反射率を取得する。

また、欠落情報追加部１１０は、分光情報においてＲＧＢ画像のみのデータがあり、分光反射率、光源分光分布及び撮像装置分光感度の２個以上のデータが欠落している場合、分光反射率、光源分光分布及び撮像装置分光感度の各々を、主成分曲線の各々に乗算する係数を、最小二乗法を用いて調整しつつ推定したり、あるいは機械学習モデルを用いて推定したりして、欠落データを補完する構成としてもよい。
補完用情報記憶部１１１には、基礎分光情報記憶部１０５における分光情報毎に、上述したチャート画像、撮像場所、撮像時刻、光源種、被写体の種類、カメラ機種や品番、カメラ設定などの情報が予め書き込まれて記憶されている。

上述したように、本実施形態によれば、第１の実施形態と同様に、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

また、本実施形態によれば、分光情報における分光反射率、光源分光分布及び撮像装置分光感度が欠落しており、教師データを生成することができない場合、この欠落した情報を、補完用情報記憶部１１１に記憶されている補完情報により取得することが可能となるため、多くの教師データを生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

＜第５の実施形態＞
以下、本発明の第５の実施形態について、図面を参照して説明する。
本発明の第５の実施形態の構成は、図３の第１の実施形態と同様である。以下、第５の実施形態の機械学習用教師データ生成システム１００Ｅが第１の実施形態の機械学習用教師データ生成システム１００と異なる構成及び動作について説明する。第５の実施形態による機械学習用教師データ生成システム１００Ｅは、第１の実施形態における対象物体の２次元の撮像画像を、当該対象物体の３次元形状モデルに拡張している。

すなわち、本実施形態における教師データを提供する対象の機械学習モデルは、ＲＧＢ画像を入力データとして、分光反射率画像を推定して出力データとする機械学習モデルに加え、３次元形状モデル（三次元形状情報）の形状構成単位のボクセル毎のＲＧＢ値が示された３次元ＲＧＢ形状モデルを入力データとし、３次元形状モデルの各々のボクセルの分光反射率を推定し、３次元分光反射率形状モデルとして出力データを出力する機械学習モデルも含んでいる。
また、３次元仮想空間における異なる視点に配置された仮想撮像装置で３次元形状モデルを撮像し、新たな仮想撮像画像を生成することにより、撮像画像（２次元）によるデータセットを拡張することができる。

図１４は、本発明の第５の実施形態における基礎分光情報記憶部１０５に予め書き込まれている第２分光情報テーブルの構成例を示す図である。第１の実施形態において説明した分光情報テーブルも、本実施形態における第２分光情報テーブルとともに基礎分光情報記憶部１０５に予め書き込まれている。
図１４において、第２分光情報テーブルは、分光情報テーブルは、レコード毎に、３次元形状分光情報識別情報、分光反射率画像インデックス（またはＲＧＢ画像あるいは分光放射輝度画像などの少なくとも撮像装置分光感度インデックス、光源分光分布インデックス分光反射率や３次元形状モデル（多視点画像）情報インデックスの各々の欄を備えている。

３次元分光情報識別情報は、分光情報（分光反射率、撮像装置分光感度、光源分光分布）の各々を抽出した３次元形状モデル（あるいは多視点画像）のそれぞれを識別する識別情報である。ここで、撮像装置分光感度は、分光情報を抽出した撮像画像をデジタルカメラで撮像された場合における分光情報である。また、ハイパースペクトルカメラで撮像した分光放射輝度画像には含まれない情報である。

光源分光分布インデックスは、３次元形状モデルを生成した際に用いた撮像画像を撮像した環境の光源の分光分布情報（光源分光分布、波長と分光放射輝度との対応を示す曲線グラフなど）が書き込まれている領域を示す情報、たとえばアドレスである。
撮像装置分光感度インデックスは、３次元形状モデルを生成した際に用いた撮像画像を撮像した撮像装置（デジタルカメラの場合）の分光感度情報（撮像装置分光感度、波長と感度との対応を示す曲線グラフなど）が書き込まれている領域を示す情報、たとえばアドレスである。

３次元形状モデル情報インデックスは、撮像画像（多視点画像）の各々に対応して予め求められている３次元形状モデルを構成するボクセルの各々の座標と分光反射率とが書き込まれている領域を示す情報、たとえばアドレスである。多視点画像は、例えばすでに説明した分光画像、あるいは画素毎の分光反射率の情報を備える画像である。また、この多視点画像としては、ＲＧＢ画像あるいは分光放射輝度画像など、少なくとも各ボクセルの分光反射率、光源分光分布の情報を（撮像装置がデジタルカメラの場合、撮像装置分光感度も含む）含む画像でもよい。

また、データセット仕様入力部１０２から入力される仕様情報には、第１の実施形態の情報に加えて、機械学習モデルの入力データとして、少なくとも３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデルと、出力データとして少なくとも３次元分光反射率形状モデルとが加わる。
また、仕様情報における画像処理の方式には、少なくとも、別視点画像の生成数、マスク設定、シェーディングの有無、シェーディングのパターンなどが加わる。

別視点画像の生成数（視点数）は、同一の対象物体（例えば、人体の頭部や手などの部位）の３次元形状モデルを３次元仮想空間において異なる視点に配置された仮想撮像装置が撮像した仮想撮像画像の枚数を示し、当該仮想撮像画像を撮像する上記視点数を示している。 また、別視点画像の生成数は、仕様情報における生成する教師データの数であるデータ数内に含まれる数値である。これにより、教師データ生成部１０３は、３次元仮想空間において撮像する視点の数を増加させることにより、一つの３次元形状に対応した分光情報から、複数の異なる視点から観察される例えば、２次元のＲＧＢ画像及び分光反射率画像の教師データのデータセット数を生成することにより、一つの分光情報から生成できるデータセット数を容易に増加させることができる。

マスク設定は、３次元形状に対して３次元仮想空間における特定の視点の位置、すなわち特定の方向から撮像した３次元形状の仮想撮像画像を得たい場合、その特定の方向から見たいずれかの３次元形状の画像をテンプレートとして示したデータである。例えば、人体の顔や手の甲などの人体の部位の仮想撮像画像を要求する場合、一般的な正面から見た顔の画像や手の甲の画像をマスクとして入力することにより、教師データ生成部１０３は、マスクに対応した画像となるように、基礎分光情報記憶部１０５における３次元形状モデルの各々を撮像する３次元仮想空間の視点を調整し、当該視点から撮像することにより仮想撮像画像を生成する。

シェーディング（光源から対象物に照射されて生成される影）の有無は、仮想撮像画像に対してシェーディングを重畳させるか否かの指示を行うデータである。シェーディング無しの場合、シェーディング除去が行われる。このシェーディング除去は、例えば、３次元分光反射率形状モデルから生成する仮想撮像画像におけるシェーディングを除去する処理を示す。３次元仮想空間において、光を照射する光源の位置において３次元形状モデルにシェーディングが係る領域が異なるため、３次元形状モデルの撮像画像におけるシェーディングの位置が変化する。教師データ生成部１０３は、仕様情報においてシェーディング無しが指示されている場合、上述した３次元分光反射率画像に元々あったシェーディングを除去する。

一方、シェーディング有りの場合、例えば、教師データにおける入力データとするＲＧＢ画像にシェーディングを重畳させて、推定される出力データの分光反射率画像にシェーディングの影響をなくすような学習を機械学習モデルに行わせる。
パターンは、シェーディングが有りの場合に、上記マスクに対して、仮想撮像画像においてシェーディングのデータを重畳する領域を設定するデータである。
このため、教師データ生成部１０３は、例えば、このパターン設定により、シェーディングの変化をパターンに対応して、仮想撮像画像であるＲＧＢ画像に重畳させる処理を行う。

データセット仕様入力部は、ボクセルのデータの種類が、分光放射輝度と、分光反射率と、ＲＧＢ値とのいずれかで表される３次元形状モデルの生成の要求が入力された場合、教師データ生成部１０３に対して、要求された種類のデータのボクセルから構成される３次元形状の生成を指示する。
これにより、教師データ生成部１０３は、データセット仕様の仕様情報において、教師データのデータセットの生成の際に、３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデルと、別視点画像の生成数、マスク設定、シェーディングなど、３次元形状モデルのデータが必要な場合、多視点画像から３次元形状を復元し、３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデルなどの生成を行う。

そして、教師データ生成部１０３は、３次元仮想空間における任意の視点、あるいは入力される視点から、３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデルの各々を撮像し、仮想撮像画像として、ＲＧＢ画像、分光放射輝度画像、分光反射率画像のそれぞれを生成する。
また、ＲＧＢ画像、分光放射輝度画像及び分光反射率画像と、ＲＧＢ値、分光反射率、分光放射輝度のそれぞれとに対する教師データ生成部１０３における教師データを生成する処理については、第１の実施形態から第４の実施形態と同様である。
また、教師データ生成部１０３は、別視点画像の生成数、マスク設定、シェーディングの有無、シェーディングのパターンなどの仕様情報に対応して教師データの生成を行う。

上述したように、本実施形態によれば、第１の実施形態と同様に、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

また、本実施形態によれば、３次元仮想空間において、対象物の３次元形状モデル（３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデル）を、複数の視点から撮像して仮想撮像画像（ＲＧＢ画像、分光放射輝度画像及び分光反射率画像）を生成し、さらにシェーディングの有無や、シェーディングのデータをかける（施す）領域を任意に設定することが可能であり、多くの教師データを生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

＜第６の実施形態＞
以下、本発明の第６の実施形態について、図面を参照して説明する。
図１５は、本発明の第６の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。
図１５において、機械学習用教師データ生成システム１００Ｆは、データ入力部１０１、データセット仕様入力部１０２、教師データ生成部１０３、教師データ出力部１０４、基礎分光情報記憶部１０５、教師データ記憶部１０６、類似３次元形状生成部１１２及び類似３次元形状記憶部１１３の各々を備えている。

以下、本実施形態による機械学習用教師データ生成システム１００Ｆについて、第５の実施形態における機械学習用教師データ生成システム１００Ｅと異なる点のみを説明する。
データセット仕様入力部１０２は、対象物体の３次元形状モデルと類似する類似３次元形状を生成の要求が仕様情報として入力された場合、類似３次元形状生成部１１２に対して、類似３次元形状の生成を指示する。
これにより、類似３次元形状生成部１１２は、対象物体の分光情報における３次元形状モデルの分光反射率をそのまま用いて、当該３次元形状モデルと類似する類似３次元形状を生成する。
ここで、類似３次元形状生成部１１２は、基礎分光情報記憶部１０５における第２分光情報テーブルの３次元形状モデルと同一の種類（例えば、人体の各部位）の対象物の３次元形状モデルの生成を行う。

すなわち、類似３次元形状生成部１１２は、例えば、第２分光情報テーブルの３次元形状モデルがある人間の人体における頭部であれば、この頭部の３次元形状モデルにおける分光反射率（あるいはＲＧＢ値、分光放射輝度）を、他の人間の頭部の３次元形状モデルに対して使用し、教師データの生成に用いる、対象物の３次元形状モデル（３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデル）を生成する。

類似３次元形状記憶部１１３には、対象物毎に、当該対象物と同一の種類の３次元形状モデル（あるいは多視点画像）が予め書き込まれて記憶されている。この３次元形状モデルは、ボクセルの座標値のみの情報でも、ボクセル毎のＲＧＢ値、分光反射率や分光放射輝度の値を備えたもののいずれでもよい。
類似３次元形状生成部１１２は、データセット生成の仕様情報に、３次元形状の類似データを生成するという指示が記載されていた場合、教師データを生成する対象物と同一の種類の３次元形状モデルを類似３次元形状記憶部１１３を参照して読み出す。

そして、類似３次元形状生成部１１２は、読み出した３次元形状モデルを類似３次元形状モデルとして、当該類似３次元形状モデルに対して、第２分光情報テーブルの３次元形状モデルの分光反射率（またはＲＧＢ値、分光放射輝度）を反映させる。
このとき、類似３次元形状生成部１１２は、例えば、対象物が人体の部位である頭部である場合、類似３次元形状モデルである頭部の構成部分である目、口、鼻及び耳などの分光反射率（またはＲＧＢ値、分光放射輝度）を、第２分光情報テーブルの３次元形状モデルである頭部の構成部分である目、口、鼻及び耳などの対応する分光反射率（またはＲＧＢ値、分光放射輝度）とする処理を行う。

また、類似３次元形状生成部１１２は、基礎分光情報記憶部１０５における第２分光情報テーブルの３次元形状モデルを任意に変形させることにより、同一の種類（例えば、人体の各部位）の対象物の他の３次元形状モデルとしての類似３次元形状モデルの生成を行う構成としてもよい。
上述した部位を変形させる部分は、データセット仕様の仕様情報として設定する。例えば、対象物が人体の部位である頭部であれば、頭部の構成部分である目、口、鼻及び耳などを、変形対象の構成部分として、部位の変形の仕様情報として入力する。ここで、変形には、構成部分の大きさ、形状の調整、構成部分の各々の間の距離の調整なども含む。

そして、類似３次元形状生成部１１２は、例えば、第２分光情報テーブルの３次元形状モデルがある人間の人体における頭部であれば、この頭部の３次元形状モデルにおける分光反射率（あるいはＲＧＢ値、分光放射輝度）を、変形した頭部の３次元形状モデルに対して同様に使用し、教師データの生成に用いる、対象物の３次元形状モデル（３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデル）を生成する。

上述したように、本実施形態によれば、第１の実施形態と同様に、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

また、本実施形態によれば、３次元仮想空間において、対象物の３次元形状モデル（３次元ＲＧＢ形状モデル、３次元分光放射輝度形状モデル及び３次元分光反射率形状モデル）を元に、当該３次元形状モデルと同一の種類であり、かつ異なる３次元形状である類似３次元形状モデルを生成し、教師データを生成する際に用いる３次元形状複数の数を増加させることにより、多くの教師データを生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

＜第７の実施形態＞
以下、本発明の第７の実施形態について、図面を参照して説明する。
図１６は、本発明の第７の実施形態による機械学習用教師データ生成システムの構成例を示すブロック図である。
図１６において、機械学習用教師データ生成システム１００Ｇは、データ入力部１０１、データセット仕様入力部１０２、教師データ生成部１０３、教師データ出力部１０４、基礎分光情報記憶部１０５、教師データ記憶部１０６、コンピュータグラフィックデータ生成部１１４及びコンピュータグラフィックデータ記憶部１１５の各々を備えている。

以下、本実施形態による機械学習用教師データ生成システム１００Ｆについて、第１の実施形態における機械学習用教師データ生成システム１００と異なる点のみを説明する。
コンピュータグラフィックデータ生成部１１４は、データセットの仕様情報に示されている生成数だけ、指定された対象物に対して異なる形状のＣＧ（computer graphics）データを生成する。
また、コンピュータグラフィックデータ生成部１１４は、仕様情報に示されている対象物と同様のＲＧＢ値であり、かつ異なる分光反射率を有する色情報を、生成したＣＧデータに付与する。

図１７は、教師データ生成部１０３がＣＧデータをＲＧＢ画像に付与する処理を説明する概念図である。
教師データ生成部１０３は、教師データとして生成した、対象物として手の甲５５１が撮像されたＲＧＢ画像４５１に対して、上記手の甲５５１と隣接した位置にオブジェクト（擬似対象物体）５５２として、ＣＧデータを配置し、ＲＧＢ画像４５２を生成する。
ここで、コンピュータグラフィックデータ生成部１１４は、ＲＧＢ画像における対象物である手の甲５５１の画素値における色成分Ｒ、色成分Ｇ及び色成分Ｂの各々と、オブジェクト５５２の画素値の色成分Ｒ’、色成分Ｇ’、色成分Ｂ’のそれぞれとは同様の数値として生成する。

すなわち、人間には、手の甲５５１とオブジェクト５５２とが同様の肌色と視認する数値として、コンピュータグラフィックデータ生成部１１４が色成分Ｒ’、色成分Ｇ’及び色成分Ｂ’の各々を設定する。
ここで、コンピュータグラフィックデータ生成部１１４は、例えば、色成分Ｒと色成分Ｒ’との差分、色成分Ｇと色成分Ｇ’との差分、色成分Ｂと色成分Ｂ’との差分が、それぞれ予め設定した差分範囲に含まれる数値となるように、色成分Ｒ’、色成分Ｇ’、色成分Ｂ’の数値を設定する。

そして、コンピュータグラフィックデータ生成部１１４は、生成したＣＧデータを、使用する対象となる対象物毎に対応させて、コンピュータグラフィックデータ記憶部１１５に書き込んで記憶させる。
教師データ生成部１０３は、データセットの仕様情報にＣＧデータの生成が指定されている場合、対象物に対応したＣＧデータをコンピュータグラフィックデータ記憶部１１５から読み出し、ＣＧデータの各々を同一のＲＧＢ画像、あるいはそれぞれ異なるＲＧＢ画像に配置し、新たなＲＧＢ画像を生成する。

また、コンピュータグラフィックデータ生成部１１４は、手の甲５５１の分光反射率５６１と、オブジェクト５５２の分光反射率５６２との各々が、異なる分光反射率として、すなわち波長－スペクトル強度の曲線が異なる分光特性として設定する。図１７における分光反射率は、横軸が波長を示し、縦軸がスペクトル強度を示している。
本実施形態においては、図１７において、オブジェクト５５２を含むＲＧＢ画像４０２を入力データとし、出力データとしてオブジェクト５５２を含まない手の甲５５１のみの分光反射率画像（また分光画像）を出力データとして教師データのデータセットを生成し、機械学習モデルを学習させる。これにより、同様の色の異なる形状の画像がノイズとして含まれるＲＧＢ画像から、取得したい対象物のみの分光反射率画像を推定することができる機械学習モデルを得ることができる。

上述したように、本実施形態によれば、第１の実施形態と同様に、予めＲＧＢ画像や分光放射率画像などを計測して取得した分光反射率の情報（分光反射率画像）、光源分光分布の情報及び撮像装置分光感度の情報の各々により、分光反射率画像における撮像された対象物に対する画像処理を行うことにより、一つの分光反射率画像から複数の異なる分光反射率画像を生成し、この生成した分光反射率画像と、既知の光源分光分布や撮像装置分光感度を用いて、ＲＧＢ画像や分光放射率画像を生成するため、画像処理の分だけ分光情報を増加させることができ、ＲＧＢ画像や分光放射率画像などの分光反射率の情報を含む画像から、分光反射率、光源の分光分布及び撮像装置の分光感度などの分光情報を推定する機械学習モデルの学習に用いる教師データを、当該機械学習モデルの学習に必要な数だけ、すでに存在する分光情報を画像処理により調整することにより生成することが可能となり、機械学習モデルの推定精度に対応した教師データを供給することができる。

また、本実施形態によれば、入力データとして用いるＲＧＢ画像に対して、当該ＲＧＢ画像に撮像された対象物とともに、対象物と同様の色成分ＲＧＢであり、かつ分光反射率が異なる色のＣＧデータをノイズとして配置することにより、実際の出力データの推定処理において、ノイズを除去した対象物のみの分光反射率画像（分光画像）を推定することが可能となる、推定精度の高い機械学習モデルを取得できる教師データのデータセットを供給することができる。
本実施形態においては、２次元で説明したが、第５の実施形態及び第６の実施形態に対して３次元形状のＣＧデータを生成して用いる構成としてもよい。

また、上述した第１の実施形態から第７の実施形態の各々を、それぞれ組み合わせた構成としてもよい。

なお、本発明における図３の機械学習用教師データ生成システム１００、図６の機械学習用教師データ生成システム１００Ｂ、図１０の機械学習用教師データ生成システム１００Ｃ、図１３の機械学習用教師データ生成システム１００Ｄ、図１５の機械学習用教師データ生成システム１００Ｆ、及び図１６の機械学習用教師データ生成システム１００Ｇのそれぞれの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、機械学習モデルを学習させる際に用いる教師データのデータセットを生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１００，１００Ｂ、１００Ｃ、１００Ｄ、１００Ｆ、１００Ｇ…機械学習用教師データ生成システム
１０１…データ入力部
１０２…データセット仕様入力部
１０３…教師データ生成部
１０４…教師データ出力部
１０５…基礎分光情報記憶部
１０６…教師データ記憶部
１０７…光源分光分布記憶部
１０８…撮像装置分光感度記憶部
１０９…分光成分情報記憶部
１１０…欠落情報取得部
１１１…補完用情報記憶部
１１２…類似３次元形状生成部
１１３…類似３次元形状記憶部
１１４…コンピュータグラフィックデータ生成部
１１５…コンピュータグラフィックデータ記憶部

Claims (24)

1. 少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、当該撮像画像の撮像装置の分光感度、前記撮像画像を撮像した環境の光源の分光分布の各々を分光情報として予め書き込まれて記憶されている基礎分光情報記憶部と、
   前記分光情報から生成する、機械学習モデルへの入力データと、当該入力データにより前記機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力部と、
   前記仕様に対応して、前記分光情報の各々を調整して前記入力データ及び前記出力データとを備える教師データを生成する教師データ生成部と
   を備える
   ことを特徴とする機械学習用教師データ生成システム。
2. 前記教師データ生成部が、
   前記分光情報に含まれない、前記撮像画像における新たな分光情報を、前記入力データまたは前記出力データとして生成する
   ことを特徴とする請求項１に記載の機械学習用教師データ生成システム。
3. 前記分光情報から前記撮像装置が撮像した撮像画像を、前記教師データとして教師用撮像画像として生成する
   ことを特徴とする請求項１または請求項２に記載の機械学習用教師データ生成システム。
4. 前記分光情報を調整する複数の種類の光源の分光分布である調整用分光分布が予め書き込まれて記憶されている光源分光分布記憶部
   をさらに有し、
   前記教師データ生成部が、
   前記分光情報における前記分光分布に加え、前記調整用分光分布を用いて、前記教師用撮像画像を生成する
   ことを特徴とする請求項３に記載の機械学習用教師データ生成システム。
5. 前記教師データ生成部が、前記調整用分光分布間での波長毎のスペクトル強度を所定の比率にて合成し、新たな合成分光分布を生成し、当該合成分光分布を用いて、前記教師用撮像画像を生成する
   ことを特徴とする請求項４に記載の機械学習用教師データ生成システム。
6. 前記分光情報を調整する複数の種類の撮像装置の分光感度である調整用分光感度が予め書き込まれて記憶されている撮像装置分光感度記憶部
   をさらに有し、
   前記教師データ生成部が、
   前記分光情報における前記分光感度に加え、前記調整用分光感度を用いて、前記教師用撮像画像を生成する
   ことを特徴とする請求項３から請求項５のいずれか一項に記載の機械学習用教師データ生成システム。
7. 前記教師データ生成部が、
   前記調整用分光感度間での波長毎のスペクトル強度を所定の比率にて合成し、新たな合成分光感度を生成し、当該合成分光感度を用いて、前記教師用撮像画像を生成する
   ことを特徴とする請求項６に記載の機械学習用教師データ生成システム。
8. 前記撮像画像における対象物体の種別毎に、当該種別の分光反射率における含有比率が大きい分光成分が予め書き込まれて記憶されている対象物体分光特性記憶部
   をさらに有し、
   前記教師データ生成部が、
   前記対象物体の分光反射率を、調整した前記分光成分により変更させ、新たな分光反射率である調整用分光反射率を生成して、前記教師用撮像画像を生成する
   ことを特徴とする請求項３から請求項７のいずれか一項に記載の機械学習用教師データ生成システム。
9. 前記教師データ生成部が、
   分光成分に所定の係数を乗算し、乗算結果を前記分光反射率に対して加算、あるいは減算を行うことにより、前記調整用分光反射率を生成する
   ことを特徴とする請求項８に記載の機械学習用教師データ生成システム。
10. 前記分光成分が、前記撮像画像における対象物体の種別毎に、当該種別の分光反射率を主成分分析した複数の主成分分光成分であり、
    前記教師データ生成部が、
    前記主成分分光成分の各々に係数を乗算し、前記主成分分光成分の乗算結果のそれぞれを加算して、前記調整用分光反射率を生成する
    ことを特徴とする請求項８に記載の機械学習用教師データ生成システム。
11. 前記対象物体が人体における肌である場合、前記分光成分が少なくともメラニン及びヘモグロビンの各々の分光特性であり、
    前記教師データ生成部が、
    前記メラニン及び前記ヘモグロビンの各々の前記分光特性を用いて、前記調整用分光反射率を生成する
    ことを特徴とする請求項８に記載の機械学習用教師データ生成システム。
12. 前記撮像画像を生成するために必要な情報が前記分光情報において欠落している場合、欠落している情報である欠落情報を取得する欠落情報取得部
    をさらに有し、
    少なくとも分光情報に含まれる前記欠落情報と異なる他の情報を元に、当該欠落情報を取得する
    ことを特徴とする請求項１から請求項１１のいずれか一項に記載の機械学習用教師データ生成システム。
13. 前記他の情報が、前記分光情報における前記欠落情報を補完するために用いる、分光情報における前記分光反射率、前記分光感度及び前記分光分布を特定する補完用情報である
    ことを特徴とする請求項１２に記載の機械学習用教師データ生成システム。
14. 前記分光情報が、前記対象物体の３次元形状の情報である３次元形状情報を含む
    ことを特徴とする請求項１から請求項１３のいずれか一項に記載の機械学習用教師データ生成システム。
15. 前記３次元形状情報が、同一の対象物体を複数の異なる視点から撮像した撮像画像の各々からなる多視点画像であり、
    前記教師データ生成部が、
    前記多視点画像から前記対象物体の前記３次元形状を生成する
    ことを特徴とする請求項１４に記載の機械学習用教師データ生成システム。
16. 前記教師データ生成部が、
    前記３次元形状を所定の視点から観察される仮想撮像画像、当該仮想撮像画像に対応する前記分光反射率の情報を有する画像のそれぞれを生成する
    ことを特徴とする請求項１４または請求項１５に記載の機械学習用教師データ生成システム。
17. 前記教師データ生成部が、前記データセット仕様入力部からシェーディングの有無の情報及び前記シェーディングを施す範囲が供給された場合、前記仮想撮像画像、当該仮想撮像画像に対応する前記分光反射率の情報を有する画像の前記範囲にシェーディングを施す
    ことを特徴とする請求項１６に記載の機械学習用教師データ生成システム。
18. 前記データセット仕様入力部が、
    ボクセルのデータの種類が、分光放射輝度と、分光反射率と、ＲＧＢ値とのいずれかで表される前記３次元形状の生成の要求が入力された場合、前記教師データ生成部に対して、要求された種類のデータのボクセルから構成される前記３次元形状の生成を指示し、
    前記教師データ生成部が、要求された種類のデータのボクセルからなる前記３次元形状を生成する
    ことを特徴とする請求項１４から請求項１７のいずれか一項に記載の機械学習用教師データ生成システム。
19. 前記３次元形状と類似した類似３次元形状を生成する類似形状生成部をさらに備え、
    前記データセット仕様入力部が、前記対象物体の前記３次元形状と類似する類似３次元形状を生成の要求が入力された場合、前記類似形状生成部に対して、前記類似３次元形状の生成を指示し、
    前記類似形状生成部が、前記対象物体の前記３次元形状の分光反射率をそのまま用いて、当該３次元形状と類似する前記類似３次元形状を生成する
    ことを特徴とする請求項１４から請求項１８のいずれか一項に記載の機械学習用教師データ生成システム。
20. 前記対象物体が人体における所定の部位である
    ことを特徴とする請求項１から請求項１９のいずれか一項に記載の機械学習用教師データ生成システム。
21. コンピュータグラフィックデータを生成するコンピュータグラフィックデータ生成部をさらに備え、
    前記データセット仕様入力部が、前記対象物体の他にコンピュータグラフィックデータによる擬似対象物体を生成する要求が入力された場合、前記コンピュータグラフィックデータ生成部に対して、前記擬似対象物体の生成を指示し、
    前記コンピュータグラフィックデータ生成部が、前記対象物体が撮像された前記撮像画像に合成するための前記擬似対象物体をコンピュータグラフィックにより生成する
    ことを特徴とする請求項１から請求項１９のいずれか一項に記載の機械学習用教師データ生成システム。
22. 前記擬似対象物体のＲＧＢ画像における色成分Ｒ、色成分Ｇ及び色成分Ｂとの各々が、前記対象物体の色成分Ｒ、色成分Ｇ、色成分Ｂそれぞれと同様であり、かつ前記擬似対象物体の分光反射率が前記対象物体と異なっている
    ことを特徴とする請求項２１に記載の機械学習用教師データ生成システム。
23. データセット仕様入力が、少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、当該撮像画像の撮像装置の分光感度、前記撮像画像を撮像した環境の光源の分光分布の各々を分光情報として予め書き込まれて記憶されている基礎分光情報記憶部における前記分光情報から生成する、機械学習モデルへの入力データと、当該入力データにより前記機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力過程と、
    教師データ生成部が、前記仕様に対応して、前記分光情報の各々を調整して前記入力データ及び前記出力データとを備える教師データを生成する教師データ生成過程と
    を含む
    ことを特徴とする機械学習用教師データ生成方法。
24. 少なくとも、対象物体の撮像画像を構成する当該対象物体の分光反射率、当該撮像画像の撮像装置の分光感度、前記撮像画像を撮像した環境の光源の分光分布の各々を分光情報として予め書き込まれて記憶されている基礎分光情報記憶部における前記分光情報から、機械学習モデルの教師データを生成する機械学習用教師データ生成システムとしてコンピュータを機能させるプログラムであって、
    前記コンピュータを、
    前記分光情報から生成する、前記機械学習モデルへの入力データと、当該入力データにより前記機械学習モデルが推定する出力データの関係を示す仕様を入力するデータセット仕様入力手段、
    前記仕様に対応して、前記分光情報の各々を調整して前記入力データ及び前記出力データとを備える前記教師データを生成する教師データ生成手段
    として機能させるためのプログラム。

Images