JP2017045441A - 画像生成方法及び画像生成システム - Google Patents

Abstract

【課題】撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に用いる訓練画像を生成することができる画像生成方法を提供する。【解決手段】画像認識のための機械学習に用いる訓練画像を生成する画像生成システムにおける画像生成方法において、画像生成システムのプロセッサが、第一の画像１１に含まれる第一の領域１１ａの画像と、第二の画像１２に含まれる第二の領域１２ａの画像とを取得し（Ｓ１１０）、第一の領域１１ａの画像の色情報を、第二の領域１１ｂの画像の色情報に類似させるように第一の領域１１ａの画像を変換する第一の変換パラメータを算出し（Ｓ１２０）、第一の変換パラメータを用いて第一の画像１１を変換し（Ｓ１３０）、変換後の第一の画像と第二の画像とを合成することで第三の画像を生成する（Ｓ１４０）。【選択図】図２

Description

本開示は、画像認識のための機械学習に用いる訓練画像を生成する画像生成方法及び画像生成システムに関する。

画像認識に、機械学習が利用される場合がある。このような画像認識のための機械学習としてディープラーニング（Deep Learning）が用いられる場合、大量の訓練データが要求される。

このような大量の訓練データを生成するための方法が、特許文献１に開示されている。特許文献１では、まず、撮影条件を変更しながら物体を撮影することで複数の物体撮影画像を生成する。そして、各物体撮影画像について、異なる撮影条件で撮影された物体撮影画像を用いて当該物体撮影画像から物体領域を抽出する。そして、抽出された物体領域の画像を背景画像と合成することで、新たな訓練画像を生成することができる。

特開２０１４−１７８９５７号公報

しかしながら、上記従来技術は、撮影条件を利用するので、撮影条件が既知の画像にしか適用できない。したがって、例えば、インターネット上の撮影条件が未知の画像を利用して訓練画像を生成することができない。

そこで、本開示は、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に用いる訓練画像を生成することができる画像生成方法及び画像生成システムを提供する。

本開示の一態様に係る画像生成方法は、画像認識のための機械学習に用いる訓練画像を生成する画像生成システムにおける画像生成方法であって、前記画像生成システムのプロセッサが、第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得し、前記第一の領域の画像の色情報を前記第二の領域の画像の色情報に類似させるように前記第一の領域の画像を変換する第一の変換パラメータを算出し、前記第一の変換パラメータを用いて前記第一の画像を変換し、変換後の前記第一の画像と前記第二の画像とを合成することで第三の画像を生成する。

なお、これらの包括的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る画像生成方法は、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に適する訓練画像を生成することができる。

図１は、実施の形態１に係る学習システムを示すブロック図である。 図２は、実施の形態１に係る画像生成装置の処理を示すフローチャートである。 図３Ａは、実施の形態１における第一の画像の一例を示す図である。 図３Ｂは、実施の形態１における第二の画像の一例を示す図である。 図４は、実施の形態１における第一の領域及び第二の領域の指定の一例を示す図である。 図５は、実施の形態１における変換テーブルの算出を説明するための図である。 図６Ａは、実施の形態１における第三の画像の一例を示す図である。 図６Ｂは、実施の形態１における第四の画像の一例を示す図である。 図６Ｃは、実施の形態１における第四の画像の他の一例を示す図である。 図７は、実施の形態２に係る学習システムを示すブロック図である。 図８は、実施の形態２に係る画像生成装置の処理を示すフローチャートである。 図９は、実施の形態３に係る学習システムを示すブロック図である。 図１０は、実施の形態３に係る画像生成装置の処理を示すフローチャートである。

（本開示の概要）
本開示の一態様に係る画像生成方法は、画像認識のための機械学習に用いる訓練画像を生成する画像生成システムにおける画像生成方法であって、前記画像生成システムのプロセッサが、第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得し、前記第一の領域の画像の色情報を前記第二の領域の画像の色情報に類似させるように前記第一の領域の画像を変換する第一の変換パラメータを算出し、前記第一の変換パラメータを用いて前記第一の画像を変換し、変換後の前記第一の画像と前記第二の画像とを合成することで第三の画像を生成する。

これによれば、第一の変換パラメータを用いて変換された第一の画像と第二の画像とを合成することで訓練画像を生成することができる。この第一の変換パラメータは、第一の領域の画像の色情報を第二の領域の画像の色情報に類似させるように第一の領域の画像を変換するためのパラメータである。したがって、２つの画像の合成による色の不自然さの発生を抑制することができ、画像認識のための機械学習の訓練画像に適した自然な画像を生成することができる。つまり、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に適する訓練画像を生成することができる。

例えば、前記画像生成方法は、さらに、前記第一の変換パラメータを用いて変換された前記第一の領域の画像の色情報と前記第二の領域の画像の色情報との間の類似性から誤差値を求め、前記誤差値が所定の閾値未満である場合に、前記第一の変換パラメータを用いた前記第一の画像の変換を許可し、前記誤差値が前記所定の閾値以上である場合に、前記第一の変換パラメータを用いた前記第一の画像の変換を禁止してもよい。

これによれば、第一の変換パラメータを用いて変換された第一の領域の画像の色情報の誤差値が所定の閾値以上である場合に、第一の画像の変換を禁止することができる。したがって、第一の領域の画像の色情報を第二の領域の画像の色情報に類似させることができない場合に、合成によって不自然な訓練画像が生成されることを防ぐことができる。

例えば、前記画像生成方法は、さらに、前記誤差値が前記所定の閾値以上である場合に、前記第一の領域及び前記第二の領域の各々のサイズを縮小させ、縮小されたサイズの前記第一の領域の画像と、縮小されたサイズの前記第二の領域の画像とを取得し、縮小されたサイズの前記第一の領域の画像の色情報を、縮小されたサイズの前記第二の領域の画像の色情報に類似させるように、縮小されたサイズの前記第一の領域の画像を変換する第二の変換パラメータを算出し、前記第二の変換パラメータを用いて前記第一の画像を変換してもよい。

これによれば、第一の変換パラメータを用いて変換された第一の領域の画像の色情報の誤差値が所定の閾値以上である場合に、第一の領域及び第二の領域のサイズを縮小させて、変換パラメータを再算出することができる。第一の領域及び第二の領域が小さいほど、２つの領域の画像の色情報を類似させやすくなるが、局所的な色情報の影響によって不適切な変換パラメータが算出される可能性も高くなる。そこで、誤差値に応じて第一の領域及び第二の領域のサイズを縮小していくことにより、２つの領域の画像の色情報を類似させつつ、第一の領域及び第二の領域のサイズが小さくなりすぎることを抑制することができる。その結果、適切な変換パラメータを算出することが可能となり、合成によって不自然な訓練画像が生成されることを抑制することができる。

例えば、前記誤差値は、前記第一の変換パラメータを用いて変換された前記第一の領域内の各画素と、前記第二の領域内の対応する画素との間の画素値の差分の平均であり、前記所定の閾値は、前記第一の領域及び前記第二の領域のサイズが小さいほど小さくしてもよい。

これによれば、第一の領域及び第二の領域のサイズに応じた閾値を用いることができる。上述したように、第一の領域及び第二の領域が小さいほど、２つの領域の画像の色情報を類似させることが容易であるので、その特性に応じて閾値を変化させることできる。その結果、不適切な変換パラメータが変換に利用されることを抑制することができ、合成によって不自然な訓練画像が生成されることを抑制することができる。

例えば、前記画像生成方法は、さらに、前記第一の画像に含まれる複数の第一の領域の画像と、前記第二の画像に含まれる複数の第二の領域の画像とを取得し、前記複数の第一の領域の画像の各々について、当該第一の領域の画像の色情報を対応する第二の領域の画像の色情報に類似させるように当該第一の領域の画像を変換する変換パラメータを算出し、算出された複数の前記変換パラメータに基づいて、前記第一の変換パラメータを導出してもよい。

これによれば、複数の第一の領域及び第二の領域のペアに基づいて、第一の変換パラメータを導出することができる。したがって、不適切な変換パラメータを用いて第一の画像が変換されることを抑制することができ、合成によって不自然な訓練画像が生成されることを抑制することができる。

例えば、前記第一の変換パラメータは、算出された前記複数の変換パラメータの統計学的な代表値であってもよい。

これによれば、複数の変換パラメータの統計学的な代表値を第一の変換パラメータとして用いることができる。したがって、不適切な変換パラメータを用いて第一の画像が変換されることを抑制することができ、合成によって不自然な訓練画像が生成されることを抑制することができる。

例えば、前記第一の変換パラメータは、前記第一の領域の画像から前記第二の領域の画像に類似する画像への写像のためのパラメータであってもよい。

これによれば、第一の領域の画像から第二の領域の画像に類似する画像への写像のためのパラメータを第一の変換パラメータとして用いることができる。したがって、単一の係数を第一の画像全体に一律に適用して第一の画像を変換する場合よりも、より第一の領域及び第二の領域の画像の特徴に応じた変換パラメータを用いて第一の画像を変換することができ、より自然な訓練画像を生成することが可能となる。

例えば、前記画像生成方法は、さらに、前記第一の変換パラメータを保存し、保存した前記第一の変換パラメータと前記第一の画像と前記第二の画像とから、前記第三の画像とは異なる第四の画像を生成してもよい。

これによれば、さらに、保存した第一の変換パラメータと第一の画像と第二の画像とから、第三の画像とは異なる第四の画像を生成することできる。したがって、より多くの訓練画像を生成することができる。

例えば、前記第四の画像における変換後の前記第一の領域の画像の位置又は大きさが、前記第三の画像における変換後の前記第一の領域の画像の位置又は大きさと、異なってもよい。

これによれば、第一の領域の画像の位置又は大きさが互いに異なる第三の画像及び第四の画像を訓練画像として生成することができる。したがって、訓練画像のバリエーションを増やすことができ、画像認識のための機械学習に適する複数の訓練画像を生成することができる。

例えば、前記色情報は、輝度、色相、色差及び彩度のうちの少なくとも１つの情報であってもよい。

これによれば、輝度、色相、色差及び彩度のうちの少なくとも１つの情報を色情報として用いることができ、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に適する訓練画像を生成することができる。

例えば、前記画像生成方法は、さらに、前記第一の領域及び前記第二の領域の指定をユーザから受け付けてもよい。

これによれば、第一の画像内の第一の領域及び第二の画像内の第二の領域の指定をユーザから受け付けることができる。したがって、ユーザが、第一の領域及び第二の領域として適切な領域を指定することができ、ユーザの意図に応じた訓練画像を生成することができる。

例えば、前記画像生成方法は、さらに、前記第一の領域及び前記第二の領域を自動的に決定してもよい。

これによれば、第一の画像内の第一の領域及び第二の画像内の第二の領域を自動的に決定することができる。したがって、ユーザの負荷を低減させることができる。

例えば、前記第一の領域及び前記第二の領域の決定では、前記第一の画像及び前記第二の画像において人物認識を行うことにより、前記第一の画像及び前記第二の画像内の人物領域を前記第一の領域及び前記第二の領域と決定してもよい。

これによれば、人物領域を第一の領域及び第二の領域と自動的に決定することができる。したがって、被写体の色が類似する領域を第一の領域及び第二の領域と決定することができ、ユーザの負荷を低減するとともに、適切な変換パラメータを算出することができる。

例えば、変換後の前記第一の画像を前記第二の画像に重畳して合成することで、前記第三の画像を生成してもよい。

これによれば、変換後の第一の画像を第二の画像に重畳して合成することで第三の画像（訓練画像）を生成することができる。

なお、これらの全般的又は具体的な態様は、システム、装置、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［学習システムの構成］
図１は、実施の形態１に係る学習システムを示すブロック図である。学習システム１００は、画像認識のための機械学習を行う。画像認識とは、物体認識のことであり、画像内の、例えば人物、人物の顔及び文字等を認識する技術である。

図１に示すように、学習システム１００は、画像生成装置１１０と、画像記憶部１２０と、学習部１３０と、を備える。

画像生成装置１１０は、画像認識のための機械学習に用いる訓練画像を生成する画像生成システムの一例である。画像生成装置１１０は、例えば、プロセッサ及びプログラムが記録された非一時的なメモリを備え、プログラムは、プロセッサに画像生成処理を実行させる。具体的には、プログラムは、画像生成装置１１０を、以下で説明する取得部１１１と、算出部１１２と、変換テーブル記憶部１１３と、変換部１１４と、画像生成部１１５と、して機能させる。また例えば、画像生成装置１１０は、専用のハードウェアで構成されてもよい。

画像生成装置１１０は、取得部１１１と、算出部１１２と、変換テーブル記憶部１１３と、変換部１１４と、画像生成部１１５と、を備える。

取得部１１１は、第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得する。第一の領域及び第二の領域は、例えば、被写体の色が互いに類似する同一サイズの領域である。第一の領域及び第二の領域は、ともに画像内の色が平坦な領域であることが好ましい。

取得部１１１は、例えば、第一の領域及び第二の領域の指定をユーザから受け付ける。具体的には、取得部１１１は、例えば、タッチスクリーンによって実現され、第一の画像及び第二の画像が表示された画面上でユーザがタッチした第一の画像内の領域及び第二の画像内の領域を第一の領域及び第二の領域として決定する。そして、取得部１１１は、決定された第一の領域の画像及び第二の領域の画像を、第一の画像及び第二の画像から抽出する。

また例えば、取得部１１１は、ユーザからの指示なしに、第一の領域及び第二の領域を自動的に決定してもよい。例えば、取得部１１１は、第一の画像及び第二の画像において人物認識を行うことにより、第一の画像及び第二の画像内の人物領域を第一の領域及び第二の領域と決定してもよい。これによれば、人物領域を第一の領域１１ａ及び第二の領域１２ａと自動的に決定することができる。したがって、被写体の色が類似する領域を第一の領域１１ａ及び第二の領域１２ａと決定することができ、ユーザの負荷を低減するとともに、適切な変換テーブルを算出することができる。

算出部１１２は、第一の領域の画像の色情報を第二の領域の画像の色情報に類似させるように第一の領域の画像を変換する変換テーブルを算出する。この変換テーブルは、変換パラメータの一例であり、例えば、第一の領域の画像から第二の領域の画像への写像のためのパラメータである。

色情報は、輝度、色相、色差及び彩度のうちの少なくとも１つの情報である。本実施の形態では、色情報は、ＲＧＢカラーモデルで表わされた画像に含まれる各画素の赤緑青の輝度値である。

変換テーブル記憶部１１３は、算出部１１２のよって算出された変換テーブルを記憶する。変換テーブル記憶部１１３は、例えば、ハードディスクドライブあるいは半導体メモリである。

変換部１１４は、算出部１１２によって算出された変換テーブルを用いて、第一の画像を変換する。具体的には、変換部１１４は、変換テーブル記憶部１１３から変換テーブルを取得し、取得した変換テーブルを用いて第一の画像を変換する。その結果、変換後の第一の画像内の第一の領域の画像は、第二の画像内の第二の領域の画像に類似する。

画像生成部１１５は、変換後の第一の画像と、第二の画像と、を合成することにより、第三の画像及び第四の画像を生成する。例えば、画像生成部１１５は、第一の画像を第二の画像に重畳して合成することにより、第三の画像及び第四の画像を生成する。具体的には、第一の画像の幅と高さを(ｗｉｄｔｈ，ｈｅｉｇｈｔ)とし、第二の画像の特定の座標(ｘ，ｙ)としたときに、第二の画像の(ｘ，ｙ)が第一の画像の左上座標となるように第二の画像上に第一の画像を重畳し、(ｘ，ｙ)から(ｘ＋ｗｉｄｔｈ，ｙ＋ｈｅｉｇｈｔ)までの領域において第二の画像の画素値を第一の画像の画素値に置き換える。この第三の画像及び第四の画像は、機械学習のための訓練画像として画像記憶部１２０に格納される。

第四の画像は、第三の画像と異なる画像である。具体的には、第四の画像における変換後の第一の画像の位置又は大きさは、第三の画像における変換後の第一の画像の位置又は大きさと異なる。具体的には、第一の画像の幅と高さを(ｗｉｄｔｈ，ｈｅｉｇｈｔ）としたとき、第一の画像を、ｗｉｄｔｈとｈｅｉｇｈｔをそれぞれ所定の係数ｎ，ｍ倍したサイズ（ｗｉｄｔｈ＊ｎ，ｈｅｉｇｈｔ＊ｍ）の画像に変換する。その変換画像（第五の画像）の左上座標が、第三の画像を重畳した位置（ｘ，ｙ）とは異なる位置（ｘ’，ｙ’）になるように、第二の画像に第五の画像を重畳し、（ｘ’，ｙ’）から（ｘ’＋ｗｉｄｔｈ＊ｎ，ｙ’＋ｈｅｉｇｈｔ＊ｍ）までの領域において第二の画像の画素値を第四の画像の画素値に置き換える。なお、第三の画像、第四の画像の生成時に、第二画像の画素値を置き換える際、第一の画像及び第五の画像は、第二の画像の領域内の画素値のみ置き換えることとする。

画像記憶部１２０は、第一の画像、第二の画像、第三の画像及び第四の画像を含む、機械学習のための訓練画像を記憶している。画像記憶部１２０は、例えば、ハードディスクドライブあるいは半導体メモリである。

学習部１３０は、画像記憶部１２０に記憶された訓練画像に基づいて機械学習を行うことにより、画像認識のための学習パラメータを導出する。なお、機械学習の手法は、特に限定される必要はないが、例えばディープラーニングである。

［画像生成装置の動作］
次に、以上のように構成された画像生成装置１１０の動作について図２〜図６Ｃを参照しながら具体的に説明する。

図２は、実施の形態１に係る画像生成装置の処理を示すフローチャートである。ここでは、図３Ａ及び図３Ｂに示す第一の画像及び第二の画像を例に処理を説明する。図３Ａ及び図３Ｂは、実施の形態１における第一の画像及び第二の画像の一例を示す。図３Ａにおいて、第一の画像１１は、画像認識の対象となる人物が抽出された人物画像である。図３Ｂにおいて、第二の画像１２は、太陽と、当該太陽の光を浴びた人物とを含む。

まず、取得部１１１は、第一の画像１１に含まれる第一の領域１１ａの画像と、第二の画像１２に含まれる第二の領域１２ａの画像とを取得する（Ｓ１１０）。ここでは、取得部１１１は、第一の領域１１ａ及び第二の領域１１ｂの指定をユーザから受け付ける。具体的には、取得部１１１は、例えば図４に示すように、第一の画像１１及び第二の画像１２が表示された画面上でユーザがタッチした第一の画像１１内の領域及び第二の画像１２内の領域を第一の領域１１ａ及び第二の領域１２ａと決定する。ここでは、第一の領域１１ａ及び第二の領域１２ａは、共に人物の顔の肌色の領域である。そして、取得部１１１は、決定された第一の領域１１ａの画像及び第二の領域１２ａの画像を、第一の画像１１及び第二の画像１２から抽出する。

続いて、算出部１１２は、第一の領域１１ａの画像の色情報を第二の領域１２ａの画像の色情報に類似させるように第一の領域１１ａの画像を変換する変換テーブルを算出し、算出した変換テーブルを変換テーブル記憶部１１３に格納する（Ｓ１２０）。例えば図５に示すように、算出部１１２は、以下の式１によって算出される変換後の第一の領域１１ｂの画像の色情報と第二の領域１２ａの色情報との類似性に基づいて、式１における変換テーブルＴを導出する。具体的には、算出部１１２は、例えば、変換後の第一の領域１１ｂの画像の色情報と第二の領域１２ａの色情報との誤差が最小となる変換テーブルＴを、近似解を探索するための従来のアルゴリズムに従って探索する。

ここで、ｒ’ｉ、ｇ’ｉ及びｂ’ｉは、それぞれ、第一の領域１１ａ内のｉ番目（ｉ＝１〜ｎ）の画素の赤緑青の輝度値を表す。ｎは、第一の領域１１ａ内の画素の総数である。ｒｉ、ｇｉ、及びｂｉは、それぞれ、変換後の第一の領域１１ｂ内のｉ番目の画素の赤緑青の輝度値を表す。

Ｔは、変換テーブル（変換パラメータ）であり、第一の領域１１ａの画像から第二の領域１２ａの画像に類似する画像への写像のためのテーブル（パラメータ）である。ｋは、比例定数を表す。

次に、変換部１１４は、算出部１１２のよって算出された変換テーブルＴを用いて、第一の画像１１を変換する（Ｓ１３０）。つまり、変換部１１４は、第一の領域１１ａから算出された変換テーブルＴを、第一の領域１１ａを含む第一の画像１１全体に適用する。

最後に、画像生成部１１５は、変換後の第一の画像１１Ａ、１１Ｂを第二の画像１２に重畳合成することにより、第三の画像１３及び第四の画像１４を生成する（Ｓ１４０）。例えば、画像生成部１１５は、変換後の第一の画像１１Ａ、１１Ｂを前景画像として含み、かつ、第二の画像１２を背景画像として含む、第三画像１３及び第四の画像１４を生成する。

図６Ａ及び図６Ｂは、実施の形態１における第三の画像及び第四の画像の一例を示す。図６Ｃは、実施の形態１における第四の画像の他の一例を示す。図６Ａ〜図６Ｃに示すように、第四の画像１４又は１５における変換後の第一の画像１１Ｂ又は１１Ｃの位置又は大きさは、第三の画像１３における変換後の第一の画像１１Ａの位置又は大きさと異なっている。

［効果］
以上のように、本実施の形態に係る画像生成装置１１０によれば、変換テーブルＴを用いて変換された第一の画像１１と第二の画像１２とを合成することで訓練画像を生成することができる。この変換テーブルＴは、第一の領域１１ａの画像の色情報を第二の領域１２ａの画像の色情報に類似させるように第一の領域１１ａの画像を変換するためのテーブルである。したがって、２つの画像の合成による色の不自然さの発生を抑制することができ、画像認識のための機械学習の訓練画像に適した自然な画像を生成することができる。つまり、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に適する訓練画像を生成することができる。

また、本実施の形態に係る画像生成装置１１０によれば、第一の領域１１ａの画像から第二の領域１２ａの画像に類似する画像への写像のためのテーブルを変換テーブルＴとして用いることができる。したがって、単一の係数を第一の画像１１全体に一律に適用して第一の画像１１を変換する場合よりも、より第一の領域及び第二の領域の画像の特徴に応じた変換テーブルＴを用いて第一の画像１１を変換することができ、より自然な訓練画像を生成することが可能となる。

また、本実施の形態に係る画像生成装置１１０によれば、保存した変換テーブルＴと第一の画像１１と第二の画像１２とから、第三の画像１３とは異なる第四の画像１４を生成することできる。したがって、より多くの訓練画像を生成することができる。

また、本実施の形態に係る画像生成装置１１０によれば、第一の領域１１ａの画像の位置又は大きさが互いに異なる第三の画像１３及び第四の画像１４を訓練画像として生成することができる。したがって、訓練画像のバリエーションを増やすことができ、画像認識のための機械学習に適する複数の訓練画像を生成することができる。

また、本実施の形態に係る画像生成装置１１０によれば、輝度情報を色情報として用いることができ、撮影条件が未知の画像から簡易な方法で、画像認識のための機械学習に適する訓練画像を生成することができる。

また、本実施の形態に係る画像生成装置１１０によれば、第一の画像１１内の第一の領域１１ａ及び第二の画像１２内の第二の領域１２ａの指定をユーザから受け付けることができる。したがって、ユーザが、第一の領域１１ａ及び第二の領域１２ａとして適切な領域を指定することができ、ユーザの意図に応じた訓練画像を生成することができる。

（実施の形態２）
次に、実施の形態２について説明する。本実施の形態では、変換後の第一の領域の画像と、第二の領域の画像との誤差が大きければ、第一の領域及び第二の領域のサイズを縮小する点が、実施の形態１と主として異なる。以下に、本実施の形態について、実施の形態１と異なる点を中心に説明する。

［学習システムの構成］
図７は、実施の形態２に係る学習システムの構成を示すブロック図である。図７において、図１と実質的に同一の構成要素については、同一の符号を付し、詳細な説明を省略する。

本実施の形態に係る学習システム２００は、画像生成装置２１０と、画像記憶部１２０と、学習部１３０と、を備える。

画像生成装置２１０は、画像認識のための機械学習に用いる訓練画像を生成する画像生成システムの一例である。画像生成装置２１０は、取得部２１１と、算出部２１２と、変換テーブル記憶部１１３と、変換部２１４と、画像生成部１１５と、を備える。

算出部２１２は、実施の形態１の算出部１１２と同様に、第一の領域１１ａの画像の色情報を第二の領域の画像の色情報に類似させるように第一の領域１１ａの画像を変換する変換テーブルを算出する。そして、算出部２１２は、算出された変換テーブルを用いて変換された第一の領域１１ａの画像の色情報と、第二の領域１２ａの画像の色情報との間の類似性から求まる誤差値を求める。誤差値は、変換された第一の領域１１ａ内の各画素と、第二の領域１２ａ内の対応する画素との間の画素値の差分の平均であり、例えば、差分絶対値平均あるいは差分二乗平均である。画素毎の画素値の差を求め、それを平均することで、画素値の差が顕著である場合に限り、誤差値が大きくなり、画素値の差が領域全体として大きく無い場合には誤差値が小さくなる。これにより、ノイズに対して頑健な誤差値の算出が可能になる。

誤差値が所定の閾値未満である場合に、算出された変換テーブルを用いた第一の画像１１の変換が許可される。つまり、変換部２１４は、実施の形態１の変換部１１４と同様に、算出された変換テーブルを用いて第一の画像１１を変換する。

所定の閾値は、経験的又は実験的に予め定められればよい。例えば、所定の閾値は、第一の領域１１ａ及び第二の領域１２ａのサイズが小さいほど小さい値を有してもよい。この場合、変換部２１４は、例えば、複数のサイズに対応する複数の閾値が記憶された変換テーブル記憶部１１３から、第一の領域１１ａ及び第二の領域１２ａのサイズに対応する閾値を取得してもよい。

誤差値が所定の閾値以上である場合に、算出された変換テーブルを用いた第一の画像１１の変換が禁止される。具体的には、誤差値が所定の閾値以上である場合に、取得部２１１は、第一の領域１１ａ及び第二の領域１２ａの各々のサイズを縮小させる。そして、取得部２１１は、サイズが縮小された第一の領域１１ａ及び第二の領域１２ａの画像をそれぞれ取得する。算出部２１２は、縮小されたサイズの第一の領域の画像の色情報を、縮小されたサイズの第二の領域の画像の色情報に類似させるように、縮小されたサイズの第一の領域の画像を変換する新たな変換テーブルを算出する。この新たな変換テーブルは、第二の変換パラメータの一例である。変換部２１４は、算出された新たな変換テーブルを用いて第一の画像１１を変換する。

第一の領域と第二の領域が必ずしも対象とする物体の領域内に収まっている保証は無い。そのため、このサイズが縮小された第一の領域とサイズが縮小された第二の領域を用いることで、領域の端に存在し得る対象外の物体から画素値を取得する可能性が減り、変換テーブルを求めた際の画素を低減させる効果がある。

［画像生成装置の動作］
次に、以上のように構成された画像生成装置２１０の動作について図８を参照しながら具体的に説明する。図８は、実施の形態２に係る画像生成装置の処理を示すフローチャートである。図８において、図２と実質的に同一のステップについては、同一の符号を付し、説明を詳細な省略する。

変換テーブルが算出された後（Ｓ１２０）、算出部２１２は、算出された変換テーブルを用いて変換された第一の領域１１ａの画像の色情報と、第二の領域１２ａの画像の色情報との間の類似性から求まる誤差値を導出する（Ｓ２１０）。

そして、変換部２１４は、誤差値が閾値未満であるか否かを判定する（Ｓ２２０）。ここで、誤差値が閾値未満である場合（Ｓ２２０のＹｅｓ）、変換部２１４は、算出された変換テーブルを用いて第一の画像１１を変換する（Ｓ１３０）。一方、誤差値が閾値以上である場合（Ｓ２２０のＮｏ）、取得部２１１は、第一の領域１１ａ及び第二の領域１２ａの各々のサイズを縮小させる（Ｓ２３０）。そして、取得部２１１は、サイズが縮小された第一の領域１１ａ及び第二の領域１２ａの画像をそれぞれ取得する（Ｓ１１０）。その後、取得されたサイズが縮小された第一の領域１１ａ及び第二の領域１２ａの画像を用いてステップＳ１２０〜ステップＳ２２０の処理が実行される。

［効果］
以上のように、本実施の形態に係る画像生成装置２１０によれば、変換テーブルを用いて変換された第一の領域１１ａの画像の色情報の誤差値が所定の閾値以上である場合に、第一の画像１１の変換を禁止することができる。したがって、第一の領域１１ａの画像の色情報を第二の領域１２ａの画像の色情報に類似させることができない場合に、合成によって不自然な訓練画像が生成されることを防ぐことができる。

また、本実施の形態に係る画像生成装置２１０によれば、変換テーブルを用いて変換された第一の領域１１ａの画像の色情報の誤差値が所定の閾値以上である場合に、第一の領域１１ａ及び第二の領域１２ａのサイズを縮小させて、変換テーブルを再算出することができる。第一の領域及び第二の領域が小さいほど、２つの領域の画像の色情報を類似させやすくなるが、局所的な色情報の影響によって不適切な変換テーブルが算出される可能性も高くなる。そこで、誤差値に応じて第一の領域１１ａ及び第二の領域１２ａのサイズを縮小していくことにより、２つの領域の画像の色情報を類似させつつ、第一の領域１１ａ及び第二の領域１２ａのサイズが小さくなりすぎることを抑制することができる。その結果、適切な変換テーブルを算出することが可能となり、合成によって不自然な訓練画像が生成されることを抑制することができる。

また、本実施の形態に係る画像生成装置２１０によれば、第一の領域１１ａ及び第二の領域１２ａのサイズに応じた閾値を用いることができる。上述したように、第一の領域１１ａ及び第二の領域１２ａが小さいほど、２つの領域の画像の色情報を類似させることが容易であるので、その特性に応じて閾値を変化させることできる。その結果、不適切な変換テーブルが変換に利用されることを抑制することができ、合成によって不自然な訓練画像が生成されることを抑制することができる。

（実施の形態３）
次に、実施の形態３について説明する。本実施の形態では、複数の第一の領域及び複数の第二の領域から変換テーブルを算出する点が、実施の形態１と主として異なる。以下に、本実施の形態について、実施の形態１と異なる点を中心に説明する。

［学習システムの構成］
図９は、実施の形態３に係る学習システムの構成を示すブロック図である。図９において、図１と実質的に同一の構成要素については、同一の符号を付し、詳細な説明を省略する。

本実施の形態に係る学習システム３００は、画像生成装置３１０と、画像記憶部１２０と、学習部１３０と、を備える。

画像生成装置３１０は、画像認識のための機械学習に用いる訓練画像を生成する画像生成システムの一例である。画像生成装置３１０は、取得部３１１と、算出部３１２と、変換テーブル記憶部１１３と、変換部１１４と、画像生成部１１５と、を備える。

取得部３１１は、第一の画像１１に含まれる複数の第一の領域の画像と、第二の画像１２に含まれる複数の第二の領域の画像とを取得する。複数の第一の領域及び複数の第二領域は、ユーザによって指定されてもよいし、取得部３１１によって自動的に決定されてもよい。

算出部３１２は、複数の第一の領域の画像の各々について、当該第一の領域の画像の色情報を、対応する第二の領域の画像の色情報に類似させるように、当該第一の領域の画像を変換する変換テーブルを算出する。つまり、算出部３１２は、第一の領域の画像及び第二の領域の画像の複数のペアの各々に対して変換テーブルを算出する。

算出部３１２は、このように算出された複数の変換テーブルに基づいて、代表変換テーブルを導出し、導出した代表変換テーブルを変換テーブル記憶部１１３に格納する。この代表変換テーブルは、複数の変換テーブルのいずれかであってもよいし、複数の変換テーブルの統計学的な代表値（descriptive statistic）であってもよい。統計学的な代表値は、例えば、平均値、中央値及び最頻値等である。これは、画像の各領域において色の変化に大きな違いがない場合は、変換テーブル自体が類似したものになるため、代表値に置き換えることが可能になる。画像全体の変換テーブルのバラツキがガウス分布に従うような場合は大きな外れ値が少ないことから、平均値を用いることで、複数の変換テーブルを代表するものとして適した変換テーブルを求めることができる。また、例えば変換テーブルの一つが他と大きく異なる場合には中央値を利用することで外れ値にロバストな代表変換テーブルの選択を行うことができる。画像の大部分で変換テーブルが類似する場合には、最頻値を用いることで外れ値の影響を受けない代表変換テーブルの選択を行うことができる。以上のように、変換テーブルの傾向に応じて代表変換テーブルの選択の仕方を変えることで、利用する画像に適した代表変換テーブルの選択が可能になる。

［画像生成装置の動作］
次に、以上のように構成された画像生成装置３１０の動作について図１０を参照しながら具体的に説明する。図１０は、実施の形態３に係る画像生成装置の処理を示すフローチャートである。図１０において、図２と実質的に同一のステップについては、同一の符号を付し、説明を詳細な省略する。

まず、取得部３１１は、第一の画像１１に含まれる複数の第一の領域の画像と、第二の画像１２に含まれる複数の第二の領域の画像とを取得する（Ｓ３１０）。

続いて、算出部３１２は、複数の第一の領域の画像の各々について、当該第一の領域の画像の色情報を、対応する第二の領域の画像の色情報に類似させるように当該第一の領域の画像を変換する変換テーブルを算出する（Ｓ３２０）。

算出部３１２は、このように算出された複数の変換テーブルに基づいて、代表変換テーブルを導出する（Ｓ３３０）。例えば、算出部３１２は、複数の変換テーブルの中から実施の形態２における誤差値が最も小さい変換テーブルを代表変換テーブルとして選択する。

また例えば、算出部３１２は、第１の領域の画像及び第２の領域の画像の特徴に基づいて、複数の変換テーブルの中から代表変換テーブルを選択してもよい。具体的には、算出部３１２は、例えば、複数の第１の領域の画像及び複数の第２の領域の画像のうちで最も平坦な画像（色が一様な画像）から算出された変換テーブルを代表変換テーブルとして選択してもよい。

また例えば、算出部３１２は、複数の変換テーブルの統計学的な代表値を代表変換テーブルとして導出してもよい。例えば、算出部３１２は、複数の変換テーブルに含まれる各要素の平均値を有する変換テーブルを代表変換テーブルとして導出してもよい。

変換部１１４は、このように導出された代表変換テーブルを用いて第一の画像を変換する（Ｓ１３０）。

［効果］
以上のように、本実施の形態に係る画像生成装置３１０によれば、複数の第一の領域１１ａ及び第二の領域１２ａのペアに基づいて、変換テーブルを導出することができる。したがって、不適切な変換テーブルを用いて第一の画像１１が変換されることを抑制することができ、合成によって不自然な訓練画像が生成されることを抑制することができる。

また、本実施の形態に係る画像生成装置３１０によれば、複数の変換テーブルの統計学的な代表値を変換テーブルとして用いることができる。したがって、不適切な変換テーブルを用いて第一の画像が変換されることを抑制することができ、合成によって不自然な訓練画像が生成されることを抑制することができる。

（他の実施の形態）
以上、本開示の１つ又は複数の態様に係る画像生成装置及び学習システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つ又は複数の態様の範囲内に含まれてもよい。

例えば、上記各実施の形態において、赤緑青の輝度情報が色情報として利用されたたが、色情報は、輝度情報に限られない。例えば、第一の画像及び第二の画像をＲＧＢカラーモデルとは異なるカラーモデルで表現し、当該カラーモデルにおける情報を色情報として用いてもよい。具体的には、第一の画像及び第二の画像を例えばＨＳＩカラーモデルで表現する場合は、色相、彩度及び輝度の情報が色情報として用いられてもよい。また例えば、第一の画像及び第二の画像をＹＵＶカラーモデルで表現する場合は、輝度及び色差の情報が色情報として用いられてもよい。

なお、上記各実施の形態では、第一の画像が前景画像であり、第二の画像が背景画像であったが、これに限定されない。例えば、第一の画像が背景画像であり、第二の画像が前景画像であってもよい。つまり、背景画像が変換されてもよい。また、合成方法は、重畳合成に限定されない。例えば、変換後の第一の画像と第二の画像とは、サイド・バイ・サイドで合成されてもよい。

また、上記各実施の形態における画像生成装置が備える構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。例えば、画像生成装置１１０は、取得部１１１と、算出部１１２と、変換テーブル記憶部１１３と、変換部１１４と、画像生成部１１５と、を有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本開示の一態様は、このような画像生成装置だけではなく、画像生成装置に含まれる特徴的な構成要素が実行する処理をステップとする画像生成方法であってもよい。また、本開示の一態様は、画像生成方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像生成装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、画像認識のための機械学習に用いる訓練画像を生成する画像生成システムにおける画像生成方法であって、第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得し、前記第一の領域の画像の色情報を、前記第二の領域の画像の色情報に類似させるように、前記第一の領域の画像を変換する第一の変換パラメータを算出し、前記第一の変換パラメータを用いて前記第一の画像を変換し、変換後の前記第一の画像と前記第二の画像とを合成することで第三の画像を生成する、画像生成方法を実行させる。

筺体に取付けたスイッチを用いて、入力位置の直視が不可欠な用途に適用できる。

１００、２００、３００ 学習システム
１１０、２１０、３１０ 画像生成装置
１１１、２１１、３１１ 取得部
１１２、２１２、３１２ 算出部
１１３ 変換テーブル記憶部
１１４、２１４ 変換部
１１５ 画像生成部
１２０ 画像記憶部
１３０ 学習部

Claims (16)

1. 画像認識のための機械学習に用いる訓練画像を生成する画像生成システムにおける画像生成方法であって、前記画像生成システムのプロセッサが、
   第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得し、
   前記第一の領域の画像の色情報を前記第二の領域の画像の色情報に類似させるように前記第一の領域の画像を変換する第一の変換パラメータを算出し、
   前記第一の変換パラメータを用いて前記第一の画像を変換し、
   変換後の前記第一の画像と前記第二の画像とを合成することで第三の画像を生成する、
   画像生成方法。
2. 前記画像生成方法は、さらに、
   前記第一の変換パラメータを用いて変換された前記第一の領域の画像の色情報と前記第二の領域の画像の色情報との間の類似性から求まる誤差値を求め、
   前記誤差値が所定の閾値未満である場合に、前記第一の変換パラメータを用いた前記第一の画像の変換を許可し、
   前記誤差値が前記所定の閾値以上である場合に、前記第一の変換パラメータを用いた前記第一の画像の変換を禁止する、
   請求項１に記載の画像生成方法。
3. 前記画像生成方法は、さらに、
   前記誤差値が前記所定の閾値以上である場合に、前記第一の領域及び前記第二の領域の各々のサイズを縮小させ、
   縮小されたサイズの前記第一の領域の画像と、縮小されたサイズの前記第二の領域の画像とを取得し、
   縮小されたサイズの前記第一の領域の画像の色情報を、縮小されたサイズの前記第二の領域の画像の色情報に類似させるように、縮小されたサイズの前記第一の領域の画像を変換する第二の変換パラメータを算出し、
   前記第二の変換パラメータを用いて前記第一の画像を変換する、
   請求項２に記載の画像生成方法。
4. 前記誤差値は、前記第一の変換パラメータを用いて変換された前記第一の領域内の各画素と、前記第二の領域内の対応する画素との間の画素値の差分の平均であり、
   前記所定の閾値は、前記第一の領域及び前記第二の領域のサイズが小さいほど小さい、
   請求項２に記載の画像生成方法。
5. 前記画像生成方法は、さらに、
   前記第一の画像に含まれる複数の第一の領域の画像と、前記第二の画像に含まれる複数の第二の領域の画像とを取得し、
   前記複数の第一の領域の画像の各々について、当該第一の領域の画像の色情報を対応する第二の領域の画像の色情報に類似させるように当該第一の領域の画像を変換する変換パラメータを算出し、
   算出された複数の前記変換パラメータに基づいて、前記第一の変換パラメータを導出する、
   請求項１に記載の画像生成方法。
6. 前記第一の変換パラメータは、算出された前記複数の変換パラメータの統計学的な代表値である、
   請求項５に記載の画像生成方法。
7. 前記第一の変換パラメータは、前記第一の領域の画像から前記第二の領域の画像に類似する画像への写像のためのパラメータである、
   請求項１に記載の画像生成方法。
8. 前記画像生成方法は、さらに、
   前記第一の変換パラメータを保存し、
   保存した前記第一の変換パラメータと前記第一の画像と前記第二の画像とから、前記第三の画像とは異なる第四の画像を生成する、
   請求項３に記載の画像生成方法。
9. 前記第四の画像における変換後の前記第一の領域の画像の位置又は大きさが、前記第三の画像における変換後の前記第一の領域の画像の位置又は大きさと、異なる、
   請求項８に記載の画像生成方法。
10. 前記色情報は、輝度、色相、色差及び彩度のうちの少なくとも１つの情報である、
    請求項１に記載の画像生成方法。
11. 前記画像生成方法は、さらに、前記第一の領域及び前記第二の領域の指定をユーザから受け付ける、
    請求項１に記載の画像生成方法。
12. 前記画像生成方法は、さらに、前記第一の領域及び前記第二の領域を自動的に決定する、
    請求項１に記載の画像生成方法。
13. 前記第一の領域及び前記第二の領域の決定では、前記第一の画像及び前記第二の画像において人物認識を行うことにより、前記第一の画像及び前記第二の画像内の人物領域を前記第一の領域及び前記第二の領域と決定する、
    請求項１２に記載の画像生成方法。
14. 変換後の前記第一の画像を前記第二の画像に重畳して合成することで、前記第三の画像を生成する、
    請求項１に記載の画像生成方法。
15. 請求項１に記載の画像生成方法をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体。
16. 画像認識のための機械学習に用いる訓練画像を生成する画像生成システムであって、
    第一の画像に含まれる第一の領域の画像と、第二の画像に含まれる第二の領域の画像とを取得する取得部と、
    前記第一の領域の画像の色情報を、前記第二の領域の画像の色情報に類似させるように、前記第一の領域の画像を変換する変換パラメータを算出する算出部と、
    前記変換パラメータを用いて前記第一の画像を変換する変換部と、
    変換後の前記第一の画像と前記第二の画像とを合成することで第三の画像を生成する画像生成部と、を備える、
    画像生成システム。

Images