JP2023063063A - 教師データ生成装置 - Google Patents

Abstract

【課題】 生成した教師データによって、モデルの学習効率が低下することなく、教師データの多様性の幅が拡充可能な教師データを生成することが難しい場合があった。【解決手段】 教師データ生成装置において、画像生成部と、画像に対してラベルデータを付与する正解ラベル付与部と、画像が教師データとして尤もらしいかを示す教師データ尤度の推定を行う教師データ尤度推推定モデルを出力する尤度学習部と、前記教師データ尤度推推定モデルを用いて、画像の教師データ尤度を推定する尤度推論部を有し、前記尤度推論部によって推定された教師データ尤度が閾値以上の画像と、画像に付与されたラベルデータとを教師データとすることを特徴とした教師データ生成装置。【選択図】 図３

Description

本発明は画像データ生成に関し、特に学習に用いる教師データを効率的に選定可能な教師データ生成装置に関するものである。

近年、ディープラーニング技術を含む機械学習を用いた画像の認識、分類、検出への取り組みが多く行われている。例えば、この機械学習を用いた画像の認識では、入力された画像に対して、認識に必要なラベルをラベリングするモデル（以降、画像認識モデル）が用いられる。

その機械学習の一例として、予め正しいラベルが付された画像（教師データ）を用い、画像認識モデルを定義するパラメータを機械的に学習し、学習された画像認識モデルを用いて、未知画像のラベルを推論することで、画像を認識する方法が知られている。

このような機械学習における、画像認識モデルのようなモデルの学習時には、画像の数が不足すると効果的な学習を行うことができないため、多数の教師データを用意する必要がある。

そこで、特許文献１では既存の教師データに対して画像の反転、異なる画像との合成、色調補正といった画像処理を施すことで教師データの生成に関する技術が述べられている。

特開２０１８－１６９６７２号公報

しかしながら、特許文献１では教師データから新規生成した教師データの質に対して、言及をしていない。そのため、新規に生成した教師データが、教師データとしての尤度（以後、教師データ尤度）が小さい場合に、画像認識モデルの学習効率が低下してしまう課題がある。

この課題は、教師データの新規生成において、教師データに対して予め定めたパターンに従って所定の画像処理を施すことで、モデルの学習効率の低下をある程度抑制可能である。しかし、その場合は新規に生成が可能な教師データの多様性の幅を狭めることになり、学習効率が上がりにくい課題がある。

そこで、本発明では、これらの課題を鑑み、生成した教師データによって、モデルの学習効率が低下することなく、教師データの多様性の幅が拡充可能な教師データ生成することを目的とする。

教師データ生成装置において、画像生成部と、画像に対してラベルデータを付与する正解ラベル付与部と、画像が教師データとして尤もらしいかを示す教師データ尤度の推定を行う尤度推定モデルを出力する尤度学習部と、前記尤度推推定モデルを用いて、画像の教師データ尤度を推定する尤度推論部を有し、前記尤度推論部によって推定された教師データ尤度が閾値以上の画像と、画像に付与されたラベルデータとを教師データとすることを特徴とした教師データ生成装置。

尤度推論部において、推定に用いる尤度推定モデルの学習が十分であれば、画像認識モデルの学習効率を低下させることなく、教師データの多様性の幅が拡充容易な教師データ生成装置を提供することが可能となる。

本実施例におけるシステム構成図である 本実施例におけるハードウェア構成図である 本実施例におけるソフトウェア構成図である 本実施例における尤度推定モデルを説明する図である 本実施例における生成する教師データを説明する図である 本実施例における尤度推定モデルの学習に関する処理フローである 本実施例における一連の教師データ生成処理に関する処理フローである 本実施例における一連の教師データ生成処理に関する処理フローである

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。

（実施形態）
まず、本発明を利用したシステム構成例（図１）を説明する。

本実施形態におけるシステム構成は、図１で示すように、教師データ生成装置１００、学習・推論サーバー１０７、画像収集サーバー１０８と、クライアント端末１０６が、ネットワーク１０９を介して接続される。

本発明である教師データ生成装置１００のシステム構成を述べる前に、教師データ生成装置１００と、ネットワーク１０９を介在して接続されるクライアント端末１０６、学習・推論サーバー１０７、画像収集サーバー１０８に関して説明する。

クライアント端末１０６は、本システムとユーザとのインターフェースを担う。そのため、クライアント端末はユーザからの正解ラベルデータの入力を受け付け、ネットワークを介して、後述するサーバーへの処理を促す。そして、教師データ生成装置１００に対しては、教師データの生成指示と、正解ラベル情報提供を行う。

学習・推論サーバー１０７は、ユーザが所望する機械学習モデルに対する学習や推論のサービスを担う。本実施形態では、画像認識モデルの学習、推論を行うものとする。

なお、画像認識モデル以外にも、画像分類モデル、画像からの被写体検出モデルなど画像を扱かった機械学習であれば問題ない。

画像収集サーバー１０８は、本発明を利用したシステムにおいて、画像や画像に紐づいたデータを格納する。本実施形態では、画像収集サーバー１０８は、少なくとも、学習・推論サーバー１０７の学習に必要な教師データを保持するものとする。

次に、教師データ生成装置１００のシステム構成を説明する。

教師データ生成装置１００は、前述したとおり、クライアント端末１０６から教師データの生成指示と、教師データ生成に必要な正解ラベル情報を受け付け、教師データ生成サービスを実施する。これによって生成された教師データは、画像収集サーバー１０８に格納される。

教師データ生成装置１００の内部は、画像生成サーバー１０１、画像収集サーバー１０２、尤度学習サーバー１０３、尤度推論サーバー１０４、ラベル付与サーバー１０５で構成される。

画像生成サーバー１０１は、クライアント端末１０６からの教師データ生成指示を受け、任意の画像処理を施すことで新たな教師データ用の画像を生成し、画像収集サーバー１０２に格納する。

画像収集サーバー１０２は教師データ生成装置１００内で、利用される画像および画像に関するデータ群を格納する。例えば、画像生成サーバー１０１で生成された画像と、画像に紐づくラベル情報や画像生成処理内容といったデータを合わせて格納してもよい。

尤度学習サーバー１０３は、教師データとしての尤度を推定するモデル（尤度推定モデル）の学習を行な行い、モデルを実現するパラメータを尤度推論サーバー１０４に出力する。なお、尤度推定モデルの詳細に関しては、図６を用いて、後述する。

尤度推論サーバー１０４は、尤度推定モデルを用いて画像の教師データ尤度を推定する。推定された教師データ尤度は、ラベル付与サーバー１０５へと出力される。

ラベル付与サーバー１０５は、画像の教師データ尤度を用いて、教師データとしての可否を判定し、教師データとして可となった場合には、該当する画像に正解ラベルを付与して、ネットワークを介し画像収集サーバー１０８に格納する。

以上が本実施形態におけるシステム構成に関する説明である。

続いて、これらのシステムに対してハードウェア構成に関して、図２を用いて説明する。図２は図１のシステムを構成する各情報処理装置のハードウェア構成を示す図である。また、情報処理装置の構成部の中で、差がないものは同じ付番を付けて説明を省略する。

ＣＰＵ２０１は、各情報処理装置の制御プログラムを後述のＲＯＭ２０２より読み出し、後述のＲＡＭ２０３に展開して実行する。これにより、ＣＰＵ２０１は、システムバス２０５を介して、情報処理装置内の各ブロックを制御する。

ＲＯＭ２０２は、電気的に消去・記録可能な不揮発性メモリであり、各情報処理装置の動作プログラムに加え、動作に必要なパラメータなどを記憶する。

ＲＡＭ２０３は、書き換え可能な揮発性メモリであり、ＣＰＵ２０１が実行するプログラムの展開や、情報処理装置の動作で生成されたデータの一時的な記憶等に用いられる。

ＨＤＤ２０４は、書き換え可能な揮発性メモリであり、情報処理装置の動作に用いる画像、各種パラメータを記憶する。

システムバス２０５は、各情報処理装置内のデータの送受信に利用される。

ＮＩＣ２０６は、各情報処理装置をネットワーク１０９に接続するための装置である。ＮＩＣ２０６は、各情報処理装置間のデータの送受信に利用される。

ＧＰＵ２０７は、尤度学習サーバー１０３、尤度推論サーバー１０４、学習・推論サーバー１０７において、学習および推論プログラム実行時に各情報処理装置の動作を制御する。

ＧＰＵ２０７はデータをより多く並列よりすることで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回にわたり学習を行う場合にはＧＰＵ２０９で処理を行うことが有効である。

そこで本実施形態では、学習、推論による処理にはＣＰＵ２０１に加えてＧＰＵ２０７を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２０１とＧＰＵ２０７が協働して演算を行うことで学習を行う。なお、学習処理はＣＰＵ２０１またはＧＰＵ２０７のみにより演算が行われても良い。また、推論処理も学習処理と同様にＧＰＵ２０７を用いても良い。

入力部２０８は、後述の表示部２０９とキーボード、マウスやタッチパネル、ボタン等を介して、ユーザからの指示を教師データ生成装置１００に反映するためのインターフェースである（指示受付部）。例えば、入力部２０８を介して、教師データを生成する際の正解ラベルデータの指定、画像生成する際の画像パラメータの指定が行われる。

表示部２０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ２０３やＨＤＤ２０４に記録されている画像の表示、ユーザからの指示を受け付けるための操作ユーザーインターフェイスの表示等を行う。

なお、本実施形態では、図１のシステム構成のサーバー単位に、図２で示すように個別にハードウェア資源を割り当てているが、これに限らなくてよい。教師データ生成装置１００が、１つのＧＰＵを備えた情報処理装置２１０で実施してもよい。

続いて、図２のハードウェア構成図で示したハードウェア資源とプログラムを利用することで実現されるソフトウェア構成に関して、図３、図４を用いて説明する。図３は図２のハードウェア構成図で示したハードウェア資源とプログラムを利用することで実現されるソフトウェア構成を示す図である。図４は本実施形態における尤度推定モデルを説明する図である。

図３のソフトウェア構成はＣＰＵ２０１、ＧＰＵ２０７がＲＯＭ２０２より動作プログラムを読み出し、ＲＡＭ２０３に展開して実行することで実現される。

図３において、教師データ生成装置１００は画像の生成を行い、画像の教師データ尤度の推定を利用して、教師データを生成する。

画像生成サーバー１０１は、データ記憶部３１０、画像生成パラメータ決定部３１１、画像生成部３１２によって構成される。

画像生成パラメータ決定部３１１は、指定された画像処理に対し、画像生成パラメータを決定する。ここでの画像生成パラメータは、画像の拡大縮小、回転、左右反転、重畳位置、ホワイトバランス、明るさ補正等の任意の画像処理における効果の度合いを示すパラメータである。ここで決定されたパラメータに基づき、画像回転処理や画像反転処理、拡大縮小処理、重畳合成処理などが実行される。

画像生成部３１２は、画像生成パラメータ決定部３１１によって決定された画像生成パラメータに従い、画像処理を行う。

データ記憶部３１０は、画像生成パラメータ決定部３１１が決定した画像生成パラメータ、画像生成部３１２の入出力画像を記憶する。

画像収集サーバー１０２は、データ記憶部３２０によって構成される。

データ記憶部３２０は、画像生成部３１２が生成した画像を記憶する。記憶された画像は後述する尤度学習部３３２、尤度推論部３４０、正解ラベル付与部３５２の処理に利用される。

尤度学習サーバー１０３は、データ記憶部３３０、教師データ尤度ラベル付与部３３１、尤度学習部３３２によって構成される。

データ記憶部３３０は、尤度学習サーバー１０３で利用する画像やパラメータを格納する。またこれら画像と教師データ尤度ラベルとパラメータ、尤度推定モデルごとに、管理され、必要に応じて、尤度学習サーバー内で読み出し、書き出し利用される。

教師データ尤度ラベル付与部３３１は、画像に教師データ尤度ラベルを付与する。教師データ尤度ラベルは、少なくとも、後述の尤度学習部３３２での尤度推定モデルの学習に必要な教師データ尤度を含む。

本実施形態においては、データ記憶部３３０から読みだされた画像に一律、画像が教師データであることを表す１００という数値を付与し、尤度学習部３３２に出力する。

尤度学習部３３２は、教師データ尤度ラベルが付与された画像を教師データとして、画像の教師データ尤度について学習を行い、尤度推定モデルを生成する。尤度学習部３３２は、尤度推定モデルの精度が閾値以上になるまで学習を行う。

学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。本実施形態では、深層学習を用いる。

ここで、図４を用いて、生成した画像から尤度を推定する尤度推定モデルに関して説明する。図４は尤度推定モデルの例であり、尤度推定モデル４０２は多数のニューラルネットワークから構成される。

本実施例において、尤度推定モデル４０２への入力４０１は、画像生成部が生成した画像であり、出力４０３は、画像の教師データとしての尤度である。

また、この尤度推定モデル４０２の学習方法に関する処理フローは図６を用いて、後述する。

次に、図３を用いたソフトウェア構成の説明に戻り、尤度推論部３４０以降を説明する。

データ記憶部３３０は、尤度推定モデル４０２の学習に必要な教師データや、尤度推定モデル４０２を構成するパラメータを格納している。

また、尤度推定モデルは、推定したい教師データ尤度の種類に応じて、２つ以上のモデルを備えていても良い。その際の尤度モデルを識別するための管理データも格納してもよい。

なお、学習済みの尤度推定モデル４０２があらかじめ入手可能な場合は、尤度学習サーバー１０３は、ネットワーク１０９を介し、尤度推定モデル４０２の情報を取得してもよい。

そして、取得した尤度推定モデル４０２に対して、尤度学習部３３２が前記モデルを強化するような追加の学習を施してもよいし、尤度推論部３４０へ、尤度推定モデルの情報を出力してもよい。

尤度推論サーバー１０４は、尤度推論部３４０によって構成される。

尤度推論部３４０は、前述の尤度学習サーバー１０３から得た尤度推定モデル４０２を用いて、画像収集サーバー１０２に格納されている画像を入力し、得られた画像に対する教師データ尤度の推定値をラベル付与サーバー１０５に出力する。

ラベル付与サーバー１０５は、データ記憶部３５０、尤度判定部３５１、正解ラベル付与部３５２によって構成される。

尤度判定部３５１は、尤度推論部３４０によって推定された画像の教師データ尤度が閾値以上であるか否かを判定する。

正解ラベル付与部３５２は、データ記憶部３２０の画像に対して正解ラベルを生成付与し、画像および正解ラベルを教師データとして出力し、データ記憶部３８０へ格納する。

教師データ生成指示部３６０は、クライアント端末１０６に位置し、ユーザと、教師データ生成装置１００とのインターフェースを担う。具体的は、ユーザの入力部２０８へのキー入力を、教師データ生成装置１００への画像生成サーバー１０１や、ラベル付与サーバー１０５への入力情報に変換する。また、画像生成サーバー１０１からの生成した画像を表示部２０９に表示し、所定のユーザ入力を要求する処理も担う。

学習部３７０は、本発明である教師データ生成装置１００が出力し、データ記憶部３８０に格納した教師データを入力として、ユーザの機械学習モデルの学習処理を行う。

この学習部３７０の学習進捗の度合いに応じて、教師データ生成指示部３６０は、教師データ生成装置への新規教師データ生成の指示を行なわれる。

以上で、本発明の実施形態におけるソフトウェア構成に関して説明した。

続けて、前述のソフトウェア構成による、本発明の実施における処理フローに関して、図５から図７を用いて説明をする。図５は、本実施例における教師データについて説明する図である。図６は、本実施例における尤度推定モデルの学習に関する処理フローである。図７は、本実施例における一連の教師データ生成処理に関する処理フローである。

まず、図５を用いて、本実施例において、クライアント端末からの指示により、新規に生成する教師データに関して説明する。

本実施例では、クライアントは、「被写体ではなく手前の障害物に合焦してしまった画像」を教師データとして生成したいものとする。

また、教師データを生成するに至って、クライアント端末から教師データ生成装置へと入力される教師データは、図５（ａ）に示す。図５（ａ）は、被写体（猫）５０１の手前に障害物（檻）５０２があり、障害物（檻）側に合焦している。

そこで、画像生成部は、図５（ａ）の教師データから、同じラベルが付与された画像の参照、画像の切り出し、画像同士の合成処理といった画像処理を施すことで、図５（ｂ）に示すような画像群を生成できる。また、図５（ｂ）の画像のそれぞれの画像における特徴を図５（ｃ）に表にしている。

図５（ｂ）（ｃ）からわかるように、画像５０３から画像５０５までは、ユーザの意図である「被写体ではなく手前の障害物に合焦してしまった画像」のため、教師データとして適切（尤度として大きくなるべき画像）である。また、画像５０６、５０７は意図に沿えておらず、教師データとして不適切（尤度としては低くなるべき画像）である。

また、画像５０５のように、ユーザの意図は汲めているが、画像内の被写体と障害物の位置関係が現実的ではない場合においても、不適切（尤度としては低くなるべき画像）だといえる。

そしてまた、例えば、ユーザが「猫が写っている画像」を教師データ生成したい場合においては、画像５０６、５０７が適切で、それ以外の画像が不適切となる。

このように、教師データ生成に求められる画像は、ユーザが学習・推論サーバー１０７で学習させたい内容に強く依存していることがわかる。

続いて、前述の、尤度学習サーバー１０３における尤度推定モデル４０２の学習に関する処理フローを、図６を用いて説明する。図６は本実施例における尤度推定モデルの学習に関する処理フローである。

ステップＳ６０１において、教師データ尤度ラベル付与部３３１は、学習のための教師データを取得する。

本実施例では、尤度学習部３３２が教師データとなる画像群を、ネットワーク１０９を通じて取得し、データ記憶部３３０に保存する。教師データ尤度ラベル付与部３３１は、保存された画像群に対して、尤度ありのラベルを貼る。

ステップＳ６０２において、尤度学習部３３２は画像に対する推定結果と教師データとの差を最小化するよう尤度学習部３３２内部のパラメータを更新することで尤度推定モデル４０２の学習を行なう。

具体的には、尤度学習部３３２は、損失関数を用いて、ニューラルネットワークからの出力データと入力した教師データとの誤差を計算する。

そして、得られた誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新は、例えば、公知の技術である誤差逆伝播法を用いて行われる。

これにより、尤度学習部３３２は既存の教師データの画像に見た目が近い画像ほど教師データ尤度が高く推定され、見た目が遠い画像ほど教師データ尤度が小さく推定されるように学習が進行する。

ステップＳ６０３において、尤度学習部３３２は尤度推定モデル４０２の精度が閾値以上か否かを判定する。

尤度学習部３３２が尤度推定モデル４０２の精度を閾値以上であると判定した場合、処理はステップＳ６０４に進む。この時、尤度推定モデル４０２は、学習済みモデルとして、尤度推論サーバー１０４での利用が可能となる。

尤度学習部３３２が尤度推定モデル４０２の精度を閾値未満であると判定した場合、処理はステップＳ６０１に進む。

ステップＳ６０４において、尤度学習部３３２は精度が閾値以上となった尤度推定モデル４０２の情報を尤度学習サーバー１０３のデータ記憶部３３０に書き出し、尤度推論サーバー１０４へ情報出力する。

以上、教師画像生成装置１００における尤度推定モデル４０２の学習済みモデルの学習方法に関する実施方法を述べた。

続いて、この尤度推定モデル４０２を用いた、教師データ生成の処理フローに関して、図７を用いて説明する。図７は本発明の本実施形態における教師データ生成に関する処理フロー図である。

図７のフローチャートを参照しながら、合成画像の生成処理、教師データ尤度の推論処理と、教師データ生成処理の流れを説明する。

ステップＳ７０１において、画像生成サーバー１０１の画像生成パラメータ決定部３１１は画像生成パラメータを決定し、決定された画像生成パラメータは、同サーバーのデータ記憶部３１０に記憶される。

例えば、図５の５０３の画像を生成時における画像生成パラメータは、入力である教師データ５０１に対して、別の画像（金網やフェンス）を合成するといった具合である。

ステップＳ７０２において、画像生成サーバー１０１の画像処理部３１２は、同サーバーのデータ記憶部３１０から画像生成パラメータを読み出す。そして、所定の画像処理を施した後、生成した画像と、正解ラベルデータを画像収集サーバー１０２のデータ記憶部３２０へ書き出す。

例えば、一枚の教師データ画像から新しい画像を生成する場合は、画像に対してトリミング処理、色調補正処理、ぼかし処理のうち、任意の画像処理が適用されればよい。

また、教師データ画像を含む二つ以上の画像から新しい画像を生成する場合は、それぞれの画像処理パラメータに加えて、画像の重畳処理が適用されればよい。

なお、生成された画像に、画像処理内容を反映した正解ラベルデータを付与してもよい。例えば、画像合成がなされた際には、新しい正解ラベルとして、合成前のそれぞれの正解ラベルの内容を足し込むことで更新してもよい。

また、画像処理内容を反映した正解ラベルデータは、クライアント端末１０６の表示部２０９で生成した画像を表示し、入力部２０８からの入力を促すことで、ユーザにより内容を更新してもよい。

ステップＳ７０３において、尤度推論サーバー１０４の尤度推論部３４０は、画像収集サーバー１０２のデータ記憶部３２０から書き出された画像を読み出し、そして、尤度推定モデルへ入力することで教師データ尤度を得る。得られた教師データ尤度は、ラベル付与サーバー１０５の尤度判定部３５１へ出力される。

ステップＳ７０４で、ラベル付与サーバー１０５の尤度判定部３５１は、ステップＳ７０３で得た教師データ尤度を用い、ステップＳ７０２で画像収集サーバー１０２のデータ記憶部３２０に書き出した新規生成画像を、新規教師データとして扱うか否か判定する。

尤度判定部３５１が推定された教師データ尤度を所定の閾値以上であると判定した場合、処理はステップＳ７０５へ進む。

尤度判定部３５１が推定された教師データ尤度を閾値未満であると判定した場合、処理はステップＳ７０１へ進む。

ステップＳ７０５において、ラベル付与サーバー１０５の正解ラベル付与部３５２は、新規生成画像に対する正解ラベルを付与し、教師データとして、画像収集サーバー１０８のデータ記憶部１８０へ書き出し出力する。

なお、ここで付与される正解ラベルは、新規生成画像の正解ラベルであれば、生成方式に関しては特に言及しない。例えば、新規生成画像を、クライアント端末１０６に表示し、ユーザにその画像に対する正解ラベルの入力を促しても良い。この他にも、正解ラベル付与部３５２が、新規生成時に施された画像処理内容から、元画像の正解ラベルに対するラベル更新処理を行うことで、その更新された正解ラベルを付与してもよい。

本処理によれば、教師データ生成において、生成された画像の教師データとしての尤度を推定し、その尤度を用いて教師データとしての可否を判定する。

続いて、複数の教師データを連続的に生成する場合の振る舞いに関して図８を用いて説明する。図８は、本発明の本実施形態における複数の教師データを連続的に生成時の処理フロー図である。なお、図８において、ステップＳ７０１からＳ７０５は、前述の図７を用いた教師データ生成処理フローと同じ処理のため、詳細説明は省略する。

ステップＳ８０１において、クライアント端末１０６の教師データ生成指示部３６０は、画像生成サーバー１０１の画像生成部３１２に教師データの新規生成数Ｎを指示する。また、生成枚数の管理変数ｎも０に初期化する。本実施例においては、新規生成数Ｎ＝１０とする。

ステップＳ７０１からステップＳ７０５の処理は、基本的に前述した内容と同様である。

ここでは、複数の教師データを連続的に生成する場合において、差分となる処理にのみ説明する。

ステップＳ７０４において、尤度判定部３５１が推定された教師データ尤度を閾値未満であると判定した場合、処理はステップＳ８０５へ進む。

ステップＳ８０２において、ラベル付与サーバー１０５は、ステップＳ７０５で出力された新規生成された教師データに対して、推定された教師データ尤度を付与し、第二の教師データとして、画像収集サーバー１０２もしくは、１０８へ出力する。

これにより、クライアント端末１０６は、これらの第二の教師データを参照し、新規生成した教師データを教師データ尤度によって分類、選別して学習部３７０の学習に利用してもよい。

また、第二の教師データの構成として、教師データ尤度の他に、例えば、画像生成時に用いた画像やパラメータを含めてもよい。

ステップＳ８０３において、画像生成部１０２は、生成枚数の管理変数ｎを１つインクリメントする。

ステップＳ８０４において、画像生成部１０２は、生成枚数の管理変数ｎが新規生成数Ｎに到達したか否かを判定する。

画像生成部１０２が管理変数ｎを新規生成数Ｎに到達したと判定した場合、処理を終了する。

画像生成部１０２が管理変数ｎを新規生成数Ｎに到達していないと判定した場合、処理はステップＳ８０６へ進む。

ステップＳ８０５において、画像生成サーバー１０１の画像生成パラメータ決定部３１１は前処理のステップＳ７０４における尤度の閾値との差分が大きいほど、教師データ尤度への変化が大きくなるように重み付けして画像生成パラメータを算出する。

算出された画像生成パラメータは、同サーバーのデータ記憶部３１０に記憶される。

例えば、教師データ尤度が低い時には、合成処理に用いる画像を差し替えるや、画像の合成位置関係を大きくするといった画像生成パラメータにしてもよい。

なお、ここでの処理の別の方法として、クライアント端末１０６の表示部２０９に対して、教師データ生成に関する警告表示を行なうことで、ユーザから、教師データ尤度が大きくなるような画像生成パラメータの入力指示を促してもよい。

ステップＳ８０６において、画像生成サーバー１０１の画像生成パラメータ決定部３１１は教師データ尤度への変化が小さく、かつ教師データのラベル差分が大きくなるように、重み付けして画像生成パラメータを算出する。算出された画像生成パラメータは、同サーバーのデータ記憶部３１０に記憶される。例えば、画像生成パラメータごとに、過去、教師データ尤度がより高く出たものが選択されやすいように重み付けしてもよい。

または、比較的教師データ尤度が大きく変化し易い、合成処理などの複数の画像を用いた画像処理の処理度合いを少なくなるように重み付けしてもよい。

そしてまた、画像に付与されるラベルが新規であるほど、選択されやすいように重み付けしてもよい。

これにより、新たな教師データを必要としている機械学習モデルにおける学習効率を低下させることなく、多様な教師データの生成が可能となる教師データ生成装置を提供することが可能となる。

なお本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、教師データ生成指示部３６０が、画像生成パラメータ決定部３１１で算出された画像生成パラメータや、正解ラベル付与部３５２で生成された正解ラベルデータ、尤度判定部で用いる尤度閾値の確認ができるようにしてもよい。

そしてまた、確認したパラメータに対して、ユーザ意図を反映できるように教師データ生成指示部３６０が、パラメータ変更できるようにしてもよい。

Claims (10)

1. 教師データ生成装置において、
   画像生成部と、
   画像に対してラベルデータを付与する正解ラベル付与部と、
   画像が教師データとして尤もらしいかを示す教師データの尤度推定モデルを出力する尤度学習部と、
   前記尤度推定モデルを用いて、画像の教師データ尤度を推定する尤度推論部を有し、
   前記尤度推論部によって推定された教師データ尤度が閾値以上の画像と、画像に付与されたラベルデータとを教師データとすることを特徴とした教師データ生成装置。
2. 前記画像生成部は
   画像に対する画像処理を決定する画像生成パラメータ決定部を有し、
   その画像生成パラメータに従って、画像に対してトリミング処理、色調補正処理、ぼかし処理のうち、任意の画像処理を適用して画像を生成すること
   を特徴とする請求項１記載の教師データ生成装置。
3. 前記画像生成パラメータ決定部は
   二つ以上の画像を用いた画像処理の画像生成パラメータを決定し、その画像生成パラメータに従って、二つ以上の画像に対して、トリミング処理、画像回転処理、画像反転処理、画像の拡大縮小処理のうち任意の画像処理を適用し、画像同士を任意の位置関係となるように重畳合成することで画像を生成することを
   特徴とする請求項２記載の教師データ生成装置。
4. 前記画像生成部は、
   画像に付与されている正解ラベルに対し、
   前記画像生成パラメータ決定部が決定した画像生成パラメータに応じた前記正解ラベルの更新処理を行い、更新した後の正解ラベルを、生成した画像へ付与すること
   を特徴とする請求項３に記載の教師データ生成装置。
5. 指示受付部を有し、
   指示受付部は、生成する画像に対して、少なくとも画像生成パラメータ、正解ラベルデータ、教師データ尤度を受け付け、
   受け付けたとき前記画像生成パラメータを前記画像生成部で用いて、画像生成し、
   前記正解ラベルデータを前記正解ラベル付与部で用いて、生成した後の画像に付与し、
   前記教師データ尤度を尤度判定部で、尤度閾値として用いること
   を特徴とした請求項４に記載の教師データ生成装置。
6. 前記尤度推論部によって推定された教師データ尤度が閾値以上の画像と、画像に付与されたラベルデータを第一の教師データとして出力するのとは別に、前記画像と前記推定された教師データ尤度を第二の教師データとして出力すること
   を特徴とした請求項５に記載の教師データ生成装置。
7. 前記尤度推論部によって推定された教師データ尤度が閾値以上の画像と、
   前記推定された教師データ尤度と、
   前記画像生成に用いた画像と、
   前記画像生成パラメータと、
   前記正解ラベルデータを含むこと
   を特徴とする請求項６に記載の第二の教師データ。
8. 前記尤度推論部によって推定された教師データ尤度を
   前記画像生成パラメータ決定部に入力するパラメータとし、
   教師データ尤度に応じて、画像生成パラメータの算出方法を切り替えること
   を特徴とする請求項７に記載の教師データ生成装置。
9. 教師データを連続して生成する際に、前記教師データ尤度が所定の閾値以上でない場合は、
   前記画像生成パラメータ決定部が、次の画像生成パラメータを、教師データ尤度の変化が大きくなるように重みを付けて算出すること
   を特徴とする請求項８に記載の教師データ生成装置。
10. 教師データを連続して生成する際に、前記教師データ尤度が所定の閾値以上の場合は、
    前記画像生成パラメータ決定部が、次の画像生成パラメータを、教師データ尤度の変化が小さく、教師データのラベル差分が大きくなるように重みを付けて算出すること
    を特徴とする請求項８に記載の教師データ生成装置。

Images