JP2023143197A - 生成装置、生成方法および生成プログラム - Google Patents

生成装置、生成方法および生成プログラム Download PDF

Info

Publication number
JP2023143197A
JP2023143197A JP2022050447A JP2022050447A JP2023143197A JP 2023143197 A JP2023143197 A JP 2023143197A JP 2022050447 A JP2022050447 A JP 2022050447A JP 2022050447 A JP2022050447 A JP 2022050447A JP 2023143197 A JP2023143197 A JP 2023143197A
Authority
JP
Japan
Prior art keywords
data
label
trained model
generation
pseudo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022050447A
Other languages
English (en)
Other versions
JP7280993B1 (ja
Inventor
喬仁 蕭
Kyojin Syo
達大 内藤
Tatsuhiro Naito
清貴 今井
Kiyotaka Imai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2022050447A priority Critical patent/JP7280993B1/ja
Application granted granted Critical
Publication of JP7280993B1 publication Critical patent/JP7280993B1/ja
Publication of JP2023143197A publication Critical patent/JP2023143197A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

【課題】推定精度が高い学習済モデルを効率的に生成する。【解決手段】生成装置(10)は、生成処理を複数回実行する生成部(15)を備え、生成部(15)は、2回目以降の生成処理では、前の回の生成処理において生成した学習済みモデル(M1、M2)を用いて擬似ラベルを取得し、擬似ラベルが付されたデータを含む教師データを用いた機械学習により学習済みモデルを生成する。【選択図】図1

Description

本発明は、生成装置、生成方法および生成プログラムに関する。
データを処理するために、教師データを機械学習させて生成した学習済モデルを用いることがある。例えば、対象物が撮像された画像データなどのデータから特定の領域を検出する場合、画像データ中の各領域を特定したラベルを手作業によって付すことにより、アノテーションを行った教師データを機械学習させて生成した学習済モデルを用いる。
通常、学習済モデルから出力される出力結果の精度を向上させるためには、アノテーションが行われたデータを教師データとして大量に必要とする。しかしながら、特に、手作業でのアノテーションを行う場合、アノテーションが行われたデータを大量に取得するのは困難であり、時間や費用などのコストがかかる。また、複数人によりアノテーションを分担する場合、作業者であるユーザがアノテーションを行う際の判断基準が異なるため、最終的に生成される学習済モデルの精度が悪くなる。
機械学習させるために必要なアノテーションが行われたデータを取得する技術として、例えば、特許文献1には、医用に関するデータを取得する取得部と、第1モデルと第2モデルとを用いて生成され、医用に関するデータを入力してラベル付けされたデータを出力する第3モデルを有する処理部と、を備える医用情報処理装置が記載されている。
第1モデルには、ラベル付けされた複数のデータセットを用いて機械学習させている。第2モデルには、第1モデルにラベル付けされていない複数のデータを入力して得られる第1擬似ラベルと、第1モデルに入力されたラベル付けされていない複数のデータと、ラベル付けされた複数のデータセットとを用いて機械学習させている。第3モデルには、第2モデルにラベル付けされていない複数のデータを適用して得られる第2擬似ラベルと、第2モデルに入力されたラベル付けされていない複数のデータと、ラベル付けされた複数のデータセットとを用いて機械学習させている。
特開2020-200319号公報
しかしながら、特許文献1に記載されているような従来技術は、ラベル付けされたデータに基づいて、ラベルなしデータに付された疑似ラベルが正確であるか否かをユーザが判定しているため、高精度な出力結果を出力できる学習済モデルを効率的に生成することができない。すなわち、特許文献1に記載されているような従来技術は、アノテーションが行われたデータに基づいて、当該学習済モデルを効率的に生成できない。
本発明の一態様に係る生成装置は、学習済みモデルを生成する生成処理を複数回実行する生成部を備え、前記生成部は、1回目の生成処理では、第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、2回目以降の生成処理では、前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する。
本発明の一態様に係る生成方法は、コンピュータが、学習済みモデルを生成する生成処理を複数回実行し、1回目の生成処理では、第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、2回目以降の生成処理では、前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する。
実施形態1に係る情報処理システムの構成の一例を示すブロック図である。 実施形態1に係る生成方法の一例を示すフローチャートである。 第2データの一例を示す図である。 第2データの一例を示す図である。 実施形態1に係る推定方法の一例を示すフローチャートである。 実施形態2に係る情報処理システムの構成の一例を示すブロック図である。 実施形態2に係る生成方法の一例を示すフローチャートである。 第2データの一例を示す図である。 第2データの一例を示す図である。 実施形態2に係る推定方法の一例を示すフローチャートである。 実施形態3に係る情報処理システムの構成の一例を示すブロック図である。 実施形態3に係る生成方法の一例を示すフローチャートである。 第2データの一例を示す図である。 第2データの一例を示す図である。 実施形態3に係る推定方法の一例を示すフローチャートである。 各実施形態に係る顧客側端末、店舗側端末およびXRモール生成装置として利用可能なコンピュータの構成を例示したブロック図である。
<実施形態1>
以下、図1~5を用いて、実施形態1に係る情報処理システム1について説明する。
〔情報処理システム1〕
情報処理システム1は、教師データを機械学習させて学習済モデルを生成し、当該学習済モデルを用いて推定を行うことにより、各種データを処理するものでよい。図1は、実施形態1に係る情報処理システムの構成の一例を示すブロック図である。図1に示す情報処理システム1は、生成装置10と、推定装置20とを備えてよい。
〔生成装置10〕
生成装置10は、各種データを処理し、推定を行うために用いられる学習済モデルを生成するものでよい。図1に示すように、生成装置10は、取得部11と、制御部12と、記憶部13と、通信部14と、を備えてよい。
[取得部11]
取得部11は、第1ラベルが付された複数の第1データおよび第2ラベルが付された複数の第2データなどの各種データを取得するものでよい。
第1データおよび第2データとしては、ラベル付け可能なデータであれば特に限定されないが、生成装置10に効果的に適用できるものとしては、それぞれ、第1対象、および第1対象を包括するか、または第1対象に類似する第2対象に関する画像データ、文字データおよび音データなどが挙げられる。第1データおよび第2データの詳細は後述する。
第1ラベルおよび第2ラベルは、第1データおよび第2データに紐づけられるものであれば特に限定されない。第1データおよび第2データが画像データである場合、第1ラベルおよび第2ラベルとしては、例えば、第1対象および第2対象のそれぞれにおける少なくとも一部の領域を示すラベルなどが挙げられる。第2ラベルは、第1ラベルよりも低い精度でよい。第1ラベルおよび第2ラベルの詳細は後述する。
[制御部12]
制御部12は、生成装置10の処理を制御するものでよい。図1に示すように、制御部12は、生成部15を備えてよい。
(生成部15)
生成部15は、学習済みモデルを生成する生成処理を複数回実行する。生成部15は、1回目の生成処理では、第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成する。生成した学習済みモデルに対して対象に関するデータを入力することによって疑似ラベルが得られる。生成部15は、2回目以降の生成処理では、第1ラベルが付された第1データ、第2ラベルが付された第2データ、および、擬似ラベルが付された第2データを教師データとして用いた機械学習により学習済みモデルを生成する。このとき、第2データに付される疑似ラベルは、前の回の生成処理において生成した学習済みモデルに対して第2データを入力することによって取得されたラベルであってよい。疑似ラベルの詳細は後述する。
本実施形態では、生成部15は、第1学習済モデルM1を生成する第1学習済モデル生成部151と、第2学習済モデルM2を生成する第2学習済モデル生成部152と、を備えてよい。生成部15の処理、第1学習済モデルM1および第2学習済モデルM2の詳細は後述する。
[記憶部13]
記憶部13は、第1データおよび第2データなどの各種データならびに第1学習済モデルM1および第2学習済モデルM2などの学習済モデルを記憶するものでよい。
[通信部14]
通信部14は、ネットワークNを介して、推定装置20の通信部24と通信を行うものでよい。図1に示す例では、生成装置10は通信部14を備えているが、本実施形態では、生成装置10は、通信部14を備える代わりに推定装置20と一体化していてもよい。
〔推定装置20〕
推定装置20は、生成装置10が生成した第2学習済モデルM2などの学習済モデルを用いて各種データを処理し、推定するものでよい。図1に示すように、推定装置20は、取得部21と、制御部22と、記憶部23と、通信部24とを備えてよい。
[取得部21]
取得部21は、ラベル付けされていない複数の第2データなどの各種データを取得するものでよい。
[制御部22]
制御部22は、推定装置20の処理を制御するものでよい。図1に示すように、制御部22は、推定部25を備えてよい。
(推定部25)
推定部25は、第2学習済モデルM2などの学習済モデルを用いて推定を行うものでよい。推定部25の処理の詳細は後述する。
[記憶部23]
記憶部23は、取得部21が取得した第2データおよび生成装置10の通信部14から送信された第2学習済モデルM2などの学習済モデルを記憶するものでよい。
[通信部24]
通信部24は、ネットワークNを介して、生成装置10の通信部14と通信を行うものでよい。図1に示す例では、推定装置20は通信部24を備えているが、本実施形態では、推定装置20は、通信部24を備える代わりに生成装置10と一体化していてもよい。
〔生成方法S1〕
以下、図2~4を用いて、実施形態1に係る生成装置10による生成方法S1について説明する。図2は、生成方法の一例を示すフローチャートである。図2に示すように、生成方法S1は、取得ステップS11と、第1学習済モデル生成ステップS12と、第2学習済モデル生成ステップS13とを含んでよい。
[取得ステップS11]
取得部11は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、を取得してよい。
取得部11が取得する第1データおよび第2データの数は、特に限定されないが、例えば、第1データの数としては、100以上200以下、第2データの数としては、2950以上3050以下が挙げられる。このように、取得部11が取得する、第1ラベルよりも低い精度の第2ラベルが付された第2データの数は、第1データの数よりも多くてよい。
(取得ステップS11の例)
取得部11は、鉄塔、ガードレール、工場の屋根および歩道橋などの汎用的な複数種類の構造物を含む第1対象が撮像され、第1対象のサビ領域を示すラベルが付された複数の画像データを第1データとして取得してよい。また、取得部11は、鉄塔を含む、第2対象が撮像され、第2対象のサビ領域を示すラベルが付された複数の画像データを第2データとして取得してよい。
上述の例のように、第1データおよび第2データが画像データを含む場合、生成装置10に効果的に適用できる第1対象は、例えば、(1)複数種類の構造物、(2)複数の工場のパイプ、(3)複数種類の通路を有する街および(4)複数種類の口紅を含む化粧品などが挙げられる。この場合、第2対象としては、(1)鉄塔、ガードレール、工場の屋根または歩道橋、(2)特定の工場のパイプ、(3)特定の通路および(4)特定の口紅などが挙げられる。
第1データおよび第2データが文字データを含む場合、生成装置10に効果的に適用できる第1対象としては、例えば、(1)複数の企業の履歴書、(2)複数のジャンルのニュースの概要および(3)複数の企業のチャットボットなどが挙げられる。この場合、第2対象としては、(1)特定の企業の履歴書、(2)特定のジャンルのニュースの概要および(3)特定の企業のチャットボットなどが挙げられる。
第1データおよび第2データが音データを含む場合、生成装置10に効果的に適用できる第1対象としては、(1)複数の環境における人の音声、(2)複数の企業向けの合成音声および(3)複数の声質などが挙げられる。この場合、第2対象としては、(1)特定の環境における人の音声、(2)特定の環境における合成音声および(3)特定の声質などが挙げられる。
また、上述の例のように、第1データおよび第2データが画像データを含み、第1ラベルおよび第2ラベルが、第1対象および第2対象のそれぞれの少なくとも一部を示す領域を含む場合、生成装置10に効果的に適用できる領域としては、例えば、(1)サビ領域、(2)穴領域、(3)物体領域および(4)口紅の適正範囲外領域などが挙げられる。
第1ラベルおよび第2ラベルがそれぞれ第1対象および第2対象のサビ領域を示す場合、これらのラベルは、第1データにおける第1対象および第2データにおける第2対象の各領域がサビているかどうか、ユーザが手作業にてアノテーションすることにより、第1データおよび第2データに付されたものでよい。
ラベル付けは、人手により、第1データの第1対象および第2データの第2対象の各領域を判定することによって行われてよい。例えば、ラベル付けは、人手により、第1データの第1対象および第2データの第2対象の各領域がサビているかどうかを判定し、サビ領域を抽出することによって行われてよい。
一例として、サビ領域の抽出は、ユーザが、領域選択ツールを用いて、サビていると判定したサビ領域に対応する画素のRGB値(R:赤、G:緑、B:青)をHSV値(H:色相、S:彩度、V:明度)に変換し、サビていないと判定した非サビ領域を除外することにより行われてよい。
また、サビの度合いに応じて、サビ領域に対応する画素のHSV値、すなわち、色相、彩度および明度の少なくとも1つが異なっていてもよい。一例として、サビの度合いは、以下の表1に示すように、サビの度合いと、HSV値を構成するH値(0以上180以下)、S値(0以上255以下)およびV値(0以上255以下)のそれぞれの値の範囲との対応関係に基づいて決定されてよい。この場合、サビ領域のサビの度合いが強いと、サビ領域に対応する画素の色相は赤色を示し、サビ領域のサビの度合いが弱いと、サビ領域に対応する画素の色相は黄色を示してよい。
サビの度合いを判定することはユーザにとっても難しく、特に、第1データおよび第2データが4Kの画像データである場合、ユーザがサビを誤判定した領域や見逃した領域などのノイズもありうる。これに対し、第1学習済モデル生成ステップS12および第2学習済モデル生成ステップS13を行うことにより、ノイズが、人手での修正によらず、効率的に修正されたラベルを出力する学習済モデルを生成しやすくなる。
また、第1ラベルおよび第2ラベルが示す、第1対象および第2対象のそれぞれの少なくとも一部を示す領域が、穴領域、物体領域または口紅の適正範囲外領域である場合でも、これらの領域に該当するか否かの判定は、サビ領域と同様に、人手により行われてよい。当該判定は、RGB値が変換されたHSV値を構成するH値、S値およびV値の少なくとも1つに応じて行われてよく、例えば、第1対象および第2対象のそれぞれの少なくとも一部を示す領域が穴領域、物体領域または口紅の適正範囲外領域に該当する可能性の高さに応じて、当該領域の色相、彩度および明度の少なくとも1つが異なっていてもよい。
[第1学習済モデル生成ステップS12]
第1学習済モデル生成部151は、取得ステップS11において取得された、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データとを第1教師データとして機械学習させ、第1学習済モデルM1を生成してよい。第1学習済モデルM1は、ラベル付けされていない第2データを入力すると、複数の第1疑似ラベルを出力するものでよい。
第1教師データにおける第1ラベルが付された第1データおよび第2ラベルが付された第2データの数は、特に限定されないが、例えば、取得ステップS11において取得される第1データおよび第2データの数と同様でよい。
第1学習済モデル生成部151は、汎用的な多種多用の第1対象が撮像された第1データを第1教師データとして用いることにより、第1対象を包括するか、または第1対象に類似する第2対象の範囲を拡大することができる。これにより、第1対象と第2対象とが同一でなくても、第1学習済モデル生成部151は、高精度の第1ラベルが付された第1データに基づいて低い精度の第2ラベルが付された第2データを新たに精度よくアノテーションを行うことができる。
また、第1学習済モデル生成部151は、第1データを第1教師データとして用いることにより、第1教師データにおける、第1ラベルよりも低い精度の第2ラベルが付された第2データの数が第1データの数よりも多くても、第2データを新たに精度よくアノテーションできる。
例えば、第1データの数が、100以上200以下、第2データの数が、2950以上3050以下など、第2データとの数が第1データの数より大幅に多くても、第1学習済モデル生成部151は、第2データをアノテーションできる。
この場合、第2学習済モデル生成部152が、第1学習済モデルM1から出力される大量の疑似第1データを第2データに付して教師データとして使用することより、結果的に、第1学習済モデル生成部151は、第2データをアノテーションできる。
第1学習済モデル生成部151は、サビ領域に対応する画素の色相、彩度および明度の少なくとも1つに基づき、機械学習に教師データとして用いるデータを決定してよい。
これにより、第1学習済モデル生成部151は、サビの度合いが強い領域を示すラベルが付されたデータを教師データに決定し、サビ領域と非サビ領域とが明確に分かれているデータにアノテーションを行うことができる。また、当該データに付されたラベルに、サビの度合いが弱い領域が含まれていても、第1学習済モデル生成部151は、人手によるラベルの修正なしに、当該データを自動的にアノテーションすることができる。後述の第2学習済モデル生成部152、第3学習済モデル生成部153および第4学習済モデル生成部154も、上述の例と同様に、教師データとして用いるデータを決定してよい。
(第1学習済モデル生成ステップS12の例1)
以下、図3を用いて、第1学習済モデル生成ステップS12の例1について説明する。図3は、第2データの一例を示す図である。第1学習済モデル生成部151は、取得ステップS11の例に記載の第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データとを第1教師データとして機械学習させ、第1学習済モデルM1を生成してよい。当該第1学習済モデルM1は、ラベル付けされていない第2データD1を入力すると、鉄塔(第2対象)O1のサビ領域に対応する画素の領域を示す複数の第1疑似ラベルL1およびL2を出力するものでよい。
(第1学習済モデル生成ステップS12の例2)
以下、図4を用いて、第1学習済モデル生成ステップS12の例2について説明する。図4は、第2データの一例を示す図である。第1学習済モデル生成部151は、取得ステップS11の例に記載の第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データとを第1教師データとして機械学習させ、第1学習済モデルM1を生成してよい。当該第1学習済モデルM1は、ラベル付けされていない第2データD11を入力すると、鉄塔(第2対象)O11のサビ領域に対応する画素の領域を示す複数の第1疑似ラベルL11およびL12を出力するものでよい。
[第2学習済モデル生成ステップS13]
第2学習済モデル生成部152は、第1学習済モデル生成ステップS12において生成された第1学習済モデルM1に対して第2データを入力することによって、第2データに付す第1擬似ラベルを取得し、第1ラベルが付された第1データ、第2ラベルが付された第2データ、および、第1擬似ラベルが付された第2データを第2教師データとして用いた機械学習により第2学習済みモデルM2を生成する。第2学習済モデルMは、ラベル付けされていない第2データを入力すると複数の第2疑似ラベルを出力するものでよい。
第2教師データにおける第1データおよび第2データの数は、特に限定されないが、例えば、第1教師データにおける第1データおよび第2データの数と同様でよい。一例として、第1教師データにおける第1データの数が100、第2データの数が3000である場合、第2教師データにおける第1データの数は100、第2データの数は3000でよい。また、第2教師データにおける第2ラベルが付された第2データの割合は、第1教師データにおける第2ラベルが付された第2データの割合よりも低くてよい。
第2教師データにおける第1疑似ラベルが付された第2データの数は特に限定されないが、一例として、第1教師データにおける第2ラベルが付された第2データの割合を「10」、第1疑似ラベルが付された第2データの割合を「0」、第2教師データにおける第2ラベルが付された第2データの割合を「7」とすると、第2教師データにおける第1疑似ラベルが付された第2データの割合は「3」でよい。
この場合、第2教師データでは、第1教師データにおける第2データに付された第2ラベルの一部が第1疑似ラベルに置き換えられていてもよい。これにより、第2学習済モデル生成部152は、第2データに付された低い精度の第2ラベルを段階的に修正できる。
一例として、第2教師データにおける第2データの数が3000であり、第1学習済モデルM1から出力される第1疑似ラベルの数が3000である場合について説明する。この場合、第2教師データにおける第2ラベルが付された第2データの割合が「7」、第1疑似ラベルが付された第2データの割合が「3」、かつ、これらの第2データの合計の数が3000となるように、第2学習済モデル生成部152は、3000個の第2ラベルが付された第2データと、3000個の第1疑似ラベルが付された第2データとの中から第2教師データとして用いる第2データを決定してよい。
第1疑似ラベルは、取得部11が取得した第2データに付されたラベルに比べて低い精度から高精度なものまでばらつきがあるが、ラベルが付されていない第2データを第1学習済モデルM1に入力するだけで効率的に大量に出力される。そのため、第2学習済モデル生成部152は、ラベルが付されていない第2データに第1疑似ラベルを付すだけで、第2教師データを効率的かつ大量に生成することができる。
また、第2学習済モデル生成部152が、ラベルが付されていない第2データに第1疑似ラベルを付すことは、第2データに付された第2ラベルを第1疑似ラベルに更新することでもある。そのため、第2学習済モデル生成部152は、ラベルが付されていない第2データに第1疑似ラベルを付すだけで、人手によるラベルの修正なしに、第2データに対して自動的にアノテーションを行うことができる。これにより、第2学習済モデル生成部152は、第1疑似ラベルよりも高精度な第2疑似ラベルを大量に出力する第2学習済モデルM2を効率的に生成することができる。
(第2学習済モデル生成ステップS13の例1)
以下、図3を用いて、第2学習済モデル生成ステップS13の例1について説明する。第2学習済モデル生成部152は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD1に第1疑似ラベルL1およびL2が付された複数の第2データD2とを第2教師データとして機械学習させ、第2学習済モデルM2を生成してよい。当該第2学習済モデルM2は、ラベル付けされていない第2データD1を入力すると、鉄塔O1のサビ領域に対応する画素の領域を示す複数の第2疑似ラベルL1’およびL2’を出力するものでよい。
これにより、第2学習済モデル生成部152は、第1データおよび第2データを両方活用しながら、人手での修正が難しい、低い精度のラベルが付された大量の第2データを自動的かつ効率的に修正することができる。その結果、第2教師データが高精度となるため、第2学習済モデル生成部152は、より高精度な出力結果を出力可能な第2学習済モデルM2を生成することができる。
例えば、図3の第2データD3に付された第2疑似ラベルL1’およびL2’は、第2データD2に付された第1疑似ラベルL1およびL2よりもサビ領域が少ない。このように、第1学習済モデル生成部151と、第2学習済モデル生成部152とを備える生成部15は、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことによりノイズを減らすことができる。
(第2学習済モデル生成ステップS13の例2)
以下、図4を用いて、第2学習済モデル生成ステップS13の例2について説明する。第2学習済モデル生成部152は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD11に第1疑似ラベルL11およびL12が付された複数の第2データD12とを第2教師データとして機械学習させ、第2学習済モデルM2を生成してよい。当該第2学習済モデルM2は、ラベル付けされていない第2データD11を入力すると鉄塔O11のサビ領域に対応する画素の領域を示す複数の第2疑似ラベルL11’およびL12’を出力するものでよい。
図4に示すように、第2データD13に付された第2疑似ラベルL11’およびL12’のほうが、第2データD12に付された第1疑似ラベルL11およびL12よりもサビ領域が少ない。このように、生成部15は、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことにより、ノイズを減らすことができる。
〔推定方法S2〕
以下、図5を用いて、実施形態1に係る推定装置20による推定方法S2について説明する。図5は、実施形態1に係る推定方法の一例を示すフローチャートである。図5に示すように、推定方法S2は、取得ステップS21と、推定ステップS22と、を含んでよい。推定方法S2では、あらかじめ、生成装置10の通信部14が第2学習済モデルM2を推定装置20の通信部24に送信し、推定装置20の記憶部23が第2学習済モデルM2を記憶しているものとする。
[取得ステップS21]
取得部11は、ラベル付けされていない複数の第2データを取得する。
(取得ステップS21の例1)
以下、図3を用いて、取得ステップS21の例1について説明する。取得部11は、図3の第2データD1のようなラベル付けされていない複数の第2データを取得する。
(取得ステップS21の例2)
以下、図4を用いて、取得ステップS21の例2について説明する。取得部11は、図4の第2データD11のようなラベル付けされていない複数の第2データを取得する。
[推定ステップS22]
推定部25は、取得ステップS21において取得された、ラベル付けされていない複数の第2データを、記憶部23に記憶されている第2学習済モデルM2に入力し、第2学習済モデルM2から出力される第2疑似ラベルに基づいて推定を行ってよい。推定部25は、第2学習済モデルM2を用いて推定を行うことにより、第1学習済モデルM1を用いて推定を行う場合に比べて、より高精度に推定を行うことができる。
(推定ステップS22の例1)
以下、図3を用いて、推定ステップS22の例1について説明する。推定部25は、ラベル付けされていない複数の第2データD1を第2学習済モデルM2に入力する。続いて、推定部25は、第2学習済モデルM2から出力される複数の第2疑似ラベルL1’およびL2’を、ラベル付けされていない第2データD1に付すことにより、第2データD1における鉄塔O1のサビ領域の推定(検出)を行ってよい。これにより、推定部25は、図3の第1疑似ラベルL1およびL2よりもノイズが少ない第2疑似ラベルL1’およびL2’に対応する領域がサビ領域であると推定できる。
(推定ステップS22の例2)
以下、図4を用いて、推定ステップS22の例2について説明する。推定部25は、ラベル付けされていない複数の第2データD11を第2学習済モデルM2に入力する。続いて、推定部25は、第2学習済モデルM2から出力される第2疑似ラベルL11’およびL12’を、ラベル付けされていない第2データD11に付すことにより、第2データD11における鉄塔O11のサビ領域の推定を行ってよい。これにより、推定部25は、図4の第1疑似ラベルL11およびL12よりもノイズが少ない第2疑似ラベルL11’およびL12’に対応する領域がサビ領域であると推定できる。
<実施形態2>
本発明に係る情報処理システムは、実施形態2に係る情報処理システム1Xのように、生成装置10Xが、第3学習済モデルM3をさらに生成してよい。以下、図6~11を用いて、実施形態2に係る情報処理システム1Xについて説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔情報処理システム1X〕
図6は、実施形態2に係る情報処理システムの構成の一例を示すブロック図である。情報処理システム1Xは、実施形態1に係る生成装置10と、推定装置20との代わりに、生成装置10Xと、推定装置20Xと、を備えてよい。
〔生成装置10X〕
生成装置10Xは、実施形態1における制御部12と記憶部13との代わりに、制御部12Xと記憶部13Xとを備えてよい。この点以外、実施形態2に係る生成装置10Xは、実施形態1に係る生成装置10と同様の構成でよい。
[制御部12X]
制御部12Xは、実施形態1における生成部15の代わりに生成部15Xを備え、生成部15Xは、第3学習済モデルM3を生成する第3学習済モデル生成部153をさらに備えてよい。この点以外、制御部12Xは、実施形態1における制御部12と同様の構成でよい。生成部15Xの情報処理および第3学習済モデルM3の詳細は後述する。
[記憶部13X]
記憶部13Xは、第3学習済モデルM3をさらに記憶するものでよい。この点以外、記憶部13Xは、実施形態1における記憶部13と同様の構成でよい。
〔推定装置20X〕
推定装置20Xは、実施形態1における制御部22の代わりに、制御部22Xを備えてよい。この点以外、実施形態2に係る推定装置20Xは、実施形態1に係る推定装置20と同様の構成でよい。
[制御部22X]
制御部22Xは、実施形態1における推定部25の代わりに推定部25Xを備え、推定部25Xは、第3学習済モデルM3を用いて推定を行うものでよい。この点以外、制御部22Xは、実施形態1における制御部22と同様の構成でよい。推定部25Xの情報処理の詳細は後述する。
〔生成方法S3〕
図7~9を用いて、実施形態2に係る生成装置10Xによる生成方法S3について説明する。図7は、生成方法の一例を示すフローチャートである。図7に示すように、生成方法S3は、取得ステップS31と、第1学習済モデル生成ステップS32と、第2学習済モデル生成ステップS33と、第3学習済モデル生成ステップS34と、を含んでよい。
取得ステップS31、第1学習済モデル生成ステップS32および第2学習済モデル生成ステップS33は、実施形態1における取得ステップS11、第1学習済モデル生成ステップS12および第2学習済モデル生成ステップS13と同様である。
[第3学習済モデル生成ステップS34]
第3学習済モデル生成部153は、取得ステップS31において取得された、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、第2学習済モデル生成ステップS33において生成された、第2疑似ラベルが付された複数の第2データとを第3教師データとして機械学習させ、第3学習済モデルM3を生成してよい。第3学習済モデルM3は、ラベル付けされていない第2データを入力すると複数の第3疑似ラベルを出力するものでよい。
第3教師データにおける第1データおよび第2データの数は、特に限定されないが、例えば、第2教師データにおける第1データおよび第2データの数と同様でよい。一例として、第2教師データにおける第1データの数が100、第2データの数が3000である場合、第3教師データにおける第1データの数は100、第2データの数は3000でよい。また、第3教師データにおける第2データの割合は、第2教師データにおける第2データの割合よりも低くてよい。
第3教師データにおける第2疑似ラベルが付された第2データの数は特に限定されないが、一例として、第1教師データにおける第2ラベルが付された第2データの割合を「10」、第1疑似ラベルが付された第2データの割合を「0」、第2教師データにおける第2ラベルが付された第2データの割合を「7」、第1疑似ラベルが付された第2データの割合を「3」とすると、第3教師データにおける第2ラベルが付された第2データの割合は「5」、第2疑似ラベルが付された第2データの割合は「5」でよい。
この場合、第3教師データでは、第2教師データにおける第2データに付された第2ラベルの一部が第2疑似ラベルに置き換えられていてもよい。これにより、第3学習済モデル生成部153は、第2データに付された低い精度の第2ラベルを段階的に修正できる。
一例として、第3教師データにおける第2データの数が3000であり、第2学習済モデルM2から出力される第2疑似ラベルの数が3000である場合について説明する。この場合、第3教師データにおける第2ラベルが付された第2データの割合が「5」、第2疑似ラベルが付された第2データの割合が「5」、かつ、これらの第2データの合計の数が3000となるように、第2学習済モデル生成部152は、3000個の第2ラベルが付された第2データと、3000個の第2疑似ラベルが付された第2データとの中から第3教師データとして用いる第2データを決定してよい。
第3学習済モデル生成部153は、ラベルが付されていない第2データに第2疑似ラベルを付すだけで、第3教師データを大量に生成することができる。また、第3学習済モデル生成部153は、ラベルが付されていない第2データに第2疑似ラベルを付すだけで、第2データに対して自動的にアノテーションを行うことができる。これにより、第3学習済モデル生成部153は、第2疑似ラベルよりも高精度な第3疑似ラベルを大量に出力する第3学習済モデルM3を効率的に生成できる。
(第3学習済モデル生成ステップS34の例1)
図8を用いて、第3学習済モデル生成ステップS34の例1について説明する。図8は、第2データの一例を示す図である。第3学習済モデル生成部153は、第1ラベルが付された複数の第1データと、第2ラベル付された複数の第2データと、ラベル付けされていない第2データD1に第2疑似ラベルL1’およびL2’が付された複数の第2データD3とを第3教師データとして機械学習させ、第3学習済モデルM3を生成してよい。当該第3学習済モデルM3は、ラベル付けされていない第2データD1を入力すると、鉄塔O1のサビ領域に対応する画素の領域を示す複数の第3疑似ラベルL1’’およびL2’’を出力するものでよい。
これにより、第3学習済モデル生成部153は、第1データおよび第2データを両方活用しながら、人手での修正が難しい、低い精度のラベルが付された大量の第2データを自動的かつ効率的に修正することができる。その結果、第3教師データが高精度となるため、第3学習済モデル生成部153は、より高精度な出力結果を出力可能な第3学習済モデルM3を生成することができる。
例えば、図8の第2データD4に付された第3疑似ラベルL1’’およびL2’’は、第2データD3に付された第2疑似ラベルL1’およびL2’よりサビ領域が少ない。このように、第1学習済モデル生成部151と、第2学習済モデル生成部152と、第3学習済モデル生成部153とを備える生成部15Xは、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことによりノイズを減らすことができる。
(第3学習済モデル生成ステップS34の例2)
図9を用いて、第3学習済モデル生成ステップS34の例2について説明する。図9は、第2データの一例を示す図である。第3学習済モデル生成部153は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD11に第2疑似ラベルL11’およびL12’が付された複数の第2データD13とを第3教師データとして機械学習させ、第3学習済モデルM3を生成してよい。第3学習済モデルM3は、ラベル付けされていない第2データD11を入力すると、鉄塔O11のサビ領域に対応する画素の領域を示す複数の第3疑似ラベルL11’’およびL12’’を出力してよい。
図9に示すように、第2データD14に付された第3疑似ラベルL11’’およびL12’’は、第2データD13に付された第2疑似ラベルL11’およびL12’よりもサビ領域が少ない。このように、生成部15Xは、教師データにおける第2ラベルが付された第2データの割合が段階的に減り、疑似ラベルが付された第2データの割合が増えることにより、ノイズを減らすことができる。
〔推定方法S4〕
図10を用いて、実施形態2に係る推定装置20Xによる推定方法S4について説明する。図10は、実施形態2に係る推定方法の一例を示すフローチャートである。図10に示すように、推定方法S4は、取得ステップS41と、推定ステップS42と、を含んでよい。取得ステップS41は、実施形態1における取得ステップS11と同様である。推定方法S4では、あらかじめ、生成装置10Xの通信部14が第3学習済モデルM3を推定装置20Xの通信部24に送信し、推定装置20Xの記憶部23が第3学習済モデルM3を記憶しているものとする。
[推定ステップS42]
推定部25Xは、取得ステップS41において取得された、ラベル付けされていない複数の第2データを、記憶部23に記憶されている第3学習済モデルM3に入力し、第3学習済モデルM3から出力される第3疑似ラベルに基づいて推定を行ってよい。推定部25Xは、第3学習済モデルM3を用いて推定を行うことにより、第2学習済モデルM2を用いて推定を行う場合に比べて、より高精度に推定を行うことができる。
(推定ステップS42の例1)
図8を用いて、推定ステップS42の例1について説明する。推定部25Xは、ラベル付けされていない複数の第2データD1を第3学習済モデルM3に入力する。続いて、推定部25Xは、第3学習済モデルM3から出力される複数の第2疑似ラベルL1’’およびL2’’を、ラベル付けされていない第2データD1に付すことにより、第2データD1における鉄塔O1のサビ領域の推定を行ってよい。これにより、推定部25Xは、第2疑似ラベルL1’およびL2’よりもノイズが少ない第3疑似ラベルL1’’およびL2’’に対応する領域がサビ領域であると推定できる。
(推定ステップS42の例2)
図9を用いて、推定ステップS42の例2について説明する。推定部25Xは、ラベル付けされていない複数の第2データD11を第3学習済モデルM3に入力する。推定部25Xは、第3学習済モデルM3から出力される第3疑似ラベルL11’’およびL12’’を、ラベル付けされていない第2データD11に付すことにより、第2データD11における鉄塔O11のサビ領域の推定を行ってよい。これにより、推定部25Xは、第2疑似ラベルL11’およびL12’よりノイズが少ない第3疑似ラベルL11’’およびL12’’に対応する領域がサビ領域であると推定できる。
<実施形態3>
本発明に係る情報処理システムは、実施形態2に係る情報処理システム1Yのように、生成装置10Yが、第4学習済モデルM4をさらに生成してよい。以下、図11~15を用いて、実施形態3に係る情報処理システム1Yについて説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔情報処理システム1Y〕
図11は、実施形態3に係る情報処理システムの構成の一例を示すブロック図である。情報処理システム1Yは、実施形態2に係る生成装置10Xと、推定装置20Xとの代わりに、生成装置10Yと、推定装置20Yと、を備えてよい。
〔生成装置10Y〕
生成装置10Yは、実施形態2における制御部12Xと記憶部13Xとの代わりに、制御部12Yと記憶部13Yとを備えてよい。この点以外、実施形態3に係る生成装置10Yは、実施形態2に係る生成装置10Xと同様の構成でよい。
[制御部12Y]
制御部12Yは、実施形態2における生成部15Xの代わりに生成部15Yを備え、生成部15Yは、第4学習済モデルM4を生成する第4学習済モデル生成部154をさらに備えてよい。この点以外、制御部12Yは、実施形態2における制御部12Xと同様の構成でよい。生成部15Yの情報処理および第4学習済モデルM4の詳細は後述する。
[記憶部13Y]
記憶部13Yは、第4学習済モデルM4をさらに記憶するものでよい。この点以外、記憶部13Yは、実施形態2に係る記憶部13と同様の構成でよい。
〔推定装置20Y〕
推定装置20Yは、実施形態2における制御部22Xの代わりに、制御部22Yを備えてよい。この点以外、実施形態3に係る推定装置20Yは、実施形態2に係る推定装置20Xと同様の構成でよい。
[制御部22Y]
制御部22Yは、実施形態2における推定部25Xの代わりに推定部25Yを備え、推定部25Yは、第4学習済モデルM4を用いて推定を行うものでよい。推定部25Xの情報処理の詳細は後述する。
〔生成方法S5〕
図12~15を用いて、実施形態3に係る生成装置10Yによる生成方法S5について説明する。
図12は、生成方法の一例を示すフローチャートである。図12に示すように、生成方法S5は、取得ステップS51と、第1学習済モデル生成ステップS52と、第2学習済モデル生成ステップS53と、第3学習済モデル生成ステップS54と、第4学習済モデル生成ステップS55と、を含んでよい。
取得ステップS51、第1学習済モデル生成ステップS52、第2学習済モデル生成ステップS53および第3学習済モデル生成ステップS54は、実施形態2における取得ステップS31、第1学習済モデル生成ステップS32、第2学習済モデル生成ステップS33および第3学習済モデル生成ステップS34と同様である。
[第4学習済モデル生成ステップS55]
第4学習済モデル生成部154は、取得ステップS51において取得された、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、第3学習済モデル生成ステップS54において生成された、第3疑似ラベルが付された複数の第2データとを第4教師データとして機械学習させ、第4学習済モデルM4を生成してよい。第4学習済モデルM4は、ラベル付けされていない第2データを入力すると複数の第4疑似ラベルを出力するものでよい。
第4教師データにおける第1データおよび第2データの数は、特に限定されないが、例えば、第3教師データにおける第1データおよび第2データの数と同様でよい。一例として、第3教師データにおける第1データの数が100、第2データの数が3000である場合、第4教師データにおける第1データの数は100、第2データの数は3000でよい。また、第4教師データにおける第2データの割合は、第3教師データにおける第2データの割合よりも低くてよい。
第4教師データにおける第3疑似ラベルが付された第2データの数は特に限定されないが、一例として、第1教師データにおける第2ラベルが付された第2データの割合を「10」、第1疑似ラベルが付された第2データの割合を「0」、第2教師データにおける第2ラベルが付された第2データの割合を「7」、第1疑似ラベルが付された第2データの割合を「3」、第3教師データにおける第2ラベルが付された第2データの割合を「5」、第2疑似ラベルが付された第2データの割合を「5」とすると、第4教師データにおける第2ラベルが付された第2データの割合は「3」、第2疑似ラベルが付された第2データの割合は「7」でよい。
このように、一例において、第1教師データにおける第2ラベルが付された第2データと第1疑似ラベルが付された第2データとの割合は10:0、第2教師データにおける第2ラベルが付された第2データと第1疑似ラベルが付された第2データとの割合は8:2~6:4、第3教師データにおける第2ラベルが付された第2データと第2疑似ラベルが付された第2データとの割合は6:4~4:6、第4教師データにおける第2ラベルが付された第2データと第3疑似ラベルが付された第2データとの割合は4:6~2:8でよい。これにより、第2ラベルが付された第2データの割合が段階的に少なくなり、疑似ラベルが付された第2データの割合が段階的に多くなるとともに、疑似ラベルの精度が段階的に高くなる。その結果、生成部15Yが学習済モデルを生成するごとに、学習済モデルから出力される出力結果の精度を向上させることができる。
この場合、第4教師データでは、第3教師データにおける第2データに付された第2ラベルの一部が第3疑似ラベルに置き換えられていてもよい。これにより、第4学習済モデル生成部154は、第2データに付された低い精度の第2ラベルを段階的に修正できる。
一例として、第4教師データにおける第2データの数が3000であり、第3学習済モデルM3から出力される第3疑似ラベルの数が3000である場合について説明する。この場合、第4教師データにおける第2ラベルが付された第2データの割合が「3」、第3疑似ラベルが付された第2データの割合が「7」、かつ、これらの第2データの合計の数が3000となるように、第4学習済モデル生成部154は、3000個の第2ラベルが付された第2データと、3000個の第3疑似ラベルが付された第2データとの中から第3教師データとして用いる第2データを決定してよい。
第4学習済モデル生成部154は、ラベルが付されていない第2データに第3疑似ラベルを付すだけで、第4教師データを大量に生成することができる。また、第4学習済モデル生成部154は、ラベルが付されていない第2データに第3疑似ラベルを付すことにより、第2データに対して自動的にアノテーションを行うことができる。これにより、第4学習済モデル生成部154は、第3疑似ラベルよりも高精度な第4疑似ラベルを大量に出力する第4学習済モデルM4を効率的に生成できる。
(第4学習済モデル生成ステップS55の例1)
図13を用いて、第4学習済モデル生成ステップS55の例1について説明する。図13は、第2データの一例を示す図である。第4学習済モデル生成部154は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD1に第3疑似ラベルL1’’およびL2’’が付された複数の第2データD4とを第4教師データとして機械学習させ、第4学習済モデルM4を生成してよい。当該第4学習済モデルM4は、ラベル付けされていない第2データD1を入力すると鉄塔O1のサビ領域に対応する画素の領域を示す複数の第4疑似ラベルL1’’’およびL2’’’を出力するものでよい。
これにより、第4学習済モデル生成部154は、第1データおよび第2データを両方活用しながら、人手での修正が難しい、低い精度のラベルが付された大量の第2データを自動的かつ効率的に修正することができる。その結果、第4教師データが高精度となるため、第4学習済モデル生成部154は、より高精度な出力結果を出力可能な第4学習済モデルM4を生成することができる。
例えば、図13の第2データD5に付された第4疑似ラベルL1’’’およびL2’’’は、第2データD4に付された第3疑似ラベルL1’’およびL2’’よりもサビ領域が少ない。このように、第1学習済モデル生成部151と、第2学習済モデル生成部152と、第3学習済モデル生成部153と、第4学習済モデル生成部154とを備える生成部15Yは、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことにより、ノイズを減らすことができる。
(第4学習済モデル生成ステップS55の例2)
図14を用いて、第4学習済モデル生成ステップS55の例2について説明する。図14は、第2データの一例を示す図である。第4学習済モデル生成部154は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD11に第3疑似ラベルL11’’およびL12’’が付された複数の第2データD13とを第3教師データとして機械学習させ、第4学習済モデルM4を生成してよい。当該第4学習済モデルM4は、ラベル付けされていない第2データD11を入力すると、複数の第4疑似ラベルL11’’’およびL12’’’’を出力するものでよい。
図14に示すように、第2データD15に付された第4疑似ラベルL11’’’およびL12’’’は、第2データD14に付された第3疑似ラベルL11’’およびL12’’よりもサビ領域が少ない。このように、生成部15Yは、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合が段階的に増やすことにより、ノイズを減らすことができる。
〔推定方法S6〕
図15を用いて、実施形態3に係る推定装置20Yによる推定方法S2Yについて説明する。図15は、実施形態3に係る推定方法の一例を示すフローチャートである。図15に示すように、推定方法S6は、取得ステップS61と、推定ステップS62と、を含んでよい。取得ステップS61は、実施形態2における取得ステップS41と同様である。推定方法S6では、あらかじめ、生成装置10Yの通信部14が第4学習済モデルM4を推定装置20Yの通信部24に送信し、推定装置20Yの記憶部23が第4学習済モデルM4を記憶しているものとする。
[推定ステップS62]
推定部25Yは、取得ステップS61において取得された、ラベル付けされていない複数の第2データを、記憶部23に記憶されている第4学習済モデルM4に入力し、第4学習済モデルM4から出力される第4疑似ラベルに基づいて推定を行ってよい。推定部25Yは、第4学習済モデルM4を用いて推定を行うことにより、第3学習済モデルM3を用いて推定を行う場合に比べて、より高精度に推定できる。
(推定ステップS62の例1)
図13を用いて、推定ステップS62の例1について説明する。推定部25Yは、ラベル付けされていない複数の第2データD1を第4学習済モデルM4に入力する。続いて、推定部25Yは、第4学習済モデルM4から出力される複数の第4疑似ラベルL1’’’およびL2’’’を、ラベル付けされていない第2データD1に付すことにより、第2データD1における鉄塔O1のサビ領域の推定を行ってよい。これにより、推定部25Yは、第3疑似ラベルL1’’およびL2’’よりもノイズが少ない第4疑似ラベルL1’’’およびL2’’’に対応する領域がサビ領域であると推定できる。
(推定ステップS62の例2)
図14を用いて、推定ステップS62の例2について説明する。推定部25Yは、ラベル付けされていない複数の第2データD11を第4学習済モデルM4に入力する。続いて、推定部25Yは、第4学習済モデルM4から出力される第4疑似ラベルL11’’’およびL12’’’を、ラベル付けされていない第2データD11に付すことにより、第2データD11における鉄塔O11のサビ領域の推定を行ってよい。これにより、推定部25Yは、第3疑似ラベルL11’’およびL12’’よりもノイズが少ない第4疑似ラベルL11’’’およびL12’’’に対応する領域がサビ領域であると推定できる。
〔ハードウェア構成およびソフトウェアによる実現例〕
情報処理システム1、1Xおよび1Y(生成装置10、10X、10Yならびに推定装置20、20Xおよび20Y)の制御ブロックは、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、情報処理システム1、1Xおよび1Yを、図16に示すようなコンピュータ(電子計算機)を用いて構成することができる。
図16は、情報処理システム1、1Xおよび1Yとして利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
補助記憶装置914には、コンピュータ910を、情報処理システム1、1Xおよび1Yとして動作させるための生成プログラムおよび推定プログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記生成プログラムおよび推定プログラムを主記憶装置913上に展開して当該生成プログラムおよび推定プログラムに含まれる命令を実行する。これにより、演算装置912は、コンピュータ910を、情報処理システム1、1Xおよび1Yが備える各部として機能させる。補助記憶装置914が生成プログラムおよび推定プログラムなどの情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよい。当該記録媒体は、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などでもよい。
また、コンピュータ910の外部の記録媒体に記録されている生成プログラムおよび推定プログラム、または任意の伝送媒体(通信ネットワークや放送波など)を介してコンピュータ910に供給されたプログラムを用いてコンピュータ910を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
〔付記事項〕
本発明の一態様は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
学習済みモデルを生成する生成処理を複数回実行する生成部を備え、
前記生成部は、
1回目の生成処理では、
第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、
2回目以降の生成処理では、
前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、
前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する、生成装置。
(付記2)
コンピュータが、
学習済みモデルを生成する生成処理を複数回実行し、
1回目の生成処理では、
第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、
2回目以降の生成処理では、
前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、
前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとした機械学習により用いて学習済みモデルを生成する、生成方法。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
また、上述した実施形態では、5回目以降の生成処理について説明されていないが、生成処理は5回以上行われてもよい。例えば、5回目の生成処理を行う場合、生成装置は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、第4疑似ラベルが付された複数の第2データとを第5教師データとして機械学習させ、ラベル付けされていない第2データを入力すると複数の第5疑似ラベルを出力する第5学習済モデルを生成する第5学習済モデル生成部をさらに備えてよい。この場合、第5教師データにおける第2ラベルが付された第2データの割合は、第4学習済モデルの機械学習に用いられた第4教師データにおける第2ラベルが付された第2データの割合よりも低くてよい。この場合、一例として、第5教師データにおける第2ラベルが付された第2データと第4疑似ラベルが付された第2データとの割合は、1:9~0:10でよい。
また、本発明は、アノテーションされたデータに基づき、高精度な出力結果を出力できる学習済モデルを効率的に生成できるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。
10、10X、10Y 生成装置
15、15X、15Y 生成部
151 第1学習済モデル生成部
152 第2学習済モデル生成部
153 第3学習済モデル生成部
154 第4学習済モデル生成部
D1、D2、D3、D4、D5、D11、D12、D13、D14、D15 第2データ
L1、L2、L11、L12 第1疑似ラベル
L1’、L2’、L11’、L12’ 第2疑似ラベル
L1’’、L2’’、L11’’、L12’’ 第3疑似ラベル
L1’’’、L2’’’、L11’’’、L12’’’ 第4疑似ラベル
M1 第1学習済モデル
M2 第2学習済モデル
M3 第3学習済モデル
M4 第4学習済モデル
O1、O11 鉄塔(第2対象)
S1、S3、S5 生成方法
S12、S32、S52 第1学習済モデル生成ステップ
S13、S33、S53 第2学習済モデル生成ステップ
S34、S54 第3学習済モデル生成ステップ
S55 第4学習済モデル生成ステップ
本発明は、生成装置、生成方法および生成プログラムに関する。
データを処理するために、教師データを機械学習させて生成した学習済モデルを用いることがある。例えば、対象物が撮像された画像データなどのデータから特定の領域を検出する場合、画像データ中の各領域を特定したラベルを手作業によって付すことにより、アノテーションを行った教師データを機械学習させて生成した学習済モデルを用いる。
通常、学習済モデルから出力される出力結果の精度を向上させるためには、アノテーションが行われたデータを教師データとして大量に必要とする。しかしながら、特に、手作業でのアノテーションを行う場合、アノテーションが行われたデータを大量に取得するのは困難であり、時間や費用などのコストがかかる。また、複数人によりアノテーションを分担する場合、作業者であるユーザがアノテーションを行う際の判断基準が異なるため、最終的に生成される学習済モデルの精度が悪くなる。
機械学習させるために必要なアノテーションが行われたデータを取得する技術として、例えば、特許文献1には、医用に関するデータを取得する取得部と、第1モデルと第2モデルとを用いて生成され、医用に関するデータを入力してラベル付けされたデータを出力する第3モデルを有する処理部と、を備える医用情報処理装置が記載されている。
第1モデルには、ラベル付けされた複数のデータセットを用いて機械学習させている。第2モデルには、第1モデルにラベル付けされていない複数のデータを入力して得られる第1擬似ラベルと、第1モデルに入力されたラベル付けされていない複数のデータと、ラベル付けされた複数のデータセットとを用いて機械学習させている。第3モデルには、第2モデルにラベル付けされていない複数のデータを適用して得られる第2擬似ラベルと、第2モデルに入力されたラベル付けされていない複数のデータと、ラベル付けされた複数のデータセットとを用いて機械学習させている。
特開2020-200319号公報
しかしながら、特許文献1に記載されているような従来技術は、ラベル付けされたデータに基づいて、ラベルなしデータに付された疑似ラベルが正確であるか否かをユーザが判定しているため、高精度な出力結果を出力できる学習済モデルを効率的に生成することができない。すなわち、特許文献1に記載されているような従来技術は、アノテーションが行われたデータに基づいて、当該学習済モデルを効率的に生成できない。
本発明の一態様に係る生成装置は、学習済みモデルを生成する生成処理を複数回実行する生成部を備え、前記生成部は、1回目の生成処理では、第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、2回目以降の生成処理では、前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する。
本発明の一態様に係る生成方法は、コンピュータが、学習済みモデルを生成する生成処理を複数回実行し、1回目の生成処理では、第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、2回目以降の生成処理では、前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する。
実施形態1に係る情報処理システムの構成の一例を示すブロック図である。 実施形態1に係る生成方法の一例を示すフローチャートである。 第2データの一例を示す図である。 第2データの一例を示す図である。 実施形態1に係る推定方法の一例を示すフローチャートである。 実施形態2に係る情報処理システムの構成の一例を示すブロック図である。 実施形態2に係る生成方法の一例を示すフローチャートである。 第2データの一例を示す図である。 第2データの一例を示す図である。 実施形態2に係る推定方法の一例を示すフローチャートである。 実施形態3に係る情報処理システムの構成の一例を示すブロック図である。 実施形態3に係る生成方法の一例を示すフローチャートである。 第2データの一例を示す図である。 第2データの一例を示す図である。 実施形態3に係る推定方法の一例を示すフローチャートである。 各実施形態に係る顧客側端末、店舗側端末およびXRモール生成装置として利用可能なコンピュータの構成を例示したブロック図である。
<実施形態1>
以下、図1~5を用いて、実施形態1に係る情報処理システム1について説明する。
〔情報処理システム1〕
情報処理システム1は、教師データを機械学習させて学習済モデルを生成し、当該学習済モデルを用いて推定を行うことにより、各種データを処理するものでよい。図1は、実施形態1に係る情報処理システムの構成の一例を示すブロック図である。図1に示す情報処理システム1は、生成装置10と、推定装置20とを備えてよい。
〔生成装置10〕
生成装置10は、各種データを処理し、推定を行うために用いられる学習済モデルを生成するものでよい。図1に示すように、生成装置10は、取得部11と、制御部12と、記憶部13と、通信部14と、を備えてよい。
[取得部11]
取得部11は、第1ラベルが付された複数の第1データおよび第2ラベルが付された複数の第2データなどの各種データを取得するものでよい。
第1データおよび第2データとしては、ラベル付け可能なデータであれば特に限定されないが、生成装置10に効果的に適用できるものとしては、それぞれ、第1対象、および第1対象に包括されるか、または第1対象に類似する第2対象に関する画像データ、文字データおよび音データなどが挙げられる。第1データおよび第2データの詳細は後述する。
第1ラベルおよび第2ラベルは、第1データおよび第2データに紐づけられるものであれば特に限定されない。第1データおよび第2データが画像データである場合、第1ラベルおよび第2ラベルとしては、例えば、第1対象および第2対象のそれぞれにおける少なくとも一部の領域を示すラベルなどが挙げられる。第2ラベルは、第1ラベルよりも低い精度でよい。第1ラベルおよび第2ラベルの詳細は後述する。
[制御部12]
制御部12は、生成装置10の処理を制御するものでよい。図1に示すように、制御部12は、生成部15を備えてよい。
(生成部15)
生成部15は、学習済みモデルを生成する生成処理を複数回実行する。生成部15は、1回目の生成処理では、第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成する。生成した学習済みモデルに対して対象に関するデータを入力することによって疑似ラベルが得られる。生成部15は、2回目以降の生成処理では、第1ラベルが付された第1データ、第2ラベルが付された第2データ、および、擬似ラベルが付された第2データを教師データとして用いた機械学習により学習済みモデルを生成する。このとき、第2データに付される疑似ラベルは、前の回の生成処理において生成した学習済みモデルに対して第2データを入力することによって取得されたラベルであってよい。疑似ラベルの詳細は後述する。
本実施形態では、生成部15は、第1学習済モデルM1を生成する第1学習済モデル生成部151と、第2学習済モデルM2を生成する第2学習済モデル生成部152と、を備えてよい。生成部15の処理、第1学習済モデルM1および第2学習済モデルM2の詳細は後述する。
[記憶部13]
記憶部13は、第1データおよび第2データなどの各種データならびに第1学習済モデルM1および第2学習済モデルM2などの学習済モデルを記憶するものでよい。
[通信部14]
通信部14は、ネットワークNを介して、推定装置20の通信部24と通信を行うものでよい。図1に示す例では、生成装置10は通信部14を備えているが、本実施形態では、生成装置10は、通信部14を備える代わりに推定装置20と一体化していてもよい。
〔推定装置20〕
推定装置20は、生成装置10が生成した第2学習済モデルM2などの学習済モデルを用いて各種データを処理し、推定するものでよい。図1に示すように、推定装置20は、取得部21と、制御部22と、記憶部23と、通信部24とを備えてよい。
[取得部21]
取得部21は、ラベル付けされていない複数の第2データなどの各種データを取得するものでよい。
[制御部22]
制御部22は、推定装置20の処理を制御するものでよい。図1に示すように、制御部22は、推定部25を備えてよい。
(推定部25)
推定部25は、第2学習済モデルM2などの学習済モデルを用いて推定を行うものでよい。推定部25の処理の詳細は後述する。
[記憶部23]
記憶部23は、取得部21が取得した第2データおよび生成装置10の通信部14から送信された第2学習済モデルM2などの学習済モデルを記憶するものでよい。
[通信部24]
通信部24は、ネットワークNを介して、生成装置10の通信部14と通信を行うものでよい。図1に示す例では、推定装置20は通信部24を備えているが、本実施形態では、推定装置20は、通信部24を備える代わりに生成装置10と一体化していてもよい。
〔生成方法S1〕
以下、図2~4を用いて、実施形態1に係る生成装置10による生成方法S1について説明する。図2は、生成方法の一例を示すフローチャートである。図2に示すように、生成方法S1は、取得ステップS11と、第1学習済モデル生成ステップS12と、第2学習済モデル生成ステップS13とを含んでよい。
[取得ステップS11]
取得部11は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、を取得してよい。
取得部11が取得する第1データおよび第2データの数は、特に限定されないが、例えば、第1データの数としては、100以上200以下、第2データの数としては、2950以上3050以下が挙げられる。このように、取得部11が取得する、第1ラベルよりも低い精度の第2ラベルが付された第2データの数は、第1データの数よりも多くてよい。
(取得ステップS11の例)
取得部11は、鉄塔、ガードレール、工場の屋根および歩道橋などの汎用的な複数種類の構造物を含む第1対象が撮像され、第1対象のサビ領域を示すラベルが付された複数の画像データを第1データとして取得してよい。また、取得部11は、鉄塔を含む、第2対象が撮像され、第2対象のサビ領域を示すラベルが付された複数の画像データを第2データとして取得してよい。
上述の例のように、第1データおよび第2データが画像データを含む場合、生成装置10に効果的に適用できる第1対象は、例えば、(1)複数種類の構造物、(2)複数の工場のパイプ、(3)複数種類の通路を有する街および(4)複数種類の口紅を含む化粧品などが挙げられる。この場合、第2対象としては、(1)鉄塔、ガードレール、工場の屋根または歩道橋、(2)特定の工場のパイプ、(3)特定の通路および(4)特定の口紅などが挙げられる。
第1データおよび第2データが文字データを含む場合、生成装置10に効果的に適用できる第1対象としては、例えば、(1)複数の企業の履歴書、(2)複数のジャンルのニュースの概要および(3)複数の企業のチャットボットなどが挙げられる。この場合、第2対象としては、(1)特定の企業の履歴書、(2)特定のジャンルのニュースの概要および(3)特定の企業のチャットボットなどが挙げられる。
第1データおよび第2データが音データを含む場合、生成装置10に効果的に適用できる第1対象としては、(1)複数の環境における人の音声、(2)複数の企業向けの合成音声および(3)複数の声質などが挙げられる。この場合、第2対象としては、(1)特定の環境における人の音声、(2)特定の環境における合成音声および(3)特定の声質などが挙げられる。
また、上述の例のように、第1データおよび第2データが画像データを含み、第1ラベルおよび第2ラベルが、第1対象および第2対象のそれぞれの少なくとも一部を示す領域を含む場合、生成装置10に効果的に適用できる領域としては、例えば、(1)サビ領域、(2)穴領域、(3)物体領域および(4)口紅の適正範囲外領域などが挙げられる。
第1ラベルおよび第2ラベルがそれぞれ第1対象および第2対象のサビ領域を示す場合、これらのラベルは、第1データにおける第1対象および第2データにおける第2対象の各領域がサビているかどうか、ユーザが手作業にてアノテーションすることにより、第1データおよび第2データに付されたものでよい。
ラベル付けは、人手により、第1データの第1対象および第2データの第2対象の各領域を判定することによって行われてよい。例えば、ラベル付けは、人手により、第1データの第1対象および第2データの第2対象の各領域がサビているかどうかを判定し、サビ領域を抽出することによって行われてよい。
一例として、サビ領域の抽出は、ユーザが、領域選択ツールを用いて、サビていると判定したサビ領域に対応する画素のRGB値(R:赤、G:緑、B:青)をHSV値(H:色相、S:彩度、V:明度)に変換し、サビていないと判定した非サビ領域を除外することにより行われてよい。
また、サビの度合いに応じて、サビ領域に対応する画素のHSV値、すなわち、色相、彩度および明度の少なくとも1つが異なっていてもよい。一例として、サビの度合いは、以下の表1に示すように、サビの度合いと、HSV値を構成するH値(0以上180以下)、S値(0以上255以下)およびV値(0以上255以下)のそれぞれの値の範囲との対応関係に基づいて決定されてよい。この場合、サビ領域のサビの度合いが強いと、サビ領域に対応する画素の色相は赤色を示し、サビ領域のサビの度合いが弱いと、サビ領域に対応する画素の色相は黄色を示してよい。
サビの度合いを判定することはユーザにとっても難しく、特に、第1データおよび第2データが4Kの画像データである場合、ユーザがサビを誤判定した領域や見逃した領域などのノイズもありうる。これに対し、第1学習済モデル生成ステップS12および第2学習済モデル生成ステップS13を行うことにより、ノイズが、人手での修正によらず、効率的に修正されたラベルを出力する学習済モデルを生成しやすくなる。
また、第1ラベルおよび第2ラベルが示す、第1対象および第2対象のそれぞれの少なくとも一部を示す領域が、穴領域、物体領域または口紅の適正範囲外領域である場合でも、これらの領域に該当するか否かの判定は、サビ領域と同様に、人手により行われてよい。当該判定は、RGB値が変換されたHSV値を構成するH値、S値およびV値の少なくとも1つに応じて行われてよく、例えば、第1対象および第2対象のそれぞれの少なくとも一部を示す領域が穴領域、物体領域または口紅の適正範囲外領域に該当する可能性の高さに応じて、当該領域の色相、彩度および明度の少なくとも1つが異なっていてもよい。
[第1学習済モデル生成ステップS12]
第1学習済モデル生成部151は、取得ステップS11において取得された、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データとを第1教師データとして機械学習させ、第1学習済モデルM1を生成してよい。第1学習済モデルM1は、ラベル付けされていない第2データを入力すると、複数の第1疑似ラベルを出力するものでよい。
第1教師データにおける第1ラベルが付された第1データおよび第2ラベルが付された第2データの数は、特に限定されないが、例えば、取得ステップS11において取得される第1データおよび第2データの数と同様でよい。
第1学習済モデル生成部151は、汎用的な多種多用の第1対象が撮像された第1データを第1教師データとして用いることにより、第1対象に包括されるか、または第1対象に類似する第2対象の範囲を拡大することができる。これにより、第1対象と第2対象とが同一でなくても、第1学習済モデル生成部151は、高精度の第1ラベルが付された第1データに基づいて低い精度の第2ラベルが付された第2データを新たに精度よくアノテーションを行うことができる。
また、第1学習済モデル生成部151は、第1データを第1教師データとして用いることにより、第1教師データにおける、第1ラベルよりも低い精度の第2ラベルが付された第2データの数が第1データの数よりも多くても、第2データを新たに精度よくアノテーションできる。
例えば、第1データの数が、100以上200以下、第2データの数が、2950以上3050以下など、第2データとの数が第1データの数より大幅に多くても、第1学習済モデル生成部151は、第2データをアノテーションできる。
この場合、第2学習済モデル生成部152が、第1学習済モデルM1から出力される大量の疑似第1データを第2データに付して教師データとして使用することより、結果的に、第1学習済モデル生成部151は、第2データをアノテーションできる。
第1学習済モデル生成部151は、サビ領域に対応する画素の色相、彩度および明度の少なくとも1つに基づき、機械学習に教師データとして用いるデータを決定してよい。
これにより、第1学習済モデル生成部151は、サビの度合いが強い領域を示すラベルが付されたデータを教師データに決定し、サビ領域と非サビ領域とが明確に分かれているデータにアノテーションを行うことができる。また、当該データに付されたラベルに、サビの度合いが弱い領域が含まれていても、第1学習済モデル生成部151は、人手によるラベルの修正なしに、当該データを自動的にアノテーションすることができる。後述の第2学習済モデル生成部152、第3学習済モデル生成部153および第4学習済モデル生成部154も、上述の例と同様に、教師データとして用いるデータを決定してよい。
(第1学習済モデル生成ステップS12の例1)
以下、図3を用いて、第1学習済モデル生成ステップS12の例1について説明する。図3は、第2データの一例を示す図である。第1学習済モデル生成部151は、取得ステップS11の例に記載の第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データとを第1教師データとして機械学習させ、第1学習済モデルM1を生成してよい。当該第1学習済モデルM1は、ラベル付けされていない第2データD1を入力すると、鉄塔(第2対象)O1のサビ領域に対応する画素の領域を示す複数の第1疑似ラベルL1およびL2を出力するものでよい。
(第1学習済モデル生成ステップS12の例2)
以下、図4を用いて、第1学習済モデル生成ステップS12の例2について説明する。図4は、第2データの一例を示す図である。第1学習済モデル生成部151は、取得ステップS11の例に記載の第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データとを第1教師データとして機械学習させ、第1学習済モデルM1を生成してよい。当該第1学習済モデルM1は、ラベル付けされていない第2データD11を入力すると、鉄塔(第2対象)O11のサビ領域に対応する画素の領域を示す複数の第1疑似ラベルL11およびL12を出力するものでよい。
[第2学習済モデル生成ステップS13]
第2学習済モデル生成部152は、第1学習済モデル生成ステップS12において生成された第1学習済モデルM1に対して第2データを入力することによって、第2データに付す第1擬似ラベルを取得し、第1ラベルが付された第1データ、第2ラベルが付された第2データ、および、第1擬似ラベルが付された第2データを第2教師データとして用いた機械学習により第2学習済みモデルM2を生成する。第2学習済モデルMは、ラベル付けされていない第2データを入力すると複数の第2疑似ラベルを出力するものでよい。
第2教師データにおける第1データおよび第2データの数は、特に限定されないが、例えば、第1教師データにおける第1データおよび第2データの数と同様でよい。一例として、第1教師データにおける第1データの数が100、第2データの数が3000である場合、第2教師データにおける第1データの数は100、第2データの数は3000でよい。また、第2教師データにおける第2ラベルが付された第2データの割合は、第1教師データにおける第2ラベルが付された第2データの割合よりも低くてよい。
第2教師データにおける第1疑似ラベルが付された第2データの数は特に限定されないが、一例として、第1教師データにおける第2ラベルが付された第2データの割合を「10」、第1疑似ラベルが付された第2データの割合を「0」、第2教師データにおける第2ラベルが付された第2データの割合を「7」とすると、第2教師データにおける第1疑似ラベルが付された第2データの割合は「3」でよい。
この場合、第2教師データでは、第1教師データにおける第2データに付された第2ラベルの一部が第1疑似ラベルに置き換えられていてもよい。これにより、第2学習済モデル生成部152は、第2データに付された低い精度の第2ラベルを段階的に修正できる。
一例として、第2教師データにおける第2データの数が3000であり、第1学習済モデルM1から出力される第1疑似ラベルの数が3000である場合について説明する。この場合、第2教師データにおける第2ラベルが付された第2データの割合が「7」、第1疑似ラベルが付された第2データの割合が「3」、かつ、これらの第2データの合計の数が3000となるように、第2学習済モデル生成部152は、3000個の第2ラベルが付された第2データと、3000個の第1疑似ラベルが付された第2データとの中から第2教師データとして用いる第2データを決定してよい。
第1疑似ラベルは、取得部11が取得した第2データに付されたラベルに比べて低い精度から高精度なものまでばらつきがあるが、ラベルが付されていない第2データを第1学習済モデルM1に入力するだけで効率的に大量に出力される。そのため、第2学習済モデル生成部152は、ラベルが付されていない第2データに第1疑似ラベルを付すだけで、第2教師データを効率的かつ大量に生成することができる。
また、第2学習済モデル生成部152が、ラベルが付されていない第2データに第1疑似ラベルを付すことは、第2データに付された第2ラベルを第1疑似ラベルに更新することでもある。そのため、第2学習済モデル生成部152は、ラベルが付されていない第2データに第1疑似ラベルを付すだけで、人手によるラベルの修正なしに、第2データに対して自動的にアノテーションを行うことができる。これにより、第2学習済モデル生成部152は、第1疑似ラベルよりも高精度な第2疑似ラベルを大量に出力する第2学習済モデルM2を効率的に生成することができる。
(第2学習済モデル生成ステップS13の例1)
以下、図3を用いて、第2学習済モデル生成ステップS13の例1について説明する。第2学習済モデル生成部152は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD1に第1疑似ラベルL1およびL2が付された複数の第2データD2とを第2教師データとして機械学習させ、第2学習済モデルM2を生成してよい。当該第2学習済モデルM2は、ラベル付けされていない第2データD1を入力すると、鉄塔O1のサビ領域に対応する画素の領域を示す複数の第2疑似ラベルL1’およびL2’を出力するものでよい。
これにより、第2学習済モデル生成部152は、第1データおよび第2データを両方活用しながら、人手での修正が難しい、低い精度のラベルが付された大量の第2データを自動的かつ効率的に修正することができる。その結果、第2教師データが高精度となるため、第2学習済モデル生成部152は、より高精度な出力結果を出力可能な第2学習済モデルM2を生成することができる。
例えば、図3の第2データD3に付された第2疑似ラベルL1’およびL2’は、第2データD2に付された第1疑似ラベルL1およびL2よりもサビ領域が少ない。このように、第1学習済モデル生成部151と、第2学習済モデル生成部152とを備える生成部15は、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことによりノイズを減らすことができる。
(第2学習済モデル生成ステップS13の例2)
以下、図4を用いて、第2学習済モデル生成ステップS13の例2について説明する。第2学習済モデル生成部152は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD11に第1疑似ラベルL11およびL12が付された複数の第2データD12とを第2教師データとして機械学習させ、第2学習済モデルM2を生成してよい。当該第2学習済モデルM2は、ラベル付けされていない第2データD11を入力すると鉄塔O11のサビ領域に対応する画素の領域を示す複数の第2疑似ラベルL11’およびL12’を出力するものでよい。
図4に示すように、第2データD13に付された第2疑似ラベルL11’およびL12’のほうが、第2データD12に付された第1疑似ラベルL11およびL12よりもサビ領域が少ない。このように、生成部15は、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことにより、ノイズを減らすことができる。
〔推定方法S2〕
以下、図5を用いて、実施形態1に係る推定装置20による推定方法S2について説明する。図5は、実施形態1に係る推定方法の一例を示すフローチャートである。図5に示すように、推定方法S2は、取得ステップS21と、推定ステップS22と、を含んでよい。推定方法S2では、あらかじめ、生成装置10の通信部14が第2学習済モデルM2を推定装置20の通信部24に送信し、推定装置20の記憶部23が第2学習済モデルM2を記憶しているものとする。
[取得ステップS21]
取得部11は、ラベル付けされていない複数の第2データを取得する。
(取得ステップS21の例1)
以下、図3を用いて、取得ステップS21の例1について説明する。取得部11は、図3の第2データD1のようなラベル付けされていない複数の第2データを取得する。
(取得ステップS21の例2)
以下、図4を用いて、取得ステップS21の例2について説明する。取得部11は、図4の第2データD11のようなラベル付けされていない複数の第2データを取得する。
[推定ステップS22]
推定部25は、取得ステップS21において取得された、ラベル付けされていない複数の第2データを、記憶部23に記憶されている第2学習済モデルM2に入力し、第2学習済モデルM2から出力される第2疑似ラベルに基づいて推定を行ってよい。推定部25は、第2学習済モデルM2を用いて推定を行うことにより、第1学習済モデルM1を用いて推定を行う場合に比べて、より高精度に推定を行うことができる。
(推定ステップS22の例1)
以下、図3を用いて、推定ステップS22の例1について説明する。推定部25は、ラベル付けされていない複数の第2データD1を第2学習済モデルM2に入力する。続いて、推定部25は、第2学習済モデルM2から出力される複数の第2疑似ラベルL1’およびL2’を、ラベル付けされていない第2データD1に付すことにより、第2データD1における鉄塔O1のサビ領域の推定(検出)を行ってよい。これにより、推定部25は、図3の第1疑似ラベルL1およびL2よりもノイズが少ない第2疑似ラベルL1’およびL2’に対応する領域がサビ領域であると推定できる。
(推定ステップS22の例2)
以下、図4を用いて、推定ステップS22の例2について説明する。推定部25は、ラベル付けされていない複数の第2データD11を第2学習済モデルM2に入力する。続いて、推定部25は、第2学習済モデルM2から出力される第2疑似ラベルL11’およびL12’を、ラベル付けされていない第2データD11に付すことにより、第2データD11における鉄塔O11のサビ領域の推定を行ってよい。これにより、推定部25は、図4の第1疑似ラベルL11およびL12よりもノイズが少ない第2疑似ラベルL11’およびL12’に対応する領域がサビ領域であると推定できる。
<実施形態2>
本発明に係る情報処理システムは、実施形態2に係る情報処理システム1Xのように、生成装置10Xが、第3学習済モデルM3をさらに生成してよい。以下、図6~11を用いて、実施形態2に係る情報処理システム1Xについて説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔情報処理システム1X〕
図6は、実施形態2に係る情報処理システムの構成の一例を示すブロック図である。情報処理システム1Xは、実施形態1に係る生成装置10と、推定装置20との代わりに、生成装置10Xと、推定装置20Xと、を備えてよい。
〔生成装置10X〕
生成装置10Xは、実施形態1における制御部12と記憶部13との代わりに、制御部12Xと記憶部13Xとを備えてよい。この点以外、実施形態2に係る生成装置10Xは、実施形態1に係る生成装置10と同様の構成でよい。
[制御部12X]
制御部12Xは、実施形態1における生成部15の代わりに生成部15Xを備え、生成部15Xは、第3学習済モデルM3を生成する第3学習済モデル生成部153をさらに備えてよい。この点以外、制御部12Xは、実施形態1における制御部12と同様の構成でよい。生成部15Xの情報処理および第3学習済モデルM3の詳細は後述する。
[記憶部13X]
記憶部13Xは、第3学習済モデルM3をさらに記憶するものでよい。この点以外、記憶部13Xは、実施形態1における記憶部13と同様の構成でよい。
〔推定装置20X〕
推定装置20Xは、実施形態1における制御部22の代わりに、制御部22Xを備えてよい。この点以外、実施形態2に係る推定装置20Xは、実施形態1に係る推定装置20と同様の構成でよい。
[制御部22X]
制御部22Xは、実施形態1における推定部25の代わりに推定部25Xを備え、推定部25Xは、第3学習済モデルM3を用いて推定を行うものでよい。この点以外、制御部22Xは、実施形態1における制御部22と同様の構成でよい。推定部25Xの情報処理の詳細は後述する。
〔生成方法S3〕
図7~9を用いて、実施形態2に係る生成装置10Xによる生成方法S3について説明する。図7は、生成方法の一例を示すフローチャートである。図7に示すように、生成方法S3は、取得ステップS31と、第1学習済モデル生成ステップS32と、第2学習済モデル生成ステップS33と、第3学習済モデル生成ステップS34と、を含んでよい。
取得ステップS31、第1学習済モデル生成ステップS32および第2学習済モデル生成ステップS33は、実施形態1における取得ステップS11、第1学習済モデル生成ステップS12および第2学習済モデル生成ステップS13と同様である。
[第3学習済モデル生成ステップS34]
第3学習済モデル生成部153は、取得ステップS31において取得された、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、第2学習済モデル生成ステップS33において生成された、第2疑似ラベルが付された複数の第2データとを第3教師データとして機械学習させ、第3学習済モデルM3を生成してよい。第3学習済モデルM3は、ラベル付けされていない第2データを入力すると複数の第3疑似ラベルを出力するものでよい。
第3教師データにおける第1データおよび第2データの数は、特に限定されないが、例えば、第2教師データにおける第1データおよび第2データの数と同様でよい。一例として、第2教師データにおける第1データの数が100、第2データの数が3000である場合、第3教師データにおける第1データの数は100、第2データの数は3000でよい。また、第3教師データにおける第2データの割合は、第2教師データにおける第2データの割合よりも低くてよい。
第3教師データにおける第2疑似ラベルが付された第2データの数は特に限定されないが、一例として、第1教師データにおける第2ラベルが付された第2データの割合を「10」、第1疑似ラベルが付された第2データの割合を「0」、第2教師データにおける第2ラベルが付された第2データの割合を「7」、第1疑似ラベルが付された第2データの割合を「3」とすると、第3教師データにおける第2ラベルが付された第2データの割合は「5」、第2疑似ラベルが付された第2データの割合は「5」でよい。
この場合、第3教師データでは、第2教師データにおける第2データに付された第2ラベルの一部が第2疑似ラベルに置き換えられていてもよい。これにより、第3学習済モデル生成部153は、第2データに付された低い精度の第2ラベルを段階的に修正できる。
一例として、第3教師データにおける第2データの数が3000であり、第2学習済モデルM2から出力される第2疑似ラベルの数が3000である場合について説明する。この場合、第3教師データにおける第2ラベルが付された第2データの割合が「5」、第2疑似ラベルが付された第2データの割合が「5」、かつ、これらの第2データの合計の数が3000となるように、第2学習済モデル生成部152は、3000個の第2ラベルが付された第2データと、3000個の第2疑似ラベルが付された第2データとの中から第3教師データとして用いる第2データを決定してよい。
第3学習済モデル生成部153は、ラベルが付されていない第2データに第2疑似ラベルを付すだけで、第3教師データを大量に生成することができる。また、第3学習済モデル生成部153は、ラベルが付されていない第2データに第2疑似ラベルを付すだけで、第2データに対して自動的にアノテーションを行うことができる。これにより、第3学習済モデル生成部153は、第2疑似ラベルよりも高精度な第3疑似ラベルを大量に出力する第3学習済モデルM3を効率的に生成できる。
(第3学習済モデル生成ステップS34の例1)
図8を用いて、第3学習済モデル生成ステップS34の例1について説明する。図8は、第2データの一例を示す図である。第3学習済モデル生成部153は、第1ラベルが付された複数の第1データと、第2ラベル付された複数の第2データと、ラベル付けされていない第2データD1に第2疑似ラベルL1’およびL2’が付された複数の第2データD3とを第3教師データとして機械学習させ、第3学習済モデルM3を生成してよい。当該第3学習済モデルM3は、ラベル付けされていない第2データD1を入力すると、鉄塔O1のサビ領域に対応する画素の領域を示す複数の第3疑似ラベルL1’’およびL2’’を出力するものでよい。
これにより、第3学習済モデル生成部153は、第1データおよび第2データを両方活用しながら、人手での修正が難しい、低い精度のラベルが付された大量の第2データを自動的かつ効率的に修正することができる。その結果、第3教師データが高精度となるため、第3学習済モデル生成部153は、より高精度な出力結果を出力可能な第3学習済モデルM3を生成することができる。
例えば、図8の第2データD4に付された第3疑似ラベルL1’’およびL2’’は、第2データD3に付された第2疑似ラベルL1’およびL2’よりサビ領域が少ない。このように、第1学習済モデル生成部151と、第2学習済モデル生成部152と、第3学習済モデル生成部153とを備える生成部15Xは、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことによりノイズを減らすことができる。
(第3学習済モデル生成ステップS34の例2)
図9を用いて、第3学習済モデル生成ステップS34の例2について説明する。図9は、第2データの一例を示す図である。第3学習済モデル生成部153は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD11に第2疑似ラベルL11’およびL12’が付された複数の第2データD13とを第3教師データとして機械学習させ、第3学習済モデルM3を生成してよい。第3学習済モデルM3は、ラベル付けされていない第2データD11を入力すると、鉄塔O11のサビ領域に対応する画素の領域を示す複数の第3疑似ラベルL11’’およびL12’’を出力してよい。
図9に示すように、第2データD14に付された第3疑似ラベルL11’’およびL12’’は、第2データD13に付された第2疑似ラベルL11’およびL12’よりもサビ領域が少ない。このように、生成部15Xは、教師データにおける第2ラベルが付された第2データの割合が段階的に減り、疑似ラベルが付された第2データの割合が増えることにより、ノイズを減らすことができる。
〔推定方法S4〕
図10を用いて、実施形態2に係る推定装置20Xによる推定方法S4について説明する。図10は、実施形態2に係る推定方法の一例を示すフローチャートである。図10に示すように、推定方法S4は、取得ステップS41と、推定ステップS42と、を含んでよい。取得ステップS41は、実施形態1における取得ステップS11と同様である。推定方法S4では、あらかじめ、生成装置10Xの通信部14が第3学習済モデルM3を推定装置20Xの通信部24に送信し、推定装置20Xの記憶部23が第3学習済モデルM3を記憶しているものとする。
[推定ステップS42]
推定部25Xは、取得ステップS41において取得された、ラベル付けされていない複数の第2データを、記憶部23に記憶されている第3学習済モデルM3に入力し、第3学習済モデルM3から出力される第3疑似ラベルに基づいて推定を行ってよい。推定部25Xは、第3学習済モデルM3を用いて推定を行うことにより、第2学習済モデルM2を用いて推定を行う場合に比べて、より高精度に推定を行うことができる。
(推定ステップS42の例1)
図8を用いて、推定ステップS42の例1について説明する。推定部25Xは、ラベル付けされていない複数の第2データD1を第3学習済モデルM3に入力する。続いて、推定部25Xは、第3学習済モデルM3から出力される複数の第2疑似ラベルL1’’およびL2’’を、ラベル付けされていない第2データD1に付すことにより、第2データD1における鉄塔O1のサビ領域の推定を行ってよい。これにより、推定部25Xは、第2疑似ラベルL1’およびL2’よりもノイズが少ない第3疑似ラベルL1’’およびL2’’に対応する領域がサビ領域であると推定できる。
(推定ステップS42の例2)
図9を用いて、推定ステップS42の例2について説明する。推定部25Xは、ラベル付けされていない複数の第2データD11を第3学習済モデルM3に入力する。推定部25Xは、第3学習済モデルM3から出力される第3疑似ラベルL11’’およびL12’’を、ラベル付けされていない第2データD11に付すことにより、第2データD11における鉄塔O11のサビ領域の推定を行ってよい。これにより、推定部25Xは、第2疑似ラベルL11’およびL12’よりノイズが少ない第3疑似ラベルL11’’およびL12’’に対応する領域がサビ領域であると推定できる。
<実施形態3>
本発明に係る情報処理システムは、実施形態2に係る情報処理システム1Yのように、生成装置10Yが、第4学習済モデルM4をさらに生成してよい。以下、図11~15を用いて、実施形態3に係る情報処理システム1Yについて説明する。説明の便宜上、上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
〔情報処理システム1Y〕
図11は、実施形態3に係る情報処理システムの構成の一例を示すブロック図である。情報処理システム1Yは、実施形態2に係る生成装置10Xと、推定装置20Xとの代わりに、生成装置10Yと、推定装置20Yと、を備えてよい。
〔生成装置10Y〕
生成装置10Yは、実施形態2における制御部12Xと記憶部13Xとの代わりに、制御部12Yと記憶部13Yとを備えてよい。この点以外、実施形態3に係る生成装置10Yは、実施形態2に係る生成装置10Xと同様の構成でよい。
[制御部12Y]
制御部12Yは、実施形態2における生成部15Xの代わりに生成部15Yを備え、生成部15Yは、第4学習済モデルM4を生成する第4学習済モデル生成部154をさらに備えてよい。この点以外、制御部12Yは、実施形態2における制御部12Xと同様の構成でよい。生成部15Yの情報処理および第4学習済モデルM4の詳細は後述する。
[記憶部13Y]
記憶部13Yは、第4学習済モデルM4をさらに記憶するものでよい。この点以外、記憶部13Yは、実施形態2に係る記憶部13と同様の構成でよい。
〔推定装置20Y〕
推定装置20Yは、実施形態2における制御部22Xの代わりに、制御部22Yを備えてよい。この点以外、実施形態3に係る推定装置20Yは、実施形態2に係る推定装置20Xと同様の構成でよい。
[制御部22Y]
制御部22Yは、実施形態2における推定部25Xの代わりに推定部25Yを備え、推定部25Yは、第4学習済モデルM4を用いて推定を行うものでよい。推定部25Xの情報処理の詳細は後述する。
〔生成方法S5〕
図12~15を用いて、実施形態3に係る生成装置10Yによる生成方法S5について説明する。
図12は、生成方法の一例を示すフローチャートである。図12に示すように、生成方法S5は、取得ステップS51と、第1学習済モデル生成ステップS52と、第2学習済モデル生成ステップS53と、第3学習済モデル生成ステップS54と、第4学習済モデル生成ステップS55と、を含んでよい。
取得ステップS51、第1学習済モデル生成ステップS52、第2学習済モデル生成ステップS53および第3学習済モデル生成ステップS54は、実施形態2における取得ステップS31、第1学習済モデル生成ステップS32、第2学習済モデル生成ステップS33および第3学習済モデル生成ステップS34と同様である。
[第4学習済モデル生成ステップS55]
第4学習済モデル生成部154は、取得ステップS51において取得された、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、第3学習済モデル生成ステップS54において生成された、第3疑似ラベルが付された複数の第2データとを第4教師データとして機械学習させ、第4学習済モデルM4を生成してよい。第4学習済モデルM4は、ラベル付けされていない第2データを入力すると複数の第4疑似ラベルを出力するものでよい。
第4教師データにおける第1データおよび第2データの数は、特に限定されないが、例えば、第3教師データにおける第1データおよび第2データの数と同様でよい。一例として、第3教師データにおける第1データの数が100、第2データの数が3000である場合、第4教師データにおける第1データの数は100、第2データの数は3000でよい。また、第4教師データにおける第2データの割合は、第3教師データにおける第2データの割合よりも低くてよい。
第4教師データにおける第3疑似ラベルが付された第2データの数は特に限定されないが、一例として、第1教師データにおける第2ラベルが付された第2データの割合を「10」、第1疑似ラベルが付された第2データの割合を「0」、第2教師データにおける第2ラベルが付された第2データの割合を「7」、第1疑似ラベルが付された第2データの割合を「3」、第3教師データにおける第2ラベルが付された第2データの割合を「5」、第2疑似ラベルが付された第2データの割合を「5」とすると、第4教師データにおける第2ラベルが付された第2データの割合は「3」、第2疑似ラベルが付された第2データの割合は「7」でよい。
このように、一例において、第1教師データにおける第2ラベルが付された第2データと第1疑似ラベルが付された第2データとの割合は10:0、第2教師データにおける第2ラベルが付された第2データと第1疑似ラベルが付された第2データとの割合は8:2~6:4、第3教師データにおける第2ラベルが付された第2データと第2疑似ラベルが付された第2データとの割合は6:4~4:6、第4教師データにおける第2ラベルが付された第2データと第3疑似ラベルが付された第2データとの割合は4:6~2:8でよい。これにより、第2ラベルが付された第2データの割合が段階的に少なくなり、疑似ラベルが付された第2データの割合が段階的に多くなるとともに、疑似ラベルの精度が段階的に高くなる。その結果、生成部15Yが学習済モデルを生成するごとに、学習済モデルから出力される出力結果の精度を向上させることができる。
この場合、第4教師データでは、第3教師データにおける第2データに付された第2ラベルの一部が第3疑似ラベルに置き換えられていてもよい。これにより、第4学習済モデル生成部154は、第2データに付された低い精度の第2ラベルを段階的に修正できる。
一例として、第4教師データにおける第2データの数が3000であり、第3学習済モデルM3から出力される第3疑似ラベルの数が3000である場合について説明する。この場合、第4教師データにおける第2ラベルが付された第2データの割合が「3」、第3疑似ラベルが付された第2データの割合が「7」、かつ、これらの第2データの合計の数が3000となるように、第4学習済モデル生成部154は、3000個の第2ラベルが付された第2データと、3000個の第3疑似ラベルが付された第2データとの中から第3教師データとして用いる第2データを決定してよい。
第4学習済モデル生成部154は、ラベルが付されていない第2データに第3疑似ラベルを付すだけで、第4教師データを大量に生成することができる。また、第4学習済モデル生成部154は、ラベルが付されていない第2データに第3疑似ラベルを付すことにより、第2データに対して自動的にアノテーションを行うことができる。これにより、第4学習済モデル生成部154は、第3疑似ラベルよりも高精度な第4疑似ラベルを大量に出力する第4学習済モデルM4を効率的に生成できる。
(第4学習済モデル生成ステップS55の例1)
図13を用いて、第4学習済モデル生成ステップS55の例1について説明する。図13は、第2データの一例を示す図である。第4学習済モデル生成部154は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD1に第3疑似ラベルL1’’およびL2’’が付された複数の第2データD4とを第4教師データとして機械学習させ、第4学習済モデルM4を生成してよい。当該第4学習済モデルM4は、ラベル付けされていない第2データD1を入力すると鉄塔O1のサビ領域に対応する画素の領域を示す複数の第4疑似ラベルL1’’’およびL2’’’を出力するものでよい。
これにより、第4学習済モデル生成部154は、第1データおよび第2データを両方活用しながら、人手での修正が難しい、低い精度のラベルが付された大量の第2データを自動的かつ効率的に修正することができる。その結果、第4教師データが高精度となるため、第4学習済モデル生成部154は、より高精度な出力結果を出力可能な第4学習済モデルM4を生成することができる。
例えば、図13の第2データD5に付された第4疑似ラベルL1’’’およびL2’’’は、第2データD4に付された第3疑似ラベルL1’’およびL2’’よりもサビ領域が少ない。このように、第1学習済モデル生成部151と、第2学習済モデル生成部152と、第3学習済モデル生成部153と、第4学習済モデル生成部154とを備える生成部15Yは、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合を段階的に増やすことにより、ノイズを減らすことができる。
(第4学習済モデル生成ステップS55の例2)
図14を用いて、第4学習済モデル生成ステップS55の例2について説明する。図14は、第2データの一例を示す図である。第4学習済モデル生成部154は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、ラベル付けされていない第2データD11に第3疑似ラベルL11’’およびL12’’が付された複数の第2データD13とを第3教師データとして機械学習させ、第4学習済モデルM4を生成してよい。当該第4学習済モデルM4は、ラベル付けされていない第2データD11を入力すると、複数の第4疑似ラベルL11’’’およびL12’’’’を出力するものでよい。
図14に示すように、第2データD15に付された第4疑似ラベルL11’’’およびL12’’’は、第2データD14に付された第3疑似ラベルL11’’およびL12’’よりもサビ領域が少ない。このように、生成部15Yは、教師データにおける第2ラベルが付された第2データの割合を段階的に減らし、疑似ラベルが付された第2データの割合が段階的に増やすことにより、ノイズを減らすことができる。
〔推定方法S6〕
図15を用いて、実施形態3に係る推定装置20Yによる推定方法S2Yについて説明する。図15は、実施形態3に係る推定方法の一例を示すフローチャートである。図15に示すように、推定方法S6は、取得ステップS61と、推定ステップS62と、を含んでよい。取得ステップS61は、実施形態2における取得ステップS41と同様である。推定方法S6では、あらかじめ、生成装置10Yの通信部14が第4学習済モデルM4を推定装置20Yの通信部24に送信し、推定装置20Yの記憶部23が第4学習済モデルM4を記憶しているものとする。
[推定ステップS62]
推定部25Yは、取得ステップS61において取得された、ラベル付けされていない複数の第2データを、記憶部23に記憶されている第4学習済モデルM4に入力し、第4学習済モデルM4から出力される第4疑似ラベルに基づいて推定を行ってよい。推定部25Yは、第4学習済モデルM4を用いて推定を行うことにより、第3学習済モデルM3を用いて推定を行う場合に比べて、より高精度に推定できる。
(推定ステップS62の例1)
図13を用いて、推定ステップS62の例1について説明する。推定部25Yは、ラベル付けされていない複数の第2データD1を第4学習済モデルM4に入力する。続いて、推定部25Yは、第4学習済モデルM4から出力される複数の第4疑似ラベルL1’’’およびL2’’’を、ラベル付けされていない第2データD1に付すことにより、第2データD1における鉄塔O1のサビ領域の推定を行ってよい。これにより、推定部25Yは、第3疑似ラベルL1’’およびL2’’よりもノイズが少ない第4疑似ラベルL1’’’およびL2’’’に対応する領域がサビ領域であると推定できる。
(推定ステップS62の例2)
図14を用いて、推定ステップS62の例2について説明する。推定部25Yは、ラベル付けされていない複数の第2データD11を第4学習済モデルM4に入力する。続いて、推定部25Yは、第4学習済モデルM4から出力される第4疑似ラベルL11’’’およびL12’’’を、ラベル付けされていない第2データD11に付すことにより、第2データD11における鉄塔O11のサビ領域の推定を行ってよい。これにより、推定部25Yは、第3疑似ラベルL11’’およびL12’’よりもノイズが少ない第4疑似ラベルL11’’’およびL12’’’に対応する領域がサビ領域であると推定できる。
〔ハードウェア構成およびソフトウェアによる実現例〕
情報処理システム1、1Xおよび1Y(生成装置10、10X、10Yならびに推定装置20、20Xおよび20Y)の制御ブロックは、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、情報処理システム1、1Xおよび1Yを、図16に示すようなコンピュータ(電子計算機)を用いて構成することができる。
図16は、情報処理システム1、1Xおよび1Yとして利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
補助記憶装置914には、コンピュータ910を、情報処理システム1、1Xおよび1Yとして動作させるための生成プログラムおよび推定プログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記生成プログラムおよび推定プログラムを主記憶装置913上に展開して当該生成プログラムおよび推定プログラムに含まれる命令を実行する。これにより、演算装置912は、コンピュータ910を、情報処理システム1、1Xおよび1Yが備える各部として機能させる。補助記憶装置914が生成プログラムおよび推定プログラムなどの情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよい。当該記録媒体は、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などでもよい。
また、コンピュータ910の外部の記録媒体に記録されている生成プログラムおよび推定プログラム、または任意の伝送媒体(通信ネットワークや放送波など)を介してコンピュータ910に供給されたプログラムを用いてコンピュータ910を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
〔付記事項〕
本発明の一態様は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
学習済みモデルを生成する生成処理を複数回実行する生成部を備え、
前記生成部は、
1回目の生成処理では、
第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、
2回目以降の生成処理では、
前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、
前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する、生成装置。
(付記2)
コンピュータが、
学習済みモデルを生成する生成処理を複数回実行し、
1回目の生成処理では、
第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、
2回目以降の生成処理では、
前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、
前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとした機械学習により用いて学習済みモデルを生成する、生成方法。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
また、上述した実施形態では、5回目以降の生成処理について説明されていないが、生成処理は5回以上行われてもよい。例えば、5回目の生成処理を行う場合、生成装置は、第1ラベルが付された複数の第1データと、第2ラベルが付された複数の第2データと、第4疑似ラベルが付された複数の第2データとを第5教師データとして機械学習させ、ラベル付けされていない第2データを入力すると複数の第5疑似ラベルを出力する第5学習済モデルを生成する第5学習済モデル生成部をさらに備えてよい。この場合、第5教師データにおける第2ラベルが付された第2データの割合は、第4学習済モデルの機械学習に用いられた第4教師データにおける第2ラベルが付された第2データの割合よりも低くてよい。この場合、一例として、第5教師データにおける第2ラベルが付された第2データと第4疑似ラベルが付された第2データとの割合は、1:9~0:10でよい。
また、本発明は、アノテーションされたデータに基づき、高精度な出力結果を出力できる学習済モデルを効率的に生成できるため、持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」の達成に貢献できる。
10、10X、10Y 生成装置
15、15X、15Y 生成部
151 第1学習済モデル生成部
152 第2学習済モデル生成部
153 第3学習済モデル生成部
154 第4学習済モデル生成部
D1、D2、D3、D4、D5、D11、D12、D13、D14、D15 第2データL1、L2、L11、L12 第1疑似ラベル
L1’、L2’、L11’、L12’ 第2疑似ラベル
L1’’、L2’’、L11’’、L12’’ 第3疑似ラベル
L1’’’、L2’’’、L11’’’、L12’’’ 第4疑似ラベル
M1 第1学習済モデル
M2 第2学習済モデル
M3 第3学習済モデル
M4 第4学習済モデル
O1、O11 鉄塔(第2対象)
S1、S3、S5 生成方法
S12、S32、S52 第1学習済モデル生成ステップ
S13、S33、S53 第2学習済モデル生成ステップ
S34、S54 第3学習済モデル生成ステップ
S55 第4学習済モデル生成ステップ

Claims (5)

  1. 学習済みモデルを生成する生成処理を複数回実行する生成部を備え、
    前記生成部は、
    1回目の生成処理では、
    第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、
    2回目以降の生成処理では、
    前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、
    前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとして用いた機械学習により学習済みモデルを生成する、生成装置。
  2. 前記生成部は、2回目以降の生成処理において、教師データとして用いる前記第2ラベルが付された前記第2データと、前記擬似ラベルが付された前記第2データとの割合を、回が進むにつれて、前記擬似ラベルが付された前記第2データの割合が高くなるように変更する、請求項1に記載の生成装置。
  3. 前記第1対象は、前記第2対象を包括する対象、または、前記第2対象に類似する対象である、請求項1または2に記載の生成装置。
  4. 請求項1に記載の生成装置としてコンピュータを機能させるための生成プログラムであって、前記生成部としてコンピュータを機能させるための生成プログラム。
  5. コンピュータが、
    学習済みモデルを生成する生成処理を複数回実行し、
    1回目の生成処理では、
    第1対象に関する複数の第1データであって、各々に第1ラベルが付された複数の第1データ、および、第1対象とは異なる第2対象に関する第2データであって、各々に第2ラベルが付された複数の第2データを教師データとして用いた機械学習により学習済みモデルを生成し、
    2回目以降の生成処理では、
    前の回の生成処理において生成した学習済みモデルに対して前記第2データを入力することによって、前記第2データに付す擬似ラベルを取得し、
    前記第1ラベルが付された前記第1データ、前記第2ラベルが付された前記第2データ、および、前記擬似ラベルが付された前記第2データを教師データとした機械学習により用いて学習済みモデルを生成する、生成方法。
JP2022050447A 2022-03-25 2022-03-25 生成装置、生成方法および生成プログラム Active JP7280993B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022050447A JP7280993B1 (ja) 2022-03-25 2022-03-25 生成装置、生成方法および生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022050447A JP7280993B1 (ja) 2022-03-25 2022-03-25 生成装置、生成方法および生成プログラム

Publications (2)

Publication Number Publication Date
JP7280993B1 JP7280993B1 (ja) 2023-05-24
JP2023143197A true JP2023143197A (ja) 2023-10-06

Family

ID=86395945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022050447A Active JP7280993B1 (ja) 2022-03-25 2022-03-25 生成装置、生成方法および生成プログラム

Country Status (1)

Country Link
JP (1) JP7280993B1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016298A (ja) * 2017-07-10 2019-01-31 キヤノン株式会社 画像処理装置、画像処理方法
WO2019176407A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019016298A (ja) * 2017-07-10 2019-01-31 キヤノン株式会社 画像処理装置、画像処理方法
WO2019176407A1 (ja) * 2018-03-16 2019-09-19 富士フイルム株式会社 学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル

Also Published As

Publication number Publication date
JP7280993B1 (ja) 2023-05-24

Similar Documents

Publication Publication Date Title
Assimakopoulos et al. The theta model: a decomposition approach to forecasting
US20210056351A1 (en) Multi-scale aware pedestrian detection method based on improved full convolutional network
JP5682569B2 (ja) 色彩解析装置、色彩解析方法、及び色彩解析プログラム
CN109146912A (zh) 一种基于目标性分析的视觉目标跟踪方法
WO2020240808A1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
US8001061B2 (en) First and second unsupervised learning processes combined using a supervised learning apparatus
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
JP2023143197A (ja) 生成装置、生成方法および生成プログラム
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
JP2002082985A (ja) 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体
Zarepisheh et al. Determination of returns to scale by CCR formulation without chasing down alternative optimal solutions
TW202109388A (zh) 依據同目標求職者履歷產生履歷修改建議之系統及方法
Huang et al. A harmonic means pooling strategy for structural similarity index measurement in image quality assessment
JP2023069083A (ja) 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム
JPH08263522A (ja) 画像検索方法
JPH04182860A (ja) 画像セグメンテーション方法
JP2004094379A (ja) 類似画像検索装置
JP2011141664A (ja) 文書比較装置、文書比較方法、及びプログラム
JP4821116B2 (ja) 表示制御装置、表示制御処理のプログラム
CN111539490B (zh) 一种业务模型训练方法和装置
US20220350826A1 (en) Question answering apparatus and method
WO2023053365A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US12002254B2 (en) Method and apparatus of training object detection network and object detection method and apparatus
JP7265690B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN112581528B (zh) 一种基于主动学习的衣物关键点辅助标注及预测优化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230512

R150 Certificate of patent or registration of utility model

Ref document number: 7280993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150