JP2021184299A - 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム - Google Patents

学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム Download PDF

Info

Publication number
JP2021184299A
JP2021184299A JP2021132656A JP2021132656A JP2021184299A JP 2021184299 A JP2021184299 A JP 2021184299A JP 2021132656 A JP2021132656 A JP 2021132656A JP 2021132656 A JP2021132656 A JP 2021132656A JP 2021184299 A JP2021184299 A JP 2021184299A
Authority
JP
Japan
Prior art keywords
label
unit
image
learning
learning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021132656A
Other languages
English (en)
Other versions
JP7239853B2 (ja
Inventor
英樹 竹原
Hideki Takehara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021132656A priority Critical patent/JP7239853B2/ja
Publication of JP2021184299A publication Critical patent/JP2021184299A/ja
Priority to JP2023029459A priority patent/JP2023065548A/ja
Application granted granted Critical
Publication of JP7239853B2 publication Critical patent/JP7239853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】これから分類しようとするオブジェクトに適した学習用データを適切に収集する。【解決手段】学習用データ生成装置１０は、学習済みモデルに基づきオブジェクト画像を評価して信頼度を算出する分類評価部３６と、信頼度が、第１閾値より小さく、かつ、第１閾値より値が小さい第２閾値以上である場合に、候補ラベルとは異なる仮ラベルをオブジェクト画像に関連付ける分類判定部３８と、仮ラベルと関連付けられたオブジェクト画像に基づき学習用データを生成する学習用データ生成部４２と、を有する。【選択図】図１

Description

本発明は、学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法
、及びプログラムに関する。
近年、ＧＰＵ（Graphics Processing Unit）などの実用化によって、ディープラーニン
グによる機械学習が注目されている。ディープラーニングは、多層化したニューラルネッ
トワークを機械学習させる手法であり、大量の学習用データを、教師あり学習させること
で、精度を向上させることができる。例えばこの学習用データを用いれば、画像などのオ
ブジェクトにラベルを付与してオブジェクトを分類することができる。ここで、精度良く
教師あり学習を行うためには、ラベルが付与された学習用データを大量に準備する必要が
ある。例えば、特許文献１では、検証用画像を誤検出した場合に、教師なし画像分類器で
未学習画像データから類似画像を抽出して学習用データとして追加するシステムが開示さ
れている。また、特許文献２では、動画像中の顔領域を追跡することで、学習用データを
増加させる方法が開示されている。
特開２０１７−１１１７３１号公報 特開２００６−３４３７９１号公報
しかし、特許文献１では、検証用画像の分類精度を向上させることはできるが、これか
ら分類しようとするオブジェクトに適した学習用データの収集の観点からは、改善の余地
がある。また、特許文献２では、既知のラベルに対する学習用データを増加させることは
できるが、既知のラベルに分類されないオブジェクトに適した学習用データを増加させる
ためには、改善の余地がある。従って、これから分類しようとするオブジェクトに適した
学習用データを適切に収集することが求められている。
本発明は、上記課題を鑑み、これから分類しようとするオブジェクトに適した学習用デ
ータを適切に収集可能な学習用データ作成装置、学習用モデル作成システム、学習用デー
タ作成方法、及びプログラムを提供することを目的とする。
本発明の一態様にかかる学習用データ生成装置は、画像を取得する画像取得部と、前記
画像からオブジェクト画像を抽出するオブジェクト抽出部と、学習済みモデルに基づき前
記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性
の高さを示す信頼度を算出する分類評価部と、前記信頼度が、第１閾値より小さく、かつ
、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮
ラベルを、前記オブジェクト画像に関連付ける分類判定部と、前記仮ラベルと関連付けら
れた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成部と、を備
える。
本発明の一態様にかかる学習用データ生成方法は、画像を取得する画像取得ステップと
、前記画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、学習済みモデ
ルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類
される可能性の高さを示す信頼度を算出する分類評価ステップと、前記信頼度が、第１閾
値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補
ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、
前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学
習用データ生成ステップと、を有する。
本発明の一態様にかかるプログラムは、画像を取得する画像取得ステップと、前記画像
からオブジェクト画像を抽出するオブジェクト抽出ステップと、学習済みモデルに基づき
前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能
性の高さを示す信頼度を算出する分類評価ステップと、前記信頼度が、第１閾値より小さ
く、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは
異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、前記仮ラベ
ルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ
生成ステップと、を有する、をコンピュータに実行させる。
本発明によれば、これから分類しようとするオブジェクトに適した学習用データを適切
に収集することができる。
図１は、本実施形態に係るオブジェクト分類システムの模式的なブロック図である。 図２は、学習済みモデルによる分類の概念を模式的に示した図である。 図３は、信頼度テーブルの一例を示す図である。 図４は、分類判定部による判定を説明するための図である。 図５は、ラベルテーブルの一例を示す図である。 図６は、仮ラベルテーブルの一例を示す図である。 図７は、ラベルテーブルの一例を示す図である。 図８は、学習済みデータテーブルの一例である。 図９は、学習済みデータテーブルの一例である。 図１０は、学習用データ生成装置の制御部による処理フローを説明するフローチャートである。 図１１は、本実施形態の他の例での分類判定部による判定を説明するための図である。 図１２は、本実施形態の他の例での分類判定部による判定を説明するための図である。 図１３は、本実施形態の他の例の学習済みデータテーブルの一例を示す図である。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実
施形態により本発明が限定されるものではない。
図１は、本実施形態に係るオブジェクト分類システムの模式的なブロック図である。本
実施形態に係るオブジェクト分類システム１は、学習済みモデルに基づき、オブジェクト
画像にラベルを付与することで、オブジェクト画像を分類するシステムである。また、オ
ブジェクト分類システム１は、学習用データを生成して、学習済みモデルを更新すること
で、オブジェクト画像の分類精度を高くするものである。すなわち、オブジェクト分類シ
ステム１は、学習用モデル作成システムであるともいえる。
図１に示すように、オブジェクト分類システム１は、学習用データ生成装置１０と、学
習装置１２とを有する。学習用データ生成装置１０は、本実施形態では、所定の位置に設
定された端末である。学習用データ生成装置１０は、撮像部２０と、記憶部２２と、通信
部２４と、制御部２６とを有する。なお、学習用データ生成装置１０は、例えばユーザが
入力可能な入力部、及び、情報を出力可能な出力部を備えていてもよい。この場合、入力
部は、撮像部２０に撮像させるためのボタンなどの入力装置であってもよいし、マウスや
キーボード、タッチパネルなどであってもよい。出力部は、例えばディスプレイであり、
撮像した画像などが表示可能である。
撮像部２０は、制御部２６の制御により画像を撮像する撮像素子である。本実施形態で
は、撮像部２０は、動画像を撮像するものであるが、静止画像を撮像するものであっても
よい。このように、学習用データ生成装置１０は、本実施形態では、撮像部２０を有する
撮像装置である。ただし、学習用データ生成装置１０は、必ずしも撮像部２０を有してい
なくてもよい。この場合、学習用データ生成装置１０は、外部装置から、画像を通信など
によって画像を取得すればよい。撮像部２０は、画像解像度が（１９２０ｘ１０８０）で
フレームレートが３０フレーム／秒で撮像を行うが、解像度及びフレームレートなど、撮
像条件はこれに限られない。
記憶部２２は、制御部２６の演算内容やプログラムの情報、及び撮像部２０が撮像した
画像などを記憶するメモリである。記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃ
ｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びフラッ
シュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの外部記憶装置を少なくとも１つ含む。
通信部２４は、制御部２６の制御により、外部装置、ここでは学習装置１２と通信する
ことでデータの送受信をする。通信部２４は、例えばアンテナであり、例えば無線ＬＡＮ
、Ｗｉ-ｆｉ（登録商標）、ブルートゥース（登録商標）などの無線通信により学習装置
１２とデータの送受信を行う。ただし、通信部２４は、学習装置１２とケーブルで接続さ
れて、有線通信により情報を送受信するものであってもよい。
制御部２６は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）である。制御部２６は、画像取得部３０と、オブジェクト抽出部３２と、学習
済みモデル取得部３４と、分類評価部３６と、分類判定部３８と、ラベル付与部４０と、
学習用データ生成部４２と、学習用データ送信制御部４４とを有する。画像取得部３０と
、オブジェクト抽出部３２と、学習済みモデル取得部３４と、分類評価部３６と、分類判
定部３８と、ラベル付与部４０と、学習用データ生成部４２と、学習用データ送信制御部
４４とは、記憶部２２に記憶されたソフトウェア（プログラム）を読み出すことで、後述
する処理を実行する。
画像取得部３０は、撮像部２０を制御して、撮像部２０に画像を撮像させる。画像取得
部３０は、撮像部２０が撮像した画像を取得する。画像取得部３０は、取得した画像を記
憶部２２に記憶させる。
オブジェクト抽出部３２は、画像取得部３０が取得した画像から、オブジェクト画像Ｐ
を抽出する。オブジェクト画像Ｐは、画像内の一部の領域に含まれる画像であり、分類の
対象となる画像である。例えば、オブジェクト画像Ｐは、画像内に写っている人の顔画像
である。オブジェクト抽出部３２は、１つの画像から、複数のオブジェクト画像Ｐが抽出
する。すなわち、画像に顔画像が複数存在する場合、オブジェクト抽出部３２は、その顔
画像のそれぞれを、オブジェクト画像Ｐとして抽出する。なお、オブジェクト画像Ｐは、
分類の対象となる画像であれば、人の顔画像に限られず任意の画像であってよい。オブジ
ェクト画像Ｐとしては、例えば、動植物、建造物、及び自動車などの各種装置が挙げられ
る。
オブジェクト抽出部３２は、画像の特徴量を検出することでオブジェクト画像Ｐを抽出
する。オブジェクト抽出部３２は、例えば、Ｈａａｒ−ｌｉｋｅ特徴を用いて顔認識する
もの（Ｈａａｒ−ｌｉｋｅ検出器）であるが、他の方法で顔認識が出来る特徴量検出器で
あってもよい。すなわち、オブジェクト抽出部３２は、オブジェクト画像Ｐを抽出できる
ものであれば、抽出の方法は任意である。オブジェクト抽出部３２が抽出したオブジェク
ト画像Ｐは、記憶部２２に記憶される。
学習済みモデル取得部３４は、通信部２４を制御して、学習装置１２から学習済みモデ
ルを取得する。学習済みモデル取得部３４は、取得した学習済みモデルを、記憶部２２に
記憶させる。本実施形態に係る学習済みモデルは、ディープラーニングによって学習され
た分類器を構成するニューラルネットワークを定義するモデル（ニューラルネットワーク
の構成情報）と、変数とで構成される。学習済みモデルは、同一の入力データが入力され
れば、同一の分類結果が得られるニューラルネットワークを再現できるものである。ディ
ープラーニングは、ディープニューラルネットワークをバックプロパケーション（誤差逆
伝搬法）で学習させる学習方法である。
図２は、学習済みモデルによる分類の概念を模式的に示した図である。分類評価部３６
は、記憶部２２から学習済みモデルを読み出し、学習済みモデルを用いて、オブジェクト
画像Ｐを分類する。さらに言えば、分類評価部３６は、学習済みモデルを用いて、オブジ
ェクト画像Ｐが、候補ラベルに分類される可能性（後述する信頼度）を、複数の候補ラベ
ルのそれぞれについて算出する。分類評価部３６は、学習済みモデルに、オブジェクト画
像Ｐを入力データとして入力する。これにより、学習済みモデルは、オブジェクト画像Ｐ
から複数種類の特徴量を抽出して、その特徴量に基づき、複数の候補ラベルのそれぞれに
ついて、オブジェクト画像Ｐが分類される可能性の高さを算出する。さらに言えば、学習
済みモデルは、複数階層のニューラルネットワークで構成されており、階層ごとに異なる
特徴量を抽出することで、オブジェクト画像Ｐを分類する。すなわち、学習済みモデルに
おいては、例えば、２つ候補ラベルに分類する場合には、図２に示すように、抽出したオ
ブジェクト画像Ｐの特徴量が、設定された境界線Ｌ以上となるか以下となるかにより、オ
ブジェクト画像Ｐがどちらの候補ラベルに分類されるかの判定を行う。本実施形態におい
て、学習済みモデルに用いるモデルとしては、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａ
ｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が用いられる。ＣＮＮでは、中間層に主に複数の畳
み込み層と複数のプーリング層が設置されて、入力データの特徴量を抽出し、最終層に全
結合層が設置されて、入力データを分類する。ただし、学習済みモデルは、オブジェクト
画像Ｐの特徴量に基づきオブジェクト画像Ｐを分類するものであれば、分類するモデルや
方法は任意である。ディープラーニングは、Tensor Flowなどのディープラーニングのフ
レームワークを利用して、ＣＰＵやＧＰＵ等で動作するようにソフトウェアを実装するこ
とができる。
本実施形態では、分類評価部３６は、学習済みモデルに基づきオブジェクト画像Ｐを評
価（解析）して、候補ラベル毎の信頼度を算出する。信頼度とは、オブジェクト画像Ｐが
候補ラベルに分類される可能性の高さを示す指標、ここでは値である。また、候補ラベル
とは、学習済みモデルに予め設定されているラベルである。それぞれのオブジェクト画像
Ｐは、互いに異なる種類の顔画像である場合があり、候補ラベルは、そのオブジェクト画
像Ｐの種類を指すラベルである。従って、分類評価部３６は、オブジェクト画像Ｐがどの
種類の顔画像であるかの確率を、信頼度として算出するといえる。本実施形態では、候補
ラベルは、個人（同一人）毎に設定される。すなわち、１つの候補ラベルは、ある個人の
顔を指し、他の候補ラベルは、他の個人の顔を指す。ただし、候補ラベルは、オブジェク
ト画像Ｐの種類を示す指標であれば、個人に限られず任意に設定できる。例えば、候補ラ
ベルは、人の年齢、性別、人種などであってもよい。また、候補ラベルは、動植物の種類
、建造物の種類、自動車などの各種装置の種類などであってもよい。
図３は、信頼度テーブルの一例を示す図である。分類評価部３６は、オブジェクト画像
Ｐの信頼度を、候補ラベル毎に算出して、図３に示す信頼度テーブルを生成する。図３の
例では、候補ラベルとして、候補ラベルＦ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５が設定
されている。本実施形態では、候補ラベルＦ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５が、
それぞれ互いに異なる個人を示しているといえる。図３の例では、信頼度が、候補ラベル
Ｆ０１から候補ラベルＦ０５の順で、それぞれ、０．０５、０．０７、０，８６、０．０
２、０．００となっている。信頼度は、全ての候補ラベルの信頼度の合計が１となるよう
に設定される。従って、図３の例では、分類評価部３６は、オブジェクト画像Ｐが候補ラ
ベルＦ０１に分類される可能性を、５％とし、候補ラベルＦ０２に分類される可能性を、
７％とし、候補ラベルＦ０３に分類される可能性を、８６％とし、候補ラベルＦ０４に分
類される可能性を２％とし、候補ラベルＦ０５に分類される可能性を、０％としている。
分類評価部３６は、以上のように算出した信頼度を、オブジェクト画像Ｐに関連付けて
、記憶部２２に記憶させる。分類評価部３６は、それぞれのオブジェクト画像Ｐについて
、信頼度を算出する。
図４は、分類判定部による判定を説明するための図である。分類判定部３８は、分類評
価部３６が算出した信頼度に基づき、オブジェクト画像Ｐが候補ラベルに分類されるかを
判定する。具体的には、分類判定部３８は、複数の候補ラベルのうち、信頼度が最も高い
候補ラベルを抽出し、その候補ラベルにオブジェクト画像Ｐが分類されるかの判定を行う
。以下、信頼度が最も高い候補ラベルの信頼度を、最大信頼度とする。図３の例では、信
頼度が最も高い候補ラベルが、候補ラベルＦ０３であり、最大信頼度が、候補ラベルＦ０
３の信頼度である０．８６である。
図４に示すように、分類判定部３８は、最大信頼度が第１閾値Ｋ１以上である場合に、
オブジェクト画像Ｐが、その最大信頼度とされた候補ラベルに分類されると判定する。第
１閾値Ｋ１は、分類する数と学習済みモデルにおける学習済み画像の数に基づいて設定す
ることが好ましいが、ここでは、０．８５であるとし、それに限られず任意に設定できる
。例えば、分類する数が多い程、第１閾値Ｋ１を小さくし、学習済みモデルにおける学習
済み画像の数が増える程、第１閾値Ｋ１を大きくするようにするのが好ましい。分類判定
部３８は、オブジェクト画像Ｐがその候補ラベルに分類されるとの判定結果を、ラベル付
与部４０に伝達する。ラベル付与部４０は、その候補ラベルを、オブジェクト画像Ｐのラ
ベルとして付与する。すなわち、ラベル付与部４０は、その候補ラベルを正式のラベルと
して、オブジェクト画像Ｐがそのラベルに分類されると決定する。例えば、第１閾値Ｋ１
を０．８５とした場合、図３のオブジェクト画像Ｐ３は、候補ラベルＦ０３に分類される
と判断される。ラベル付与部４０は、候補ラベルＦ０３を正式のラベルＦ０３として、オ
ブジェクト画像Ｐに付与する。すなわち、オブジェクト画像Ｐは、候補ラベルＦ０３（ラ
ベルＦ０３）という個人の顔画像であると分類される。
一方、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さい場合、オブジェクト画
像Ｐがその候補ラベルに分類されないと判断する。さらに、分類判定部３８は、最大信頼
度が第１閾値Ｋ１より小さい場合、その最大信頼度が、第２閾値Ｋ２以上であるかを判定
する。図４に示すように、第２閾値Ｋ２は、第１閾値Ｋ１より小さい値である。第２閾値
Ｋ２は、分類する数と学習済みモデルにおける学習済み画像の数とに基づいて設定するこ
とが好ましいが、ここでは、０．７であるとし、第１閾値Ｋ１より小さい値として任意に
設定可能である。なお、未知の新たな個人（分類）の数が多い程、第１閾値Ｋ１と第２閾
値Ｋ２との間隔を小さくし、学習済みモデルにおける学習済み画像の数が増える程、第１
閾値Ｋ１と第２閾値Ｋ２との間隔を大きくするようにするのが好ましい。分類判定部３８
は、最大信頼度が、第１閾値Ｋ１より小さく、かつ、第２閾値Ｋ２以上である場合に、仮
ラベルをオブジェクト画像Ｐに関連付ける。仮ラベルは、それぞれの候補ラベルに対して
設定されるものであるが、候補ラベルとは異なる種類のラベルである。すなわち、分類判
定部３８は、最大信頼度が第１閾値Ｋ１より小さく第２閾値Ｋ２以上である場合、オブジ
ェクト画像Ｐを、既存の候補ラベルに分類することなく、既存の候補ラベル以外の仮ラベ
ルに関連付ける。言い換えれば、分類判定部３８は、オブジェクト画像Ｐを、候補ラベル
とされていた各個人に分類することなく、それら以外の未知の新たな個人に、仮に関連付
ける。例えば図３の候補ラベルＦ０３の信頼度（最大信頼度）が第１閾値Ｋ１より小さく
第２閾値Ｋ２以上である場合、オブジェクト画像Ｐは、候補ラベルＦ０１からＦ０５とは
別の仮ラベルに関連付けられる。
分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、そのオブジェクト画像
Ｐに候補ラベルや仮ラベルを関連付けない。すなわち、分類判定部３８は、最大信頼度が
第２閾値Ｋ２より小さい場合、オブジェクト画像Ｐを分類しない。さらに、分類判定部３
８は、最大信頼度が第２閾値Ｋ２より小さい場合、そのオブジェクト画像Ｐを、後述する
学習用データに用いない。ただし、分類判定部３８は、第２閾値Ｋ２を設定しないで第１
閾値Ｋ１だけを設定して、そのオブジェクト画像Ｐを学習用データに用いてもよい。
図５は、ラベルテーブルの一例を示す図である。分類判定部３８は、以上説明した判定
を、オブジェクト画像Ｐ毎に行う。ラベル付与部４０は、正式のラベルとしたラベルとオ
ブジェクト画像Ｐとを関連付けて、記憶部２２に記憶させる。図５は、ラベルとオブジェ
クト画像Ｐとの関連を示す情報であるラベルテーブルの一例である。図５は、オブジェク
ト画像Ｐ１からオブジェクト画像Ｐ２０までが判定された例を示している。図５の例では
、候補ラベルＦ０１を正式のラベルＦ０１としたオブジェクト画像Ｐが、オブジェクト画
像Ｐ１、Ｐ２、Ｐ１０、Ｐ１２、Ｐ１３、Ｐ１６である。また、候補ラベルＦ０２を正式
のラベルＦ０２としたオブジェクト画像Ｐが、オブジェクト画像Ｐ３、Ｐ１９であり、候
補ラベルＦ０３を正式のラベルＦ０３としたオブジェクト画像Ｐが、オブジェクト画像Ｐ
１８である。そして、候補ラベルＦ０４を正式のラベルＦ０４としたオブジェクト画像Ｐ
が、オブジェクト画像Ｐ４、Ｐ９、Ｐ１７、Ｐ２０であり、候補ラベルＦ０５を正式のラ
ベルＦ０５としたオブジェクト画像Ｐは、無い。このように、オブジェクト画像Ｐ１から
オブジェクト画像Ｐ２０のうち、ラベルが付与されていないオブジェクト画像Ｐがある。
図６は、仮ラベルテーブルの一例を示す図である。分類判定部３８は、仮ラベルとオブ
ジェクト画像Ｐとを関連付けて、記憶部２２に記憶させる。ここで、最大信頼度となる候
補ラベルは、オブジェクト画像Ｐ毎に異なる場合がある。この場合、分類判定部３８は、
最大信頼度となった候補ラベル毎に、仮ラベルを設定する。図６は、仮ラベルとオブジェ
クト画像Ｐとを関連付けた情報である仮ラベルテーブルの一例である。例えば図６では、
分類判定部３８は、候補ラベルＦ０１が最大信頼度となった場合の仮ラベルを仮ラベルＦ
０６とし、候補ラベルＦ０２が最大信頼度となった場合の仮ラベルを、仮ラベルＦ０７と
する。すなわち、分類判定部３８は、仮ラベルに関連付けを行う場合に、最大信頼度とな
る候補ラベルが異なる場合には、別の仮ラベル（別の個人）を関連付ける。そして、分類
判定部３８は、仮ラベルに関連付けを行う場合に、最大信頼度となる候補ラベルが同じ場
合には、同じ仮ラベルを関連付ける。図６の例では、仮ラベルＦ０６に関連付けられたオ
ブジェクト画像Ｐが、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５であり、仮
ラベルＦ０７に関連付けられたオブジェクト画像Ｐが、オブジェクト画像Ｐ６である。
分類判定部３８は、同じ仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以
上になった場合に、それらのオブジェクト画像Ｐが、その仮ラベルに分類されると判定す
る。そして、分類判定部３８は、オブジェクト画像Ｐがその仮ラベルに分類されるとの判
定結果を、ラベル付与部４０に伝達する。ラベル付与部４０は、その仮ラベルを、オブジ
ェクト画像Ｐのラベルとして付与する。すなわち、ラベル付与部４０は、その仮ラベルを
正式のラベルとして、オブジェクト画像Ｐがそのラベルに分類されると決定する。このよ
うに、ラベル付与部４０は、仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数
以上になった場合に、すでに設定されていた候補ラベルとは別のラベル（仮ラベル）を、
それらのオブジェクト画像Ｐに付与する。なお、ここでの所定数は、例えば５であるが、
それに限られず任意に設定可能である。
図７は、ラベルテーブルの一例を示す図である。上述のように仮ラベルが正式なラベル
とされると、ラベルテーブル中のラベルの数が増える。図７は、図５に対し、仮ラベルＦ
０６が正式のラベルとして付与された場合のラベルテーブルを示している。図７に示すよ
うに、仮ラベルＦ０６が正式のラベルＦ０６として設定され、そのラベルＦ０６に分類さ
れたオブジェクト画像Ｐが、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５であ
る。仮ラベルＦ０７は、関連付けられたオブジェクト画像Ｐの数が所定数より小さいため
、正式のラベルとされていない。
図１に戻り、学習用データ生成部４２は、分類判定部３８の判定結果に基づき、学習済
みモデルを更新するための学習用データを生成する。学習用データ生成部４２は、分類判
定部３８において仮ラベルに関連付けられたオブジェクト画像Ｐの数が、所定数以上とな
った場合に、それらのオブジェクト画像Ｐと仮ラベルとを、学習用データとする。すなわ
ち、学習用データ生成部４２は、仮ラベルに関連付けられたオブジェクト画像Ｐの数が所
定数以上となることで、仮ラベルに正式のラベルが付与される場合に、その仮ラベルとそ
れぞれのオブジェクト画像Ｐとを紐付けて、学習用データとする。ここでの学習用データ
とは、教師ありデータを指し、オブジェクト画像Ｐが、その仮ラベルに分類されるという
情報を有したデータである。図６の例では、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１
４、Ｐ１５が、それぞれ仮ラベルＦ０６と紐付けられ、学習用データとされる。
図１に示す学習用データ送信制御部４４は、通信部２４を制御して、学習用データ生成
部４２が作成した学習用データを、学習装置１２に送信する。学習用データ生成部４２は
、学習用データとして利用されたオブジェクト画像Ｐを、記憶部２２が記憶している仮ラ
ベルテーブルから削除する。すなわち、図６の例では、仮ラベルＦ０６に関連付けられて
学習用データとされたオブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が、削除さ
れる。従って、仮ラベルテーブルには、仮ラベルＦ０７に関連付けられたオブジェクト画
像Ｐ６だけが残る。ただし、学習用データ生成部４２は、学習用データとするオブジェク
ト画像Ｐが出てきた場合に仮ラベルテーブル内の全てのオブジェクト画像Ｐを削除しても
よい。この場合、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐ６も削除される。
この場合、次に分類を始める場合に、学習用データを反映した新しい学習済みモデルを用
いて、より精度の高い分類や仮ラベルの設定ができる。一方、学習用データとして利用さ
れたオブジェクト画像Ｐだけが削除された場合、他の仮ラベルにはオブジェクト画像Ｐが
残る。従って、この場合、所定数まで達する数が少なくて済むため、より迅速な学習用デ
ータ生成が可能となる。
学習用データ生成装置１０は、以上のような構成となっている。次に、学習装置１２に
ついて説明する。図１に示すように、学習装置１２は、学習用データ生成装置１０とは異
なる位置に設けられた装置（サーバ）である。学習装置１２は、通信部５０と、記憶部５
２と、制御部５４とを有する。なお、学習装置１２は、例えばユーザが入力可能な入力部
、及び、情報を出力可能な出力部を備えていてもよい。この場合、入力部は、マウスやキ
ーボード、タッチパネルなどである。出力部は、例えばディスプレイであり、撮像した画
像などが表示可能である。
通信部５０は、制御部５４の制御により、外部装置、ここでは学習用データ生成装置１
０と通信することでデータの送受信をする。通信部５０は、例えばアンテナであり、例え
ば無線ＬＡＮ、Ｗｉ-ｆｉ、ブルートゥースなどの無線通信により学習用データ生成装置
１０とデータの送受信を行う。ただし、通信部５０は、学習用データ生成装置１０とケー
ブルで接続されて、有線通信により情報を送受信するものであってもよい。
記憶部５２は、制御部５４の演算内容やプログラムの情報などを記憶するメモリである
。記憶部５２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯ
Ｍ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びフラッシュメモリ（Ｆｌａｓｈ Ｍｅｍ
ｏｒｙ）などの外部記憶装置を少なくとも１つ含む。
制御部５４は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）である。制御部５４は、学習用データ取得部６０と、学習部６２と、学習済み
モデル送信制御部６４とを有する。学習用データ取得部６０と、学習部６２と、学習済み
モデル送信制御部６４とは、記憶部５２に記憶されたソフトウェア（プログラム）を読み
出すことで、後述する処理を実行する。
学習用データ取得部６０は、通信部５０を制御して、学習用データ生成装置１０の通信
部２４から、学習用データ生成部４２が生成した学習用データを取得する。学習用データ
取得部６０は、取得した学習用データを、記憶部５２に記憶させる。
学習部６２は、学習済みモデルを学習により更新する。学習部６２は、記憶部５２から
、予め記憶していた学習済みモデルと学習済みの学習用データとを読み出し、学習用デー
タ取得部６０が取得した新たな学習用データとを読み出す。学習部６２は、学習済みの学
習用データと新たな学習用データとを教師ありデータとして学習済みモデルに学習させる
ことで、学習済みモデルを更新する。
図８及び図９は、学習済みデータテーブルの一例である。図８は、更新前の学習済みデ
ータテーブルの一例である。学習済みデータテーブルとは、記憶部５２が記憶している教
師ありデータであり、学習済み画像がラベルに紐付けられた情報である。すなわち、学習
済みデータテーブルとは、学習済み画像がどのラベルに分類されるかを示す教師データを
複数含むデータ群である。学習済みモデルは、この学習済みデータテーブルの各データを
教師データとして、学習されて構築される。
図８は、学習用データ生成部４２からの学習用データによる更新前の学習済みデータテ
ーブルの一例を示している。図８に示す学習済みデータテーブルにおいては、学習済み画
像Ｐ１０１〜Ｐ２００が、ラベルＦ０１に分類され、学習済み画像Ｐ２０１〜Ｐ３００が
、ラベルＦ０２に分類され、学習済み画像Ｐ３０１〜Ｐ４００が、ラベルＦ０３に分類さ
れ、学習済み画像Ｐ４０１〜Ｐ５００が、ラベルＦ０４に分類され、学習済み画像Ｐ５０
１〜Ｐ６００が、ラベルＦ０５に分類されている。これらの学習済み画像Ｐ１００〜Ｐ６
００は、予め抽出された顔画像であり、学習用データ生成装置１０が分類することなく、
予めどのラベルに分類するかが設定された画像である。すなわち、学習済みモデルは、予
め学習済み画像Ｐ１００〜Ｐ６００が教師ありデータとして供給されることで、構築され
ている。
図９は、学習用データ生成部４２からの学習用データによる更新後の学習済みデータテ
ーブルの一例を示している。図９に示すように、学習部６２は、更新前の学習済みデータ
テーブルに、学習用データを追加して、学習済みデータテーブルを更新する。すなわち、
学習部６２は、学習用データのオブジェクト画像Ｐを学習済み画像とし、仮ラベルを新た
なラベルとして、学習済みデータテーブルを更新する。すなわち、学習用データは、オブ
ジェクト画像Ｐがどの仮ラベルに付与されているかが示された教師ありデータとなる。図
９の例では、学習済みデータテーブルに、学習用データに含まれた新たな学習済み画像（
オブジェクト画像）Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が追加され、それらの学習済み
画像には、新たなラベルＦ０６が紐付けられている。学習部６２は、このように新たな学
習用データが追加された学習済みデータテーブルにより、学習済みモデルを更新する。学
習部６２は、更新された学習済みモデルを記憶部５２に記憶させる。
図１に戻り、学習済みモデル送信制御部６４は、通信部５０を制御して、更新された学
習済みモデルを、学習用データ生成装置１０に送信する。学習用データ生成装置１０は、
学習済みモデル取得部３４が、この更新された学習済みモデルを読み出し、次のオブジェ
クト画像Ｐの分類と、学習用データの生成とを行う。
学習装置１２は、上述のように、学習用データ生成装置１０から離れた位置に設けられ
るサーバである。ただし、学習装置１２は、学習用データ生成装置１０に組み込まれたも
のであってよい。すなわち、オブジェクト分類システム１は、学習装置１２を有さず、代
わりに、学習用データ取得部６０及び学習部６２が、学習用データ生成装置１０の制御部
２６に組み込まれていてもよい。この場合、学習用データ送信制御部４４も不要となる。
また、本実施形態では、学習用データ生成装置１０が、分類判定部３８で判定を行ってい
たが、学習装置１２が分類判定部３８を有して判定を行ってもよい。また、学習装置１２
が分類評価部３６を有して優先度の算出を行ってもよい。
また、オブジェクト分類システム１は、ＣＰＵやメモリ等のハードウェアを用いた装置
として実現することができるのは勿論のこと、ＲＯＭやフラッシュメモリ等に記憶されて
いるファームウェアや、コンピュータ等のソフトウェアによっても実現することができる
。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り
可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサ
ーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信
することも可能である。
以上説明したオブジェクト分類システム１の処理の処理フローを、フローチャートを用
いて説明する。図１０は、学習用データ生成装置の制御部による処理フローを説明するフ
ローチャートである。図１０に示すように、学習用データ生成装置１０の制御部２６は、
画像取得部３０により、撮像部２０が撮像した画像を取得し（ステップＳ１０）、オブジ
ェクト抽出部３２により、取得した画像からオブジェクト画像Ｐを１つ抽出する（ステッ
プＳ１２）。
制御部２６は、分類評価部３６により、学習済みモデルに基づき、オブジェクト画像Ｐ
の、候補ラベル毎の信頼度を算出する（ステップＳ１６）。そして、制御部２６は、分類
判定部３８により、最大信頼度が第１閾値Ｋ１以上であるかを判定する（ステップＳ１８
）。最大信頼度とは、それぞれの候補ラベルのうちで信頼度が最も高い候補ラベルの、信
頼度である。最大信頼度が第１閾値Ｋ１以上である場合（ステップＳ１８；Ｙｅｓ）、分
類判定部３８は、オブジェクト画像Ｐがその最大信頼度の候補ラベルに分類されると判定
して、ラベル付与部４０が、最大信頼度の候補ラベルを、そのオブジェクト画像Ｐのラベ
ルとして確定する（ステップＳ２０）。最大信頼度の候補ラベルをラベルとして確定した
後は、後述するステップＳ３２に進む。
最大信頼度が第１閾値Ｋ１以上でない場合（ステップＳ１８；Ｎｏ）、すなわち第１閾
値Ｋ１より小さい場合、分類判定部３８は、最大信頼度が第２閾値Ｋ２以上であるかを判
定し（ステップＳ２２）、第２閾値Ｋ２以上でない場合（ステップＳ２２；Ｎｏ）、すな
わち第２閾値より小さい場合、ステップＳ３２に進む。最大信頼度が第２閾値Ｋ２以上で
ある場合（ステップＳ２２；Ｙｅｓ）、分類判定部３８は、そのオブジェクト画像Ｐに仮
ラベルを割り当てる（ステップＳ２４）。そして、分類判定部３８は、仮ラベルが割り当
てられたオブジェクト画像Ｐが所定数以上あるかを判定し（ステップＳ２６）、所定数以
上ない場合（ステップＳ２６；Ｎｏ）、ステップＳ３２に進む。一方、仮ラベルが割り当
てられたオブジェクト画像Ｐが所定数以上ある場合（ステップＳ２６；Ｙｅｓ）、ラベル
付与部４０がその仮ラベルをラベルとして確定し（ステップＳ２８）、学習用データ生成
部４２が、その仮ラベルとオブジェクト画像Ｐとを、学習用データとする（ステップＳ３
０）。その後、ステップＳ３１に移動し、オブジェクト抽出部３２は、その画像に、他の
オブジェクト画像Ｐがあるかを判断し（ステップＳ３１）、他のオブジェクト画像Ｐがあ
る場合（ステップＳ３１；Ｙｅｓ）、ステップＳ１２に戻って、他のオブジェクト画像Ｐ
を１つ抽出する。他のオブジェクト画像Ｐが無い場合（ステップＳ３１；Ｎｏ）、ステッ
プＳ３２に移動し、制御部２６は、他の画像があるかを判断し（ステップＳ３２）、他の
画像がある場合（ステップＳ３２；Ｙｅｓ）はステップＳ１０に戻り、他の画像が無い場
合（ステップＳ３２；Ｎｏ）は本処理を終了する。その後、制御部２６は、学習用データ
送信制御部４４により、学習用データを学習装置１２に送信し、学習装置１２が、学習用
データに基づき学習済みモデルを更新する。制御部２６は、更新した学習済みモデルを用
いて、次以降の上記処理を実行する。
以上説明したように、本実施形態に係る学習用データ生成装置１０は、画像を取得する
画像取得部３０と、画像からオブジェクト画像Ｐを抽出するオブジェクト抽出部３２と、
分類評価部３６と、分類判定部３８と、学習用データ生成部４２とを有する。分類評価部
３６は、学習済みモデルに基づきオブジェクト画像Ｐを評価して、オブジェクト画像Ｐが
候補ラベルに分類される可能性の高さを示す信頼度を算出する。分類判定部３８は、信頼
度が、第１閾値Ｋ１より小さく、かつ、第１閾値Ｋ１より値が小さい第２閾値Ｋ２以上で
ある場合に、候補ラベルとは異なる仮ラベルを、オブジェクト画像Ｐに関連付ける。そし
て、学習用データ生成部４２は、仮ラベルと関連付けられた前記オブジェクト画像に基づ
き前記学習用データを生成する。また、分類判定部３８は、信頼度に基づき判定を行って
、オブジェクト画像Ｐが候補ラベルに分類されるかを判定する。学習用データ生成部４２
は、分類判定部３８の判定結果に基づき、学習済みモデルを更新するための学習用データ
を生成する。分類判定部３８は、信頼度が第１閾値Ｋ１以上である場合に、候補ラベルに
オブジェクト画像Ｐが分類されると判定し、信頼度が第１閾値Ｋ１より低く、かつ、第２
閾値Ｋ２以上である場合に、候補ラベルに対して設定される仮ラベルを、オブジェクト画
像Ｐに関連付ける。学習用データ生成部４２は、仮ラベルと関連付けられたオブジェクト
画像Ｐの数が所定数以上となった場合に、それぞれのオブジェクト画像Ｐと仮ラベルとを
、学習用データとする。このような構成とすることにより、仮ラベルを付与して、学習用
データの精度を高くすることができる。また、信頼度が第１閾値Ｋ１以上になった場合に
は、その候補ラベルとオブジェクト画像Ｐを学習用データとしないことで、機械学習の前
提として、予め機械学習において用いられるような画像を除外することができ、機械学習
の効率化を図ることができる。
ここで、ディープラーニングなどの機械学習により学習済みモデルを構築する際には、
解が分かっている教師ありデータを用いる場合がある。この場合、教師ありデータの数が
多いほど精度が高くなるため、教師ありデータを適切に収集することが求められている。
それに対し、本実施形態に係る学習用データ生成装置１０は、分類しようとするオブジェ
クト画像Ｐを解析して、仮ラベルを割り当てる。そして、オブジェクト画像Ｐが仮ラベル
に分類されるとして、それを学習用データ（教師ありデータ）とする。従って、学習用デ
ータ生成装置１０は、これから分類しようとしている画像を用いて学習用データを生成す
るため、これから分類しようとするオブジェクトに適した学習用データを適切に生成する
ことができる。
また、学習用データ生成装置１０は、仮ラベルとして新たなラベルを付与することで、
更新前の学習済みモデルでは分類できなかった画像を教師あり学習させることで、更新後
（再学習後）の分類数を増加させることができる。なお、本実施形態では、学習済みモデ
ルを更新しても、仮ラベルなどを付与するための第１閾値Ｋ１及び第２閾値Ｋ２の値を一
定としていた。ただし、学習用データ生成装置１０は、学習済みモデルを更新したら、第
１閾値Ｋ１及び第２閾値Ｋ２の値を変更してもよい。例えば、学習用データ生成装置１０
は、学習済みモデルを更新して候補ラベルの数が所定の数より増えた場合に、第１閾値Ｋ
１及び第２閾値Ｋ２の値を小さくしてもよい。これにより、分類数が増えた場合にも分類
を好適に行うことができる。
また、分類評価部３６は、複数種類の候補ラベルのそれぞれに対する信頼度を算出する
。分類判定部３８は、候補ラベル毎に仮ラベルを設定し、オブジェクト画像Ｐを、信頼度
が最も高い候補ラベルに対して設定された仮ラベルに関連付ける。この学習用データ生成
装置１０は、複数の候補ラベルのうちから、信頼度が最も高い候補ラベルに対して設定さ
れた仮ラベルを関連付ける。従って、学習用データ生成装置１０によると、分類を適切に
行うことができつつ、仮ラベルを適切に付与して、学習用データの精度を高くすることが
できる。
また、学習用データ生成装置１０は、オブジェクト画像Ｐにラベルを付与するラベル付
与部４０を有する。ラベル付与部４０は、候補ラベルにオブジェクト画像Ｐが分類される
と判定された場合、候補ラベルを、オブジェクト画像Ｐのラベルとして付与する。ラベル
付与部４０は、仮ラベルと関連付けられたオブジェクト画像Ｐの数が所定数以上となった
場合に、仮ラベルを、オブジェクト画像のラベルとして付与する。この学習用データ生成
装置１０は、信頼度が第１閾値Ｋ１以上のものはラベルとして決定し、信頼度がそれより
低い第２閾値Ｋ２以上のものは、複数個データが蓄積されてからラベルとして決定するた
め、未知のラベルを設定する際の精度を高くすることができる。
また、本実施形態に係る学習用モデル作成システム（オブジェクト分類システム１）は
、学習用データ生成装置１０と、学習用データ生成部４２が作成した学習用データに基づ
き機械学習して、学習済みモデルを更新する学習部６２を有する。学習用モデル作成シス
テムは、学習用データ生成装置１０が作成した学習用データに基づき、学習済みモデルを
生成する。この学習用モデル作成システムは、学習用データに基づき学習用モデルを更新
するので、これから分類しようとするオブジェクトに適した学習用モデルを構築すること
ができる。
また、学習部６２は、ディープラーニングで機械学習を行う。従って、この学習用モデ
ル作成システムは、高精度の学習用モデルを構築することができる。
また、本実施形態に係るオブジェクト分類システム１は、学習用データ生成装置１０を
有し、学習済みモデルを用いてオブジェクト画像Ｐを分類する。従って、このオブジェク
ト分類システム１は、オブジェクト画像Ｐを適切に分類することができる。
図１１は、本実施形態の他の例での分類判定部による判定を説明するための図である。
本実施形態においては、分類判定部３８は、１つの候補ラベルに対し、１つの仮ラベルを
設定していたが、１つの候補ラベルに対して複数の仮ラベルを設定することも可能である
。図１１の例は、１つの候補ラベルに対して仮ラベルＡ、Ｂを割り当てる例を示している
。図１１に示すように、分類判定部３８は、最大信頼度が、第１閾値Ｋ１より小さく、か
つ、閾値Ｋ２Ａ以上である場合に、仮ラベルＢをオブジェクト画像Ｐに関連付ける。閾値
Ｋ２Ａは、第１閾値Ｋ１より小さく第２閾値Ｋ２より大きい値である。また、分類判定部
３８は、最大信頼度が、閾値Ｋ２Ａより小さく、かつ、第２閾値Ｋ２以上である場合に、
仮ラベルＡをオブジェクト画像Ｐに関連付ける。このように、分類判定部３８は、１つの
候補ラベルの最大信頼度が取り得る数値範囲を区分して、数値範囲毎に仮ラベルを設定し
てもよい。
ここで、例えば、学習済みモデルにおける学習済み画像の数が所定数よりも小さい時な
どのように、第１閾値Ｋ１の信用度が必ずしも高くないと考えられる場合には、最大信頼
度が、第１閾値Ｋ１より小さく、かつ、閾値Ｋ２Ａ以上である場合に、オブジェクト画像
Ｐに仮ラベルを割り当てないようにしてもよい。
このように、分類判定部３８は、信頼度が、第１閾値Ｋ１より小さく第２閾値Ｋ２より
も大きい中間閾値（閾値Ｋ２Ａ）以上であり、かつ、第１閾値Ｋ１より値が小さい場合に
、候補ラベルとは異なる第１の仮ラベル（仮ラベルＢ）をオブジェクト画像Ｐに関連付け
る。分類判定部３８は、信頼度が、第２閾値Ｋ２以上であり、かつ、中間閾値（閾値Ｋ２
Ａ）より小さい場合に、第１の仮ラベルとは異なる第２の仮ラベル（仮ラベルＡ）を、オ
ブジェクト画像Ｐに関連付ける。このように数値範囲毎に仮ラベルを設定することて、よ
り高精度の分類が可能となる。
図１２は、本実施形態の他の例での分類判定部による判定を説明するための図である。
本実施形態においては、分類判定部３８は、最大信頼度が第１閾値Ｋ１より大きい場合に
は、ラベルを付与するが、学習用データには用いなかった。ただし、分類判定部３８は、
ラベルを付与するものを学習用データとして用いてもよい。この場合、図１２に示すよう
に、分類判定部３８は、最大信頼度が、第１閾値Ｋ１以上であり、かつ、第３閾値Ｋ３よ
り小さい場合に、そのオブジェクト画像Ｐに、最大信頼度となった候補ラベルを正式のラ
ベルとして付与する。さらに、分類判定部３８は、最大信頼度が、第１閾値Ｋ１以上であ
り、かつ、第３閾値Ｋ３より小さい場合に、そのオブジェクト画像Ｐと最大信頼度となっ
た候補ラベルとを、学習用データとして用いる。第３閾値Ｋ３は、第１閾値Ｋ１より値が
大きい。一方、分類判定部３８は、最大信頼度が、第３閾値Ｋ３以上である場合に、その
オブジェクト画像Ｐに、最大信頼度となった候補ラベルを正式のラベルとして付与するが
、そのオブジェクト画像Ｐと候補ラベルとを、学習用データには用いない。
図１３は、本実施形態の他の例の学習済みデータテーブルの一例を示す図である。図１
３は、オブジェクト画像Ｐ１２、Ｐ１３、Ｐ１６の最大信頼度となる候補ラベルが候補ラ
ベルＦ０１であり、かつ、最大信頼度が、第１閾値Ｋ１以上であって第３閾値Ｋ３より小
さい場合の例を示している。この場合、オブジェクト画像Ｐ１２、Ｐ１３、Ｐ１６は、候
補ラベルＦ０１と紐付けられて、学習用データ（教師ありデータ）として、学習済みデー
タテーブルに加えられる。従って、図１３に示す学習済みデータテーブルは、図１０に示
すものに加え、学習済み画像Ｐ１２、Ｐ１３、Ｐ１６がラベルＦ０１に紐づいているとい
うデータも含むこととなる。従って、学習部６２は、この学習済み画像Ｐ１２、Ｐ１３、
Ｐ１６を用いて、さらに分類精度を高い学習済みモデルを構築することができる。
このように、分類判定部３８は、信頼度が、第１閾値Ｋ１より値が大きい第３閾値Ｋ３
より小さく、第１閾値Ｋ１以上である場合に、候補ラベルにオブジェクト画像Ｐに関連付
ける。そして、学習用データ生成部４２は、仮ラベル又は候補ラベルが関連付けられたオ
ブジェクト画像Ｐに基づき、学習用データを生成する。このように、学習用データ生成部
４２は、信頼度が、第１閾値Ｋ１より高く、かつ、第１閾値Ｋ１より高い第３閾値Ｋ３よ
りも低い候補ラベルと、オブジェクト画像Ｐとを、学習用データとしてもよい。そして、
学習用データ生成部４２は、信頼度が第３閾値Ｋ３以上である候補ラベルと、オブジェク
ト画像Ｐとを、学習用データとしなくてもよい。この学習用データ生成装置１０は、信頼
度が第３閾値Ｋ３以上として十分に高い場合は、新たな学習には不要のデータとして学習
用データとせず、信頼度が十分だが第３閾値Ｋ３まで高くない場合には、学習用モデルの
精度向上に適していると判断して、学習用データに用いる。従って、この学習用データ生
成装置１０は、適切なデータのみを学習用データとすることで、これから分類しようとす
るオブジェクトに適した学習用データを適切に生成することができる。
また、分類判定部３８は、学習済みモデルに用いられた画像（学習済み画像）の数に応
じて、第１閾値Ｋ１と第２閾値Ｋ２との少なくとも一方を変更してもよい。さらに言えば
、分類判定部３８は、学習済みモデルに用いられた画像（学習済み画像）の数に応じて、
第１閾値Ｋ１と第２閾値Ｋ２と閾値Ｋ２Ａと第３閾値Ｋ３との少なくともいずれかを、変
更してもよい。このようにすることで、画像の数の変化に応じて、閾値を適切に変化させ
ることが可能となり、これから分類しようとするオブジェクトに適した学習用データを適
切に生成することができる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定さ
れるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質
的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適
宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で
構成要素の種々の省略、置換又は変更を行うことができる。
１ オブジェクト分類システム（学習用モデル作成システム）
１０ 学習用データ生成装置
１２ 学習装置
２６、５４ 制御部
３０ 画像取得部
３２ オブジェクト抽出部
３４ 学習済みモデル取得部
３６ 分類評価部
３８ 分類判定部
４０ ラベル付与部
４２ 学習用データ生成部
４４ 学習用データ送信制御部
６０ 学習用データ取得部
６２ 学習部
６４ 学習済みモデル送信制御部
Ｋ１ 第１閾値
Ｋ２ 第２閾値
Ｐ オブジェクト画像

Claims (5)

  1. 学習済みモデルに基づき所定の画像を評価して、前記画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価部と、
    前記信頼度に基づいて、前記候補ラベルとは異なる仮ラベルを、前記画像に関連付ける分類判定部と、
    前記仮ラベルと関連付けられた前記画像に基づき学習用データを生成する学習用データ生成部と、を備える、
    学習用データ生成装置。
  2. 前記分類判定部は、前記信頼度及び前期信頼度に対する２つ以上の閾値に基づいて、前記候補ラベルとは異なる仮ラベルを、前記画像に関連付ける、請求項１に記載の学習用データ生成装置。
  3. 請求項１または請求項２に記載の学習用データ生成装置が作成した前記学習用データに基づき、学習済みモデルを生成する、学習用モデル作成システム。
  4. 学習済みモデルに基づき所定の画像を評価して、前記画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、
    前記信頼度に基づいて、前記候補ラベルとは異なる仮ラベルを、前記画像に関連付ける分類判定ステップと、
    前記仮ラベルと関連付けられた前記画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、
    学習用データ生成方法。
  5. 学習済みモデルに基づき所定の画像を評価して、前記画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、
    前記信頼度に基づいて、前記候補ラベルとは異なる仮ラベルを、前記画像に関連付ける分類判定ステップと、
    前記仮ラベルと関連付けられた前記画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、
    をコンピュータに実行させる、プログラム。
JP2021132656A 2018-03-08 2021-08-17 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム Active JP7239853B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021132656A JP7239853B2 (ja) 2018-03-08 2021-08-17 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
JP2023029459A JP2023065548A (ja) 2018-03-08 2023-02-28 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018042291A JP6933164B2 (ja) 2018-03-08 2018-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
JP2021132656A JP7239853B2 (ja) 2018-03-08 2021-08-17 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018042291A Division JP6933164B2 (ja) 2018-03-08 2018-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023029459A Division JP2023065548A (ja) 2018-03-08 2023-02-28 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021184299A true JP2021184299A (ja) 2021-12-02
JP7239853B2 JP7239853B2 (ja) 2023-03-15

Family

ID=67847274

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018042291A Active JP6933164B2 (ja) 2018-03-08 2018-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
JP2021132656A Active JP7239853B2 (ja) 2018-03-08 2021-08-17 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
JP2023029459A Pending JP2023065548A (ja) 2018-03-08 2023-02-28 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018042291A Active JP6933164B2 (ja) 2018-03-08 2018-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023029459A Pending JP2023065548A (ja) 2018-03-08 2023-02-28 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Country Status (4)

Country Link
US (1) US11922317B2 (ja)
JP (3) JP6933164B2 (ja)
CN (1) CN111868780B (ja)
WO (1) WO2019172451A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349854B1 (ko) * 2019-12-30 2022-01-11 엘아이지넥스원 주식회사 표적 추적 시스템 및 방법
KR20210106814A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
JP2022546885A (ja) * 2020-08-01 2022-11-10 商▲湯▼国▲際▼私人有限公司 目標対象認識方法及び装置
WO2022249572A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 画像処理装置、画像処理方法及び記録媒体
US20220414368A1 (en) * 2021-06-25 2022-12-29 International Business Machines Corporation Emotional response evaluation for presented images
AU2022342915A1 (en) 2021-09-07 2024-02-29 Maintech Co., Ltd. Defect classification system
TWI793865B (zh) 2021-11-18 2023-02-21 倍利科技股份有限公司 Ai自動輔助標記之系統及方法
WO2023145164A1 (ja) * 2022-01-28 2023-08-03 株式会社Ｊｖｃケンウッド 画像分類装置、画像分類方法、および画像分類プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276775A (ja) * 2007-04-25 2008-11-13 Fujitsu Ltd 画像検索装置
WO2017023551A2 (en) * 2015-08-04 2017-02-09 Qualcomm Incorporated Detection of unknown classes and initialization of classifiers for unknown classes
WO2017145960A1 (ja) * 2016-02-24 2017-08-31 日本電気株式会社 学習装置、学習方法および記録媒体
JP2017167834A (ja) * 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4591215B2 (ja) * 2005-06-07 2010-12-01 株式会社日立製作所 顔画像データベース作成方法及び装置
JP4623387B2 (ja) * 2008-09-04 2011-02-02 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
JP2011181016A (ja) * 2010-03-04 2011-09-15 Fujifilm Corp 判別器生成装置および方法並びにプログラム
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6110281B2 (ja) * 2013-11-19 2017-04-05 日本電信電話株式会社 移動手段予測モデル生成装置、移動手段予測モデル生成方法及び移動手段予測モデル生成プログラム
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP2016099668A (ja) * 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム
WO2016103651A1 (ja) * 2014-12-22 2016-06-30 日本電気株式会社 情報処理システム、情報処理方法、及び、記録媒体
JP6489005B2 (ja) * 2015-12-18 2019-03-27 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP6789762B2 (ja) * 2016-11-02 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN110447038A (zh) * 2017-03-21 2019-11-12 日本电气株式会社 图像处理装置、图像处理方法和记录介质
US11176589B2 (en) * 2018-04-10 2021-11-16 Ebay Inc. Dynamically generated machine learning models and visualization thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276775A (ja) * 2007-04-25 2008-11-13 Fujitsu Ltd 画像検索装置
WO2017023551A2 (en) * 2015-08-04 2017-02-09 Qualcomm Incorporated Detection of unknown classes and initialization of classifiers for unknown classes
WO2017145960A1 (ja) * 2016-02-24 2017-08-31 日本電気株式会社 学習装置、学習方法および記録媒体
JP2017167834A (ja) * 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田中遼平, 外3名: ""識別境界付近のデータを選択的に用いる半教師あり学習"", 電子情報通信学会技術研究報告, vol. 第116巻, 第528号, JPN6022036942, 13 March 2017 (2017-03-13), JP, pages 1 - 6, ISSN: 0004868415 *

Also Published As

Publication number Publication date
US20200387756A1 (en) 2020-12-10
CN111868780A (zh) 2020-10-30
CN111868780B (zh) 2023-07-28
JP2019159499A (ja) 2019-09-19
WO2019172451A1 (ja) 2019-09-12
JP2023065548A (ja) 2023-05-12
JP6933164B2 (ja) 2021-09-08
US11922317B2 (en) 2024-03-05
JP7239853B2 (ja) 2023-03-15

Similar Documents

Publication Publication Date Title
JP6933164B2 (ja) 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
CN110046631B (zh) 用于自动推断时空图像的变化的系统和方法
CN109697434B (zh) 一种行为识别方法、装置和存储介质
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
US20160260014A1 (en) Learning method and recording medium
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
US20160098636A1 (en) Data processing apparatus, data processing method, and recording medium that stores computer program
JP2017111660A (ja) 映像パターン学習装置、方法、及びプログラム
CN107133629B (zh) 图片分类方法、装置和移动终端
WO2021061341A1 (en) Method and system for facilitating improved training of a supervised machine learning process
WO2022087506A1 (en) Rail feature identification system
JP2020053073A (ja) 学習方法、学習システム、および学習プログラム
CN111694954B (zh) 图像分类方法、装置和电子设备
CN113283368A (zh) 一种模型训练方法、人脸属性分析方法、装置及介质
CN114238764A (zh) 基于循环神经网络的课程推荐方法、装置及设备
JP7459949B2 (ja) 学習装置、学習方法、追跡装置及びプログラム
JP2019215728A (ja) 情報処理装置、情報処理方法及びプログラム
US11715032B2 (en) Training a machine learning model using a batch based active learning approach
JP7152357B2 (ja) 正解データ作成支援システムおよび正解データ作成支援方法
WO2021130856A1 (ja) 物体識別装置、物体識別方法、学習装置、学習方法、及び、記録媒体
CN112508135A (zh) 模型训练方法、行人属性预测方法、装置及设备
Trush et al. Mask Mode Monitoring Systems Using IT Technologies
CN113705648B (zh) 一种数据处理方法、装置及设备
US20230368575A1 (en) Access control with face recognition and heterogeneous information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7239853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150