JP2022512065A - 画像分類モデルの訓練方法、画像処理方法及び装置 - Google Patents

画像分類モデルの訓練方法、画像処理方法及び装置 Download PDF

Info

Publication number
JP2022512065A
JP2022512065A JP2021522979A JP2021522979A JP2022512065A JP 2022512065 A JP2022512065 A JP 2022512065A JP 2021522979 A JP2021522979 A JP 2021522979A JP 2021522979 A JP2021522979 A JP 2021522979A JP 2022512065 A JP2022512065 A JP 2022512065A
Authority
JP
Japan
Prior art keywords
category
labeled sample
image
data
labeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021522979A
Other languages
English (en)
Other versions
JP7266674B2 (ja
Inventor
ジンルー タン
チャンバオ ワン
チュエンチュエン リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022512065A publication Critical patent/JP2022512065A/ja
Application granted granted Critical
Publication of JP7266674B2 publication Critical patent/JP7266674B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本願は、ポジティブサンプルが少ないカテゴリに対する分類モデルの認識精度を向上させることができる、画像分類モデルの訓練方法、画像処理方法及び装置を提供する。該方法は、ラベル付きサンプル画像集合を取得することであって、ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する分類ラベルが含まれることと、ラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する分類ラベルに基づき所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することと、複数のラベル付きサンプル画像に対応する分類ラベル及び各カテゴリに対応する頻度情報に基づき画像分類モデルの損失情報を決定することと、損失情報に基づき画像分類モデルを訓練することであって、画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものであることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年１１月１１日に中国特許局に提出された、出願番号がＣＮ２０１９１１０９７０６９．Ｘであり、発明名称が「画像分類モデルの訓練方法、画像処理方法及び装置」である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、データ処理技術分野に関し、具体的には、画像分類モデルの訓練方法、画像処理方法及び装置に関する。
ニューラルネットワークモデルに基づいて分類タスクを実行する前に、まず、ニューラルネットワークモデルを訓練する必要がある。ニューラルネットワークモデルを訓練する時、ニューラルネットワークモデルの分類精度を向上させるために、一般的には、大量のラベル付きサンプルに依存する必要がある。
サンプルにラベルを付ける過程において、異なるカテゴリに対応するポジティプサンプルの数が不均一であることがある。
本願の実施例は、画像分類モデルの訓練方法、画像処理方法及び装置を少なくとも提供する。
第１態様によれば、本願の実施例は、画像分類モデルの訓練方法を提供する。該方法は、ラベル付きサンプル画像集合を取得することであって、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定することと、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、画像分類モデルの損失情報を決定することと、前記損失情報に基づいて、前記画像分類モデルを訓練することであって、前記画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである、ことと、を含む。
ここで、分類モデルを訓練する時、ラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定する。続いて、複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルの損失情報を決定し、該損失情報に基づいて分類モデルを訓練する。該過程において、各カテゴリにそれぞれ対応する頻度情報及び各サンプル画像にそれぞれ対応する分類ラベルに基づいて損失情報を決定するため、各カテゴリの頻度情報に基づいて、画像分類モデルの訓練過程において画像分類モデルに及ぼす特定のカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整でき、これにより、各カテゴリに及ぼすポジティブサンプル及びネガティブサンプルの影響のバランスを取り、更に、ポジティブサンプルが少ないカテゴリに対する、分類モデルの認識精度を向上させることができる。
選択可能な実施形態において、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、各カテゴリに対して、該カテゴリに属するラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する元サンプル画像に基づいて、該カテゴリに対応する元サンプル画像の数を決定することであって、各元サンプル画像は、１つ又は複数のラベル付きサンプル画像に対応する、ことと、前記元サンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定することと、を含む。ここで、このような方式で頻度情報を決定し、ポジティブサンプルが少ないカテゴリを背景カテゴリと判定することを避ける。
選択可能な実施形態において、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、各カテゴリに対して、前記ラベル付きサンプル画像集合におけるラベル付きサンプル画像の総数及び該カテゴリに属するラベル付きサンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定すること、又は、該カテゴリに属するラベル付きサンプル画像の数を該カテゴリに対応する頻度情報とすること、を含む。ここで、ラベル付きサンプル画像の数に基づいて、カテゴリに対応する頻度情報を決定し、プロセスがより簡単で迅速である。
選択可能な実施形態において、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定することは、各ラベル付きサンプル画像に対して、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得ることを含む。ここで、各ラベル付きサンプル画像に対して損失情報を決定する。各ラベル付きサンプル画像に基づいて画像分類モデルのパラメータを調整することを実現させ、最終的に画像分類モデルの訓練を実現させる。
選択可能な実施形態において、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得ることは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することと、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得ることと、を含む。ここで、分類ラベル及び頻度情報に基づいて、損失情報を決定し、ポジティブサンプルが少ないカテゴリに対する、画像分類モデルの認識精度を向上させる。
選択可能な実施形態において、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含む。ここで、画像分類モデルの訓練過程において、画像分類モデルに及ぼす特定のカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整でき、これにより、ポジティブサンプルが少ないカテゴリに対する、分類モデルの検出精度を向上させる。
選択可能な実施形態において、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含む。ここで、画像分類モデルの訓練過程において、画像分類モデルに及ぼす特定のカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整でき、これにより、ポジティブサンプルが少ないカテゴリに対する、分類モデルの検出精度を向上させる。
選択可能な実施形態において、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することを含む。
ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプル画像に含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプル画像に含まれない少なくとも１つのターゲット対象のカテゴリが含まれる。ここで、いずれか１つのカテゴリが該ラベル付きサンプル画像に対応するポジティブサンプル集合及びネガティブサンプルカテゴリ集合に属するかどうかを決定する。属すれば、該カテゴリに及ぼすラベル付きサンプル画像の影響を低下させるか又は無視することがなく、更に、画像分類モデルに、該いずれか１つのカテゴリのより多くの特徴及び差動的特徴を学習させることができ、画像分類モデルの精度を向上させる。
選択可能な実施形態において、前記ラベル付きサンプル画像集合から、該ラベル付きサンプル画像と同一の元サンプル画像に対応するターゲットラベル付きサンプル画像を決定し、該ラベル付きサンプル画像及び前記ターゲットラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式、又は、該ラベル付きサンプル画像に対応する元サンプル画像の第１補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプル画像に含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を取得する。ここで、各ラベル付きサンプル画像に対応するポジティブサンプルカテゴリ集合を容易かつ迅速に決定する。
選択可能な実施形態において、該ラベル付きサンプル画像に対応する元サンプル画像の第２補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を取得し、前記第２補助分類ラベルは、前記元サンプル画像に含まれないターゲット対象のカテゴリを示すためのものである。ここで、各ラベル付きサンプル画像に対応するネガティブサンプルカテゴリ集合を容易かつ迅速に決定する。
選択可能な実施形態において、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含む。
選択可能な実施形態において、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含む。ここで、いずれか１つのカテゴリが該ラベル付きサンプル画像に対応するポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に属するかどうかを決定する。属すれば、該カテゴリに及ぼすラベル付きサンプル画像の影響を低下させるか又は無視することがなく、更に、画像分類モデルに、該いずれか１つのカテゴリのより多くの特徴及び差動的特徴を学習させることができ、画像分類モデルの精度を向上させる。
第２態様によれば、本願の実施例は、画像処理方法を提供する。該方法は、事前訓練された画像分類モデルに基づいて、画像処理タスクを実行することを含み、前記画像分類モデルは、上記第１態様のいずれか一項に記載の画像分類モデルの訓練方法で訓練されたものであり、前記画像処理タスクは、画像分類、対象検出、キーポイント検出、画像セグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含む。
第３態様によれば、本願の実施例は、データ分類モデルの訓練方法を提供する。該方法は、ラベル付きサンプルデータ集合を取得することであって、前記ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定することと、前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、データ分類モデルの損失情報を決定することと、前記損失情報に基づいて、前記データ分類モデルを訓練することであって、前記データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである、ことと、を含む。
選択可能な実施形態において、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、各カテゴリに対して、該カテゴリに属するラベル付きサンプルデータ及び各ラベル付きサンプルデータに対応する元サンプルデータに基づいて、該カテゴリに対応する元サンプルデータの数を決定することであって、各元サンプルデータは、１つ又は複数のラベル付きサンプルデータに対応する、ことと、前記元サンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定することと、を含む。
選択可能な実施形態において、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、各カテゴリに対して、前記ラベル付きサンプルデータ集合におけるラベル付きサンプルデータの総数及び該カテゴリに属するラベル付きサンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定すること、又は、該カテゴリに属するラベル付きサンプルデータの数を該カテゴリに対応する頻度情報とすること、を含む。
選択可能な実施形態において、前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定することは、各ラベル付きサンプルデータに対して、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得ることを含む。
選択可能な実施形態において、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得ることは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することと、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得ることと、を含む。
選択可能な実施形態において、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含む。
選択可能な実施形態において、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含む。
選択可能な実施形態において、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することを含む。
ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプルデータに含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプルデータに含まれない少なくとも１つのターゲット対象のカテゴリが含まれる。
選択可能な実施形態において、前記ラベル付きサンプルデータ集合から、該ラベル付きサンプルデータと同一の元サンプルデータに対応するターゲットラベル付きサンプルデータを決定し、該ラベル付きサンプルデータ及び前記ターゲットラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式、又は、該ラベル付きサンプルデータに対応する元サンプルデータの第１補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプルデータに含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を取得する。
選択可能な実施形態において、該ラベル付きサンプルデータに対応する元サンプルデータの第２補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を取得し、前記第２補助分類ラベルは、前記元サンプルデータに含まれないターゲット対象のカテゴリを示すためのものである。
選択可能な実施形態において、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含む。
選択可能な実施形態において、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプルデータであることを示し、及び／又は、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含む。
第４態様によれば、本願の実施例は、データ処理方法を提供する。該方法は、事前訓練されたデータ分類モデルに基づいて、データ処理タスクを実行することを含み、前記データ分類モデルは、上記第２態様のいずれか一項に記載のデータ分類モデルの訓練方法で訓練されたものであり、前記データ処理タスクは、データ分類、データセグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含み、前記データは、画像データ及びテキストデータのうちのいずれか１つを含む。
第５態様によれば、本願の実施例は、画像分類モデル訓練装置を提供する。該装置は、ラベル付きサンプル画像集合を取得するように構成される第１取得モジュールであって、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、第１取得モジュールと、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定するように構成される第１頻度情報決定モジュールと、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、画像分類モデルの損失情報を決定するように構成される第１損失情報決定モジュールと、前記損失情報に基づいて、前記画像分類モデルを訓練するように構成される第１訓練モジュールであって、前記画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである、第１訓練モジュールと、を備える。
選択可能な実施形態において、前記第１頻度情報決定モジュールは、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、各カテゴリに対して、該カテゴリに属するラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する元サンプル画像に基づいて、該カテゴリに対応する元サンプル画像の数を決定することであって、各元サンプル画像は、１つ又は複数のラベル付きサンプル画像に対応する、ことと、前記元サンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定することと、を実行するように構成される。
選択可能な実施形態において、前記第１頻度情報決定モジュールは、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、各カテゴリに対して、前記ラベル付きサンプル画像集合におけるラベル付きサンプル画像の総数及び該カテゴリに属するラベル付きサンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定し、又は、該カテゴリに属するラベル付きサンプル画像の数を該カテゴリに対応する頻度情報とするように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定する場合、各ラベル付きサンプル画像に対して、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得るように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行うときの損失情報を得る場合、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定し、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得るように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定するように構成される。
ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプル画像に含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプル画像に含まれない少なくとも１つのターゲット対象のカテゴリが含まれる。
選択可能な実施形態において、前記第１損失情報決定モジュールは、前記ラベル付きサンプル画像集合から、該ラベル付きサンプル画像と同一の元サンプル画像に対応するターゲットラベル付きサンプル画像を決定し、該ラベル付きサンプル画像及び前記ターゲットラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式、又は、該ラベル付きサンプル画像に対応する元サンプル画像の第１補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプル画像に含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を取得するように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像に対応する元サンプル画像の第２補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を取得するように構成され、前記第２補助分類ラベルは、前記元サンプル画像に含まれないターゲット対象のカテゴリを示すためのものである。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成される。
選択可能な実施形態において、前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成される。
第６態様によれば、本願は、画像処理装置を提供する。該装置は、事前訓練された画像分類モデルに基づいて、画像処理タスクを実行するように構成される第１処理モジュールを備え、前記画像分類モデルは、上記第１態様のいずれか一項に記載の画像分類モデルの訓練方法で訓練されたものであり、前記画像処理タスクは、画像分類、対象検出、キーポイント検出、画像セグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含む。
第７態様によれば、本願の実施例は、データ分類モデル訓練装置を提供する。該装置は、ラベル付きサンプルデータ集合を取得するように構成される第２取得モジュールであって、前記ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、第２取得モジュールと、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定するように構成される第２頻度情報決定モジュールと、前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、データ分類モデルの損失情報を決定するように構成される第２損失情報決定モジュールと、前記損失情報に基づいて、前記データ分類モデルを訓練するように構成される第２訓練モジュールであって、前記データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである、第２訓練モジュールと、を備える。
選択可能な実施形態において、前記第２頻度情報決定モジュールは、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、各カテゴリに対して、該カテゴリに属するラベル付きサンプルデータ及び各ラベル付きサンプルデータに対応する元サンプルデータに基づいて、該カテゴリに対応する元サンプルデータの数を決定することであって、各元サンプルデータは、１つ又は複数のラベル付きサンプルデータに対応する、ことと、前記元サンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定することと、を実行するように構成される。
選択可能な実施形態において、前記第２頻度情報決定モジュールは、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、各カテゴリに対して、前記ラベル付きサンプルデータ集合におけるラベル付きサンプルデータの総数及び該カテゴリに属するラベル付きサンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定し、又は、該カテゴリに属するラベル付きサンプルデータの数を該カテゴリに対応する頻度情報とするように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定する場合、各ラベル付きサンプルデータに対して、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得るように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行うときの損失情報を得る場合、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定し、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得るように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定するように構成される。
ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプルデータに含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプルデータに含まれない少なくとも１つのターゲット対象のカテゴリが含まれる。
選択可能な実施形態において、前記第２損失情報決定モジュールは、前記ラベル付きサンプルデータ集合から、該ラベル付きサンプルデータと同一の元サンプルデータに対応するターゲットラベル付きサンプルデータを決定し、該ラベル付きサンプルデータ及び前記ターゲットラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式、又は、該ラベル付きサンプルデータに対応する元サンプルデータの第１補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプルデータに含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を取得するように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータに対応する元サンプルデータの第２補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を取得するように構成され、前記第２補助分類ラベルは、前記元サンプルデータに含まれないターゲット対象のカテゴリを示すためのものである。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成される。
選択可能な実施形態において、前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプルデータであることを示し、及び／又は、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成される。
第８態様によれば、本願の実施例は、データ処理装置を提供する。該装置は、事前訓練されたデータ分類モデルに基づいて、データ処理タスクを実行するように構成される第２処理モジュールを備え、前記データ分類モデルは、上記第３態様のいずれか一項に記載のデータ分類モデルの訓練方法で訓練されたものであり、前記データ処理タスクは、データ分類、データセグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含み、前記データは、画像データ及びテキストデータのうちのいずれか１つを含む。
第９態様によれば、本願の実施例は、コンピュータ機器を更に提供する。前記コンピュータ機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、コンピュータ機器が運転される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記プロセッサが前記機器可読命令を実行して、上記第１態様又は第１態様におけるいずれか１つの可能な実施形態におけるステップを実行し、又は、上記第２態様又は第２態様におけるいずれか１つの可能な実施形態におけるステップを実行し、又は、上記第３態様又は第３態様におけるいずれか１つの可能な実施形態におけるステップを実行し、又は、上記第４態様又は第４態様におけるいずれか１つの可能な実施形態におけるステップを実行する。
第１０態様によれば、本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、前記プロセッサに、上記第１態様又は第１態様におけるいずれか１つの可能な実施形態におけるステップを実行させ、又は、上記第２態様又は第２態様におけるいずれか１つの可能な実施形態におけるステップを実行させ、又は、上記第３態様又は第３態様におけるいずれか１つの可能な実施形態におけるステップを実行させ、又は、上記第４態様又は第４態様におけるいずれか１つの可能な実施形態におけるステップを実行させる。
第１１態様によれば、本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムはプロセッサにより実行される場合、前記プロセッサに、上記第１態様又は第１態様におけるいずれか１つの可能な実施形態におけるステップを実行させ、又は、上記第２態様又は第２態様におけるいずれか１つの可能な実施形態におけるステップを実行させ、又は、上記第３態様又は第３態様におけるいずれか１つの可能な実施形態におけるステップを実行させ、又は、上記第４態様又は第４態様におけるいずれか１つの可能な実施形態におけるステップを実行させる。
本願の上記目的、特徴及び利点を明確かつ分かりやすくするために、以下、好適な実施例を挙げて、添付図面を参照しながら、以下のように、詳しく説明する。
本願の実施例による画像分類モデルの訓練方法を示すフローチャートである。 本願の実施例による損失情報を取得するための具体的な方法を示すフローチャートである。 本願の実施例によるデータ分類モデルの訓練方法を示すフローチャートである。 本願の実施例による画像分類モデル訓練装置を示す概略図である。 本願の実施例によるデータ分類モデル訓練装置を示す概略図である。 本願の実施例によるコンピュータ機器を示す概略図である。 本願の実施例によるもう１つのコンピュータ機器を示す概略図である。
本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例に必要な図面を簡単に説明する。ここで添付した図面は、明細書に引き入れて本明細書の一部を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。下記図面は、説明のみの目的で本願の幾つかの実施形態を図示しており、本願を制限するものではないことが理解されるべきである。当業者は、創造的労働を行うことなく、これらの図面に基づいてその他の関連する図面を得ることもできる。
本願の実施例の目的、技術的解決手段及び利点をより明確にするために、以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、図面に説明されて示されている本願の実施例のユニットは、多岐にわたる異なる構成で配置及び設計することができる。従って、図面を参照しながら提供される本願の実施例の下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
検討によれば、マルチカテゴリニューラルネットワークモデルを訓練する過程において、いずれか１つのカテゴリにとって、他のカテゴリのポジティブサンプルは、該いずれか１つのカテゴリのネガティブサンプルを構成し、該いずれか１つのカテゴリのポジティブサンプルの数が少ないと、該いずれか１つのカテゴリにとって、ポジティブサンプルとネガティブサンプルとのバランスが崩れ、ネガティブサンプルは、該いずれか１つのカテゴリに著しい影響を及ぼし、マルチカテゴリニューラルネットワークモデルが該いずれかカテゴリのターゲット対象を認識する時の認識精度が低いことを招くことが判明した。
上記検討によれば、本願は、画像分類モデルの訓練方法を提供する。分類モデルを訓練する時、ラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定する。続いて、複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルの損失情報を決定し、該損失情報に基づいて分類モデルを訓練する。該過程において、各カテゴリにそれぞれ対応する頻度情報及び各サンプル画像にそれぞれ対応する分類ラベルに基づいて損失情報を決定するため、各カテゴリの頻度情報に基づいて、画像分類モデルの訓練過程において画像分類モデルに及ぼす特定のカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整でき、これにより、各カテゴリに及ぼすポジティブサンプル及びネガティブサンプルの影響のバランスを取り、更に、ポジティブサンプルが少ないカテゴリに対する、分類モデルの認識精度を向上させることができる。
上記技術的解決手段に存在する欠陥はいずれも、発明者らが実践及び鋭意検討した後に得られた結果である。従って、上記問題点の発見過程及び下記記述における本願が上記問題点に対して提出する解決手段は、いずれも発明者らが開示中に本願に与える寄与であるはずである。
以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明瞭かつ完全に説明する。勿論、記述される実施例は、全ての実施例ではなく、ただ本出願の一部の実施例である。一般的には、図面に説明されて示されている本願の実施例のユニットは、多岐にわたる異なる構成で配置及び設計することができる。従って、図面を参照しながら提供される本願の実施例の下記詳細な説明は、特許請求されている本願の範囲を限定するものではなく、本願の実施例を示すためのものに過ぎない。本願の実施例に基づいて、当業者が創造的な労力なしに得られる他の実施例の全ては、本願の保護の範囲に含まれる。
下記図面において、類似した符号及び文字は、類似した要素を表すため、１つの要素が１つの図面において定義されていると、後続の図面において、これに対して定義及び説明を行う必要がないことに留意されたい。
本実施例を理解しやすくするために、まず、本願の実施例が開示する画像分類モデルの訓練方法を詳しく説明する。本願の実施例で提供される分類モデルの訓練方法の実行主体は、一般的には、一定のコンピューティング能力を持つコンピュータ機器である。該コンピュータ機器は、例えば、端末機器、サーバ又は他の処理機器を含む。端末機器は、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラー電話、コードレス電話機、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。幾つかの可能な実現形態において、該分類モデル訓練方法は、プロセッサによりメモリに記憶されたコンピュータ可読命令を呼び出すことで実現してもよい。
実施例１
本願の実施例による画像分類モデルの訓練を示すフローチャートである図１に示すように、該方法は、ステップＳ１０１～Ｓ１０４を含み、ここで、
Ｓ１０１において、ラベル付きサンプル画像集合を取得し、ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる。
Ｓ１０２において、ラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定する。
Ｓ１０３において、複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、画像分類モデルの損失情報を決定する。
Ｓ１０４において、損失情報に基づいて、画像分類モデルを訓練し、画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである。
以下、上記Ｓ１０１～Ｓ１０４に対してそれぞれ詳しく説明する。
Ｉ：上記Ｓ１０１において、ラベル付きサンプル画像集合に複数のラベル付きサンプル画像が含まれる。異なるラベル付きサンプル画像は、異なる元サンプル画像に対してラベルを付けて生成することができ、同一の元サンプル画像に対してラベルを付けて生成することもできる。各ラベル付きサンプル画像に、少なくとも１つのラベル付けされたターゲット対象及び該ターゲット対象に対応するタグが含まれる。ここで、ターゲット対象は、画像分類モデルが認識できる複数の対象のうちのいずれか１つであり、ターゲット対象に対応するタグは、該ターゲット対象が属するカテゴリである。
例えば、１枚の元サンプル画像に、ターゲット対象Ａが含まれるだけでなく、ターゲット対象Ｂも含まれる。従って、該元サンプル画像にラベルを付ける場合、該元サンプル画像における、該ターゲット対象Ａの位置をラベル付けし、分類ラベル「ターゲット対象Ａ」を追加し、ラベル付きサンプル画像を形成することができ、該該元サンプル画像における、該ターゲット対象Ｂの位置をラベル付けし、分類ラベル「ターゲット対象Ｂ」を追加し、もう１つのラベル付きサンプル画像を形成することもできる。
なお、１枚の元サンプル画像に複数の同じターゲット対象が含まれると、各ターゲット対象に対して、いずれも１つのラベル付きサンプル画像を形成することができる。例えば、１枚の元サンプル画像に３つのターゲット対象Ａが含まれると、該元サンプル画像にラベルを付ける場合、１番目のターゲット対象Ａに対して、該元サンプル画像における、１番目のターゲット対象Ａの位置をラベル付けし、分類ラベル「ターゲット対象Ａ」を追加し、２番目のターゲット対象Ａに対して、該元サンプル画像における、２番目のターゲット対象Ａの位置をラベル付けし、分類ラベル「ターゲット対象Ａ」を追加し、３番目のターゲット対象Ａに対して、該元サンプル画像における、３番目のターゲット対象Ａの位置をラベル付けし、分類ラベル「ターゲット対象Ａ」を追加する。
なお、１枚の元サンプル画像に複数の同じターゲット対象が含まれる時、全ての同じターゲット対象に対して複数のラベル付きサンプル画像を形成することもできる。
例えば、１枚の元サンプル画像に３つのターゲット対象Ａが含まれると、該元サンプル画像にラベルを付ける場合、３つのターゲット対象Ａに対して、該元サンプル画像における、３つのターゲット対象Ａの位置をラベル付けし、タグ「ターゲット対象Ａ」を追加する。
具体的なラベル付き方式は、分類の目的によって決まってもよい。例えば、分類の目的がインスタンスセグメンテーションであると、異なるターゲット対象に対して、異なるラベル付きサンプル画像を形成する。例えば、分類の目的が、どの画像に特定の対象があるかを認識することであると、全ての同じターゲット対象に対して、１つのラベル付きサンプル画像を形成することができる。
画像分類モデルを訓練する前に、まず、画像分類モデルが認識できる対象のカテゴリを決定し、続いて、決定された、画像分類モデルが認識できる対象のカテゴリに基づいて、ラベル付きサンプル画像集合を決定する。
ラベル付きサンプル画像集合に、各カテゴリにそれぞれ対応するラベル付きサンプル画像が含まれ、つまり、いずれか１つのカテゴリに対して、該カテゴリに該当するポジティブサンプルが含まれる。
いずれか１つのカテゴリに対して、他のカテゴリに対応するラベル付きサンプル画像はいずれも該いずれか１つのカテゴリのネガティブサンプルを構成する。
なお、ラベル付きサンプル画像集合に、全てのカテゴリにとっていずれもネガティブサンプルである複数のラベル付きサンプル画像が更に含まれてもよい。
例えば、１枚の元画像にラベルを付ける場合、元サンプル画像における、いずれか１つのカテゴリに属しない対象の位置をラベル付けし、分類ラベル「カテゴリ無し」又は「背景」を追加する。
もう１つの実施例において、分類ラベルは、数字の形態で表されてもよい。例えば、画像分類モデルが認識できる対象のカテゴリが３０種であると、１～３０で３０種のカテゴリをそれぞれ表し、０を、全てのカテゴリにとっていずれもネガティブサンプルであるラベル付きサンプル画像の分類ラベルとして用いる。
ＩＩ：上記Ｓ１０２において、いずれか１つのカテゴリに対応する頻度情報は、例えば、
該いずれか１つのカテゴリに対応するラベル付きサンプル画像の数、該いずれか１つのカテゴリに対応するラベル付きサンプル画像がラベル付きサンプル画像集合に占める割合、該いずれか１つのカテゴリに対応するラベル付きサンプル画像の元サンプル画像の数、該いずれか１つのカテゴリに対応するラベル付きサンプル画像の元サンプル画像の数が全てのラベル付きサンプル画像の元サンプル画像の数に占める割合のうちのいずれか１つであってもよい。
更に、下記方式（１）、（２）、（３）のうちのいずれか１つを用いて複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することができるが、これらに限定されない。
（１）各カテゴリに対して、該カテゴリに属するラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する元サンプル画像に基づいて、該カテゴリに対応する元サンプル画像の数を決定し、各元サンプル画像は、１つ又は複数のラベル付きサンプル画像に対応する。
元サンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定する。
ここで、元サンプル画像の数を該カテゴリに対応する頻度情報と直接的に決定することができ、元サンプル画像の数が全ての元サンプル画像の数に占める割合を該カテゴリに対応する頻度情報と決定することもできる。
具体的には、異なるラベル付きサンプル画像は、同一の元サンプル画像からのものである可能性があるため、同一のラベル付きサンプル画像からの異なるラベル付きサンプル画像を画像分類モデルに入力した後、画像分類モデルのパラメータが一定のままで、異なるラベル付きサンプル画像のために抽出された特徴データは類似したものであり、ひいては同じである。これらのラベル付きサンプル画像を用いて画像分類モデルを訓練する場合、画像分類モデルが学習できる特徴は、異なる元サンプル画像からの異なるラベル付きサンプル画像を用いて画像分類モデルを訓練する場合、画像分類モデルが学習できる特徴よりも少ない。
例えば、ラベル付きサンプル画像ａ１、ラベル付きサンプル画像ａ２は、同一の元サンプル画像Ａからのものであり、ラベル付きサンプル画像ｂ１は、元サンプル画像Ｂからのものである。画像分類モデルがａ１及びａ２に対して特徴学習を行う場合に学習できる特徴は、ａ１及びｂ１に対して特徴学習を行う場合に学習できる特徴よりも少ない。
更に、直接的にラベル付きサンプル画像の数に基づいて各カテゴリに対応する頻度情報を決定する場合、１つのカテゴリに対応するポジティブサンプルのうちの複数が同一の元サンプル画像からのものであると、ポジティブサンプルの数が多くても、画像分類モデルが学習できる該カテゴリに該当する特徴が少ないことを招き、該カテゴリに対する認識精度が低いことを招き、つまり、ポジティブサンプルが少ないカテゴリをポジティブサンプルが多いカテゴリと判定することを招く。このような誤判を避けるために、該実施例において、各ラベル付きサンプル画像に対応する元サンプル画像の数に基づいて、頻度情報を決定する。
（２）各カテゴリに対して、ラベル付きサンプル画像集合におけるラベル付きサンプル画像の総数及び及び該カテゴリに属するラベル付きサンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定する。該カテゴリに属するラベル付きサンプル画像の数がラベル付きサンプル画像の総数に占める割合を該カテゴリに対応する頻度情報とすることができる。
（３）該カテゴリに属するラベル付きサンプル画像の数を該カテゴリに対応する頻度情報とする。
ここで、１つのカテゴリにとって、該カテゴリの頻度情報が高いほど、該カテゴリに対応するポジティブサンプルの数が多くなり、該カテゴリのポジティブサンプルとネガティブサンプルとのバランスが高くなると認められる。頻度情報が低いほど、該カテゴリに対応するポジティブサンプルの数が少なくなり、該カテゴリのポジティブサンプルとネガティブサンプルとのバランスが低くなると認められる。
ＩＩＩ：上記Ｓ１０３及びＳ１０４において、複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、画像分類モデルの損失情報を決定する場合、例えば、
各ラベル付きサンプル画像に対して、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、画像分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得るという方式を用いることができる。
具体的な実現過程において、ラベル付きサンプル画像に基づいて画像分類モデルを訓練する過程において、１つのラベル付きサンプル画像を画像分類モデルに入力するたびに、１つの分類結果を決定することができる。該分類結果は、例えば、１つのベクトルである。ベクトルにおける要素の数は、画像分類モデルが認識できる対象のカテゴリの数と一致し、且つ一対一に対応する。該ベクトルにおけるいずれか１つの要素の値は、該ラベル付きサンプル画像が該要素に対応するカテゴリに属する確率又は信頼度を表す。
例えば、画像分類モデルが認識できる対象のカテゴリの数が３０であると、いずれか１つのラベル付きサンプル画像を画像分類モデルに入力した後、得られた分類結果は、１つの３０次元ベクトルであり、（ｐ１，ｐ２，……，ｐ３０）で表される。ここで、ベクトルにおけるｉ番目の要素ｐｉの値は、該ラベル付きサンプル画像がｐｉに対応するカテゴリに属する信頼度を表し、また、ｐｉの値が高いほど、該ラベル付きサンプル画像がｐｉに対応するカテゴリに属する可能性は高くなる。
続いて、該ベクトル、ラベル付きサンプル画像に対応する分類ラベル、及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対応する損失情報を得ることができる。
該損失情報に基づいて、画像分類モデルのパラメータを、該損失情報を低下させる傾向へ調整し、該画像分類モデルに対する一回のパラメータ調整プロセスを完了する。
続いて、次のラベル付きサンプル画像を画像分類モデルに入力し、上記損失情報の決定及びパラメータ調整プロセスを再実行する。
全てのラベル付きサンプル画像を用いて画像分類モデルに対して一回のパラメータ調整プロセスを実行した後、該画像分類モデルに対する一回の訓練が完了したと認められる。
画像分類モデルに対する複数回の訓練を行った後、又は、画像分類モデルの損失情報が収束した場合、最終的に訓練された画像分類モデルを得ることができる。
例示的に、図２に示すように、本願の実施例は、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得るための具体的な方法を更に提供する。該方法は、以下を含む。
Ｓ２０１において、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する。
Ｓ２０２において、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得る。
ここで、各ラベル付きサンプル画像に対して、その損失情報は、例えば、下記式（１）を満たす。
Figure 2022512065000002
（１）
ここで、
Figure 2022512065000003
は、下記式（２）を満たす。
Figure 2022512065000004
（２）
ここで、Ｃは、分類モデルが認識できる対象のカテゴリの数を表し、
Figure 2022512065000005
は、該ラベル付きサンプル画像がカテゴリｊに属する信頼度を表し、ｃは、該ラベル付きサンプル画像に対応する注釈ラベルを表し、
Figure 2022512065000006
は、該ラベル付きサンプル画像に対して、カテゴリｊに対応する損失重みを表す。
一実施例において、損失重みを決定する場合、例えば、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルに基づいて、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であるかどうかを示すことを決定し、該いずれか１つカテゴリに対応する頻度情報が所定の頻度閾値未満であるかどうかを決定する。
該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定する。
該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定する。
ここで、該所定の頻度閾値の具体的な数値は、頻度情報の形態（例えば、数又は割合）及び分類精度の要件によって具体的に設定されてもよい。
ここで、第１所定の損失重み値及び第２所定の損失重み値の具体的な数値は、実際の需要に応じて具体的に設定されてもよい。
上記実施例において、画像分類モデルの訓練過程において、画像分類モデルに及ぼす特定のカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整でき、これにより、ポジティブサンプルが少ないカテゴリに対する、分類モデルの検出精度を向上させる。従って、第１所定の損失重み値は、一般的には、第２所定の損失重み値より小さい。
ラベル付きサンプル画像ａを用いて画像分類モデルを訓練する過程において、カテゴリｍに対して、該カテゴリｍのポジティブサンプルとネガティブサンプルがアンバランス状態であれば、該カテゴリｍに対応する頻度情報は、所定の頻度閾値未満であると同時に、該ラベル付きサンプル画像ａの注釈ラベルは、該ラベル付きサンプル画像ａが１つのカテゴリに属することを示すが、該カテゴリは、カテゴリｍではなく、背景カテゴリでもない。この場合、カテゴリｍが、頻度情報が頻度閾値未満であるカテゴリであれば、該カテゴリｍに及ぼす該ラベル付きサンプル画像ａの影響を低下させ、ひいては無視し、つまり、該カテゴリｍの損失に及ぼすラベル付きサンプル画像ａの影響を低下させる。
該ラベル付きサンプル画像ａを用いて画像分類モデルを訓練する過程において、カテゴリｍに対して、該カテゴリｍのポジティブサンプルとネガティブサンプルがアンバランス状態でなければ、該カテゴリｍに及ぼす該ラベル付きサンプル画像ａの影響を低下させることができず、ひいては無視することもない。
該ラベル付きサンプル画像ａを用いて画像分類モデルを訓練する過程において、カテゴリｍに対して、該カテゴリｍのポジティブサンプルとネガティブサンプルがアンバランス状態ではないが、該ラベル付きサンプル画像ａは全てのカテゴリにとっていずれも背景カテゴリのラベル付きサンプル画像である場合、該カテゴリｍに及ぼす該ラベル付きサンプル画像ａの影響を低下させることができず、ひいては無視することもない。
例えば、カテゴリに及ぼすラベル付きサンプル画像の影響を無視する場合、第１所定の損失重み値は、０であり、第２所定の損失重み値は、１である。分類モデルが認識できる対象カテゴリの分類ラベルを１～Ｃとし、背景カテゴリの分類ラベルを０とすることができる。従って、１つのラベル付きサンプル画像に対して、カテゴリｊに対応する損失重み
Figure 2022512065000007
は、下記式（３）を満たす。
Figure 2022512065000008
（３）
ここで、
Figure 2022512065000009
は、所定の頻度閾値を表し、ｃは、ラベル付きサンプル画像が属するカテゴリを表し、
Figure 2022512065000010
は、ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを表す。
Figure 2022512065000011
は、カテゴリｊに対応する頻度情報を表す。
また例えば、カテゴリに及ぼすラベル付きサンプル画像の影響を低下させる場合、第１所定の損失重み値は、０．３であり、第２所定の損失重み値は、１である。１つのラベル付きサンプル画像に対して、カテゴリｊに対応する損失重み
Figure 2022512065000012
は、下記式（４）を満たす。
Figure 2022512065000013
（４）
ここで、カテゴリに及ぼすラベル付きサンプル画像の影響を低下させる場合、第１所定の損失重み値及び第２所定の損失重み値の具体的な数値は、実際の需要に応じて設定されてもよく、例えば、０．１、０．２、０．４、０．５等としてもよいことに留意されたい。第２所定の損失重み値は、また例えば、０．９、１．１、１．２等である。ここで限定しない。
なお、本願の実施例は、損失重みを決定するためのもう１つの具体的な方式を更に提供する。該実施例において、例えば、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することができる。
ここで、ポジティブサンプルカテゴリ集合に、該元サンプル画像に含まれる少なくとも１つのターゲット対象のカテゴリが含まれる。
具体的には、下記方式１又は２のうちのいずれか１つを用いて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定することができる。
方式１：ラベル付きサンプル画像集合から、該ラベル付きサンプル画像と同一の元サンプル画像に対応するターゲットラベル付きサンプル画像を決定し、
該ラベル付きサンプル画像及びターゲットラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する。
ここで、ラベル付きサンプル画像を形成する場合、複数の異なるラベル付きサンプル画像が同一の元サンプル画像に基づいてラベル付けされたものであることがある。
例えば、いずれか１つのラベル付きサンプル画像ａに対して、それに対応する同一の元サンプル画像のターゲットラベル付きサンプル画像はそれぞれ、ラベル付きサンプル画像ｂ、ラベル付きサンプル画像ｃ及びラベル付きサンプル画像ｄである。ここで、ラベル付きサンプル画像ａの分類ラベルは、ｍ２であり、ラベル付きサンプル画像ｂの分類ラベルは、ｍ５であり、ラベル付きサンプル画像ｃの分類ラベルは、ｍ９であり、ラベル付きサンプル画像ｄの分類ラベルは、ｍ５である。従って、該ラベル付きサンプル画像ａのポジティブサンプルカテゴリ集合は、｛ｍ２，ｍ５，ｍ９｝である。
方式２：該ラベル付きサンプル画像に対応する元サンプル画像の第１補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する。
ここで、元サンプル画像に対してラベルを付け、ラベル付きサンプル画像を生成する過程において、生成されるべきラベル付きサンプル画像の数が膨大過ぎるため、元サンプル画像に存在する異なる対象を逐一ラベル付けして異なるラベル付きサンプル画像を生成することができないことが多い。この場合、元サンプル画像に第１補助分類ラベルを追加することができる。該第１補助分類ラベルは、元サンプル画像に含まれるターゲット対象のカテゴリを示すためのものである。
ここで、該第１補助分類ラベルは、ラベル付き時、元サンプル画像に含まれるターゲット対象の全てのカテゴリを示すことができ、元サンプル画像に含まれるターゲット対象の一部のカテゴリのみを示すこともできることに留意されたい。
例えば、元サンプル画像に含まれるターゲット対象の全てのカテゴリは、ｍ１、ｍ３、ｍ７、ｍ８、ｍ１１を含み、元サンプル画像に対して第１補助分類ラベルをラベル付けする場合、第１補助分類ラベルは例えば、ｍ１、ｍ３、ｍ７である。この場合、形成された該元サンプル画像のポジティブサンプルカテゴリ集合は、｛ｍ１，ｍ３，ｍ７｝である。
第１補助分類ラベルは、例えば、ｍ７、ｍ８、ｍ１１である。この場合、形成された該元サンプル画像のポジティブサンプルカテゴリ集合は、｛ｍ７，ｍ８，ｍ１１｝である。
第１補助分類ラベルは、例えば、ｍ１、ｍ３、ｍ７、ｍ８、ｍ１１である。この場合、形成された該元サンプル画像のポジティブサンプルカテゴリ集合は、｛ｍ１，ｍ３，ｍ７，ｍ８，ｍ１１｝である。
ネガティブサンプルカテゴリ集合に、該元サンプル画像に含まれない少なくとも１つのターゲット対象のカテゴリが含まれる。
ここで、下記方式３を用いて該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を決定することができる。
方式３：該ラベル付きサンプル画像に対応する元サンプル画像の第２補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を決定する。
ここで、上記方式２と同様に、元サンプル画像にラベルを付ける場合、元サンプル画像に第２補助分類ラベルを追加することもできる。該第２補助分類ラベルは、元サンプル画像に含まれないターゲット対象のカテゴリを示すためのものである。
例えば、元サンプル画像にラベルを付ける場合、該元サンプル画像に含まれないターゲット対象のカテゴリがｍ３、ｍ９、ｍ１５を含むと決定した時、元サンプル画像に対して第２補助分類ラベルをラベル付けする場合、第２補助分類ラベルは例えば、ｍ３、ｍ９、ｍ１５である。この場合、形成された該元サンプル画像のネガティブサンプルカテゴリ集合は、｛ｍ３，ｍ９，ｍ１５｝である。
ここで、第１補助分類ラベル又は第２補助分類ラベルにより指示されるコンテンツはヌルであってもよいことに留意されたい。この場合、ポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合もヌルである。
該実施例において、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、例えば、いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルに基づいて、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であるかどうかを示すことを決定し、該いずれか１つカテゴリに対応する頻度情報が所定の頻度閾値未満であるかどうかを決定し、該いずれか１つのカテゴリが該ラベル付きサンプル画像に対応するポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に属するかどうかを決定する。
該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、該いずれか１つのカテゴリがポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に属せず、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定する。
該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリがポジティブサンプルカテゴリ集合又はネガティブサンプルカテゴリ集合に属し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定する。
該実施例において、画像分類モデルに及ぼすいずれかのカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整する場合、カテゴリｍに及ぼすラベル付きサンプル画像ａの影響を低下させるか又は無視する過程において、該ラベル付きサンプル画像ａに対応する元サンプル画像に必ず該カテゴリｍのターゲット対象が存在すれば、該カテゴリｍに及ぼす該ラベル付きサンプル画像の影響を無視しない。従って、画像分類モデルに、該カテゴリに該当するより多くの特徴を学習させることができ、画像分類モデルの精度を更に向上させることができる。
なお、元サンプル画像に特定のカテゴリのターゲット対象が必ず存在しなければ、該元サンプル画像は、実際に、該カテゴリｍの背景画像と認められ、該カテゴリｍに及ぼす該元サンプル画像に基づいて得られたラベル付きサンプル画像の影響を無視しない。従って、画像分類モデルに、カテゴリｍのターゲット対象の差動的特徴を学習させることができ、画像分類モデルの精度を更に向上させることもできる。
更に、本願の実施例において、該いずれか１つのカテゴリが該ラベル付きサンプル画像に対応するポジティブサンプルカテゴリ集合又はネガティブサンプルカテゴリ集合に属するかどうかを更に決定する。属すれば、該カテゴリｍに及ぼす該ラベル付きサンプル画像ａの影響を低下させることができず、ひいては無視することもない。
例えば、カテゴリに及ぼすラベル付きサンプル画像の影響を無視する場合、第１所定の損失重み値は、０であり、第２所定の損失重み値は、１である。従って、１つのラベル付きサンプル画像に対して、カテゴリｊに対応する損失重み
Figure 2022512065000014
は、下記式（５）を満たす。
Figure 2022512065000015
（５）
ここで、
Figure 2022512065000016
は、所定の頻度閾値を表し、
Figure 2022512065000017
は、ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを表す。
Figure 2022512065000018
は、カテゴリｊに対応する頻度情報を表す。
Figure 2022512065000019
は、ポジティブサンプルカテゴリ集合を表し、
Figure 2022512065000020
は、ネガティブサンプルカテゴリ集合を表す。
また例えば、カテゴリに及ぼすラベル付きサンプル画像の影響を低下させる場合、第１所定の損失重み値は、０．１５であり、第２所定の損失重み値は、１．１である。１つのラベル付きサンプル画像に対して、カテゴリｊに対応する損失重み
Figure 2022512065000021
は、下記式（６）を満たす。
Figure 2022512065000022
（６）
カテゴリに及ぼすラベル付きサンプル画像の影響を低下させる場合、第１所定の損失重み値及び第２所定の損失重み値の具体的な数値は、実際の需要に応じて設定されてもよい。
本願の実施例は、分類モデルを訓練する時、ラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定する。続いて、複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルの損失情報を決定し、該損失情報に基づいて分類モデルを訓練する。該過程において、各カテゴリにそれぞれ対応する頻度情報及び各サンプル画像にそれぞれ対応する分類ラベルに基づいて損失情報を決定するため、各カテゴリの頻度情報に基づいて、画像分類モデルの訓練過程において画像分類モデルに及ぼす特定のカテゴリのポジティブサンプル及びネガティブサンプルの影響の程度を調整でき、これにより、各カテゴリに及ぼすポジティブサンプル及びネガティブサンプルの影響のバランスを取り、更に、ポジティブサンプルが少ないカテゴリに対する、分類モデルの認識精度を向上させることができる。
本願の実施例は、もう１つの画像処理方法を更に提供する。該方法は、事前訓練された画像分類モデルに基づいて、画像処理タスクを実行することを含み、
画像分類モデルは、上記実施例の画像分類モデルの訓練方法で訓練されたものであり、
画像処理タスクは、画像分類、対象検出、キーポイント検出、画像セグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含む。
本願の実施例において、画像分類モデルを具体的には、実際の画像処理タスクに基づいて選択することができる。例えば、画像処理タスクが対象検出である場合、該画像分類モデルとして一層高速化した領域畳み込みニューラルネットワーク（Ｆａｓｔｅｒ Ｒｅｇｉｏｎ－Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ｆａｓｔｅｒ Ｒ－ＣＮＮ）を用いることができる。また例えば、画像処理タスクがインスタンスセグメンテーションである場合、該画像分類モデルとしてインスタンスセグメンテーションモデルＭａｓｋ Ｒ－ＣＮＮを用いることができる。
本実施例において、画像分類モデルを訓練するためのラベル付きサンプル集合は、マイクロソフトコンテキスト共通オブジェクトデータ集合（Ｍｉｃｒｏｓｏｆｔ Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ：ＭＳ ＣＯＣＯ）、大語彙インスタンスセグメンテーションデータ集合（Ａ Ｄａｔａｓｅｔ ｆｏｒ Ｌａｒｇｅ Ｖｏｃａｂｕｌａｒｙ Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ：ＬＶＩＳ）、パターン分析、統計的モデリング及び計算論的学習ビジュアルオブジェクトカテゴリデータ集合（ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ，ｓｔａｔｉｓｔｉｃａｌ ｍｏｄｅｌｌｉｎｇ ａｎｄ ｃｏｍｐｕｔａｔｉｏｎａｌ ｌｅａｒｎｉｎｇ ｖｉｓｕａｌ ｏｂｊｅｃｔ ｃｌａｓｓｅｓ：Ｐａｓｃａｌ ＶＯＣ）、及びＯｐｅｎ Ｉｍａｇｅデータ集合のうちの少なくとも１つであってもよく、上記サンプル集合のうちの少なくとも１つに対して処理（例えば、再ラベル付き）を行った後に得られたサンプル集合であってもよい。
本願の実施例は、画像処理タスクを実行する場合、上記実施例で開示される画像分類モデルの訓練方法で訓練された画像分類モデルにより実現し、より高い精度で画像処理結果を得ることができる。
図３に示すように、本願の実施例は、データ分類モデルの訓練方法を更に提供する。該方法は以下を含む。
Ｓ３０１において、ラベル付きサンプルデータ集合を取得し、ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる。
Ｓ３０２において、ラベル付きサンプルデータ及び各ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定する。
Ｓ３０３において、複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、データ分類モデルの損失情報を決定する。
Ｓ３０４において、損失情報に基づいて、データ分類モデルを訓練し、データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである。
該実施例において、サンプルデータ集合は、サンプル画像集合、サンプルテキスト集合のうちのいずれか１つであってもよい。なお、処理されるべきデータによって、ラベル付きサンプルデータは異なる。具体的には、実際の適用シーンによって決まる。ここで、詳細な説明を省略する。
上記Ｓ３０１～Ｓ３０４の具体的な実現形態は、上記実施例のＳ１０１～Ｓ１０４を参照することができ、ここで、詳細な説明を省略する。
本願の実施例は、データ処理の方法を更に提供する。該方法は、
事前訓練されたデータ分類モデルに基づいて、データ処理タスクを実行することを含み、
データ分類モデルは、上記実施例におけるデータ分類モデルの訓練方法で訓練されたものであり、
データ処理タスクは、データ分類、データセグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含み、
データは、画像データ及びテキストデータのうちのいずれか１つを含む。
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。
同一の技術的思想によれば、本願の実施例は、画像分類モデルの訓練方法に対応する画像分類モデル訓練装置を更に提供する。本願の実施例における装置による課題を解決するための原理は、本願の実施例における上記画像分類モデルの訓練方法と類似するため、装置の実施は、方法の実施を参照することができ、重複した説明を省略する。
本願の実施例による画像分類モデル訓練装置を示す概略図である図４に示すように、前記装置は、第１取得モジュール４１と、第１頻度情報決定モジュール４２と、第１損失情報決定モジュール４３と、第１訓練モジュール４４と、を備え、
第１取得モジュール４１は、ラベル付きサンプル画像集合を取得するように構成され、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれ、
第１頻度情報決定モジュール４２は、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定するように構成され、
第１損失情報決定モジュール４３は、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、画像分類モデルの損失情報を決定するように構成され、
第１訓練モジュール４４は、前記損失情報に基づいて、前記画像分類モデルを訓練するように構成され、前記画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである。
装置における各モジュールの処理フロー及び各モジュール間のインタラクションフローに関する説明は、上記方法の実施例における関連説明を参照することができ、ここで、詳細な説明を省略する。
本願のもう１つの実施例は、画像処理装置を更に提供する。該装置は、
事前訓練された画像分類モデルに基づいて、画像処理タスクを実行するように構成される第１処理モジュールを備え、
前記画像分類モデルは、上記実施例に記載の画像分類モデルの訓練方法で訓練されたものであり、
前記画像処理タスクは、画像分類、対象検出、キーポイント検出、画像セグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含む。
本願の実施例によるデータ分類モデル訓練装置を示す概略図である図５に示すように、前記装置は、第２取得モジュール５１と、第２頻度情報決定モジュール５２と、第２損失情報決定モジュール５３と、第２訓練モジュール５４と、を備え、
第２取得モジュール５１は、ラベル付きサンプルデータ集合を取得するように構成され、前記ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれ、
第２頻度情報決定モジュール５２は、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定するように構成され、
第２損失情報決定モジュール５３は、前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、データ分類モデルの損失情報を決定するように構成され、
第２訓練モジュール５４は、前記損失情報に基づいて、前記データ分類モデルを訓練するように構成され、前記データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである。
装置における各モジュールの処理フロー及び各モジュール間のインタラクションフローに関する説明は、上記方法の実施例における関連説明を参照することができ、ここで、詳細な説明を省略する。
本願の実施例は、データ処理装置を更に提供する。該装置は、
事前訓練されたデータ分類モデルに基づいて、データ処理タスクを実行するように構成される第２処理モジュールを備え、
前記データ分類モデルは、上記実施例に記載のデータ分類モデルの訓練方法で訓練されたものであり、
前記データ処理タスクは、データ分類、データセグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含み、前記データは、画像データ及びテキストデータのうちのいずれか１つを含む。
本願の実施例は、コンピュータ機器６０を更に提供する。本願の実施例によるコンピュータ機器６０の構造を示す概略図である図６に示すように、該コンピュータ機器６０は、プロセッサ６１と、メモリ６２と、バス６３と、を備える。前記メモリ６２に前記プロセッサ６１による実行可能な機器可読命令（例えば、図４に示した装置における第１取得モジュール４１、第１頻度情報決定モジュール４２、第１損失情報決定モジュール４３及び第１訓練モジュール４４に対応する実行命令など）が記憶されており、コンピュータ機器６０が運転される時、前記プロセッサ６１と前記メモリ６２は、バス６３を介して通信し、前記機器可読命令が前記プロセッサ６１により実行される時、
ラベル付きサンプル画像集合を取得することであって、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、
前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定することと、
前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、画像分類モデルの損失情報を決定することと、
前記損失情報に基づいて、前記画像分類モデルを訓練することであって、前記画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである、ことと、を実行する。
プロセッサ６１が各プロセスを実行する場合の詳細な過程は、具体的には上記実施例を参照する。ここで、詳細な説明を省略する。
本願の実施例は、コンピュータ機器７０を更に提供する。本願の実施例によるコンピュータ機器７０の構造を示す概略図である図７に示すように、該コンピュータ機器７０は、プロセッサ７１と、メモリ７２と、バス７３と、を備える。前記メモリ７２に前記プロセッサ７１による実行可能な機器可読命令（例えば、図５に示した装置における第２取得モジュール５１、第２頻度情報決定モジュール５２、第２損失情報決定モジュール５３及び第２訓練モジュール５４に対応する実行命令など）が記憶されており、コンピュータ機器７０が運転される時、前記プロセッサ１１と前記メモリ７２は、バス７３を介して通信し、前記機器可読命令が前記プロセッサ７１により実行される時、
ラベル付きサンプル画像集合を取得することであって、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、
ラベル付きサンプルデータ集合を取得することであって、前記ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、
前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定することと、
前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、データ分類モデルの損失情報を決定することと、
前記損失情報に基づいて、前記データ分類モデルを訓練することであって、前記データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである、ことと、を実行する。
プロセッサ７１が各プロセスを実行する場合の詳細な過程は、具体的には上記実施例を参照する。ここで、詳細な説明を省略する。
本願の実施例は、コンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にコンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、上記方法の実施例に記載の画像分類モデルの訓練方法、画像処理方法、データ分類モデルの訓練方法、又はデータ処理方法のステップを実行する。ここで、該記憶媒体は、揮発性又は不揮発性コンピュータ可読記憶媒体であってもよい。
本願の実施例が提供する画像分類モデルの訓練方法、画像処理方法、データ分類モデルの訓練方法又はデータ処理方法のコンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含む。前記プログラムコードに含まれる命令は、上記方法の実施例に記載の画像分類モデルの訓練方法、画像処理方法、データ分類モデルの訓練方法、又はデータ処理方法のステップを実行するために用いられる。具体的には、上記方法の実施例を参照することができ、ここで詳細な説明を省略する。
本願の実施例は、コンピュータプログラムを更に提供する。該コンピュータプログラムは、プロセッサにより実行される時、上記実施例のいずれか１つの方法を実現させる。該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう１つの選択可能な実施例において、コンピュータプログラム製品は、具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化される。
説明上の便宜及び簡素化を図るために、上記説明されたシステム及び装置の具体的な作動過程は、前記方法の実施例における対応した過程を参照することができるから、ここで詳しく説明しないようにすることは、当業者にはっきり理解されるべきである。本発明で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又はアセンブリを組み合わせてもよく、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよく、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した前記ユニットは、物理的に別個のものであってもよく、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよく、そうでなくてもよい。即ち、同一の位置に位置してもよく、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよく、各ユニットが物理的に別個のものとして存在してもよく、２つ以上のユニットが一つのユニットに集積されてもよい。
前記機能はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、プロセッサによる実行可能な揮発性又は不揮発性コンピュータ可読記憶媒体に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現化することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク機器など）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。上述した記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ－ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
最後に説明しておきたいこととして、上記実施例は本願の具体的な実施形態に過ぎず、本願の技術的解決手段を説明するためのものであり、これを限定するものではなく、本願の保護範囲はこれに制限されるものではない。前記実施例を参照しながら、本願を詳細に説明したが、本技術分野を周知するいかなる当業者であれば、本願で開示された技術的範囲内で、前記実施例に記載の技術的解決手段に対して修正を行うことができるか又は変更を容易に思いつくことができ、又は一部の技術的特徴に対して均等物による置換を行うこともでき、これらの修正、変更又は置換は、対応する技術的解決手段の本質を本願の実施例の技術的解決手段の精神及び範囲から離脱させるものではなく、本願の保護範囲内に含まれるものとすることは、理解すべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。

Claims (55)

  1. 画像分類モデルの訓練方法であって、
    ラベル付きサンプル画像集合を取得することであって、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、
    前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定することと、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、画像分類モデルの損失情報を決定することと、前記損失情報に基づいて、前記画像分類モデルを訓練することであって、前記画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである、ことと、を含む、画像分類モデルの訓練方法。
  2. 前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、
    各カテゴリに対して、該カテゴリに属するラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する元サンプル画像に基づいて、該カテゴリに対応する元サンプル画像の数を決定することであって、各元サンプル画像は、１つ又は複数のラベル付きサンプル画像に対応する、ことと、
    前記元サンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定することと、を含むことを特徴とする
    請求項１に記載の画像分類モデルの訓練方法。
  3. 前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、
    各カテゴリに対して、前記ラベル付きサンプル画像集合におけるラベル付きサンプル画像の総数及び該カテゴリに属するラベル付きサンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定すること、又は、該カテゴリに属するラベル付きサンプル画像の数を該カテゴリに対応する頻度情報とすること、を含むことを特徴とする
    請求項１に記載の画像分類モデルの訓練方法。
  4. 前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定することは、
    各ラベル付きサンプル画像に対して、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得ることを含むことを特徴とする
    請求項１～３のうちいずれか一項に記載の画像分類モデルの訓練方法。
  5. 前記該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得ることは、
    該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することと、
    所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得ることと、を含むことを特徴とする
    請求項４に記載の画像分類モデルの訓練方法。
  6. 前記該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含むことを特徴とする
    請求項５に記載の画像分類モデルの訓練方法。
  7. 前記該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含むことを特徴とする
    請求項５～６のうちいずれか一項に記載の画像分類モデルの訓練方法。
  8. 前記該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することを含み、
    ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプル画像に含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプル画像に含まれない少なくとも１つのターゲット対象のカテゴリが含まれることを特徴とする
    請求項５に記載の画像分類モデルの訓練方法。
  9. 前記画像分類モデルの訓練方法は、
    前記ラベル付きサンプル画像集合から、該ラベル付きサンプル画像と同一の元サンプル画像に対応するターゲットラベル付きサンプル画像を決定し、該ラベル付きサンプル画像及び前記ターゲットラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式、
    又は、
    該ラベル付きサンプル画像に対応する元サンプル画像の第１補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプル画像に含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、
    該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を取得することを更に含むことを特徴とする
    請求項８に記載の画像分類モデルの訓練方法。
  10. 前記画像分類モデルの訓練方法は、
    該ラベル付きサンプル画像に対応する元サンプル画像の第２補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を取得することを更に含み、
    前記第２補助分類ラベルは、前記元サンプル画像に含まれないターゲット対象のカテゴリを示すためのものであることを特徴とする
    請求項８～９のうちいずれか一項に記載の画像分類モデルの訓練方法。
  11. 前記該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含むことを特徴とする
    請求項８～１０のうちいずれか一項に記載の画像分類モデルの訓練方法。
  12. 前記該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、
    該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、
    該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、
    該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含むことを特徴とする
    請求項８～１０のうちいずれか一項に記載の画像分類モデルの訓練方法。
  13. 画像処理方法であって、
    事前訓練された画像分類モデルに基づいて、画像処理タスクを実行することを含み、
    前記画像分類モデルは、請求項１～１２のうちいずれか一項に記載の画像分類モデルの訓練方法で訓練されたものであり、
    前記画像処理タスクは、画像分類、対象検出、キーポイント検出、画像セグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含む、画像処理方法。
  14. データ分類モデルの訓練方法であって、
    ラベル付きサンプルデータ集合を取得することであって、前記ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、ことと、
    前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定することと、
    前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、データ分類モデルの損失情報を決定することと、
    前記損失情報に基づいて、前記データ分類モデルを訓練することであって、前記データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである、ことと、を含む、データ分類モデルの訓練方法。
  15. 前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、
    各カテゴリに対して、該カテゴリに属するラベル付きサンプルデータ及び各ラベル付きサンプルデータに対応する元サンプルデータに基づいて、該カテゴリに対応する元サンプルデータの数を決定することであって、各元サンプルデータは、１つ又は複数のラベル付きサンプルデータに対応する、ことと、
    前記元サンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定することと、を含むことを特徴とする
    請求項１４に記載のデータ分類モデルの訓練方法。
  16. 前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定することは、
    各カテゴリに対して、前記ラベル付きサンプルデータ集合におけるラベル付きサンプルデータの総数及び該カテゴリに属するラベル付きサンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定すること、又は、該カテゴリに属するラベル付きサンプルデータの数を該カテゴリに対応する頻度情報とすること、を含むことを特徴とする
    請求項１４に記載のデータ分類モデルの訓練方法。
  17. 前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定することは、
    各ラベル付きサンプルデータに対して、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得ることを含むことを特徴とする
    請求項１４～１６のうちいずれか一項に記載のデータ分類モデルの訓練方法。
  18. 前記該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得ることは、
    該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することと、
    所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得ることと、を含むことを特徴とする
    請求項１７に記載のデータ分類モデルの訓練方法。
  19. 前記該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含むことを特徴とする
    請求項１８に記載のデータ分類モデルの訓練方法。
  20. 前記該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含むことを特徴とする
    請求項１７～１９のうちいずれか一項に記載のデータ分類モデルの訓練方法。
  21. 前記該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することを含み、
    ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプルデータに含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプルデータに含まれない少なくとも１つのターゲット対象のカテゴリが含まれることを特徴とする
    請求項１８に記載のデータ分類モデルの訓練方法。
  22. 前記データ分類モデルの訓練方法は、
    前記ラベル付きサンプルデータ集合から、該ラベル付きサンプルデータと同一の元サンプルデータに対応するターゲットラベル付きサンプルデータを決定し、該ラベル付きサンプルデータ及び前記ターゲットラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式、
    又は、
    該ラベル付きサンプルデータに対応する元サンプルデータの第１補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプルデータに含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、
    該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を取得することを更に含むことを特徴とする
    請求項２１に記載のデータ分類モデルの訓練方法。
  23. 前記データ分類モデルの訓練方法は、
    該ラベル付きサンプルデータに対応する元サンプルデータの第２補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を取得することを更に含み、
    前記第２補助分類ラベルは、前記元サンプルデータに含まれないターゲット対象のカテゴリを示すためのものであることを特徴とする
    請求項２１～２２のうちいずれか一項に記載のデータ分類モデルの訓練方法。
  24. 前記該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定することを含むことを特徴とする
    請求項２１～２３のうちいずれか一項に記載のデータ分類モデルの訓練方法。
  25. 前記該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定することは、
    いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプルデータであることを示し、及び／又は、
    該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、
    該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、
    該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定することを含むことを特徴とする
    請求項２１～２４のうちいずれか一項に記載のデータ分類モデルの訓練方法。
  26. データ処理方法であって、
    事前訓練されたデータ分類モデルに基づいて、データ処理タスクを実行することを含み、
    前記データ分類モデルは、請求項１４～２５のうちいずれか一項に記載のデータ分類モデルの訓練方法で訓練されたものであり、
    前記データ処理タスクは、データ分類、データセグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含み、
    前記データは、画像データ及びテキストデータのうちのいずれか１つを含む、データ処理方法。
  27. 画像分類モデル訓練装置であって、
    ラベル付きサンプル画像集合を取得するように構成される第１取得モジュールであって、前記ラベル付きサンプル画像集合に複数のラベル付きサンプル画像及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、第１取得モジュールと、
    前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定するように構成される第１頻度情報決定モジュールと、
    前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、画像分類モデルの損失情報を決定するように構成される第１損失情報決定モジュールと、
    前記損失情報に基づいて、前記画像分類モデルを訓練するように構成される第１訓練モジュールであって、前記画像分類モデルは、認識されるべき画像のカテゴリを決定するためのものである、第１訓練モジュールと、を備える、画像分類モデル訓練装置。
  28. 前記第１頻度情報決定モジュールは、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、
    各カテゴリに対して、該カテゴリに属するラベル付きサンプル画像及び各ラベル付きサンプル画像に対応する元サンプル画像に基づいて、該カテゴリに対応する元サンプル画像の数を決定することであって、各元サンプル画像は、１つ又は複数のラベル付きサンプル画像に対応する、ことと、
    前記元サンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定することと、を実行するように構成されることを特徴とする
    請求項２７に記載の画像分類モデル訓練装置。
  29. 前記第１頻度情報決定モジュールは、前記ラベル付きサンプル画像及び各前記ラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、
    各カテゴリに対して、前記ラベル付きサンプル画像集合におけるラベル付きサンプル画像の総数及び該カテゴリに属するラベル付きサンプル画像の数に基づいて、該カテゴリに対応する頻度情報を決定し、又は、該カテゴリに属するラベル付きサンプル画像の数を該カテゴリに対応する頻度情報とするように構成されることを特徴とする
    請求項２７に記載の画像分類モデル訓練装置。
  30. 前記第１損失情報決定モジュールは、前記複数のラベル付きサンプル画像にそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定する場合、
    各ラベル付きサンプル画像に対して、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得るように構成されることを特徴とする
    請求項２７～２９のうちいずれか一項に記載の画像分類モデル訓練装置。
  31. 前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプル画像に対して分類を行うときの損失情報を得る場合、
    該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定し、
    所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプル画像に対して分類を行う場合の損失情報を得るように構成されることを特徴とする
    請求項３０に記載の画像分類モデル訓練装置。
  32. 前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成されることを特徴とする
    請求項３１に記載の画像分類モデル訓練装置。
  33. 前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成されることを特徴とする
    請求項３１～３２のうちいずれか一項に記載の画像分類モデル訓練装置。
  34. 前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定するように構成され、
    ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプル画像に含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプル画像に含まれない少なくとも１つのターゲット対象のカテゴリが含まれることを特徴とする
    請求項３１に記載の画像分類モデル訓練装置。
  35. 前記第１損失情報決定モジュールは、
    前記ラベル付きサンプル画像集合から、該ラベル付きサンプル画像と同一の元サンプル画像に対応するターゲットラベル付きサンプル画像を決定し、該ラベル付きサンプル画像及び前記ターゲットラベル付きサンプル画像にそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式、
    又は、
    該ラベル付きサンプル画像に対応する元サンプル画像の第１補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプル画像に含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、
    該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合を取得するように構成されることを特徴とする
    請求項３４に記載の画像分類モデル訓練装置。
  36. 前記第１損失情報決定モジュールは、
    該ラベル付きサンプル画像に対応する元サンプル画像の第２補助分類ラベルに基づいて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプル画像に対応する元サンプル画像のネガティブサンプルカテゴリ集合を取得するように構成され、
    前記第２補助分類ラベルは、前記元サンプル画像に含まれないターゲット対象のカテゴリを示すためのものであることを特徴とする
    請求項３４～３５のうちいずれか一項に記載の画像分類モデル訓練装置。
  37. 前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が非背景のラベル付きサンプル画像であることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成されることを特徴とする
    請求項３４～３６のうちいずれか一項に記載の画像分類モデル訓練装置。
  38. 前記第１損失情報決定モジュールは、該ラベル付きサンプル画像の分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプル画像に対応する元サンプル画像のポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプル画像に対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、該ラベル付きサンプル画像の分類ラベルが、該ラベル付きサンプル画像が背景のラベル付きサンプル画像であることを示し、及び／又は、
    該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、
    該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、
    該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成されることを特徴とする
    請求項３４～３６のうちいずれか一項に記載の画像分類モデル訓練装置。
  39. 画像処理装置であって、
    事前訓練された画像分類モデルに基づいて、画像処理タスクを実行するように構成される第１処理モジュールを備え、
    前記画像分類モデルは、請求項２７～３８のうちいずれか一項に記載の画像分類モデルの訓練方法で訓練されたものであり、
    前記画像処理タスクは、画像分類、対象検出、キーポイント検出、画像セグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含む、画像処理装置。
  40. データ分類モデル訓練装置であって、
    ラベル付きサンプルデータ集合を取得するように構成される第２取得モジュールであって、前記ラベル付きサンプルデータ集合に複数のラベル付きサンプルデータ及び各ラベル付きサンプル画像にそれぞれ対応する分類ラベルが含まれる、第２取得モジュールと、
    前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリにそれぞれ対応する頻度情報を決定するように構成される第２頻度情報決定モジュールと、
    前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、データ分類モデルの損失情報を決定するように構成される第２損失情報決定モジュールと、
    前記損失情報に基づいて、前記データ分類モデルを訓練するように構成される第２訓練モジュールであって、前記データ分類モデルは、認識されるべきデータのカテゴリを決定するためのものである、第２訓練モジュールと、を備える、データ分類モデル訓練装置。
  41. 前記第２頻度情報決定モジュールは、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、
    各カテゴリに対して、該カテゴリに属するラベル付きサンプルデータ及び各ラベル付きサンプルデータに対応する元サンプルデータに基づいて、該カテゴリに対応する元サンプルデータの数を決定することであって、各元サンプルデータは、１つ又は複数のラベル付きサンプルデータに対応する、ことと、
    前記元サンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定することと、を実行するように構成されることを特徴とする
    請求項４０に記載のデータ分類モデル訓練装置。
  42. 前記第２頻度情報決定モジュールは、前記ラベル付きサンプルデータ及び各前記ラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、所定の複数のカテゴリのうちの各カテゴリに対応する頻度情報を決定する場合、
    各カテゴリに対して、前記ラベル付きサンプルデータ集合におけるラベル付きサンプルデータの総数及び該カテゴリに属するラベル付きサンプルデータの数に基づいて、該カテゴリに対応する頻度情報を決定し、又は、該カテゴリに属するラベル付きサンプルデータの数を該カテゴリに対応する頻度情報とするように構成されることを特徴とする
    請求項４０に記載のデータ分類モデル訓練装置。
  43. 前記第２損失情報決定モジュールは、前記複数のラベル付きサンプルデータにそれぞれ対応する分類ラベル及び各カテゴリにそれぞれ対応する前記頻度情報に基づいて、分類モデルの損失情報を決定する場合、
    各ラベル付きサンプルデータに対して、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得るように構成されることを特徴とする
    請求項４０～４２のうちいずれか一項に記載のデータ分類モデル訓練装置。
  44. 前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、分類モデルを用いて該ラベル付きサンプルデータに対して分類を行うときの損失情報を得る場合、
    該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定し、
    所定の複数のカテゴリのうちの各カテゴリに対応する損失重みに基づいて、前記分類モデルを用いて該ラベル付きサンプルデータに対して分類を行う場合の損失情報を得るように構成されることを特徴とする
    請求項４２に記載のデータ分類モデル訓練装置。
  45. 前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、且つ該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成されることを特徴とする
    請求項４４に記載のデータ分類モデル訓練装置。
  46. 前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプル画像であることを示し、及び／又は、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成されることを特徴とする
    請求項４３～４５のうちいずれか一項に記載のデータ分類モデル訓練装置。
  47. 前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル及び各カテゴリにそれぞれ対応する頻度情報に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定するように構成され、
    ここで、前記ポジティブサンプルカテゴリ集合に、該元サンプルデータに含まれる少なくとも１つのターゲット対象のカテゴリが含まれ、前記ネガティブサンプルカテゴリ集合に、該元サンプルデータに含まれない少なくとも１つのターゲット対象のカテゴリが含まれることを特徴とする
    請求項４４に記載のデータ分類モデル訓練装置。
  48. 前記第２損失情報決定モジュールは、
    前記ラベル付きサンプルデータ集合から、該ラベル付きサンプルデータと同一の元サンプルデータに対応するターゲットラベル付きサンプルデータを決定し、該ラベル付きサンプルデータ及び前記ターゲットラベル付きサンプルデータにそれぞれ対応する分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式、
    又は、
    該ラベル付きサンプルデータに対応する元サンプルデータの第１補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を決定する方式であって、前記第１補助分類ラベルは、前記元サンプルデータに含まれるターゲット対象のカテゴリを示すためのものである、方式を用いて、
    該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合を取得するように構成されることを特徴とする
    請求項４７に記載のデータ分類モデル訓練装置。
  49. 前記第２損失情報決定モジュールは、
    該ラベル付きサンプルデータに対応する元サンプルデータの第２補助分類ラベルに基づいて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を決定する方式を用いて、該ラベル付きサンプルデータに対応する元サンプルデータのネガティブサンプルカテゴリ集合を取得するように構成され、
    前記第２補助分類ラベルは、前記元サンプルデータに含まれないターゲット対象のカテゴリを示すためのものであることを特徴とする
    請求項４７～４８のうちいずれか一項に記載のデータ分類モデル訓練装置。
  50. 前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、
    該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが非背景のラベル付きサンプルデータであることを示し、該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合及び前記ネガティブサンプルカテゴリ集合に属せず、該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値未満であると決定した場合、該いずれか１つのカテゴリに対応する損失重みを第１所定の損失重み値として決定するように構成されることを特徴とする
    請求項４７～４９のうちいずれか一項に記載のデータ分類モデル訓練装置。
  51. 前記第２損失情報決定モジュールは、該ラベル付きサンプルデータの分類ラベル、各カテゴリにそれぞれ対応する頻度情報、該ラベル付きサンプルデータに対応する元サンプルデータのポジティブサンプルカテゴリ集合及びネガティブサンプルカテゴリ集合に基づいて、該ラベル付きサンプルデータに対して、所定の複数のカテゴリのうちの各カテゴリに対応する損失重みを決定する場合、
    いずれか１つのカテゴリに対して、該ラベル付きサンプルデータの分類ラベルが、該ラベル付きサンプルデータが背景のラベル付きサンプルデータであることを示し、及び／又は、
    該いずれか１つのカテゴリが前記ポジティブサンプルカテゴリ集合又は前記ネガティブサンプルカテゴリ集合に属し、及び／又は、
    該いずれか１つのカテゴリに対応する頻度情報が所定の頻度閾値以上であると決定した場合、
    該いずれか１つのカテゴリに対応する損失重みを第２所定の損失重み値として決定するように構成されることを特徴とする
    請求項４７～５１のうちいずれか一項に記載のデータ分類モデル訓練装置。
  52. データ処理装置であって、
    事前訓練されたデータ分類モデルに基づいて、データ処理タスクを実行するように構成される第２処理モジュールを備え、
    前記データ分類モデルは、請求項１４～２５のうちいずれか一項に記載のデータ分類モデルの訓練方法で訓練されたものであり、
    前記データ処理タスクは、データ分類、データセグメンテーション、インスタンスセグメンテーションのうちの１つ又は複数を含み、
    前記データは、画像データ及びテキストデータのうちのいずれか１つを含む、データ処理装置。
  53. コンピュータ機器であって、前記コンピュータ機器は、プロセッサと、メモリと、バスと、を備え、前記メモリに、前記プロセッサによる実行可能な機器可読命令が記憶されており、コンピュータ機器が運転される場合、前記プロセッサと前記メモリとは、バスを介して通信し、前記プロセッサが前記機器可読命令を実行して、請求項１～１２のうちいずれか一項に記載の画像分類モデルの訓練方法のステップを実行し、又は、請求項１３に記載の画像処理方法のステップを実行し、又は、請求項１４～２５のうちいずれか一項に記載のデータ分類モデルの訓練方法のステップを実行し、又は、請求項２６に記載のデータ処理方法のステップを実行する、コンピュータ機器。
  54. コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行される場合、前記プロセッサに、請求項１～１２のうちいずれか一項に記載の画像分類モデルの訓練方法のステップを実行させ、又は、請求項１３に記載の画像処理方法のステップを実行させ、又は、請求項１４～２５のうちいずれか一項に記載のデータ分類モデルの訓練方法のステップを実行させ、又は、請求項２６に記載のデータ処理方法のステップを実行させる、コンピュータ可読記憶媒体。
  55. コンピュータプログラムであって、該コンピュータプログラムがプロセッサにより実行される場合、前記プロセッサに、請求項１～１２のうちいずれか一項に記載の画像分類モデルの訓練方法のステップを実行させ、又は、請求項１３に記載の画像処理方法のステップを実行させ、又は、請求項１４～２５のうちいずれか一項に記載のデータ分類モデルの訓練方法のステップを実行させ、又は、請求項２６に記載のデータ処理方法のステップを実行させる、コンピュータプログラム。
JP2021522979A 2019-11-11 2019-12-23 画像分類モデルの訓練方法、画像処理方法及び装置 Active JP7266674B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911097069.X 2019-11-11
CN201911097069.XA CN110837869A (zh) 2019-11-11 2019-11-11 图像分类模型训练方法、图像处理方法及装置
PCT/CN2019/127394 WO2021093096A1 (zh) 2019-11-11 2019-12-23 图像分类模型训练方法、图像处理方法及装置

Publications (2)

Publication Number Publication Date
JP2022512065A true JP2022512065A (ja) 2022-02-02
JP7266674B2 JP7266674B2 (ja) 2023-04-28

Family

ID=69574764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522979A Active JP7266674B2 (ja) 2019-11-11 2019-12-23 画像分類モデルの訓練方法、画像処理方法及び装置

Country Status (5)

Country Link
JP (1) JP7266674B2 (ja)
KR (1) KR20210062687A (ja)
CN (1) CN110837869A (ja)
TW (1) TWI752455B (ja)
WO (1) WO2021093096A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429448B (zh) * 2020-04-09 2023-07-18 常州奥创医疗科技有限公司 一种基于弱分割信息的生物荧光目标计数方法
CN111783635A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像标注方法、装置、设备以及存储介质
TWI812888B (zh) 2020-10-14 2023-08-21 財團法人工業技術研究院 影像辨識方法及影像辨識系統
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112651938B (zh) * 2020-12-24 2023-12-19 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
TWI771010B (zh) * 2021-05-20 2022-07-11 鴻海精密工業股份有限公司 缺陷檢測方法、電腦裝置及儲存介質
CN113222043B (zh) * 2021-05-25 2024-02-02 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN113947571A (zh) * 2021-09-30 2022-01-18 北京百度网讯科技有限公司 车辆损伤检测模型的训练方法及车辆损伤识别方法
CN114331379B (zh) * 2021-12-31 2023-08-15 北京百度网讯科技有限公司 用于输出待办任务的方法、模型训练方法和装置
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162456A (ja) * 2016-03-11 2017-09-14 株式会社東芝 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
WO2019150813A1 (ja) * 2018-01-30 2019-08-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655805B2 (en) * 2010-08-30 2014-02-18 International Business Machines Corporation Method for classification of objects in a graph data stream
CN103366013B (zh) * 2013-07-29 2016-03-02 腾讯科技（深圳）有限公司 一种数据处理的方法及服务器
CN106021364B (zh) * 2016-05-10 2017-12-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
CN106096538B (zh) * 2016-06-08 2019-08-23 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN107609461A (zh) * 2017-07-19 2018-01-19 阿里巴巴集团控股有限公司 模型的训练方法、数据相似度的确定方法、装置及设备
CN108229541B (zh) * 2017-12-11 2021-09-28 上海海事大学 一种基于k最近邻算法的岸桥中拉杆应力数据分类方法
CN108229555B (zh) * 2017-12-29 2019-10-25 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162456A (ja) * 2016-03-11 2017-09-14 株式会社東芝 道路シーンのセマンティックセグメンテーションのための制約付きデコンボリューションネットワークのトレーニング
WO2019150813A1 (ja) * 2018-01-30 2019-08-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINHUI LI, ET AL.: "Traffic Scene Segmentation Based on RGB-D Image and Deep Learning", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. Volume: 19, Issue: 5, JPN6022025034, 10 August 2017 (2017-08-10), ISSN: 0004948246 *
平松 侑樹，外１名: "Ａｔｔｅｎｔｉｏｎ ｍｏｄｕｌｅを用いた細胞画像のセグメンテーション", 電子情報通信学会技術研究報告 ＶＯＬ．１１８ ＮＯ．４１２ ［ＯＮＬＩＮＥ］, vol. 第118巻, JPN6022025033, 15 January 2019 (2019-01-15), JP, ISSN: 0004948245 *

Also Published As

Publication number Publication date
TW202119288A (zh) 2021-05-16
TWI752455B (zh) 2022-01-11
CN110837869A (zh) 2020-02-25
JP7266674B2 (ja) 2023-04-28
WO2021093096A1 (zh) 2021-05-20
KR20210062687A (ko) 2021-05-31

Similar Documents

Publication Publication Date Title
JP2022512065A (ja) 画像分類モデルの訓練方法、画像処理方法及び装置
CN105468742B (zh) 恶意订单识别方法及装置
US10262272B2 (en) Active machine learning
CN109872162B (zh) 一种处理用户投诉信息的风控分类识别方法及系统
CN112989035B (zh) 基于文本分类识别用户意图的方法、装置及存储介质
WO2021073390A1 (zh) 数据筛选方法、装置、设备及计算机可读存储介质
CN108038208B (zh) 上下文信息识别模型的训练方法、装置和存储介质
CN111027707B (zh) 模型的优化方法、装置及电子设备
US20210390370A1 (en) Data processing method and apparatus, storage medium and electronic device
CN111831826B (zh) 跨领域的文本分类模型的训练方法、分类方法以及装置
JP7364709B2 (ja) 機械学習および自然言語処理を利用したワクチン接種データの抽出および確認
WO2020143301A1 (zh) 一种训练样本有效性检测方法、计算机设备及计算机非易失性存储介质
CN107291774B (zh) 错误样本识别方法和装置
CN111275205A (zh) 虚拟样本的生成方法、终端设备及存储介质
CN112988963A (zh) 基于多流程节点的用户意图预测方法、装置、设备及介质
WO2021174814A1 (zh) 众包任务的答案验证方法、装置、计算机设备及存储介质
CN111813941A (zh) 结合rpa和ai的文本分类方法、装置、设备及介质
CN113255368B (zh) 针对文本数据进行情感分析的方法、装置及相关设备
CN113434630B (zh) 客服服务评估方法、装置、终端设备及介质
CN111767710B (zh) 印尼语的情感分类方法、装置、设备及介质
CN113590754A (zh) 应用于社群互动的大数据分析方法及大数据分析服务器
CN113312445A (zh) 数据处理方法、模型构建方法、分类方法及计算设备
CN110704619B (zh) 文本分类方法、装置及电子设备
WO2020088338A1 (zh) 一种建立识别模型的方法及装置
CN111612023A (zh) 一种分类模型构建方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A603 Late request for extension of time limit during examination

Free format text: JAPANESE INTERMEDIATE CODE: A603

Effective date: 20221117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230307

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230307

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230315

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230418

R150 Certificate of patent or registration of utility model

Ref document number: 7266674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150