JP2021532502A - ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体 - Google Patents

ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体 Download PDF

Info

Publication number
JP2021532502A
JP2021532502A JP2021506734A JP2021506734A JP2021532502A JP 2021532502 A JP2021532502 A JP 2021532502A JP 2021506734 A JP2021506734 A JP 2021506734A JP 2021506734 A JP2021506734 A JP 2021506734A JP 2021532502 A JP2021532502 A JP 2021532502A
Authority
JP
Japan
Prior art keywords
training
sample
neural network
network model
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021506734A
Other languages
English (en)
Other versions
JP7167306B2 (ja
Inventor
晏 郭
彬 呂
伝峰 呂
国▲トン▼ 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of JP2021532502A publication Critical patent/JP2021532502A/ja
Application granted granted Critical
Publication of JP7167306B2 publication Critical patent/JP7167306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体であって、適切性を有する訓練サンプルを選択し、モデル訓練の適切性および訓練効率を向上させる。方法の部分は、訓練されたディープニューラルネットワークモデルに基づいて、全ての参照サンプルのそれぞれについてのモデル予測値を取得し、各参照サンプルのモデル予測値と各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算し、参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用することと、比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用することと、増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得し、かつ、それを訓練セット中の訓練サンプルとして訓練されたディープニューラルネットワークモデルを、検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することと、を含む。【選択図】図２

Description

本願は、２０１９年１月４日に提出された、出願番号が２０１９１０００８３１７.２、名称が「ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体」の中国発明特許出願に基づき、その優先権を主張している。
本願はニューラルネットワークの分野に関し、特に、ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体に関する。
現在、深層学習アルゴリズムは、コンピュータビジョン応用の開発において重要な位置を占めているが、訓練データに一定の要件を有しており、訓練データ量が不足している場合には、低頻度のハードサンプル（ｈａｒｄ ｅｘａｍｐｌｅ）に対しては、フィッティング効果が乏しいという問題がある。そこで、従来では、ハードサンプルマイニングのための訓練方法として、低頻度でフィッティングしないサンプルを訓練セットに保持し、高頻度で容易に識別可能なサンプルを除去することで、訓練セットを簡素化し、訓練の適切性を改善するものが提案されているが、本発明者らは、上記従来の解決手段では、一方では、訓練セットに含まれる訓練データが少なくなり、モデル訓練に資さず、他方では、訓練データが増加したり、補完されたりしても、モデル訓練における訓練データの適切性の強化を実現することが困難であり、モデル訓練プロセスで不足しているサンプル、すなわちハードサンプルを直接解析することができず、結果として、上記従来の訓練方法の適切性や訓練効率が低下することを認識していた。
本願は、ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体を提供し、適切性を有する訓練サンプルを選択し、モデル訓練の適切性および訓練効率を向上させる。
ニューラルネットワークモデル訓練方法であって、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得することと、前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得することと、事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用することと、前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算することと、前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用することと、前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得することと、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することと、を含む。
ニューラルネットワークモデル訓練装置であって、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するための訓練モジュールと、前記訓練モジュールの訓練によって得られた前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するための検証モジュールと、事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するための第１の計算モジュールと、全ての前記参照サンプル中の、前記第１の計算モジュールによって計算された差異測定指標が所定の閾値以下である目標参照サンプルを比較サンプルとして決定するための第１の決定モジュールと、前記訓練セット中の訓練サンプルと前記第１の決定モジュールによって決定された前記各比較サンプルとの間の類似度を計算するための第２の計算モジュールと、前記第２の計算モジュールによって計算された前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして決定するための第２の決定モジュールと、前記第２の決定モジュールによって決定された前記増幅対象となるサンプルに対してデータ増幅を実行して、目標訓練サンプルを取得するための増幅モジュールと、を含み、ここで、前記訓練モジュールは、前記増幅サンプルの増幅によって得られた前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで再訓練するために使用される。
メモリ、プロセッサ、および前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータ可読命令からなるコンピュータ機器であって、前記プロセッサは、前記コンピュータ可読命令を実行すると、上記ニューラルネットワークモデル訓練方法に対応するステップを実現する。
コンピュータ可読命令を記憶する１つ以上の不揮発性可読記憶媒体であって、前記コンピュータ可読命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに上記ニューラルネットワークモデルトレーニング方法に対応するステップを実行させる。
本願の１つ以上の実施例の詳細は、以下の図面および説明に示され、本願の他の特徴および利点は、明細書、図面、および特許請求の範囲から明らかになる。
本願の実施例における技術的解決手段をより明確に説明するために、以下、本願の実施例の説明で使用される図面を簡単に紹介し、当然のことながら、以下の説明における図面は、本願のいくつかの実施例に過ぎず、当業者であれば、創造的労力を要することなく、これらの図面に基づいて他の図面を得ることができる。
本願におけるニューラルネットワークモデル訓練方法のアーキテクチャを示す模式図である。 本願におけるニューラルネットワークモデル訓練方法の実施例の流れを示す模式図である。 本願におけるニューラルネットワークモデル訓練方法の実施例の流れを示す模式図である。 本願におけるニューラルネットワークモデル訓練方法の実施例の流れを示す模式図である。 本願におけるニューラルネットワークモデル訓練方法の実施例の流れを示す模式図である。 本願におけるニューラルネットワークモデル訓練方法の実施例の流れを示す模式図である。 本願におけるニューラルネットワークモデル訓練装置の一実施例の構造を示す模式図である。 本願におけるコンピュータ機器の一構造を示す模式図である。
本願の実施例における技術的解決手段は、本願の実施例における図面と併せて以下に明確かつ完全に説明されるが、記載された実施例は、本願の実施例の一部であり、その全てではないことは明らかである。本願の実施例に基づいて、当業者によって創造的労力なしに得られた他の全ての実施例は、本願の実施例の保護の範囲内に属すべきである。
本願は、ニューラルネットワークモデル訓練方法を提供し、図１のようなアーキテクチャ模式図に適用され、ニューラルネットワークモデル訓練装置は、独立したサーバまたは複数のサーバで構成されるサーバクラスタで実装されてもよいし、独立した装置として実装されてもよいし、上記サーバに統合されていてもよいが、ここで限定されない。サーバは、モデル訓練のために使用される訓練セット中の訓練サンプルおよび参照サンプルを取得し、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得することと、前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得することと、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用することと、前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算することと、前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用することと、前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得することと、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することと、ができる。上記の解決手段から分かるように、増幅対象のサンプルデータを適切に選択するので、モデル訓練の訓練サンプルデータを増幅し、しかもテストセットおよび／または検証セット中のサンプルの予測結果がモデル訓練にも関与し、検証セット、テストセットと直接的な相互役割が生成され、結果からモデル訓練のプロセスで欠落しているサンプル、つまりハードサンプルを直接解析し、適切性のある訓練サンプルを選択することで、モデル訓練の適切性および訓練効率を向上させる。以下、本願について詳細に説明する。
図２を参照し、図２は、本願におけるディープニューラルネットワークモデル訓練方法の一実施例の流れを示す模式図であり、以下のステップを含む。
Ｓ１０：訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得する。
訓練セットは、ディープニューラルネットワークモデル訓練の基礎であり、ディープニューラルネットワークモデルは、訓練セット中のデータ、すなわち訓練サンプルをフィッティングする強力な非線形フィッターとして考えられる。従って、訓練セットを準備した後、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得することができる。ここで、説明すべきなのは、上記ディープニューラルネットワークモデルとは、畳み込みニューラルネットワークモデルであってもよいし、リカレントニューラルネットワークモデルであってもよいし、他の種類の畳み込みニューラルネットワークモデルであってもよいが、本願の実施例で限定されない、ということである。また、上記訓練プロセスは、効果的な監督訓練プロセスであり、訓練セット中の訓練サンプルは、所定のラべリングが行われているものである。例示的に、画像分類用のディープニューラルネットワークモデルを訓練するには、訓練サンプルに対して画像分類のためのラべリングを行い、その結果、画像分類、例えば、病変組織の画像分類に使用されるディープニューラルネットワークモデルが訓練される。
具体的には、本願の実施例では、訓練期間（ｅｐｏｃｈ）を事前に決定してもよく、例示的には、１０ｅｐｏｃｈを１回の完全な訓練サイクルとしてもよく、ここで、各ｅｐｏｃｈは、訓練セットの全ての訓練サンプルに基づいてディープニューラルネットワークモデルを１回訓練することを意味し、各１０ｅｐｏｃｈは、訓練セットの全ての訓練サンプルに基づいてディープニューラルネットワークモデルを１０回訓練することを意味する。説明すべきなのは、ｅｐｏｃｈの特定の数は、本願の実施例によって限定されなく、例示的には、８つの期間を１つの完全な訓練サイクルとして使用してもよい、ということである。
Ｓ２０：前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得する。
検証セットとは、本願の実施例では訓練プロセス全体を通してディープニューラルネットワークモデルの有効性を評価するためのサンプルデータを指す。ディープニューラルネットワークモデルがある程度まで訓練されると、ディープニューラルネットワークモデルのオーバーフィットを防ぐために、検証セット中のサンプルデータを用いてディープニューラルネットワークモデルを検証するので、検証セット中のサンプルデータは、モデルの訓練プロセスに間接的に関与しており、それによって、検証結果に基づいて、現時点でのディープニューラルネットワークモデルの訓練状態が、訓練セット外の訓練データに対して有効かどうかを判断する。そして、テストセットは、最終的にディープニューラルネットワークモデルの精度を評価するためのサンプルデータである。
本願の実施例では、上記検証セットおよび／またはテストセットを参照セットとし、検証セットおよび／またはテストセットのサンプルデータを参照セット中の参照サンプルとする。例示的には、１０ｅｐｏｃｈごとに訓練した後、訓練されたディープニューラルネットワークモデルが得られ、この時、前記訓練されたディープニューラルネットワークモデルに基づいて、参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得する。説明すべきなのは、モデル予測値とは、一定の訓練を行った後、参照サンプルを検証することでディープニューラルネットワークモデルによって生成された検証結果を指し、例示的に、当該ディープニューラルネットワークモデルを画像分類に用いる場合、当該モデル予測値を用いて画像分類の精度を特徴付ける、ということである。
Ｓ３０：事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算する。
前記全ての参照サンプルのそれぞれについてのモデル予測値を取得した後、全ての参照サンプルのそれぞれについつのモデル予測値と参照サンプルに対応する真のラべリングとの間の差異測定指標を計算する。
理解できるように、効果的な監督訓練方法として、検証セットまたはテストセットのサンプルデータはいずれも、事前にラべリングされており、つまり、各参照サンプルに対応する真のラべリングが実行され、差異測定指標は、参照サンプルのモデル予測値と当該参照サンプルに対応する真のラべリングとの間の差異程度を特徴付けるために使用される指標である。例示的に、参照サンプルAについて、ディープニューラルネットワークモデルによって予測されたモデル予測値が[０.８.５,０,０.２,０,０]であり、真のラべリングが[１,０,０,０,０]である場合、この２組のデータに基づいて計算し、差異測定指標を取得することができ、こうして、モデル予測値と真のラべリングとの差異の程度が分かる。
一実施形態では、図３に示すように、ステップＳ３０、すなわち、上述した前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するステップでは、以下のステップを含む。
Ｓ３１：前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定する。
理解すべきなのは、前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算する前、本解決手段では、具体的には、訓練されたディープニューラルネットワークモデルの役割に応じて、まず前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定する必要があり、ディープニューラルネットワークモデルの役割とは、当該ディープニューラルネットワークモデルが画像分割や画像分類などに使われている役割を指し、異なるディープニューラルネットワークモデルの役割に応じて適切な差異測定指標の種類が選択される。
一実施例では、図４に示すように、ステップＳ３１、すなわち、上述した前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定するステップでは、以下のステップを含む。
Ｓ３１１：差異測定指標の種類と、ディープニューラルネットワークモデルの役割を指示するためのモデル役割指示文字との間の対応関係とを含む所定指標の対応リストを取得する。
前記モデル役割指示文字は、ディープニューラルネットワークモデルの役割を指示することができ、数字、文字などの手段によってカスタマイズされてもよいが、ここでは限定されない。具体的には、前記差異測定指標の種類は、クロスエントロピー係数、ジャカード係数およびｄｉｃｅ係数を含み、ここで、ディープニューラルネットワークモデルが画像分類に使用されることを指示するためのモデル役割指示文字は、前記クロスエントロピー係数に対応し、ディープニューラルネットワークモデルが画像分割に使用されることを指示するためのモデル役割指示文字は、前記ジャカード係数またはｄｉｃｅ係数に対応する。
Ｓ３１２：前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字を決定する。
Ｓ３１３：前記差異測定指標とモデル役割指示文字との間の対応関係、および前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字に基づいて、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定する。
ステップＳ３１２−Ｓ３１３について、理解できるように、所定指標の対応リストを取得した後、所定指標の対応リストに基づいて前記差異測定指標とモデル役割指示文字との間の対応関係を決定することができるので、前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字に基づいて、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することができる。
Ｓ３２：前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算する。
例として、本願の実施例におけるディープニューラルネットワークモデルに対応するモデル役割が画像分類であると仮定すると、クロスエントロピー係数を各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標として使用することができる。
参照サンプルの真のラべリングの分布をp(x)とし、参照サンプルのモデル予測値をq(x)、とし、すなわち、訓練されたディープニューラルネットワークモデルの予測分布をq(x)とすると、下式に基づいて、真のラべリングとモデル予測値との間のクロスエントロピーH(p,q)を計算することができる。
Figure 2021532502
説明すべきこととして、本願の実施例におけるディープニューラルネットワークモデルに対応するモデル役割が画像分割であると仮定すると、ジャカード係数またはｄｉｃｅ係数に基づいて真のラべリングとモデル予測値との間の差異測定指標を計算することができ、具体的な計算過程はここで詳しく説明しない。
Ｓ４０：前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用する。
理解できるように、ステップＳ３０の後、参照セットの全ての参照サンプルのそれぞれに対応する差異測定指標を取得することができ、本願の実施例では、前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして、その後の訓練サンプルの類似度計算に使用する。そして、この時、得られた比較サンプルは上記のハードサンプルであり、得られた比較サンプルは、１つ以上であってよく、具体的にはディープニューラルネットワークモデルの訓練によって決定されると理解できる。説明すべきなのは、所定の閾値は、プロジェクトの要件または実際の経験によって決められ、ここでは特に限定されなく、例示的に、ディープニューラルネットワークモデルを画像分割用のモデルとする場合、上記所定の閾値を０.７に設定してもよい、ということである。
Ｓ５０：前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算する。
比較サンプルを得た後、前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算する。理解を容易にするために、ここで簡単な例を挙げて説明し、例示的に、3つの比較サンプルと10個の訓練サンプルがあると仮定すると、１０個の訓練サンプルのそれぞれに対する各比較サンプルの類似度、合計３０個の類似度をそれぞれ計算することができる。
一実施例では、図５に示すように、ステップＳ５０、すなわち、上記した前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算するステップは、以下のステップを含む。
Ｓ５１：畳み込みニューラルネットワークに基づいて訓練して得られた特徴抽出モデルである所定特徴抽出モデルに基づいて、前記訓練セットの各訓練サンプルに対して特徴抽出を行って各訓練サンプルの特徴ベクトルを取得する。
Ｓ５２：前記所定特徴抽出モデルに基づいて、前記比較サンプルに対して特徴抽出を行って各比較サンプルの特徴ベクトルを取得する。
Ｓ５３：前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルに基づいて、前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算する。
ステップＳ５１−Ｓ５３について、本願の実施例では、特徴ベクトルに基づいて前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算する。ここで、畳み込みニューラルによる画像特徴ベクトル抽出は、画像類似性アルゴリズムにより、最終的に見つけた画像の有効性が異なり、適切性が高く、モデルの訓練に役立つ。
一実施例では、図６に示すように、ステップＳ５３、すなわち、上述した前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルに基づいて、前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算するステップは、以下のステップを含む。
Ｓ５３１：前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離を計算する。
Ｓ５３２：前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離を前記各訓練サンプルと前記各比較サンプルとの間の類似度として使用する。
ステップＳ５３１−Ｓ５３２について、理解できるように、上述した訓練サンプルと比較サンプルとの間の類似度をコサイン距離で特徴付けることに加えて、各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルから得られるユークリッド距離、マンハッタン距離などを計算して、上記類似度を特徴付けてもよく、本願の実施例では特に限定されない。ここで、コサイン類似度計算方法を例に挙げて、訓練サンプルに対応する特徴ベクトルをxi,i∈(1,2,…,n)、比較サンプルに対応する特徴ベクトルをyi,i∈(1,2,…,n)と仮定すれば、ここで、nは正整数であり、訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離は：
Figure 2021532502
である。
Ｓ６０：前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用する。
前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算した後、前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用する。ここで、説明すべきなのは、上記所定の増幅条件は、実際の応用場面によって調整され得る、ということである。例示的に、訓練セット合中の訓練サンプルと前記比較サンプルとの間の類似度が上位３位にランクされている場合には、上位３位にランクされた前記訓練サンプルが上記所定の増幅条件を満たす。例として、比較サンプル１と比較サンプル２が存在する場合、比較サンプル１と訓練セット中の各訓練サンプルとの間の類似度を計算し、類似度が上位３位にランクされた訓練サンプルを増幅対象となるサンプルとし、同様に、比較サンプル２と訓練セット中の各訓練サンプルとの間の類似度を計算し、類似度が上位３位にランクされた訓練サンプルを増幅対象となるサンプルとし、他の比較サンプルで増幅対象となるサンプルを決定する方法は同様であり、それによって各比較サンプルで決定された増幅対象となるサンプルを取得することができる。理解できるように、上記得られた増幅対象となるサンプルは、比較サンプルと最も類似しているサンプルである。
ここでは、異なる応用場面に応じて、要件を満たす最高の全般的類似度と最高の局所的類似度を見つけることができ、プロセス全体では、人間の観察と手動的なサンプルの選択を必要とせず、効率的なスクリーニングメカニズムであることがわかる。
Ｓ７０：前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得する。
前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして取得した後、前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得する。説明すべきなのは、本願の実施例では、従来の画像増幅方法を使用して、決定された増幅対象となるサンプルに対して、例示的に、２倍のデータ増幅（例えば回転、平行移動、拡大縮小など）などにより一括して増幅することができ、増幅されたサンプルは、すなわち目標訓練サンプルである、ということである。ここでは、データの総増加量を減らし、少量のデータのみを増加させることで、モデル訓練効率を向上させることに役立つ。
Ｓ８０：前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練する。
増幅されたサンプル、すなわち目標訓練サンプルを取得した後、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練する。つまり、増幅された目標訓練サンプルを取得した後、目標訓練サンプルを再び訓練セットとして、検証セットのサンプルデータでディープニューラルネットワークモデルを訓練し、繰り返して、新しい訓練を開始し、このような操作に基づいて、モデル予測の結果から遡って最適化し、予測結果を改善するという目的を達成することで、モデルの予測性能を向上させ、モデルの訓練効率を向上させる。
一実施形態では、上記目標訓練サンプルを一定の割合で訓練セットの検証セットに割り当て、例示的に、上記割当結果として、訓練セット中のサンプルと検証セット中のサンプルの割合比率を約５：１に保持し、または他の割当比率にし、ここでは限定されない。
一実施形態では、上述した前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することは、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのそれぞれに対応する差異測定指標が前記所定の閾値以下になるまで訓練することを含む。これに加えて、モデルの訓練反復回数が予め定義された上限に達しているなど、他の所定訓練終了条件が存在し得るが、ここでは特に限定されない。
理解すべきなのは、上記実施例における各ステップの番号は、実行順序を意味するものではなく、各プロセスの実行順序は、その機能や固有の論理によって決定されるものであり、本願の実施例の実施プロセスを何ら制限するものではない。
一実施例では、ニューラルネットワークモデル訓練装置を提供し、当該ニューラルネットワークモデル訓練装置は上記実施例におけるニューラルネットワークモデル訓練方法と一対一で対応する。図７に示すように、当該ニューラルネットワークモデル訓練装置１０は、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するための訓練モジュール１０１と、前記訓練モジュール１０１の訓練によって得られた前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するための検証モジュール１０２と、検証モジュール１０２の検証によって得られた、事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するための第１の計算モジュールと１０３と、全ての前記参照サンプル中の、前記第１の計算モジュール１０３によって計算された差異測定指標が所定の閾値以下である目標参照サンプルを比較サンプルとして決定するための第１の決定モジュール１０４と、前記訓練セット中の訓練サンプルと前記第１の決定モジュール１０４によって決定された前記各比較サンプルとの間の類似度を計算するための第２の計算モジュール１０５と、前記第２の計算モジュール１０５によって計算された前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして決定するための第２の決定モジュール１０６と、前記第２の決定モジュール１０６によって決定された前記増幅対象となるサンプルに対してデータ増幅を実行して、目標訓練サンプルを取得するための増幅モジュール１０７と、を含み、ここで、前記訓練モジュール１０１は、前記増幅サンプルの増幅によって得られた前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで再訓練するために使用される。
一実施例では、前記訓練モジュール１０１は、上述した前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練するために使用され、具体的には、前記訓練モジュール１０１は、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのそれぞれに対応する差異測定指標が前記所定の閾値以下になるまで訓練するために使用される。
一実施例では、第１の計算モジュール１０３は、具体的には、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、に使用される。
一実施例では、第１の計算モジュール１０３は、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定するために使用されることについて、それは、具体的には、第１の計算モジュール１０３は、差異測定指標の種類と、ディープニューラルネットワークモデルの役割を指示するためのモデル役割指示文字との間の対応関係とを含む所定指標の対応リストを取得することと、前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字を決定することと、前記差異測定指標とモデル役割指示文字との間の対応関係、および前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字に基づいて、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、に使用されるということを含む。
一実施例では、前記差異測定指標の種類は、クロスエントロピー係数、ジャカード係数およびｄｉｃｅ係数を含み、ここで、ディープニューラルネットワークモデルが画像分類に使用されることを指示するためのモデル役割指示文字は、前記クロスエントロピー係数に対応し、ディープニューラルネットワークモデルが画像分割に使用されることを指示するためのモデル役割指示文字は、前記ジャカード係数またはｄｉｃｅ係数に対応する。
一実施例では、第２の計算モジュール１０５は、具体的には、畳み込みニューラルネットワークに基づいて訓練して得られた特徴抽出モデルである所定特徴抽出モデルに基づいて、前記訓練セットの各訓練サンプルに対して特徴抽出を行って各訓練サンプルの特徴ベクトルを取得することと、前記所定特徴抽出モデルに基づいて、前記比較サンプルに対して特徴抽出を行って各比較サンプルの特徴ベクトルを取得することと、前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルに基づいて、前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算することと、に使用される。
一実施例では、第２の計算モジュール１０５は、前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルに基づいて、前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算するために使用されることについて、それは、
第２の計算モジュール１０５は、前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離を計算することと、前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離を前記各訓練サンプルと前記各比較サンプルとの間の類似度として使用することと、に使用されるということを含む。
ニューラルネットワーク訓練装置の具体的な制限は、上記のニューラルネットワーク訓練装置方法の制限を参照し、ここでは繰り返さない。上記ニューラルネットワーク訓練装置における各モジュールは、その全部または一部をソフトウェア、ハードウェアおよびそれらの組み合わせによって実装することができる。上記各モジュールは、ハードウェアの形態でコンピュータ機器内のプロセッサに埋め込まれたり、それから独立したりしてもよいし、コンピュータ機器内のメモリにソフトウェアの形態で記憶されていてもよく、これにより、プロセッサによって呼び出されて上記各モジュールに対応する操作を実行できるようになる。
一実施例では、コンピュータ機器を提供し、当該コンピュータ機器はサーバであってもよく、その内部構造図を図８に示す。当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェースおよびデータベースを含む。ここで、当該コンピュータ機器のプロセッサは、計算機能および制御機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体、内部メモリを含む。当該不揮発性記憶媒体には、オペレーティングシステム、コンピュータプログラムおよびデータベースが記憶されている。当該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステムおよびコンピュータプログラムを実行するための環境を提供する。当該コンピュータ機器のデータベースは、訓練サンプル、参照サンプルなどを一時的に記憶するために使用される。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、ニューラルネットワーク訓練方法を実現する。
一実施例では、メモリ、プロセッサ、およびメモリに記憶され、プロセッサ上で実行可能なコンピュータ可読命令からなるコンピュータ機器を提供し、プロセッサは、コンピュータ可読命令を実行すると、以下のステップ、すなわち、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するステップと、前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するステップと、事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するステップと、前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用するステップと、前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算するステップと、前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用するステップと、前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得するステップと、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練するステップと、を実現する。
一実施例では、コンピュータ可読命令が記憶されている１つ以上の不揮発性可読記憶媒体を提供し、当該不揮発性可読記憶媒体にはコンピュータ可読命令が記憶され、当該コンピュータ可読命令が１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、以下のステップ、すなわち、訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するステップと、前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するステップと、事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するステップと、前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用するステップと、前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算するステップと、前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用するステップと、前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得するステップと、前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練するステップと、を実現させる。
当業者であれば、コンピュータプログラムによって関連するハードウェアに、上記実施例の方法における流れの全部または一部を実現させることが可能であることが理解でき、前記コンピュータプログラムは、不揮発性のコンピュータ読み取り可能な記憶媒体に記憶されてもよく、このコンピュータプログラムは、実行されると、上記各方法の実施例の流れを含んでもよい。ここで、本願によって提供される各実施例で使用されるメモリ、記憶、データベース、または他の媒体への参照はいずれも、不揮発性および／または揮発性メモリを含んでもよい。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、またはフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含んでもよい。限定ではない説明として、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＤＲＡＭ）、同期型ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの様々な形態で得られる。
当業者にとって明確に理解されるように、説明の便宜性および簡潔さのために、上記の各機能ユニットおよびモジュールの分割のみが例示されており、実際の応用では、上記の機能は、必要に応じて異なる機能ユニットおよびモジュールによって実行されるように割り当てることができ、すなわち、前記装置の内部構造が、前記の機能の全部または一部を実行するために、異なる機能ユニットまたはモジュールに分割されている。
上述した実施例は、本願の技術的解決手段を説明するためのものであり、これらを限定するためのものではない。前記実施例を参照しながら本願の実施例を詳細に説明したが、当業者であれば、前記各実施例に記載された技術的解決手段を修正し、またはそれらの技術特徴の一部を等価的に置き換えることができることを理解すべきである。これらの修正や置き換えは、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の要旨および範囲から逸脱させるものではなく、本出願の保護の範囲に含まれるものとする。

Claims (20)

  1. 訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得することと、
    前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得することと、
    事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、
    前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用することと、
    前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算することと、
    前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用することと、
    前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得することと、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することと、を含むことを特徴とするニューラルネットワークモデル訓練方法。
  2. 上述した前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することは、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セットの全ての検証サンプルのそれぞれに対応する差異測定指標が前記所定の閾値以下になるまで訓練すること、を含むことを特徴とする請求項１に記載のニューラルネットワークモデル訓練方法。
  3. 上述した前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することは、
    前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、
    前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、を含むことを特徴とする請求項１または２に記載のニューラルネットワークモデル訓練方法。
  4. 上述した前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することは、
    差異測定指標の種類と、ディープニューラルネットワークモデルの役割を指示するためのモデル役割指示文字との間の対応関係とを含む所定指標の対応リストを取得することと、
    前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字を決定することと、
    前記差異測定指標とモデル役割指示文字との間の対応関係、および前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字に基づいて、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、を含むことを特徴とする請求項３に記載のニューラルネットワークモデル訓練方法。
  5. 前記差異測定指標の種類は、クロスエントロピー係数、ジャカード係数およびｄｉｃｅ係数を含み、ここで、ディープニューラルネットワークモデルが画像分類に使用されることを指示するためのモデル役割指示文字は、前記クロスエントロピー係数に対応し、ディープニューラルネットワークモデルが画像分割に使用されることを指示するためのモデル役割指示文字は、前記ジャカード係数またはｄｉｃｅ係数に対応することを特徴とする請求項４に記載のニューラルネットワークモデル訓練方法。
  6. 上記した前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算することは、
    畳み込みニューラルネットワークに基づいて訓練して得られた特徴抽出モデルである所定特徴抽出モデルに基づいて、前記訓練セットの各訓練サンプルに対して特徴抽出を行って各訓練サンプルの特徴ベクトルを取得することと、
    前記所定特徴抽出モデルに基づいて、前記比較サンプルに対して特徴抽出を行って各比較サンプルの特徴ベクトルを取得することと、
    前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルに基づいて、前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算することと、を含むことを特徴とする請求項１または２に記載のニューラルネットワークモデル訓練方法。
  7. 上述した前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルに基づいて、前記訓練セット中の訓練サンプルと前記比較サンプルとの間の類似度を計算することは、
    前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離を計算することと、
    前記各訓練サンプルの特徴ベクトルと前記各比較サンプルの特徴ベクトルとの間のコサイン距離を前記各訓練サンプルと前記各比較サンプルとの間の類似度として使用することと、を含むことを特徴とする請求項６に記載のニューラルネットワークモデル訓練方法。
  8. 訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するための訓練モジュールと、
    前記訓練モジュールの訓練によって得られた前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、
    前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するための検証モジュールと、
    前記検証モジュールの検証によって得られた、事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するための第１の計算モジュールと、
    全ての前記参照サンプル中の、前記第１の計算モジュールによって計算された差異測定指標が所定の閾値以下である目標参照サンプルを比較サンプルとして決定するための第１の決定モジュールと、
    前記訓練セット中の訓練サンプルと前記第１の決定モジュールによって決定された前記各比較サンプルとの間の類似度を計算するための第２の計算モジュールと、
    前記第２の計算モジュールによって計算された前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして決定するための第２の決定モジュールと、
    前記第２の決定モジュールによって決定された前記増幅対象となるサンプルに対してデータ増幅を実行して、目標訓練サンプルを取得するための増幅モジュールと、を含み、
    ここで、前記訓練モジュールは、前記訓練サンプルの増幅によって得られた前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで再訓練するために使用されることを特徴とするニューラルネットワークモデル訓練装置。
  9. 前記訓練モジュールは、具体的には、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのそれぞれに対応する差異測定指標が前記所定の閾値以下になるまで訓練すること、に使用されることを特徴とする請求項８に記載のニューラルネットワークモデル訓練装置。
  10. 第１の計算モジュールは、具体的には、
    前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、
    前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、に使用されることを特徴とする請求項８または９に記載のニューラルネットワークモデル訓練装置。
  11. メモリ、プロセッサ、および前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータ可読命令からなるコンピュータ機器であって、前記プロセッサは、前記コンピュータ可読命令を実行すると、以下のステップ、すなわち
    訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するステップと、
    前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するステップと、
    事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するステップと、
    前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用するステップと、
    前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算するステップと、
    前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用するステップと、
    前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得するステップと、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練するステップと、を実現することを特徴とするコンピュータ機器。
  12. 上述した前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することは、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのそれぞれに対応する差異測定指標が前記所定の閾値以下になるまで訓練すること、を含むことを特徴とする請求項１１に記載のコンピュータ機器。
  13. 上述した前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することは、
    前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、
    前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、を含むことを特徴とする請求項１１または１２に記載のコンピュータ機器。
  14. 上述した前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することは、
    差異測定指標の種類と、ディープニューラルネットワークモデルの役割を指示するためのモデル役割指示文字との間の対応関係とを含む所定指標の対応リストを取得することと、
    前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字を決定することと、
    前記差異測定指標とモデル役割指示文字との間の対応関係、および前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字に基づいて、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、を含むことを特徴とする請求項１３に記載のコンピュータ機器。
  15. 前記差異測定指標の種類は、クロスエントロピー係数、ジャカード係数およびｄｉｃｅ係数を含み、ここで、ディープニューラルネットワークモデルが画像分類に使用されることを指示するためのモデル役割指示文字は、前記クロスエントロピー係数に対応し、ディープニューラルネットワークモデルが画像分割に使用されることを指示するためのモデル役割指示文字は、前記ジャカード係数またはｄｉｃｅ係数に対応することを特徴とする請求項１４に記載のコンピュータ機器。
  16. 前記コンピュータ可読命令が１つ以上のプロセッサによって実行されると、１つ以上の前記プロセッサに、以下のステップ、すなわち、
    訓練セットの訓練サンプルに基づいてディープニューラルネットワークモデルを訓練して、訓練されたディープニューラルネットワークモデルを取得するステップと、
    前記訓練されたディープニューラルネットワークモデルに基づいて、検証セットおよび／またはテストセットを含む参照セットの全ての参照サンプルに対してデータ検証を実行して、前記全ての参照サンプルのそれぞれについてのモデル予測値を取得するステップと、
    事前にデータラべリングを行った前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算するステップと、
    前記参照サンプルの中で、差異測定指標が所定の閾値以下である全ての目標参照サンプルを比較サンプルとして使用するステップと、
    前記訓練セット中の訓練サンプルと前記各比較サンプルとの間の類似度を計算するステップと、
    前記比較サンプルとの間の類似度が所定の増幅条件を満たす訓練サンプルを増幅対象となるサンプルとして使用するステップと、
    前記増幅対象となるサンプルのデータを増幅して、目標訓練サンプルを取得するステップと、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練するステップと、を実行させることを特徴とするコンピュータ可読命令が記憶されている１つ以上の不揮発性可読記憶媒体。
  17. 上述した前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのモデル予測値が所定訓練終了条件を満たすまで訓練することは、
    前記目標訓練サンプルを前記訓練セット中の訓練サンプルとして前記訓練されたディープニューラルネットワークモデルを、前記検証セット中の全ての検証サンプルのそれぞれに対応する差異測定指標が前記所定の閾値以下になるまで訓練すること、を含むことを特徴とする請求項１６に記載の不揮発性可読記憶媒体。
  18. 上述した前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することは、
    前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、
    前記差異測定指標の種類に基づいて、前記各参照サンプルのモデル予測値と前記各参照サンプルに対応する真のラべリングとの間の差異測定指標を計算することと、を含むことを特徴とする請求項１６または１７に記載の不揮発性可読記憶媒体。
  19. 上述した前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することは、
    差異測定指標の種類と、ディープニューラルネットワークモデルの役割を指示するためのモデル役割指示文字との間の対応関係とを含む所定指標の対応リストを取得することと、
    前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字を決定することと、
    前記差異測定指標とモデル役割指示文字との間の対応関係、および前記訓練されたディープニューラルネットワークモデルに対応するモデル役割指示文字に基づいて、前記訓練されたディープニューラルネットワークモデルによって使用される差異測定指標の種類を決定することと、を含むことを特徴とする請求項１８に記載の不揮発性可読記憶媒体。
  20. 前記差異測定指標の種類は、クロスエントロピー係数、ジャカード係数およびｄｉｃｅ係数を含み、ここで、ディープニューラルネットワークモデルが画像分類に使用されることを指示するためのモデル役割指示文字は、前記クロスエントロピー係数に対応し、ディープニューラルネットワークモデルが画像分割に使用されることを指示するためのモデル役割指示文字は、前記ジャカード係数またはｄｉｃｅ係数に対応することを特徴とする請求項１９に記載の不揮発性可読記憶媒体。

JP2021506734A 2019-01-04 2019-05-30 ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体 Active JP7167306B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910008317.2A CN109840588B (zh) 2019-01-04 2019-01-04 神经网络模型训练方法、装置、计算机设备及存储介质
CN201910008317.2 2019-01-04
PCT/CN2019/089194 WO2020140377A1 (zh) 2019-01-04 2019-05-30 神经网络模型训练方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021532502A true JP2021532502A (ja) 2021-11-25
JP7167306B2 JP7167306B2 (ja) 2022-11-08

Family

ID=66883678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506734A Active JP7167306B2 (ja) 2019-01-04 2019-05-30 ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体

Country Status (5)

Country Link
US (1) US20210295162A1 (ja)
JP (1) JP7167306B2 (ja)
CN (1) CN109840588B (ja)
SG (1) SG11202008322UA (ja)
WO (1) WO2020140377A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110245662B (zh) * 2019-06-18 2021-08-10 腾讯科技（深圳）有限公司 检测模型训练方法、装置、计算机设备和存储介质
CN110245721B (zh) * 2019-06-25 2023-09-05 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN112183757B (zh) * 2019-07-04 2023-10-27 创新先进技术有限公司 模型训练方法、装置及系统
CN112183166B (zh) * 2019-07-04 2024-07-02 北京地平线机器人技术研发有限公司 确定训练样本的方法、装置和电子设备
CN110348509B (zh) * 2019-07-08 2021-12-14 睿魔智能科技（深圳）有限公司 数据增广参数的调整方法、装置、设备及存储介质
CN110543182B (zh) * 2019-09-11 2022-03-15 济宁学院 一种小型无人旋翼机自主着陆控制方法及系统
CN112541515A (zh) * 2019-09-23 2021-03-23 北京京东乾石科技有限公司 模型训练方法、驾驶数据处理方法、装置、介质和设备
CN110688471B (zh) * 2019-09-30 2022-09-09 支付宝(杭州)信息技术有限公司 训练样本获取方法、装置及设备
CN112711643B (zh) * 2019-10-25 2023-10-10 北京达佳互联信息技术有限公司 训练样本集获取方法及装置、电子设备、存储介质
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN113051969A (zh) * 2019-12-26 2021-06-29 深圳市超捷通讯有限公司 物件识别模型训练方法及车载装置
CN113093967A (zh) * 2020-01-08 2021-07-09 富泰华工业（深圳）有限公司 数据生成方法、装置、计算机装置及存储介质
KR20210106814A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
CN113496227A (zh) * 2020-04-08 2021-10-12 顺丰科技有限公司 一种字符识别模型的训练方法、装置、服务器及存储介质
CN111814821B (zh) * 2020-05-21 2024-06-18 北京迈格威科技有限公司 深度学习模型的建立方法、样本处理方法及装置
CN113743426A (zh) * 2020-05-27 2021-12-03 华为技术有限公司 一种训练方法、装置、设备以及计算机可读存储介质
CN113827233A (zh) * 2020-06-24 2021-12-24 京东方科技集团股份有限公司 用户特征值检测方法及装置、存储介质及电子设备
CN111881973A (zh) * 2020-07-24 2020-11-03 北京三快在线科技有限公司 一种样本选择方法、装置、存储介质及电子设备
CN111783902B (zh) * 2020-07-30 2023-11-07 腾讯科技（深圳）有限公司 数据增广、业务处理方法、装置、计算机设备和存储介质
CN112087272B (zh) * 2020-08-04 2022-07-19 中电科思仪科技股份有限公司 一种电磁频谱监测接收机信号自动检测方法
CN112163074A (zh) * 2020-09-11 2021-01-01 北京三快在线科技有限公司 用户意图识别方法、装置、可读存储介质及电子设备
CN112184640A (zh) * 2020-09-15 2021-01-05 中保车服科技服务股份有限公司 一种图像检测模型的构建及图像检测方法和装置
CN112149733B (zh) * 2020-09-23 2024-04-05 北京金山云网络技术有限公司 模型训练、质量确定方法、装置、电子设备及存储介质
CN112148895B (zh) * 2020-09-25 2024-01-23 北京百度网讯科技有限公司 检索模型的训练方法、装置、设备和计算机存储介质
CN112364999B (zh) * 2020-10-19 2021-11-19 深圳市超算科技开发有限公司 冷水机调节模型的训练方法、装置及电子设备
CN112257075A (zh) * 2020-11-11 2021-01-22 福建有度网络安全技术有限公司 内网环境下的系统漏洞检测方法、装置、设备及存储介质
CN112419098B (zh) * 2020-12-10 2024-01-30 清华大学 基于安全信息熵的电网安全稳定仿真样本筛选扩充方法
CN112560988B (zh) * 2020-12-25 2023-09-19 竹间智能科技（上海）有限公司 一种模型训练方法及装置
CN112766320B (zh) * 2020-12-31 2023-12-22 平安科技（深圳）有限公司 一种分类模型训练方法及计算机设备
CN112990455A (zh) * 2021-02-23 2021-06-18 北京明略软件系统有限公司 网络模型的发布方法及装置、存储介质、电子设备
CN112927013B (zh) * 2021-02-24 2023-11-10 国网数字科技控股有限公司 一种资产价值预测模型构建方法、资产价值预测方法
CN113033665A (zh) * 2021-03-26 2021-06-25 北京沃东天骏信息技术有限公司 样本扩展方法、训练方法和系统、及样本学习系统
CN113139609B (zh) * 2021-04-29 2023-12-29 国网甘肃省电力公司白银供电公司 基于闭环反馈的模型校正方法、装置和计算机设备
CN113743448B (zh) * 2021-07-15 2024-04-30 上海朋熙半导体有限公司 模型训练数据获取方法、模型训练方法和装置
CN113610228B (zh) * 2021-08-06 2024-03-05 脸萌有限公司 神经网络模型的构建方法及装置
CN113762286A (zh) * 2021-09-16 2021-12-07 平安国际智慧城市科技股份有限公司 数据模型训练方法、装置、设备及介质
CN113570007B (zh) * 2021-09-27 2022-02-15 深圳市信润富联数字科技有限公司 零件缺陷识别模型构建优化方法、装置、设备及存储介质
CN114154697A (zh) * 2021-11-19 2022-03-08 中国建设银行股份有限公司 房屋维修资源的预测方法、装置、计算机设备和存储介质
WO2023126468A1 (en) * 2021-12-30 2023-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Systems and methods for inter-node verification of aiml models
CN114118305A (zh) * 2022-01-25 2022-03-01 广州市玄武无线科技股份有限公司 一种样本筛选方法、装置、设备及计算机介质
CN116703739A (zh) * 2022-02-25 2023-09-05 索尼集团公司 图像增强方法及设备
CN114663483A (zh) * 2022-03-09 2022-06-24 平安科技（深圳）有限公司 单目深度估计模型的训练方法、装置、设备及存储介质
CN114637263B (zh) * 2022-03-15 2024-01-12 中国石油大学(北京) 一种异常工况实时监测方法、装置、设备及存储介质
CN114724162A (zh) * 2022-03-15 2022-07-08 平安科技（深圳）有限公司 文本识别模型的训练方法、装置、计算机设备及存储介质
CN116933874A (zh) * 2022-04-02 2023-10-24 维沃移动通信有限公司 验证方法、装置及设备
CN115184395A (zh) * 2022-05-25 2022-10-14 北京市农林科学院信息技术研究中心 果蔬失重率预测方法、装置、电子设备及存储介质
CN115277626B (zh) * 2022-07-29 2023-07-25 平安科技（深圳）有限公司 地址信息转换方法、电子设备和计算机可读存储介质
CN115660508A (zh) * 2022-12-13 2023-01-31 湖南三湘银行股份有限公司 一种基于bp神经网络的员工绩效考核评价方法
CN115858819B (zh) * 2023-01-29 2023-05-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种样本数据的增广方法及装置
CN117318052B (zh) * 2023-11-28 2024-03-19 南方电网调峰调频发电有限公司检修试验分公司 发电机组进相试验无功功率预测方法、装置和计算机设备
CN118071110A (zh) * 2024-04-17 2024-05-24 山东省信息技术产业发展研究院(中国赛宝(山东)实验室) 一种基于机器学习的设备参数自适应调整方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120023387A (ko) * 2010-09-03 2012-03-13 서강대학교산학협력단 형태적 중의성 동사 분석 장치, 방법 및 그 기록 매체

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679190B (zh) * 2012-09-20 2019-03-01 富士通株式会社 分类装置、分类方法以及电子设备
CN103679160B (zh) * 2014-01-03 2017-03-22 苏州大学 一种人脸识别方法和装置
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
CN106021364B (zh) * 2016-05-10 2017-12-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置
US11222263B2 (en) * 2016-07-28 2022-01-11 Samsung Electronics Co., Ltd. Neural network method and apparatus
US9824692B1 (en) * 2016-09-12 2017-11-21 Pindrop Security, Inc. End-to-end speaker recognition using deep neural network
US11068781B2 (en) * 2016-10-07 2021-07-20 Nvidia Corporation Temporal ensembling for semi-supervised learning
CN107247991A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种构建神经网络的方法及装置
CN110969250B (zh) * 2017-06-15 2023-11-10 北京图森智途科技有限公司 一种神经网络训练方法及装置
CN108304936B (zh) * 2017-07-12 2021-11-16 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
CN108829683B (zh) * 2018-06-29 2022-06-10 北京百度网讯科技有限公司 混合标注学习神经网络模型及其训练方法、装置
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120023387A (ko) * 2010-09-03 2012-03-13 서강대학교산학협력단 형태적 중의성 동사 분석 장치, 방법 및 그 기록 매체

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
「拡増の意味 - 中国語辞書 - WEBLIO日中中日辞典」, JPN6022014506, 8 April 2022 (2022-04-08), ISSN: 0004754411 *
FRANCOIS CHOLLET[著]，株式会社クイープ[訳]，巣籠悠輔[監訳], 「PYTHONとKERASによるディープラーニング」, vol. 初版, JPN6022014508, 23 May 2018 (2018-05-23), JP, pages 144 - 148, ISSN: 0004754409 *
高橋良（外２名）: "「画像パッチワークによる新しいdata augmentationの提案」", 電子情報通信学会技術研究報告, vol. 118, no. 220, JPN6022014509, 13 September 2018 (2018-09-13), JP, pages 47 - 54, ISSN: 0004754410 *

Also Published As

Publication number Publication date
JP7167306B2 (ja) 2022-11-08
US20210295162A1 (en) 2021-09-23
WO2020140377A1 (zh) 2020-07-09
CN109840588A (zh) 2019-06-04
CN109840588B (zh) 2023-09-08
SG11202008322UA (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP2021532502A (ja) ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体
KR102461631B1 (ko) 데이터의 결측치 보정 방법 및 장치
CN110941555B (zh) 测试用例推荐方法、装置、计算机设备和存储介质
CN111314173B (zh) 监控信息异常的定位方法、装置、计算机设备及存储介质
WO2017133615A1 (zh) 一种业务参数获取方法及装置
CN110232678B (zh) 一种图像不确定度预测方法、装置、设备及存储介质
CN109583594B (zh) 深度学习训练方法、装置、设备及可读存储介质
JP6636883B2 (ja) 評価装置、評価方法、および評価プログラム
CN110880014B (zh) 数据处理方法、装置、计算机设备及存储介质
WO2016188498A1 (zh) 一种无线网络吞吐量的评估方法及装置
CN107798245B (zh) 一种基于组件依赖图的软件安全漏洞预测方法
KR101852527B1 (ko) 기계학습 기반의 동적 시뮬레이션 파라미터 교정 방법
CN111694714A (zh) 一种众核芯片功耗估算方法、装置、设备及可读存储介质
CN111881477A (zh) 数据内容的标引方法、装置、计算机设备及存储介质
CN113158435B (zh) 基于集成学习的复杂系统仿真运行时间预测方法与设备
CN110968802A (zh) 一种用户特征的分析方法、分析装置及可读存储介质
KR101405309B1 (ko) 소셜 네트워크 서비스 데이터에 기반한 질병 확산 상황 예측 장치 및 방법
CN110602207A (zh) 基于离网预测推送信息的方法、装置、服务器和存储介质
Kamiński Interval metamodels for the analysis of simulation Input–Output relations
JP2016040580A (ja) 難易度推定装置、問題生成装置、問題出題装置、難易度推定方法、問題生成方法、問題出題方法およびプログラム
CN108133234B (zh) 基于稀疏子集选择算法的社区检测方法、装置及设备
JP6398991B2 (ja) モデル推定装置、方法およびプログラム
CN111598390B (zh) 服务器高可用性评估方法、装置、设备和可读存储介质
KR102502880B1 (ko) 베이지안 최대엔트로피모델 추정 및 뇌 기능 동적 특성 평가 방법
JP2022505341A (ja) パフォーマンス特性に従って選択的にプログラムを計装するためのシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7167306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150