JP2022116231A - Training method of organism detection model, device, electronic apparatus and storage medium - Google Patents

Training method of organism detection model, device, electronic apparatus and storage medium Download PDF

Info

Publication number
JP2022116231A
JP2022116231A JP2022088153A JP2022088153A JP2022116231A JP 2022116231 A JP2022116231 A JP 2022116231A JP 2022088153 A JP2022088153 A JP 2022088153A JP 2022088153 A JP2022088153 A JP 2022088153A JP 2022116231 A JP2022116231 A JP 2022116231A
Authority
JP
Japan
Prior art keywords
training
data
detection model
test set
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022088153A
Other languages
Japanese (ja)
Other versions
JP7357114B2 (en
Inventor
ジャン グオシュヨン
Guosheng Zhang
ワーン コォヤオ
ke yao Wang
フオン ハオチュヨン
Haocheng Feng
ユエ ハイシヤオ
Haixiao Yue
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022116231A publication Critical patent/JP2022116231A/en
Application granted granted Critical
Publication of JP7357114B2 publication Critical patent/JP7357114B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide a training method of an organism detection mold, a device, an electronic apparatus and a storage medium.SOLUTION: A method includes the steps of: constructing a training set for training an organism detection mold, and a test set; training a preset organism detection model on the basis of the training set, and acquiring a first organism detection model; training the first organism detection mold on the basis of the test set, and creating a test result; analyzing the test set on the basis of the test result, and acquiring first sample data; and updating the training set and the test set on the basis of the first sample data, and further training the organism detection model.EFFECT: Model training efficiency can be improved by introducing a concept of sample mining from a data layer, and effectively reducing a sample having a large amount of redundancy and having no instruction significance.SELECTED DRAWING: Figure 1

Description

本開示は人工知能技術分野に関し、具体的には、コンピュータ視覚と深層学習技術の分野に関し、顔認識などのシーンに応用することができる。 The present disclosure relates to the field of artificial intelligence technology, specifically to the field of computer vision and deep learning technology, and can be applied to scenes such as face recognition.

顔生体検出は、すなわち1枚の画像が真の人間の撮影であるか否かを区別することであり、顔認識システムの基本モジュールであり、顔認識システムの安全性を保証する。深層学習技術を用いた顔生体検出方法は、現在、当分野の主流であり、従来の方法に比べて精度が大幅に向上している。しかしながら、実際の応用では、顔アタックサンプルの多様化により、様々なアタック方式は絶えず出現し、最適化されたモデルはまだ見ていない新しいアタックに対して抵抗能力が非常に限られており、トレーニングコストが高く、効率が低い。 Face biometrics detection, that is, distinguishing whether an image is a photograph of a real person or not, is a basic module of a face recognition system and guarantees the safety of the face recognition system. Face biometric detection methods using deep learning technology are currently the mainstream in this field, and their accuracy is greatly improved compared to conventional methods. However, in practical applications, due to the diversification of face attack samples, various attack schemes are constantly emerging, and the optimized model has very limited ability to resist new attacks that have not yet been seen. High cost and low efficiency.

本開示は生体検出モデルのトレーニング方法、装置、電子機器および記憶媒体を提供する。 The present disclosure provides methods, apparatus, electronics and storage media for training liveness detection models.

本開示の一態様によれば、生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築することと、前記トレーニングセットに基づいて予め設定された生体検出モデルをトレーニングし、第1生体検出モデルを取得することと、前記テストセットに基づいて第1生体検出モデルをトレーニングし、テスト結果を生成することと、前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得することと、第1サンプルデータに基づいて、トレーニングセット、テストセットを更新して、前記生体検出モデルをさらにトレーニングすることとを含む生体検出モデルのトレーニング方法を提供する。 According to one aspect of the present disclosure, constructing a training set and a test set for training a liveness detection model; training a preset liveness detection model based on the training set; training a first liveness detection model based on the test set to generate test results; and analyzing the test set based on the test results to obtain first sample data. and further training the liveness detection model by updating a training set and a test set based on the first sample data.

本開示の他の一態様によれば、生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築するための構築モジュールと、前記トレーニングセットに基づいて予め設定された生体検出モデルをトレーニングし、第1生体検出モデルを取得し、前記テストセットに基づいて第1生体検出モデルをトレーニングし、テスト結果を生成するためのトレーニングモジュールと、前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得するためのサンプル取得モジュールと、第1サンプルデータに基づいて、トレーニングセット、テストセットを更新して、前記生体検出モデルをさらにトレーニングするための更新モジュールとを含む生体検出モデルのトレーニング装置を提供する。 According to another aspect of the present disclosure, a building module for building a training set and a test set for training a liveness detection model; training a preconfigured liveness detection model based on the training set; a training module for obtaining a first liveness detection model, training the first liveness detection model based on the test set, and generating test results; analyzing the test set based on the test results; Training a liveness detection model, including a sample acquisition module for acquiring sample data and an update module for further training the liveness detection model by updating a training set and a test set based on first sample data. Provide equipment.

本開示の別の態様によれば、電子機器を提供し、前記電子機器は、少なくとも1つのプロセッサ、および前記少なくとも1つのプロセッサに通信接続されたメモリを含み、前記メモリは、前記少なくとも1つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサに以上に記載の方法を実行させる。 According to another aspect of the present disclosure, an electronic device is provided, said electronic device including at least one processor and memory communicatively coupled to said at least one processor, said memory comprising: and executable by the at least one processor, said instructions being executed by said at least one processor to cause said at least one processor to perform the method described above.

本開示の別の態様によれば、コンピュータに以上に記載の方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体を提供する。 According to another aspect of the disclosure, there is provided a non-transitory computer-readable storage medium having computer instructions stored thereon for causing a computer to perform the method described above.

本開示の別の態様によれば、プロセッサによって実行されると、以上に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。 According to another aspect of the disclosure, there is provided a computer program product comprising a computer program that, when executed by a processor, implements the method described above.

本開示はデータ層からサンプルマイニングの思想を導入し、大量の冗長性の、指導意義のないサンプルを効果的に減少させ、モデルトレーニング効率を向上させることができる。 The present disclosure introduces the idea of sample mining from the data layer, which can effectively reduce a large amount of redundant, non-instructive samples and improve model training efficiency.

理解すべきことは、この部分に説明される内容が、本開示の実施例の要点または重要な特徴を示すことを意図しておらず、本開示の保護範囲を限定するためのものではないことである。本開示の他の特徴は、以下の明細書によって理解されやすくなる。 It should be understood that the content described in this part is not intended to show the gist or important features of the embodiments of the present disclosure, and is not intended to limit the protection scope of the present disclosure. is. Other features of the present disclosure will become easier to understand with the following specification.

図面は、本発明をより良く理解するためのものであり、本開示に対する制限を構成しない。
本発明の第1実施例による生体検出モデルのトレーニング方法を示す図である。 本発明の第2実施例による生体検出モデルのトレーニング方法を示す図である。 本開示の第3実施例による生体検出モデルのトレーニング装置の構成を示す図である。 本開示の実施例に係る生体検出モデルのトレーニング方法を実現するための電子機器のブロック図である。
The drawings are for a better understanding of the invention and do not constitute limitations on the disclosure.
FIG. 2 illustrates a method for training a liveness detection model according to a first embodiment of the present invention; FIG. 5 illustrates a method for training a liveness detection model according to a second embodiment of the present invention; FIG. 10 is a diagram showing the configuration of a liveness detection model training device according to a third embodiment of the present disclosure; 1 is a block diagram of an electronic device for implementing a liveness detection model training method according to an embodiment of the present disclosure; FIG.

以下、図面に合わせて本開示の例示的な実施例を説明して、それに含まれる本開示の実施例における様々な詳細が理解を助けるためので、それらは単なる例示的なものと考えられるべきである。したがって、当業者であれば、本開示の範囲および精神から逸脱することなく、本明細書で説明される実施例に対して様々な変更および修正を行うことができることを理解すべきである。同様に、明瞭と簡潔のために、以下の説明では公知の機能および構造についての説明を省略する。 Illustrative embodiments of the disclosure will now be described in conjunction with the drawings, and various details in the embodiments of the disclosure contained therein are for the sake of understanding and should be considered as illustrative only. be. Accordingly, it should be understood by those skilled in the art that various changes and modifications can be made to the examples described herein without departing from the scope and spirit of this disclosure. Similarly, for the sake of clarity and brevity, the following description omits descriptions of well-known functions and constructions.

本開示の実施例では、新データは生体検出モデルが最適化された後に新しく出現する新しい顔アタックサンプルデータを指す。元データとは、生体検出モデルが本来トレーニングされる際に用いられるデータを意味する。 In an embodiment of the present disclosure, new data refers to newly appearing new face attack sample data after the liveness detection model is optimized. Raw data means the data from which the liveness detection model was originally trained.

本開示はハードサンプルマイニングに基づく生体検出モデルのトレーニング方法を提供し、新データと元データとの混合を用いてモデルを再トレーニングすることでモデルの破滅的な忘れ問題による精度損失を解決し、同時にハードサンプルマイニングの思想に基づいて、トレーニングサンプルにおけるハードサンプルの割合を向上させることによって、冗長サンプルを減少し、モデルトレーニング効率を向上させ、また、モデルをハードサンプルに一層注目させ、モデルの検査性能を向上させる。 The present disclosure provides a method for training a liveness detection model based on hard sample mining, retraining the model using a mixture of new and original data to solve the accuracy loss due to the model's catastrophic forgetting problem, At the same time, based on the idea of hard sample mining, by improving the ratio of hard samples in training samples, we can reduce redundant samples, improve model training efficiency, and make the model pay more attention to hard samples, so that the model can be inspected. improve performance.

図1は、本開示の第1実施例による生体検出モデルのトレーニング方法を示す図である。図1に示すように、本開示の第1実施例に係る生体検出モデルのトレーニング方法は、以下のステップを含む。 FIG. 1 is a diagram illustrating a liveness detection model training method according to a first embodiment of the present disclosure. As shown in FIG. 1, the liveness detection model training method according to the first embodiment of the present disclosure includes the following steps.

ステップ101では、生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築する。 Step 101 builds a training set and a test set for training a liveness detection model.

前記生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築することは、混合データセットに基づいてトレーニングセットおよびテストセットを構築することを含み、前記混合データセットは新データおよび元データを含む。 Constructing a training set and a test set for training the liveness detection model includes constructing a training set and a test set based on a mixed data set, the mixed data set including new data and original data. .

新データおよび元データを用いて混合データセットを構成し、かつ混合データセットに基づいてトレーニングセットおよびテストセットを構築することにより、モデルの破滅的な忘れ問題による精度損失を解決することができる。 By constructing a mixed dataset with new and original data, and building training and test sets based on the mixed dataset, the accuracy loss due to the catastrophic forgetting problem of the model can be resolved.

前記混合データセットに基づいてトレーニングセットおよびテストセットを構築することは、前記混合データセットにおいてランダムサンプリングを行うことと、サンプリングされたデータをトレーニングセットとして構成することと、サンプリングされたデータ以外のデータをテストセットとして構成することを含む。 Constructing a training set and a test set based on the mixed data set includes: performing random sampling on the mixed data set; configuring the sampled data as a training set; as a test set.

混合データセットにおいてランダムサンプリングを行うことにより初期トレーニングセットおよび初期テストセットを構成することで、モデルに対するトレーニング効果をより良く実現することができる。 By constructing the initial training set and initial test set by performing random sampling on the mixed dataset, the training effect on the model can be better realized.

前記混合データセットにおいてランダムサンプリングを行うことは、予め設定されたハイパーパラメータの初期サンプリングレートに基づいて、前記混合データセットにおいてランダムサンプリングを行うことを含む。 Performing random sampling on the mixed data set includes performing random sampling on the mixed data set based on an initial sampling rate of preset hyperparameters.

ランダムサンプリングのハイパーパラメータの初期サンプリングレートを設定することにより、ランダムサンプリングの指標を具体的に限定することができる。 By setting the initial sampling rate of the random sampling hyperparameters, the random sampling index can be specifically limited.

ここで、本実施例では、前記ハイパーパラメータの初期サンプリングレートは0%より大きくかつ50%より小さい値をとる。もちろん、実際の応用では、必要に応じてハイパーパラメータの初期サンプリングレートに他の設定を行ってもよく、本開示はこれについて限定しない。 Here, in this embodiment, the initial sampling rate of the hyperparameter takes a value greater than 0% and less than 50%. Of course, in practical applications, other settings may be made to the initial sampling rate of the hyperparameters as needed, and the present disclosure is not limited thereto.

ハイパーパラメータの初期サンプリングレートの値を選択することによって、実際の応用のガイドラインを提供し、本開示の実施例の具体的な実現方法を提供し、実際の応用における選択を容易にする。 By selecting the value of the initial sampling rate of the hyperparameters, it provides guidelines for practical applications, provides specific implementation methods for embodiments of the present disclosure, and facilitates selection in practical applications.

ステップ102では、前記トレーニングセットに基づいて予め設定された生体検出モデルをトレーニングし、第1生体検出モデルを取得する。 In step 102, a preset liveness detection model is trained based on the training set to obtain a first liveness detection model.

ステップ103では、前記テストセットに基づいて第1生体検出モデルをトレーニングし、テスト結果を生成する。 At step 103, a first liveness detection model is trained based on the test set to generate test results.

ステップ104では、前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得する。 In step 104, the test set is analyzed based on the test results to obtain first sample data.

本開示の実施例では、前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得することは、テスト結果に基づいてテストセットにおけるデータを採点して予測スコアを取得し、前記予測スコアに基づいてテストセットにおけるデータをソーティングし、前記予測スコアが所定閾値を満たすデータを第1サンプルデータとして確定することを含む。 In an embodiment of the present disclosure, analyzing the test set based on the test results to obtain first sample data comprises scoring data in the test set based on the test results to obtain a prediction score; Sorting the data in the test set based on the prediction score, and determining the data whose prediction score meets a predetermined threshold as first sample data.

したがって、本発明の実施例は第1サンプルデータを取得する具体的な実現方法を実現し、第1サンプルデータすなわちハードサンプルデータのマイニングを実現し、これによってマイニングされた第1サンプルデータを用いてモデルをトレーニングすることができ、トレーニングサンプルにおけるハードサンプルの割合を向上させることによって、冗長サンプルを減少させ、モデルトレーニング効率を向上させ、同時にモデルをハードサンプルに一層注目させ、モデルの検出性能を向上させる。 Therefore, the embodiment of the present invention implements a specific implementation method for obtaining the first sample data, implements mining of the first sample data, i.e. hard sample data, and uses the mined first sample data to You can train the model, and by improving the proportion of hard samples in the training sample, you can reduce redundant samples and improve model training efficiency, while making the model pay more attention to hard samples and improve the model's detection performance. Let

ステップ105では、第1サンプルデータに基づいて、トレーニングセット、テストセットを更新して、前記生体検出モデルをさらにトレーニングする。 In step 105, based on the first sample data, the training set and test set are updated to further train the liveness detection model.

前記第1サンプルデータに基づいてトレーニングセット、テストセットを更新することは、第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することを含む。 Updating the training set and the test set based on the first sample data includes extracting a part of the sample data in the first sample data, adding it to the training set and the test set, and adding it to the updated training set and the updated training set. including constructing a test set for

本開示の実施例は第1サンプルデータすなわちハードサンプルデータのそれぞれにおいて一部のサンプルデータを抽出して更新後のトレーニングセットおよび更新後のテストセットを構成することによって、トレーニング過程全体に使用されるデータは完全な新データプラス元データではなく、その中の一部のサンプルであり、さらにハードサンプルであってもよく、トレーニングサンプルにおけるハードサンプルの割合を向上させることによって、冗長サンプルを減少させ、モデルトレーニング効率を向上させると同時に、モデルをハードサンプルに一層注目させ、モデルの検出性能を向上させる。 Embodiments of the present disclosure are used throughout the training process by extracting some sample data in each of the first or hard sample data to form an updated training set and an updated test set. The data is not a complete new data plus the original data, but a partial sample in it, and it may be a hard sample, and by improving the ratio of hard samples in the training sample, reducing redundant samples, It makes the model more focused on hard samples and improves the model's detection performance while improving the model training efficiency.

第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することは、前記第1サンプルデータにおいて、予め設定されたサンプリングレートで第2サンプルデータを抽出し、抽出された第2サンプルデータをトレーニングセットに加え、更新後のトレーニングセットを構成し、第2サンプルデータを除く第1サンプルデータをテストセットに加え、更新後のテストセットを構成することと、予め設定されたサンプリングレートを予め設定された減衰率で減衰更新し、減衰更新後のサンプリングレートを取得することと、更新されたトレーニングセットと更新されたテストセットに基づいて生体検出モデルをトレーニングすることと、トレーニングステップを反復的に実行し、生体検出モデルが予め設定された精度に収束したと判断すると、トレーニングを停止し、最終的にトレーニングされた生体検出モデルを出力することとを含む。 Extracting a part of each sample data from the first sample data and adding them to the training set and the test set to form an updated training set and an updated test set is preset in the first sample data. extracting the second sample data at the same sampling rate, adding the extracted second sample data to the training set to form an updated training set, adding the first sample data excluding the second sample data to the test set, configuring an updated test set; decaying updating a preset sampling rate with a preset decay rate to obtain a decaying updated sampling rate; Training a liveness detection model based on a test set, and performing the training steps iteratively, stopping training when we determine that the liveness detection model has converged to a preset accuracy, and finally trained and outputting a liveness detection model.

本開示の実施例では、前記予め設定されたサンプリングレートは、0%より大きくかつ30%より小さい値をとる。もちろん、実際の応用では、必要に応じて予め設定されたサンプリングレートに他の設定を行ってもよく、本開示はこれについて限定しない。サンプリングレート値の参考を与えることによって、本開示の具体的な実施例の実現を示し、実際の応用のガイドラインを提供し、実際の応用における選択を容易にする。 In an embodiment of the present disclosure, the preset sampling rate takes a value greater than 0% and less than 30%. Of course, in actual application, other settings may be made to the preset sampling rate as needed, and the present disclosure is not limited thereto. By giving reference of sampling rate values, it shows implementation of specific embodiments of the present disclosure, provides guidelines for practical applications, and facilitates selection in practical applications.

トレーニング過程全体で使われるデータは完全な新データプラス元データではなく、その中の一部のサンプルであり、トレーニング過程で次第にデータをトレーニングセットに加えるが、加えた割合は指数的に減衰するため、ハードサンプルマイニングに基づくトレーニング方法で使われるデータは完全な全データよりはるかに小さく、これはモデルのトレーニング効率を大幅に向上させる。 The data used in the entire training process is not the complete new data plus the original data, but some samples in it, and the data is gradually added to the training set during the training process, but the added rate decays exponentially. , the data used in the training method based on hard sample mining is much smaller than the complete full data, which greatly improves the training efficiency of the model.

図2に示すように、本発明の第2実施例による生体検出モデルのトレーニング方法を示す図である。前記生体検出モデルのトレーニング方法は以下のステップを含む。 As shown in FIG. 2, it is a diagram illustrating a method for training a liveness detection model according to a second embodiment of the present invention. The liveness detection model training method includes the following steps.

ステップ201では、データセットΦ、初期サンプリングレートρを入力し、ハードサンプルレート
(外1)

Figure 2022116231000002
を設定し、減衰率εを設定し、新データ+元データの混合データセットΦを含むモデルトレーニングの入力を与え、ハイパーパラメータの初期サンプリングレートρを設定し、モデルの初期開始トレーニングのトレーニングセットの分割に使用し、データセットΦにおいて、ハイパーパラメータの初期サンプリングレートρで定量のデータをランダムにサンプリングして初期トレーニングセットΦtrainを構成し、ハイパーパラメータの初期サンプリングレートρは0%より大きくかつ50%より小さい値をとる。ハードサンプルレート
(外2)
Figure 2022116231000003
を設定し、データにおけるハードサンプルの割合を仮定するために用いられ、0%より大きくかつ30%より小さい値をとる。減衰率εを設定し、ハードサンプルレートの減衰を特徴付けるために用いられ、モデルが次第に収束するにつれて、データ中に残っているハードサンプルの割合が次第に減少し、したがって、減衰率はハードサンプルレートの減衰程度を特徴付けるために用いられる。ここでは、ハイパーパラメータの初期サンプリングレート、ハードサンプルレート、減衰率はすべて応用ニーズに応じて人為的に設定することができる。このようにして様々な異なる応用ニーズを満たすことができ、より良いモデルトレーニング効果を達成する。 In step 201, we input the data set Φ, the initial sampling rate ρ, and the hard sample rate (outer 1)
Figure 2022116231000002
, set the decay rate ε, give an input for model training containing a mixed dataset Φ of new + original data, set the initial sampling rate ρ for the hyperparameters, set the training set for the initial start training of the model used for splitting, constructing an initial training set Φ train by randomly sampling quantitative data at an initial hyperparameter sampling rate ρ in the dataset Φ, where the initial hyperparameter sampling rate ρ is greater than 0% and 50 %. Hard sample rate (outer 2)
Figure 2022116231000003
and is used to assume a hard sample fraction in the data, taking values greater than 0% and less than 30%. We set the decay rate ε, which is used to characterize the decay of the hard sample rate, and as the model gradually converges, the fraction of hard samples remaining in the data gradually decreases, thus the decay rate is the hard sample rate. Used to characterize the degree of attenuation. Here, the hyperparameter initial sampling rate, hard sampling rate and decay rate can all be set artificially according to application needs. In this way, it can meet various different application needs and achieve better model training effect.

ステップ202では、ハイパーパラメータの初期サンプリングレートρに基づいてデータセットΦを均一に用いて初期トレーニングセット
(外3)

Figure 2022116231000004
を構成し、残りのデータは初期テストセット
(外4)
Figure 2022116231000005
を構成するために使用される。 In step 202, the data set Φ is uniformly used based on the hyperparameter initial sampling rate ρ to generate an initial training set (outer 3)
Figure 2022116231000004
and the rest of the data is the initial test set (outer 4)
Figure 2022116231000005
used to construct the

ステップ203では、Φtrainにおいてモデルをトレーニングし、Φtestにおいてモデルをテストし、Φtestにおけるサンプルを予測スコアに従ってソーティングする。 In step 203, train the model in Φ train , test the model in Φ test , and sort the samples in Φ test according to their prediction scores.

モデルは、まずトレーニングセットΦtrainにおいて一定の反復回数のトレーニングを行い、続いてモデルを初期テストセットにおいてテストし、テストセットにおけるサンプルに対してサンプル予測スコアを採点し、予測スコアをソーティングし、ソーティングを行う目的はハードサンプルを選択することであり、閾値を設定することによって、この所定閾値の要件を満たすものをハードサンプルと確定することができる。このようにハードサンプルの確定方法を設定することで、ハードサンプルをよりうまく見つけることができる。理論的には、正のサンプルの予測スコアは1であり、負のサンプルの予測スコアは0であり、正のサンプルの予測スコアが1よりもはるかに小さい(例えば、0.5よりも小さい)場合、このサンプルはハードサンプルと考えられる。同様に、負のサンプルの予測スコアが0よりはるかに大きい場合、このサンプルもハードサンプルと考えられる。 The model is first trained for a fixed number of iterations on the training set Φ train , then the model is tested on the initial test set, scoring the sample prediction scores for the samples in the test set, sorting the prediction scores, sorting The purpose of doing is to select a hard sample, and by setting a threshold, we can establish a hard sample that meets this predetermined threshold requirement. By setting the hard sample determination method in this way, the hard samples can be found better. Theoretically, a positive sample has a prediction score of 1, a negative sample has a prediction score of 0, and a positive sample has a prediction score much less than 1 (e.g., less than 0.5). , this sample is considered a hard sample. Similarly, if the prediction score of a negative sample is much greater than 0, then this sample is also considered a hard sample.

ステップ204では、Φtestにおけるサンプルにハードサンプル抽出を行い、トレーニングセットおよびテストセットを、
(外5)

Figure 2022116231000006

(外6)
Figure 2022116231000007

(外7)
Figure 2022116231000008
のように更新する。 At step 204, the samples in Φ test are hard sampled, and the training and test sets are
(outside 5)
Figure 2022116231000006
;
(Outside 6)
Figure 2022116231000007
;
(outside 7)
Figure 2022116231000008
update like

設定されたハードサンプルレートに応じて、Φtestにおいて、予測スコアに基づいて、低予測スコアの正のサンプルと高予測スコアの負のサンプルを抽出し、サンプリングレートはハードサンプルレート
(外8)

Figure 2022116231000009
であり、抽出されたサンプルをトレーニングセットに戻し、それによってトレーニングセット
(外9)
Figure 2022116231000010
とテストセット
(外10)
Figure 2022116231000011
を更新し、それと同時に、ハードサンプルレートを
(外11)
Figure 2022116231000012
のように減衰更新する。 According to the set hard sample rate, in Φ test , based on the prediction score, extract positive samples with low prediction scores and negative samples with high prediction scores, and the sampling rate is the hard sample rate (outer 8)
Figure 2022116231000009
, returning the extracted samples to the training set, whereby the training set (outer 9)
Figure 2022116231000010
and test set (outside 10)
Figure 2022116231000011
and at the same time change the hard sample rate to (outside 11)
Figure 2022116231000012
Update decay as follows.

ステップ205では、モデルが予め設定された精度に収束したか否かを判断し、そうであれば終了し、トレーニングを停止し、そうでなければステップ203に移行して実行する。 In step 205, it is determined whether the model has converged to a preset accuracy, and if so, the process ends and training is stopped; otherwise, the process proceeds to step 203 for execution.

モデルは漸進的なハードサンプルマイニングという方法を用いるため、抽出されるサンプルは大きい確率でモデルがハードサンプルと考えるものであり、トレーニング過程において、ハードサンプルを絶えず抽出してトレーニングセットに戻すため、トレーニングセットにおけるハードサンプルの割合は次第に増大する。ハードサンプルトレーニングは効果的であるため、モデルの予め設定された精度はかなり向上する。 Because the model uses a method called gradual hard sample mining, the extracted samples have a high probability of what the model considers to be hard samples. The percentage of hard samples in the set gradually increases. Since hard sample training is effective, the preset accuracy of the model is significantly improved.

本開示のキーポイントは、モデルへのハードサンプルマイニングのモデリング過程であり、漸進式ハードサンプルマイニングの思想を通じて、トレーニングサンプルにおけるハードサンプルの割合を向上させ、トレーニングセットにおける冗長サンプルを減少させ、それによってモデルのトレーニング効率を向上させる。また、モデルの性能も向上させ、すなわち、ハードサンプルを用いてより良いトレーニング効果を達成するため、モデル予測の正確率を向上させる。従来のトレーニング方式と比較して、漸進式ハードサンプルマイニングのトレーニング方法を用いて、トレーニングコストを大幅に削減することができ、生体検出モデルを後期に絶えず迅速に反復最適化させることができる。 The key point of this disclosure is the modeling process of hard sample mining into the model. Through the idea of progressive hard sample mining, improve the proportion of hard samples in training samples and reduce redundant samples in the training set, thereby Improve model training efficiency. It also improves the performance of the model, i.e., it improves the accuracy rate of model prediction, because it uses hard samples to achieve better training effect. Compared with the traditional training scheme, the training method of progressive hard sample mining can be used to greatly reduce the training cost, and the liveness detection model can be continuously and quickly iteratively optimized at a later stage.

以上から分かるように、本開示はハードサンプルマイニングに基づいて生体検出モデルをトレーニングする方法を設計し、この方法は漸進的にエンドからエンドまで動的にハードサンプルを選択してトレーニングすることを実現でき、大量の冗長性の指導意義のないサンプルを効果的に減少させることができ、これによって生体検出のトレーニング効率を向上させ、さらに検出モデルの性能を向上させることができる。 It can be seen from the above that the present disclosure designs a method for training a liveness detection model based on hard sample mining, which realizes gradually selecting and training hard samples dynamically from end to end. It can effectively reduce the large number of redundant non-instructive samples, which can improve the training efficiency of liveness detection and further improve the performance of the detection model.

顔の生体検出は顔関連分野の基礎技術の一つであり、安全、出勤考査、金融、セキュリティ通行などの多くのシーンに応用されている。現在の多くの業務に広く応用されている。本開示を用いて生体モデル後期の最適化コストを削減し、最適化効率を向上させ、データ増加に伴うモデルの成長効果を最大限に提供する。トレーニング効率を向上させるために、トレーニング時間を減少させ、効率が高くなれば、データを増やしてよりうまくトレーニングすることができ、トレーニングできるデータがますます多くなり、データの成長性がよくなり、業務項目の更なる普及に有利である。 Face biometric detection is one of the basic technologies in the face-related field, and is applied to many scenes such as safety, attendance inspection, finance, and security passage. It is widely applied to many current tasks. The present disclosure is used to reduce the cost of late-stage optimization of biological models, improve optimization efficiency, and provide maximum model growth effects with increasing data. In order to improve training efficiency, the training time is reduced, the higher the efficiency, the more data can be trained better, the more data can be trained, the better the data growth, the more business It is advantageous for further dissemination of the item.

本開示で設計するトレーニング方法は任意の顔生体の深層学習ニューラルネットワークモデルの最適化に応用することができ、モデルの最適化効率を向上させることに役立つ。この方法はハードサンプルの割合を向上させることによって顔生体検出モデルの性能を向上させ、定期的に継続的に最適化する必要のある顔生体検出モデルの応用シーンに応用することができる。 The training method designed in this disclosure can be applied to the optimization of any facial biometric deep learning neural network model, which helps improve the optimization efficiency of the model. This method improves the performance of face biometric detection model by increasing the hard sample ratio, and can be applied to the application scene of face biometric detection model, which needs to be continuously optimized regularly.

図3に示すように、本開示の第3実施例による生体検出モデルのトレーニング装置の構成を示す図であり、前記生体検出モデルのトレーニング装置は、生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築するための構築モジュール301と、前記トレーニングセットに基づいて予め設定された生体検出モデルをトレーニングし、第1生体検出モデルを取得し、前記テストセットに基づいて第1生体検出モデルをトレーニングし、テスト結果を生成するためのトレーニングモジュール302と、前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得するためのサンプル取得モジュール303と、第1サンプルデータに基づいて、トレーニングセット、テストセットを更新して、前記生体検出モデルをさらにトレーニングするための更新モジュール304とを含む。 As shown in FIG. 3, it is a diagram showing the configuration of a liveness detection model training device according to a third embodiment of the present disclosure, wherein the liveness detection model training device comprises a training set and a test set for training a liveness detection model. a building module 301 for building a set, training a preset liveness detection model based on the training set to obtain a first liveness detection model, and training a first liveness detection model based on the test set; a training module 302 for generating test results; a sample acquisition module 303 for analyzing the test set based on the test results and obtaining first sample data; and based on the first sample data, and an update module 304 for updating the training set, test set, and further training the liveness detection model.

本開示の実施例では、前記構築モジュール301が生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築することは、混合データセットに基づいてトレーニングセットおよびテストセットを構築することを含み、前記混合データセットは新データおよび元データを含む。 In an embodiment of the present disclosure, the construction module 301 constructing a training set and a test set for training a liveness detection model includes constructing a training set and a test set based on a mixed data set, wherein said A mixed dataset contains new data and original data.

本開示の実施例では、前記構築モジュール301が混合データセットに基づいてトレーニングセットおよびテストセットを構築することは、前記混合データセットにおいてランダムサンプリングを行うことと、サンプリングされたデータをトレーニングセットとして構成することと、サンプリングされたデータ以外のデータをテストセットとして構成することとを含む。 In an embodiment of the present disclosure, the construction module 301 constructing a training set and a test set based on a mixed data set includes performing random sampling on the mixed data set and constructing the sampled data as a training set. and forming data other than the sampled data as a test set.

本開示の実施例では、前記サンプル取得モジュール303が前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得することは、テスト結果に基づいてテストセットにおけるデータを採点して予測スコアを取得し、前記予測スコアに基づいてテストセットにおけるデータをソートし、前記予測スコアが所定閾値を満たすデータを第1サンプルデータとして確定することを含む。 In an embodiment of the present disclosure, the sample acquisition module 303 analyzing the test set based on the test results and acquiring first sample data includes scoring and predicting data in the test set based on the test results. Obtaining a score, sorting the data in the test set based on the predicted score, and determining data for which the predicted score meets a predetermined threshold as first sample data.

本開示の実施例では、前記サンプル取得モジュール303が第1サンプルデータに基づいてトレーニングセット、テストセットを更新することは、第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することを含む。 In an embodiment of the present disclosure, updating the training set and the test set by the sample acquisition module 303 based on the first sample data means extracting a part of the sample data in the first sample data to obtain a training set and a test set, respectively. In addition to the set, it includes constructing an updated training set and an updated test set.

本開示の実施例では、前記サンプル取得モジュール303が第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することは、前記第1サンプルデータにおいて、予め設定されたサンプリングレートで第2サンプルデータを抽出し、抽出された第2サンプルデータをトレーニングセットに加え、更新後のトレーニングセットを構成し、第2サンプルデータを除く第1サンプルデータをテストセットに加え、更新後のテストセットを構成することと、予め設定されたサンプリングレートを予め設定された減衰率で減衰更新し、減衰更新後のサンプリングレートを取得することと、更新されたトレーニングセットと更新されたテストセットに基づいて生体検出モデルをトレーニングすることと、トレーニングステップを反復的に実行し、生体検出モデルが予め設定された精度に収束したと判断すると、トレーニングを停止し、最終的にトレーニングされた生体検出モデルを出力することとを含む。 In an embodiment of the present disclosure, the sample acquisition module 303 respectively extracts a portion of sample data from the first sample data and adds them to the training set and the test set to form an updated training set and an updated test set. That is, in the first sample data, extract the second sample data at a preset sampling rate, add the extracted second sample data to the training set, constitute the updated training set, and the second sample data adding the first sample data excluding the data to the test set to form an updated test set; and decay updating the preset sampling rate with a preset decay rate to obtain the sampling rate after the decay update. training a liveness detection model based on the updated training set and the updated test set; and performing the training step iteratively to determine that the liveness detection model has converged to a preset accuracy. Then stop training and output the final trained liveness detection model.

本開示の実施例では、前記構築モジュール301が前記混合データセットにおいてランダムサンプリングを行うことは、予め設定されたハイパーパラメータの初期サンプリングレートに基づいて、前記混合データセットにおいてランダムサンプリングを行うことを含む。 In an embodiment of the present disclosure, performing random sampling on the mixed data set by the construction module 301 includes performing random sampling on the mixed data set based on an initial sampling rate of a preset hyperparameter. .

本開示の実施例では、前記構築モジュール301が予め設定されたハイパーパラメータの初期サンプリングレートに基づいて、前記混合データセットにおいてランダムサンプリングを行うことは、前記ハイパーパラメータの初期サンプリングレートが、0%より大きくかつ50%より小さい値をとることを含む。 In an embodiment of the present disclosure, the construction module 301 performs random sampling on the mixed data set based on a preset initial sampling rate of hyperparameters, wherein the initial sampling rate of hyperparameters is less than 0%. Including taking values that are greater and less than 50%.

本開示の実施例では、前記サンプル取得モジュール303が0%より大きくかつ30%より小さい値をとる、予め設定されたサンプルレートを予め設定された減衰率で減衰更新するために用いられる。 In an embodiment of the present disclosure, the sample acquisition module 303 is used to decay update a preset sample rate with a preset decay rate, which takes a value greater than 0% and less than 30%.

本開示の技術案では、係るユーザ個人情報の収集、記憶、使用、加工、伝送、提供と公開などの処理は、すべて関連法律法規の規定に符合し、かつ公序良俗に違反しない。 In the technical solution of the present disclosure, the collection, storage, use, processing, transmission, provision and disclosure of personal information of users comply with relevant laws and regulations and do not violate public order and morals.

本開示の実施例によれば、本開示は、電子機器、コンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体およびコンピュータプログラム製品をさらに提供する。 According to embodiments of the disclosure, the disclosure further provides an electronic device, a non-transitory computer-readable storage medium having computer instructions stored thereon, and a computer program product.

図4は本開示の実施例を実施できる例示的な電子機器400を示すブロック図である。電子機器は、様々な形態のデジタルコンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナル・デジタル・アシスタント、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、個人デジタルプロセッサ、セルラー電話、スマートフォン、着用可能な装置とその他の類似する計算装置を示してもよい。本明細書に示される部品、これらの接続関係およびこれらの機能は例示的なものに過ぎず、本明細書に説明した本開示および/または請求した本開示の実現を制限しない。 FIG. 4 is a block diagram illustrating an exemplary electronic device 400 with which embodiments of the present disclosure may be implemented. Electronic equipment refers to various forms of digital computers, such as laptop computers, desktop computers, workstations, personal digital assistants, servers, blade servers, mainframe computers, and other suitable computers. Electronic devices may also refer to various forms of mobile devices such as personal digital processors, cellular phones, smart phones, wearable devices and other similar computing devices. The components, their connections and their functionality shown herein are merely exemplary and do not limit the implementation of the disclosure as described and/or claimed herein.

図4に示すように、機器400は、計算ユニット401を含み、それはリードオンリーメモリ(ROM)402に記憶されるコンピュータプログラムまた記憶ユニット408からランダムアクセスメモリ(RAM)403にロードされるコンピュータプログラムによって、種々の適当な操作と処理を実行することができる。RAM 403において、更に機器400を操作するために必要な様々なプログラムとデータを記憶してもよい。計算ユニット401、ROM 402およびRAM 403はバス404によって互いに接続される。入力/出力(I/O)インターフェース405もバス404に接続される。 As shown in FIG. 4, the apparatus 400 includes a computing unit 401 which can be read by a computer program stored in read-only memory (ROM) 402 or loaded from storage unit 408 into random access memory (RAM) 403 . , can perform various suitable operations and processes. RAM 403 may also store various programs and data necessary to operate instrument 400 . Computing unit 401 , ROM 402 and RAM 403 are connected together by bus 404 . Input/output (I/O) interface 405 is also connected to bus 404 .

機器400における複数の部品はI/Oインターフェース405に接続され、複数の部品は、キーボード、マウスなどの入力ユニット406、様々なタイプのディスプレイ、スピーカーなどの出力ユニット407、磁気ディスク、光ディスクなどの記憶ユニット408、およびネットワークカード、モデム、無線通信送受信機などの通信ユニット409を含む。通信ユニット409は、機器400が例えばインターネットなどのコンピュータネットワークおよび/または様々な電気通信ネットワークを介して他の機器と情報/データを交換することを可能にする。 A plurality of components in the device 400 are connected to an I/O interface 405, and a plurality of components include an input unit 406 such as a keyboard, a mouse, etc., an output unit 407 such as various types of displays, speakers, etc., a storage unit such as a magnetic disk, an optical disk, etc. It includes a unit 408 and a communication unit 409 such as a network card, modem, wireless communication transceiver. Communication unit 409 enables device 400 to exchange information/data with other devices via computer networks, such as the Internet, and/or various telecommunications networks.

計算ユニット401は処理および計算能力を有する様々な汎用および/または専用の処理コンポーネントであってもよい。計算ユニット401の例には、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、様々な専用人工知能(AI)計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ(DSP)、および任意の適当なプロセッサ、コントローラ、マイクロコントローラなどが含まれるがこれらに限定されないことである。計算ユニット401は、例えば生体検出モジュールトレーニング方法などの以上に記載の各方法および処理を実行する。例えば、いくつかの実施例では、生体検出モジュールトレーニング方法はコンピュータソフトウェアプログラムとして実現されてもよく、機械可読媒体、例えば、記憶ユニット408に有形に含まれる。いくつかの実施例では、コンピュータプログラムの一部または全てはROM 402および/または通信ユニット409を経由して機器400にロードおよび/またはインストールされてもよい。コンピュータプログラムがRAM 403にロードされて計算ユニット401によって実行される場合、以上で説明される生体検出モジュールトレーニング方法の1つまたは複数のステップを実行することができる。代替的に、別の実施例では、計算ユニット401は他のいかなる適切な方式で(例えば、ファームウェアにより)生体検出モジュールトレーニング方法を実行するように構成されてもよい。 Computing unit 401 may be various general purpose and/or special purpose processing components having processing and computing capabilities. Examples of computing units 401 include central processing units (CPUs), graphics processing units (GPUs), various dedicated artificial intelligence (AI) computing chips, computing units that run various machine learning model algorithms, digital signal processors ( DSP), and any suitable processor, controller, microcontroller, or the like. The computing unit 401 executes each of the methods and processes described above, such as the liveness detection module training method. For example, in some embodiments the liveness detection module training method may be implemented as a computer software program, tangibly contained in a machine-readable medium, eg, storage unit 408 . In some embodiments, some or all of the computer programs may be loaded and/or installed on device 400 via ROM 402 and/or communication unit 409 . When the computer program is loaded into RAM 403 and executed by computing unit 401, one or more steps of the liveness detection module training method described above may be performed. Alternatively, in another embodiment, computing unit 401 may be configured (eg, by firmware) to execute the liveness detection module training method in any other suitable manner.

本明細書で上述したシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、ロードプログラマブル論理デバイス(CPLD)、ソフトウェア・ハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせにおいて実装することができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラムに実施され、この1つまたは複数のコンピュータプログラムは少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステムで実行しおよび/または解釈してもよく、このプログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、少なくとも1つの出力装置からデータと命令を受信し、データと命令をこの記憶システム、この少なくとも1つの入力装置、この少なくとも1つの出力装置に送信してもよいこと、を含んでもよい。 Various embodiments of the systems and techniques described herein above are digital electronic circuit systems, integrated circuit systems, field programmable gate arrays (FPGAs), application specific integrated circuits (ASICs), application specific standard products (ASSP), system-on-chip (SOC), load programmable logic device (CPLD), software hardware, firmware, software, and/or combinations thereof. These various embodiments may be embodied in one or more computer programs, which may be executed and/or interpreted by a programmable system including at least one programmable processor; The programmable processor may be a dedicated or general purpose programmable processor, receives data and instructions from the storage system, at least one input device, and at least one output device, and transmits data and instructions to the storage system, the at least one input device. , may be sent to the at least one output device.

本開示の方法を実施するプログラムコードは1つまたは複数のプログラミング言語のいかなる組み合わせで書かれてもよい。これらのプログラムコードを汎用コンピュータ、特殊目的のコンピュータまたは他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供してよく、よってプログラムコードはプロセッサまたはコントローラにより実行される時にフローチャートおよび/またはブロック図に規定の機能/操作を実施する。プログラムコードは完全に機械で実行されてよく、部分的に機械で実行されてよく、独立ソフトウェアパッケージとして部分的に機械で実行されかつ部分的に遠隔機械で実行されてよく、または完全に遠隔機械またはサーバで実行されてもよい。 Program code implementing the methods of the present disclosure may be written in any combination of one or more programming languages. These program codes may be provided to a processor or controller of a general purpose computer, special purpose computer or other programmable data processing apparatus such that the program code, when executed by the processor or controller, is represented by the flowcharts and/or block diagrams as defined in the flowcharts and/or block diagrams. Perform a function/operation. The program code may be fully machine executed, partially machine executed, partially machine executed and partially remote machine executed as an independent software package, or fully remote machine executed. Or it may run on a server.

本開示のコンテキストにおいて、機械可読媒体は有形の媒体であってもよく、命令実行システム、装置またはデバイスに使用されるまたは命令実行システム、装置またはデバイスに結合されて使用されるプログラムを具備または記憶してもよい。機械可読媒体は機械可読信号媒体または機械可読記憶媒体であってもよい。機械可読媒体は、電子、磁気、光学、電磁、赤外線、または半導体システム、装置またはデバイス、または上記内容のいかなる適切な組み合わせを含んでもよいが、これらに限定されない。機械可読記憶媒体のより具体的な例は、1つまたは複数のリード線による電気接続、ポータブルコンピュータディスク、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバー、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、または上記内容のいかなる適切な組み合わせを含む。 In the context of the present disclosure, a machine-readable medium may be a tangible medium that contains or stores a program that is used with or coupled to an instruction execution system, apparatus or device. You may A machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include, but is not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus or device, or any suitable combination of the above. More specific examples of machine-readable storage media are electrical connections via one or more leads, portable computer disks, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable readout including dedicated memory (EPROM or flash memory), fiber optics, portable compact disk read only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.

ユーザとのインタラクションを提供するために、コンピュータにはここで説明したシステムと技術を実施してよく、このコンピュータは、ユーザに情報を表示する表示装置(例えば、CRT(陰極線管、Cathode Ray Tube)またはLCD(液晶ディスプレイ、Liquid Crystal Display)監視モニタ)およびキーボードとポインティング装置(例えば、マウスやトラックボール)を備え、ユーザはこのキーボードとこのポインティング装置を介してコンピュータに入力してもよい。その他の種類の装置は更に、ユーザとのインタラクションを提供してもよい。例えば、ユーザに提供するフィードバックはいかなる形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、いかなる形態(音入力、音声入力、または触覚入力を含む)でユーザからの入力を受信してもよい。 A computer may implement the systems and techniques described herein to provide interaction with a user, and the computer may include a display device (e.g., a CRT (Cathode Ray Tube)) for displaying information to the user. or a LCD (Liquid Crystal Display) monitor) and a keyboard and pointing device (eg, mouse or trackball) through which a user may input into the computer. Other types of devices may also provide user interaction. For example, the feedback provided to the user can be any form of sensory feedback (e.g., visual, auditory, or tactile feedback), and any form of feedback from the user (including audible, audio, or tactile input). may receive input from

ここで述べたシステムや技術は、バックステージ部材を含む計算システム(例えば、データサーバとして)や、ミドルウェア部材を含む計算システム(例えば、アプリケーションサーバ)や、フロントエンド部材を含む計算システム(例えば、グラフィカルユーザインタフェースやウェブブラウザを有するユーザコンピュータ、ユーザが、そのグラフィカルユーザインタフェースやウェブブラウザを通じて、それらのシステムや技術の実施形態とのインタラクティブを実現できる)、あるいは、それらのバックステージ部材、ミドルウェア部材、あるいはフロントエンド部材の任意の組み合わせからなる計算システムには実施されてもよい。システムの部材は、任意の形式や媒体のデジタルデータ通信(例えば、通信ネットワーク)により相互に接続されてもよい。通信ネットワークの一例は、例えば、ローカルネットワーク(LAN)、広域ネットワーク(WAN)、インターネットを含む。 The systems and techniques described herein may be computing systems including backstage components (e.g., as data servers), computing systems including middleware components (e.g., application servers), or computing systems including front-end components (e.g., graphical a user computer having a user interface or web browser, through which a user can interact with an embodiment of those systems or techniques), or their backstage components, middleware components, or It may be implemented in a computing system consisting of any combination of front end components. The components of the system can be interconnected by any form or medium of digital data communication (eg, a communication network). Examples of communication networks include, for example, local networks (LAN), wide area networks (WAN), and the Internet.

コンピュータシステムは、クライアント側とサーバを含んでもよい。クライアント側とサーバは、一般的に相互に遠く離れ、通常、通信ネットワークを介してインタラクションを行う。互にクライアント側-サーバという関係を有するコンピュータプログラムを対応するコンピュータで運転することによってクライアント側とサーバの関係を生成する。サーバは、クラウドサーバであってもよく、分散型システムのサーバでも、またはブロックチェーンと組み合わせたサーバであってもよい。 The computer system can include client sites and servers. A client and server are generally remote from each other and typically interact through a communication network. A client-server relationship is created by running computer programs on corresponding computers that have a client-server relationship to each other. The server may be a cloud server, a server in a distributed system, or a server in combination with a blockchain.

理解すべきことは、前述した様々な形態のフローを用いて、ステップを改めて順位付け、増加又削除してもよいことである。例えば、本開示に記載された各ステップは、並行して実行してもよいし、順次実行してもよいし、異なる順序で実行させてもよいし、本開示に開示された技術案が所望する結果を実現できれば、本文はこれに限定されないことである。 It should be understood that steps may be reordered, increased or deleted using the various forms of flow described above. For example, each step described in this disclosure may be executed in parallel, sequentially, or in a different order. The text is not limited to this, as long as it achieves the desired result.

以上に記載の具体的な実施形態は、本開示の特許請求の範囲を限定するものではない。当業者が理解すべきことは、設計要求と他の要因に基づいて、様々な修正、組み合わせ、一部の組み合わせと代替を行うことができることである。本開示における精神および原則から逸脱することなく行われるいかなる修正、同等物による置換や改良などは、いずれも本開示の保護範囲に含まれるものである。 The specific embodiments described above are not intended to limit the scope of the claims of this disclosure. Those skilled in the art should understand that various modifications, combinations, sub-combinations and substitutions can be made based on design requirements and other factors. Any modification, equivalent replacement, improvement, etc. without departing from the spirit and principle of this disclosure shall fall within the protection scope of this disclosure.

Claims (21)

生体検出モデルのトレーニング方法であって、
生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築することと、
前記トレーニングセットに基づいて、予め設定された生体検出モデルをトレーニングし、第1生体検出モデルを取得することと、
前記テストセットに基づいて第1生体検出モデルをトレーニングし、テスト結果を生成することと、
前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得することと、
第1サンプルデータに基づいて、トレーニングセット、テストセットを更新して、前記生体検出モデルをさらにトレーニングすることとを含む生体検出モデルのトレーニング方法。
A method of training a liveness detection model, comprising:
constructing a training set and a test set for training a liveness detection model;
training a preset liveness detection model based on the training set to obtain a first liveness detection model;
training a first liveness detection model based on the test set to generate test results;
analyzing the test set based on the test results to obtain first sample data;
A method of training a liveness detection model, comprising updating a training set, a test set, and further training the liveness detection model based on first sample data.
前記生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築することは、混合データセットに基づいてトレーニングセットおよびテストセットを構築することを含み、前記混合データセットは新データおよび元データを含む請求項1に記載の方法。 Constructing a training set and a test set for training the liveness detection model includes constructing a training set and a test set based on a mixed data set, the mixed data set including new data and original data. The method of claim 1. 前記混合データセットに基づいてトレーニングセットおよびテストセットを構築することは、前記混合データセットにおいてランダムサンプリングを行うことと、サンプリングされたデータをトレーニングセットとして構成することと、サンプリングされたデータ以外のデータをテストセットとして構成することとを含む、請求項2に記載の方法。 Constructing a training set and a test set based on the mixed data set includes: performing random sampling on the mixed data set; configuring the sampled data as a training set; as a test set. 前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得することは、
テスト結果に基づいてテストセットにおけるデータを採点して予測スコアを取得し、前記予測スコアに基づいてテストセットにおけるデータをソーティングし、前記予測スコアが所定閾値を満たすデータを第1サンプルデータとして確定することを含む請求項1に記載の方法。
Analyzing the test set based on the test results to obtain first sample data includes:
Grading the data in the test set based on the test result to obtain a prediction score, sorting the data in the test set based on the prediction score, and determining the data whose prediction score satisfies a predetermined threshold as first sample data. 2. The method of claim 1, comprising:
前記第1サンプルデータに基づいてトレーニングセット、テストセットを更新することは、第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することを含む請求項3に記載の方法。 Updating the training set and the test set based on the first sample data includes extracting a part of the sample data in the first sample data, adding it to the training set and the test set, and adding it to the updated training set and the updated training set. 4. The method of claim 3, comprising constructing a test set for . 第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することは、前記第1サンプルデータにおいて、予め設定されたサンプリングレートで第2サンプルデータを抽出し、抽出された第2サンプルデータをトレーニングセットに加え、更新後のトレーニングセットを構成し、第2サンプルデータを除く第1サンプルデータをテストセットに加え、更新後のテストセットを構成することと、予め設定されたサンプリングレートを予め設定された減衰率で減衰更新し、減衰更新後のサンプリングレートを取得することと、更新されたトレーニングセットと更新されたテストセットに基づいて生体検出モデルをトレーニングすることと、トレーニングステップを反復的に実行し、生体検出モデルが予め設定された精度に収束したと判断すると、トレーニングを停止し、トレーニングされた生体検出モデルを出力することとを含む請求項5に記載の方法。 Extracting a part of each sample data from the first sample data and adding them to the training set and the test set to form an updated training set and an updated test set is preset in the first sample data. extracting the second sample data at the same sampling rate, adding the extracted second sample data to the training set to form an updated training set, adding the first sample data excluding the second sample data to the test set, configuring an updated test set; decaying updating a preset sampling rate with a preset decay rate to obtain a decaying updated sampling rate; Training a liveness detection model based on a test set, performing the training steps iteratively, and when we determine that the liveness detection model has converged to a preset accuracy, stopping training and training the liveness detection model 6. The method of claim 5, comprising outputting a . 前記混合データセットにおいてランダムサンプリングを行うことは、予め設定されたハイパーパラメータの初期サンプリングレートに基づいて、前記混合データセットにおいてランダムサンプリングを行うことを含む請求項3に記載の方法。 4. The method of claim 3, wherein random sampling in the mixed data set comprises random sampling in the mixed data set based on an initial sampling rate of preset hyperparameters. 前記ハイパーパラメータの初期サンプリングレートは、0%より大きくかつ50%より小さい値をとる請求項7に記載の方法。 8. The method of claim 7, wherein the hyperparameter initial sampling rate takes a value greater than 0% and less than 50%. 前記予め設定されたサンプリングレートは、0%より大きくかつ30%より小さい値をとる請求項6に記載の方法。 7. The method of claim 6, wherein the preset sampling rate takes a value greater than 0% and less than 30%. 生体検出モデルのトレーニング装置であって、
生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築するための構築モジュールと、
前記トレーニングセットに基づいて予め設定された生体検出モデルをトレーニングし、第1生体検出モデルを取得し、前記テストセットに基づいて第1生体検出モデルをトレーニングし、テスト結果を生成するためのトレーニングモジュールと、
前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得するためのサンプル取得モジュールと、
第1サンプルデータに基づいて、トレーニングセット、テストセットを更新して、前記生体検出モデルをさらにトレーニングするための更新モジュールとを含む生体検出モデルのトレーニング装置。
A liveness detection model training device comprising:
a building module for building a training set and a test set for training a liveness detection model;
A training module for training a preset liveness detection model based on the training set to obtain a first liveness detection model, training the first liveness detection model based on the test set, and generating test results. When,
a sample acquisition module for analyzing the test set based on the test results to acquire first sample data;
An apparatus for training a liveness detection model, comprising: an update module for updating a training set, a test set, and further training the liveness detection model based on first sample data.
前記構築モジュールが生体検出モデルをトレーニングするためのトレーニングセットおよびテストセットを構築することは、混合データセットに基づいてトレーニングセットおよびテストセットを構築することを含み、前記混合データセットは新データおよび元データを含む請求項10に記載の装置。 Constructing a training set and a test set for the construction module to train a liveness detection model includes constructing a training set and a test set based on a mixed data set, the mixed data set being new data and original data. 11. The device of claim 10, comprising data. 前記構築モジュールが混合データセットに基づいてトレーニングセットおよびテストセットを構築することは、前記混合データセットにおいてランダムサンプリングを行うことと、サンプリングされたデータをトレーニングセットとして構成することと、サンプリングされたデータ以外のデータをテストセットとして構成することとを含む請求項11に記載の装置。 The construction module constructing a training set and a test set based on a mixed data set includes: performing random sampling on the mixed data set; forming sampled data as a training set; 12. The apparatus of claim 11, comprising constructing the data other than as the test set. 前記サンプル取得モジュールが前記テスト結果に基づいて前記テストセットを分析し、第1サンプルデータを取得することは、
テスト結果に基づいてテストセットにおけるデータを採点して予測スコアを取得し、前記予測スコアに基づいてテストセットにおけるデータをソーティングし、前記予測スコアが所定閾値を満たすデータを第1サンプルデータとして確定することを含む請求項11に記載の装置。
The sample acquisition module analyzing the test set based on the test results to acquire first sample data includes:
Grading the data in the test set based on the test result to obtain a prediction score, sorting the data in the test set based on the prediction score, and determining the data whose prediction score satisfies a predetermined threshold as first sample data. 12. The apparatus of claim 11, comprising:
前記サンプル取得モジュールが第1サンプルデータに基づいてトレーニングセット、テストセットを更新することは、第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することを含む請求項12に記載の装置。 The sample acquisition module updating the training set and the test set based on the first sample data extracts a part of the sample data from the first sample data, adds it to the training set and the test set, and adds it to the training set after updating. 13. The apparatus of claim 12, comprising constructing a set and an updated test set. 前記サンプル取得モジュールが第1サンプルデータにおいてそれぞれ一部のサンプルデータを抽出してトレーニングセットおよびテストセットに加え、更新後のトレーニングセットと更新後のテストセットを構成することは、前記第1サンプルデータにおいて、予め設定されたサンプリングレートで第2サンプルデータを抽出し、抽出された第2サンプルデータをトレーニングセットに加え、更新後のトレーニングセットを構成し、第2サンプルデータを除く第1サンプルデータをテストセットに加え、更新後のテストセットを構成することと、予め設定されたサンプリングレートを予め設定された減衰率で減衰更新し、減衰更新後のサンプリングレートを取得することと、更新されたトレーニングセットと更新されたテストセットに基づいて生体検出モデルをトレーニングすることと、トレーニングステップを反復的に実行し、生体検出モデルが予め設定された精度に収束したと判断すると、トレーニングを停止し、最終的にトレーニングされた生体検出モデルを出力することとを含む請求項14に記載の装置。 The sample acquisition module extracts some sample data from the first sample data and adds them to a training set and a test set to form an updated training set and an updated test set, wherein the first sample data In, extracting the second sample data at a preset sampling rate, adding the extracted second sample data to the training set, forming an updated training set, and removing the first sample data except the second sample data In addition to the test set, constructing an updated test set; decaying updating the preset sampling rate with a preset decay rate to obtain the post-decay updating sampling rate; Training a liveness detection model based on a set and an updated test set, and performing the training steps iteratively, stopping training when we determine that the liveness detection model has converged to a preset accuracy, and a final and outputting a dynamically trained liveness detection model. 前記構築モジュールが前記混合データセットにおいてランダムサンプリングを行うことは、予め設定されたハイパーパラメータの初期サンプリングレートに基づいて、前記混合データセットにおいてランダムサンプリングを行うことを含む請求項12に記載の装置。 13. The apparatus of claim 12, wherein the construction module performing random sampling on the mixed data set comprises performing random sampling on the mixed data set based on an initial sampling rate of preset hyperparameters. 前記構築モジュールが予め設定されたハイパーパラメータの初期サンプリングレートに基づいて、前記混合データセットにおいてランダムサンプリングを行うことは、前記ハイパーパラメータの初期サンプリングレートが、0%より大きくかつ50%より小さい値をとることを含む請求項16に記載の装置。 The construction module performing random sampling on the mixed data set based on a preset hyperparameter initial sampling rate determines that the hyperparameter initial sampling rate is greater than 0% and less than 50%. 17. The apparatus of claim 16, comprising taking. 前記サンプル取得モジュールは、0%より大きくかつ30%より小さい予め設定されたサンプルレートを予め設定された減衰率で減衰更新するために用いられる請求項15に記載の装置。 16. The apparatus of claim 15, wherein the sample acquisition module is used to decay update a preset sample rate greater than 0% and less than 30% with a preset decay rate. 電子機器であって、
少なくとも1つのプロセッサ、および
前記少なくとも1つのプロセッサに通信接続されたメモリを含み、
前記メモリは、前記少なくとも1つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサに請求項1に記載の方法を実行させる電子機器。
an electronic device,
at least one processor; and memory communicatively coupled to the at least one processor;
The memory stores instructions executable by the at least one processor, the instructions being executed by the at least one processor to cause the at least one processor to perform the method of claim 1. machine.
コンピュータに請求項1に記載の方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体。 A non-transitory computer-readable storage medium storing computer instructions for causing a computer to perform the method of claim 1. プロセッサによって実行されると、請求項1に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品。 A computer program product comprising a computer program that, when executed by a processor, implements the method of claim 1.
JP2022088153A 2021-09-02 2022-05-31 Training method, device, electronic device and storage medium for living body detection model Active JP7357114B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111026802.6A CN114120452A (en) 2021-09-02 2021-09-02 Living body detection model training method and device, electronic equipment and storage medium
CN202111026802.6 2021-09-02

Publications (2)

Publication Number Publication Date
JP2022116231A true JP2022116231A (en) 2022-08-09
JP7357114B2 JP7357114B2 (en) 2023-10-05

Family

ID=80441245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022088153A Active JP7357114B2 (en) 2021-09-02 2022-05-31 Training method, device, electronic device and storage medium for living body detection model

Country Status (3)

Country Link
JP (1) JP7357114B2 (en)
KR (1) KR20220078538A (en)
CN (1) CN114120452A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512813A (en) * 2022-09-20 2022-12-23 海南金域医学检验中心有限公司 Sample monitoring method, model training method, device and medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495291B (en) * 2022-04-01 2022-07-12 杭州魔点科技有限公司 Method, system, electronic device and storage medium for in vivo detection

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111731A (en) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, and program
JP2017224184A (en) * 2016-06-16 2017-12-21 株式会社日立製作所 Machine learning device
US20200202253A1 (en) * 2018-12-19 2020-06-25 Fronteo, Inc. Computer, configuration method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933414B (en) * 2015-06-23 2018-06-05 中山大学 A kind of living body faces detection method based on WLD-TOP
CN108549854B (en) * 2018-03-28 2019-04-30 中科博宏(北京)科技有限公司 A kind of human face in-vivo detection method
CN110956255B (en) * 2019-11-26 2023-04-07 中国医学科学院肿瘤医院 Difficult sample mining method and device, electronic equipment and computer readable storage medium
CN111753914B (en) * 2020-06-29 2024-04-16 北京百度网讯科技有限公司 Model optimization method and device, electronic equipment and storage medium
CN112215280B (en) * 2020-10-12 2022-03-15 西安交通大学 Small sample image classification method based on meta-backbone network
CN112348082B (en) * 2020-11-06 2021-11-09 上海依智医疗技术有限公司 Deep learning model construction method, image processing method and readable storage medium
CN112651458B (en) * 2020-12-31 2024-04-02 深圳云天励飞技术股份有限公司 Classification model training method and device, electronic equipment and storage medium
CN112990326A (en) * 2021-03-24 2021-06-18 华南理工大学 Self-adaptive sampling method for classifying unbalanced distribution data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017111731A (en) * 2015-12-18 2017-06-22 キヤノンマーケティングジャパン株式会社 Information processing system, information processing method, and program
JP2017224184A (en) * 2016-06-16 2017-12-21 株式会社日立製作所 Machine learning device
US20200202253A1 (en) * 2018-12-19 2020-06-25 Fronteo, Inc. Computer, configuration method, and program
JP2020101856A (en) * 2018-12-19 2020-07-02 株式会社Fronteo Computer, constitution method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
原 佑輔 ほか: "車載カメラを用いたCNNによる方向別歩行者頭部検出法の提案 Proposal of Head Detection Method Based", 情報処理学会 研究報告 高度交通システムとスマートコミュニティ(ITS) 2016−ITS−067, JPN6023022887, 2017, JP, ISSN: 0005077917 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512813A (en) * 2022-09-20 2022-12-23 海南金域医学检验中心有限公司 Sample monitoring method, model training method, device and medium

Also Published As

Publication number Publication date
JP7357114B2 (en) 2023-10-05
CN114120452A (en) 2022-03-01
KR20220078538A (en) 2022-06-10

Similar Documents

Publication Publication Date Title
US20230040095A1 (en) Method for pre-training model, device, and storage medium
CN111709247B (en) Data set processing method and device, electronic equipment and storage medium
US20210312139A1 (en) Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium
TW202020691A (en) Feature word determination method and device and server
JP7357114B2 (en) Training method, device, electronic device and storage medium for living body detection model
CN114970522B (en) Pre-training method, device, equipment and storage medium of language model
JP2021131858A (en) Entity word recognition method and apparatus
CN112580339B (en) Model training method and device, electronic equipment and storage medium
US20230073994A1 (en) Method for extracting text information, electronic device and storage medium
US20220374678A1 (en) Method for determining pre-training model, electronic device and storage medium
CN112784589A (en) Training sample generation method and device and electronic equipment
JP7369228B2 (en) Method, device, electronic device, and storage medium for generating images of user interest
CN113656587A (en) Text classification method and device, electronic equipment and storage medium
WO2022227760A1 (en) Image retrieval method and apparatus, electronic device and computer-readable storage medium
JP2023060846A (en) Model determination method, apparatus, electronic device, and memory
JP2023002690A (en) Semantics recognition method, apparatus, electronic device, and storage medium
JP2024507902A (en) Information retrieval methods, devices, electronic devices and storage media
CN114547252A (en) Text recognition method and device, electronic equipment and medium
US20230206007A1 (en) Method for mining conversation content and method for generating conversation content evaluation model
JP2023078411A (en) Information processing method, model training method, apparatus, appliance, medium and program product
US20230052623A1 (en) Word mining method and apparatus, electronic device and readable storage medium
CN115186738B (en) Model training method, device and storage medium
WO2023236405A1 (en) End-to-end sensitive text recall model training method and sensitive text recall method
CN113641724B (en) Knowledge tag mining method and device, electronic equipment and storage medium
JP2023012541A (en) Question answering method, device, and electronic apparatus based on table

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230925

R150 Certificate of patent or registration of utility model

Ref document number: 7357114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150