JP2023071912A - 事前トレーニングモデルのプロンプトベクトルの決定方法、装置及び電子機器 - Google Patents
事前トレーニングモデルのプロンプトベクトルの決定方法、装置及び電子機器 Download PDFInfo
- Publication number
- JP2023071912A JP2023071912A JP2023034494A JP2023034494A JP2023071912A JP 2023071912 A JP2023071912 A JP 2023071912A JP 2023034494 A JP2023034494 A JP 2023034494A JP 2023034494 A JP2023034494 A JP 2023034494A JP 2023071912 A JP2023071912 A JP 2023071912A
- Authority
- JP
- Japan
- Prior art keywords
- prompt
- vector
- determining
- vectors
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 637
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 title abstract description 8
- 238000013138 pruning Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000004048 modification Effects 0.000 claims description 48
- 238000012986 modification Methods 0.000 claims description 48
- 210000002569 neuron Anatomy 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本開示の実施例によれば、本開示はコンピュータプログラムをさらに提供し、コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法が実現される。
Claims (19)
- 第1のプロンプトベクトル及びサンプルデータに対応する第1のベクトルを取得するステップと、
事前トレーニングモデルに対して異なるN回の枝刈り処理を実行して、N個の枝刈りモデルを取得するステップであって、Nは1よりも大きい任意の整数であるステップと、
前記第1のベクトルと前記第1のプロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、前記第1のプロンプトベクトルに対応する第1のスコアを取得するステップと、
前記第1のスコアに基づいて、前記第1のプロンプトベクトルを修正して、第2のプロンプトベクトルを決定するステップと、
前記第2のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第1のスコアを取得する操作の実行に戻るステップと、
を含む、事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記第1のスコアを取得する操作の実行に戻ることが、
第N+1のプロンプトベクトルに隣接する最初のL個のプロンプトベクトル及び前記最初のL個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第1のスコアを取得し、LはN以下で1よりも大きい正の整数であり、Nは1よりも大きい正の整数であることと、
前記最初のL個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第1のスコアに基づいて、前記第N+1のプロンプトベクトルの修正モードを決定することと、
前記第N+1のプロンプトベクトルの修正モードに基づいて、前記第N+1のプロンプトベクトルを修正して、第N+2のプロンプトベクトルを生成することと、
を含む請求項1に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記最初のL個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第1のスコアに基づいて、前記第N+1のプロンプトベクトルの修正モードを決定することが、
最初のL個のプロンプトベクトルのうち隣接する2つのプロンプトベクトルにそれぞれ対応する第1のスコア間の第1の差を決定することと、
各第1の差に含まれる正の値の数が1つの場合、前記正の値に対応する2つのプロンプトベクトルの各対応する要素間の差を決定することと、
前記2つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第N+1のプロンプトベクトル内の各要素の修正モードを決定することと、
を含む請求項2に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記最初のL個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第1のスコアに基づいて、前記第N+1のプロンプトベクトルの修正モードを決定することが、
最初のL個のプロンプトベクトルのうち隣接する2つのプロンプトベクトルにそれぞれ対応する第1のスコア間の第1の差を決定することと、
各第1の差に含まれる正の値の数が複数の場合、最も大きい正の値に対応する2つのプロンプトベクトルの各対応する要素間の差を決定することと、
前記2つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第N+1のプロンプトベクトル内の各要素の修正モードを決定することと、
を含む請求項2に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記最初のL個のプロンプトベクトルのうち隣接する2つのプロンプトベクトルにそれぞれ対応する第1のスコア間の第1の差を決定した後、
各第1の差に含まれる最も大きい正の値の数が複数の場合、複数の前記最も大きい正の値にそれぞれ対応する2つのプロンプトベクトルを決定することと、
前記2つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値とN+1の間の第2の差を決定することと、
最も小さい第2の差に対応する2つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第N+1のプロンプトベクトル内の各要素の修正モードを決定することと、
を含む請求項4に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記第1のベクトルと前記第1のプロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、前記第1のプロンプトベクトルに対応する第1のスコアを取得するステップが、
前記第1のベクトルと前記第1のプロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得するステップと、
各前記予測ラベルとラベリングラベルの差に基づいて、各前記枝刈りモデルでの前記第1のプロンプトベクトルに対応する第2のスコアを決定するステップと、
複数の前記第2のスコアを平均化して、前記第1のプロンプトベクトルに対応する第1のスコアを決定するステップと、
を含む請求項1に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記サンプルデータに対応するターゲットプロンプトベクトルを決定することが、
候補プロンプトベクトルのシーケンスを記録し、前記候補プロンプトベクトルのシーケンスのうち隣接する2つの候補プロンプトベクトルに対応する番号値の間の第3の差はKであり、Kは正の整数であることと、
検証データに対応する第2のベクトルと候補プロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得することと、
各前記予測ラベルとラベリングラベルの差に基づいて、前記候補プロンプトベクトルに対応する第1のスコアを決定することと、
スコア値が最も高い第1のスコアに対応する候補プロンプトベクトルを、ターゲットプロンプトベクトルとして決定することと、
を含む請求項1に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 前記事前トレーニングモデルに対して異なるN回の枝刈り処理を実行して、N個の枝刈りモデルを取得するステップが、
枝刈りされるニューロンの数mを決定するステップであって、mは任意の正の整数であるステップと、
前記枝刈りされるニューロンの数mに基づいて、前記事前トレーニングモデルに対して異なるN回の枝刈り処理をそれぞれ実行して、N個の枝刈りモデルを取得するステップであって、2つの前記枝刈りモデルごとに、少なくとも1つのニューロンが異なるステップと、
を含む請求項1に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。 - 第1のプロンプトベクトル及びサンプルデータに対応する第1のベクトルを取得するための第1の取得モジュールと、
事前トレーニングモデルに対して異なるN回の枝刈り処理を実行して、N個の枝刈りモデルを取得するための処理モジュールであって、Nは1よりも大きい任意の整数である処理モジュールと、
前記第1のベクトルと前記第1のプロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、前記第1のプロンプトベクトルに対応する第1のスコアを取得するための第2の取得モジュールと、
前記第1のスコアに基づいて、前記第1のプロンプトベクトルを修正して、第2のプロンプトベクトルを決定するための修正モジュールと、
前記第2のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第1のスコアを取得する操作の実行に戻るための決定モジュールと、
を備える、事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記決定モジュールが、
第N+1のプロンプトベクトルに隣接する最初のL個のプロンプトベクトル及び前記最初のL個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第1のスコアを取得するための取得ユニットであって、LはN以下で1よりも大きい正の整数であり、Nは1よりも大きい正の整数である取得ユニットと、
前記最初のL個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第1のスコアに基づいて、前記第N+1のプロンプトベクトルの修正モードを決定するための決定ユニットと、
前記第N+1のプロンプトベクトルの修正モードに基づいて、前記第N+1のプロンプトベクトルを修正して、第N+2のプロンプトベクトルを生成するための生成ユニットと、
を含む請求項9に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記決定ユニットが、
最初のL個のプロンプトベクトルのうち隣接する2つのプロンプトベクトルにそれぞれ対応する第1のスコア間の第1の差を決定し、
各第1の差に含まれる正の値の数が1つの場合、前記正の値に対応する2つのプロンプトベクトルの各対応する要素間の差を決定し、
前記2つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第N+1のプロンプトベクトル内の各要素の修正モードを決定する請求項10に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記決定ユニットが、
最初のL個のプロンプトベクトルのうち隣接する2つのプロンプトベクトルにそれぞれ対応する第1のスコア間の第1の差を決定し、
各第1の差に含まれる正の値の数が複数の場合、最も大きい正の値に対応する2つのプロンプトベクトルの各対応する要素間の差を決定し、
前記2つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第N+1のプロンプトベクトル内の各要素の修正モードを決定する請求項10に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記決定ユニットが、
各第1の差に含まれる最も大きい正の値の数が複数の場合、複数の前記最も大きい正の値にそれぞれ対応する2つのプロンプトベクトルを決定し、
前記2つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値とN+1の間の第2の差を決定し、
最も小さい第2の差に対応する2つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第N+1のプロンプトベクトル内の各要素の修正モードを決定する請求項10に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記第2の取得モジュールが、
前記第1のベクトルと前記第1のプロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得し、
各前記予測ラベルとラベリングラベルの差に基づいて、各前記枝刈りモデルでの前記第1のプロンプトベクトルに対応する第2のスコアを決定し、
複数の前記第2のスコアを平均化して、前記第1のプロンプトベクトルに対応する第1のスコアを決定する請求項9に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記決定モジュールが、
候補プロンプトベクトルのシーケンスを記録し、前記候補プロンプトベクトルのシーケンスのうち隣接する2つの候補プロンプトベクトルに対応する番号値の間の第3の差はKであり、Kは正の整数であり、
検証データに対応する第2のベクトルと候補プロンプトベクトルを融合してから、前記N個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得し、
各前記予測ラベルとラベリングラベルの差に基づいて、前記候補プロンプトベクトルに対応する第1のスコアを決定し、
スコア値が最も高い第1のスコアに対応する候補プロンプトベクトルを、ターゲットプロンプトベクトルとして決定する請求項9に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 前記第1の取得モジュールが、
枝刈りされるニューロンの数mを決定し、mは任意の正の整数であり、
前記枝刈りされるニューロンの数mに基づいて、前記事前トレーニングモデルに対して異なるN回の枝刈り処理をそれぞれ実行して、N個の枝刈りモデルを取得し、2つの前記枝刈りモデルごとに、少なくとも1つのニューロンが異なる請求項9から14のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。 - 少なくとも1つのプロセッサと、
該少なくとも1つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも1つのプロセッサによって実行される命令が記憶されており、前記命令は、前記少なくとも1つのプロセッサが請求項1から8のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定方法を実行できるように、前記少なくとも1つのプロセッサによって実行される電子機器。 - コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が、コンピュータに請求項1から8のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。 - プロセッサによって実行される場合、請求項1から8のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定方法が実現されるコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210524324.X | 2022-05-14 | ||
CN202210524324.XA CN114723050B (zh) | 2022-05-14 | 2022-05-14 | 预训练模型提示向量的确定方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023071912A true JP2023071912A (ja) | 2023-05-23 |
Family
ID=82231396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023034494A Pending JP2023071912A (ja) | 2022-05-14 | 2023-03-07 | 事前トレーニングモデルのプロンプトベクトルの決定方法、装置及び電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230222344A1 (ja) |
JP (1) | JP2023071912A (ja) |
CN (1) | CN114723050B (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160127501A1 (en) * | 2014-11-03 | 2016-05-05 | Friendsy, Inc | Hint-based identification scheme for a network |
CN113516230B (zh) * | 2021-07-20 | 2023-06-02 | 华侨大学 | 基于平均秩重要性排序的自动化卷积神经网络剪枝方法 |
-
2022
- 2022-05-14 CN CN202210524324.XA patent/CN114723050B/zh active Active
-
2023
- 2023-03-07 JP JP2023034494A patent/JP2023071912A/ja active Pending
- 2023-03-08 US US18/118,859 patent/US20230222344A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230222344A1 (en) | 2023-07-13 |
CN114723050A (zh) | 2022-07-08 |
CN114723050B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210312139A1 (en) | Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium | |
CN112560479B (zh) | 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备 | |
US9613185B2 (en) | Influence filtering in graphical models | |
JP2022177220A (ja) | テキスト認識モデルの訓練方法、テキスト認識方法及び装置 | |
CN112487173B (zh) | 人机对话方法、设备和存储介质 | |
JP7264866B2 (ja) | イベント関係の生成方法、装置、電子機器及び記憶媒体 | |
EP4113357A1 (en) | Method and apparatus for recognizing entity, electronic device and storage medium | |
US20220374678A1 (en) | Method for determining pre-training model, electronic device and storage medium | |
JP2023015215A (ja) | テキスト情報の抽出方法、装置、電子機器及び記憶媒体 | |
CN113887615A (zh) | 图像处理方法、装置、设备和介质 | |
JP2023002690A (ja) | セマンティックス認識方法、装置、電子機器及び記憶媒体 | |
CN112906368B (zh) | 行业文本增量方法、相关装置及计算机程序产品 | |
CN112507705B (zh) | 一种位置编码的生成方法、装置及电子设备 | |
CN114792097B (zh) | 预训练模型提示向量的确定方法、装置及电子设备 | |
JP7242797B2 (ja) | 語句処理方法、機器及び記憶媒体 | |
CN113204616B (zh) | 文本抽取模型的训练与文本抽取的方法、装置 | |
CN115510193A (zh) | 查询结果向量化方法、查询结果确定方法及相关装置 | |
JP2022088540A (ja) | ユーザ興味画像の生成方法、装置、電子機器及び記憶媒体 | |
CN112395873B (zh) | 对白角色标注模型的生成方法、装置及电子设备 | |
JP2023071912A (ja) | 事前トレーニングモデルのプロンプトベクトルの決定方法、装置及び電子機器 | |
CN113408269A (zh) | 文本情感分析方法和装置 | |
CN112989066A (zh) | 数据处理方法和装置、电子设备、计算机可读介质 | |
CN111967253A (zh) | 一种实体消歧方法、装置、计算机设备及存储介质 | |
CN113591908B (zh) | 事件指称匹配方法、模型训练方法、装置和电子设备 | |
US11853702B2 (en) | Self-supervised semantic shift detection and alignment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240410 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |