JP2022063250A - SuperLoss:堅牢なカリキュラム学習のための一般的な損失 - Google Patents
SuperLoss:堅牢なカリキュラム学習のための一般的な損失 Download PDFInfo
- Publication number
- JP2022063250A JP2022063250A JP2021165902A JP2021165902A JP2022063250A JP 2022063250 A JP2022063250 A JP 2022063250A JP 2021165902 A JP2021165902 A JP 2021165902A JP 2021165902 A JP2021165902 A JP 2021165902A JP 2022063250 A JP2022063250 A JP 2022063250A
- Authority
- JP
- Japan
- Prior art keywords
- loss
- task
- computer
- data sample
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title description 74
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000010606 normalization Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 4
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 87
- 238000001514 detection method Methods 0.000 description 28
- 238000013459 approach Methods 0.000 description 18
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000005065 mining Methods 0.000 description 6
- 210000004179 neuropil Anatomy 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 4
- 241000282412 Homo Species 0.000 description 4
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000009827 uniform distribution Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
- 239000012855 volatile organic compound Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
はそのペア(pair)に関する正解ラベルであり、σ>0は2つのキーポイントの信頼度に対する入力従属的予測である。その損失は、二進ラベルを用いて[0、1]範囲の類似性点数を処理するように特別に設計されたので、他のタスク等に一般化し難いことに留意する。
はその信頼度を表す。パッチに対する点数は、微分可能な平均-精密度(Average-Precision、AP)の側面から損失として算出される。しかしながら、このような信頼度-認識損失関数の公式は2つの短所を持つ。第一に、信頼度σが制約のない変数ではないので(0及び1間で境界付けられる)、実際に回帰し難い点である。第二に、正規化の欠如により、最適の信頼度は実際にAP(z、y)<0.5の成立可否によって0又は1である点である。換言すれば、付与された固定のAP(z、y)<0.5に対してσ=0に設定することにより損失が最小化し、その反対も同様であるが、つまり、これは信頼度が極限値を受取るようにだけ助長する。
を持つという暗示的な仮定をするが、これは一般的に保証されないことに留意する。タスク損失の一つがネガティブ(negative)である場合、何も実際にマルチタスク損失が-∞まで増加するのを防止することができない。
を入力として受信するように構成され、ここで、サンプルxiはラベルyiを有し、神経網に入力される。ラベル付けのデータサンプルのセットは、ラベル付けのサンプルイメージのセット、ラベル付けのテキスト文書のセット、及びラベル付けのオーディオコンテンツのセットの一つであり得る。
に位置する。ランベルトW関数は、初等関数らで表現できないが、大部分の現代数学ライブラリーらで具現される(例えば、パイソン(python)においてscipy.special.lambertwで利用可能である)。例えば、関数の予め計算された区分的近似(piece-wise approximation)が用いられ、これは、grid_sample()関数を用いてPyTorchのGPUで容易に具現できる。β≦β0の場合に、最適の信頼度は
項は異なる分布に代替できる。また他の可能性は、本来の損失が一つの混合成分の対数尤度であり、第2の成分がノイズを(例えば、ラベルに対する均一な分布として)モデリングする、混合モデルを使用することである。
前述したように、SuperLoss関数は、多様なタスクを遂行するように神経網を訓練するのに用いられるタスク-不特定的な損失関数である。一部の実施例において、神経網は、分類、回帰、物体検出及びイメージ検索のようなイメージプロセシングのタスクを遂行するように訓練される。
に直接プラグイン(plug in)が可能である。閾値τは固定され、τ=ぉgCに設定でき(ここで、Cはクラスの数)、均一な予測の交差-エントロピーを示すので、正確な予測及び不正確な予測間の自然な境界を示す。
からなり、ここでm>0はマージンである。ポジティブペアに対するヌル(null)マージンは、一般的に仮定される(文献[Radenovic F.et al.、“Fine tuning cnn image retrieval with no human annotation”、IEEE trans.PAMI、2018]、ここで[]+はポジティブ成分を示す)。SuperLossは、2つの損失の各々に加えて適用され、すなわち、2つの独立的な閾値τがあるが、単純性のために相変らず同一の正規化パラメータλを共有する。
前述された接近方式が、クリーンデータセット及びノイズのあるデータセットに適用される際に、一貫した利得が得られるという経験的証拠が以下に提示される。結果等が数3に表されるSuperLoss関数に対して示されている。特に、ノイズのあるデータ(ウェブから自動で収集される大規模のデータセットの一般的な場合)から訓練する場合、大きい利得らが観察される。
本来のタスク損失で訓練された神経網モデルを基準線として称する。プロトコルは、まず基準線を訓練し、各々のノイズ水準に対するヘルド-アウト検証(held-out validation)を用いてハイパーパラメータ(例えば、学習率や加重値の減衰等)を調整することである。基準線及びSuperLoss間の公正な比較のために、モデルは同一のハイパーパラメータを持つSuperLossで訓練される。大部分の従来技術等と異なり、特別なウォーミングアップ期間やその他のトリックが不要である。SuperLossに特定のハイパーパラメータ(正規化λ及び損失閾値τ)は、ヘルド-アウト検証又は交差検証を用いて固定又は調整される。より具体的に、τに対する3つのオプション、(1)当面のタスクに関する事前知識により付与された固定値;(2)「Avg」で表示された、現在まで損失の全域平均、;または(3)「ExpAvg」で表示された、固定平滑パラメータ(α=0.9)を持つ指数移動平均、がある。SELF(文献[Nguyen Duc T.et al.、“SELF:learning to filter noisy labels with self-ensembling”、ICLR、2019])と同様に、SuperLossに入力された個別サンプル損失は訓練をより安定的に作るため、α’=0.9で指数平均を用いて数3で平滑化する。このような戦略は、制限されたサイズのデータセットのみに適用可能であり;メトリック学習又は物体検出には使用されない。
SuperLossは、堅牢な損失smooth-l1と非堅牢な損失l2の全部及び異なるノイズ水準らを用いて、MNISTの数字回帰(文献[LeCun Y.et al.、“MNIST handwritten digit database”、ICPR、2010])、及び、UTKFaceの人間年齢回帰(文献[Zhang Z.et al.、“Age progression/regression by conditional adversarial autoencoder”、CVPR、2017])に対して評価される。
が使用され、ここでy及び
CIFAR-10及びCIFAR-100(文献[Krizhevsky A.、“Learning multiple layers of features from tiny images”、https://www.cs.toronto.edu/~kriz/learning-features-2009-TR.pdf、2009])は、各々C=10及びC=100のクラスらに属する50K訓練及び10Kテストイメージからなる。WideResNet-28-10モデルが、比較のために文献[Saxena S.et al.(“Data parameters:a new family of parameters for learning a differentiable curriculum”、NeurIPS、2019)]の実験設定及びプロトコルを厳しく遵守してSuperLossで訓練される。ここで、正規化パラメータをCIFAR-10に対してλ=1に設定し、CIFAR-100に対してλ=0.25に設定した。
(文献[Quin Z.et al.、“Making deep neural networks robust to label noise:Cross-training with a novel loss function”、IEEE access、2019])、SELF(文献[Nguyen Duc T.et al.、“Self:learning to filter noisy labels with self-ensembling”、ICLR、2019])、Abstention(文献[Thulasidasan S.et al.、“Combating label noise in deep learning using abstention”、ICML、2019])、CurriculumNet(文献[Sheng et al.、“Curriculumnet:Weakly-supervised learning for large-scale web images”、ECCV、2018])、O2U-net(50) and O2UNet(10)(文献[Jinchi H.et al.、“O2U-Net:A simple noisy label detection approach for deep neural networks”、ICCV、2019])、DivideMix(文献[Li J.et al.、“Dividemix:Learning with noisy labels as semi-supervised learning”、ICLR、2020])、CurriculumLoss(文献[Lyu Y.et al.、“Curriculumloss:Robust learning and generalization against label corruption”、ICLR、2020])、Bootstrap(文献[Reed S.et al.、“Training deep neural networks on noisy labels with bootstrapping”、ICLR、2015])、F-correction(文献[Patrini G.et al.、“Making deep neural networks robust to label noise:A loss correction approach”、CVPR、2017])、Mixup(文献[Zhang H.et al.、“Mixup:Beyond empirical risk minimization”、ICLR、2018])、C-teaching+(文献[Yu X.et al.、“How does disagreement help generalization against label corruption?”、ICML、2019])、P-Correction(文献[Yi K.et al.、“Probabilistic end-to-end noise correction for learning with noisy labels”、CVPR、2019])、Meta-Learning(文献[Li J.et al.、“Learning to learn from noisy labeled data”、CVPR、2019])、Data Parameters(文献[Saxena S.et al.、“Data parameters:A new family of parameters for learning a differentiable curriculum”、NeurIPS、2019])。
Pascal VOC(文献[Everingham M.et al.、“The Pascal visual objection classes(VOC)challenge、IJCV、2010])及びインスタンスらの20%、40%または60%に対称ラベルノイズが適用されるそのノイズバージョン(文献[Junnan L.et al.、“Towards noise-resistant objection detection with noisy annotations”、arXiv:2003.01285、2020])に関する物体検出のタスクに対する実験を遂行した。detectron2(https://github.com/facebookresearch/detectrons2)からの2つの物体検出フレームワーク、Faster R-CNN(文献[Shaoquing R.et al.、“Faster R-CNN:Towards real-time object detection with region proposal networks”、NIPS、2015])及びRetinaNet(文献[Tsung-Yi、L.et al.、“Focal loss for dense object detection”、ICCV、2017])を使用する。
、任意の他の水準のノイズに対してλ=0.25が使用された。基準線及びSuperLossは、クリーンデータにおいて同等であるが、ノイズのある場合にSuperLossが基準線よりも非常に優れた性能を持つ。例えば、性能低下(ラベルノイズの60%及びクリーンデータの間)が、Faster R-CNNの場合は12%から8%に、RetinaNetの場合は29%から20%に減少する。τの場合、私たちはFaster R-CNNを持つτ=log(C)に対して若干のエッジを観察する。同一の固定閾値は、交差-エントロピー損失に依存しないため、RetinaNetに対して意味がないが、全域及び指数平均化は同様に遂行されるものと観察された。
SuperLossは、Revisited Oxford and Paris benchmark(文献[Radenoviic F.et al.、“Revisiting Oxford and Paris:Large-scale image retrieval benchmarking”、CVPR、2018])を用いて、イメージ検索のタスクに対して評価した。これは、各々5,063個及び6,392個の高解像度イメージからなる2個のデータセット、Oxford及びParisからなる。各々のデータセットは、11個のランドマークから得られた70個のクエリ(query)を含む。各々のクエリに対してポジティブイメージは、易しいポジティブ又は難しいポジティブでラベル付けされる。各々のデータセットは、各々の全てのポジティブイメージ又は難しいイメージのみを考慮して(すなわち、易しいイメージは無視)構成された中間(M)及び難しい(H)プロトコルを用いて、平均精密度(mAP、mean Average-Precision)として評価される。
Claims (15)
- データプロセシングのタスクを遂行するように、神経網を訓練するためのコンピュータ具現方法であって、
ラベル付けのデータサンプルのセットの各々のデータサンプルに対して、
前記データプロセシングのタスクに対する第1の損失関数を用いて、前記データサンプルに対するタスク損失を算出するステップ;
前記タスク損失を第2の損失関数に入力して、前記データサンプルに対する第2の損失を算出するステップ(前記第2の損失関数は、前記データサンプルに対して算出された前記タスク損失に基づき、前記データサンプルの加重値を自動で算出して、前記神経網により予測された前記データサンプルのラベルの信頼度を推定する);及び、
前記第2の損失を用いて、前記神経網の少なくとも一部の学習可能なパラメータをアップデートするステップを含む、コンピュータ具現方法。 - 前記データサンプルに対して算出された前記タスク損失に基づき、前記データサンプルの加重値を自動で算出するステップは、
前記タスク損失が閾値未満の場合、前記データサンプルの前記加重値を増加させるステップ、及び、前記タスク損失が閾値超過の場合、前記データサンプルの前記加重値を減少させるステップを含む、請求項1に記載のコンピュータ具現方法。 - 前記閾値は、前記タスク損失の移動平均又は固定の平滑化パラメータを持つ前記タスク損失の指数移動平均を用いて算出される、請求項2に記載のコンピュータ具現方法。
- 前記第2の損失関数は、前記タスク損失及び前記閾値の差に基づいた損失増幅項を含む、請求項2又は3に記載のコンピュータ具現方法。
- 前記タスク損失に基づいて前記データサンプルの信頼値を算出するステップをさらに含む、請求項2乃至4の何れか一項に記載のコンピュータ具現方法。
- 前記タスク損失に基づいて前記データサンプルの信頼値を算出するステップは、前記タスク損失に対する前記第2の損失関数を最小化する信頼パラメータの値を決定するステップを含む、請求項6に記載のコンピュータ具現方法。
- 前記損失増幅項は、σ*(l―τ)で表され、ここでσ*は前記信頼値である、請求項4を引用する請求項6乃至8の何れか一項に記載のコンピュータ具現方法。
- 前記第2の損失関数は、λ(logσ*)2で表される正規化項を含み、ここでσ*は前記信頼値である、請求項6乃至9の何れか一項に記載のコンピュータ具現方法。
- 前記第2の損失関数は、前記タスク損失に対して単調に増加する凹関数であり、選択的に前記第2の損失関数は同次関数である、請求項1乃至3の何れか一項に記載のコンピュータ具現方法。
- イメージプロセシングのタスクを遂行するように、請求項1乃至12の何れか一項に記載のコンピュータ具現方法によって訓練される神経網。
- 一つ以上のプロセッサにより実行される際、請求項1乃至12の何れか一項に記載のコンピュータ具現方法を遂行するコンピュータ実行可能な命令語らが保存されるコンピュータ読み取り可能な記憶媒体。
- 請求項1乃至12の何れか一項に記載のコンピュータ具現方法を遂行するように構成されるプロセシング回路を含む装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20306187.4A EP3982299A1 (en) | 2020-10-09 | 2020-10-09 | Superloss: a generic loss for robust curriculum learning |
EP20306187.4 | 2020-10-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022063250A true JP2022063250A (ja) | 2022-04-21 |
JP7345530B2 JP7345530B2 (ja) | 2023-09-15 |
Family
ID=74103892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021165902A Active JP7345530B2 (ja) | 2020-10-09 | 2021-10-08 | SuperLoss:堅牢なカリキュラム学習のための一般的な損失 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220114444A1 (ja) |
EP (1) | EP3982299A1 (ja) |
JP (1) | JP7345530B2 (ja) |
KR (1) | KR20220047534A (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI816078B (zh) * | 2021-01-05 | 2023-09-21 | 財團法人工業技術研究院 | 樣本分群探勘方法 |
US11755208B2 (en) * | 2021-10-12 | 2023-09-12 | Western Digital Technologies, Inc. | Hybrid memory management of non-volatile memory (NVM) devices for use with recurrent neural networks |
CN115049851B (zh) * | 2022-08-15 | 2023-01-17 | 深圳市爱深盈通信息技术有限公司 | 基于YOLOv5网络的目标检测方法、装置和设备终端 |
KR102655393B1 (ko) * | 2022-08-17 | 2024-04-05 | 국방과학연구소 | 적대적 강인성을 위한 신경망모델의 학습방법 및 이를 위한 장치 |
CN115551105B (zh) * | 2022-09-15 | 2023-08-25 | 公诚管理咨询有限公司 | 基于5g网络边缘计算的任务调度方法、装置和存储介质 |
CN116894985B (zh) * | 2023-09-08 | 2023-12-15 | 吉林大学 | 半监督图像分类方法及半监督图像分类系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019102797A1 (ja) * | 2017-11-21 | 2019-05-31 | 富士フイルム株式会社 | ニューラルネットワークの学習方法、学習装置、学習済みモデル及びプログラム |
WO2020070834A1 (ja) * | 2018-10-03 | 2020-04-09 | 株式会社島津製作所 | 学習済みモデルの製造方法、輝度調整方法および画像処理装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110598840B (zh) * | 2018-06-13 | 2023-04-18 | 富士通株式会社 | 知识迁移方法、信息处理设备以及存储介质 |
WO2020163970A1 (en) * | 2019-02-15 | 2020-08-20 | Surgical Safety Technologies Inc. | System and method for adverse event detection or severity estimation from surgical data |
-
2020
- 2020-10-09 EP EP20306187.4A patent/EP3982299A1/en active Pending
-
2021
- 2021-07-23 US US17/383,860 patent/US20220114444A1/en active Pending
- 2021-10-08 JP JP2021165902A patent/JP7345530B2/ja active Active
- 2021-10-12 KR KR1020210135198A patent/KR20220047534A/ko unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019102797A1 (ja) * | 2017-11-21 | 2019-05-31 | 富士フイルム株式会社 | ニューラルネットワークの学習方法、学習装置、学習済みモデル及びプログラム |
WO2020070834A1 (ja) * | 2018-10-03 | 2020-04-09 | 株式会社島津製作所 | 学習済みモデルの製造方法、輝度調整方法および画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3982299A1 (en) | 2022-04-13 |
US20220114444A1 (en) | 2022-04-14 |
JP7345530B2 (ja) | 2023-09-15 |
KR20220047534A (ko) | 2022-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7345530B2 (ja) | SuperLoss:堅牢なカリキュラム学習のための一般的な損失 | |
Tian et al. | Contrastive representation distillation | |
US9990558B2 (en) | Generating image features based on robust feature-learning | |
WO2021008328A1 (zh) | 图像处理方法、装置、终端及存储介质 | |
Dehghani et al. | Fidelity-weighted learning | |
Blundell et al. | Weight uncertainty in neural network | |
US11270124B1 (en) | Temporal bottleneck attention architecture for video action recognition | |
US10510021B1 (en) | Systems and methods for evaluating a loss function or a gradient of a loss function via dual decomposition | |
WO2022077646A1 (zh) | 一种用于图像处理的学生模型的训练方法及装置 | |
US11551026B2 (en) | Dynamic reconfiguration training computer architecture | |
CN109784405B (zh) | 基于伪标签学习和语义一致性的跨模态检索方法及系统 | |
CN116261731A (zh) | 基于多跳注意力图神经网络的关系学习方法与系统 | |
US20210056127A1 (en) | Method for multi-modal retrieval and clustering using deep cca and active pairwise queries | |
Yang et al. | Margin optimization based pruning for random forest | |
EP4287144A1 (en) | Video behavior recognition method and apparatus, and computer device and storage medium | |
Zhou et al. | Discriminative active learning for domain adaptation | |
Wu et al. | Quantifying the knowledge in gnns for reliable distillation into mlps | |
CN110992198A (zh) | 作物病害防治方案推荐方法及装置、系统、设备和介质 | |
Roy et al. | L3DMC: Lifelong Learning using Distillation via Mixed-Curvature Space | |
US11948387B2 (en) | Optimized policy-based active learning for content detection | |
CN117591547A (zh) | 数据库的查询方法、装置、终端设备以及存储介质 | |
Kang et al. | Self-paced principal component analysis | |
Aimen et al. | Leveraging task variability in meta-learning | |
Zhang et al. | Learning from noisy labels with coarse-to-fine sample credibility modeling | |
Dornier et al. | Scaf: Skip-connections in auto-encoder for face alignment with few annotated data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7345530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |