JP2022108331A - 機械学習装置、機械学習方法、および機械学習プログラム - Google Patents

機械学習装置、機械学習方法、および機械学習プログラム Download PDF

Info

Publication number
JP2022108331A
JP2022108331A JP2021003240A JP2021003240A JP2022108331A JP 2022108331 A JP2022108331 A JP 2022108331A JP 2021003240 A JP2021003240 A JP 2021003240A JP 2021003240 A JP2021003240 A JP 2021003240A JP 2022108331 A JP2022108331 A JP 2022108331A
Authority
JP
Japan
Prior art keywords
filters
learning
weights
task
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021003240A
Other languages
English (en)
Inventor
尹誠 楊
Yincheng Yang
英樹 竹原
Hideki Takehara
晋吾 木田
Shingo Kida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021003240A priority Critical patent/JP2022108331A/ja
Priority to CN202180074118.7A priority patent/CN116368498A/zh
Priority to EP21919627.6A priority patent/EP4280114A1/en
Priority to PCT/JP2021/045339 priority patent/WO2022153738A1/ja
Publication of JP2022108331A publication Critical patent/JP2022108331A/ja
Priority to US18/349,198 priority patent/US20230351266A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

【課題】フィルタの飽和を緩和することができる機械学習技術を提供する。【解決手段】重み記憶部５０は、タスクの特徴検出に用いられる複数のフィルタの重みを記憶する。継続学習部２０は、入力されるタスクに対して複数のフィルタの重みを継続学習する。フィルタ処理部３０は、１つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化する。比較部４０は、２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複フィルタをタスク間の共用フィルタとして抽出し、重複フィルタの内、一つのフィルタを共用フィルタとして残し、共用フィルタ以外のフィルタの重みを初期化する。【選択図】図１

Description

本発明は、機械学習技術に関する。
人間は長期にわたる経験を通して新しい知識を学習することができ、昔の知識を忘れないように維持することができる。一方、畳み込みニューラルネットワーク（Convolutional Neural Network(CNN)）の知識は学習に使用したデータセットに依存しており、データ分布の変化に適応するためにはデータセット全体に対してＣＮＮのパラメータの再学習が必要となる。ＣＮＮでは、新しいタスクについて学習していくにつれて、昔のタスクに対する推定精度は低下していく。このようにＣＮＮでは連続学習を行うと新しいタスクの学習中に昔のタスクの学習結果を忘れてしまう致命的忘却(catastrophic forgetting)が避けられない。
致命的忘却を回避する手法として、継続学習（incremental learningまたはcontinual learning）が提案されている。継続学習の一つの手法としてＰａｃｋＮｅｔがある。
特許文献１には、複数の学習モジュールが更新したモデルパラメータを２以上の学習モジュールに共有させる学習装置が開示されている。
特開２０１０－２０４４６号公報
継続学習の一つの手法であるＰａｃｋＮｅｔは、致命的忘却問題を回避することができる。しかし、ＰａｃｋＮｅｔでは、モデルのフィルタ数に限りがあり、新しいタスクを学習していくと、フィルタが飽和するため、学習可能なタスク数に制限があるという問題があった。
本発明はこうした状況に鑑みてなされたものであり、その目的は、フィルタの飽和を緩和することができる機械学習技術を提供することにある。
上記課題を解決するために、本発明のある態様の機械学習装置は、タスクの特徴検出に用いられる複数のフィルタの重みを記憶する重み記憶部と、入力されるタスクに対して前記複数のフィルタの重みを継続学習する継続学習部と、１つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化するフィルタ処理部と、２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複フィルタをタスク間の共用フィルタとして抽出する比較部とを含む。
本発明の別の態様は、機械学習方法である。この方法は、入力されるタスクに対して、タスクの特徴検出に用いられる複数のフィルタの重みを継続学習する学習ステップと、１つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化するフィルタ処理ステップと、２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複するフィルタは一つを残してそれ以外を別のタスクの学習で用いるために重みを初期化する比較ステップとを含む。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、フィルタの飽和を緩和することができる機械学習技術を提供することができる。
図１（ａ）～図１（ｅ）は、前提技術となる継続学習を説明する図である。 実施の形態に係る機械学習装置の構成図である。 図３（ａ）～図３（ｅ）は、図２の機械学習装置による継続学習を説明する図である。 図２の機械学習装置の比較部の動作を説明する図である。 図２の機械学習装置による継続学習手順を説明するフローチャートである。
図１（ａ）～図１（ｅ）は、前提技術となるＰａｃｋＮｅｔによる継続学習を説明する図である。ＰａｃｋＮｅｔでは与えられたタスクに対してモデルの複数のフィルタの重みが学習される。ここでは、畳み込みニューラルネットワークの各層の複数のフィルタを格子状に並べて図示する。
ＰａｃｋＮｅｔの学習プロセスは下記の（Ａ）～（Ｅ）のステップで進められる。
（Ａ）モデルがタスク１を学習する。図１（ａ）は、タスク１の学習後のフィルタの初期状態を示す。すべてのフィルタはタスク１を学習済みで、色が黒で示される。
（Ｂ）各フィルタの重みの値の大きい順にフィルタを並べ、重みの値が小さいフィルタから順に全体の６０％のフィルタの値を初期化する。図１（ｂ）は、タスク１の学習後のフィルタの最終状態を示す。初期化されたフィルタは色が白で示される。
（Ｃ）次に、タスク２を学習する。このステップにおいて、図１（ｂ）の黒色のフィルタの重みの値がロックされ、重みの値を変更できるのは白色のフィルタだけである。図１（ｃ）は、タスク２の学習後のフィルタの初期状態を示す。図１（ｂ）の白で示されたフィルタのすべてはタスク２を学習済みで、図１（ｃ）において斜線で示される。
（Ｄ）ステップ（Ｂ）と同様に、タスク２を学習した斜線のフィルタの重みの値の大きい順にフィルタを並べ、重みの値が小さいフィルタから順に全体の６０％のフィルタの値を初期化する。図１（ｄ）は、タスク２の学習後のフィルタの最終状態を示す。初期化されたフィルタは色が白で示される。
（Ｅ）さらに、タスク３を学習する。このステップにおいて、図１（ｄ）の黒色と斜線のフィルタの重みの値がロックされ、重みの値を変更できるのは白色のフィルタだけである。図１（ｅ）は、タスク３の学習後のフィルタの初期状態を示す。図１（ｄ）の白で示されたフィルタのすべてはタスク３を学習済みで、図１（ｅ）において横縞で示される。
このようにＰａｃｋＮｅｔの学習プロセスによると、このままタスクＮまで学習していくと、初期化された白のフィルタの数がどんどん少なくなり、飽和する。フィルタが飽和すると、新しいタスクを学習できなくなる。
ＰａｃｋＮｅｔのフィルタがいつか飽和することは回避することができない。しかし、フィルタが飽和するスピードを緩めることはできる。そこで、本実施の形態では、新しいタスクを学習する度に、重みの類似度が高い重複フィルタをタスク間の共用フィルタとして抽出し、重複フィルタの内、一つのフィルタを共用フィルタとして残し、共用フィルタ以外のフィルタの重みを０に初期化する。これにより、新しいタスクで学習できるフィルタを増やし、フィルタの飽和速度を緩和し、学習できるタスクの数を増やすことができる。
図２は、実施の形態に係る機械学習装置１００の構成図である。機械学習装置１００は、入力部１０、継続学習部２０、フィルタ処理部３０、比較部４０、重み記憶部５０、推論部６０、および出力部７０を含む。
入力部１０は、教師付きのタスクを継続学習部２０に供給し、未知タスクを推論部６０に供給する。ここでは、一例としてタスクは画像認識である。たとえば、タスク１は猫の認識、タスク２は犬の認識といった画像における特定の物体の認識である。
重み記憶部５０は、タスクの特徴検出に用いられる複数のフィルタの重みを記憶する。画像をいくつものフィルタに通すことで、その画像の特徴を捉えることができる。
継続学習部２０は、入力される教師付きタスクに対して重み記憶部５０の複数のフィルタの重みを継続学習し、更新されたフィルタの重みを重み記憶部５０に保存する。
フィルタ処理部３０は、１つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化する。たとえば、フィルタの重みの大きい順にフィルタを並べ、重みの大きい方から４０％のフィルタの重みをロックし、残りの６０％のフィルタを別のタスクの学習で用いるために重みを初期化する。
フィルタ処理部３０による初期化が済んだ後、比較部４０は、２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複フィルタをタスク間の共用フィルタとして抽出する。モデルは多層の畳み込みニューラルネットワークであるため、各層において複数のフィルタの重みの類似度を算出する。比較部４０は、重複フィルタの内、一つのフィルタを共用フィルタとして残し、共用フィルタ以外のフィルタの重みを初期化し、重み記憶部５０に保存する。
継続学習部２０は、新しいタスクに対して共用フィルタ以外のフィルタの初期化された重みを継続学習する。
推論部６０は、重み記憶部５０に保存されたフィルタの重みを用いて、入力された未知タスクに対して推論する。出力部７０は、推論部６０による推論結果を出力する。
図３（ａ）～図３（ｅ）は、図２の機械学習装置１００による継続学習を説明する図である。畳み込みニューラルネットワークの各層の複数のフィルタを格子状に並べて図示しており、（ｉ，ｊ）は、第ｉ行、第ｊ列のフィルタを指す。
機械学習装置１００の学習プロセスは下記の（Ａ）～（Ｅ）のステップで進められる。
（Ａ）モデルがタスク１を学習する。図３（ａ）は、タスク１の学習後のフィルタの初期状態を示す。すべてのフィルタはタスク１を学習済みで、色が黒で示される。
（Ｂ）各フィルタの重みの値の大きい順にフィルタを並べ、重みの値が小さいフィルタから順に全体の６０％のフィルタの値を初期化する。図３（ｂ）は、タスク１の学習後のフィルタの最終状態を示す。初期化されたフィルタは色が白で示される。
（Ｃ）次に、タスク２を学習する。このステップにおいて、図３（ｂ）の黒色のフィルタの重みの値がロックされ、重みの値を変更できるのは白色のフィルタだけである。図３（ｃ）は、タスク２の学習後のフィルタの初期状態を示す。図３（ｂ）の白で示されたフィルタのすべてはタスク２を学習済みで、図３（ｃ）において斜線で示される。
（Ｄ）ステップ（Ｂ）と同様に、タスク２を学習した斜線のフィルタの重みの値の大きい順にフィルタを並べ、重みの値が小さいフィルタから順に全体の６０％のフィルタの値を初期化する。図３（ｄ）は、タスク２の学習後のフィルタの中間状態を示す。初期化されたフィルタは色が白で示される。
（Ｅ）タスク１を学習した黒色のフィルタとタスク２を学習した斜線のフィルタの間で重みを比較し、類似度が所定の閾値を超えるフィルタを重複フィルタとして抽出する。たとえば、図３（ｄ）において、斜線フィルタ（１，３）は黒色フィルタ（１，２）と類似するため、これらは重複フィルタであると判定される。同様に、斜線フィルタ（３，１）と黒色フィルタ（３，２）は類似する重複フィルタであり、斜線フィルタ（３，５）と黒色フィルタ（４，５）は類似する重複フィルタである。
図３（ｅ）に示すように、斜線フィルタ（１，３）は類似する黒色フィルタ（１，２）で代用することができるため、斜線フィルタ（１，３）の重みは初期化され、白色のフィルタになり、黒色フィルタ（１，２）はタスク１とタスク２の共用フィルタとなる。同様に、斜線フィルタ（３，１）は類似する黒色フィルタ（３，２）で代用され、斜線フィルタ（３，１）の重みは初期化され、白色のフィルタになり、黒色フィルタ（３，２）はタスク１とタスク２の共用フィルタとなる。また、斜線フィルタ（３，５）は類似する黒色フィルタ（４，５）で代用され、斜線フィルタ（３，５）の重みは初期化され、白色のフィルタになり、黒色フィルタ（４，５）はタスク１とタスク２の共用フィルタとなる。
図３（ｅ）は、タスク２の学習後のフィルタの最終状態を示し、初期化された白色のフィルタはタスク３の学習で用いられ、重みが変更される。以降、同様に、タスク３の学習後のフィルタの初期状態に対して、重みの値の小さいフィルタを初期化し、タスク３を学習したフィルタと、タスク１を学習したフィルタおよびタスク２を学習したフィルタとの間で重みを比較し、類似する重複フィルタがある場合、タスク３のフィルタを初期化する。これをタスクＮまで繰り返す。
図４は、図２の機械学習装置１００の比較部４０の動作を説明する図である。
図３（ｄ）に示すタスク２の学習後のフィルタの中間状態に対して、タスク１を学習したフィルタの重みとタスク２を学習したフィルタの重みを比較して、重みの類似度が高いフィルタを抽出し、初期化の対象とする。
モデルには複数のレイヤがあるため、比較は各レイヤ内で行う。例えば、一つのレイヤにフィルタが１２８個ある。この中に、タスク１を学習したフィルタが５１個、タスク２を学習したフィルタが３０個、残りのフィルタは初期化されている場合、タスク１の５１個のフィルタとタスク２の３０個のフィルタの類似度を算出する。
類似度は、フィルタの重みの値の絶対値を比較することによって算出する。たとえば、３×３のフィルタの場合、９個の重みの絶対値を比較する。ここで、閾値を設定する。類似度が閾値を上回ると、二つのフィルタは重複していると判定され、タスク２のフィルタの重みを０に初期化する。
フィルタＡの各要素をａｉｊ、フィルタＢの各要素をｂｉｊとした場合、二つのフィルタＡ、Ｂ間で同じ位置にある値の絶対値の差を、たとえば次式のｄ１（Ａ，Ｂ）、ｄ２（Ａ，Ｂ）、ｄ∞（Ａ，Ｂ）、ｄｍ（Ａ，Ｂ）のように計算する。
Figure 2022108331000002
上記の説明では、フィルタの類似度は、二つのフィルタ間で同じ位置にある値の絶対値の差を計算することによって算出したが、これ以外の方法で類似度を算出してもよい。たとえば、各フィルタについて、フィルタ絶対差分和ＳＡＤを水平方向絶対差分和ＳＡＤ＿Ｈと垂直方向絶対差分和ＳＡＤ＿Ｖの和として、ＳＡＤ＝ＳＡＤ＿Ｈ＋ＳＡＤ＿Ｖにより求める。フィルタＡのフィルタ絶対差分和ＳＡＤ＿ＡとフィルタＢのフィルタ絶対差分和ＳＡＤ＿Ｂの差が閾値より小さいなら、フィルタＡとフィルタＢは重複していると判定してもよい。ここで、３×３のフィルタの第１行の要素をａ１、ａ２、ａ３、第２行の要素をａ４、ａ５、ａ６、第３行の要素をａ７、ａ８、ａ９とした場合、水平方向絶対差分和ＳＡＤ＿Ｈと垂直方向絶対差分和ＳＡＤ＿Ｖは次式で与えられる。
ＳＡＤ＿Ｈ＝｜ａ１－ａ２｜＋｜ａ２－ａ３｜＋｜ａ４－ａ５｜＋｜ａ５－ａ６｜＋｜ａ７－ａ８｜＋｜ａ８－ａ９｜
ＳＡＤ＿Ｖ＝｜ａ１－ａ４｜＋｜ａ２－ａ５｜＋｜ａ３－ａ６｜＋｜ａ４－ａ７｜＋｜ａ５－ａ８｜＋｜ａ６－ａ９｜
また、別の類似度の算出方法として、ユークリッド距離やコサイン距離の比較を用いてもよい。
フィルタの重みの類似度が高ければ、そのフィルタはタスク間において特徴が同じか差がないということになり、重複フィルタを保持する必要はない。そこで片方のフィルタについては初期化して、別のタスクの学習に用いる。なお、ここでは、重みをフィルタの中にある１要素、図４の３×３のフィルタの場合、マトリクスのうちの１つのセルであるとして説明したが、フィルタ単位、つまりマトリクスの単位で重みを捉えてもよい。
より一般的には、タスクＮの性能を最大限に維持するため、タスクＮとタスクＮ＋１の間に重複したフィルタがある場合、タスクＮ＋１のフィルタの重みを０に初期化する。これにより、限られたフィルタを最大限に利用することができる。
図５は、図２の機械学習装置１００による継続学習手順を説明するフローチャートである。
入力部１０は、現在の教師付きタスクを継続学習部２０に入力する（Ｓ１０）。
継続学習部２０は、現在のタスクに対して複数のフィルタの重みを継続学習する（Ｓ２０）。
フィルタ処理部３０は、現在のタスクを学習した複数のフィルタの重みの小さいものから順に所定の割合のフィルタを初期化する（Ｓ３０）。
比較部４０は、現在のタスクを学習したフィルタと過去のタスクを学習したフィルタを比較し、重みの類似度を算出する（Ｓ４０）。
比較部４０は、過去のタスクのフィルタと類似度が高い現在のタスクのフィルタを初期化する（Ｓ５０）。
まだタスクがある場合、ステップＳ１０に戻り、次のタスクを入力する（Ｓ６０のＮ）。タスクが終了の場合、継続学習を終了する（Ｓ６０のＹ）。
以上説明した機械学習装置１００の各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
以上述べたように、本実施の形態の機械学習装置１００によれば、継続学習モデルのフィルタの飽和速度を緩和し、フィルタを効率的に利用してより多くのタスクを学習することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１０ 入力部、 ２０ 継続学習部、 ３０ フィルタ処理部、 ４０ 比較部、 ５０ 重み記憶部、 ６０ 推論部、 ７０ 出力部、 １００ 機械学習装置。

Claims (5)

  1. タスクの特徴検出に用いられる複数のフィルタの重みを記憶する重み記憶部と、
    入力されるタスクに対して前記複数のフィルタの重みを継続学習する継続学習部と、
    １つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化するフィルタ処理部と、
    ２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複フィルタをタスク間の共用フィルタとして抽出する比較部とを含むことを特徴とする機械学習装置。
  2. 前記比較部は、前記重複フィルタの内、一つのフィルタを前記共用フィルタとして残し、前記共用フィルタ以外のフィルタの重みを初期化することを特徴とする請求項１に記載の機械学習装置。
  3. 前記継続学習部は、別のタスクに対して前記共用フィルタ以外のフィルタの初期化された重みを継続学習することを特徴とする請求項２に記載の機械学習装置。
  4. 入力されるタスクに対して、タスクの特徴検出に用いられる複数のフィルタの重みを継続学習する学習ステップと、
    １つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化するフィルタ処理ステップと、
    ２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複するフィルタは一つを残してそれ以外を別のタスクの学習で用いるために重みを初期化する比較ステップとを含むことを特徴とする機械学習方法。
  5. 入力されるタスクに対して、タスクの特徴検出に用いられる複数のフィルタの重みを継続学習する学習ステップと、
    １つのタスクを学習後の複数のフィルタの内、所定の割合のフィルタを別のタスクの学習で用いないように重みをロックし、それ以外のフィルタを別のタスクの学習で用いるために重みを初期化するフィルタ処理ステップと、
    ２つ以上のタスクを学習後の複数のフィルタの重みを比較し、重みの類似度が所定の閾値以上である重複するフィルタは一つを残してそれ以外を別のタスクの学習で用いるために重みを初期化する比較ステップとをコンピュータに実行させることを特徴とする機械学習プログラム。
JP2021003240A 2021-01-13 2021-01-13 機械学習装置、機械学習方法、および機械学習プログラム Pending JP2022108331A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021003240A JP2022108331A (ja) 2021-01-13 2021-01-13 機械学習装置、機械学習方法、および機械学習プログラム
CN202180074118.7A CN116368498A (zh) 2021-01-13 2021-12-09 机器学习装置、机器学习方法以及机器学习程序
EP21919627.6A EP4280114A1 (en) 2021-01-13 2021-12-09 Machine learning device, machine learning method, and machine learning program
PCT/JP2021/045339 WO2022153738A1 (ja) 2021-01-13 2021-12-09 機械学習装置、機械学習方法、および機械学習プログラム
US18/349,198 US20230351266A1 (en) 2021-01-13 2023-07-10 Machine learning device, machine learning method, and non-transitory computer-readable recording medium having embodied thereon a machine learning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021003240A JP2022108331A (ja) 2021-01-13 2021-01-13 機械学習装置、機械学習方法、および機械学習プログラム

Publications (1)

Publication Number Publication Date
JP2022108331A true JP2022108331A (ja) 2022-07-26

Family

ID=82448355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021003240A Pending JP2022108331A (ja) 2021-01-13 2021-01-13 機械学習装置、機械学習方法、および機械学習プログラム

Country Status (5)

Country Link
US (1) US20230351266A1 (ja)
EP (1) EP4280114A1 (ja)
JP (1) JP2022108331A (ja)
CN (1) CN116368498A (ja)
WO (1) WO2022153738A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4710933B2 (ja) 2008-07-09 2011-06-29 ソニー株式会社 学習装置、学習方法、およびプログラム
JP2018055259A (ja) * 2016-09-27 2018-04-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP4280114A1 (en) 2023-11-22
WO2022153738A1 (ja) 2022-07-21
CN116368498A (zh) 2023-06-30
US20230351266A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
Li et al. LGM-Net: Learning to generate matching networks for few-shot learning
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
CN110288030B (zh) 基于轻量化网络模型的图像识别方法、装置及设备
Yaseen et al. Deep learning hyper-parameter optimization for video analytics in clouds
KR20200028330A (ko) 네트워크 연산 에지 전반에 걸쳐 연속적으로 애플리케이션을 작동하는 딥 러닝과 인공 지능에서 지속적인 메모리 기반 학습을 가능하게 하는 시스템 및 방법
US20050283450A1 (en) Information processing apparatus, information processing method, pattern recognition apparatus, and pattern recognition method
Dai et al. Incremental learning using a grow-and-prune paradigm with efficient neural networks
CN108334878B (zh) 视频图像检测方法、装置、设备及可读存储介质
US20200125930A1 (en) Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis
CN111104831B (zh) 一种视觉追踪方法、装置、计算机设备以及介质
JP2015036939A (ja) 特徴抽出プログラム及び情報処理装置
Henderson et al. Spike event based learning in neural networks
Saitoh An ensemble model of self-organizing maps for imputation of missing values
Oland et al. Be careful what you backpropagate: A case for linear output activations & gradient boosting
JP2022108331A (ja) 機械学習装置、機械学習方法、および機械学習プログラム
Nayak et al. Reinforcement learning for improving object detection
JP2022108332A (ja) 機械学習装置、機械学習方法、および機械学習プログラム
CN117058235A (zh) 跨多种室内场景的视觉定位方法
US11645519B2 (en) Filtering data in orthogonal directions through a convolutional neural network
CN115619563A (zh) 一种基于神经网络的股票价格分析方法
WO2022235789A1 (en) Neuromorphic memory circuit and method of neurogenesis for an artificial neural network
CN111079928B (zh) 基于对抗学习的循环神经网络用于人体运动预测方法
JP2022114065A (ja) 機械学習装置、機械学習方法、および機械学習プログラム
JP6741159B1 (ja) 推論装置及び推論方法
CN116740573A (zh) 一种荔枝图像的检测方法、装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228