JP2022536561A - 転移学習装置、転移学習システム、転移学習の方法、およびプログラム - Google Patents

転移学習装置、転移学習システム、転移学習の方法、およびプログラム Download PDF

Info

Publication number
JP2022536561A
JP2022536561A JP2022522084A JP2022522084A JP2022536561A JP 2022536561 A JP2022536561 A JP 2022536561A JP 2022522084 A JP2022522084 A JP 2022522084A JP 2022522084 A JP2022522084 A JP 2022522084A JP 2022536561 A JP2022536561 A JP 2022536561A
Authority
JP
Japan
Prior art keywords
inference
data
model
time series
model parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022522084A
Other languages
English (en)
Other versions
JP7255753B2 (ja
Inventor
フロリアン バイエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2022536561A publication Critical patent/JP2022536561A/ja
Application granted granted Critical
Publication of JP7255753B2 publication Critical patent/JP7255753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、時系列データから連続的に新しい特殊な推論モデルおよび時系列モデルを頻繁に訓練する必要があるために発生する計算オーバーヘッドを低減することができる、転移学習装置、システム、方法、および記憶媒体を提供する。

Description

本発明は、時系列データから連続的に推論モデルおよび時系列モデルを含む結合モデルを効率的に（機械）学習するための転移学習装置、転移学習システム、コンピュータ読取可能な記憶媒体、および方法に関する。
アプリケーションは、しばしば、推論モデルを時系列モデルと組み合わせて時系列データを分析する。たとえば、時系列データがビデオストリームからのフレームから構成される場合、推論モデルは、個々のフレーム内の物体を検出するために使用される物体検出モデルであり得、時系列モデルは、フレーム間の物体識別情報を追跡するために使用することができる。しかしながら、非特許文献１に記載されているモデルなどの高精度物体検出モデルは複雑であり、かなりの計算コストおよび待ち時間を被る。あまり複雑でない検出モデルは、たとえば特許文献１に記載されている条件などのこれらの限定された条件のために特に訓練されるとき、より低い計算コストおよび待ち時間で、限定された条件下（たとえば、固定背景、固定時刻など）で同様に高い精度を実現することができる。しかしながら、ビデオストリームからのフレームなどの時系列データを分析し、背景などの条件が過渡的であると予想されるとき、そのような特殊なモデルを使用すると、変更された条件に従って新しい特殊なモデルを頻繁に訓練しなければならず、かつ／または現在の条件を検出し、現在の条件に最も適した特殊なモデルを決定することにより、多数の特殊なモデルを維持し動的に切り替えなければならないという更なる問題が生じる。
米国特許出願公開第２０１８０００５０６９号
「Ｆｏｃａｌ Ｌｏｓｓ ｆｏｒ Ｄｅｎｓｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」、Ｔｓｕｎｇ－Ｙｉ Ｌｉｎら、２０１７年ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）
本開示は、変更された条件に従って新しい特殊な推論モデルを頻繁に訓練しなければならず、かつ／または多数の特殊な推論モデルを維持し動的に切り替えなければならないという、発生した計算オーバーヘッドの問題を解決することを目的とする。本発明の目的の１つは、推論モデルが、背景の物体、照明などの外部条件の変化に動的に適応するという旨の、時系列データから連続的に推論モデルを効率的に学習するための方法を提供することである。
時系列モデルは、推論モデルのパラメータが入力されたタイムスライスデータに従って変化する大きさ、すなわち潜在的な学習効果の大きさを推定するための手段を提供するために使用される。さらに、計算集約的なパラメータ更新、すなわち学習動作は、推定された変化の大きさおよびしきい値の大きさの値に従って選択的に、すなわち、予想される学習効果が十分に高いと考えられるときにのみ実行される。
本開示の第１の例示的な態様は、推論モデルに関連付けられたモデルパラメータデータを格納する推論モデルパラメータメモリと、時系列モデルに関連付けられたモデルパラメータデータ、および状態確率分布を格納する時系列モデルメモリと、タイムスライスデータを受け取るように構成され、前記タイムスライスデータおよび前記推論モデルパラメータメモリに格納された前記パラメータデータから推論結果ベクトルを計算するように構成された推論部と、前記推論部から前記推論結果ベクトルを受け取るように構成され、前記時系列モデルメモリに格納された前記パラメータデータおよび前記状態確率分布を更新するように構成された時系列モデル更新部と、前記推論部からの前記推論結果ベクトルおよび前記時系列モデルメモリからのパラメータデータを受け取り、前記推論結果ベクトルおよび前記パラメータデータに基づいて勾配ベクトルを計算するように構成された勾配計算部と、前記勾配ベクトルを受け取り、マグニチュードメトリック値を計算するように構成されたマグニチュードメトリック計算部と、前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータに基づいて前記推論モデルパラメータメモリに格納された前記推論モデルパラメータデータを更新するように構成された推論モデルパラメータ更新部とを備える転移学習装置を提供する。
本開示の第２の例示的な態様は、通信ネットワークと、推論モデルに関連付けられたモデルパラメータデータを格納する推論モデルパラメータメモリと、時系列モデルに関連付けられたモデルパラメータデータ、および状態確率分布を格納する時系列モデルメモリと、タイムスライスデータを受け取るように構成され、前記タイムスライスデータおよび前記推論モデルパラメータメモリに格納された前記パラメータデータから推論結果ベクトルを計算するように構成された推論部と、前記推論部から前記推論結果ベクトルを受け取るように構成され、前記時系列モデルメモリに格納された前記パラメータデータおよび前記状態確率分布を更新するように構成された時系列モデル更新部と、前記推論部からの前記推論結果ベクトルおよび前記時系列モデルメモリからのパラメータデータを受け取り、前記推論結果ベクトルおよび前記パラメータデータに基づいて勾配ベクトルを計算するように構成された勾配計算部と、前記勾配ベクトルを受け取り、マグニチュードメトリック値を計算するように構成されたマグニチュードメトリック計算部と、前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータに基づいて前記推論モデルパラメータメモリに格納された前記推論モデルパラメータデータを更新するように構成された推論モデルパラメータ更新部と、前記通信ネットワークを介してタイムスライスデータを提供するように構成され、前記タイムスライスデータとしてセンサからの情報を復号するエッジデバイスとを備える転移学習システムを提供する。
本開示の第３の例示的な態様は、タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、前記推論結果ベクトルから状態確率分布を更新することと、前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、前記勾配ベクトルからマグニチュードメトリックを計算することと、前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することとを順に含む転移学習の方法を提供する。
本開示の第４の例示的な態様は、タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、前記推論結果ベクトルから状態確率分布を更新することと、前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、前記勾配ベクトルからマグニチュードメトリックを計算することと、前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することとをコンピュータに実行させるための命令を記憶するコンピュータ読取可能な記憶媒体を提供する。
高精度の単一の静的であるが複雑な一般的な推論モデルを使用することと比較すると、本発明の使用によって制限された条件に動的に適合する単一のあまり複雑でない推論モデルは、予想される学習効果が十分に高い、すなわち所定のしきい値よりも大きいと考えられるときにのみ選択的に実行される学習動作の故に、実質的に低い計算コストで同様の精度を実現することができる。
本開示の第１および第２の実施形態の構造を示すブロック図である。 本開示の第３および第４の実施形態の構造を示すブロック図である。 本開示の第１の実施形態の動作を示すフロー図である。 本開示の第２の実施形態の動作を示すフロー図である。 本開示の第５の実施形態の構造を示すブロック図である。 通信ネットワークを介して複数の場所で転移学習が提供される構造の概略図である。 エッジデバイスの構造を示すブロック図である。 本開示の第３の実施形態による転移学習装置を示すブロック図である。
本発明の例示的な実施形態は、添付の図面を参照して以下に詳細に記載される。図面では、同じ要素は同じ参照番号によって表記されているので、必要に応じて冗長な説明は省略される。
本明細書全体を通して「一実施形態」、「実施形態」、「一例」、または「例」に対する参照は、実施形態または例に関連して記載される特定の特徴、構造、または特性が、本実施形態のうちの少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通して様々な場所における「一実施形態では」、「実施形態では」、「一例」、または「例」という句の出現は、必ずしもすべてが同じ実施形態または例を参照するとは限らない。さらに、特定の特徴、構造、または特性は、１つまたは複数の実施形態または例において、任意の適切な結合および／または副結合で組み合わされてよい。
（第１の例示的な実施形態）
第１の例示的な実施形態の構造および動作を説明する前に、いくつかの用語が定義され、いくつかの仮定が提供される。
以下の説明では、時間はｔによってインデックス付けされたスライス（タイムスライス）に分解される。
タイムスライスデータｄｔは、タイムスライスｔに対応するデータである。タイムスライスデータｄｔは、たとえば、顧客を記録する、固定角度で小売店に設置された監視ビデオカメラからの画像フレームであってよい。タイムスライスデータｄｔは、照明の変化、または棚製品およびボックスのような固定物体の位置などの背景の変化を経験し得る。
本実施形態は、推論モデルｆ（ｄ｜φ）を使用し、ここで、ｄは入力データに対応し、φはモデルパラメータに対応し、ｙ、ｙｊ＝ｆｊ（ｄ｜φ）は対応する推論結果ベクトルに対応する。
推論モデルは、ＭｏｂｉｌｅＮｅｔｓおよびその変形形態などの畳み込みニューラルネットワーク（ＣＮＮ）を含む、任意の線形または非線形の分類または回帰モデルの構造を有してよい。監視カメラの実施形態の場合、推論モデルは、たとえば、所定のパラメータを有するＭｏｂｉｌｅＮｅｔ２２４（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０４．０４８６１）であってよい。
推論モデルの初期モデルパラメータφは、たとえば、物体検出、画像キャプション、自然言語処理、またはシーン認識などの推論タスク用に設計された訓練データセットを使用する教師あり訓練または教師なし訓練などの従来の方法を使用して事前訓練されてよい。モデル構造および初期モデルパラメータφは、訓練されたネットワークの利用可能な公開リポジトリから採用されてもよい。推論モデル構造がＭｏｂｉｌｅＮｅｔｓなどの軽量ネットワークであるとき、ネットワーク出力推論が十分に正確であるために、ネットワークは、初期インストール時にモデルの特定の展開のコンテキストで収集された時系列データを使用して、オンラインまたはオフラインのいずれかで再訓練されるべきである。これは、たとえば、公開リポジトリ内で見出されるものからのパラメータ値を、初期インストール中の展開（背景）に適した値に適合させるためである。たとえば、そのようなコンテキストは、監視アプリケーションにおける物体検出タスクのための特定の監視カメラに対応することができる。さらに、ネットワーク出力推論が背景が変化した後でも十分に正確であるために、ネットワークは、通常の動作中にオンラインまたはオフラインのいずれかで再訓練されるべきである。これは、初期インストール後、すなわち通常動作中の背景変化に適応するためである。
推論観測値Ｙ１：ｔおよび状態Ｚ１：ｔをモデル化した確率的時系列モデルＰ（Ｙ１：ｔ，Ｚ１：ｔ｜θ）には、モデルパラメータθが与えられる。時系列モデルは、任意の状態ベースの確率的モデルであってよい。時系列モデルは、隠れマルコフモデル、線形動的システム状態空間モデル、またはランダム有限集合状態空間モデルなどの構造を有してよい。あるいは、それらの予測出力が確率分布として解釈される場合、再帰型ニューラルネットワークを使用することができる。
この例示的な実施形態では、物体追跡監視カメラに適用されるものとして説明が与えられるが、本発明はそれに限定されない。時系列モデルは、モデルが現在の時間フレームにおける検出対象の位置を提供されたときに、訓練されたモデルが次の時間フレームにおける画像内の人間などの検出対象の位置を予測することができるように、公開されているデータセットを使用して事前訓練されてよい。
時系列モデルは、関数ｇによって定義することができ、
ｇ（ｙ，ｚ’｜ｚ，θ）＝Ｐ（Ｙｔ＝ｙ，Ｚｔ＝ｚ’｜Ｚｔ－１＝ｚ，θ）
は、時系列モデルパラメータθの下で、時刻ｔ－１における時系列状態がｚであると仮定すると、時刻ｔにおける推論ｙおよび状態ｚ’への状態遷移を観測する同時確率を表す。
たとえば、時系列モデルが隠れマルコフモデル、線形動的システム状態空間モデル、またはランダム有限集合状態空間モデルであるとき、ｇ（ｙ，ｚ’｜ｚ，θ）は、状態遷移確率Ｐ（Ｚｔ｜Ｚｔ－１，θ）と観測確率Ｐ（Ｙｔ｜Ｚｔ，θ）の積として書くことができる。
ｇ（ｙ，ｚ’｜ｚ，θ）＝Ｐ（Ｙｔ＝ｙ｜Ｚｔ＝ｚ’，θ）・Ｐ（Ｚｔ＝ｚ’｜Ｚｔ－１＝ｚ，θ）
時系列モデルとしてランダム有限集合状態空間モデルを使用する監視カメラの実施形態では、状態ｚは追跡された物体の位置および速度を表し、ｚ＝｛（ｘ１，ｖ１），．．．，（ｘＮ，ｖＮ）｝であり、推論観測値ｙは検出された物体の位置ｙ＝｛ｙ１，．．．，ｙＭ｝を表す。関数ｇは、物体が異なる位置および異なる速度ｚ’＝｛（ｘ’１，ｖ’１），．．．，（ｘ’Ｎ’，ｖ’Ｎ’）｝に移動し、位置ｙ＝｛ｙ１，．．．，ｙＭ｝を検出するモデル化された機会を表す。特に、ｇは、動きノイズ、物体の出現または消失、ならびに検出ノイズおよび誤検出／検出漏れの確率をモデル化することができる。
状態確率分布ｐ（ｚ）および観測データｙが与えられると、フィルタリングされた状態確率分布ｐ’（ｚ’）は、ベイズ推論によって
Figure 2022536561000002
 のように計算される。
本実施形態では、時間フレームｔにおける事前確率分布ｐ（ｚ）および観測値ｙが与えられると、ｐ’（ｚ’）は画像内の物体の位置および速度の事後確率分布を表す。
損失関数Ｌは以下に定義される。
Ｌ（ｙ│ｐ，θ）＝－ｌｏｇ（∫∫ｇ（ｙ，ｚ’｜ｚ，θ）ｐ（ｚ）ｄｚ’ｄｚ）
本実施形態では、この損失関数Ｌは、（ａ）現在の時間フレームにおけるビデオ画像から画像推論モデルによって推論された物体の位置と、（ｂ）前の時間フレームにおける物体の位置および速度の推定確率分布に基づいて時系列モデルによって推論された物体の位置との間の差を表す。言い換えれば、損失は、前の時間フレームにおける位置および速度の推定分布ｐが与えられた場合に位置ｙを検出する可能性のなさを表す。
本発明の第１の実施形態、転移学習装置の構造は、図１のブロック図に示され、本発明の基本構造を構成する。以下で、この実施形態に含まれる各部の責務が記載される。
タイムスライスｔに対応するデータｄ＝ｄｔは、入力として外部からまたはメモリから受信され、ｄｔ－１、ｄｔ、ｄｔ＋１、．．．のように、連続して読み取られるか、受信される。各タイムスライスデータｄｔは、転移学習装置の新しい動作をトリガする。本実施形態では、たとえば監視アプリケーションにおいて、タイムスライスデータは画像データであり得る。オンライン／オフライン訓練が合理的に収束するためには、ビデオの背景変化が徐々にのみ発生するように、カメラは静止していることが好ましい。
推論部１０１は、タイムスライスデータｄ、および推論モデルパラメータメモリ１０２に格納されたモデルパラメータデータφを使用して、推論モデルｆ（ｄ｜φ）に従って推論結果ベクトルｙ＝ｆ（ｄ｜φ）を計算する。監視カメラの実施形態では、推論結果は、検出された物体の位置および物体のクラスを表すことができ、
ｙ＝｛（ｙ１，ｃ１），．．．，（ｙＭ，ｃＭ）｝、
ここで、ｙｉおよびｃｉ、は、それぞれ、ｉ番目の検出された物体の検出された位置および（人、車両などの）クラスを意味する。
推論モデルパラメータメモリ１０２は、推論モデルｆ（ｄ｜φ）に関連付けられたパラメータデータφを格納し、パラメータデータは、更新の間持続し、モデルを更新するか否かを支配するルール（そのようなルールは後述される）に従って、転移学習装置の個々の動作の間に更新されてもよい。画像データにおける物体検出のための典型的なモデルの場合、パラメータの数は、１０＾５から１０＾７のオーダーである。
転移装置転移学習装置は、たとえば検出された物体の数および位置として推論結果を表す推論結果ベクトル１０３を有する。
時系列モデル更新部１０４（「時系列モデルパラメータ／状態更新部」と呼ばれることがある）は、時系列モデルメモリ１０５（「時系列モデルパラメータ／状態メモリ」と呼ばれることがある）に格納された状態確率分布ｐ（ｚ）およびパラメータθを取り出し、時系列モデルメモリ１０５に格納されたパラメータθを、
Figure 2022536561000003
 のように更新し、ベイズ推論による状態確率分布を、
Figure 2022536561000004
 のように更新し、ここで、Ｓｉは学習速度を制御するいくつかの固定パラメータであり、ｙは推論結果ベクトル１０３である。ｙが与えられると、新しいビデオ画像から推論された検出された物体の位置、パラメータθ、ならびに位置および速度の推定分布ｐ（ｚ）は、これらの式を使用して更新される。
時系列モデルメモリ１０５は、時系列モデル用のパラメータデータθ、および時系列モデルに関連付けられた状態分布ｐ（ｚ）を格納する。パラメータは、時系列データスライス１００の到着の間持続する。
勾配計算部１０６は、時系列モデルメモリ１０５に格納された状態確率分布ｐ（ｚ）およびパラメータθを取り出し、勾配ベクトル
Figure 2022536561000005
 を計算し、ここで、ｙは推論結果ベクトル１０３である。この勾配ベクトルは、推論ベクトルｙの各成分に対する損失Ｌの勾配（すなわち、偏導関数）に相当する。監視カメラの実施形態では、時系列モデルの予測に基づいて、現在のビデオフレーム内の推論された物体の位置の観察された変化が全く予想外であるとき、この勾配ベクトルはより大きい要素をもたらす傾向がある。
勾配ベクトル１０７は、推論ベクトルｙのすべての成分に対する損失Ｌの偏導関数から構成される。
本実施形態のデバイスは、現在の時系列データスライス１００を使用して行われようとしている更新の有意度または大きさに応じて、モデルパラメータを更新するか否かを判定する。この判定は、たとえば、勾配ベクトル１０７に基づいて行われる。本実施形態では、この判定は、以下に説明されるように、勾配ベクトル１０７からマグニチュードメトリックを計算し、勾配の大きさをしきい値と比較することによって実行され、その大きさがしきい値より大きいときにモデルの更新を実行することができる。
マグニチュードメトリック計算部１０８は、マグニチュードメトリック値１０９、ｍ＝ｈ（ｗ）を計算し、ここで、ｗは勾配ベクトル１０７であり、ｈ（ｗ）は勾配ベクトル１０７の大きさを計算するためのマグニチュードメトリック関数である。マグニチュードメトリック関数ｈ（ｗ）は、任意のベクトルマグニチュードメトリック関数、たとえば、必ずしもそうではないが、Ｌ１、Ｌ２、またはＭａｘ関数から選択されてよい。メトリック関数ｈ（ｗ）がＬ２である場合、
Figure 2022536561000006
 である。
マグニチュードメトリック値１０９は勾配の大きさを表し、これは、現在の時間フレームデータに基づいて行われている更新の意外さ、すなわち有意度を表す。監視カメラのシナリオでは、事前訓練モデルが大きい損失勾配を生成する場合、それは、最近の照明の変化などの背景変化による何らかの誤検出または検出ノイズによって引き起こされる可能性が高い。この場合、現在の時間フレームからの勾配は、将来の同様の誤検出またはノイズを低減するために、モデル更新に効率的に使用されるべきである。一方、大きさが小さい場合、ビデオフレームはいかなる背景変化も経験しなかった可能性が高い。この場合、（かなりの計算リソースを消費する）モデルパラメータ更新を実行しても、モデルの精度は大幅に改善されず、これは回避されるべきである。
マグニチュードメトリックしきい値１１０は、強調的に決定されてよい。
推論モデルパラメータ更新部１１１の場合、マグニチュードメトリック値１０９がマグニチュードメトリックしきい値１１０を上回る場合、推論モデルパラメータ更新部１１１は、推論モデルパラメータメモリ１０２に格納されたパラメータφを
Figure 2022536561000007
 のように更新し、ここで、Ｔｋは学習速度を制御する固定パラメータであり、ｄはタイムスライスデータ１００であり、ｗは勾配ベクトル１０７である。
以下では、図１に描写された装置の動作が、一連のステップとして図３のフロー図に従って説明される。
ステップＳ２００において、あるタイムスライスｔについての時系列データスライス１００ ｄ＝ｄｔが受信される。
ステップＳ２０１において、推論部１０１が、タイムスライスデータ１００、および推論モデルパラメータメモリ１０２に格納されたモデルパラメータデータφから、推論結果ベクトル、ｙ＝ｆ（ｄ｜φ）を計算する。
ステップＳ２０２ａにおいて、時系列モデル更新部１０４が、時系列モデルメモリ１０５に格納された状態確率分布ｐ（ｚ）およびパラメータθを取り出し、時系列モデルメモリ１０５に格納されたパラメータθを
Figure 2022536561000008
 のように更新し、ここで、ｙは推論結果ベクトル１０３である。
ステップＳ２０２ｂにおいて、時系列モデル更新部１０４が、時系列モデルメモリ１０５に格納された状態確率分布ｐ（ｚ）およびパラメータθを取り出し、ベイズ推論による状態確率分布を、
Figure 2022536561000009
 のように更新し、ここで、ｙは推論結果ベクトル１０３である。
ステップＳ２０３において、勾配計算部１０６が、時系列モデルメモリ１０５に格納された状態確率分布ｐ（ｚ）およびパラメータθを取り出し、勾配ベクトルｗｊ１０７を、
Figure 2022536561000010
 のように計算し、ここで、ｙは推論結果ベクトル１０３である。
ステップＳ２０４において、マグニチュードメトリック計算部１０８が、マグニチュードメトリック値ｍ１０９、ｍ＝ｈ（ｗ）を計算し、ここで、ｗは勾配ベクトル１０７である。
ステップＳ２０５において、マグニチュードメトリック値１０９がマグニチュードメトリックしきい値１１０を上回る場合、実行はステップＳ２０６に進み、そうでない場合、実行はステップＳ２０７に進む。
ステップＳ２０６において、推論モデルパラメータ更新部１１１が、推論モデルパラメータメモリ１０２に格納されたパラメータφを更新し、
Figure 2022536561000011
 ここで、ｄはタイムスライスデータ１００であり、ｗは勾配ベクトル１０７である。
ステップＳ２０７において、タイムスライスｔに対する処理が終了し、タイムスライスｔ＋１について他の時系列データスライス１００ ｄ＝ｄｔ＋１が受信されるまで、実行が停止する。
（第２の例示的な実施形態）
以下のように修正された第１の例示的な実施形態からの装置に対応する、図２からの装置。
時系列モデル更新部１０４は、ｌ＝Ｌ（ｙ｜ｐ，θ）のように損失値１１１をさらに計算し、ここで、ｙは推論結果ベクトル（１００３）であり、ｐ（ｚ）およびθは、それぞれ、時系列モデルメモリ１０５から取り出された状態確率分布およびパラメータである。
マグニチュードメトリック計算部１０８は、マグニチュードメトリック値１０９、ｍ＝ｈ’（ｗ，ｌ）を計算し、ここで、ｈ’（ｗ，ｌ）は勾配ベクトル１０７および損失値１１１の関数である。
損失値１１１は、値ｌ＝Ｌ（ｙ｜ｐ，θ）である。
動作の流れは、以下に関して変更された図３からのシーケンスに従う。
ステップ２０２ａにおいて、時系列モデル更新部１０４が、ｌ＝Ｌ（ｙ｜ｐ，θ）のように損失値１１１をさらに計算し、ここで、ｙは推論結果ベクトル１０３であり、ｐ（ｚ）およびθは、それぞれ、時系列モデルメモリ１０５から取り出された状態確率分布およびパラメータである。
ステップＳ２０４において、マグニチュードメトリック計算部１０８が、マグニチュードメトリック値１０９、ｍ＝ｈ’（ｗ，ｌ）を計算し、ここで、ｈ’（ｗ，ｌ）は勾配ベクトル１０７および損失値１１１の関数である。
（第３の例示的な実施形態）
この第３の例示的な実施形態では、図６～図８を参照して、以下の追加および修正と共に、第１および第２の例示的な実施形態のいずれかに従って説明が提供される。第１および第２の例示的な実施形態において前に記載された構成要素の重複する説明は省略される。
図６は、本開示の転移学習装置が、たとえば、カメラ、録音デバイスなどの複数のセンサ３０５を有する複数の場所（たとえば、スーパーマーケット、コンビニエンスストア、スタジアム、倉庫など）での時系列データ分析に適用され得る例示的なシステム図を示す。この例では、転移学習装置は、クラウドコンピューティング環境３１０の一部であり、たとえば図７に示されたように、エッジデバイス３００および１つまたは複数のセンサ３０５を備えた場所の各々についてタイムスライスデータ１００の処理を実行することができる。
第１または第２の例示的な実施形態のいずれかの特徴に加えて、たとえば、それぞれの場所のそれぞれのエッジデバイスに物体追跡データを出力するために、図８に示されたように、追跡データ生成部１１２が設けられる。
図７に示されたように、例示的な実施形態は、中央処理装置（ＣＰＵ）を含んでよく、メモリとして、ランダムアクセスメモリ（ＲＡＭ）が使用されてよい。ストレージデバイスとしては、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）などが使用されてよい。
次に、図７を参照して、エッジデバイス３００の例示的な構造が説明される。エッジデバイスは、たとえば、通信Ｉ／Ｆ３０１（インタフェース）と、コントローラ３０２と、ストレージ３０３と、センサＩ／Ｆ３０４とを含んでよい。コントローラはＣＰＵおよびメモリを含む。ストレージ３０３は、ＨＤＤおよびＳＳＤなどの記憶媒体であってよい。通信Ｉ／Ｆ３０１は、通信ネットワークを介してクラウドコンピューティング環境３１０と通信するための一般的な機能を有する。センサＩ／Ｆは、センサ３０５に動作を指示し、センサ３０５から検出（検知）された情報を取り出すための一般的な機能を有する。言い換えれば、エッジデバイス３００は、少なくとも、コンピューティング機能、通信ゲートウェイ機能、およびストレージ機能を有する。しかしながら、エッジデバイスのこれらの機能は、たとえばエッジデバイス３００に関する商業上の理由（すなわち、コスト）により、ハイエンドパーソナルコンピュータの機能およびクラウドコンピューティング環境の機能と比較して、比較的性能集約度が低いことが想定されてよい。
エッジデバイス３００は、単に、ＰＯＳ（販売時点管理）システムの一部である場合があることに留意されたい。
（他の修正形態）
本発明の好ましい例示的な実施形態が上述されているが、本発明は上記の例示的な実施形態に限定されるものではなく、本発明の基本的な技術概念から逸脱することなく、更なる修正、置換、および調整が加えられてよいことが理解されるべきである。
第１および第２の例示的な実施形態では、図３に示されたフローチャートに従って説明が与えられる。しかしながら、本発明はこの一連の動作に限定されず、代わりに、たとえば図４に示されたフローチャートに従って動作してもよい。
本開示では、実施形態は、オンラインで実行される訓練と共に使用されることが意図されている。しかしながら、設計仕様に応じてバッチトレーニングも可能である。
追跡される対象の一例は人間であり得、目的は、任意の所与の時間における店舗内の個人の数を追跡することであってよい。
開示された発明は、ビデオデータから物体を追跡するコンピュータビジョンタスクに適用することができる。
１００ 画像データ
１０１ 推論部
１０２ 推論モデルパラメータメモリ
１０３ 推論結果ベクトル
１０４ 時系列モデル更新部
１０５ 時系列モデルメモリ
１０６ 勾配計算部
１０７ 勾配ベクトル
１０８ マグニチュードメトリック計算部
１０９ マグニチュードメトリック値
１１０ マグニチュードメトリックしきい値
１１１ 推論モデルパラメータ更新部
１１２ 追跡データ生成部
１５０ 物体検出部
１５１ 物体追跡部
３００ エッジデバイス
３０１ 通信Ｉ／Ｆ
３０２ コントローラ
３０３ ストレージ
３０４ センサＩ／Ｆ
３０５ センサ
３１０ クラウドコンピューティング環境
本発明は、時系列データから連続的に推論モデルおよび時系列モデルを含む結合モデルを効率的に（機械）学習するための転移学習装置、転移学習システム、プログラム、および方法に関する。
本開示の第４の例示的な態様は、タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、前記推論結果ベクトルから状態確率分布を更新することと、前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、前記勾配ベクトルからマグニチュードメトリックを計算することと、前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することとをコンピュータに実行させるためのプログラムを提供する。

Claims (7)

  1. 推論モデルに関連付けられたモデルパラメータデータを格納する推論モデルパラメータメモリと、
    時系列モデルに関連付けられたモデルパラメータデータ、および状態確率分布を格納する時系列モデルメモリと、
    タイムスライスデータを受け取るように構成され、前記タイムスライスデータおよび前記推論モデルパラメータメモリに格納された前記パラメータデータから推論結果ベクトルを計算するように構成された推論部と、
    前記推論部から前記推論結果ベクトルを受け取るように構成され、前記時系列モデルメモリに格納された前記パラメータデータおよび前記状態確率分布を更新するように構成された時系列モデル更新部と、
    前記推論部からの前記推論結果ベクトルおよび前記時系列モデルメモリからのパラメータデータを受け取り、前記推論結果ベクトルおよび前記パラメータデータに基づいて勾配ベクトルを計算するように構成された勾配計算部と、
    前記勾配ベクトルを受け取り、マグニチュードメトリック値を計算するように構成されたマグニチュードメトリック計算部と、
    前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータに基づいて前記推論モデルパラメータメモリに格納された前記推論モデルパラメータデータを更新するように構成された推論モデルパラメータ更新部と
    を備える転移学習装置。
  2. 前記時系列モデル更新部が、前記時系列モデルパラメータデータと前記推論結果ベクトルとから損失値を計算するようにさらに構成され、
    前記マグニチュードメトリック計算部が、前記損失値と前記勾配ベクトルとの両方に基づいて、前記マグニチュードメトリック値を計算する
    請求項１に記載の転移学習装置。
  3. 前記マグニチュードメトリック値が前記マグニチュードメトリックしきい値よりも高いか否かを前記推論モデルパラメータ更新部が判定する前の時間に、前記時系列モデル更新部が、前記推論結果ベクトルから前記時系列モデルメモリに格納された前記状態確率分布を更新する
    請求項１または請求項２に記載の転移学習装置。
  4. 前記推論モデルパラメータ更新部が、前記マグニチュードメトリック値が前記マグニチュードメトリックしきい値よりも高いと判定して前記勾配ベクトルと前記タイムスライスデータとに基づいて前記推論モデルパラメータメモリに格納された前記推論モデルパラメータデータを更新する場合、前記推論部が前記推論結果ベクトルを再計算し、また、前記時系列モデル更新部が前記状態確率分布を更新し、
    前記推論モデルパラメータ更新部が、前記マグニチュードメトリック値が前記マグニチュードメトリックしきい値以下であると判定した場合、前記時系列モデル更新部が前記状態確率分布を更新する
    請求項１または請求項２に記載の転移学習装置。
  5. 通信ネットワークと、
    推論モデルに関連付けられたモデルパラメータデータを格納する推論モデルパラメータメモリと、
    時系列モデルに関連付けられたモデルパラメータデータ、および状態確率分布を格納する時系列モデルメモリと、
    タイムスライスデータを受け取るように構成され、前記タイムスライスデータおよび前記推論モデルパラメータメモリに格納された前記パラメータデータから推論結果ベクトルを計算するように構成された推論部と、
    前記推論部から前記推論結果ベクトルを受け取るように構成され、前記時系列モデルメモリに格納された前記パラメータデータおよび前記状態確率分布を更新するように構成された時系列モデル更新部と、
    前記推論部からの前記推論結果ベクトルおよび前記時系列モデルメモリからのパラメータデータを受け取り、前記推論結果ベクトルおよび前記パラメータデータに基づいて勾配ベクトルを計算するように構成された勾配計算部と、
    前記勾配ベクトルを受け取り、マグニチュードメトリック値を計算するように構成されたマグニチュードメトリック計算部と、
    前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータに基づいて前記推論モデルパラメータメモリに格納された前記推論モデルパラメータデータを更新するように構成された推論モデルパラメータ更新部と、
    前記通信ネットワークを介してタイムスライスデータを提供するように構成され、前記タイムスライスデータとしてセンサからの情報を復号するエッジデバイスと
    を備える転移学習システム。
  6. タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、
    前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、
    前記推論結果ベクトルから状態確率分布を更新することと、
    前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、
    前記勾配ベクトルからマグニチュードメトリックを計算することと、
    前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することと
    を順に含む転移学習の方法。
  7. タイムスライスデータおよび推論モデルパラメータデータから推論結果ベクトルを計算することと、
    前記推論結果ベクトルから時系列モデルパラメータデータを更新することと、
    前記推論結果ベクトルから状態確率分布を更新することと、
    前記時系列モデルパラメータデータおよび前記推論結果ベクトルから勾配ベクトルを計算することと、
    前記勾配ベクトルからマグニチュードメトリックを計算することと、
    前記マグニチュードメトリック値がマグニチュードメトリックしきい値よりも高い場合、前記勾配ベクトルおよび前記タイムスライスデータから前記推論モデルパラメータデータを更新することと
    をコンピュータに実行させるための命令を記憶するコンピュータ読取可能な記憶媒体。
JP2022522084A 2019-06-14 2019-06-14 転移学習装置、転移学習システム、転移学習の方法、およびプログラム Active JP7255753B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024618 WO2020250451A1 (en) 2019-06-14 2019-06-14 Transfer learning apparatus, transfer learning system, method of transfer learning, and storage medium

Publications (2)

Publication Number Publication Date
JP2022536561A true JP2022536561A (ja) 2022-08-17
JP7255753B2 JP7255753B2 (ja) 2023-04-11

Family

ID=67226322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022522084A Active JP7255753B2 (ja) 2019-06-14 2019-06-14 転移学習装置、転移学習システム、転移学習の方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP7255753B2 (ja)
WO (1) WO2020250451A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723064A (zh) * 2020-12-22 2022-07-08 株式会社理光 预训练语言模型的微调方法、装置及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091278A (ja) * 2015-11-11 2017-05-25 国立研究開発法人情報通信研究機構 学習装置、予測装置、学習方法、予測方法、およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6633462B2 (ja) 2016-06-29 2020-01-22 株式会社東芝 情報処理装置および情報処理方法
US10373332B2 (en) * 2017-12-08 2019-08-06 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091278A (ja) * 2015-11-11 2017-05-25 国立研究開発法人情報通信研究機構 学習装置、予測装置、学習方法、予測方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
土屋 成光 MASAMITSU TSUCHIYA: "ハイブリッド型転移学習による物体検出における学習の効率化 Hybrid Transfer Learning for Efficient Lea", 情報処理学会研究報告 ２０１２（平成２４）年度▲５▼ ［ＣＤ−ＲＯＭ］, JPN6022054357, JP, ISSN: 0004951143 *

Also Published As

Publication number Publication date
WO2020250451A1 (en) 2020-12-17
JP7255753B2 (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
EP3509011B1 (en) Apparatuses and methods for recognizing a facial expression robust against change in facial expression
Wang et al. Hidden‐Markov‐models‐based dynamic hand gesture recognition
US11593611B2 (en) Neural network cooperation
CN110998594A (zh) 检测动作的方法和系统
US20230316720A1 (en) Anomaly detection apparatus, anomaly detection method, and program
US20210232855A1 (en) Movement state recognition model training device, movement state recognition device, methods and programs therefor
Dang et al. Dynamic multi-rater gaussian mixture regression incorporating temporal dependencies of emotion uncertainty using kalman filters
Gupta et al. A digital personal assistant using bangla voice command recognition and face detection
JP7255753B2 (ja) 転移学習装置、転移学習システム、転移学習の方法、およびプログラム
US11908053B2 (en) Method, non-transitory computer-readable storage medium, and apparatus for searching an image database
JPWO2019215904A1 (ja) 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム
Behera et al. Estimation of linear motion in dense crowd videos using Langevin model
Salih et al. Deep learning for face expressions detection: Enhanced recurrent neural network with long short term memory
JP2008046864A (ja) 顔画像認識装置及び顔画像認識プログラム
Wu et al. In situ evaluation of tracking algorithms using time reversed chains
US11451694B1 (en) Mitigation of obstacles while capturing media content
Natarajan et al. Multi-view Face Expression Recognition—A Hybrid Method
EP4258184A1 (en) Action sequence determination device, action sequence determination method, and action sequence determination program
US20220101101A1 (en) Domain adaptation
Xiao et al. Training artificial neural networks by generalized likelihood ratio method: Exploring brain-like learning to improve robustness
Kalirajan et al. Deep learning for moving object detection and tracking
Chan et al. A combination of background modeler and encoder-decoder CNN for background/foreground segregation in image sequence
WO2023032016A1 (ja) 推定方法、推定装置および推定プログラム
EP4258183A1 (en) Partial action interval estimation model construction device, partial action interval estimation model construction method, and partial action interval estimation model construction program
Das et al. A survey on current trends in human action recognition

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R151 Written notification of patent or utility model registration

Ref document number: 7255753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151