JP2020126578A - 伝播しない電磁場に基づくマルチポイント受信アレイのためのモーションキャプチャデバイスおよびモーションキャプチャ方法 - Google Patents

伝播しない電磁場に基づくマルチポイント受信アレイのためのモーションキャプチャデバイスおよびモーションキャプチャ方法 Download PDF

Info

Publication number
JP2020126578A
JP2020126578A JP2019173956A JP2019173956A JP2020126578A JP 2020126578 A JP2020126578 A JP 2020126578A JP 2019173956 A JP2019173956 A JP 2019173956A JP 2019173956 A JP2019173956 A JP 2019173956A JP 2020126578 A JP2020126578 A JP 2020126578A
Authority
JP
Japan
Prior art keywords
antennas
subset
module
estimated
emf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019173956A
Other languages
English (en)
Other versions
JP6890344B2 (ja
Inventor
シヤオ・フ
Xiao Hu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Siwuge Tech Co Ltd
Original Assignee
Chengdu Siwuge Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Siwuge Tech Co Ltd filed Critical Chengdu Siwuge Tech Co Ltd
Publication of JP2020126578A publication Critical patent/JP2020126578A/ja
Application granted granted Critical
Publication of JP6890344B2 publication Critical patent/JP6890344B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B5/00—Near-field transmission systems, e.g. inductive or capacitive transmission systems
    • H04B5/40—Near-field transmission systems, e.g. inductive or capacitive transmission systems characterised by components specially adapted for near-field transmission
    • H04B5/48—Transceivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/0221—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0205—Details
    • G01S5/0226—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0278—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves involving statistical or probabilistic considerations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/27—Adaptation for use in or on movable bodies
    • H01Q1/273—Adaptation for carrying or wearing by persons or animals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H04B2001/3861—Transceivers carried on the body, e.g. in helmets carried in a hand or on fingers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザの身体部分（例えば手）の動きおよびジェスチャを獲得するためおよび追跡するための方法ならびにシステムを提供する。【解決手段】動き追跡デバイス２００において、アンテナは、ユーザの身体上に着用される短距離電磁場だけを送受信する近傍界アンテナである。アンテナのうちの１つまたは複数が、近傍界電磁場を発する。この電磁場が、身体部分との相互作用によって変化させられ、相互作用は身体部分の正確な位置に依存する。変化させられた電磁場が、アンテナのうちの１つまたは複数によって、受信される信号として感知される。受信される信号は、さらなる空間情報をもたらすべく処理される。処理された信号は、パターン認識（例えばニューラルネットワーク）によって解釈される。パターン認識は、前もって訓練され、またはラベル付けされたペアデータ（例えば知られている手の位置と、対応する処理された信号）を使用して構築される。【選択図】図２

Description

[0001]本発明は、２０１９年２月１日に出願し、参照により本明細書に組み込まれている、係属中の中国特許出願第２０１９１０１０４６３８２号の優先権を主張するものである。
[0002]現在、人間の手の動きおよびジェスチャのキャプチャ技術は、以下のカテゴリ、すなわち、１．光学カメラ、２．慣性センサ、３．外部低周波数電磁場（ＥＭＦ）システム、４．ミリ波（例えば、６０ＧＨｚ）着用可能電磁場システム、５．着用可能な電磁場モーションキャプチャ手袋を含む。これらの技術はすべて、いくつかの欠点を有し、対応する不利点は、以下のとおりである。１．光学：光干渉も斜光も、まったく許されず、ユーザの腕が、カメラに向けて持ち上げられなければならない。２．慣性：精度が時とともにずれ、したがって、慣性センサは、再較正なしに長期間にわたって使用され得ない。かさばる手袋を着用することが必要であり、日々の使用を不便にする。３．外部ＥＭＦ：外部ＥＭＦシステムは、外部アンテナシステムの動作距離内で使用されなければならず、外部ＥＭＦシステムは、干渉を非常に受けやすく、費用が非常に高い。４．外部ミリ波：これは、他の外部ＥＭＦ（例えば、カテゴリ３）に類似し、費用が非常に高く、動作の範囲内であらゆる金属または媒体による干渉を受けやすい。５．着用可能なＥＭＦ手袋：手袋は、かさばり、それらを着用して使用するのを不便にする。この現在の状況に基づいて、着用可能なモーションキャプチャデバイスが提案される。このデバイスは、かさばる手袋の必要性を解消し、見通しのきく光学視野を要求することもない。本発明の実施形態が現れるのは、この脈絡においてである。
[0003]本発明は、ユーザの手または身体の動きを追跡するように構成された１つまたは複数のデバイスを備えるシステムおよび方法を提供する。
[0004]実施形態において、手の動き追跡デバイスが、人の手首に取り付けられるように構成されたバンドと、バンド上に配置された複数の近傍界アンテナと、それらのアンテナに電気的に接続された制御ユニットとを備える。制御ユニットは、スイッチと、プロセッサと、送信モジュールと、受信モジュールと、無線通信モジュールとを備える。スイッチは、複数の近傍界アンテナの各近傍界アンテナを、送信モジュールと受信モジュールのうちの選択された１つに選択的に接続するように構成される。プロセッサは、複数の近傍界アンテナの第１のサブセットを送信モジュールに接続するように、かつ複数の近傍界アンテナの第２のサブセットを受信モジュールに接続するようにスイッチを制御すること、送信モジュールから、送信されるＲＦ信号を送信することであって、送信されるＲＦ信号は、複数の近傍界アンテナの第１のサブセットに配信される、送信すること、受信モジュールから、複数の近傍界アンテナの第２のサブセットからの受信されるＲＦ信号を受信することであって、受信されるＲＦ信号は、周波数、振幅、および位相情報に関連する、受信すること、受信されるＲＦ信号の周波数、振幅、および位相情報をデジタル化すること、手のジェスチャを推定すべく、デジタル化された周波数、振幅、および位相情報をニューラルネットワークに適用することであって、手のジェスチャは、手のひらおよび指の配置を備える、適用すること、１つまたは複数の指の推定される位置を判定すべく、デジタル化された周波数、振幅、および位相情報、ならびに推定される手のジェスチャを指位置データベースに適用すること、推定される指速度を判定すべく、推定される指位置を前に推定された１つまたは複数の指位置と比較すること、ならびに推定される手のジェスチャ、推定される指位置、および推定される指速度を、送信のために無線通信モジュールに送ることのための命令を実行するように構成される。
[0005]実施形態において、動き追跡デバイスは、人の身体に取り付けられるように構成されたバンドと、バンド上に配置された複数の近傍界アンテナと、それらのアンテナに電気的に接続された制御ユニットとを備える。制御ユニットは、スイッチと、プロセッサと、送信モジュールと、受信モジュールと、無線通信モジュールとを備える。スイッチは、複数の近傍界アンテナの各アンテナを、送信モジュールと受信モジュールのうちの選択された１つに接続するように構成される。プロセッサは、アンテナのうちの１つまたは複数のアンテナの第１のサブセットを送信モジュールに接続するように、かつアンテナのうちの１つまたは複数のアンテナの第２のサブセットを受信モジュールに接続するようにスイッチを制御すること、送信モジュールから、送信される１つまたは複数のＲＦ信号を送信することであって、送信されるＲＦ信号は、アンテナの第１のサブセットに配信されて、アンテナの第１のサブセットが、身体部分と相互に作用するように構成された近傍界電磁場（ＥＭＦ）を発するようにする、送信すること、受信モジュールから、受信される１つまたは複数のＲＦ信号を受信することであって、受信されるＲＦ信号は、アンテナの第２のサブセットからの周波数、振幅、および位相情報を備えて、アンテナの第２のサブセットがＥＭＦを感知するようにする、受信すること、受信されるＲＦ信号の周波数、振幅、および位相情報をデジタル化すること、身体部分の推定される配置を判定すべく、デジタル化された周波数、振幅、および位相情報をパターン認識システムに適用すること、ならびに身体部分の推定される配置を、送信のために無線通信モジュールに送ることのための命令を実行するように構成される。
[0006]実施形態において、動き追跡方法は、１つまたは複数のアンテナの第１のサブセットを送信モジュールに接続するように、かつ１つまたは複数のアンテナの第２のサブセットを受信モジュールに接続するようにスイッチを制御すること、アンテナの第１のサブセットから、ユーザの手と相互に作用するように構成された近傍界電磁場（ＥＭＦ）を送信すること、アンテナの第２のサブセットから、ＥＭＦ信号を受信すること、ＥＭＦ信号をデジタル化すること、デジタル化されたＥＭＦ信号を、ビーム信号を生成すべく、ビーム形成することによって処理すること、手の推定される配置を判定すべく、ビーム信号をパターン認識システムに適用すること、および手の推定される配置を、送信のために無線通信モジュールに送ることを含む。
[0007]本発明は、以下の詳細な説明、および添付の図面を精査した後、当業者にさらに容易に明白となろう。
[0008]本発明の実施形態による人の手の動きを追跡するための例示的なデバイスを示す正面透視図である。 [0009]本発明の実施形態による人の手の動きを追跡するためのデバイスのハードウェア構成を示す概略図である。 [0010]本発明の実施形態による人の手の動きを追跡するためのデバイスのアンテナスイッチ構成要素のハードウェア構成を示す概略図である。 [0011]本発明の実施形態による人の手の動きを追跡するためのデバイスのジェスチャ認識ニューラルネットワーク構成要素を示す概略図である。 [0012]本発明の実施形態による、デバイスが近傍界電磁場によって人の手の動きを追跡することが可能な方法に関する例示的なプロセスフローを示す図である。 [0013]本発明の実施形態による人の手の動きを追跡するためのデバイスの細区分表構成要素を示す概略図である。 [0014]本発明の実施形態による人の手の動きを追跡するためのデバイスを訓練するため、またはそれ以外で構築するためのラベル付けされたペアデータを生成するための方法に関する例示的なプロセスフローを示す図である。 [0015]本発明の実施形態による人の手の動きを追跡するためのデバイスのためのジェスチャ認識ニューラルネットワークを訓練する方法に関する例示的なプロセスフローを示す図である。
[0016]次に、本発明が、以下の実施形態を参照して、より具体的に説明される。本発明の好ましい実施形態の以下の説明は、単に例示および説明のために本明細書において提示されることに留意されたい。以下の説明は、網羅的であることも、開示される形態そのものに限定されることも意図していない。
[0017]本明細書において、「ジェスチャ」、「動き」、および「位置」という用語は、以下のとおり定義される。「ジェスチャ」とは、ユーザの手または身体の実質的におおよその、または全体的な配置（例えば、完全に閉じられた拳、完全に開かれた手、人差し指が立てられた閉じられた拳、その他）を指す。「位置」とは、ユーザの手または身体の実質的に厳密な配置（例えば、すべての手の関節の角度、すべての指先位置および手のひら位置の座標、その他）を指す。手または身体の「位置」を知っている場合、対応する「ジェスチャ」を推測することができ、「ジェスチャ」を知っていても、対応する「位置」を推測することはできない。「動き」とは、経時的な「位置」を指し、「ジェスチャ」情報を「位置」情報のサブセットとして含んでもよい。
[0018]既存の技術における前述の問題に鑑みて、モーションキャプチャデバイスおよびモーションキャプチャ方法が、提供される。このデバイスおよび方法は、伝播しない電磁場（ＥＭＦ）を送受信すべくマルチポイントアンテナアレイを使用してよい。この方法は、単純な着用可能な構造体（例えば、リストバンド）によって適用されてよい。かさばる手袋は、モーションキャプチャプロセスに必要とされず、このことが、モーションキャプチャの使用の容易さ、および快適さを向上させ得る。同時に、方法は、環境的に適応可能であってよく、例えば、近くの光または金属による干渉に耐性があってよい。最後に、方法は、慣性モーションキャプチャシステムに要求される頻繁な再較正なしに使用され得る高精度モーションキャプチャ体験をユーザに与えることが可能である。
[0019]実施形態において、モーションキャプチャ方法は、以下のステップから構成されることが可能である。これらのステップは、必ずしも、与えられる順序で経時的に行われるものと解釈されるべきではないことに留意されたい。ステップＡ：ユーザの手の周囲に特定の周波数のＥＭＦ分布を確立し、ＥＭＦ分布は、経時的に変化してよい。ステップＢ：任意選択で、重ね合わされたＥＭＦ分布を形成すべく、単一の周波数、または複数の周波数で、手の周囲に異なる位置で複数のＥＭＦ分布を確立するようにステップＡを繰り返す。ステップＣ：手が様々な動きをする間、ＥＭＦの振幅情報および位相情報を経時的に収集する。ステップＤ：手の周囲の様々な位置における電磁場強度の振幅情報および位相情報を収集すべくステップＣを繰り返す。ステップＥ：様々な方向でＥＭＦ情報を得るべくマルチアンテナマルチチャネルデジタル獲得を介して様々な位置で収集された電磁場強度の振幅情報および位相情報を使用してデジタルビーム形成処理を実行し、パターン認識計算を実行し、手の動きに対応するジェスチャ状態を判定する。
[0020]ステップＡに関して、ＥＭＦ分布は、手の周囲に固定された放射器によって生成されてよい。ステップＡにおいて生成されるＥＭＦ分布の作用の範囲は、２０ｃｍであってよい。ステップＣに関して、電磁場強度の振幅情報および位相情報は、手の周囲に固定された受信機によって収集されてよい。
[0021]ステップＥに関して、パターン認識計算は、ニューラルネットワークによって実行されてよい。ニューラルネットワークは、深層学習方法（例えば、バックプロパゲーション（ＢＰ））を使用して、電磁場強度情報（例えば、ビーム形成によって計算された）を支援された学習のために基礎として使用して構築されて（例えば、訓練されて）よい。ニューラルネットワークは、多数のサンプルを用いた訓練を介してジェスチャパターンを認識するように訓練されてよい。
[0022]ステップＥの後に、ステップＦがさらに実行されてよい。ジェスチャ状態を判定した後、細区分データベースがアクセスされてよい。細区分データベースは、ジェスチャ状態に対応する特定の細区分においてアクセスされてよい。細区分データベースは、ジェスチャ状態内の電磁場強度情報と指位置の間のマッピング関係を包含してよい。細区分データベースは、指位置または身体位置、および、任意選択で、指速度または身体速度を見出すべく照会されてよい。
[0023]モーションキャプチャデバイスは、伝播しない電磁場範囲内のＥＭＦを使用してよい。伝播しないＥＭＦの範囲は、極めて短い（例えば、２０ｃｍのオーダの）であってよく、この範囲を超えると、伝播しないＥＭＦは、急に減衰し得る。短いＥＭＦ範囲は、モーションキャプチャデバイスが、周囲の環境からより小さい干渉を有することを可能にする。モーションキャプチャデバイスは、伝播しないＥＭＦの外乱を測定してよい。
[0024]モーションキャプチャデバイスは、重ね合わされ得る複数のＥＭＦを生成すべく複数の放射器を利用してよい。複数の放射器のうちの異なる放射器が、同一の周波数で、または異なる周波数でＥＭＦを発してよい。
[0025]ユーザの手は、単一の放射器、または複数の放射器によって形成されるＥＭＦによって囲まれてよい。ユーザの手が様々な動きをするにつれ、複数の受信機が、ＥＭＦが経時的に変化するにつれてのＥＭＦの振幅情報および位相情報を同時に受信してよい。様々な手の位置にわたって収集されたＥＭＦからの振幅情報および位相情報が、ＥＭＦからの手の位置状態の推定を判定するように、パターン認識計算によって解釈されてよい。
[0026]複数の受信機によって受信される振幅情報および位相情報を介して、ジェスチャ状態を判定すべく、マルチチャネル信号に対してデジタルビーム形成およびパターン認識計算が実行されてよい。パターン認識計算は、現在の状態、および過去の状態（例えば、動きの軌道）を考慮してよい。
[0027]ジェスチャ、指位置、および指速度などの情報をもたらすことに加えて、動き追跡デバイスは、手のひら位置および手のひら速度を含む情報をもたらしてよい。
[0028]図１は、近傍界ＲＦ動き追跡デバイスの例示的な実施形態を示す。デバイスは、ユーザによって（例えば、手首上に）着用され得る着用可能なバンド１００（例えば、ブレスレットまたはリストバンド）上で支えられ得る。バンド上に、複数のアンテナ１０２が配置されてよい。これらのアンテナ１０２は、バンド１００の外面上にあってよく、または内部に埋め込まれてよい。各アンテナ１０２は、制御ユニット１０４に電気的に接続されてよい。制御ユニット１０４もまた、着用可能なバンド１００に取り付けられてよい。制御ユニット１０４は、筐体と、アンテナ１０２を動作させる回路とを含む。着用可能なバンド１００は、代替として、任意の形態の着用可能な、または身体に取付可能なマウントであってよい。
[0029]図２は、近傍界ＲＦ動き追跡デバイス２００の例示的な実施形態のブロック図を示す。アンテナ２０２のそれぞれは、制御ユニット２０４に電気的に接続されてよい。制御ユニット２０４内で、アンテナ２０２は、ＲＦスイッチ２０６に取り付けられてよい。ＲＦスイッチ２０６は、各アンテナ２０２を送信モジュール２０８または受信モジュール２１０のいずれか１つに制御可能に接続する役割をしてよい。アンテナ２０２が送信モジュール２０８に接続されるとき、アンテナ２０２は、送信（放射）アンテナとなることが可能であり、送信されるＲＦ電気信号２２４からアンテナ２０２の周囲にＥＭＦ２２２を生成する。アンテナ２０２が受信モジュールに接続されるとき、アンテナ２０２は、受信アンテナになることが可能であり、アンテナ２０２の周囲からＥＭＦ２２２を受信して、ＥＭＦ２２２を受信されるＲＦ電気信号２２６に変換する。
[0030]アンテナ２０２は、近傍界アンテナであってよい。近傍界アンテナは、長距離の電磁波を送信するように、または受信するように設計されるのではなく、専ら、近傍界にて送信するように、または受信するように設計される。近傍界ＥＭＦは、送信源のいくつかの波長内にだけ存在する。近傍界アンテナの一例が、電磁的に短いアンテナであり、アンテナの最長寸法は、アンテナが送信している、または受信しているＲＦ周波数の波長より実質的に短い。アンテナ２０２は、ループアンテナ、ダイポールアンテナ、パッチアンテナ、または近傍界送受信に適した他の任意のアンテナ構成であってよい。アンテナ２０２は、２つ以上のアンテナを備え、少なくとも１つの送信アンテナ、および少なくとも１つの受信アンテナが、モーションキャプチャプロセス中にアクティブである。アンテナ２０２は、ＥＭＦ２２２を送受信してよく、かつアンテナ２０２は、ユーザの手と相互に作用する送信されるＥＭＦ２２２または受信されるＥＭＦ２２２のパターンを有するように構成され得る。モーションキャプチャデバイスは、ユーザの手の周囲で特定の周波数、または特定のセットの周波数のＥＭＦ分布を生成すべく、１つの、またはいくつかの小容量（小さい電気的長さ）の放射器を利用してよい。ＥＭＦは、ユーザが経時的に手を動かすにつれて時間的に変化してよい。短い時間、ＥＭＦは、動きによる変動がその短い時間にわたって実質的に低い場合、安定状態と同様であると見なされてよい。
[0031]送信モジュール２０８は、特定の周波数、または特定のセットの周波数を有する１つまたは複数の電気的なＲＦ信号を初期に生成する発振器２１２（例えば、位相ロックループ、水晶発振器、電圧制御された発振器、その他）を含んでよい。送信モジュール２０８は、送信のために特定の振幅および電力を有する送信されるＲＦ電気信号２２４を生成すべくＲＦ信号を増幅する増幅器２１４を含んでよい。送信モジュール２０８の１つまたは複数の出力は、スイッチ２０６に接続されてよく、スイッチ２０６は、送信モジュール２０８のその１つまたは複数の出力を１つまたは複数のアンテナ２０２に制御可能に接続してよい。送信モジュール２０８は、プロセッサ２１６に電気的に接続されてよい。プロセッサ２１６は、送信モジュール２０８に制御命令を送ってよく、送信モジュール２０８は、送信される１つまたは複数のＲＦ電気信号２２４を制御してよい（例えば、オン／オフ、周波数、振幅、位相、その他）。送信モジュール２０８は、プロセッサ２１６にフィードバック信号を送ってよい。送信モジュール２０８は、電力管理回路２１８に接続されてよく、かつ、その結果、送信モジュール２０８に電力を供給すべく電源２２０に接続されてよい。
[0032]受信モジュール２１０は、１つまたは複数のアンテナ２０２からの受信されるＲＦ電気信号２２６を受信し、かつ処理するように構成されてよい。受信モジュール２１０は、受信された１つまたは複数のＲＦ電気信号２２６に利得を加えるフロントエンド増幅器２２８を含んでよい。受信モジュール２１０は、受信されるＲＦ電気信号２２６の振幅情報および位相情報を保存しながら、さらなる処理を容易にすべく、ＲＦ電気信号２２６をより低い周波数の信号（例えば、ベースバンド、中間周波数、その他）に変換するように構成され得る復調回路２３０（例えば、スーパーヘテロダイン受信機、超再生受信機、その他）を含んでよい。復調回路２３０は、復調のために基準信号をもたらすことが可能な、送信モジュール２０８に対する接続を含んでよい。受信モジュール２１０は、受信されるＲＦ電気信号２２６からの振幅情報および位相情報を、同一の振幅および位相情報２３４を包含するデジタル信号に変換することが可能な、アナログ−デジタル変換器２３２を含んでよい。
[0033]受信モジュール２１０は、プロセッサ２１６に電気的に接続されてよい。受信モジュール２１０は、プロセッサ２１６に振幅および位相情報２３４を送ってよい。この振幅および位相情報２３４は、デジタルであっても、アナログであってもよい。プロセッサは、受信モジュール２０８を制御する（例えば、オン／オフ、利得、ビットレート、その他）命令を送ってよい。プロセッサは、出力情報２３６（例えば、ユーザの手のジェスチャ、指位置、および指速度）を生成すべく振幅および位相情報２３４を処理するように構成されてよい。
[0034]プロセッサ２１６は、通信モジュール２３８に接続されてよい。通信モジュール２３８は、有線または無線の通信モジュール（例えば、無線パーソナルエリアネットワーク（ＷＰＡＮ）モジュール）であってよい。通信モジュール２３８は、プロセッサ２１６から出力情報２３６を受信してよく、かつプロセッサ２１６から命令（例えば、オン／オフ、タイミング、その他）を受信してよい。通信モジュール２３８は、出力情報２３６を用いて後の機能（例えば、処理、記憶、表示）を実行すべく、動き追跡システムの他の着用可能な、または着用可能でない構成要素（例えば、コンピュータ、スマートフォン、基地局）に出力情報２３６を送ってよい。通信モジュール２３８は、動き追跡システムの他の構成要素から命令または情報を受信してよい。通信モジュール２３８は、プロセッサ２１６に命令または情報を送ってよい。
[0035]図３は、ＲＦスイッチ３０６の内部接続のブロック図を示す。ＲＦスイッチ３０６は、それぞれが、それぞれの１つまたは複数のアンテナ３０２を送信モジュール３０８または受信モジュール３１０のうちの１つに制御可能に接続する役割をすることが可能な、１つまたは複数のスイッチング要素３００を包含する。スイッチング要素３００のスイッチ状態は、プロセッサ３１６からの入力によって制御されてよい。
[0036]アンテナ３０２接続は、異なるいくつかの実施形態により制御されてよい。所与の時点で、各アンテナ（例えば、３０２ａ、３０２ｂ、３０２ｃ）は、送信状態または受信状態のうちの１つにあってよい。動き追跡動作中、信号が作成されるために、少なくとも１つのアンテナ（例えば、３０２ｂ）が送信していなければならず、かつ少なくとも１つのアンテナ（例えば、３０２ａおよび３０２ｃ）が受信していなければならない。一部の実施形態において、他のすべてのアンテナ３０２が受信する一方で、単一のアンテナ３０２が送信してよい。この実施形態の利点は、可能な最大限の数の受信アンテナ３０２がアクティブであり、その結果、ＥＭＦ、およびユーザの身体とのＥＭＦの相互作用についての最大限の量の情報をもたらすことであり得る。代替の実施形態において、半分のアンテナ３０２が、残りの半分のアンテナ３０２が受信する一方で、送信してよい。送信アンテナと受信アンテナ３０２の空間的配置は、各送信アンテナ（例えば、３０２ｂ）が２つの受信アンテナ（例えば、３０２ａおよび３０２ｃ）に隣接するように、交互であってよい。この代替の実施形態の利点は、すべての受信アンテナが強いＥＭＦ信号を受信し得ることであり得る。アンテナ接続は、プロセッサ３１６からの命令によりＲＦスイッチ３０６によって経時的に変更されてよい。
[0037]図４は、ニューラルネットワークアーキテクチャの例を示す。ニューラルネットワークは、ニューロンと呼ばれる要素（円として図示される）から構成されることが可能である。各ニューロンは、１つまたは複数の入力を受信してよく、かつ出力をもたらしてよい。ニューロンに対する各入力は、ニューロンに対するその入力の影響の強さに対応する、対応する「重み」を有してよい。ニューロンの全体的な活性化は、各入力がその入力に対応する重みによって拡大縮小されて、ニューロンのすべての入力の合計であり得る。ニューロンは、ニューロンの出力（例えば、シグモイド関数、しきい値ステップ関数）を判定すべく、重み付けされた入力の合計を活性化関数に通してよい。ニューロン間の単方向接続（線として図示される）は、「シナプス」と呼ばれ、シナプス前ニューロンの出力が、シナプス後ニューロンの入力となる。各シナプスは、シナプス後ニューロンに対するシナプス前ニューロンの影響を決定する「重み」を有し、高い重みは、シナプス前ニューロンがシナプス後ニューロンを容易に発火させることができることを意味し、低い重みは、シナプス前ニューロンがシナプス後ニューロンに対して弱い影響しか有さないことを意味する。
[0038]この例示的なネットワークにおいて、入力信号４００が、ニューロンの第１の層４０４に入力として加えられる。各接続線４０２は、接続強度を決定する（例えば、シナプス後ニューロンに対する入力を増倍することによって）シナプス重みを有する、シナプスと見なされてよい。各接続線４０２は、情報がネットワークを左から右に通されるように一方向接続を備える。第１の層４０４において、各ニューロン（円）は、すべての入力（各接続のシナプス重みによって重み付けされた）の合計を計算し、この合計を活性化関数に通す。次に、第１の層４０４における各ニューロンは、第２の層４０８におけるニューロンに出力を送り、その出力は、対応する接続４０６の重みによって縮小拡大されている。次に、ニューロンの第２の層４０８が、重み付けされた入力を合計し、かつ活性化関数に通す類似したプロセスを実行してよい。次に、ニューロンの第２の層４０８の出力が、対応するシナプス接続４１０によって最終の出力層４１２に送られてよい。出力層４１２は、重み付けされた入力を合計し、かつ活性化関数に通すプロセスを実行してよい。例において、ネットワークが、或る範囲の電圧入力４００を入力として受信してよく、かつ指位置を最終出力４１４としてもたらしてよい。
[0039]そのようなニューラルネットワークは、バックプロパゲーションプロセスによって訓練されてよい。バックプロパゲーションとは、誤差の逆伝播を指す。誤差は、ネットワーク出力（例えば、出力４１４）をもたらすべくネットワーク入力（例えば、入力４００）を加え、次に、ネットワーク出力を、ネットワーク入力に対応する所定の「正しい」出力値と比較することによって計算されてよい。ネットワーク出力と正しい出力の差が、誤差と見なされてよい。次に、この誤差が、ネットワーク全体にわたってシナプス重みを変更するように使用されてよい。逆伝播（例えば、連鎖規則プロセスによる）は、同一のネットワーク入力が再び加えられたとした場合、ネットワーク出力が、シナプスが変更される前と比べて、より小さい誤差を有するようにするのに、ネットワークの各シナプスがどのように変更されるべきかを決定する手段を提供し得る。
[0040]図５は、動き追跡デバイスの動作を詳細に示す。送信モジュール５０８は、送信されるＲＦ電気信号５２４を生成してよく、信号５２４は、本明細書において送信アンテナ５０２ａと呼ばれる、１つまたは複数のアンテナ５０２ａの選択されたサブセットにルーティングされてよい。複数のアンテナ５０２のなかからのアンテナ５０２ａのサブセットの選択は、プロセッサ５１６からの命令に基づいてよい。送信アンテナ５０２ａは、送信されるＲＦ電気信号５２４を近傍界ＥＭＦ５２２に変換してよい。このＥＭＦ５２２は、ユーザの手または他の身体部分と相互に作用してよく、この相互作用は、ＥＭＦの態様（振幅、位相、空間分布、その他）を変化させてよい。次に、ＥＭＦ５２２は、本明細書において受信アンテナ５０２ｂと呼ばれる、アンテナのサブセット５０２ｂによって感知されてよい。受信アンテナ５０２ｂは、ＥＭＦ５２２を受信されるＲＦ電気信号５２６に変換してよく、信号５２６は、受信モジュール５１０に渡されてよい。受信モジュール５１０は、受信されるＲＦ電気信号５２６の予備処理を実行してよく、予備処理は、増幅、復調、およびアナログ−デジタル変換のうちのいずれかを含んでよい。任意の処理中、受信モジュール５１０は、受信されるＲＦ電気信号５２６を、信号５２６の振幅および位相情報５３４をもたらすべく処理してよい。受信アンテナ５０２ｂの個々の各アンテナが、ＥＭＦ５２２の特定の空間要素を感知してよく、その結果、特定の振幅および位相情報５３４に変換され得る特定の受信されるＲＦ電気信号５２６をもたらしてよい。振幅および位相情報５３４は、プロセッサ５１６に渡される。
[0041]プロセッサ５１６は、振幅および位相情報５３４に対して連続するいくつかの操作を実行してよい。１つの操作は、ビーム形成５３６を含んでよい。ビーム形成５３６は、デジタル信号またはアナログ信号を用いて実行されてよい。受信される信号のビーム形成は、受信される信号の位相遅延および振幅縮小拡大を使用することによって、２つ以上のアンテナによって受信される信号から方向情報を抽出する手段である。複数のビーム形成プロセス５３６が、受信される信号の単一のセット（例えば、５３４）に対して実行されて、複数の形態の方向情報をもたらしてよい。
[0042]ビーム形成に加えて、またはその代わりに、プロセッサ５１６は、振幅および位相情報５３４に対して他の１つまたは複数の操作を実行してよい。そのような操作は、特徴抽出であると一般に見なされ得る。特徴抽出方法は、初期の信号を精製して、冗長性のより少ない情報を有する、より情報豊かな信号にするように機械学習およびパターン認識において広く使用される。
[0043]１つまたは複数の特徴抽出操作（例えば、ビーム形成５３６）を用いて、振幅および位相情報５３４は、処理された電磁場信号５３８に変換されてよい。処理された電磁場信号５３８は、ニューラルネットワーク５４０に送られてよく、ニューラルネットワーク５４０は、処理された電磁場信号５３８をジェスチャ５４２に対応するものとして解釈し、かつ分類してよい。処理された電磁場信号５３８は、ニューラルネットワーク５４０のシナプス重みにより解釈されてよい。
[0044]ニューラルネットワーク５４０が、ジェスチャ５４２の推定を生成した後、ジェスチャ５４２と処理された電磁場信号５３８が一緒に、細区分データベース５４４により、さらに解釈されてよい。細区分データベース５４４は、認識されたジェスチャ５４２により分割されたマッピングテーブルまたはルックアップテーブルを包含してよい。各ジェスチャ５４２に関して、細区分データベース５４４は、処理された電磁場信号５３８を指位置５４６上にマップしてよい。「指位置」という用語は、ユーザの手のすべての指および親指の位置を指し得る。また、「指位置」という用語は、関心対象の任意の動き追跡物体の配置（例えば、足位置、顔位置、腕位置、身体位置）を指すことも可能である。出力は、ジェスチャ５４２と、位置５４６と、速度５５０とを含んでよい。
[0045]図６に示されるとおり、細区分データベース６００は、それぞれが一般的な状態（例えば、手のジェスチャ）に対応する、複数のテーブル６０２を包含してよい。各テーブル６０２は、複数の要素６０８（例えば、テーブルの行）を包含してよい。各要素は、入力６０４と、出力６０６とを含んでよい。入力６０４は、ビームのセットを備えるものとして図示される、処理された電磁場信号を含んでよい。出力６０６は、複数の指位置を含んでよい。各指位置は、線形位置（例えば、ｘ座標、ｙ座標、およびｚ座標）、角位置、または他の任意の座標系によって符号化されてよい。テーブル６０２は、有限の分解能を有してよく、ここで、分解能は、最小限に分離された２つの（例えば、隣接する）要素の出力６０６の間の差と見なされてよい。要素間の分解能は、指位置空間をマップするのに利用可能な要素６０８の限られた総数のため、限定され得る。要素６０８の総数は、プロセッサ６１６上で利用可能な有限の記憶スペースによって限定されることが可能であり、またはそれ以外で限定されることが可能である。出力６０６のより高い分解能の推定を可能にすべく、細区分データベースから読み取る処理は、補間（例えば、線形補間）を含んでよい。補間は、一般に、利用可能な出力の中間にある新たな出力を推測することによって、より低い分解能のテーブルからより高い分解能の出力を生成する手段である。線形補間は、以下、すなわち、
Figure 2020126578
などの式を使用してよい。ここで、ｘは、所望される位置であり、ｙは、ｘにおける知られていない値であり、（ｘ１，ｙ１）および（ｘ２，ｙ２）は、所望される位置ｘに隣接する、知られている位置−値ペアである。
[0046]細区分データベース６００は、指位置および指速度の情報対受信される電圧（例えば、ＥＭＦ情報）の間のマッピング関係を獲得することによって構築されてよい。細区分データベース６００は、受信されるＥＭＦ（例えば、光学モーションキャプチャと同時にモーションキャプチャデバイスによって受信される）とペアにされた大量の知られている手位置データ（例えば、光学キャプチャ動き追跡デバイスによって生成される）を比較することによって、ニューラルネットワークを訓練するのにも使用され得る訓練データを使用して構築されてよい。細区分データベース６００は、モーションキャプチャデバイスプロセッサ（例えば、５１６）上に事前記憶されてよい。細区分データベース６００は、様々なジェスチャ状態により分割されてよく、ジェスチャ状態のそれぞれは、処理された受信されるＥＭＦ（例えば、ビーム１、ビーム２）と指位置（例えば、ｘ，ｙ，ｚ）の間に特定のセットのマッピング関数（例えば、ｆ１、ｆ２）を有してよい。指位置（例えば、ｘ、ｙ、およびｚにおける位置）に関する情報に加えて、細区分データベース６００は、指速度（例えば、ｘ、ｙ、およびｚにおける速度）に関する情報を包含してよい。
[0047]指位置および指速度の情報対受信される電圧（例えば、ＥＭＦ情報）の間のマッピング関係は、補間関数（例えば、線形補間）を含んでよい。補間関数は、可能な指の動きの位置の範囲に合うように、かつ及ぶように使用されてよい。複数の時点にわたる位置情報が、指の速度情報を得るべく経時的に比較されて（例えば、微分されて）よい。
[0048]図５に戻ると、プロセッサ５１６が、指位置５４６データに対して、微分５４８操作であり得る、さらなる操作を実行してよい。プロセッサ５１６は、指速度５５０を推定すべく、現在の指位置５４６および前の１つまたは複数の指位置を考慮してよい。微分５４８は、前の指位置と現在の指位置５４６の間の空間距離を計算すること、およびこの距離を、対応する前の時刻と現在時刻の間の差で割ることによって実行されてよい。指位置は、線形位置、角位置、または他の座標位置と見なされてよい。微分５４８は、２つの位置／時刻ペアを考慮してよく、または２つ以上の位置／時刻ペアを考慮してよい。
[0049]図７Ａは、対応する身体パラメータ（例えば、ジェスチャ、指位置、指速度）に関する情報とペアにされた処理された電磁場信号７３８（例えば、図５における５３８）を備え得る、ラベル付けされたペアデータ７１２を生成するためのプロセスを図示する。ラベル付けされたペアデータ７１２は、ニューラルネットワーク（例えば、図５における５４０）訓練７１４のために使用されてよく、かつ細区分データベース７１６（例えば、図５における５４４）を構築するのに使用されてよい。ラベル付けされたペアデータ７１２を生成することは、モーションキャプチャデバイス（例えば、図１における１００）と別個の動き認識デバイス（例えば、光学モーションキャプチャおよび認識システム）の同時の使用を含んでよい。モーションキャプチャデバイスおよびモーション認識デバイスは、或る範囲の行動および環境を介した複数の動きを含み得る、同一の身体の動き７００（例えば、手の動き）を観察してよい。身体の動き７００中、着用可能な近傍界モーションキャプチャシステム（例えば、図１における１００）が、着用されてよく、かつ１つまたは複数の送信アンテナ７０２ａから近傍界ＥＭＦ７１８を発してよい。近傍界ＥＭＦ７１８は、身体の動き７００との相互作用７０４を有することが可能であり、ＥＭＦ７１８を変化させる。変化７０４の後のＥＭＦ７１８は、モーションキャプチャシステム（例えば、図１における１００）の受信機アンテナ７０２ａ構成要素によって感知され得る。受信されるＲＦ電気信号７０６は、より有用な信号をもたらすべく処理されてよい。この処理の一例は、受信されるＲＦ電気信号７０６の位相および振幅から空間情報をもたらす、ビーム形成７０８である。モーションキャプチャシステム（例えば、図１における１００）と並んで、身体の動き７００は、動き認識システム７１０（例えば、光学モーションキャプチャおよび認識システム）によって認識されてもよい。動き認識システム７１０は、任意の形態の動き認識（例えば、ジェスチャおよび位置の手作業のラベル付けを伴う光学記録）であってよい。動き認識システム７１０は、経時的な身体ジェスチャと身体位置の両方に関するラベルをもたらす。動き認識システム７１０によって経時的にもたらされるラベルは、ビーム形成７０８によってもたらされる信号とペアにされてよい。ラベルと信号をペアにすることは、ラベル付けされたペア７１２のデータセットをもたらす。ラベル付けされたペア７１２のなかで、各ビーム信号は、対応する身体ジェスチャおよび身体位置を表すラベルを有する。
[0050]ラベル付けされたペア７１２は、ジェスチャ認識ニューラルネットワーク７１４を訓練するための基礎を形成してよい。ネットワーク訓練の例示的なプロセス、および例示的なネットワークアーキテクチャが、後段で与えられる。さらに、ラベル付けされたペア７１２は、ラベル付けされたペア（例えば、処理された電磁場信号と指位置）を包含するデータベース７１６をポピュレートするのに使用されてよい。データベース７１６は、ジェスチャにより細区分されてよい。データベース７１６のこの細区分は、処理された電磁場信号パターンを指位置にマッチさせるとき、より小さい探索スペースを可能にしてよく、このことは、曖昧さを低減し得る。
[0051]ラベル付けされたペア７１２（モーションキャプチャ７１０からのデータと処理された電磁場信号７３８から構成される）を使用してニューラルネットワーク訓練７１４およびデータベース生成７１６を実行することに加えて、ニューラルネットワーク訓練７１４およびデータベース生成７１６は、シミュレートされたラベル付けされたペア７２２をさらに使用してよい。シミュレートされたラベル付けされたペア７２２は、計算電磁シミュレーション７２０（ＣＥＭ）によって生成されてよい。ＣＥＭ７２０は、ＥＭＦをモデル化し、モデル化された形状にわたって、かつ経時的にマクスウェル方程式を計算することによって、予測される電磁場を生成する数値計算ベースの方法を備え得る。例示的なＣＥＭ７２０方法は、有限差分時間領域法、モーメント法、ビーム伝播法、フーリエ法、およびその他を含む。ＣＥＭ７２０シミュレーションは、モデル化されたシステムを備えてよく、モデル化されたシステムは、アンテナ（例えば、７０２）と、身体要素（例えば、腕、手、指）と、環境要素（例えば、壁、テーブル）とを備える。モデル化されたシステムの各要素は、割り当てられた電磁特性を有する。例示的なＣＥＭ７２０モデルにおいて、シミュレートされた送信アンテナ（例えば、７２０ａ）にシミュレートされたＲＦ電気信号（例えば、図５における５２４）が供給されてよい。ＣＥＭ７２０モデルは、シミュレートされたＥＭＦを算出すべく、シミュレートされた送信アンテナ（例えば、７０２ａ）、シミュレートされた身体要素、およびシミュレートされた環境要素にわたってマクスウェル方程式を計算してよい。シミュレートされたＥＭＦは、シミュレートされた受信アンテナ（例えば、７０２ｂ）のそれぞれの電磁場を含んでよい。ＣＥＭ７２０モデルは、シミュレートされたＥＭＦを所与として、シミュレートされた受信される電気信号（例えば、図５における５２６）を計算してよい。ＣＥＭ７２０モデルは、シミュレートされた身体要素および環境要素の異なる多くの位置を含んでよく、このようにして、ＣＥＭ７２０モデルは、多種多様なジェスチャ、位置、および条件にわたってシミュレートされたラベル付けされたペア７２２を生成するのに使用されてよい。ＣＥＭ７２０モデルは、シミュレートされた身体要素またはシミュレートされた環境要素の動きを含んでよい。ＣＥＭ７２０モデルは、多種多様なユーザに適用可能であり得るシミュレートされたラベル付けされたペア７２２を生成するために、シミュレートされた身体要素の様々なサイズおよび形状を含んでよい。ＣＥＭ７２０モデルにおいて、手および指のジェスチャおよび位置は、シミュレートされたＥＭＦが生成される前に知られており、このことは、知られているシミュレートされたジェスチャおよび位置をシミュレートされた受信される信号とペアにすることを可能にする。
[0052]図８は、ニューラルネットワークを訓練するためのプロセスを図示する。訓練サイクルは、ラベル付けされたペア（例えば、図７の７１２）またはシミュレートされたラベル付けされたペア（例えば、図７の７２２）のセットのなかから特定のサンプル８００を選択することから始まってよい。次に、処理された電磁場信号データが、ニューラルネットワーク８０２の入力層に加えられてよい。次に、ニューラルネットワークが、この入力データに作用し、入力データのニューラルネットワークによって推定された分類であり得る結果を生成する。後続のステップにおいて、ニューラルネットワークによって推定される分類が、ペアにされたサンプルの真の分類ラベルと比較８０４される。この比較は、ニューラルネットワークが、この訓練サイクルに関して正しいのか、または誤っているのかを判定する。いずれの場合も、次に、ニューラルネットワークを構成するシナプス重みが、この訓練を反映するように更新８０６されてよい。例において、ネットワーク分類が真のラベルと正しく合致した場合、活性のシナプスは、強化されてよく、ネットワーク分類が誤っている場合、活性のシナプスは、弱められてよい。最後に、いくつかの訓練サイクルにおいて、ネットワークの全体的な精度が評価８０８されてよい。精度の評価８０８は、すべての訓練サイクルにおいて実行されなくてもよく、代わりに、所与の数の訓練サイクルの後に実行されてよい。精度評価８０８は、単一のラベル付けされたペアだけではなく、いくつかのラベル付けされたペアを使用してよく、ニューラルネットワークを過剰適合させるのを回避するために訓練セットの一部ではなかったラベル付けされたペアを使用してよい。精度評価８０８は、ネットワークがさらなる訓練を要求するかどうかを判定するのに使用されてよい。
[0053]動き追跡デバイスは、較正機能を含んでよい。較正機能は、入力信号（図５における処理された電磁場信号５３８）を変更してよく、または出力信号（例えば、図５における指位置５４６）を変更してよく、または内部パラメータ（例えば、図５におけるニューラルネットワーク５４０内のシナプス重み）を変更してよく、またはモーションキャプチャデバイスの他の態様を変更してよい。これらの態様を変更することによって、較正は、特定のユーザに関して、そのユーザの特定の身体形状を所与として、モーションキャプチャデバイスをより正確にするのに役立ち得る。較正手順は、ユーザが、モーションキャプチャデバイスが取り付けられた状態でスクリプト化されたセットのジェスチャおよび指の動きを実行することを備えてよい。次に、モーションキャプチャデバイスが、モーションキャプチャデバイスの態様を変更すべく（例えば、入力信号、出力信号、ニューラルネットワークパラメータ、またはその他の態様を変更すべく）、この知られているスクリプト化されたセットのジェスチャおよび指の動きによって生成される信号を使用してよい。較正手順は、較正手順によって情報を与えられてよい。較正手順は、ユーザがモーションキャプチャデバイスを最初に使用しているとき、ユーザによって実行されてよく、かつその後、モーションキャプチャデバイスによって記憶されてよい。代替として、較正手順は、デバイスがユーザに取り付けられるたびに実行されてよい。較正手順は、モーションキャプチャデバイス上に記憶された較正関係の所定のデータベースを利用してよい。較正関係のデータベースは、ユーザのセットにわたる手の位置およびモーションキャプチャデバイス出力信号を測定するプロセスによって作成されてよく、ユーザのセットは、或る範囲の手のサイズおよび形状（例えば、左、右、大きい、小さい、男性、女性、大人、子供）を有するユーザを備えてよい。
[0054]代替の実施形態において、ビーコンリングが、ユーザの手の指上に着用されるように構成されてよい。ビーコンリングは、一意の、または識別可能なＥＭＦ相互作用をもたらすように構成された構造体（例えば、共振回路、受動共振器、非線形回路）を含んでよい。ビーコンリングは、受動デバイスであっても、能動デバイスであってもよい。ビーコンリングは、パターン認識計算（例えば、ニューラルネットワーク）を支援するさらなる情報を提供し得る。ビーコンリングは、ＥＭＦを識別可能な様態で歪めることによってさらなる情報をもたらすことが可能であり、このことは、空間内のビーコンリング位置を特定する際の後の処理（例えば、ビーム形成）を支援し得る。知られているリング位置は、手の位置を推定するための後の処理（例えば、ニューラルネットワーク）を支援することが可能なさらなる情報をもたらし得る。
１００ バンド
１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、２０２、３０２ａ、３０２ｂ、３０２ｃ、５０２ａ、５０２ｂ アンテナ
１０４ 制御ユニット
２００ 動き追跡デバイス
２０４ 制御ユニット
２０６ スイッチ
２０８、３０８、５０８ 送信モジュール
２１０、３１０、５１０ 受信モジュール
２１２ 発振器
２１４ 増幅器
２１６、３１６、５１６、６１６ プロセッサ
２１８ 電力管理回路
２２０ 電源
２２２ 電磁場
２２４、２２６ ＲＦ電気信号
２３４ 振幅および位相情報
２２８ フロントエンド増幅器
２３０ 復調器
２３２ アナログ−デジタル変換器
２３６ 出力情報
２３８ 通信モジュール
３００ａ、３００ｂ、３００ｃ スイッチング要素
３０６ ＲＦスイッチ
４００ 入力信号
４０２ 接続線
４０４、４０８ ニューロンの層
４１０ シナプス接続
４１２ 出力層
４１４ 出力信号
５２２ 電磁場
５２４、５２６ ＲＦ電気信号
５３４ 振幅および位相情報
５３６ ビーム形成プロセス
５３８ 電磁場信号
５４０ ニューラルネットワーク
５４４ 細区分データベース
５４８ 微分器
６００ 細区分データベース
６０２ａ、６０２ｂ テーブル
６０４ａ 入力
６０４ｂ 出力

Claims (20)

  1. 人の手首に取り付けられるように構成されたバンドと、
    前記バンド上に配置された複数の近傍界アンテナと、
    前記アンテナに電気的に接続された制御ユニットであって、
    スイッチと、
    プロセッサと、
    送信モジュールと、
    受信モジュールと、
    無線通信モジュールと、を備える制御ユニットと
    を備える手の動き追跡デバイスであって、
    前記スイッチは、前記複数の近傍界アンテナの各近傍界アンテナを前記送信モジュールと前記受信モジュールのうちの選択された１つに選択的に接続するように構成され、かつ
    前記プロセッサは、
    前記複数の近傍界アンテナの第１のサブセットを前記送信モジュールに接続するように、かつ前記複数の近傍界アンテナの第２のサブセットを前記受信モジュールに接続するように前記スイッチを制御すること、
    前記送信モジュールから、送信されるＲＦ信号を送信することであって、前記送信されるＲＦ信号は、前記複数の近傍界アンテナの前記第１のサブセットに配信される、送信すること、
    前記受信モジュールから、前記複数の近傍界アンテナの前記第２のサブセットからの受信されるＲＦ信号を受信することであって、前記受信されるＲＦ信号は、周波数、振幅、および位相情報に関連する、受信すること、
    前記受信されるＲＦ信号の前記周波数、前記振幅、および前記位相情報をデジタル化すること、
    手のジェスチャを推定すべく、前記デジタル化された周波数、振幅、および位相情報をニューラルネットワークに適用することであって、前記手のジェスチャは、手のひらおよび指の配置を備える、適用すること、
    １つまたは複数の指の推定される位置を判定すべく、前記デジタル化された周波数、振幅、および位相情報、ならびに前記推定される手のジェスチャを指位置データベースに適用すること、
    推定される指速度を判定すべく、前記推定される指位置を前に推定された１つまたは複数の指位置と比較すること、ならびに
    前記推定される手のジェスチャ、前記推定される指位置、および前記推定される指速度を、送信のために前記無線通信モジュールに送ることのための命令を実行するように構成される、手の動き追跡デバイス。
  2. 前記プロセッサは、
    前記デジタル化された周波数、振幅、および位相情報を前記ニューラルネットワークに適用することの前に、前記デジタル化された周波数、振幅、および位相情報を、特徴抽出方法によって処理することのための命令を実行するようにさらに構成される、請求項１に記載のデバイス。
  3. 前記特徴抽出方法は、ビーム形成方法から構成される、請求項２に記載のデバイス。
  4. １つまたは複数の指の推定される位置を判定すべく、前記デジタル化された周波数、振幅、および位相情報、ならびに前記推定される手のジェスチャを前記指位置データベースに適用することは、線形補間方法を適用することをさらに備える、請求項１に記載のデバイス。
  5. 前記アンテナのうちの１つまたは複数のアンテナの第１のサブセットを前記送信モジュールに接続するように、かつ前記アンテナのうちの１つまたは複数のアンテナの第２のサブセットを前記受信モジュールに接続するように前記スイッチを制御することは、前記第１のサブセットのメンバシップ、および前記第２のサブセットのメンバシップが経時的に変化させられるように経時的に変化する命令をさらに備える、請求項１に記載のデバイス。
  6. ビーコンリングをさらに備えるデバイスであって、
    前記ビーコンリングは、人の指に取り付けられるように構成され、かつ前記ビーコンリングは、前記受信されるＲＦ信号を変化させる、請求項１に記載のデバイス。
  7. 前記プロセッサは、
    較正を実行することであって、前記較正は、特定のユーザに関して構成された前記推定される指位置の精度を向上させるべく、デバイスの１つまたは複数の内部パラメータを調整することを備える、実行することのための命令を実行するようにさらに構成される、請求項１に記載のデバイス。
  8. 人の身体に取り付けられるように構成されたバンドと、
    前記バンド上に配置された複数の近傍界アンテナと、
    前記アンテナに電気的に接続された制御ユニットであって、
    スイッチと、
    プロセッサと、
    送信モジュールと、
    受信モジュールと、
    無線通信モジュールと、を備える制御ユニットと
    を備える動き追跡デバイスであって、
    前記スイッチは、前記複数の近傍界アンテナの各アンテナを前記送信モジュールと前記受信モジュールのうちの選択された１つに接続するように構成され、かつ
    前記プロセッサは、
    前記アンテナのうちの１つまたは複数のアンテナの第１のサブセットを前記送信モジュールに接続するように、かつ前記アンテナのうちの１つまたは複数のアンテナの第２のサブセットを前記受信モジュールに接続するように前記スイッチを制御すること、
    前記送信モジュールから、送信される１つまたは複数のＲＦ信号を送信することであって、前記送信されるＲＦ信号は、アンテナの前記第１のサブセットに配信されて、アンテナの前記第１のサブセットが、身体部分と相互に作用するように構成された近傍界電磁場（ＥＭＦ）を発するようにする、送信すること、
    前記受信モジュールから、受信される１つまたは複数のＲＦ信号を受信することであって、前記受信されるＲＦ信号は、アンテナの前記第２のサブセットからの周波数、振幅、および位相情報を備えて、アンテナの前記第２のサブセットが前記ＥＭＦを感知するようにする、受信すること、
    前記受信されるＲＦ信号の前記周波数、振幅、および位相情報をデジタル化すること、
    身体部分の推定される配置を判定すべく、前記デジタル化された周波数、振幅、および位相情報をパターン認識システムに適用すること、ならびに
    前記身体部分の前記推定される配置を、送信のために前記無線通信モジュールに送ることのための命令を実行するように構成される、動き追跡デバイス。
  9. 前記プロセッサは、
    前記デジタル化された周波数、振幅、および位相情報を前記パターン認識システムに適用することの前に、前記デジタル化された周波数、振幅、および位相情報を、ビーム形成方法によって処理することのための命令を実行するようにさらに構成される、請求項８に記載のデバイス。
  10. 前記パターン認識システムは、少なくともニューラルネットワークを備える、請求項８に記載のデバイス。
  11. 前記パターン認識システムは、少なくともデータベースを備える、請求項８に記載のデバイス。
  12. 前記プロセッサは、
    推定される指速度を判定すべく、推定される指位置を前に推定された１つまたは複数の指位置と比較することのための命令を実行するようにさらに構成される、請求項８に記載のデバイス。
  13. ビーコンリングをさらに備えるデバイスであって、
    前記ビーコンリングは、身体部分に取り付けられるように構成され、かつ前記ビーコンリングは、前記ＥＭＦを変化させる、請求項８に記載のデバイス。
  14. 前記プロセッサは、
    較正を実行することであって、前記較正は、特定のユーザに関して構成された前記推定される指位置の精度を向上させるべく、デバイスの１つまたは複数の内部パラメータを調整することを備える、実行することのための命令を実行するようにさらに構成される、請求項８に記載のデバイス。
  15. １つまたは複数のアンテナの第１のサブセットを送信モジュールに接続するように、かつ１つまたは複数のアンテナの第２のサブセットを受信モジュールに接続するようにスイッチを制御するステップ、
    アンテナの前記第１のサブセットから、ユーザの手と相互に作用するように構成された近傍界電磁場（ＥＭＦ）を送信するステップ、
    アンテナの前記第２のサブセットから、ＥＭＦ信号を受信するステップ、
    前記ＥＭＦ信号をデジタル化するステップ、
    前記デジタル化されたＥＭＦ信号を、ビーム信号を生成すべく、ビーム形成することによって処理するステップ、
    前記手の推定される配置を判定すべく、前記ビーム信号をパターン認識システムに適用するステップ、および
    前記手の前記推定される配置を、送信のために無線通信モジュールに送るステップ
    を含む動き追跡方法。
  16. 前記パターン認識システムは、少なくともニューラルネットワークを備える、請求項１５に記載の方法。
  17. 前記パターン認識システムは、少なくともデータベースを備える、請求項１５に記載の方法。
  18. 前記アンテナは、ユーザの手首に取り付けられるように構成される、請求項１５に記載の方法。
  19. 前記ニューラルネットワークは、ラベル付けされたペアデータセットによって訓練されるニューラルネットワークを備える、請求項１６に記載の方法。
  20. 前記近傍界ＥＭＦは、前記手の２０ｃｍ範囲内に実質的に限定される空間分布を有するＥＭＦを備える、請求項１５に記載の方法。
JP2019173956A 2019-02-01 2019-09-25 伝播しない電磁場に基づくマルチポイント受信アレイのためのモーションキャプチャデバイスおよびモーションキャプチャ方法 Active JP6890344B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910104638.2A CN109917909B (zh) 2019-02-01 2019-02-01 基于非传播电磁场的多点接收阵列的动作捕捉装置及方法
CN201910104638.2 2019-02-01

Publications (2)

Publication Number Publication Date
JP2020126578A true JP2020126578A (ja) 2020-08-20
JP6890344B2 JP6890344B2 (ja) 2021-06-18

Family

ID=66961308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173956A Active JP6890344B2 (ja) 2019-02-01 2019-09-25 伝播しない電磁場に基づくマルチポイント受信アレイのためのモーションキャプチャデバイスおよびモーションキャプチャ方法

Country Status (3)

Country Link
US (1) US11321967B2 (ja)
JP (1) JP6890344B2 (ja)
CN (1) CN109917909B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11728571B2 (en) * 2019-07-12 2023-08-15 Arizona Board Of Regents On Behalf Of Arizona State University Large intelligent surfaces with sparse channel sensors
US11449578B2 (en) * 2019-09-27 2022-09-20 Botty Todorov DIMANOV Method for inspecting a neural network
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN117217243B (zh) * 2023-09-13 2024-02-09 广州莲雾科技有限公司 一种工器具自动借还管理系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530727A (ja) * 2008-03-26 2011-12-22 イデント テクノロジー アーゲー ジェスチャ多次元分析のためのシステムおよび方法
JP2014048049A (ja) * 2012-08-29 2014-03-17 Toyota Central R&D Labs Inc 動作検出装置
JP2014081743A (ja) * 2012-10-15 2014-05-08 Canon Inc 情報処理装置及び方法、並びにパターン認識装置
JP2015170257A (ja) * 2014-03-10 2015-09-28 富士通株式会社 入力方法，プログラム及び入力装置
JP2016507851A (ja) * 2013-02-22 2016-03-10 サルミック ラブス インコーポレイテッド ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
US20170146333A1 (en) * 2015-11-25 2017-05-25 Intel Corporation Apparatus for detecting electromagnetic field change in response to gesture
JP2017517062A (ja) * 2014-06-03 2017-06-22 グーグル インコーポレイテッド ウェアラブルデバイスを通じたレーダ型ジェスチャ認識
US20170255265A1 (en) * 2016-03-04 2017-09-07 Nxp B.V. Gesture feedback
JP2017182571A (ja) * 2016-03-31 2017-10-05 株式会社インテック 情報処理システムと情報処理方法及び情報処理プログラム
US20180041241A1 (en) * 2016-08-08 2018-02-08 Infineon Technologies Ag Radio Frequency System and Method for Wearable Device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298314B2 (en) 2002-08-19 2007-11-20 Q-Track Corporation Near field electromagnetic positioning system and method
US7787951B1 (en) * 2003-12-24 2010-08-31 Pacesetter, Inc. System and method for determining optimal stimulation sites based on ECG information
US9753131B2 (en) 2013-10-09 2017-09-05 Massachusetts Institute Of Technology Motion tracking via body radio reflections
CN103809748B (zh) * 2013-12-16 2016-08-17 天津三星通信技术研究有限公司 便携式终端及其手势识别方法
US10146318B2 (en) * 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US9568594B2 (en) 2015-06-29 2017-02-14 Echocare Technologies Ltd. Human posture feature extraction in personal emergency response systems and methods
US9576468B2 (en) 2015-06-29 2017-02-21 Echocare Technologies Ltd. Human motion feature extraction in personal emergency response systems and methods
JP1547683S (ja) 2015-08-20 2016-04-11
CN105354532A (zh) * 2015-09-25 2016-02-24 天津大学 一种基于手部运动帧数据的手势识别方法
US20170161555A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for improved virtual reality user interaction utilizing deep-learning
US9996162B2 (en) 2015-12-21 2018-06-12 Intel Corporation Wearable sensor system for providing a personal magnetic field and techniques for horizontal localization utilizing the same
US10371808B2 (en) 2016-01-15 2019-08-06 Panasonic Intellectual Property Management Co., Ltd. Positioning sensor and direction estimation method
DE102016201845A1 (de) * 2016-02-08 2017-08-10 Volkswagen Aktiengesellschaft Verfahren und System zum Erfassen einer Eingabe für eine Einrichtung
US10914829B2 (en) 2017-01-27 2021-02-09 Panasonic Intellectual Property Management Co., Ltd. Positioning sensor, sensor, and method
TW201832052A (zh) * 2017-02-17 2018-09-01 鴻海精密工業股份有限公司 一種手勢識別裝置以及人機互動系統
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
US10603505B2 (en) * 2017-06-07 2020-03-31 Palo Alto Research Center Incorporated Implantable neural probe
US10575277B2 (en) 2017-11-08 2020-02-25 Massachusetts Institute Of Technology Methods and apparatus for wideband localization
CN108088437B (zh) * 2017-12-04 2021-01-19 成都思悟革科技有限公司 一种依托动作捕捉的智能辅助锻炼系统
CN108629272A (zh) * 2018-03-16 2018-10-09 上海灵至科技有限公司 一种基于单目摄像头的嵌入式手势控制方法及系统
US11151366B2 (en) * 2020-01-30 2021-10-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for occluding vehicle occupant communication

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530727A (ja) * 2008-03-26 2011-12-22 イデント テクノロジー アーゲー ジェスチャ多次元分析のためのシステムおよび方法
JP2014048049A (ja) * 2012-08-29 2014-03-17 Toyota Central R&D Labs Inc 動作検出装置
JP2014081743A (ja) * 2012-10-15 2014-05-08 Canon Inc 情報処理装置及び方法、並びにパターン認識装置
JP2016507851A (ja) * 2013-02-22 2016-03-10 サルミック ラブス インコーポレイテッド ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置
JP2015170257A (ja) * 2014-03-10 2015-09-28 富士通株式会社 入力方法，プログラム及び入力装置
JP2017517062A (ja) * 2014-06-03 2017-06-22 グーグル インコーポレイテッド ウェアラブルデバイスを通じたレーダ型ジェスチャ認識
US20170146333A1 (en) * 2015-11-25 2017-05-25 Intel Corporation Apparatus for detecting electromagnetic field change in response to gesture
US20170255265A1 (en) * 2016-03-04 2017-09-07 Nxp B.V. Gesture feedback
JP2017182571A (ja) * 2016-03-31 2017-10-05 株式会社インテック 情報処理システムと情報処理方法及び情報処理プログラム
US20180041241A1 (en) * 2016-08-08 2018-02-08 Infineon Technologies Ag Radio Frequency System and Method for Wearable Device

Also Published As

Publication number Publication date
JP6890344B2 (ja) 2021-06-18
CN109917909B (zh) 2022-05-31
US11321967B2 (en) 2022-05-03
US20200250409A1 (en) 2020-08-06
CN109917909A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
JP6890344B2 (ja) 伝播しない電磁場に基づくマルチポイント受信アレイのためのモーションキャプチャデバイスおよびモーションキャプチャ方法
Hsieh et al. Deep learning-based indoor localization using received signal strength and channel state information
CN112153736B (zh) 一种基于信道状态信息的人员动作识别和位置估计方法
Yang et al. RFID-pose: Vision-aided three-dimensional human pose estimation with radio-frequency identification
Belmonte-Hernández et al. SWiBluX: Multi-sensor deep learning fingerprint for precise real-time indoor tracking
CN107832647B (zh) 一种基于无源射频标签的相位式手势识别方法
Cui et al. Dynamic multidimensional scaling algorithm for 3-D mobile localization
Zhang et al. A survey of mmWave-based human sensing: Technology, platforms and applications
CN112825137A (zh) 分布式神经网络系统中的姿态反馈
Jannat et al. Efficient Wi-Fi-based human activity recognition using adaptive antenna elimination
Cheng et al. In-air gesture interaction: Real time hand posture recognition using passive RFID tags
Chang et al. Device-free indoor localization using Wi-Fi channel state information for Internet of Things
CN110427104B (zh) 一种手指运动轨迹校准系统及方法
Sharma et al. Device-free activity recognition using ultra-wideband radios
Yang et al. Environment adaptive RFID-based 3D human pose tracking with a meta-learning approach
Zhou et al. FreeTrack: Device-free human tracking with deep neural networks and particle filtering
Le Enhanced indoor localization based BLE using Gaussian process regression and improved weighted kNN
Yan et al. Device-free activity detection and wireless localization based on CNN using channel state information measurement
Wu et al. Path-independent device-free gait recognition using mmwave signals
Kim et al. A study on 3D human pose estimation using through-wall IR-UWB radar and transformer
Yu et al. An intelligent implementation of multi-sensing data fusion with neuromorphic computing for human activity recognition
Shen et al. WiAgent: Link selection for CSI-based activity recognition in densely deployed wi-Fi environments
Bulugu Gesture recognition system based on cross-domain CSI extracted from Wi-Fi devices combined with the 3D CNN
Panigrahi et al. Maximum likelihood DOA estimation in distributed wireless sensor network using adaptive particle swarm optimization
CN115393955A (zh) 一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191028

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210118

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210118

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210326

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210518

R150 Certificate of patent or registration of utility model

Ref document number: 6890344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250