JP2019526295A - 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 - Google Patents

組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 Download PDF

Info

Publication number
JP2019526295A
JP2019526295A JP2018557124A JP2018557124A JP2019526295A JP 2019526295 A JP2019526295 A JP 2019526295A JP 2018557124 A JP2018557124 A JP 2018557124A JP 2018557124 A JP2018557124 A JP 2018557124A JP 2019526295 A JP2019526295 A JP 2019526295A
Authority
JP
Japan
Prior art keywords
joint
sensor
embedded device
aspects
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018557124A
Other languages
English (en)
Other versions
JP6938542B2 (ja
Inventor
ハルシャヴァルダナ, ナラヤナ キッケリ,
ハルシャヴァルダナ, ナラヤナ キッケリ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2019526295A publication Critical patent/JP2019526295A/ja
Application granted granted Critical
Publication of JP6938542B2 publication Critical patent/JP6938542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528Joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10Athletes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6804Garments; Clothes
    • A61B5/6805Vests
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6831Straps, bands or harnesses

Abstract

方法及びプログラム製品が、少なくとも1つの組込みデバイスの第1の位置を割り当てることを含む。組込みデバイスは、少なくとも1つのセンサを含み、運動可能である1つの関節と関係している。第1の位置は、センサによってキャプチャされる。少なくとも1つの組込みデバイスの第2の位置が割り当てられる。第2の位置は、少なくとも1つの外界センサによる組込みデバイスの観測によってキャプチャされる。第1の位置と第2の位置との間のポーズ対応が、関節のモデルを使用して確立される。センサは、関節が動くとき、外界センサによってキャプチャされたポーズの変化、および1つのセンサによってキャプチャされたポーズの変化をトラッキングすることによって校正される。

Description

関連出願の相互参照
本PCT特許出願は、米国特許法第119条(e)の定めの下に2016年5月17日に出願された米国仮特許出願第62/337,337号「ACCURATE MULTIJOINT POSE TRACKING BY FUSING EMBEDDED SENSOR INFORMATION WITH EXTERNAL SENSOR INFORMATION」、および米国特許法第111条(a)の定めの下に2016年12月07日に出願された米国実用特許出願第15/371,397号「A METHOD AND PROGRAM PRODUCT FOR MULTI−JOINT TRACKING COMBINING EMBEDDED SENSORS AND AN EXTERNAL SENSOR」についての優先権の利益を主張する。これらの関連する仮および特許出願の内容は、かかる主題が本願と矛盾せずまたはこれを限定しない範囲で全ての目的のために参照することによって本明細書に組み込まれる。
関連する同時係属中の米国特許出願
不適用。
連邦政府による資金提供を受けた研究開発
不適用。
シーケンスリスト、表、またはコンピュータリスト付属書への参照
不適用。
著作権表示
この特許文献の開示の一部には、その著者により著作権保護された内容が含まれる。著作権者は、特許先行技術として引用する目的で、それが特許商標局、特許ファイル、または記録に現れているような特許文献または特許開示のいずれかのものによる複製に異存がないけれども、そうでない場合には全ての著作権を留保する。
発明の分野
本発明の1つ以上の態様は、概して多関節トラッキングに関する。より具体的には、本発明は、組込みセンサと外界センサとを組み合わせる多関節トラッキングに関する。
発明の背景
以下の背景情報は、先行技術の特定の側面についての例(例えば、手法、事実、または通念)を示してもよく、その例は、先行技術の追加の側面に関してさらに読者に教示を与えるのに役に立つことが期待されるけれども、本発明、またはそのいずれかの態様を陳述された、それに包含された、またはそれに基づいて推測されたいずれかにも限定するように解釈されてはならない。
ジャイロスコープおよび加速度計を含む様々なタイプのセンサが、ますます、デバイスに組み込まれ、そして人およびロボットの関節に設置されることにより、いずれかのローカル情報、例えば、関節の位置、動作の速度、および関節同士間の角度を測定するようになっている。典型的には、センサは、物理ユニット内で未処理の読取値を実際の計測値にマッピングするための校正が必要である。Kinect等の外界センサは、3次元深度およびRGB色彩情報をキャプチャする。
以下は、先行技術の特定の側面の例であって、その例は、先行技術の追加の側面に関してさらに読者に教示を与えるのに役に立つことが期待されるけれども、本発明、またはそのいずれかの態様を陳述され、それに包含され、またはそれに基づいて推測されるいずれにも限定するように解釈されてはならない。システムは、身体関節の長手方向に及んでその身体関節の運動を測定するセンサアレイを含む。このセンサアレイは、身体関節の近位にある第1の加速度計と、身体関節の遠位にある第2の加速度計と、をさらに含んでもよい。
教示ための背景として、先行技術を知るのに概して役立つその別の側面は、システムが、第1の本体部分を第2の本体部分に連結する関節の活動を検出する着用可能な関節活動センサを含むことであって、その検出は、第1の身体部分に着用された近接センサを使用して、近接センサと第1および/または第2の身体部分との間の分離を検出することによる。
教示ための背景として、先行技術を知るのに概して役立つその別の側面は、システムが、フィードバック特徴を有する着用可能なデバイスを含むことであって、フィードバック特徴は、着用者の解剖学的部分の上で拡張することにより、ユーザに関節の動作パラメータに関する情報を提供する、および/またはユーザが正しい関節の向きを維持するように適合させるように配列された柔軟物を含むことである。着用可能なデバイスに備えられたセンサは、関節の向きを検出し、分析ために信号をプロセッサに送信する。
教示ための背景として、先行技術を知るのに概して役立つその別の側面は、患者の関節補綴の導入の後に関節位置を監視するためのシステムが、患者の身体関節の第1の側面に隣接して設置された第1の角運動センサと、身体関節の第2の反対側側面に隣接して設置された第2の角運動センサと、を含むことである。受信器が、角運動センサからデータを受信してもよい。
上記を考慮すれば、明らかに、これらの従来技術は完全ではなく、より最適なアプローチへの余地を残している。
本発明は、添付図面の図において、例としてであって限定的でなく示されており、図中において類似の参照数字は、類似の要素を指す。
本発明の態様に従う、外界センサと組込みセンサとを組み合わせるための例示的システムを示す。
本発明の態様に従う、例示的な関節のトラッキングを示す。
本発明の態様に従う、例示的な呼吸センサを示す。
本発明の態様に従ってトラッキングされてもよい例示的な関節ポーズを示す。
本発明の態様に従って、組込みデバイスセンサを校正するための例示的な手順を示す。
本発明の態様に従って、校正情報を使用して組込みデバイスの位置をトラッキングするための例示的な手順を示す。
本発明の態様に従う例示的なシステムを示す。
本発明の態様に従う、例示的なトラックスーツを示す。図8aは、外観図である。図8bは、内観図である。
本発明の例示的なウェブ対応/ネットワーク化態様によって使用されてもよい例示的なクライアント/サーバシステムを表すブロック図である。
特に明記しない限り、図面での例示は、必ずしも共通の尺度を有するわけではない。
いくつかの態様の詳細な記載
本発明は、本明細書に示す詳細図および説明を参照することによって最高の理解が得られる。
本発明の態様が、図を参照して以下で論じられる。しかし、本発明がこれらの限定された態様を越えて拡張するので、当業者であれば、これらの図に関する本明細書の詳細な記載が、説明を目的とするものであることを直ちに理解するであろう。例えば、当業者であれば、本発明の教示を考慮して、特定の用途のニーズに基づく多数の代替のおよび好適な手法を認識することにより、以下で説明され示される態様の特定の実装選択を越えて、本明細書に記載されたいずれかの所与の詳細についての機能を実装できることを理解すべきである。すなわち、多すぎて列挙できないけれども全てが本発明の範囲内にある、本発明についての修正および変形が存在する。また、単数語は、複数語として読まれるべきであり、その逆もまた同じであり、男性形は、女性形として読まれるべきであり、その逆もまた同じであり、場合によっては、適切な態様と代替の態様とは、必ずしもがその2つが相互に相容れないことを意味するわけではない。
本発明は、本明細書に記載された特定の方法、化合物、材料、製造技術、使用、および用途が変化する場合があるので、これらに限定されないことをさらに理解するべきである。本明細書で使用される用語は、特定の態様だけを説明する目的で使用され、本発明の範囲を限定することを意図していないことも理解するべきである。本明細書および添付されたクレームにおいて用いられるとき、単数形「1つの(a)」、「1つの(an)」、および「その」は、文脈が明白に別の意味を指す場合を除いて、複数への言及を含むことを留意すべきである。したがって、例えば、「1つの要素」への言及は、1つ以上の要素への言及であり、当業者に公知であるその均等物を含む。同様に、別の例において、「1つのステップ」または「1つの手段」への言及は、1つ以上のステップまたは手段への言及であり、サブステップおよび二次的手段を含んでもよい。全ての使用される接続詞は、可能な限り最も包括的な意味で理解されるべきである。したがって、語「または」は、文脈が明白に別のものを要求する場合を除いて、論理学上の「排他的なまたは」という定義ではなく、論理学上の「または」という定義を有するとして理解されなければならない。本明細書に記載された構造は、そのような構造の機能上の均等物を指すとも理解されるべきである。近似を表現すると解釈されてもよい言葉は、文脈が明白に別の意味を指す場合を除いて、そのように理解されなければならない。
本開示およびクレームにおいて使用されるような、近似についての全ての語は、「正確な」ではなく「およその」を意味すると解釈されなければならず、したがって、いずれかの別の語、指定されたパラメータ、量、質、または概念に対する意味のある修飾語句として使用されてもよい。近似の語としては、「実質的な」、「ほぼ」、「ほとんど」、「約」、「概して」、「主として」、「本質的に」、「密接に近い」等の用語が挙げられるが、これらに限定されない。
以下でいくらか詳細に確立されるように、早くも1939年に、近似の語は、かかる限定が明細書において画定されていないか、または指定されていないときにさえ、クレームにおいては不明確ではないことが確立された法である。
それゆえに、少なくとも前述の理由に対して、いずれの審査官も、いずれかの近似の語を使用する本特許のいずれかのクレームを不明確として保留することは不適当であると出願人は提起する。
別途定義されない限り、本明細書で使用される全ての技術および科学用語は、この発明が属する分野の当業者のうちの1人によって共通に理解されるのと同じ意味を有する。好ましい方法、技術、装置、および材料が説明されるけれども、本明細書に記載されたものに類似するかまたは均等であるいずれかの方法、技術、装置、または材料は、本発明の実施または試験において使用されてもよい。本明細書に記載された構造は、また、かかる構造の機能上の均等物を指すと理解されなければならない。本発明は、添付図面に示されるようなその態様に関してここで詳述されることになる。
本開示を読むことから、別の変形および修正が、当業者に明らかになるであろう。かかる変形および修正は、すでに当該技術分野において公知である均等な別の特徴を含んでもよく、そして、それは、本明細書に既に記載された特徴の代わりにまたはそれに加えて使用されてもよい。
クレームが本出願において特定の組合せの特徴に編成されているけれども、本発明の開示範囲は、また、明示的または暗示的のいずれかで本明細書において開示された任意の新規な特徴もしくは特徴の任意の新規な組合せまたはそれらの一般化を含み、それが、いずれかのクレームにおいて現在クレームされているのと同じ発明に関連するか否かに関わらないこと、そして、それが、本発明と同じ技術課題のうちのいずれかまたは全てを軽減するか否かに関わらないことが理解されなければならない。
別個の態様の文脈で記載されている特徴は、また、単一の態様における組合せで提供されてもよい。逆に、簡潔のために、単一の態様の文脈で説明された様々な特徴が、また、個々に、または任意の好適な二次的組合せで提供されてもよい。出願人は、ここで、新たなクレームが、本出願のまたはそれから派生した任意のさらなる出願の起訴中に、かかる特徴および/またはかかる特徴の組合せに編成されてもよいことを通知する。
「一態様」、「態様」、「例示的な態様」、「様々な態様」、「いくつかの態様」、「本発明の態様」等への参照は、そのように記載された本発明の態様が、特定の特徴、構造、または特性を含んでもよいけれども、本発明の全ての可能な態様が、必ずしも特定の特徴、構造、または特性を含むわけではないことを示してもよい。さらに、「一態様において」、または「例示的な態様において」、「態様」という句の繰返しの使用は、いうまでもなく、必ずしも同じ態様を指すわけではない。さらに、「本発明」と関連した「態様」のような句のいずれの使用も、本発明の全ての態様が、特定の特徴、構造、または特性を含まなければならないことを特徴付けることを決して意味せず、その代わりに、「本発明の少なくともいくつかの態様」が述べられた特定の特徴、構造、または特性を含むことを意味すると理解されなければならない。
「ユーザ」、または任意の同様の用語への言及は、本明細書で使用されるとき、人または人以外のユーザを意味する場合がある。さらに、「ユーザ」、または任意の同様の用語とは、本明細書で使用されるとき、別途明記されない限り、直接ユーザ(単数または複数)、間接ユーザ(単数または複数)、中間ユーザ(単数または複数)、およびエンドユーザ(単数または複数)等を含みこれらに限定されない、使用手順の任意の段階におけるユーザを意味する。「ユーザ」、または任意の同様の用語の意味は、本明細書で使用されるとき、本特許において提供されることがある(または提供されないことがある)説明、態様、例、または参照された先行技術のいずれかのパターンによって別の態様で推論または誘導されてはならない。
「エンドユーザ」、または任意の類似の用語への言及は、本明細書で使用されるとき、初期段階ユーザ(単数または複数)に対向する後期段階ユーザ(単数または複数)を概して意味するように意図されている。したがって、使用手順の最終段階付近には、多数の様々なタイプの「エンドユーザ」が存在してもよい。特に、(販売者/売主、または相手方ブランド製造業者に対向するものとして)消費されるその小売製品/サービスを含む本発明の態様についての流通経路に関して適用可能な場合、「エンドユーザ」の例としては、「消費者」、「買い手」、「顧客」、「購入者」、「買い物客」、「享受者」、「視聴者」、または本発明のいくつかの側面の使用またはそれとの相互作用から直接的または間接的にいずれかの方法で利益を得る個人もしくは人以外のものが挙げられるが、これらに限定されない。
いくつかの状況において、本発明のいくつかの態様は、前述の使用手順における2つ以上の使用の段階またはタイプに有利な使用を提供する場合がある。使用手順の様々な段階を目標とする複数の態様が説明される場合、「エンドユーザ」、またはいずれか同様の用語への言及は、本明細書で使用されるとき、前述の使用手順において、本発明の態様の最後のユーザから除外される最も遠いものであるユーザを概して含まないように意図されている。
特に、本発明の態様の小売流通経路に関して適用可能である場合、中間ユーザ(単数または複数)は、限定ではなく、セリング、ベンディング、他社ブランド製品製造、マーケティング、マーチャンダイジング、配付、サービス提供等に関して、本発明のいくつかの側面の使用またはそれとの相互作用から直接的または間接的に任意の方法で利益を得る個人または人以外のものを含んでもよい。
「人」、「個人」、「ヒト」、「団体」、「動物」、「生きもの」、またはいずれか同様の用語への言及は、本明細書で使用されるとき、たとえ文脈または特定の態様が生物の使用者、作成者、または関与者を意味するとしても、そのような特性付けは、どのような形であれ本発明の態様による作成、使用、および/または関与と関連した生物体による任意のかかる使用、作成、または関与が、自動機械、ロボット、人型ロボット、計算システム、情報処理システム、人工知能システム等を限定ではなく含む適切に構成された非生物体によって実行されるかかる類似物によって置換されてもよいという点で、単に例としてであって限定ではないことを理解すべきである。当業者であれば、本発明の態様についてのかかる生物の作成者、使用者、および/または関与者が、全体的にまたは部分的に、本発明の態様のかかる非生物の作成者、使用者、および/または関与者と置き換えられてもよいという実施状況を容易に理解するであろうことがさらに考えられる。同様に、当業者が、本発明の態様についてのそのような生物の作成者、使用者、および/または関与者が全体的にまたは部分的に、そのような非生物の作成者と置き換えられてもよいような実施状況を識別するとき、本発明の教示を考慮すれば、説明された態様をそのような本発明の態様の非生物の作成者、使用者、および/または関与者に好適であるように適合させる方法が、直ちに明らかになるであろう。したがって、本発明は、また、そのような非生物体に対して、少なくとも部分的に、そのような適合および修正の趣旨および範囲内にある全てのそのような修正、均等物、および代替を網羅することになっている。
本明細書で提供される表題は、便宜のためであって、いかなる形であれ本開示を限定するようにとられてはならない。
列挙された項目の一覧表は、明示的に別段の指定をした場合を除き、項目のうちのいずれかまたは全てが相互排他的ではあることを意味しない。
特定の構成要素、装置、および/またはパラメータ名称の使用は、単に例示であって、本発明に対する限定をなんら意味しないことが一般に理解されている。本発明は、したがって、限定されることなく、機構/ユニット/構造/構成要素/装置/パラメータを説明するために使用される様々な標準名称/機構によって本明細書において実装されてもよい。本明細書で使用されるそれぞれの用語は、その用語が使用される文脈が与えられる最も広い解釈を与えられるべきである。
用語。以下の段落は、本開示(添付のクレームを含む)に見られる用語についての定義および/または背景を提供する。
「を備える。」この用語は、非限定的である。添付のクレームにおいて使用されるとき、この用語は、追加の構造またはステップを排除しない。「システムキャッシュを備えるメモリコントローラは、・・・。」を列挙するクレームを考えると、かかるクレームは、メモリコントローラが追加の構成要素(例えば、メモリチャネルユニット、スイッチ)を含むことを排除しない。
「するように構成される。」様々なユニット、回路、または別の構成要素は、単数または複数のタスクを実行「するように構成される」として記載またはクレームされてもよい。そのような文脈において、「するように構成される」または「するように動作可能である」は、機構/ユニット/回路/構成要素が作動中に単数または複数のタスクを実行する構造(例えば、回路および/または機構)を含むことを示すことによって、構造を示すために使用される。このように、機構/ユニット/回路/構成要素は、指定された機構/ユニット/回路/構成要素が、現在作動中ではない(例えば、動いていない)ときでさえ、タスクを実行するように構成されている(または、するように作動可能である)といわれてもよい。「するように構成される」または「するように作動可能である」という言葉とともに使用される機構/ユニット/回路/構成要素は、ハードウェア、例えば、機構、構造、電子装置、回路、作動を実装するのに実行可能なプログラム命令を記憶するメモリ等を含む。機構/ユニット/回路/構成要素が、1つ以上のタスクを実行「するように構成される」または「するように動作可能である」と列挙することは、その機構/ユニット/回路/構成要素について米国特許法第112条第6段落を行使しないことが明示的に意図されている。「するように構成される」は、また、1つ以上のタスクを実装または実行するように適合されている装置または構成要素を製作するために製造工程を適合させることを含んでもよい。
「に基づいて。」本明細書において使用されるとき、この用語は、判定に影響を及ぼす1つ以上の要因を説明するために使用される。この用語は、判定に影響を及ぼし得る追加の要因を排除しない。すなわち、判定は、それらの要因にだけ基づいて、または、少なくとも部分的にそれらの要因に基づいていてもよい。句「Bに基づいてAを判定する」を考える。Bは、Aの判定に影響を及ぼす要因であってもよいけれども、そのような句は、Aの判定がCにも基づくことも排除しない。別の場合には、Aは、Bにだけ基づいて判定されてもよい。
用語「1つの(a)」、「1つの(an)」、および「その」は、明示的に別段の指定をした場合を除き、「1つ以上の」を意味する。
別途明記しない限り、明細書およびクレームにおいて使用される状態、濃度、寸法等を表す全ての数は、全ての場合において用語「約」によって修正されると理解されるべきである。したがって、逆の明記がない限り、以下の明細書および添付のクレームにおいて記載される数値パラメータは、特定の分析技術に少なくとも基づいて変化し得る近似である。
用語「を備える」は、「を含む」、「を含有する」、または「によって特徴付けられる」の類義語であるが、包括的または非限定的であって、追加となる列挙されていない要素または方法ステップを除外しない。「を備える」は、クレーム言語に使用される専門用語であって、指名されたクレーム要素が必須であることを意味するけれども、別のクレーム要素が付加されてもよく、それでもクレームの範囲内の構成を形成してもよい。
本明細書で使用されるとき、句「から構成される」は、クレームにおいて指定されていないいずれの要素、ステップ、または成分も除外する。句「から構成される(または、その変形)」が、導入部の直後に続くのではなく、クレームの本体の節に表われるとき、それは、その節に述べられた要素だけを限定し、別の要素は、全体としてクレームから排除されない。本明細書で使用されるとき、句「から本質的に構成される」は、クレームの範囲を特定の要素または方法ステップ、さらに、クレームされた主題の基礎および新規な特性に具体的な影響を及ぼさないものに限定する。さらに、本明細書に記載されたいずれかの態様の特定の組の要素「から本質的に構成される」態様をクレームする本発明のいずれかのクレームについて、本発明は、また、いずれかの記載された態様の全ての可能な変化範囲の変形を網羅することが当業者によって自明であるとして理解されなければならず、その記載された態様は、それぞれ機能的サブセットまたはその機能的組合せだけである(すなわち、「から本質的に構成される」)ことにより、これらの複数の排他的な変化範囲の変形のそれぞれは、それぞれ、本明細書に記載されていない別のものを除外して、いずれかの記載された態様の要素のいずれかの機能的サブセットおよび/またはいずれかの組の要素の機能的組合せから本質的に構成される。すなわち、本明細書に記載されていない別のものを除外して、いずれかの記載された態様の要素の特定の機能的組合せから単に本質的に構成される本発明の多数の代替態様を形成する方法が当業者には自明であり、したがって、本発明は、全てのかかる排他的態様をそれらがあたかもそれぞれ本明細書に記載されているかのように網羅していると考えられる。
用語「を備える」、「から構成される」、および「から本質的に構成される」に関して、これらの3つの用語のうちの1つが本明細書で使用される場合、現在開示されクレームされている主題は、他の2つの用語のうちのいずれかの使用を含んでもよい。したがって、別の態様で明示的に列挙されていないいくつかの態様では、「を備える」のいずれかの例は、「から構成される」、または代替的に「から本質的に構成される」によって置き換えられてもよく、したがって、「から構成される」形式クレームについてのクレーム支持および構成のために、そのような置換えは、全ての別の要素を除外して、最初の「を備える」態様において列挙された要素だけ「から本質的に構成される」さらに別の代替態様を生成するように作用する。
相互に少なくとも一般的に通信しているデバイスまたはシステムモジュールは、明示的に別段の指定をした場合を除き、相互に連続して通信している必要はない。さらに、相互に少なくとも一般的に通信しているデバイスまたはシステムモジュールは、1つ以上の中間手段を通して直接的または間接的に通信していてもよい。
相互に通信しているいくつかの構成要素を有する態様についての記載は、全てのかかる構成要素が必要とされることを意味しない。逆に、様々な選択的構成要素が、本発明の多種多様な可能な態様を示すように記載される。
当業者には周知であるように、商業的実装の最適製造のために、いずれかのシステム、具体的には本発明の態様を設計するとき、多くの綿密な考察および折衷が、一般になされなければならない。本発明の趣旨および教示に従う商業的実装は、特定用途のニーズに従って構成されてもよく、それによって、本発明のいずれかの記載された態様に関する教示のいずれかの側面、特徴、機能、成果、構成要素、手法、またはステップは、当業者によって、当業者の平均技能および公知技術を使用して、適切に省略され、含まれ、適合され、混合され、そして調和され、または改善され、および/または最適化されることにより、特定用途のニーズを対象にする望ましい実装を達成されてもよい。
以下の説明およびクレームにおいて、用語「結合される」、および「接続される」が、それらの派生語とともに使用されてもよい。これらの用語は、相互に同義語として意図されないことを理解すべきである。むしろ、特定の態様においては、「接続される」は、2つ以上の要素が、相互に直接的に物理または電気接触していることを示すために使用されてもよい。「結合される」は、2つ以上の要素が直接的に物理または電気接触していることを意味してもよい。しかし、「結合される」は、また、2つ以上の要素が、相互に直接接触していないけれども、それでも相互に協働または相互作用することを意味してもよい。
「コンピュータ」は、構造化入力を受け取ること、定められたルールに従って構造化入力を処理すること、および処理結果を出力として生成することが可能である1つ以上の装置および/または1つ以上のシステムを指してもよい。コンピュータの例としては、コンピュータ、据付および/またはポータブルコンピュータ、シングルプロセッサ、マルチプロセッサ、またはマルチコアプロセッサを有するコンピュータであって、並列および/または非並列で作動してもよいコンピュータ、汎用コンピュータ、スーパーコンピュータ、メインフレーム、スーパーミニコンピュータ、ミニコンピュータ、ワークステーション、マイクロコンピュータ、サーバ、クライアント、インタラクティブテレビ、ウェブアプライアンス、インターネットアクセスを有するテレコミュニケーションデバイス、コンピュータとインタラクティブテレビとのハイブリッド結合、ポータブルコンピュータ、タブレットパーソナルコンピュータ(PC)、パーソナル携帯情報機器(PDA)、携帯電話、例えば、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、用途特化命令セットプロセッサ(ASIP)、1つのチップ、複数のチップ、システムオンチップ、またはチップセット等のコンピュータおよび/またはソフトウェアをエミュレートする特定用途向けハードウェア、データ取得デバイス、光コンピュータ、量子コンピュータ、バイオコンピュータ、一般的に、データを受け取り、1つ以上の記憶されたソフトウェアプログラムに従ってデータを処理し、成果を生成し、典型的には入力、出力、記憶、算数、論理、および制御ユニットを含んでもよい装置が挙げられてもよい。
当業者であれば、必要に応じて、本開示のいくつかの態様は、パーソナルコンピュータ、携帯デバイス、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラム可能一般電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ等を含む多くのタイプのコンピュータシステム構成を有するネットワークコンピューティング環境で実機化されてもよいことを理解するであろう。必要に応じて、態様は、また、タスクが通信ネットワークを介して(有線リンクによって、無線リンクによって、またはその組合せによって)連結されているローカルおよびリモート処理デバイスによって実行される分散型コンピューティング環境において実機化されてもよい。分散型コンピューティング環境においては、プログラムモジュールは、ローカルおよびリモート両方の記憶装置内にあってもよい。
「ソフトウェア」とは、コンピュータを作動させるための定められたルールを指してもよい。ソフトウェアの例としては、1つ以上のコンピュータ可読言語のコードセグメント、グラフィックおよび/または文字命令、アプレット、プリコンパイルコード、解釈コード、コンパイル済みコード、およびコンピュータプログラムが挙げられてもよい。
本明細書に記載された例示的態様は、コンピュータ、ハードウェア、またはソフトウェアとハードウェアの組合せにインストールされたコンピュータ実行可能命令(例えば、ソフトウェア)を備える作動環境に実装されてもよい。コンピュータ実行可能命令は、コンピュータプログラミング言語で書かれてもよく、またはファームウェアロジックで表現されてもよい。認められた標準に従うプログラミング言語で書かれる場合、かかる命令は、様々なハードウェアプラットホーム上で、および様々なオペレーティングシステムへのインタフェースに対して実行されてもよい。限定されないけれども、本発明の側面についての作動を実行するためのコンピュータソフトウェアプログラムコードは、オブジェクト指向プログラミング言語および/または従来の手続き型プログラミング言語を含む1つ以上の好適なプログラミング言語、および/または、例えば、ハイパーテキスト マークアップ言語(HTML)、ダイナミックHTML、拡張マークアップ言語(XML)、拡張スタイルシート言語(XSL)、文書スタイル意味指定言語(DSSSL)、カスケーディングスタイルシート(CSS)、同期マルチメディア統合言語(SMIL)、ワイヤレスマークアップ言語(WML)、Java(商標)(登録商標)、Jini(商標)、C、C++、Smalltalk、Perl、UNIX(登録商標) Shell、Visual BasicもしくはVisual Basic Script、Virtual Reality Markup Language(VRML)、ColdFusion(商標)もしくは別のコンパイラ、アセンブラ、インタプリタ、または別のコンピュータ言語もしくはプラットホーム等のプログラミング言語の任意の組合せで書かれてもよい。
本発明の側面についての作動を実行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++等のオブジェクト指向プログラミング言語、および「C」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む1つ以上のプログラミング言語の任意の組合せで書かれてもよい。プログラムコードは、ユーザのコンピュータ上で全体的に、独立型ソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバ上で全体的に実行してもよい。後者のシナリオにおいては、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、あるいは、接続は、(例えば、インターネットサービスプロバイダを使用するインターネットを介して)外部コンピュータにされてもよい。
ネットワークは、情報がネットワークの1つ部分から別の部分まで複数のリンクを越えて様々なノードを通ってわたされ得るように配列されたリンクおよびノードの集合(例えば、複数のコンピュータおよび/または一緒に接続された別のデバイス)である。ネットワークの例としては、インターネット、一般加入電話網、グローバルテレックスネットワーク、コンピュータネットワーク(例えば、イントラネット、エクストラネット、ローカルエリアネットワーク、または広域ネットワーク)、有線ネットワーク、およびワイヤレスネットワークが挙げられる。
インターネットは、コンピュータユーザ同士間の容易でロバストな情報交換を可能にするように配列されたコンピュータおよびコンピュータネットワークの世界規模のネットワークである。世界中の数百万の人々が、インターネットサービスプロバイダ(ISP)を介してインターネットに接続されたコンピュータにアクセスできる。コンテンツプロバイダ(例えば、ウェブサイトオーナーまたはオペレータ)は、マルチメディア情報(例えば、テキスト、グラフィクス、オーディオ、ビデオ、アニメーション、およびの別の形式のデータ)をウェブページと呼ばれるインターネット上の特定位置に配置する。ウェブサイトは、接続された、または別の態様で関係付けられたウェブページの集合を備える。インターネットにおける全てのウェブサイトとそれらの対応するウェブページの組合せは、一般にワールドワイドウェブ(WWW)または単にウェブとして知られている。
本発明の側面が、本発明の態様に従う、方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図に関して以下に記載される。フローチャート図および/またはブロック図のそれぞれのブロック、ならびにフローチャート図および/またはブロック図のブロックの組合せは、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または機械を製造するための別のプログラム可能データ処理装置のプロセッサに提供されることにより、コンピュータのプロセッサまたは別のプログラム可能データ処理装置を介して実行する命令が、フローチャートおよび/またはブロック図の単数もしくは複数のブロックに特定された機能/行為を実装するための手段を形成してもよい。
図におけるフローチャートおよびブロック図は、様々な態様に従う、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および作動を示す。この点に関して、フローチャートまたはブロック図のそれぞれのブロックは、指定された論理機能を実装するための1つ以上の実行可能命令を備えるモジュール、セグメント、またはコードの部分を表してもよい。いくつかの代替実装において、ブロックに示された機能は、図に示された順序から離れて生じてもよいことも留意されなければならない。例えば、連続して示された2つのブロックは、実際には、実質的に並行して実行されてもよく、または、ブロックは、時には、関係する機能に従って逆の順序で実行されてもよい。ブロック図および/またはフローチャート図のそれぞれのブロック、ならびにブロック図および/またはフローチャート図のブロックの組合せは、指定された機能もしくは行為、または専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェアベースシステムによって実装されてもよい。
これらのコンピュータプログラム命令は、また、コンピュータ可読媒体で記憶されてもよく、これらの命令は、コンピュータ、別のプログラム可能データ処理装置、または別のデバイスを特定方法の機能に向けることにより、コンピュータ可読媒体に記憶された命令が、フローチャートおよび/またはブロック図の単数もしくは複数のブロックにおいて指定された機能/行為を実装する命令を含む製品を製造する。
さらに、プロセスステップ、方法ステップ、アルゴリズム等は、連続した順序で記載されてもよく、そのようなプロセス、方法、およびアルゴリズムは、代替の順序で作動するように構成されてもよい。言い換えると、記載されてもよいステップの任意のシーケンスまたは順序は、必ずしもステップがその順序で実行されるべき要件を示しているわけではない。本明細書に記載されたプロセスのステップは、実際にはいずれかの順序で実行されてもよい。さらに、いくつかのステップが、同時に実行されてもよい。
本明細書に記載された様々な方法およびアルゴリズムは、例えば、適切にプログラムされた汎用コンピュータおよびコンピューティングデバイスによって実装されてもよいことが直ちに明らかになるであろう。典型的には、プロセッサ(例えば、マイクロプロセッサ)は、メモリまたは同様のデバイスから命令を受け取り、それらの命令を実行することにより、それらの命令によって規定されたプロセスを実行することになる。さらに、かかる方法およびアルゴリズムを実装するプログラムは、様々な公知の媒体を使用して記憶または送信されてもよい。
単一のデバイスまたは物品が本明細書に記載されているとき、2つ以上のデバイス/物品は(それらが協働するか否かにかかわらず)、単一のデバイス/物品の代わりに使用されてもよい。同様に、2つ以上のデバイスまたは物品が本明細書に記載されている場合(それらが協働するか否かにかかわらず)、単一のデバイス/物品が、2つ以上のデバイスまたは物品の代わりに使用されてもよいことが直ちに明らかになるであろう。
デバイスの機能および/または特徴は、かかる機能/特徴を有するように明示的に記載されていない1つ以上の別のデバイスによって代替的に具現化されてもよい。したがって、本発明の別の態様が、そのデバイス自体を含む必要はない。
本明細書で使用されるような用語「コンピュータ可読媒体」は、コンピュータ、プロセッサ、または同様のデバイスによって読み出されてもよいデータ(例えば、命令)を提供することに関与する任意の媒体を指す。かかる媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形式を含むが、これらに限定されない。不揮発性媒体は、例えば、光学または磁気ディスク、および別の永続性メモリを含む。揮発性媒体は、典型的にはメインメモリを構成するダイナミックランダムアクセスメモリ(DRAM)を含む。伝送媒体は、プロセッサに結合されたシステムバスを備えるワイヤを含む同軸ケーブル、銅線、および光ファイバを含む。伝送媒体は、高周波(RF)および赤外線(IR)データ通信中に生成されるもの等の音波、光波、および電磁放射を含むかまたは伝達してもよい。コンピュータ可読媒体の共通形式としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の別の磁気媒体、CD−ROM、DVD、任意の別の光学媒体、穿孔カード、紙テープ、孔のパターンを有する任意の別の物理媒体、RAM、PROM、EPROM、FLASH−EEPROM、取り外し可能媒体、フラッシュメモリ、「メモリスティック」、任意の別のメモリチップもしくはカートリッジ、以下に記載されるような搬送波、またはコンピュータが読み取ることができる任意の別の媒体が挙げられる。
様々な形式のコンピュータ可読媒体は、命令のシーケンスをプロセッサに伝達することに関係していてもよい。例えば、命令のシーケンスは、(i)RAMからプロセッサまで送達されてもよく、(ii)無線伝送媒体を介して伝達されてもよく、および/または(iii)Bluetooth(登録商標)、TDMA、CDMA、3G等の多数のフォーマット、標準、またはプロトコルに従ってフォーマットされてもよい。
データベースが説明される場合、(i)記載されたデータベース構造の代替のデータベース構造が容易に使用されてもよいことと、(ii)データベース以外の別のメモリ構造が容易に使用されてもよいことと、が当業者のうちの1人によって理解されるであろう。本明細書において示されたいずれかのサンプルデータベースについてのいずれかの略図および付随する説明は、記憶された情報の表示についての例示的な配列である。多くの別の配列が、示された表によって示唆されたもの以外に使用されてもよい。同様に、データベースのいずれの示された項目も、例示的な情報を表すにすぎず、当業者であれば、項目の数および内容が、本明細書に示されているものと異なってもよいことを理解するであろう。さらに、データベースを表として表現しているにもかかわらず、オブジェクトベースのモデルが使用されて、本発明のデータタイプを記憶または処理してもよく、同様に、対象の方法または挙動が使用されて、本発明のプロセスを実装してもよい。
「コンピュータシステム」とは、1つ以上のコンピュータを有するシステムを指してもよく、この場合、それぞれのコンピュータは、コンピュータ、またはその構成要素のうちの1つ以上を作動させるためのソフトウェアを記録するコンピュータ可読媒体を含んでもよい。コンピュータシステムの例としては、ネットワークによって連結されたコンピュータシステムを介した処理情報のための分散型コンピュータシステム、コンピュータシステム同士間で情報を送信および/または受信するためのネットワークを介して一緒に接続された2つ以上のコンピュータシステム、単一のコンピュータ内部に2つ以上のプロセッサを含むコンピュータシステム、ならびにデータを受け取ってもよく、1つ以上の記憶されたソフトウェアプログラムに従ってデータを処理してもよく、結果を生成してもよく、典型的には、入力、出力、記憶、計算、論理、および制御ユニットを含んでもよい1つ以上の装置および/または1つ以上のシステムが挙げられてもよい。
「ネットワーク」は、通信機能によって接続されてもよいいくつかのコンピュータおよび関連するデバイスを指してもよい。ネットワークは、ケーブル等の永久接続、または電話もしくは別の通信リンクを通して作成されるもの等の一時接続を含んでもよい。ネットワークは、結線接続(例えば、同軸ケーブル、ツイストペア、光ファイバ、導波管等)、および/または無線接続(例えば、高周波波形、自由空間光波形、音響波形等)をさらに含んでもよい。ネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)等のインターネット、およびインターネットとイントラネット等のネットワークの組合せが挙げられてもよい。
本明細書で使用されるとき、「クライアント側」アプリケーションとは、アプリケーション、そのアプリケーションと関連したページ、またはいくつかの別のリソースもしくはアプリケーションへのクライアント側要求によって起動される機能を指すと広く解釈されなければならない。本明細書で使用されるような「ブラウザ」とは、いずれかの特定のブラウザ(例えば、Internet Explorer、Safari、FireFox等)を指すことは意図されていないけれども、インターネットアクセス可能リソースにアクセスしてそれを表示してもよいいずれかのクライアント側レンダリングエンジンを指すと広く解釈されるべきである。「リッチ」クライアントとは、典型的には、SSHまたはCFISクライアント等の非HTTPベースのクライアント側アプリケーションを指す。さらに、典型的にはクライアントサーバ相互作用は、HTTPを使用して生じるけれども、これに限定されない。クライアントサーバ相互作用は、Simple Object Access Protocol(SOAP)に適合し、HTTP(公開インターネットを介する)をわたって移動するようにフォーマットされてもよく、FTPまたは任意の別の信頼性に高い転送機構(企業イントラネットを介した転送のためのIBM.RTM.MQSeries.RTM.technologiesおよびCORBA等)が使用されてもよい。本明細書に記載されたいずれかのアプリケーションまたは機能は、別のアプリケーションへのフックを提供することによって、プラグインとしての機構の使用を容易にすることによって、機構に連結することによって等、ネイティブコードとして実装されてもよい。
例示的なネットワークは、インターネットプロトコル(IP)、非同期転送モード(ATM)、および/または同期型光ネットワーク(SONET)、ユーザデータグラムプロトコル(UDP)、IEEE802.x等のいくつかのプロトコルのうちのいずれかによって作動してもよい。
本発明の態様は、本明細書で開示された作動を実行するための装置を含んでもよい。装置は、所望の目的に対して特別に構成されてもよく、または、デバイスに記憶されたプログラムによって任意に起動されるかまたは再構成される汎用デバイスを備えてもよい。
本発明の態様は、また、ハードウェア、ファームウェア、およびソフトウェアのうちの1つまたはその組合せに実装されてもよい。それらは、機械可読媒体に記憶された命令として実装されてもよく、その命令は、コンピューティングプラットホームによって読み出されて実行されることにより、本明細書に記載された作動を実行してもよい。
より具体的には、当業者であれば理解するように、本発明の側面は、システム、方法、またはコンピュータプログラム製品として具現化されてもよい。したがって、本発明の側面は、全体ハードウェア態様、全体ソフトウェア態様(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)、またはソフトウェア側面とハードウェア側面とを組み合わせる態様の形式をとってもよく、これらは、すべて、「回路」、「モジュール」、または「システム」と本明細書で概して呼ばれてもよい。さらに、本発明の側面は、それ自体にコンピュータ可読プログラムコードが具現化されている1つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形式をとってもよい。
以下の説明およびクレームにおいて、用語「コンピュータプログラム媒体」および「コンピュータ可読媒体」は、概して、着脱可能記憶ドライブ、ハードディスクドライブに設置されたハードディスク等の媒体を指すために使用されてもよい。これらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステムに提供してもよい。本発明の態様は、そのようなコンピュータプログラム製品を対象としてもよい。
アルゴリズムは、ここでは、概して所望の結果に至る首尾一貫した行為または作動のシーケンスとみなされる。行為または作動は、物理量の物理的操作を含む。通常、これらの量は、必ずしも記憶され、送信され、組合わされ、比較され、およびそれ以外に操作されることが可能な電気または磁気信号の形式をとるわけではない。主に一般使用に対して、これらの信号をビット、値、要素、シンボル、文字、用語、数等と呼ぶことが時には便利であることがわかった。しかし、これらおよび類似の用語の全てが、適切な物理量と関連することになっており、これらの量に適用される単なる便利なラベルにすぎないことを理解すべきである。
特に別段の記載がない限り、以下の説明およびクレームから明らかになるように、明細書全体を通して、「処理する」、「コンピューティングする」、「計算する」、または「判定する」等の用語を使用する記載は、コンピュータ、コンピューティングシステム、または類似の電子コンピューティングデバイスの活動および/またはプロセスを指すことを理解するべきであり、その活動および/またはプロセスは、コンピューティングシステムレジスタおよび/またはメモリ内部の電子等の物理の量として表現されるデータをコンピューティングシステムのメモリ、レジスタ、または別のかかる情報記憶、伝送、もしくは表示デバイス内部の物理量として同様に表現される別のデータへと操作および/または変換することである。
それに加えて、用語「するように構成される」または「するように作動可能である」とは、ソフトウェアおよび/またはファームウェア(例えば、ソフトウェアを実行するFPGAまたは多目的プロセッサ)によって、問題となっているタスクを実行できる態様で作動するように操作される汎用構造(例えば、汎用回路)を含んでもよい。「するように構成される」は、また、1つ以上のタスクを実装または実行するように適合されているデバイス(例えば、集積回路)を製作するように製造プロセス(例えば、半導体製作設備)を適合させることを含んでもよい。
同様に、用語「プロセッサ」は、レジスタおよび/またはメモリからの電子データを処理して、その電子データをレジスタおよび/またはメモリに記憶されてもよい別の電子データに変換する任意のデバイスまたはデバイスの部分を指してもよい。「コンピューティングプラットホーム」とは、1つ以上のプロセッサを備えてもよい。
本開示の範囲内にある態様は、また、その上に記憶されたコンピュータ実行可能命令またはデータ構造を伝達または保有するための有形および/または非一過性コンピュータ可読記憶媒体を含んでもよい。そのような非一過性コンピュータ可読記憶媒体は、上記のいずれかの専用プロセッサの機能設計を含む汎用または専用コンピュータによってアクセスされてもよい任意の入手可能な媒体であってもよい。例であって限定ではなく、そのような非一過性コンピュータ可読媒体としては、RAM、ROM、EEPROM、CD−ROMもしくは別の光学ディスク記憶装置、磁気ディスク記憶装置もしくは別の磁気記憶装置、あるいは所望のプログラムコード手段をコンピュータ実行可能命令、データ構造、またはプロセッサチップ設計の形式で伝達または記憶するために使用されてもよい任意の別の媒体が挙げられてもよい。情報がネットワークまたは別の通信接続(結線、無線、またはその組合せ)を介してコンピュータに転送または提供されるとき、コンピュータは、その接続をコンピュータ可読媒体として適切に見る。したがって、いずれかのかかる接続は、正しくコンピュータ可読媒体と呼ばれる。上記のものの組合せは、また、コンピュータ可読媒体の範囲内に含まれなければならない。
非一過性コンピュータ可読媒体としては、限定ではなく、ハードディスク、コンパクトディスク、フラッシュメモリ、揮発性メモリ、ランダムアクセスメモリ、磁気記憶装置、光学メモリ、半導体ベースメモリ、相変化メモリ、光学メモリ、定期リフレッシュメモリ等が挙げられるけれども、非一過性コンピュータ可読媒体は、本質的に純粋の一過性信号を含まず、すなわち、この場合、媒体自体は一過性である。本発明のいくつかの態様およびその変形は、外界センサからのグローバル情報を組込みセンサからのローカル情報と組み合わせる方法を提供することにより、外界センサを使用して組込みセンサの一時的だけでなく連続的な校正を可能にする。組込みセンサの例としては、ジャイロスコープセンサ、磁力計、加速度計、コンパス、屈曲センサ、角センサ、曲がりセンサ、QRコード(登録商標)、位置合わせマーカ、赤外線ドットのようなパッシブセンサ、オプティカルフローを通して動作を検出するRGBセンサ、立体センサ、動作を検出する赤外線深度センサ等、が挙げられてもよく、これらに限定されない。センサは、関節(腕、手首、指、腿、足首、足、足指、脚、腰のような人の骨格関節、または直線関節、角関節のようなロボット関節のいずれか)の上の衣類または別の取付け具に組み込まれてもよい。外界センサの例としては、Microsoft Kinect One(商標)のようなタイムオブフライト深度センサ、2Dおよび3Dレーザセンサ、温度センサ、RGBセンサ、赤外線センサ、マルチスペクトルセンサ、立体センサ、Microsoft HoloLens(商標)のようなMixed Realityセンサ、HTC Vive(商標)のようなVirtual Reality Sensor、Google DayDream(商標)、Sony PlayStation VR(商標)、Google Tango(商標)のような Samsung Gear VRもしくはAugmented Realityセンサ、Snap Spectacles(商標)のようなStereoscopicメガネが挙げられる。外界センサが組込みセンサによってトラッキングされる全ての関節をトラッキングしてもよいということではない点に留意する。外界センサからの情報によって組込みセンサを有する関節の動作を推測する方法が存在する限り、対応を確立するためにそれを使用してもよい。いくつかの態様は、様々な組込みセンサ同士間の空間対応が確立されるのを可能にしてもよく、それが使用されて、組込みセンサとそれらの対応する測定値との間の相対情報を抽出してもよい。いくつかの態様では、有意な値が、組込みセンサをトラッキングし、それらと相関させ、それらから推測できることによって付加されてもよい。一旦最初に空間対応が確立されると、対象の人または関節が外界センサの見えないところにあるときでも、トラッキングが継続してもよい。いくつかの態様は、関節の動作範囲および関節の長さを判定することを可能にしてもよい。人は、真直ぐな肘から始めて肘を完全に曲げてもよい。手のひらに組込みセンサおよび/または肘に曲げセンサを有し、および/または外界センサを通して動作を観測することによって、肘動作の全範囲が認知されてもよい。これが、後で使用されることにより、任意のタイプの活動を正確に仮想的に検出してもよい。非限定的な例において、それが使用されることにより、肘が完全に曲がり、次いで完全に伸びるときのパンチ活動を検出してもよい。また、経時的に空間動作を測定するジャイロスコープ、加速度計、屈曲センサ等の校正される組込みセンサを肘および手のひらに有しているとき、パンチの質が判定されてもよく、そして、人が経時的に自身のパンチを改善するように訓練されてもよい。別の態様が、ユーザインタフェースを提供してもよく、このユーザインタフェースは、ユーザが、使用されてもよい追加情報に立ち入るのを可能にして、センサ読取値からの追加情報を改善または誘導してもよい。非限定的な例において、あまりに大きい圧力が手術を受けた関節に加えられている場合に、ユーザは、最適訓練を誘導するかまたはユーザに警告するために使用されてもよい人々の年齢、または以前の外傷/手術を入力してもよい。いくつかの態様において、ユーザインタフェースは、また、例えば、ユーザのモデル上にある組込みセンサから抽出されたデータを使用してゴルフショットをリプレイする等、センサデータのリプレイを示してもよい。いくつかの態様において、ユーザインタフェースは、また、誤った動作がなされた時点を示し、次いで、正しいバージョンと誤ったバージョンとを並べて示すのに使用されることにより、人または学習機械が学習するのを可能にしてもよい。いくつかの態様において、これらの校正されたセンサからの情報は、ゴルフショット、野球スイング、野球スローイング等について人/機械関節を訓練するのに使用されてもよい。別の態様において、人からの組込みセンサ情報が、別の人と比較されてもよく、そして、人が別の人の訓練に追従するための訓練スケジュールを判定するのに使用されてもよい。いくつかの態様において、それが使用されることにより、例えば、40〜45才の年齢間の男性等の特定のサブグループにおいて集合的に、または個々に、様々な目標での進捗度をトラッキングしてもよい。非限定的な例において、どのタイプの運動が50〜54才の年齢間の女性に対して脇腹部分での最大減量をもたらすかについて判定する。いくつかの態様において、それは、また、人々の医学データと組み合わされることにより、どのタイプの運動療法が、婦人の骨粗鬆症等の医学的状態の進行を防止または増大させることがあるかを判定してもよい。
外界センサは、それらが見えているとき、位置、速度、加速度等の関節全体ポーズをトラッキングしてもよいけれども、外部センサが、ゆったりした布によって覆われているか、視界から隠されているようないずれかのために、見えていないようなときには、あまり正確ではないことがあり、また、それらをトラッキングし得ないことがある。外界センサとは、外部基準に関して関節動作をトラッキングする任意のものを意味することに留意されたい。それで、外界に対する頭部関節動作をトラッキングする、頭部に装着されるような仮想現実、拡張現実、または複合現実ヘッドセット等の外界センサは、Microsoft Kinect One(商標)、RGBDセンサのように外部に取り付けられてもよく、または、身体に取り付けられてもよい。ジャイロスコープ、加速度計、磁力計等の組込みセンサは、個々に、またはいずれかの組合せで、関節の相対位置を非常に正確にトラッキングしてもよいけれども、ドリフトのために絶対位置の軌跡をすぐに見失うことがある。また、組込みセンサは、ある期間にわたって正確にトラッキングすることができるようにするための関節の絶対位置および関節同士の間の相対位置を認識していない場合がある。本発明の態様は、人またはロボットのアーム、脚等の機械デバイスの関節の全体位置を正確にトラッキングしてもよいデバイスおよび/または方法を提供してもよい。現在のトラッキングデバイスは、関節のうちの1つの動作をざっと測定して、全体活動または関節運動を推測することを試みるが、しばしば失敗することがあると考えられている。たとえば、人がヨガをしているときに、たとえ多くのカロリーを消費しているとしても、脚の全体的な動作がそれほど多くないので、現在のデバイスの多くは、この動作を記録することができない。
本発明の態様は、外界センサと、本明細書において集合的に組込みデバイスと呼ばれる組込みセンサ/アクチュエータとの組合せを使用して、関節の位置の判定を非常に正確に提供してもよい。アクチュエータは、バイブレータ、RGB LED、スピーカ、ディスプレイ、Virtual Reality/Augmented Reality/Mixed realityのヘッドセットおよびメガネ、触覚フィードバック、神経フィードバック、嗅覚フィードバック、ならびに味覚フィードバック等のセンサにフィードバックを提供するデバイスであってもよい。組込みセンサは、例えば、どこにセンサが位置するかを示す視覚マークを有する手の上のバンド等、外界センサに直接観測可能なものであるか、または、例えば、脊柱に隣接した衣類の内側にある組込みデバイス等、直接観測不可能なものであってもよい。直接観察可能なものは、目視観測だけではなく、組込みデバイスの位置を突き止めてもよい高周波、赤外線等の電磁スペクトル内でのいずれかの観測を含んでもよい。いくつかの代替態様において、組込みデバイスは、基準位置に対するそれらの位置を判定して、それらの位置を受信デバイスに送信してもよい。
組込みデバイスが直接観測可能である可能性がある場合には、外界センサに対するデバイスの位置は、範囲センシングの技術を使用して判定されてもよい。非限定的な例において、赤外線範囲検出器は、固定外部基準に対する組込みデバイスの3次元位置を判定するために使用されてもよい。この外部基準は、外界センサもしくは外部ディスプレイ、または空間内の任意位置のうちの1つであってもよい。
組込みデバイスが直接観測可能でないかもしれない場合には、それが、時間内のより早い時点で直接観測可能であったかもしれないか、または時間内のいずれの時点でも観測可能でないかもしれない。それが、時間内のいずれの時点でも観測可能であるかもしれない場合、外部基準に対するそれの位置が記憶されてもよく、そして、たとえそれが観測可能でないかもしれないときでも、動作をトラッキングする組込みデバイス内のセンサが使用されて、それの3次元位置を判定してもよい。それが再び観測可能になったかもしれなくなるとすぐ、それの実際の位置とトラッキングされた位置とが比較されてもよく、そして、予測された位置が、バンドル調整等のエネルギー最少化技術を使用して修正されてもよい。これが使用されることにより、センサ観測動作を減じることによって、それが最初に直接観察される前でさえ、組込みデバイスの位置をトラッキングしてもよい。
組込みデバイスが直接観測できない場合において、基準点は、直接に基準点を観測できるようにするような方法でそれに接続されてもよい。基準点の位置に基づいて、組込みデバイスの3次元位置が算出されてもよい。基準点は、外部から検出されてもよい任意の物体であってもよい。例としては、QRコード(登録商標)、チェッカーボードパターン、カラーコード、および赤外線ドットが挙げられるが、これらに限定されない。
図1は、本発明の態様に従って、外界センサと組込みセンサとを組み合わせるための例示的システムを示す。本態様では、人100は、デバイスの位置をトラッキングするためのセンサを有する様々な組込みデバイスを有してもよい。脳活動センサ(脳電図)102が、人100の頭部に装着されて脳の電気活性を測定してもよい。Microsoft HoloLens(商標)等のようなMixed Realityセンサ、HTC Vive(商標)等のようなVirtual Reality Sensor、Google DayDream(商標)、Sony PlayStation VR(商標)、Samsung Gear VRもしくはGoogle Tango(商標)等のようなAugmented Realityセンサ、またはSnap Spectacles(商標)等のような立体メガネ103が、眼および/または耳に装着されることにより、仮想現実、拡張現実、または複合現実の体験を提供してもよい。肩装着型慣性計測センサ104および116は、例えば、3Dジャイロスコープ、3D加速度計、3D磁力計、コンパス、GPS等であってもよい。曲がりセンサ106および118が、人100の肘に装着されてもよい。圧力センサと慣性測定ユニット108との組合せが、ベルト形式で腰に装着されてもよい。センサ110および120は、膝の筋肉の電気発射を測定してもよい。圧力および慣性計測センサ112、114、122および124は、人100の靴に組み込まれてもよい。センサ122および124が、靴123に組み込まれた状態で示されている。組込み計算デバイス142は、センサおよびアクチュエータからデータを収集して、それらにコマンドおよび校正情報を送ってもよい。アクチュエータは、バイブレータ、RGB LED、およびスピーカ等にフィードバックを提供してもよいデバイスである。
深度感知カメラ126および128は、Microsoft(商標)社からのXbox(商標)ビデオゲームに使用されるKinect(商標)カメラ等のRGB−Dタイプカメラであってもよい。しかし、多くの別のシステムが、2Dまたは3Dでの組込みデバイスの位置の定位に使用されてもよいので、本明細書に記載された技術は、このカメラに限定されない。そのようなカメラとして、Mesa Imaging社、SoftKinetic、その他から入手可能である深度感知カメラ等が挙げられるが、これらに限定されない。これらのカメラのうちの多くは、赤外線(IR)または近赤外線レーザを使用することにより、光を場面に投射して、検出された反射光から公知のタイムオブフライト(TOF)アルゴリズムを使用して距離画像を算出してもよい。別のタイプのシステムが、TOFベースシステムに付加して、またはその代替として使用されてもよい。例えば、The Imaging Source LLC(登録商標)もしくはStereo Vision Imaging,Inc.から入手可能なステレオカメラ、または3D Lidars like Velodyne(登録商標)VLP16(商標)等が使用されてもよい。
コンピュータデバイス130、132、および134は、組込みデバイスに取り付けられた基準点の有無に関わらない類似または非類似のタイプの1つ以上の外界センサを使用して、それらの3Dまたはより低次元の位置を経時的にトラッキングする。コンピュータデバイス130、132、および134は、このトラッキングを使用して、組込みセンサのパラメータを校正し、それらの動作範囲を判定してもよい。コンピュータデバイスは、相互に、そして、クラウドネットワークコンピュータ136、ローカルネットワークを介するかまたは直接に組込みデバイスコンピュータに通信してもよい。コンピュータデバイスは、外界センサによって判定された関節位置について、望ましい人または機械関節のモデルに対する最良適合を見つけることによって、組込みデバイスとそれらの関連する関節との相対位置を判定してもよい。非限定的な例において、Microsoft Kinect SDKによる骨格トラッキングアルゴリズムは、Kinect(商標)デバイスに対する人の関節ポーズを提供してもよい。
キャプチャされた関節モデルおよび関節と関連する組込みデバイス140が、ディスプレイ138上でユーザに任意に示されてもよく、ユーザは、この関連についての全部または部分を修正する選択を提供されてもよい。装着されたコンピュータが直接ディスプレイと通信してもよいけれども、取り付けられたコンピュータと通信する任意の別のユニットが、ディスプレイに作用してもよい。ユーザは、関節を特定の方向に動かすことを促されてもよく、この情報は、さらに組込みデバイスパラメータを校正するために使用されてもよい。非限定的な例において、ユーザは、センサのノイズレベルを判定するために、中立位置で静止するよう要求される場合がある。同様に、ユーザは、ずっと手を一番上に上げているように要求される場合があり、このことは、肩装着型慣性計測センサの範囲を判定するために使用されてもよい。機械関節の場合、それ自体の範囲全体を網羅する非常に正確な動作を実行するように要求されることがあり、要求動作についての従来の知識が、センサをさらに校正するために使用されてもよい。ユーザは、また、更新された関節モデルデータを示されて、任意にそれを修正する機会を提供されてもよい。関節に対する組込みデバイス位置の校正および判定の後に、それらは、コンピュータ130、132、および134にローカルに記憶されるか、クラウドネットワーク記憶装置136もしくは組込み計算デバイス142に記憶されるか、またはそのいずれかの組合せで記憶されてもよい。コンピュータのそれぞれは、校正の前中後において、ローカルにまたはクラウドを介して相互に通信してもよい。校正は、コンピュータに相互に通信させることによって共同して行われてもよく、複数の外界センサの間の情報を融合させることによって外界センサのいずれかの個々の誤差を修正してもよい。別の態様において、校正は、また、それぞれの外界センサについて個々に行われてもよい。外界センサは、複数のジオロケーションに置かれてもよく、そして、ローカルコンピュータと通信するか、または情報をクラウドに直接送ってもよい。コンピュータとクラウドとの間の矢印は、コンピュータがクラウドと通信し、および双方向性方式で相互に通信することを示すものである標準方法である。クラウド自体は、一連のサーバまたは記憶デバイスを有してもよい。校正、モデリングのためのソフトウェアが、組込みコンピュータ、外部コンピュータ、クラウド、またはこれらのいずれかの組合せの中にあってもよい。
いくつかの態様において、モデルでの組込みセンサの位置が既知であるか、または算出されてもよい場合、校正は、外部デバイスを使用せずに実行されてもよい。非限定的な例において、人の四肢の長さが既知であり、靴が足に履かれており、脳センサが頭部にあり、人の脚と頭部との距離が既知である場合、人は、真直ぐ立っていることを要求されてもよく、組込みセンサは相互に校正されてもよい。同様に、別のセンサが、相互に校正されてもよい。別の態様において、組込みセンサが、ジャイロスコープ、加速度計、磁力計、気圧計、曲がりセンサ、屈曲センサ、RGBセンサ、立体センサ、赤外線センサ、ソナー、および範囲検出器等の機構を有することにより、それらの相互のまたは接地面等の外部基準に対する3D位置関係を示す場合、これが使用されることにより、校正を実行して外界センサに対する必要をなくしてもよい。
図2は、本発明の態様に従う、例示的な関節トラッキングを示す。本態様において、センサは、人100が立っていたときに校正され、そして、人がこの下向きの犬ヨガポーズに移行するときに関節運動をトラッキングし続けた。背中にある1つ以上の曲がりセンサ216は、脊柱に生じる曲がり量を判定してもよい。組込みデバイス200、202、204および206は、脊柱の曲率をトラッキングしていてもよい。選択的な外界センサ126および128が利用可能であってもよく、そして、取り付けられた基準点208、210、212、および214がこれらの外界センサを介して観測可能である場合、組込みデバイスのトラッキングされた位置、およびそれらを介した関節位置のトラッキングがさらに精密化されてもよい。関節位置が経時的にトラッキングされるので、基準に対するまたは相互に対する様々な関節の速度および加速度等のような別のモーメントがトラッキングされてもよい。これらのトラッキングされた関節位置は、関節モデルに適用されて、ディスプレイ138上で140としてユーザに戻して示されてもよい。それに加えて、このトラッキングされた情報が使用されることにより、望ましい関節位置をプログラムすることによって自動的に、またはこの関節モデルデータを近くでもしくは遠くで見ている別の人によって、関節のどの部分が誤って配置されたかに関するフィードバックをユーザに提供してもよい。
図3は、本発明の態様に従う、例示的な呼気センサを示す。組込み呼吸センサ300、302、および304が人100の上にある。呼吸による気流の特質、強度、およびタイミングは、ヨガ等のようないくつかの活動において非常に重要であることがあり、この情報は、このまたは別の点でより有益であるかもしれない特定のパターンが存在するか否かを判定するためになされる運動のタイプ、期間、きつさ、およびシーケンス等に関連してもよいと考えられる。関節の動作範囲は、特定の運動療法または栄養価の高い食事が人に有していてもよい効能を判定するために使用されてもよい別の測定基準であってもよい。別の態様において、機械関節については、関節をこの方法によって測定される望ましい範囲まで動かすことができない場合に、メンテナンスが予定に入れられてもよい。また、メンテナンスの品質または潤滑剤のタイプが、この方法を使用して長期間にわたって評価され測定されてもよい。脳波センサ102が、脳によって放出される様々なタイプの波を感知してもよい。センサ306、308、310、312、314、および316が使用されることにより、ある関節が特定の波で動かされたときに、脳が、特定の状態、例えば、低周波アルファ状態等に入ったか否かを判定してもよい。このことは、瞑想を試みている人々が、これらの状態を誘導する可能性がより高いかもしれないポーズのタイプを判定するのを助ける場合がある。
人100の腰の周りに着用されるベルトセンサ108は、様々なセンサおよびアクチュエータを有してもよい。非限定的な例において、アクチュエータ320および326が使用されることにより、振動320によってより左側に向かって捩じるべきか、または振動326によってより右側に向かって捩じるべきかのフィードバックをユーザに与えてもよい。センサ322および324が使用されることにより、現在の捩じりを判定してもよい。圧力センサ318は、腹部に加えられている圧力を判定するために使用されてもよい。このことは、望ましい圧力が正しい臓器に加えられているか否か、または不当な圧力が間違った臓器に加えられているか否かを判定するのに役に立つことがある。ヨガでは、腹部および仙骨部に加えられた相対圧力がムーラバンダまたはウディヤナバンダ等のバンダまたはロックを実践するのに非常に重要であると考えられる。組込みデバイス106および118は、図1に示すように肘に装着されてもよく、組込みデバイス120および110は、図1に示すように膝に装着されてもよい。
図4は、本発明の態様に従う、トラッキングされてもよい例示的な関節ポーズである。本態様においては、関節ポーズは、関節位置だけでなく全体的な活動/意図を判定するために正確にトラッキングされてもよい。それは、また、これらのポーズをトラッキングして異常を検出することによって、人が階段から落ちる等の意図的でないまたは有害な関節運動を行ったか否かを判定するのに使用されてもよい。態様400は、階段を登っている人のトラッキングを示す。関節のそれぞれの全体動作が使用されることにより、消費カロリー量をより正確にトラッキングしてもよい。態様402は、人が走っているときの関節のトラッキングを示す。いくつかの態様では、血糖値センサが関節運動センサとともに使用されることにより、どのタイプの活動が理想的なレベルに血糖値を維持するかを判定してもよい。
態様404は、トラッキングされているゴルフをプレイしている人を示す。関節位置がよいスイングをするためにゴルフにおいて非常に重要である場合があり、この情報が使用されることにより、人を訓練してストローク中のいずれかの姿勢の誤りを修正してもよい。いくつかの態様において、組込みアクチュエータは、最大の誤りを生じさせている関節にリアルタイムフィードバックを提供してもよく、その結果、人は、リアルタイムでストロークを調節してもよい。いくつかの態様において、プロゴルファーの関節運動が、この方法を使用して正確に記憶され、分析されてもよい。いくつかの態様において、この記憶された情報が使用されることにより、ユーザに最も精密に適合してもよい身体プロファイルを有するプロゴルファーを検索し、そのプロファイルを使用してユーザを訓練してもよい。
態様405は、泳いでいる人を示し、この場合、ストロークの良否は、関節運動に依存する場合がある。いくつかの態様において、追加のセンサが、何時、関節が水に触れ、水から離れるかを判定してもよく、そして、関節が水に触れる/水から離れるのに伴う力が測定されて相互に関連付けられることにより、これらが最適であるか否かを判定し、そして、スイマーは、これらが最適でない場合、さらに訓練されてもよい。いくつかの態様において、この方法が使用されることにより、無限プールを最適に制御して、水の流速をスイマーが自身の関節を動かしていてもよい速度に自動的に調節してもよい。このことは、事故を回避し得て、また、スイマーが自身の水泳の速度を変え始めるときに流速の自動的な変化を提供してもよい。
態様406は、トレッドミルを使用する人を示す。手および脚の動作がこの方法を使用してトラッキングされることにより、消費カロリーをより良好に判定してもよい。いくつかの態様において、トレッドミルがより良好に予知的にされてもよく、その結果、トレッドミルは、ユーザが自身の関節を動かしていてもよい状態に比例してより速くまたはより遅く動く。このことは、例えば、トレッドミルが脚等を動かしているときに、ユーザが、動いていると想定される関節を動かすのを止める場合に、トレッドミルを停止させることによって事故を防止してもよい。
態様408は、ユーザがコンピュータを操作しているときの脊柱の曲率のトラッキングを示す。いくつかの態様において、ユーザが前かがみになっているか、または誤った位置へと動くかもしれない場合に、ユーザにフィードバックを与えてもよい組込みアクチュエータが存在してもよい。いくつかの態様において、脊椎の位置が、ある期間にわたってトラッキングされてもよく、そして、ユーザがこの情報を使用して、どの姿勢が痛みと関連付けられ得るかを判定してもよい。
態様410は、ユーザが夜を通して眠っていて自身の位置を変えるときの、関節位置および身体の様々な部分での圧力のトラッキングを示す。いくつかの態様において、それが使用されることにより、いびきを判定/防止してもよく、これは、その確率を増加させ得る様々な関節部分の位置を検出することと、身体がそれらの関節位置に接近するときにアクチュエータを使用してフィードバックを提供することと、によって行われる。いくつかの態様において、これが使用されることにより、全ての関節および最適に位置している全ての関節での最小圧力等のような測定基準に基づいて、身体に対する最適なタイプのベッドを判定してもよい。いくつかの態様において、それが、作動型ベッドと連携して使用されることにより、ユーザがベッドの周りを動くときに、それらを様々な関節構成についての好ましい構成へと動かしてもよい。このことは、また、単独で動けない人々の床ずれを防ぐのに役立つ場合がある。本発明の方法、システム、またはデバイスは、上記の態様に限定されず、多種多様なケースで使用されてもよい。非限定的な例として、それが使用されることにより、関節運動についてフィードバックを頭部装着型Virtual Realityデバイスに提供することにより、描かれる場面がそれに従って変更されてもよい。また、態様の任意の組合せが使用されてもよい。非限定的な例として、1D、2D、または3Dトレッドミルのようなシステムが使用されて、仮想現実目的のための同一空間内にユーザを拘束する場合、このシステムが使用されて、関節情報をトレッドミルおよび仮想現実システムの両方に提供してもよく、その結果、トレッドミルがユーザを適切に調節し、一方、仮想現実システムが場面を通してユーザを正しく動かす。
図5は、本発明の態様に従って、組込みデバイスセンサを校正するための例示的な手順を示す。手順は、ステップ500において、人または機械関節についての外界センサおよび組込みセンサ読取値によってキャプチャされる一連の同時収集される組込みセンサ位置をキャプチャすることから開始する。このことは、上記のように、深度カメラ(RGB−D)、ステレオカメラ、または3D LIDAR等を使用して実行されてもよい。ステップ502において、外界センサデータが分析されることにより、特定の組込みセンサが上記のように直接観測可能であるか否かが判定されてもよい。それが直接観測可能であるかもしれない場合、ポーズ対応は、上記のように人/機械関節のモデルを使用して、ステップ506において、キャプチャされた組込みデバイス位置同士の間で確立されてもよく、また、組込みデバイス位置と関節位置との間で確立されてもよい。それが直接観測可能でないかもしれない場合、ステップ504において、同じ情報が、取り付けられた基準点を使用することによって、または、装着型デバイスポーズでの、そのポーズが外部的に判定可能であるときからの相対変化をトラッキングすることによって判定されてもよい。組込みデバイスのセンサは、上記で判定されたポーズの変化、および人/機械関節が動くときにデバイスのセンサによって報告されたポーズの変化をトラッキングすることによって、ステップ508において校正されてもよい。この校正情報、ならびにトラッキングされた位置を示すことおよびユーザからのフィードバックをとることによって取得されたいずれかの情報は、ステップ510において、組込み/外部デバイスメモリおよび/またはネットワークメモリに記憶されてもよい。図5の手順は、示されたステップまたは示された順序に限定されない。さらに、上記のように、全てのステップが、存在しなければならないわけではない。
図6は、本発明の態様に従って、校正情報を使用することにより組込みデバイスの位置をトラッキングするための例示的な手順を示す。センサ読取値が、ステップ600において、コンピュータデバイスに入力されてもよい。コンピュータデバイスは、ステップ602において、組込みデバイスポーズが、外界センサ(単数または複数)によって判定可能であり得るか否かを判定してもよい。直接判定可能でないかもしれない場合、ステップ604において、必要に応じて記憶された校正読取値およびトラッキングされたデバイスセンサ読取値を使用して、人/関節のモデルを利用することによってそれを判定してもよい。関節ポーズは、ステップ606において、関節モデル、ステップ602もしくはステップ604によって判定されたポーズ、および/または外界センサ判定ポーズを組み合わせることによって判定されて、このポーズを経時的にトラッキングして関節速度、加速度等の測定基準を算出してもよい。トラッキングされたデバイスポーズおよび関節位置は、ステップ608において、デバイスコンピュータ、外界センサコンピュータ(単数または複数)、および/またはネットワークコンピュータのメモリに時間情報とともに記憶されてもよい。算出された関節位置と、組込みセンサ、外界センサ読取り、および関節モデルと組合わされた組込みデバイス位置とが使用されることにより、ステップ610において、蓄積された関節/デバイスポーズ情報、時間、およびネットワークに記憶された任意の関連データに基づいて、組込みアクチュエータ/外部ディスプレイまたは個人診察等の別の手段を使用して、即時または時間遅延フィードバックをユーザに提供してもよい。
図7は、本発明の態様に従う、例示的システムを示す。システム700は、通信モジュール710、外界センサモジュール720、組込みデバイスモジュール730、計算モジュール740、フィードバックモジュール750、ディスプレイモジュール760、および記憶モジュール770、を含むが、これらに限定されない。通信モジュール710は、モジュール720、730、740、750、760、770と、別の外部デバイス/システム780との間に通信を提供してもよい。外部デバイス/システム780としては、仮想現実システム、運動装置、環境制御装置、拡張現実システム、複合現実システム、ディスプレイ、メガネ、着用可能ディスプレイ、および腕時計等の、本態様を強化し得るいずれかの装置またはシステムが事実上に挙げられてもよい。外界センサモジュール720は、組込みデバイスの位置を観測し、この情報を戻すように構成された様々な検出器を制御してもよい。組込みデバイスモジュール730は、組込みデバイスからのデータの受信およびアクチュエータの起動を提供してもよい。計算モジュール740は、校正、モデリング、トラッキング、分析/計量、および訓練のためにリアルタイムおよび記憶データを処理してもよい。フィードバックモジュール750は、アクチュエータへの触覚フィードバック、外部デバイス/システムへの入力、ユーザへの視覚および/または音声フィードバック、神経フィードバック、味覚フィードバック、嗅覚フィードバック等のユーザへのフィードバックを制御してもよい。ディスプレイモジュール760は、ユーザへの情報の提示、およびユーザからの入力を制御してもよい。記憶モジュール770は、データの記憶、および検索を制御してもよい。いくつかの態様において、データは、中央位置にローカルまたはリモートに記憶されてもよい。別の態様において、データ記憶は、いくつかの位置の中で分散されてもよい。
図8Aおよび8bは、本発明の態様に従う、例示的なトラックスーツを示す。図8aは、外観図である。図8bは、内観図である。高性能トラックスーツ800は、上側部分805、下側部分810、制御装置815、および組込みデバイス820を含んでもよい。組込みデバイス820は、加速度計、ジャイロスコープ、磁力計、および相互に対するまたはいずれかの接続構成要素に対する関節の角度を測定するために使用されてもよい別のセンサの任意の組合せ等の関節角センサを含んでもよい。組込みデバイス820は、アクチュエータをさらに含んでもよい。いくつかの態様において、トラックスーツ800は、導電性縫糸を有してもよく、そして、センサは、弾性ストラップまたは調節可能ストラップの上に置かれて関節動作を正確にトラッキングしてもよい。いくつかの態様において、センサは、関節全体にわたって連続して置かれることにより、全身のポーズが検出されてもよい。非限定的な例において、骨盤に対する手首のポーズが、脊椎と肩と、肩と上肢と、上肢と前腕との間の関節角を判定することによって検出されてもよい。また、このことは、いずれかの別のセンサがこれらの縫糸に取り付けられるのを可能にし、そして、スーツにおけるセンサ位置が知られ得るので、身体が動いている間のセンサの正確な位置が知られ得る。このことは、全てのセンサデータについての解釈をその正確な位置に関する前後関係によって可能にする。非限定的な例において、人が座っている姿勢であったとき、圧力が腰において高かったことが認知されてもよい。このことは、より良いポーズへと動くこと、人がどの動作をすべきかを示すこと、および人が実際にその動作を実行したことを確認することの実時間での人への示唆を可能にする。
いくつかの態様において、センサは、磁石を有してもよく、磁石は縫糸の下にあってもよく、それにより、センサは、適所にきちんと嵌り、容易に除去されて人が布を洗浄することを可能にしてもよい。いくつかの態様において、電池を有するメインボード815が中央位置に置かれることにより、それぞれのセンサに電力を供給しつつ出力損失が最小化されてもよい。いくつかの態様において、メインボード815は、挟まれる縫糸によって磁石を嵌めるのと同じ設計を有することにより、容易な取外しおよび再取り付けを可能にしてもよい。
いくつかの態様において、ユーザは、拡張現実、仮想現実、または複合現実ディスプレイを着用していてもよく、または外部ディスプレイでそれを見ている。現実世界でのユーザの動作は、関節角、ならびに加速度計、ジャイロスコープ、および磁力計読取値を使用してトラッキングされてもよい。非限定的な例において、3軸加速度計が、ユーザが上もしくは下にジャンプしているか、または前方に動いているか否かを判定してもよい。これが、トラックスーツのそのセンサの位置についての知識との組合せで使用されることにより、現実世界での人の動作全体を判定してもよい。この動作は、その身体動作がユーザの動作を模倣する3Dアバターを有することによって仮想世界に映されてもよい。これが使用されることにより、ユーザが、ユーザの肘、前腕および胴体の上部の関節位置をトラッキングすることによって仮想世界の物体を指示および選択するのを可能にしてもよい。また、これは、ユーザが、現実世界内でユーザが動き回るように仮想/拡張世界内の物体に触れるのを可能にしてもよい。これは、また、ユーザが、身体動作を制御装置として使用することによって仮想/拡張世界場面をナビゲートすることを可能にしてもよい。
いくつかの態様において、センサが、すべてユーザに組み込まれてユーザとともに動いてもよいので、センサは、ユーザが現実世界内の任意の距離を仮想的に移動し、ユーザの動作がトラッキングされるのを可能にしてもよい。このことが、外界センサによって可能でない場合がある。また、外界センサが、全ての場所で作動し得るわけでなく、例えば、低視界環境内等では、屋内でだけ作動してもよいToFのようなセンサもあれば、限定された範囲等内だけで作動してもよいセンサもある。このことは、また、ユーザが、拡張現実界でゴルフ、テニス、クリケット等のゲームを行い、それらの動作についてのリアルタイムフィードバック、および拡張世界での自身の技能を改善するための訓練を受けるのを可能にしてもよい。いくつかの態様において、ユーザは、また、このスーツを着用することによって現実世界での例えばゴルフコースまたはテニスの試合等に対する自身のパフォーマンスをキャプチャし、そして、仮想/拡張世界での自身の活動をチェックしてもよい。いくつかの態様において、ユーザは、それぞれのプレーヤーの身体運動が共有された拡張または仮想世界を駆動するために使用されてもよい仮想ディスプレイを使用してもよい他の人と試合をさえしてもよい。それぞれの人が現実世界内で動くように、人々の3Dアバターは、組み合わされた仮想世界内で動き、組み合わされた世界内で物体と相互作用してもよい。非限定的な例において、仮想テニスコートが作成されて、それぞれの人のアバターがテニスコートの片側にあり、そして人々の身体活動が仮想ゲームを形成してもよい。同様に、剣の戦い、ゴルフ、ライトサーバーの戦い、ビリヤード、および身体動作を必要とする任意のゲームが、このタイプの身体によって拡張、仮想現実に対して可能にされる。いくつかの態様において、ユーザは、仮想世界内で訓練して、現実世界内でその訓練を直接使用してもよく、その理由は、それらの動作の間に直接の対応があってもよいからである。いくつかの態様において、ユーザは、このスーツを使用して現実世界内での活動を記録し、それらを個人的またはチームとともに精査し、仮想世界内での変化/改善を提案さえし、それらの改善/変化を視覚化してもよい。いくつかの態様において、追加の外界センサが、実際のボールの動き、湿度、気流等のような環境要因をキャプチャし、それを身体関節動作とともに再生することにより、ユーザが自身のパフォーマンスを精査してもよい。いくつかの態様において、スーツを着用している複数の人々が、グループパフォーマンスに関与していてもよく、そして、それぞれの組込みセンサが外界センサおよび別の組込みセンサと相関することにより、全体グループパフォーマンスをキャプチャしてそれを仮想世界内で再生してもよい。
いくつかの態様において、RGB LED、音、または振動デバイスのような組込み出力デバイスがこれらのトラックスーツに存在してもよく、この出力デバイスは、ユーザの目標をよりよく達成する方法についてのリアルタイムフィードバックおよび訓練をユーザに与えてもよい。非限定的な例において、テニスでは、外界センサと組込みセンサとの組合せが、ユーザが絶えず自身の肩をわずかにより低く動かすために球がネットに当たる結果をもたらすことを検出してもよい。したがって、次に組込みセンサが、ユーザが同じ間違いをしそうであるかもしれないと判定するときに、センサは、ブザーを鳴らすか、赤くなるか、または肩で振動することにより、ユーザが別の関節に対する自身の肩の位置を修正して確実にネットに当てないようにする必要がある。別の非限定的な例において、ヨガでは、それぞれの座法、ヨガポーズについて1組の望ましい3Dアバターポーズが存在してもよく、そして、フィードバックが使用されることにより、ユーザに関節のそれぞれを望ましいポーズにまで動かすように勧めてもよい。
いくつかの態様において、例えば、様々なゴルフショット等の様々なタイプの動作についてのトレーナーの動作が、関節位置だけでなく、関節の速度、加速度情報によって正確にキャプチャされてもよく、そして、球の実際の動きまたは望ましいアウトプットが、外界センサを使用してトラッキングされてもよい。これらの2つが相関させられて、全てのタイプの身体動作およびその結果として球の動き等の世界においてもたらされる変化を推定するためにモデルが開発されてもよい。このキャプチャは、様々な風の状態等の様々な設定においてなされてもよく、それらの設定は、また、個々にまたは風に加えて高湿度等の組合せとしてのいずれかでシミュレートされてもよい。
いくつかの態様において、関節の位置、速度および加速度が使用されることにより、デバイスを仮想世界または現実世界のいずれかにおいて遠隔操作してもよい。非限定的な例において、デバイスが使用されることにより、腕を上下に動かすことによって仮想または現実のドローンを飛行させるか、あるいは身体の向きを変えることによって、仮想または現実の飛行体の方向を変えてもよい。いくつかの態様において、デバイスが使用されることにより、身体全体または個々の身体部分のいずれかによって、擬人化した現実または仮想ロボットを制御してもよい。非限定的な例において、人が手を上に動かすときに、現実または仮想ロボットが、また、それ自体の手を上に動かしてもよい。2つの動作(実際のトラッキングされた関節動作と対応する仮想または現実デバイス動作と)の間に、例えば、スケール変換、ミラーリング、回転等のいずれかの種類の変換が存在してもよい。
図9は、本発明の例示的なウェブ対応/ネットワーク化態様によって使用されてもよい例示的なクライアント/サーバシステムを示すブロック図である。
通信システム900は、クライアント902およびクライアント904で表されるクライアントのサンプリングを有する多数のクライアントと、ローカルネットワーク906およびローカルネットワーク908で表されるネットワークのサンプリングを有する多数のローカルネットワークと、グローバルネットワーク910と、サーバ912およびサーバ914で表わされるサーバのサンプリングを有する多数のサーバと、を含む。
クライアント902は、通信チャネル916を介してローカルネットワーク906と双方向で通信してもよい。クライアント904は、通信チャネル918を介してローカルネットワーク908と双方向で通信してもよい。ローカルネットワーク906は、通信チャネル920を介してグローバルネットワーク910と双方向で通信してもよい。ローカルネットワーク908は、通信チャネル922を介してグローバルネットワーク910と双方向で通信してもよい。グローバルネットワーク910は、通信チャネル924を介してサーバ912およびサーバ914と双方向で通信してもよい。サーバ912とサーバ914とは、通信チャネル924を介して相互に双方向で通信してもよい。さらに、クライアント902、904、ローカルネットワーク906、908、グローバルネットワーク910、およびサーバ912、914は、それぞれ、相互に双方向で通信してもよい。
一態様において、グローバルネットワーク910は、インターネットとして動作してもよい。通信システム900が多くの様々な形式をとってもよいことが、当業者には理解されるであろう。通信システム900についての形式の非限定的な例は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、有線電話機回路網、ワイヤレスネットワーク、または、それぞれのエンティティの間のデータ通信を支持するいずれかの別のネットワークを含む。
クライアント902および904は、多くの様々な形式をとってもよい。クライアント902および904の非限定的な例としては、パーソナルコンピュータ、パーソナル携帯情報機器(PDA)、携帯電話、およびスマートフォンが挙げられる。
クライアント902は、CPU926、ポインティングデバイス928、キーボード930、マイクロホン932、プリンタ934、メモリ936、大容量記憶装置938、GUI940、ビデオカメラ942、入力/出力インタフェース944、およびネットワークインタフェース946を含む。
CPU926、ポインティングデバイス928、キーボード930、マイクロホン932、プリンタ934、メモリ936、大容量記憶装置938、GUI940、ビデオカメラ942、入力/出力インタフェース944、およびネットワークインタフェース946は、通信チャネル948を介して相互に一方向性方式または双方向方式で通信してもよい。通信チャネル948は、単一の通信チャネルまたは多数の通信チャネルとして構成されてもよい。
CPU926は、シングルプロセッサまたはマルチプロセッサから構成されてもよい。CPU926は、(例えば、組込みRAM/ROMを有する)マイクロコントローラ、プログラマブルデバイス(例えば、RISCまたはSISCベース、あるいはCPLDおよびFPGA)等のマイクロプロセッサ、およびゲートアレイASIC(Application Specific Integrated Circuit)または汎用マイクロプロセッサ等のプログラムされることができないデバイスを含む様々なタイプのものであってもよい。
当該技術分野において周知であるように、メモリ936は、典型的には、データおよび命令を双方向方式でCPU926に転送するために使用される。上記で論じたように、メモリ936は、特に注記されない限りすべての有線または無線送信を除いて、上記のもの等のデータ記憶のためのいずれかの好適なコンピュータ可読媒体を含んでもよい。大容量記憶装置938は、また、CPU926に双方向で結合され、追加のデータ記憶容量を提供し、そして、上記のコンピュータ可読媒体のうちのいずれかを含んでもよい。大容量記憶装置938は、プログラム、データなどを記憶するために使用されてもよく、典型的には、ハードディスク等の二次記憶媒体である。いうまでもなく、大容量記憶装置938内部に保持された情報は、適切な場合には、仮想メモリのようなメモリ936の部分として、標準様式で組み込まれてもよい。
CPU926は、GUI940に結合されてもよい。GUI940は、ユーザがコンピュータオペレーティングシステムおよびソフトウェアの動作を見るのを可能にする。CPU926は、ポインティングデバイス928に結合されてもよい。ポインティングデバイス928の非限定的な例としては、コンピュータマウス、トラックボール、およびタッチパッドが挙げられる。ポインティングデバイス928は、能力を有するユーザがGUI940の表示領域でコンピュータカーソルを操作すること、およびGUI940の表示領域内の領域または特徴を選択することを可能にする。CPU926は、キーボード930に結合されてもよい。キーボード930は、能力を有するユーザが英数字文字情報をCPU926に入力するのを可能にする。CPU926は、マイクロホン932に結合されてもよい。マイクロホン932は、ユーザによって生成された音声がCPU926によって記録され、処理され、および通信されることを可能にする。CPU926は、プリンタ934に接続されてもよい。プリンタ934は、能力を有するユーザが情報を紙に印刷するのを可能にする。CPU926は、ビデオカメラ942に接続されてもよい。ビデオカメラ942は、ユーザによって生成またはキャプチャされたビデオがCPU926によって記録され、処理され、および通信されるのを可能にする。
CPU926は、また、1つ以上の入力/出力デバイスに接続する入力/出力インタフェース944に結合されてもよく、この入力/出力デバイスとは、CD−ROM、ビデオモニタ、トラックボール、マウス、キーボード、マイクロホン、タッチセンサ式ディスプレイ、変換器カードリーダ、磁気もしくは紙テープリーダ、タブレット、スタイラス、音声もしくは手書き文字認識装置、またはもちろん別のコンピュータのような公知の入力デバイス等が挙げられる。
最後に、CPU926は、データベース、コンピュータ、テレコミュニケーション、またはインターネットネットワーク等の外部デバイスとの通信を可能にするネットワークインタフェース946に、好適な従来技術を使用する結線または無線通信リンクとして実装されてもよい通信チャネル916として一般的に示される外部接続を使用して任意に結合されてもよい。そのような接続によって、CPU926は、本発明の教示において記載された方法ステップを実行する間に、ネットワークから情報を受け取るか、またはネットワークに情報を出力してもよい。
当業者であれば、本発明の教示を考慮しおよびそれに従って、前述のステップおよび/またはシステムモジュールのうちのいずれかは、適切に置換され、再整理され、除去されてもよく、追加のステップおよび/またはシステムモジュールが特定の用途の必要に基づいて挿入されてもよく、そして、前述の態様のシステムは、多種多様の好適なプロセスおよびシステムモジュールのうちのいずれかのものを使用して実装されてもよく、いずれかの特定のコンピュータハードウェア、ソフトウェア、ミドルウェア、ファームウェア、マイクロコード等に限定されないことを容易に認識するであろう。コンピュータにおいて実行されてもよい本出願に記載された任意の方法ステップについて、典型的なコンピュータシステムが、それが適切に構成されまたは設計されたとき、本発明のそれらの態様が具現化されてもよいコンピュータシステムとして機能してもよい。
本発明の少なくとも1つの態様が完全に説明されると、本発明に従う多関節トラッキングを実装する別の均等な方法または代替の方法が、当業者に明らかになるであろう。本発明の様々な側面が、例として上記され、そして、開示された特定の態様は、本発明を開示された特定の形式に限定することを意図されていない。多関節トラッキングの特定の実装は、特定の局面または用途に基づいて変化してもよい。例であって限定ではなく、上記された多関節トラッキングは、組込みセンサと外界センサ実装とを組み合わせる多関節トラッキングに主として向けられたけれども、類似の技術が、その代わりにロボット制御に適用されてもよく、本発明のその実装は、本発明の範囲内にあると考えられる。本発明は、したがって、以下のクレームの趣旨および範囲内にある全ての修正、均等物、および代替を網羅することが意図されている。前述の明細書において開示された態様の全てが、必ずしも前述の明細書に記載された目的、利点、または改善のそれぞれを満足し、達成するわけではないことをさらに理解すべきである。
本明細書におけるクレーム要素およびステップは、単に判読および理解の助けとして番号付けおよび/または文字表示されていてもよい。いずれかのそのような番号付けおよび文字表示自体は、クレームにおける要素および/またはステップの順序付けを示すことを意図されておらず、そのように考えられてはならない。
下記のクレームにおける対応する構造、材料、行為、および全ての手段またはステップ、さらに機能要素の均等物は、具体的にクレームされたような別のクレームされた要素との組合せで機能を実行するためのいずれかの構造、材料、または行為を含むことが意図されている。
下記のクレームにおける対応する構造、材料、行為、および全ての手段またはステップ、さらに機能要素の均等物は、具体的にクレームされたような別のクレームされた要素との組合せで機能を実行するためにいずれかの構造、材料、または行為を含むことが意図されている。本発明についての説明が、例示および説明の目的のために示されてきたけれども、開示された形式の本発明に包括されるまたは限定されることは意図されていない。多くの修正および変更は、本発明の範囲および趣旨から逸脱することなく、当業者にとって明らかであろう。態様は、本発明の原理および実機適用を最もよく説明するため、および他の当業者が様々な修正を有する様々な態様について企図される特定の使用に適するように本発明を理解するのを可能にするように、選ばれ記載されている。
要約は、読者が技術開示の特性および要旨を確認するのを可能にする要約を要求する37C.F.R第1.72(b)節に対応するために提供される。要約は、クレームの範囲または要旨を限定または判断するために使用されることはないとの理解とともに提出されている。以下のクレームは、本明細書において詳細な説明に組み込まれ、それぞれのクレームは、独立した態様として自立している。

Claims (20)

  1. 方法であって、
    少なくとも1つの組込みデバイスの少なくとも第1の位置を割り当てるステップであって、前記組込みデバイスは、少なくとも1つのセンサを備え、運動可能な少なくとも1つの関節と関連し、前記第1の位置は、前記少なくとも1つのセンサによってキャプチャされる、ステップと、
    前記少なくとも1つの組込みデバイスの少なくとも第2の位置を割り当てるステップであって、前記第2の位置は、少なくとも1つの外界センサによる前記少なくとも1つの組込みデバイスの観測によってキャプチャされる、ステップと、
    前記少なくとも1つの関節のモデルを使用して、前記少なくとも第1の位置と前記少なくとも第2の位置との間のポーズ対応を確立するステップと、
    前記関節が動くとき、前記外界センサによってキャプチャされたポーズの変化、および前記少なくとも1つのセンサによってキャプチャされたポーズの変化をトラッキングすることによって、前記少なくとも1つのセンサを校正するステップと、を備える、方法。
  2. 前記少なくとも1つの関節の運動中に、前記少なくとも1つのセンサによって報告された複数の第1の位置をキャプチャするステップと、
    前記少なくとも1つの関節の運動中に、前記少なくとも1つの外界センサによって報告された複数の第2の位置をキャプチャするステップと、
    前記複数の第1の位置、前記複数の第2の位置、および前記モデルから複数の関節ポーズを判定するステップと、
    前記複数の関節ポーズを使用して測定基準を算出するステップと、をさらに備える、請求項1に記載の方法。
  3. 前記複数の第1の位置、前記複数の第2の位置、前記複数の関節ポーズ、および前記測定基準を少なくとも備えるトラッキングされたデータを記憶するステップをさらに備える、請求項2に記載の方法。
  4. 前記トラッキングされたデータの一部分に基づいてフィードバックを少なくとも部分的に生成するステップをさらに備える、請求項3に記載の方法。
  5. 前記フィードバックに応じて前記少なくとも1つの組込みデバイスのアクチュエータを起動させるステップをさらに備える、請求項4に記載の方法。
  6. 前記フィードバックに基づいて表示を少なくとも部分的に生成するステップをさらに備える、請求項4に記載の方法。
  7. 前記関節は、ユーザと関連している、請求項1に記載の方法。
  8. 前記関節は、脊椎と関連している、請求項1に記載の方法。
  9. 方法であって、
    組込みデバイスのセンサによってキャプチャされた前記組込みデバイスの第1の位置を割り当てるステップであって、前記組込みデバイスは、関節と関連している、ステップと、
    外界センサによる観測によってキャプチャされた前記組込みデバイスの第2の位置を割り当てるステップと、
    前記第1の位置と前記第2の位置との間のポーズ対応を確立するステップと、
    前記センサを校正するステップと、を備える、方法。
  10. 前記関節の運動中に、複数の第1の位置をキャプチャするステップと、
    前記関節の運動中に、複数の第2の位置をキャプチャするステップと、
    複数の関節ポーズを判定するステップと、
    測定基準を算出するステップと、をさらに備える、請求項9に記載の方法。
  11. トラッキングされたデータを記憶するステップをさらに備える、請求項10に記載の方法。
  12. 前記トラッキングされたデータに基づいてフィードバックを生成するステップをさらに備える、請求項11に記載の方法。
  13. 前記フィードバックに応じてアクチュエータを起動させるステップをさらに備える、請求項12に記載の方法。
  14. 前記フィードバックに基づいて表示を生成するステップをさらに備える、請求項12に記載の方法。
  15. 実行可能プログラムが記憶された非一過性コンピュータ可読記憶媒体であって、前記プログラムは、1つ以上のプロセッサに、
    少なくとも1つの組込みデバイスの少なくとも第1の位置を割り当てるステップであって、前記組込みデバイスは、少なくとも1つのセンサを備え、運動可能な少なくとも1つの関節と関連し、前記第1の位置は、前記少なくとも1つのセンサによってキャプチャされる、ステップと、
    前記少なくとも1つの組込みデバイスの少なくとも第2の位置を割り当てるステップであって、前記第2の位置は、少なくとも1つの外界センサによる前記少なくとも1つの組込みデバイスの観測によってキャプチャされる、ステップと、
    前記少なくとも1つの関節のモデルを使用して、前記少なくとも第1の位置と前記少なくとも第2の位置との間のポーズ対応を確立するステップと、
    前記関節が動くとき、前記外界センサによってキャプチャされたポーズの変化、および前記少なくとも1つのセンサによってキャプチャされたポーズの変化をトラッキングすることによって、前記少なくとも1つのセンサを校正するステップと、を実行することを命令する、非一過性コンピュータ可読記憶媒体。
  16. 前記少なくとも1つの関節の運動中に、前記少なくとも1つのセンサによって報告された複数の第1の位置をキャプチャするステップと、
    前記少なくとも1つの関節の運動中に、前記少なくとも1つの外界センサによって報告された複数の第2の位置をキャプチャするステップと、
    前記複数の第1の位置、前記複数の第2の位置、および前記モデルから複数の関節ポーズを判定するステップと、
    前記複数の関節ポーズを使用して測定基準を算出するステップと、をさらに備える、請求項15に記載の1つ以上のプロセッサに命令するプログラム。
  17. 前記複数の第1の位置、前記複数の第2の位置、前記複数の関節ポーズ、および前記測定基準を少なくとも備えるトラッキングされたデータを記憶するステップをさらに備える、請求項16に記載の1つ以上のプロセッサに命令するプログラム。
  18. 前記トラッキングされたデータの一部分に基づいてフィードバックを少なくとも部分的に生成するステップをさらに備える、請求項17に記載の1つ以上のプロセッサに命令するプログラム。
  19. 前記フィードバックに応じて前記少なくとも1つの組込みデバイスのアクチュエータを起動させるステップをさらに備える、請求項18に記載の1つ以上のプロセッサに命令するプログラム。
  20. 前記フィードバックに基づいて表示を少なくとも部分的に生成するステップをさらに備える、請求項18に記載の1つ以上のプロセッサに命令するプログラム。
JP2018557124A 2016-05-17 2016-12-28 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 Active JP6938542B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662337337P 2016-05-17 2016-05-17
US62/337,337 2016-05-17
US15/371,397 2016-12-07
US15/371,397 US11006856B2 (en) 2016-05-17 2016-12-07 Method and program product for multi-joint tracking combining embedded sensors and an external sensor
PCT/US2016/068980 WO2017200593A1 (en) 2016-05-17 2016-12-28 Multi -joint tracking combining embedded sensors and an external

Publications (2)

Publication Number Publication Date
JP2019526295A true JP2019526295A (ja) 2019-09-19
JP6938542B2 JP6938542B2 (ja) 2021-09-22

Family

ID=60326086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557124A Active JP6938542B2 (ja) 2016-05-17 2016-12-28 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品

Country Status (8)

Country Link
US (1) US11006856B2 (ja)
EP (1) EP3459061A4 (ja)
JP (1) JP6938542B2 (ja)
AU (3) AU2016407050A1 (ja)
CA (1) CA3027366A1 (ja)
RU (1) RU2745429C2 (ja)
SG (1) SG11201809535YA (ja)
WO (1) WO2017200593A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180231393A1 (en) * 2015-06-23 2018-08-16 Ipcomm Llc Method for Calibrating Local Coordinates and Force Reference of Motion and Ground Reaction Force Analysis System
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
CA3082411A1 (en) * 2017-11-14 2019-05-23 Biointeractive Technologies, Inc. Apparatus and methods for detecting, quantifying, and providing feedback on user gestures
WO2019116495A1 (ja) * 2017-12-14 2019-06-20 富士通株式会社 技認識プログラム、技認識方法および技認識システム
EP3744408A4 (en) * 2018-01-24 2021-01-20 Fujitsu Limited SCREEN GENERATION PROGRAM, SCREEN GENERATION METHOD AND INFORMATION PROCESSING DEVICE
EP3518076B1 (en) * 2018-01-24 2022-09-14 C.R.F. Società Consortile per Azioni System and method for ergonomic analysis, in particular of a worker
US20200008734A1 (en) * 2018-05-07 2020-01-09 Rajneesh Bhandari Method and system for navigating a user for correcting a vestibular condition
US11353951B2 (en) 2018-06-08 2022-06-07 Hewlett-Packard Development Company, L.P. Computing input devices with sensors concealed in articles of clothing
CN109199417A (zh) * 2018-09-06 2019-01-15 中山大学 一种用于运动康复治疗的增强现实方法及系统
US20220001236A1 (en) * 2018-10-09 2022-01-06 Brian Francis Mooney Coaching, assessing or analysing unseen processes in intermittent high-speed human motions, including golf swings
IT201800010368A1 (it) * 2018-11-15 2020-05-15 P2R S R L Metodo e sistema di abilitazione sportiva e riabilitazione neuromotoria
CN111382641A (zh) * 2018-12-29 2020-07-07 西安思博探声生物科技有限公司 体态识别方法和体感游戏动作指导系统
WO2020142047A1 (en) * 2018-12-31 2020-07-09 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi System for detecting, analysing and following movement
US11786147B2 (en) * 2019-02-25 2023-10-17 Frederick Michael Discenzo Distributed sensor-actuator system for synchronized movement
KR101994829B1 (ko) * 2019-03-08 2019-07-01 빌리노밸 주식회사 당구공의 구동상태정보 입력제어장치
GB201906420D0 (en) * 2019-05-07 2019-06-19 Farley Adam Virtual augmented and mixed reality systems with physical feedback
GB2584492B (en) 2019-06-07 2021-08-18 Prevayl Ltd Method, garment and system
GB2586950B (en) * 2019-06-07 2022-12-14 Prevayl Innovations Ltd Garment, method and device
CN110215216B (zh) * 2019-06-11 2020-08-25 中国科学院自动化研究所 基于骨骼关节点分区域分层次的行为识别方法、系统
SE1950879A1 (en) * 2019-07-10 2021-01-11 Wememove Ab Torso-mounted accelerometer signal reconstruction
JP7023004B2 (ja) * 2019-09-04 2022-02-21 ヨクト株式会社 運動解析システム、運動解析プログラム、及び運動解析方法
KR20210039875A (ko) * 2019-10-02 2021-04-12 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US11430564B2 (en) 2019-11-27 2022-08-30 Shanghai United Imaging Intelligence Co., Ltd. Personalized patient positioning, verification and treatment
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US20230236218A1 (en) * 2022-01-21 2023-07-27 Movella Holdings B.V. System and methods for motion tracking
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US60509A (en) * 1866-12-18 Impeovement in spieal feiction clutch foe machinery
DE29719250U1 (de) * 1997-10-30 1998-05-07 Hauptverband Der Gewerblichen Körperbelastungsmeß- und Analysesystem
US6692447B1 (en) * 1999-02-16 2004-02-17 Frederic Picard Optimizing alignment of an appendicular
AU2001249517A1 (en) * 2000-03-27 2001-10-08 Massachusetts General Hospital Method and system for viewing kinematic and kinetic information
US20120116258A1 (en) * 2005-03-24 2012-05-10 Industry-Acadamic Cooperation Foundation, Kyungpook National University Rehabilitation apparatus using game device
US8048172B2 (en) * 2005-09-01 2011-11-01 össur hf Actuator assembly for prosthetic or orthotic joint
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US20080091373A1 (en) * 2006-07-31 2008-04-17 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
EP1970005B1 (en) * 2007-03-15 2012-10-03 Xsens Holding B.V. A system and a method for motion tracking using a calibration unit
JP5283401B2 (ja) * 2007-03-22 2013-09-04 国立大学法人 筑波大学 リハビリテーション支援装置
CN101801456B (zh) 2007-07-20 2014-08-27 奥瑟Hf公司 具有反馈的修复或矫形装置
US8702430B2 (en) 2007-08-17 2014-04-22 Adidas International Marketing B.V. Sports electronic training system, and applications thereof
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8244402B2 (en) * 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot
US20130222565A1 (en) * 2012-02-28 2013-08-29 The Johns Hopkins University System and Method for Sensor Fusion of Single Range Camera Data and Inertial Measurement for Motion Capture
US9582072B2 (en) * 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
US9743860B2 (en) * 2013-11-08 2017-08-29 Applied Invention, Llc Use of light transmission through tissue to sense joint flexure
EP3068301A4 (en) * 2013-11-12 2017-07-12 Highland Instruments, Inc. Analysis suite
US10099053B2 (en) * 2014-07-17 2018-10-16 Elwha Llc Epidermal electronics to monitor repetitive stress injuries and arthritis
US10959666B2 (en) 2015-01-12 2021-03-30 Enbiomedic Wearable hip joint-action detectors
US10055888B2 (en) * 2015-04-28 2018-08-21 Microsoft Technology Licensing, Llc Producing and consuming metadata within multi-dimensional data
CN104898846A (zh) * 2015-06-12 2015-09-09 合肥市徽腾网络科技有限公司 一种人体运动快速捕捉方法
US10621885B2 (en) * 2015-12-31 2020-04-14 International Business Machines Corporation Wearable sensor monitoring and data analysis
US20170188980A1 (en) * 2016-01-06 2017-07-06 Empire Technology Development Llc Wearable sensor based body modeling

Also Published As

Publication number Publication date
AU2024200988A1 (en) 2024-05-09
RU2018143017A3 (ja) 2020-06-17
AU2016407050A1 (en) 2018-12-20
EP3459061A1 (en) 2019-03-27
RU2745429C2 (ru) 2021-03-25
EP3459061A4 (en) 2020-06-10
JP6938542B2 (ja) 2021-09-22
WO2017200593A1 (en) 2017-11-23
CA3027366A1 (en) 2017-11-23
US20170332946A1 (en) 2017-11-23
RU2018143017A (ru) 2020-06-17
US11006856B2 (en) 2021-05-18
SG11201809535YA (en) 2018-12-28
AU2022202416A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
US20210272376A1 (en) Virtual or augmented reality rehabilitation
AU2017386412B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US11321894B2 (en) Motion control via an article of clothing
Caserman et al. A survey of full-body motion reconstruction in immersive virtual reality applications
Ma et al. Virtual reality and serious games in healthcare
US11679300B2 (en) Systems and methods for real-time data quantification, acquisition, analysis, and feedback
Afyouni et al. A therapy-driven gamification framework for hand rehabilitation
US20200105040A1 (en) Method and apparatus for comparing two motions
Piorkowski et al. Single maximal versus combination punch kinematics
US20180177450A1 (en) Method and system for delivering biomechanical feedback to human and object motion
US11210834B1 (en) Article of clothing facilitating capture of motions
US20210349529A1 (en) Avatar tracking and rendering in virtual reality
US11551396B2 (en) Techniques for establishing biomechanical model through motion capture
Shi et al. A VR-based user interface for the upper limb rehabilitation
Rahman et al. Modeling therapy rehabilitation sessions using non-invasive serious games
Luo et al. An interactive therapy system for arm and hand rehabilitation
Tisserand et al. Preservation and gamification of traditional sports
KR20220098064A (ko) 사용자 맞춤형 운동 훈련 방법 및 시스템
Gaber et al. A comparison of virtual rehabilitation techniques
Arsenault et al. Wearable sensor networks for motion capture
Khaksar A Framework for Gamification of Human Joint Remote Rehabilitation, Incorporating Non-Invasive Sensors
Davis A Novel Framework for Analysis of Lower Limb Movements: Integration of Augmented Reality and Sensor-Based Systems
Christopher et al. Instrumented Activity Dice for Assessing Throwing Performance: A Pilot Study
Felix Dynamic Analysis of Swimmers During Training

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201111

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210901

R150 Certificate of patent or registration of utility model

Ref document number: 6938542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150