JP2019520619A - 機械学習を用いたウェアラブル装置設定の最適化 - Google Patents

機械学習を用いたウェアラブル装置設定の最適化 Download PDF

Info

Publication number
JP2019520619A
JP2019520619A JP2018554577A JP2018554577A JP2019520619A JP 2019520619 A JP2019520619 A JP 2019520619A JP 2018554577 A JP2018554577 A JP 2018554577A JP 2018554577 A JP2018554577 A JP 2018554577A JP 2019520619 A JP2019520619 A JP 2019520619A
Authority
JP
Japan
Prior art keywords
wearable device
user
input
mobile device
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018554577A
Other languages
English (en)
Other versions
JP6941622B2 (ja
Inventor
ファン,ジンシ
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2019520619A publication Critical patent/JP2019520619A/ja
Application granted granted Critical
Publication of JP6941622B2 publication Critical patent/JP6941622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827Portable transceivers
    • H04B1/385Transceivers carried on the body, e.g. in helmets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724094Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
    • H04M1/724095Worn on the wrist, hand or arm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/38Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50Service provisioning or reconfiguring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Abstract

機械学習を使ってウェアラブル装置の設定を最適化するための技法が記載される。モバイル装置がウェアラブル装置(たとえば腕時計)から、該ウェアラブル装置を身につけているユーザーの、該ウェアラブル装置によって生成される出力モダリティーに対する反応に対応するセンサー・データを受領してもよい。モバイル装置は、ウェアラブル装置によって生成された出力モダリティーについてのユーザー・フィードバックを求めてもよい。モバイル装置は、前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを、センサー・セットを介して受領してもよい。モバイル装置は、前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードしてもよい。モバイル装置は、前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信してもよい。最後に、モバイル装置は、前記知識パッケージを前記ウェアラブル装置に送ってもよい。

Description

優先権主張
本国際出願は2016年6月27日に出願された米国特許出願第15/193,944号の優先権の利益を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
技術分野
本開示は概括的にはウェアラブル装置に、詳細には機械学習を使ってウェアラブル装置設定を最適化することに関する。
人間の感覚は、人間が機能するために使うさまざまなモダリティー――視覚(見る)、聴覚(聞く)、触覚(触れる)、嗅覚(臭い)、味覚、自己受容感覚(身体の近傍部分の相対位置および動きにおいて用いられる努力の強さの感覚)および前庭系(これは、バランスをもった動きを協調させる目的でバランスおよび空間識の感覚に寄与する)――からの情報を提供する。ウェアラブル装置が、広い範囲の設定をもつさまざまなモダリティーの出力を生成しうる。
必ずしも同縮尺で描かれていない図面において、同様の符号は異なる図において同様の構成要素を記述することがある。異なる枝番文字をもつ同様の符号は同様の構成要素の異なるインスタンスを表わすことがある。図面は概して、限定ではなく例として、本稿で論じられるさまざまな実施形態または例を示す。
ある例示的実施形態に基づく、機械学習を使って設定が最適化されうるウェアラブル装置を示す図である。
ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのシステムを示す図である。
ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置の設定を最適化するためのトレーニング・プロセスを示す図である。
ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置の設定を最適化するトレーニング・プロセスのモダリティー対話セッションを示す図である。
ある例示的実施形態に基づく、機械学習を使って設定が最適化されうるウェアラブル装置の実装を示す図である。
ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのクラウドベースのアプリケーションの動作を示すデータおよび制御フロー図である。
ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのモバイル装置によって実行される方法を示す図である。
ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのウェアラブル装置によって実行される方法を示す図である。
いずれかの一つまたは複数の例示的実施形態が実装されうる機械の例を示すブロック図である。
本開示は、機械学習を使ってウェアラブル装置設定を最適化することを個々に容易にする方法、システムおよびコンピュータ・プログラム・プロダクトを記述する。以下の詳細な説明では、説明の目的のため、本願で開示される主題のさまざまな側面の十全な理解を提供するために数多くの個別的詳細が記載される。しかしながら、本願の主題を読み、理解した後には、当業者には、本願で開示される主題がこれらの個別的詳細なしで実施されてもよいことは明白であろう。他方、よく知られた方法、手順およびコンポーネントは、本願で開示される主題を埋没させないよう、詳細に記載されてはいない。
スマートウォッチのようなウェアラブル装置はますますどこにでもあるものになりつつある。ウェアラブル装置は、光、音、振動などといった多様な環境刺激を生成しうる。ウェアラブル装置は、該ウェアラブル装置によって生成される環境刺激の一つまたは複数を制御するためにユーザー構成可能な設定を有していてもよいが、ウェアラブル装置のユーザーは、どの設定構成が該ユーザーにとって最適であるか(あるいはそもそも受け入れ可能であるか)がわからないことがありうる。開示される実施形態は、機械学習技法を使ってウェアラブル装置の設定を最適化することにより、ウェアラブル装置のユーザーにとってのユーザー経験を改善する。
感覚処理障害(SPD: sensory processing disorder;「感覚統合障害(sensory integration dysfunction)」としても知られる)は、環境の要求に対して適切な反応を提供するために複数種感覚の統合が十分に処理されないときに存在する状態である(たとえば、一つまたは複数の感覚によって受領される情報を受け取って反応することに関して脳に問題がある)。SPDは自閉症に密接に関係している(そしてしばしば共存する)。SPDのある、一部の人は、環境刺激に対して過剰に敏感であり、SPDのある、他の人は、環境刺激に対して敏感さが足りない。
SPDは、身体および/または環境に由来する感覚(単数または複数)を整理することに関する著しい問題によって特徴付けられてもよく、生産、余暇、遊びまたは日常生活の活動といった生活の主要な領域の一つまたは複数の実行における困難として現われることがある。SPDのある人は、多様な感覚、特に触覚(たとえば他の人には何ともない繊維がくすぐったくて、身につけるのが困難に感じる)、前庭(たとえば、自動車に乗るときに乗り物酔いを経験する)および自己受容感覚(たとえば、適正に書くためにペンを保持する力を加減するのが困難)に由来する入力を処理するときに、広い範囲の困難を経験することがある。開示される技法は、SPDのある人が身につけるウェアラブル装置の設定を最適化するために有用でありうる。
図1は、ある例示的実施形態に基づく、機械学習を使って設定が最適化されうるウェアラブル装置102を示している。ウェアラブル装置102は、ユーザーの手首104に装着される腕時計であってもよい。図1はウェアラブル装置102を腕時計として図示しているが、他の実施形態では、ウェアラブル装置102はネックレス、ブレスレット、イヤリング、眼鏡またはユーザーが身につけることのできる電子装置のための他の任意の形状因子であってもよい。
図2は、ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのシステム200を示している。システム200は、ウェアラブル装置102と、ウェアラブル装置102を身につけているユーザー202と、クラウドベースのプラットフォーム(たとえば、マイクロソフト(登録商標)アジュール(商標)、アマゾン・ウェブ・サービスなど)において実行されるクラウドベースのアプリケーション206とを含む。任意的に、ある実施形態では、システム200は、スマートフォンまたはタブレット・コンピュータのようなモバイル装置204を含む。図2のユーザー202がウェアラブル装置102と別個に示されているのは単に図示の簡単のためである。典型的な使用では、ウェアラブル装置102はユーザー202によって身につけられる。本稿での用法では、「出力モダリティー」は、人間のモダリティー(たとえば視覚、聴覚、触覚、嗅覚、味覚、自己受容感覚、前庭など)に対応し、人間のモダリティーを使って人間によって知覚されうる、装置によって出力される出力である。同様に、「入力モダリティー」は、人間のモダリティーに対応し、人間のモダリティーによって生成されうる、人間によって生成される入力である。
ユーザー202による典型的な使用に先立って、ウェアラブル装置102は、ユーザー202のためにウェアラブル装置のセンサーおよび出力モダリティーの設定を最適化するようトレーニング・プロセスを受けてもよい。このトレーニング・プロセスの間に、モバイル装置204上で実行されるアプリケーション(「アプリ」)はユーザー202に、ウェアラブル装置102と、一つまたは複数のモダリティーに対応する一つまたは複数の対話を実行するよう指示してもよい。対話は、ユーザー202がウェアラブル装置102によって生成された一つまたは複数の出力モダリティー210を感知することおよび/またはユーザー202がウェアラブル装置102に一つまたは複数の入力モダリティー212を実行することを含んでいてもよい。出力モダリティー210の例は、ウェアラブル装置102のディスプレイ上に表示される光を見ること、ウェアラブル装置102のスピーカーによって生成される音を聞くこと、ウェアラブル装置102によって生成される振動を感じることなどを含んでいてもよい。入力モダリティー212の例は、ウェアラブル装置102の一部を触れたり押したりすること、ウェアラブル装置102のマイクロフォンに向かって話すこと、ウェアラブル装置102を特定のパターンまたはジェスチャーで動かすことなどを含んでいてもよい。ウェアラブル装置102は、ウェアラブル装置102内の一つまたは複数のセンサーを使って前記一つまたは複数の対話に対するユーザーの反応(単数または複数)を収集してもよい。ウェアラブル装置102は、収集されたセンサー・データ220をモバイル装置204に提供してもよい。
多くのウェアラブル装置102は、スマートフォンおよび/またはタブレット・コンピュータに比べて限られたユーザー・インターフェースをもつ。よって、一部のユーザー・フィードバック216はウェアラブル装置102のみを使って収集されうるものの、ウェアラブル装置102だけを使って提供することがユーザー202にとって難しいであろうユーザー202からの前記対話(単数または複数)に関するフィードバックを求めるために、スマートフォンまたはタブレット・コンピュータ上で実行されるアプリが使用されうる。たとえば、モバイル装置204は、ウェアラブル装置102のディスプレイによって表示される光が暗すぎたまたは明るすぎたかどうか、ウェアラブル装置102のスピーカーによって生成された音が小さすぎたまたは大きすぎたかどうか、ウェアラブル装置102によって生成される振動が弱すぎたまたは強すぎたかどうかなどを尋ねてもよい。ユーザー202は、モバイル装置204の一つまたは複数の入力機構を通じてユーザー・フィードバック216を提供してもよい。入力機構は、モバイル装置204のタッチ・コントロール、モバイル装置204のマイクロフォンを介した音声入力、モバイル装置204上の自由形式のテキスト入力、モバイル装置204上の、ユーザーの反応を最もよく表わす絵文字の選択などを含む。ある実施形態では、モバイル装置204は、対話に応答してのユーザー202の表情(単数または複数)および/または振る舞い(単数または複数)をモニタリングするためにカメラを使ってもよい。
モバイル装置204は、クラウドベースのアプリケーション206にユーザー・フィードバックおよびセンサー・データ222を提供してもよい。クラウドベースのアプリケーション206は、データ222を解析し、ウェアラブル装置102上で実行される機械学習アルゴリズム(たとえばニューラル・ネットワーク)をトレーニングし、トレーニングされた機械学習アルゴリズム、プログラム命令および最適化された装置設定を含む知識パッケージ224を生成してもよい。クラウドベースのアプリケーション206は、モバイル装置204に知識パッケージ224を送ってもよく、次いでモバイル装置204は知識パッケージ224をウェアラブル装置102に送ってもよい。最後に、ウェアラブル装置102は、知識パッケージ224をインストールすることによって、自分を更新してもよい。
任意的なモバイル装置204を含まない実施形態では、ウェアラブル装置102が、フィードバック・プロンプト(単数または複数)214をユーザー202に提供してもよく、ユーザー202からユーザー・フィードバック216を受け取ってもよく、ユーザー・フィードバックおよびセンサー・データ222をクラウドベースのアプリケーション206に提供してもよく、クラウドベースのアプリケーション206から知識パッケージ224を受け取ってもよい。
図3は、ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置102の設定を最適化するためのトレーニング・プロセス300を示している。ユーザー202は、モバイル装置204に入力を与えることによって、トレーニング・プロセスを開始してもよい。トレーニング開始302入力は、モバイル装置204上でトレーニング・アプリを立ち上げ、トレーニング・アプリ内のボタンを押して、トレーニングを開始したいというユーザーの所望を示すなどであってもよい。
モバイル装置204がすでにウェアラブル装置102に接続されているのでなければ、モバイル装置204がトレーニングを開始する指示を受け取る際、モバイル装置204はウェアラブル装置102に接続してもよい。ある実施形態では、モバイル装置204とウェアラブル装置102との間の接続は、モバイル装置204が接続要求304をウェアラブル装置102に送り、ウェアラブル装置102が接続確認306をモバイル装置204に送ることを含んでいてもよい。
モバイル装置204およびウェアラブル装置102が接続され、対話を始める準備ができると、モバイル装置204はユーザー202に、モバイル装置204およびウェアラブル装置102が対話する準備ができていることを通知してもよい(308)。すると、ユーザー202はモバイル装置204に対して、モバイル装置204とウェアラブル装置102がユーザー202との対話を開始することを指示してもよい(310)。
ユーザー202は、モバイル装置204およびウェアラブル装置102と、一つまたは複数のモダリティー対話320の集合において対話してもよい。各モダリティー対話320は、ウェアラブル装置102の入力および/または出力のモダリティーに対応してもよく、ウェアラブル装置によって感知されるセンサー・データならびにモバイル装置204および/またはウェアラブル装置102によって受領されるユーザー・フィードバックを含む。モダリティー対話320の例は、図4においてより詳細に示され、記述される。
モバイル装置204は、一つまたは複数のモダリティー対話320の間に受領されたセンサー・データおよびユーザー・フィードバックを、クラウドベースのアプリケーション206にアップロードしてもよい(330)。次いで、クラウドベースのアプリケーション206は、ユーザー・フィードバック216およびセンサー・データ220に基づいて、ユーザー202のためにウェアラブル装置102の出力モダリティーを最適化するよう、機械学習アルゴリズム(たとえばニューラル・ネットワーク)332をトレーニングしてもよい。次いで、クラウドベースのアプリケーション206は、ウェアラブル装置102にインストールされるべき、トレーニングされた機械学習アルゴリズム、動作命令および最適化された装置設定を含んでいてもよい新たな知識パッケージ224を生成してもよい(334)。クラウドベースのアプリケーション206は、新たな知識パッケージ224をモバイル装置204に送ってもよい(336)。
モバイル装置204は、新たな知識パッケージ224をウェアラブル装置102に送ってもよい(338)。次いで、ウェアラブル装置102は、新たな知識パッケージ224をインストールしてもよい(340)。ある実施形態では、新たな知識パッケージ224をインストールすることは、モバイル装置204がウェアラブル装置に自らをリセットするよう命令することを含んでいてもよい。ある実施形態では、ウェアラブル装置のセンサーおよび出力モダリティーの設定の最適化は、トレーニング・プロセス300の複数の対話を含んでいてもよい。
図4は、ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置の設定を最適化するトレーニング・プロセスのモダリティー対話セッション320を示している。モダリティー対話セッション320は、ユーザーがウェアラブル装置102によって生成された一つまたは複数の出力モダリティー210を感知することおよび/またはユーザーがウェアラブル装置102に対して一つまたは複数の入力モダリティー212を実行することを含んでいてもよい。出力モダリティー210の例は、ウェアラブル装置102のディスプレイ上に表示される光を見ること、ウェアラブル装置102のスピーカーによって生成される音を聞くこと、ウェアラブル装置102によって生成される振動を感じることなどを含んでいてもよい。入力モダリティー212の例は、ウェアラブル装置102の一部を触れたり押したりすること、ウェアラブル装置102のマイクロフォンに向かって話すこと、ウェアラブル装置102を特定のパターンまたはジェスチャーで動かすことなどを含んでいてもよい。
モダリティー対話セッション320の間、ウェアラブル装置102はウェアラブル装置102内で一つまたは複数のセンサーを使ってデータを収集してもよい。ウェアラブル装置102は、収集されたセンサー・データ220をモバイル装置204に提供してもよい。
ウェアラブル装置102は、モバイル装置204上で実行されているアプリに、一つまたは複数の出力モダリティー210および/または入力モダリティー212に関するフィードバックをユーザー202に促すよう命令してもよい(402)。たとえば、モバイル装置204は、ウェアラブル装置102のディスプレイによって表示される光が暗すぎたまたは明るすぎたかどうか、ウェアラブル装置102のスピーカーによって生成された音が小さすぎたまたは大きすぎたかどうか、ウェアラブル装置102によって生成される振動が弱すぎたまたは強すぎたかどうかなどを尋ねてもよい。ユーザー202は、一つまたは複数の入力機構を通じてユーザー・フィードバック216を提供してもよい。入力機構は、モバイル装置204上のタッチ・コントロール、モバイル装置204のマイクロフォンを介した音声入力などを含む。ある実施形態では、モバイル装置204は、対話に応答してのユーザー202の表情(単数または複数)および/または振る舞い(単数または複数)をモニタリングするためにカメラを使ってもよい。
図5は、ある例示的実施形態に基づく、機械学習を使って設定が最適化されうるウェアラブル装置102の実装を示している。ウェアラブル装置102は、システムオンチップ502、一つまたは複数のセンサー520およびユーザー・インターフェース530を含んでいてもよい。
システムオンチップ502は、センサー・サブシステム504と、プロセッサ506と、メモリ508と、特定用途向け集積回路(ASIC)510と、ユーザー・インターフェース・コントロール512とを含んでいてもよい。センサー・サブシステム504は、汎用であって、一つまたは複数の使用事例のために構成可能であってもよい。ASIC 510は、クラウドベースのアプリケーション206によってトレーニングされたアルゴリズムを実行する、ハードウェア実装された非線形決定ネットワークであってもよい。
メモリ508は、知識パッケージ224を記憶してもよい。知識パッケージ224は、プロセッサ506によってアクセスされ、実行されてもよい。プロセッサ506による知識パッケージ224の実行は、プロセッサ506に、ASIC 510に命令を提供すること、ASIC 510の実行からの結果を受け取ること、メモリ508を更新することによって機械学習アルゴリズムの状態を更新することを行なわせてもよい。
センサー520は、光、音、圧力、湿度、加速度、慣性、空間的配向、心拍数などの一つまたは複数を検出するための一つまたは複数のセンサーを含んでいてもよい。一つまたは複数のセンサー520は、ウェアラブル装置102に入力を提供するための触覚(触れる)、聴覚(音)、ジェスチャー(身振り)、視覚などのような一つまたは複数の入力モダリティーを可能にしてもよい。センサー・サブシステム504は、一つまたは複数のセンサー520によって感知されたデータをASIC 510に提供してもよい。ASIC 510によって実行されるアルゴリズムは、センサー・サブシステム504によって提供されるデータを分類して、一つまたは複数の対応する出力モダリティーを決定して、提供されたデータに応答して出力にモダリティー値を出力してもよい。
ユーザー・インターフェース・コントロール512は、プロセッサ506および/またはASIC 510から入力を受け取って、受け取った入力を処理し、ユーザー出力を生成し、生成されたユーザー出力をユーザー・インターフェース530に提供してもよい。ユーザー・インターフェース530は、光学的情報を呈示するディスプレイ、聴覚的情報を生成するスピーカー、振動を生成するモーターなどの一つまたは複数を含んでいてもよい。
図6は、ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置102の設定を最適化するためのクラウドベースのアプリケーション206の動作を示すデータおよび制御フロー図 600である。クラウドベースのアプリケーション206は、ウェアラブル装置102が使用される分野(たとえば医療診断/療法、運動競技、日常使用など)のためのドメイン知識を表わすエキスパート知識ベース610を含んでいてもよい。クラウドベースのアプリケーション206に送られたユーザー・フィードバック216は、エキスパート知識ベース610に提供されてもよい。
クラウドベースのアプリケーション206に送られたセンサー・データ220は、センサー信号プロセッサ612に与えられてもよい。センサー信号プロセッサ612は、信号処理技法を使って、センサー・データ220を解析してもよい。
センサー信号プロセッサ612は、解析されたセンサー・データを特徴抽出器614に与えてもよい。特徴抽出器614は、解析されたセンサー・データから、関連する特徴を抽出してもよい。
特徴抽出器614は、抽出された特徴をアルゴリズム・トレーニング器616に与えてもよい。アルゴリズム・トレーニング器616は、ユーザー・フィードバック216および/またはエキスパート知識をもエキスパート知識ベース610から受け取ってもよい。アルゴリズム・トレーニング器616は、ウェアラブル装置102上で実行される機械学習アルゴリズム(たとえばニューラル・ネットワークのモデル)をトレーニングしてもよい。機械学習アルゴリズムは、ウェアラブル装置102によって生成されるさまざまな出力モダリティー値に対する、ウェアラブル装置102を身につけるユーザー202の反応をシミュレートすることを試みてもよく、シミュレートされた反応に基づいて、将来の出力モダリティー値を調整することを試みてもよい。
アルゴリズム・トレーニング器616は、トレーニングされた機械学習アルゴリズムを、知識パッケージ・ビルダー618に与えてもよい。知識パッケージ・ビルダー618は、トレーニングされた機械学習アルゴリズムおよびエキスパート知識ベース610からの情報を組み込んで、新たな知識パッケージ224を構築してもよい。クラウドベースのアプリケーション206は、この新たな知識パッケージ224を、インストールのためにウェアラブル装置102に送ってもよい。
知識パッケージ224の初期のトレーニングおよびインストール後、ユーザー202は、ウェアラブル装置102を通常どおりに(たとえばその意図された目的(単数または複数)のために)使うことに進んでもよい。ユーザー202がウェアラブル装置102を使う際、ウェアラブル装置102は、ウェアラブル装置102の一つまたは複数の出力モダリティー210に応答してのユーザー202の反応に対応するセンサー・データを収集することを続けてもよい。ウェアラブル装置102は定期的にこの収集されたセンサー・データをクラウドベースのアプリケーション206に送ってもよい。収集されたセンサー・データを受け取って解析することに応答して、クラウドベースのアプリケーション206はウェアラブル装置102に、図3に示した初期のトレーニング・セッション300と同様のその後のトレーニング・セッションを開始するようユーザー202に促すよう命令してもよい。ある実施形態では、クラウドベースのアプリケーション206は、図6に示される動作を使って、ウェアラブル装置102から受領された収集されたセンサー・データを使って、新たな知識パッケージ224を生成してもよい。そのような実施形態において、クラウドベースのアプリケーション206は、ウェアラブル装置102に、新たな知識パッケージ224をインストールするまたはダウンロードしてインストールするようユーザー202に促すよう命令してもよい。
図7は、ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのモバイル装置によって実行される方法700を示している。方法700では、ウェアラブル装置102に代わってユーザー・フィードバックを収集するためにモバイル装置204が使われる。
モバイル装置204がまだウェアラブル装置102に接続されていなければ、モバイル装置204はウェアラブル装置102に接続する(動作702)。
トレーニング・セッションを開始するユーザー入力が、モバイル装置204によって受領される(動作704)。
ウェアラブル装置によって生成された出力モダリティーに対するユーザーの反応に対応するセンサー・データが受領される(動作706)。
ウェアラブル装置によって生成された出力モダリティーについてのユーザー・フィードバックが求められる(動作708)。
該出力モダリティーについてのユーザー・フィードバックに対応するデータが、第一のセンサー・セットを介して受領される(動作710)。
動作706〜710は、複数のモダリティーがウェアラブル装置102によって出力される場合および/または単一の出力モダリティーの複数の逐次反復が実行される場合、繰り返されてもよい。
センサー・データおよびユーザー・フィードバック・データはクラウドベースのアプリケーションにアップロードされる(動作712)。
クラウドベースのアプリケーションから知識パッケージが受信される(動作714)。
知識パッケージがウェアラブル装置102に送られる(動作716)。
図8は、ある例示的実施形態に基づく、機械学習を使ってウェアラブル装置設定を最適化するためのウェアラブル装置によって実行される方法800を示している。
トレーニング・セッションを開始するユーザー入力が、ウェアラブル装置102によって受領される(動作804)。
出力モダリティーがウェアラブル装置102によって生成される(動作804)。
出力モダリティーに対するユーザーの反応に対応するデータが、ウェアラブル装置102の第一のセンサー・セットを介して受領される(動作806)。
前記出力モダリティーについてのユーザー・フィードバックが、ウェアラブル装置102によってユーザーから求められる(動作808)。
該出力モダリティーについてのユーザー・フィードバックに対応するデータが、ウェアラブル装置102の第二のセンサー・セットを介して受領される(動作810)。
動作804〜810は、複数のモダリティーがウェアラブル装置102によって出力される場合および/または単一の出力モダリティーの複数の逐次反復が実行される場合、繰り返されてもよい。
センサー・データおよびユーザー・フィードバック・データはクラウドベースのアプリケーションにアップロードされる(動作812)。
クラウドベースのアプリケーションから知識パッケージが受信される(動作814)。
知識パッケージがウェアラブル装置102によってインストールされる(動作816)。
図9は、いずれかの一つまたは複数の例示的実施形態が実装されうる機械900の例を示すブロック図である。代替的な実施形態では、機械900はスタンドアローンの装置として動作してもよく、あるいは他の機械に接続(たとえばネットワーク接続)されてもよい。ネットワーク接続された展開では、機械900は、クライアント‐サーバー・ネットワーク環境において、サーバー機械、クライアント機械または両方の役割で動作してもよい。一例では、機械900は、ピアツーピア(P2P)(または他の分散式の)ネットワーク環境においてピア機械として機能してもよい。機械900は、図1〜図8に示されるシステム、装置または方法の任意の部分を実装してもよく、あるいは含んでいてもよく、該機械によって行なわれるアクションを指定する命令(逐次的またはそれ以外)を実行することのできるコンピュータ、サーバーまたは任意の機械であってもよい。さらに、単一の機械が図示されているが、用語「機械」は、本稿で論じられる方法論の任意の一つまたは複数を実行するための命令の集合(または複数の集合)を個々にまたは合同して実行する機械の任意の集まり、たとえばクラウド・コンピューティング、サービスとしてのソフトウェア(SaaS)、他のコンピュータ・クラスター構成などを含むと解釈される。
本稿に記載される例は、論理またはいくつかのコンポーネント、モジュールまたは機構を含んでいてもよく、それによって動作してもよい。モジュールは、指定された動作を実行することができる有体のエンティティー(たとえばハードウェア)であり、ある種の仕方で構成または配置されてもよい。一例では、回路は、モジュールとして、指定された仕方で(たとえば内部的に、あるいは他の回路のような外部エンティティーに関して)構成されてもよい。一例では、一つまたは複数のコンピュータ・システム(たとえばスタンドアローン、クライアントまたはサーバー・コンピュータ・システム)または一つまたは複数のハードウェア・プロセッサの全体または一部は、ファームウェアまたはソフトウェア(たとえば命令、アプリケーションの一部またはアプリケーション)によって、指定された動作を実行するよう機能するモジュールとして構成されてもよい。一例では、ソフトウェアは、機械可読媒体上にあってもよい。一例では、ソフトウェアは、モジュールの根底にあるハードウェアによって実行されたときに、ハードウェアに、指定された動作を実行させる。
よって、用語「モジュール」は、指定された仕方で動作するまたは本稿に記載されるいずれかの動作の一部または全部を実行するよう物理的に構築された、具体的に構成された(たとえば固定的に結線された)または一時的に(たとえば一過的に)構成された(たとえばプログラムされた)エンティティーのいずれであれ、有体のエンティティーを包含するものと理解される。モジュールが一時的に構成される例を考えると、任意の所与の時点において各モジュールがインスタンス化されている必要はない。たとえば、モジュールがソフトウェアを使って構成される汎用ハードウェア・プロセッサを含む場合、その汎用ハードウェア・プロセッサは、異なる時点において異なるモジュールとして構成されてもよい。よって、たとえばある時点ではある特定のモジュールをなすよう、異なる時点では異なるモジュールをなすよう、ソフトウェアがハードウェア・プロセッサをしかるべく構成してもよい。
機械(たとえばコンピュータ・システム)900は、ハードウェア・プロセッサ902(たとえば、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、ハードウェア・プロセッサ・コアまたはそれらの任意の組み合わせ)、メイン・メモリ904および静的メモリ906を含んでいてもよく、それらの一部または全部は互いとインターリンク(たとえばバス)908を介して通信してもよい。機械900はさらに、表示ユニット910、英数字入力装置912(たとえばキーボード)およびユーザー・インターフェース(UI)ナビゲーション装置914(たとえばマウス)を含んでいてもよい。一例では、表示ユニット910、入力装置912およびUIナビゲーション装置914はタッチスクリーン・ディスプレイであってもよい。機械900はさらに、記憶装置(たとえばドライブ・ユニット)916、信号生成装置918(たとえばスピーカー)、ネットワーク・インターフェース装置920および一つまたは複数のセンサー921、たとえば全地球測位システム(GPS)センサー、コンパス、加速度計または他のセンサーを含んでいてもよい。機械900は、一つまたは複数の周辺装置(たとえばプリンター、カード・リーダーなど)を通信または制御するために、出力コントローラ928、たとえばシリアル(たとえばUSB、パラレルまたは他の有線もしくは無線(たとえば赤外線(IR)、近距離場通信(NFC)など)の接続を含んでいてもよい。
記憶装置916は、本稿に記載される技法または機能の任意の一つまたは複数を具現するまたはそれによって利用されるデータ構造または命令924(たとえばソフトウェア)の一つまたは複数の集合が記憶されている機械可読媒体922を含んでいてもよい。命令924は、機械900によるその実行の間、完全にまたは少なくとも部分的に、メイン・メモリ904内、静的メモリ内906またはハードウェア・プロセッサ902内に存在してもよい。一例では、ハードウェア・プロセッサ902、メイン・メモリ904、静的メモリ906または記憶装置916の一つまたは任意の組み合わせが、機械可読媒体を構成しうる。
機械可読媒体922は単一の媒体として図示されているが、用語「機械可読媒体」は、一つまたは複数の命令924を記憶するよう構成された単一の媒体または複数の媒体(たとえば、中央集中式のまたは分散式のデータベースおよび/または関連するキャッシュおよびサーバー)を含んでいてもよい。
用語「機械可読媒体」は、機械900による実行のための命令を記憶、エンコードまたは担持することができ、機械900に本開示の技法の任意の一つまたは複数を実行させる、あるいはそのような命令によって使用されるもしくはそのような命令に付随するデータ構造を記憶、エンコードまたは担持することのできる任意の媒体を含みうる。限定しない機械可読媒体の例は、半導体メモリおよび光学式および磁気式媒体を含んでいてもよい。よって、機械可読媒体は一時的な伝搬信号ではない。機械可読媒体の具体例は、不揮発性メモリ、たとえば半導体メモリ・デバイス(たとえば電気的にプログラム可能な読み出し専用メモリ(EPROM)、電気的に消去可能なプログラム可能な読み出し専用メモリ(EEPROM))およびフラッシュ・メモリ・デバイス;磁気ディスク、たとえば内蔵ハードディスクおよびリムーバブル・ディスク;光磁気ディスク;ランダムアクセスメモリ(RAM);半導体ドライブ(SSD);およびCD-ROMおよびDVD-ROMディスクを含んでいてもよい。
命令924はさらに、多数の転送プロトコル(たとえばフレームリレー、インターネット・プロトコル(IP)、伝送制御プロトコル(TCP)、ユーザー・データグラム・プロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、メッセージ・キューイング・テレメトリー・トランスポート(MQTT)など)の任意のものを利用してネットワーク・インターフェース装置920を介して伝送媒体を使って通信ネットワーク926を通じて送信または受信されてもよい。例示的な通信ネットワークは、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パケットデータネットワーク(たとえばインターネット)、携帯電話ネットワーク(たとえばセルラー・ネットワーク)、普通の従来式電話(POTS)ネットワークおよび無線データ・ネットワーク(たとえばWi-Fi(登録商標)として知られている米国電気電子技術者協会(IEEE)802.11ファミリーの規格、WiMAX(登録商標)として知られているIEEE802.16ファミリーの規格)、IEEE802.15.4ファミリーの規格、ブルートゥース(登録商標)、ブルートゥース(登録商標)低エネルギー技術、ジグビー(登録商標)、ピアツーピア(P2P)ネットワークなどを含んでいてもよい。一例では、ネットワーク・インターフェース装置920は、一つまたは複数の物理的なジャック(たとえば、イーサネット(登録商標)、同軸または電話ジャック)または通信ネットワーク926に接続するための一つまたは複数のアンテナを含んでいてもよい。一例では、ネットワーク・インターフェース装置920は、単一入力複数出力(SIMO)、複数入力複数出力(MIMO)または複数入力単一出力(MISO)技法の少なくとも一つを使って無線で通信するための複数のアンテナを含んでいてもよい。用語「伝送媒体」は、機械900による実行のための命令を記憶、エンコードまたは担持することができる任意の有体でない媒体を含むと解釈され、そのようなソフトウェアの通信を容易にするためのデジタルまたはアナログの通信信号または他の有体でない媒体を含む。
追加的な注記および実施例
実施例1は、機械学習を使ってウェアラブル装置設定を最適化するための装置であって:
ウェアラブル装置のセンサー・セットに結合されたプロセッサと; 前記ウェアラブル装置のユーザー・インターフェースを制御するためのユーザー・インターフェース・コントロールであって、前記ユーザー・インターフェースは、出力モダリティーを生成することのできる出力機構を含む、ユーザー・インターフェース・コントロールと; 前記プロセッサに結合された集積回路(IC)とを有しており、前記ICは機械学習アルゴリズムを使ってクラウドベースのアプリケーションによってトレーニングされた分類アルゴリズムを実行するものであり、前記分類アルゴリズムは: 前記センサー・セットのセンサーによって検出されたセンサー・データを分類し; 少なくとも部分的には分類されたセンサー・データに基づいて出力モダリティー値を決定するものである、装置である。
実施例2では、実施例1の主題は、任意的に、前記センサーが:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスまたは湿度計のうちの一つであることを含む。
実施例3では、実施例1〜2のいずれか一つまたは複数の主題は任意的に、前記ユーザー・インターフェースが:光を生成する光ディスプレイ、音を生成するスピーカーおよび前記ウェアラブル装置を振動させるモーターのうちの少なくとも一つを含むことを含む。
実施例4では、実施例1〜3のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が腕時計であることを含む。
実施例5では、実施例1〜4のいずれか一つまたは複数の主題は任意的に、前記分類アルゴリズムが、トレーニング・セッションに応答して前記クラウドベースのアプリケーションによってトレーニングされ、前記トレーニング・セッションはモダリティー対話セッションを含み、前記モダリティー対話セッションは: 前記ウェアラブル装置が出力モダリティーに対応する出力を生成する段階と; 前記センサー・セットのセンサーが、生成された出力に応答して前記ウェアラブル装置のユーザーが生じるアクションに対応するセンサー・データを検出する段階と; 生成された出力に関するフィードバックを求めるユーザーへのプロンプトと; フィードバック・プロンプトに対する応答の受領とを含み、 前記クラウドベースのアプリケーションは、検出されたセンサー・データおよびフィードバック応答を受領し; 前記クラウドベースのアプリケーションは、トレーニングされた分類アルゴリズムを含む知識パッケージを生成することを含む。
実施例6では、実施例5の主題は任意的に、前記ウェアラブル装置とは別個で異なるモバイル装置の出力機構がユーザーに対してフィードバック・プロンプトを呈示し; 前記モバイル装置の入力機構が前記フィードバック・プロンプトに対する応答を受領することを含む。
実施例7では、実施例6の主題は任意的に、前記モバイル装置の前記入力機構が:触覚入力、聴覚入力、ジェスチャー入力、顔入力(facial input)、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つであることを含む。
実施例8では、実施例5〜7のいずれか一つまたは複数の主題は任意的に、前記クラウドベースのアプリケーションが前記トレーニングされた分類アルゴリズムを前記モバイル装置に送信し; 前記モバイル装置が前記トレーニングされた分類アルゴリズムを前記ウェアラブル装置に送信することを含む。
実施例9では、実施例5〜8のいずれか一つまたは複数の主題は任意的に、当該装置が、前記トレーニングされた分類アルゴリズムを当該装置にインストールすることによって当該装置自身を更新するものであることを含む。
実施例10では、実施例6〜9のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がスマートフォンであることを含む。
実施例11では、実施例6〜10のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がタブレット・コンピュータであることを含む。
実施例12では、実施例6〜11のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がノートブック・コンピュータであることを含む。
実施例13は、機械学習を使ってウェアラブル装置の設定を最適化するための方法であって: ウェアラブル装置から、該ウェアラブル装置を身につけているユーザーの、該ウェアラブル装置によって生成される出力モダリティーに対する反応に対応するセンサー・データを受領する段階と; 前記ウェアラブル装置によって生成された前記出力モダリティーについてのユーザー・フィードバックを求める段階と; 前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを受領する段階と; 前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードする段階と; 前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信する段階と; 前記知識パッケージを前記ウェアラブル装置に送信する段階とを含む、方法である。
実施例14では、実施例13の主題は任意的に、ユーザー・フィードバックを求める段階が、前記ウェアラブル装置とは別個で異なるモバイル装置の出力機構によって実行され; ユーザー・フィードバック・データを受領する段階は前記モバイル装置の入力機構によって実行されることを含む。
実施例15では、実施例13〜14のいずれか一つまたは複数の主題は任意的に、前記ユーザー・フィードバック・データが:触覚入力、聴覚入力、ジェスチャー入力、顔入力(facial input)、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つを含むことを含む。
実施例16では、実施例13〜15のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が前記知識パッケージをインストールする段階をさらに含むことを含む。
実施例17では、実施例13〜16のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置によって生成される出力モダリティーが:光ディスプレイによって生成される光、スピーカーによって生成される音またはモーターによって生成される振動のうちの一つであることを含む。
実施例18では、実施例13〜17のいずれか一つまたは複数の主題は任意的に、前記センサー・データは:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスおよび湿度計のうちの少なくとも一つによって生成されることを含む。
実施例19では、実施例13〜18のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が腕時計であることを含む。
実施例20では、実施例13〜19のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がスマートフォンであることを含む。
実施例21では、実施例13〜19のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がタブレット・コンピュータであることを含む。
実施例22では、実施例13〜20のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がノートブック・コンピュータであることを含む。
実施例23は、機械学習を使ってウェアラブル装置の設定を最適化するための方法であって: 複数の出力モダリティー値のうちの一つをもつ出力モダリティーを生成する段階と; 前記出力モダリティーに対するユーザーの反応に対応するセンサー・データを、センサー・セットを介して受領する段階であって、前記ユーザーは前記ウェアラブル装置を身につけている、段階と; 前記出力モダリティーについてのユーザー・フィードバックを求める段階と; 前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを、前記ウェアラブル装置の入力機構を介して受領する段階と; 前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードする段階と; 前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信する段階とを含む、方法である。
実施例24では、実施例23の主題は任意的に、前記ウェアラブル装置によって生成される出力モダリティーが:光ディスプレイによって生成される光、スピーカーによって生成される音またはモーターによって生成される振動のうちの一つであることを含む。
実施例25では、実施例23〜24のいずれか一つまたは複数の主題は任意的に、前記ユーザー・フィードバック・データが:触覚入力、聴覚入力、ジェスチャー入力、顔入力(facial input)、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つを含むことを含む。
実施例26では、実施例23〜25のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が前記知識パッケージをインストールする段階をさらに含むことを含む。
実施例27では、実施例23〜26のいずれか一つまたは複数の主題は任意的に、前記センサー・セットは:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスおよび湿度計のうちの少なくとも一つを含むことを含む。
実施例28では、実施例23〜27のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が腕時計であることを含む。
実施例29は、機械によって実行されたときに該機械に実施例13ないし28のうちいずれか一項記載の動作を実行させる命令を含む少なくとも一つの機械可読媒体である。
実施例30は、実施例13ないし28のうちいずれか一項記載の方法を実行するための手段を有する装置である。
実施例31は、機械学習を使ってウェアラブル装置の設定を最適化するための装置であって: ウェアラブル装置から、該ウェアラブル装置を身につけているユーザーの、該ウェアラブル装置によって生成される出力モダリティーに対する反応に対応するセンサー・データを受領する手段と; 前記ウェアラブル装置によって生成された前記出力モダリティーについてのユーザー・フィードバックを求める手段と; 前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを受領する手段と; 前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードする手段と; 前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信する手段と; 前記知識パッケージを前記ウェアラブル装置に送信する手段とを有する、装置である。
実施例32では、実施例31の主題は任意的に、ユーザー・フィードバックを求めることが、前記ウェアラブル装置とは別個で異なるモバイル装置の出力手段によって実行され; ユーザー・フィードバック・データを受領することは前記モバイル装置の入力手段によって実行されることを含む。
実施例33では、実施例31〜32のいずれか一つまたは複数の主題は任意的に、前記ユーザー・フィードバック・データが:触覚入力、聴覚入力、ジェスチャー入力、顔入力(facial input)、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つを含むことを含む。
実施例34では、実施例31〜33のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が前記知識パッケージをインストールするものであることを含む。
実施例35では、実施例31〜34のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置によって生成される出力モダリティーが:光生成手段によって生成される光、音生成手段によって生成される音または振動手段によって生成される振動のうちの一つであることを含む。
実施例36では、実施例31〜35のいずれか一つまたは複数の主題は任意的に、前記センサー・データは:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスおよび湿度計のうちの少なくとも一つによって生成されることを含む。
実施例37では、実施例31〜36のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が腕時計であることを含む。
実施例38では、実施例31〜37のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がスマートフォンであることを含む。
実施例39では、実施例31〜38のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がタブレット・コンピュータであることを含む。
実施例40では、実施例31〜39のいずれか一つまたは複数の主題は任意的に、前記モバイル装置がノートブック・コンピュータであることを含む。
実施例41は、機械学習を使ってウェアラブル装置の設定を最適化するための装置であって: 複数の出力モダリティー値のうちの一つをもつ出力モダリティーを生成する手段と; 前記出力モダリティーに対するユーザーの反応に対応するセンサー・データを受領する手段であって、前記ユーザーは前記ウェアラブル装置を身につけている、手段と; 前記出力モダリティーについてのユーザー・フィードバックを求める手段と; 前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを受領する手段と; 前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードする手段と; 前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信する手段とを有する、装置である。
実施例42では、実施例41の主題は任意的に、前記ウェアラブル装置によって生成される出力モダリティーが:光生成手段によって生成される光、音生成手段によって生成される音または振動手段によって生成される振動のうちの一つであることを含む。
実施例43では、実施例41〜42のいずれか一つまたは複数の主題は任意的に、前記ユーザー・フィードバック・データが:触覚入力、聴覚入力、ジェスチャー入力、顔入力(facial input)、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つを含むことを含む。
実施例44では、実施例41〜43のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が前記知識パッケージをインストールすることを含むことを含む。
実施例45では、実施例41〜44のいずれか一つまたは複数の主題は任意的に、前記センサー・データが:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスおよび湿度計のうちの少なくとも一つによって生成されたものであることを含む。
実施例46では、実施例41〜45のいずれか一つまたは複数の主題は任意的に、前記ウェアラブル装置が腕時計であることを含む。
これらの限定しない例のそれぞれは、単独であってもよく、あるいは他の実施例の一つまたは複数とさまざまな置換または組み合わせにおいて組み合わされてもよい。
コンピュータ・システムおよびウェアラブル装置の分野における慣用の用語が本稿で使われている。そうした用語は当技術分野において既知であり、便宜上、限定しない例としてのみ与えられている。よって、請求項における対応する用語の解釈は、特に断わりのない限り、いかなる特定の定義にも限定されない。
本稿では個別的な実施形態が示され、記述されてきたが、同じ目的を達成するよう計算された任意の構成が、示されている個別的な実施形態の代わりとされてもよいことは当業者によって理解されるであろう。当業者には、多くの適応が明白であろう。よって、本願は、任意の適応または変形をカバーすることが意図されている。
上記の詳細な説明は、付属の図面への言及を含む。付属の図面は詳細な説明の一部をなす。図面は、実施されうる個別的実施形態を、例として示している。こうした実施形態は、本稿では「例」とも称される。そのような例は、示されるまたは記載されるものに加えて要素を含んでいてもよい。しかしながら、本発明者らは、示されるまたは記載される要素のみが設けられる例も考えている。さらに、本発明者らは、特定の例(またはその一つまたは複数の側面)に関してまたは本稿で示されるまたは記載される他の例(またはその一つまたは複数の側面)に関して、示されるまたは記載される要素(またはその一つまたは複数の側面)の任意の組み合わせまたは置換を使う例も考えている。
本稿では、特許文書で一般的なように、単数表現が、一つまたは二つ以上を含むように使われる。これは、「少なくとも一つ」または「一つまたは複数」の他のいかなる生起または使用にも関わりない。本稿では、用語「または」は、非排他的な選言を指す。よって、「AまたはB」は、特に断わりのない限り、「AだがBではない」、「BだがAではない」、「AかつB」を含む。さらに、付属の請求項では、用語「第一」、「第二」、「第三」などは単にラベルとして使われており、その対象物にいかなる数値的な要件も課すことは意図されていない。本稿では、センサー・セットは、異なる型であってもよい一つまたは複数のセンサーを含んでいてもよい。さらに、二つの異なるセンサー・セットが、両方のセンサー・セットに属する一つまたは複数のセンサーを含んでいてもよい。
この詳細な説明では、開示の流れをよくするために、さまざまな特徴が一緒にまとめられていることがある。これは、請求項に記載されていない開示されている特徴がいずれかの請求項にとって本質的であることを意図していると解釈されるべきではない。むしろ、発明的な主題は、特定の開示される実施形態のすべての特徴よりも少ないものに存することがある。このように、付属の請求項は、ここに詳細な説明に組み込まれ、各請求項がそれ自身として別個の実施形態をなす。そのような実施形態が、さまざまな組み合わせまたは置換において互いと組み合わされてもよいことが考えられている。実施形態の範囲は、付属の請求項を、かかる請求項に認められる等価物の完全な範囲とともに、参照して、決定されるべきである。
上記の記述は制約するのではなく、例解することが意図されている。たとえば、上記の例(またはその一つまたは複数の側面)は、互いとの組み合わせにおいて使用されてもよい。上記の記述を吟味したときの当業者などによって、他の実施形態が使われてもよい。

Claims (26)

  1. 機械学習を使ってウェアラブル装置設定を最適化するための装置であって:
    ウェアラブル装置のセンサー・セットに結合されたプロセッサと;
    前記ウェアラブル装置のユーザー・インターフェースを制御するためのユーザー・インターフェース・コントロールであって、前記ユーザー・インターフェースは、出力モダリティーを生成することのできる出力機構を含む、ユーザー・インターフェース・コントロールと;
    前記プロセッサに結合された集積回路(IC)とを有しており、前記ICは機械学習アルゴリズムを使ってクラウドベースのアプリケーションによってトレーニングされた分類アルゴリズムを実行するものであり、前記分類アルゴリズムは:
    前記センサー・セットのセンサーによって検出されたセンサー・データを分類し;
    少なくとも部分的には分類されたセンサー・データに基づいて出力モダリティー値を決定するものである、
    装置。
  2. 前記センサーは:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスまたは湿度計のうちの一つである、請求項1記載の装置。
  3. 前記ユーザー・インターフェースが:光を生成する光ディスプレイ、音を生成するスピーカーおよび前記ウェアラブル装置を振動させるモーターのうちの少なくとも一つを含む、請求項1記載の装置。
  4. 前記ウェアラブル装置が腕時計である、請求項1記載の装置。
  5. 前記分類アルゴリズムが、トレーニング・セッションに応答して前記クラウドベースのアプリケーションによってトレーニングされ、前記トレーニング・セッションはモダリティー対話セッションを含み、前記モダリティー対話セッションは:
    前記ウェアラブル装置が出力モダリティーに対応する出力を生成する段階と;
    前記センサー・セットのセンサーが、生成された出力に応答して前記ウェアラブル装置のユーザーが生じるアクションに対応するセンサー・データを検出する段階と;
    生成された出力に関するフィードバックを求めるユーザーへのプロンプトと;
    フィードバック・プロンプトに対する応答の受領とを含み、
    前記クラウドベースのアプリケーションは、検出されたセンサー・データおよびフィードバック応答を受領し;
    前記クラウドベースのアプリケーションは、トレーニングされた分類アルゴリズムを含む知識パッケージを生成する、
    請求項1記載の装置。
  6. 前記ウェアラブル装置とは別個で異なるモバイル装置の出力機構がユーザーに対してフィードバック・プロンプトを呈示し;
    前記モバイル装置の入力機構が前記フィードバック・プロンプトに対する応答を受領する、
    請求項5記載の装置。
  7. 前記モバイル装置の前記入力機構が:触覚入力、聴覚入力、ジェスチャー入力、顔入力、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つである、請求項6記載の装置。
  8. 前記クラウドベースのアプリケーションが前記トレーニングされた分類アルゴリズムを前記モバイル装置に送信し;
    前記モバイル装置が前記トレーニングされた分類アルゴリズムを前記ウェアラブル装置に送信する、
    請求項5記載の装置。
  9. 当該装置が、前記トレーニングされた分類アルゴリズムを当該装置にインストールすることによって当該装置自身を更新するものである、請求項5記載の装置。
  10. 前記モバイル装置がスマートフォンである、請求項6記載の装置。
  11. 機械学習を使ってウェアラブル装置の設定を最適化するための方法であって:
    ウェアラブル装置から、該ウェアラブル装置を身につけているユーザーの、該ウェアラブル装置によって生成される出力モダリティーに対する反応に対応するセンサー・データを受領する段階と;
    前記ウェアラブル装置によって生成された前記出力モダリティーについてのユーザー・フィードバックを求める段階と;
    前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを受領する段階と;
    前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードする段階と;
    前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信する段階と;
    前記知識パッケージを前記ウェアラブル装置に送信する段階とを含む、
    方法。
  12. ユーザー・フィードバックを求める段階が、前記ウェアラブル装置とは別個で異なるモバイル装置の出力機構によって実行され;
    ユーザー・フィードバック・データを受領する段階は前記モバイル装置の入力機構によって実行される、
    請求項11記載の方法。
  13. 前記ユーザー・フィードバック・データが:触覚入力、聴覚入力、ジェスチャー入力、顔入力、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つを含む、請求項11記載の方法。
  14. 前記ウェアラブル装置が前記知識パッケージをインストールする段階をさらに含む、請求項11記載の方法。
  15. 前記ウェアラブル装置によって生成される出力モダリティーが:光ディスプレイによって生成される光、スピーカーによって生成される音またはモーターによって生成される振動のうちの一つである、請求項11記載の方法。
  16. 前記センサー・データは:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスおよび湿度計のうちの少なくとも一つによって生成される、請求項11記載の方法。
  17. 前記ウェアラブル装置が腕時計である、請求項11記載の方法。
  18. 機械学習を使ってウェアラブル装置の設定を最適化するための方法であって:
    複数の出力モダリティー値のうちの一つをもつ出力モダリティーを生成する段階と;
    前記出力モダリティーに対するユーザーの反応に対応するセンサー・データを、センサー・セットを介して受領する段階であって、前記ユーザーは前記ウェアラブル装置を身につけている、段階と;
    前記出力モダリティーについてのユーザー・フィードバックを求める段階と;
    前記出力モダリティーについてのユーザー・フィードバックに対応するユーザー・フィードバック・データを、前記ウェアラブル装置の入力機構を介して受領する段階と;
    前記センサー・データおよび前記ユーザー・フィードバック・データをクラウドベースのアプリケーションにアップロードする段階と;
    前記センサー・データおよび前記ユーザー・フィードバック・データを使ってトレーニングされた分類アルゴリズムを含む知識パッケージを、前記クラウドベースのアプリケーションから受信する段階とを含む、
    方法。
  19. 前記ウェアラブル装置によって生成される出力モダリティーが:光ディスプレイによって生成される光、スピーカーによって生成される音またはモーターによって生成される振動のうちの一つである、請求項18記載の方法。
  20. 前記ユーザー・フィードバック・データが:触覚入力、聴覚入力、ジェスチャー入力、顔入力、前記モバイル装置の動き、自由形式テキスト入力および絵文字の選択のうちの少なくとも一つを含む、請求項18記載の方法。
  21. 前記ウェアラブル装置が前記知識パッケージをインストールする段階をさらに含む、請求項18記載の方法。
  22. 前記センサー・セットは:加速度計、ジャイロメーター、傾斜計、気圧計、温度計、マイクロフォン、心拍数センサー、コンパスおよび湿度計のうちの少なくとも一つを含む、請求項18記載の方法。
  23. 前記ウェアラブル装置が腕時計である、請求項18記載の方法。
  24. 機械によって実行されたときに該機械に請求項11ないし23のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。
  25. 請求項11ないし23のうちいずれか一項記載の方法を実行するための手段を有する装置。
  26. 請求項24記載のコンピュータ・プログラムを記憶している少なくとも一つの機械可読記憶媒体。
JP2018554577A 2016-06-27 2017-04-10 機械学習を用いたウェアラブル装置設定の最適化 Active JP6941622B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/193,944 US9781243B1 (en) 2016-06-27 2016-06-27 Optimizing wearable device settings using machine learning
US15/193,944 2016-06-27
PCT/US2017/026785 WO2018004775A2 (en) 2016-06-27 2017-04-10 Optimizing wearable device settings using machine learning

Publications (2)

Publication Number Publication Date
JP2019520619A true JP2019520619A (ja) 2019-07-18
JP6941622B2 JP6941622B2 (ja) 2021-09-29

Family

ID=59929235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018554577A Active JP6941622B2 (ja) 2016-06-27 2017-04-10 機械学習を用いたウェアラブル装置設定の最適化

Country Status (5)

Country Link
US (1) US9781243B1 (ja)
JP (1) JP6941622B2 (ja)
CN (1) CN109314840B (ja)
DE (1) DE112017003208T5 (ja)
WO (1) WO2018004775A2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160245686A1 (en) 2015-02-23 2016-08-25 Biplab Pal Fault detection in rotor driven equipment using rotational invariant transform of sub-sampled 3-axis vibrational data
US20160313216A1 (en) 2015-04-25 2016-10-27 Prophecy Sensors, Llc Fuel gauge visualization of iot based predictive maintenance system using multi-classification based machine learning
US10613046B2 (en) 2015-02-23 2020-04-07 Machinesense, Llc Method for accurately measuring real-time dew-point value and total moisture content of a material
US10638295B2 (en) 2015-01-17 2020-04-28 Machinesense, Llc System and method for turbomachinery preventive maintenance and root cause failure determination
US10648735B2 (en) 2015-08-23 2020-05-12 Machinesense, Llc Machine learning based predictive maintenance of a dryer
US20160245279A1 (en) 2015-02-23 2016-08-25 Biplab Pal Real time machine learning based predictive and preventive maintenance of vacuum pump
WO2017112686A1 (en) * 2015-12-20 2017-06-29 Prophecy Sensors, Llc Method, system and apparatus using field learning to upgrade trending sensor curves into fuel gauge based visualization of predictive maintenance by user driven feedback mechanism
US10684709B2 (en) * 2015-12-22 2020-06-16 Shenzhen Royole Technologies Co., Ltd. Electronic bags
US11099663B2 (en) * 2015-12-22 2021-08-24 Shenzhen Royole Technologies Co., Ltd. Electronic bag
CN205250642U (zh) * 2015-12-22 2016-05-25 深圳市柔宇科技有限公司 一种电子箱包
US11810032B2 (en) * 2016-03-16 2023-11-07 Triax Technologies, Inc. Systems and methods for low-energy wireless applications using networked wearable sensors
US20190156246A1 (en) * 2017-11-21 2019-05-23 Amazon Technologies, Inc. Generating and deploying packages for machine learning at edge devices
US10921792B2 (en) 2017-12-21 2021-02-16 Machinesense Llc Edge cloud-based resin material drying system and method
JP2019160026A (ja) * 2018-03-15 2019-09-19 株式会社東海理化電機製作所 操作装置
US10754344B2 (en) * 2018-07-19 2020-08-25 Toyota Research Institute, Inc. Method and apparatus for road hazard detection
US11623102B2 (en) 2018-07-31 2023-04-11 Medtronic, Inc. Wearable defibrillation apparatus configured to apply a machine learning algorithm
US11411832B2 (en) * 2018-12-28 2022-08-09 Intel Corporation Methods and apparatus to generate optimized models for internet of things devices

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002111800A (ja) * 2000-09-27 2002-04-12 Casio Comput Co Ltd データ送受信システム及び電子機器
JP2006065813A (ja) * 2004-08-30 2006-03-09 Seiko Epson Corp 携帯情報機器のデータ同期システム、データ同期方法及び携帯情報機器
JP2010079182A (ja) * 2008-09-29 2010-04-08 Nagoya Institute Of Technology ウェアラブル音認識装置
JP2014197853A (ja) * 2008-06-09 2014-10-16 イマージョン コーポレーションImmersion Corporation 電子機器のイベントに対する報知フレームワークの開発
JP2014206837A (ja) * 2013-04-12 2014-10-30 埼玉日本電気株式会社 電子機器、その制御方法及びプログラム
JP2015148981A (ja) * 2014-02-07 2015-08-20 日本電気株式会社 データ処理装置
JP2015528253A (ja) * 2012-07-20 2015-09-24 フェイスブック,インク. ユーザの意図および/または識別情報に基づくモバイルデバイス状態の調整
US20150379421A1 (en) * 2014-06-27 2015-12-31 Xue Yang Using a generic classifier to train a personalized classifier for wearable devices
CN105528754A (zh) * 2015-12-28 2016-04-27 湖南师范大学 一种基于双神经网络行为识别模型的老年人信息服务系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9223494B1 (en) 2012-07-27 2015-12-29 Rockwell Collins, Inc. User interfaces for wearable computers
ES2705526T3 (es) * 2012-09-11 2019-03-25 Life Corp Sa Plataforma de comunicación ponible
US11157436B2 (en) * 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
WO2014085910A1 (en) 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US9063770B2 (en) 2012-12-11 2015-06-23 TCL Research America Inc. System and method for mobile platform virtualization
US20140180582A1 (en) * 2012-12-21 2014-06-26 Mark C. Pontarelli Apparatus, method and techniques for wearable navigation device
KR102060723B1 (ko) * 2013-01-18 2019-12-31 삼성전자주식회사 사용자 행동 인식 장치, onmf 기반 기저 행렬 생성 방법 및 ossnmf 기반 기저 행렬 생성 방법
US9439567B2 (en) 2013-02-06 2016-09-13 Abraham Carter Updating firmware to customize the performance of a wearable sensor device for a particular use
WO2014130871A1 (en) * 2013-02-22 2014-08-28 Thalmic Labs Inc. Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control
US10811123B2 (en) * 2013-03-28 2020-10-20 David Laborde Protected health information voice data and / or transcript of voice data capture, processing and submission
US8976965B2 (en) * 2013-07-30 2015-03-10 Google Inc. Mobile computing device and wearable computing device having automatic access mode control
US9252980B2 (en) 2013-11-11 2016-02-02 Verizon Patent And Licensing Inc. Cloud services for wearable and snappable devices
KR20160118391A (ko) 2013-12-07 2016-10-11 시퀀싱닷컴 개인의 유전체 데이터를 이용하는 실-시간 개인화를 위한 시스템 및 방법
EP3089658A4 (en) 2014-02-24 2017-10-11 Sony Corporation Smart wearable devices and methods for acquisition of sensorial information from wearable devices to activate functions in other devices
AU2015218578B2 (en) 2014-02-24 2020-06-25 Nedim T. Sahin Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
US10261674B2 (en) * 2014-09-05 2019-04-16 Microsoft Technology Licensing, Llc Display-efficient text entry and editing
CN104331223A (zh) * 2014-10-11 2015-02-04 广东小天才科技有限公司 一种智能穿戴设备功能设定的智能设置方法和装置
US20160232131A1 (en) * 2015-02-11 2016-08-11 Google Inc. Methods, systems, and media for producing sensory outputs correlated with relevant information
CN104834918A (zh) * 2015-05-20 2015-08-12 中国科学院上海高等研究院 一种基于高斯过程分类器的人体行为识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002111800A (ja) * 2000-09-27 2002-04-12 Casio Comput Co Ltd データ送受信システム及び電子機器
JP2006065813A (ja) * 2004-08-30 2006-03-09 Seiko Epson Corp 携帯情報機器のデータ同期システム、データ同期方法及び携帯情報機器
JP2014197853A (ja) * 2008-06-09 2014-10-16 イマージョン コーポレーションImmersion Corporation 電子機器のイベントに対する報知フレームワークの開発
JP2010079182A (ja) * 2008-09-29 2010-04-08 Nagoya Institute Of Technology ウェアラブル音認識装置
JP2015528253A (ja) * 2012-07-20 2015-09-24 フェイスブック,インク. ユーザの意図および/または識別情報に基づくモバイルデバイス状態の調整
JP2014206837A (ja) * 2013-04-12 2014-10-30 埼玉日本電気株式会社 電子機器、その制御方法及びプログラム
JP2015148981A (ja) * 2014-02-07 2015-08-20 日本電気株式会社 データ処理装置
US20150379421A1 (en) * 2014-06-27 2015-12-31 Xue Yang Using a generic classifier to train a personalized classifier for wearable devices
CN105528754A (zh) * 2015-12-28 2016-04-27 湖南师范大学 一种基于双神经网络行为识别模型的老年人信息服务系统

Also Published As

Publication number Publication date
US9781243B1 (en) 2017-10-03
JP6941622B2 (ja) 2021-09-29
DE112017003208T5 (de) 2019-03-14
WO2018004775A3 (en) 2018-07-26
CN109314840A (zh) 2019-02-05
WO2018004775A2 (en) 2018-01-04
CN109314840B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
JP6941622B2 (ja) 機械学習を用いたウェアラブル装置設定の最適化
CN107205655B (zh) 协调关系可穿戴物
EP2778843B1 (en) Automatic haptic effect adjustment system
EP3110606B1 (en) Smart wearable devices and methods for automatically configuring capabilities with biology and environment capture sensors
US20180108227A1 (en) Haptic effects conflict avoidance
Hayhurst How augmented reality and virtual reality is being used to support people living with dementia—design challenges and future directions
US20160000641A1 (en) Data acquisition and analysis of human sexual response using a personal massaging device
JP2018500981A (ja) ウェアラブルデバイス間の接続関係を提供するシステムおよび方法
WO2016088413A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018156631A5 (ja)
WO2018108174A1 (zh) 界面互动组件控制方法、装置及可穿戴设备
CN106779614A (zh) 用于可穿戴设备的学习监测方法、装置及可穿戴设备
AU2020352826A1 (en) Smart ring
WO2021214819A1 (ja) 価格算出装置
JP6978860B2 (ja) 体操支援方法、体操支援システム、及び体操支援プログラム
KR102655147B1 (ko) 상호작용 애니메이션 캐릭터 헤드 시스템 및 방법
JP2018143639A (ja) インタラクションを用いたユーザの状態推定装置及びその方法
KR20240046647A (ko) 상호작용 애니메이션 캐릭터 헤드 시스템 및 방법
KR20200136476A (ko) 상호작용 애니메이션 캐릭터 헤드 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210719

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R150 Certificate of patent or registration of utility model

Ref document number: 6941622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150