JP2016507099A - 頭部装着型ディスプレイにおいて物理的握手を活用すること - Google Patents

頭部装着型ディスプレイにおいて物理的握手を活用すること Download PDF

Info

Publication number
JP2016507099A
JP2016507099A JP2015552856A JP2015552856A JP2016507099A JP 2016507099 A JP2016507099 A JP 2016507099A JP 2015552856 A JP2015552856 A JP 2015552856A JP 2015552856 A JP2015552856 A JP 2015552856A JP 2016507099 A JP2016507099 A JP 2016507099A
Authority
JP
Japan
Prior art keywords
person
encounter
user
action
determining whether
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015552856A
Other languages
English (en)
Other versions
JP2016507099A5 (ja
JP6407889B2 (ja
Inventor
フォルタンプーア、ババク
バラサブラマンヤム、シバクマー
カルバルホ、ビター・アール.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016507099A publication Critical patent/JP2016507099A/ja
Publication of JP2016507099A5 publication Critical patent/JP2016507099A5/ja
Application granted granted Critical
Publication of JP6407889B2 publication Critical patent/JP6407889B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

インターフェースデバイスに関する情報を管理するためのシステム、方法、およびコンピュータプログラム製品が提供されている。そのシステムは、インターフェースデバイスのユーザと人物の目下の物理的遭遇、およびユーザと人物の非物理的遭遇のうちの1つを検出する。システムは、検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定し、目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに、その人物に関連付けられたコンテンツを追加する。目下の物理的遭遇が後続の遭遇である、すなわち目下の非物理的遭遇が検出されるとき、システムは、人物がユーザによって知られているかどうかを決定し、その人物がユーザによって知られていないとき、その人物に対応する情報をインターフェースデバイスに提示する。【選択図】 図5

Description

[0001]本開示は、概して、拡張現実(AR)眼鏡のような、頭部装着型ディスプレイ(HMD)を有するインターフェースデバイスを使用することに関し、より具体的には、そのようなデバイスを通じて提示される情報の管理に関する。
[0002]拡張現実を実装するためのシステムおよびアプリケーションが非常に一般的で、広く受け入れられるようになってきた。ARシステムは通常、電子メールおよびメディアプレイヤのようなアプリケーションと対話する間にユーザが同時に、彼の周囲を見る、および彼の周囲と対話することを可能にする頭部装着型ディスプレイを含む。多くのARアプリケーションは、スマートフォンおよびタブレット上で起動されうるけれども、ARシステムを実装するための最も自然なフォームファクターは、AR眼鏡の形態の頭部装着型ディスプレイのような光学デバイスである。
[0003]ユーザが望みうる1つのARシステム特徴は、ユーザが以前接触、または遭遇した人々の顔を記憶および想起する能力である。現在、いくつかのARシステムは、シーンカメラとも称される、前向きカメラ(front facing camera)を使用する視界の中の(in the field of view)顔を発見する。そのシステムは、馴染みのある顔を識別し、ARシステムのディスプレイ上で各認識された顔をラベル表示する(label)ための顔認識ソフトウェアを使用する。このことの否定的側面は、ARシステムが視界の中の各顔を潜在的にラベル表示することができ、それにより、ディスプレイを取り散らかす大量の重要でない情報を表示させてしまうことである。ユーザが特定の人物を既に知っていることがあり、それにより、その人物を識別するためにARシステムを求める必要性を有さないので、情報は重要でないことがありうる。
[0004]インターフェースデバイスに関する情報を管理するためのシステム、方法、およびコンピュータプログラム製品が提供されている。そのシステムは、インターフェースデバイスのユーザと人物の目下の物理的遭遇、およびユーザと人物の非物理的遭遇のうちの1つを検出する。システムは、検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定し、目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに、その人物に関連付けられたコンテンツを追加する。目下の物理的遭遇が後続の遭遇であるとき、すなわち目下の非物理的遭遇が検出されるとき、システムは、その人物がユーザによって知られているかどうかを決定する。その人物がユーザによって知られていない場合、システムは、その人物に対応する情報をインターフェースデバイスに提示する。
1つのAR眼鏡(a pair of AR glasses)の形態のユーザインターフェースデバイス、およびリストバンドの形態の物理的遭遇検出デバイスを含むARシステムを例示している図である。 ユーザインターフェースデバイス上での表示のための情報を管理する方法のフローチャートである。 ユーザがオブジェクトを保持すること、およびわずかに握りしめることに対応するEMGの出力の変化を例示しているグラフである。 アクション、例えば握手、に対応する加速度計出力の変化を例示しているグラフである。 例示的なARシステムにおける種々のモジュール/手段/コンポーネントの動作を例示している概略的なフロー図である。 処理システムを用いるARシステムのためのハードウェア実装の例を例示している図である。
[0011]添付の図面に関係して以下で述べられる詳細な説明は、様々な構成の説明として意図されるものであり、本明細書で説明される概念が実施されうる唯一の構成を表すようには意図されていない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしに実施されうることは、当業者には明らかであろう。いくつかの事例では、周知の構造およびコンポーネントが、そのような概念を曖昧にすることを回避するためにブロック図の形態で図示されている。
[0012]ARシステムのいくつかの態様が、今から、様々な装置および方法を参照して提示されることになる。これらの装置および方法は、様々なブロック、モジュール、コンポーネント、回路、ステップ、プロセス、アルゴリズム等(集合的に「要素」と称される)によって、以下の詳細な説明において説明され、添付の図面で例示されることになる。これらの要素は、電子ハードウェア、コンピュータソフトウェア、またはそれらのあらゆる組み合わせを使用して実装されうる。そのような要素がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、システム全体に課された設計の制約および特定のアプリケーションに依存する。
[0013]例として、要素、または要素のいずれか一部、あるいは要素のあらゆる組み合わせが、1つまたは複数のプロセッサを含む「処理システム」で実装されうる。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックデバイス(PLD)、ステートマシン、ゲートロジック、ディスクリートハードウェア回路、および本開示全体を通して説明されている様々な機能を実行するよう構成された他の適したハードウェアを含む。処理システムにおける1つまたは複数のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはそれ以外で称されようとも、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数、等を意味するように広く解釈されるものとする。
[0014]したがって、1つまたは複数の例示的な実施形態では、説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのあらゆる組み合わせで実装されうる。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に、1つまたは複数の命令またはコードとして格納されるか、あるいは1つまたは複数の命令またはコードとして符号化されうる。コンピュータ可読媒体は、コンピュータ格納媒体を含む。格納媒体は、コンピュータによってアクセスされることができる、あらゆる利用可能な媒体でありうる。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM(登録商標)、CD−ROMまたは他の光学ディスクストレージ、磁気ディスクストレージまたは他の磁気格納デバイス、あるいは、データ構造または命令の形態で所望のプログラムコードを搬送または格納するように使用されることができ、かつコンピュータによってアクセスされうるあらゆる他の媒体を備えることができる。ディスク(disk)およびディスク(disc)は、本明細書で使用される場合、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光学ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ここにおいてディスク(disk)が通常、磁気的にデータを再生する一方で、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
[0015]図1は、ユーザインターフェースデバイス102および物理的遭遇検出デバイス104を含むARシステム100を例示している図である。例示されているユーザインターフェースデバイス102は、当該技術分野で知られている方法を使用して、レンズを通じてコンテンツを投影するように構成された1つのAR眼鏡である。例えば、AR眼鏡102は、アプリケーションコンテンツ、例えば電子メール、ドキュメント、ウェブページ、あるいはビデオゲーム、動画、または電子書籍のようなメディアコンテンツ、をそのレンズを通じて投影するように構成されうる。他のタイプのユーザインターフェースデバイス102は、スマートフォン、タブレット、ラップトップ等を含むことができる。
[0016]AR眼鏡102は、物理的遭遇検出デバイス104と通信するための通信デバイス106を含む。通信デバイス106は、例えば、Bluetooth(登録商標)デバイスでありうる。AR眼鏡102は、物理的遭遇検出デバイス104から受信された通信/信号に応答して、表示のための情報を処理および管理するためのプロセッサ108をさらに含む。
[0017]遭遇検出デバイス104は、ボディ部に関連付けられるように構成され、そのような関連付け(association)を提供することの助けとなるいずれの形態でもありうる。例えば、ボディ部が手または指である場合、物理的遭遇検出デバイスは、図1で例示されているような、リストバンド104として構成されうる。1つの構成では、物理的遭遇検出デバイス104は、EMG感知機能を提供する電極110、112のペア、動きセンサ114、およびユーザインターフェースデバイス102と通信するための通信デバイス116を含む。遭遇検出デバイス104はまたは、様々なセンサによって提供される信号を処理するためのプロセッサ118も含む。プロセッサ118と組み合わせてセンサ110、112、114は、以下でさらに説明されるように、物理的遭遇検出機能を提供する。
[0018]電極110、112は、ユーザがリストバンド104を着用しているときに、例えば、掌握のような握手と密に関連付けられたアクションを示す、手首の筋肉運動から結果として生じる電気的活動(electrical activity)を感知するようにそれらの電極が位置するように、望ましくは、リストバンド上に位置付けられる。プロセッサ118のEMG感知要素と組み合わせて電極110、112は、特定のアクションを示す信号を提供するEMGセンサとして機能する。EMG感知機能は、周知の技術に基づく。
[0019]動きセンサ114は、リストバンド上のどこかに位置付けられることができ、上下の腕の運動のような、握手と密に関連づけられた追加のアクションを示す信号を提供する。動きセンサ114は、加速度計、ジャイロスコープ、磁気計、または他のそのようなデバイスでありうる。
[0020]ARシステム100は、他の人々とのユーザの対話に関連する情報を管理する。この目的で、システムは、ユーザが以前接触したけれども記憶していない人物に彼が遭遇したときの後の検索のために、ユーザが今しがた接触した人々の情報、例えば名前、および属性、例えば顔、の目録を作成する。システムの目録作成の態様は、進行中のプロセスであり、要するに、ユーザが今しがた接触した人物との遭遇を示す遭遇を検出することを伴う。そのような検出は、ユーザは彼が初めて接触している人物と握手するという想定に基づいて、システムがユーザによる握手を検出するときに、生じうる。例えば、ARシステム100の物理的遭遇検出デバイス104は、握手に対応するEMG信号の特性に一致する上昇した(elevated)EMG信号を監視することができる。この検出が生じるとき、物理的遭遇検出デバイス104は加速度計データを、ユーザが単に空中で彼の手を動かしているのではなく、手が銃を保持していることに類似するように方向づけられた状態で、握手に対応する繰り返されるアクション、例えば、オブジェクトを握りしめて上下に動かすこと、を行っていることを、そのデータもまた示しているかどうかを確かめるために調べることができる。
[0021]上記の2つの条件が真である、つまり、感知されたEMG信号が見込まれる握手を示し、加速度計データが握手を確認する場合、物理的遭遇検出デバイス104は、ユーザと人物の物理的遭遇が生じたことをユーザインターフェースデバイス102に通信する。ユーザインターフェースデバイス102はその後、ユーザが遭遇している人物の画像をキャプチャするために、そのシーンカメラを使用して写真を撮る。ユーザインターフェースデバイス104はその後、ユーザが以前遭遇した人々の画像を含む顔データベースを調べる。その顔が顔データベースで発見されない場合、それはデータベースに追加される。顔を追加することは、その人物との最初の遭遇の音声および/またはビデオ記録と共にその人物の画像を格納すること、ならびにその人物の名前の音声記録と共にその画像を格納することを含むことができる。
[0022]システムの検索態様は、1日を通してAR眼鏡の視界の中の顔を追跡することを伴う。視界の中の顔の画像が視界のxパーセントよりも大きい、ここでは、より大きな割合はより大きい画像に対応し、より大きな画像は今度はよりユーザに近い顔に対応する、場合、ユーザインターフェースデバイス102は、シーンカメラを使用して顔の写真を撮り(画像をキャプチャし)、例えば画像比較を通じて、その顔が既に顔データベースにあるかどうかを決定する。その顔が既にデータベースにある場合、ユーザインターフェースデバイス102は、ルックアップを実行する、つまり、ユーザがこの顔を既知の顔として指定した(marked)かどうかを決定する。その顔が既知の顔でない場合、ユーザインターフェースデバイス102は、この顔と共に格納されたコンテンツ、例えば、名前、ユーザがいつその人物と接触したか、その遭遇のサムネイル、遭遇のビデオ、を検索および表示する。
[0023]図2は、ユーザインターフェースデバイスのための情報を管理する上記の方法を詳述するフローチャートである。述べられたように、プロセスは、ユーザと人物の遭遇を検出すること、およびもしあれば、その人物についての情報の提示に関するインテリジェントな選択を行うことを対象としている。プロセスは、図1のARシステムによって実行されうる。この目的のために、ステップ202で、物理的遭遇検出デバイス104は、ユーザインターフェースデバイス102のユーザと人物の目下の物理的遭遇を検出する一方で、ユーザインターフェースデバイス102のコンポーネントは、ユーザと人物の非物理的遭遇を検出する。
[0024]目下の物理的遭遇の検出に関して、物理的遭遇検出デバイス104は、ユーザのボディの感知された電気的活動、およびユーザのボディの動きのうちの1つまたは複数に基づいて、そのような遭遇を検出する。1つの構成では、物理的遭遇検出デバイス104は、最初に、ユーザと人物の物理的コンタクトに概して対応する第1のアクションを示す筋肉の電気的活動を調べる。一度この第1のアクションが検出されると、物理的遭遇検出デバイス104は、ユーザと人物の物理的対話に概して対応する第2のアクションを示す動き活動を調べる。第1のアクションが、例えば、ユーザによるオブジェクトの掌握でありうる一方で、第2のアクションはオブジェクトを揺らすこと(a shaking of the object)でありうる。集合的に、第1のアクションおよび第2のアクションは、ユーザと人物の握手の対話に対応すると考えられることができ、ここにおいて第1のアクションは、ユーザが人物の手を掌握することであり、第2のアクションは、ユーザが人物の手を揺らすことである。これは単に、第1のおよび第2のアクション、ならびに対応する対話の1つの例である。
[0025]上記で述べられたように、第1のアクションの検出は、上記で説明されたEMGセンサを使用して行われうる。図3は、ユーザが別の人物の手を掌握するときの、時間に応じた(as a function of time)EMG信号振幅を例示しているグラフ300である。波形は、ユーザの手の筋肉が、リラックスされた状態にあるときよりも多く働いていることを示している。大いに変動している波形302は、ユーザの特定のアクションを表している。このケースでは、アクションは、ユーザがオブジェクトをわずかに保持すること、および握りしめることに対応する。このアクションは、ユーザと人物の潜在的な握手として解釈されうる。比較的平坦な波形304は、ノイズフロアを表す。経験から得たEMG信号データに基づいて、特定の第1のアクションを示す基準は確立されうる。例えば、アクション中に測定されるEMG信号の動的範囲または周波数、ピークツーピーク電圧(peak-to-peak voltage)は、後に取得されるEMG信号の測定値が比較されうる基準としての役割をしうる。この点で、物理的遭遇検出デバイス104は、ユーザが別の人物の手をわずかに保持し、握りしめている間にいくつかのEMG信号を記録すること、およびそれらのサンプルからテンプレートを作成するによって、個々のユーザのためにトレーニングされうる。物理的遭遇検出デバイス104のプロセッサ118は、取得された信号の測定値を、経験から得たデータによって定義されたしきい値と比較する。しきい値が満たされるとき、または場合、プロセッサ118は、第1のアクションが生じたと結論付ける。しきい値が満たされないとき、または場合、プロセッサ118は、第1のアクションが生じなかったと結論付ける。
[0026]上記で述べられたように、第2のアクションの検出は、上記で説明された動きセンサを使用して行われうる。図4は、時間に応じた(as a function of time)動きセンサの、例えば加速度計の、信号を例示しているグラフ400であり、ここにおいてその信号は、ユーザによる特定のアクション、このケースでは、握手に対応する動きでユーザが彼の手を上下に動かすこと、に対応する。y軸に沿った最小の周波数コンポーネントと共に、x軸およびz軸チャネルの両方に強く、かつ相関された周波数コンポーネントが存在し、y軸は、腕の長さパラレルな軸である。これは単に、経験上取得されうる動き信号の形態またはアクションテンプレートのうちの1つである。
[0027]プロセッサ118は、これらのアクションテンプレートのライブラリを含み、取得された動きセンサ信号を、アクションテンプレートのライブラリに対して比較する。取得された動き信号の形態が、アクションテンプレートのうちの1つに接近して(closely)一致する場合、プロセッサ118は、アクションが生じたと結論付ける。取得された動き信号とアクションテンプレートとの接近のレベルは、上記で説明された基準を定義する。例えば、ポイント毎の電圧比較、または取得された動き信号とアクションテンプレートの波形エリア比較は、波形の間の割合の一致を生み出すことができる。このケースでは、基準は、割合、例えば90%、であることができ、基準の、または基準より上の生み出された割合は、結果としてアクション検出をもたらすと考えられうる。
[0028]目下の非物理的遭遇の検出に関して、ユーザインターフェースデバイス102のコンポーネントが、ユーザインターフェースデバイスのユーザと人物の接近した近接を、その人物の属性に基づいて、検出する。1つの構成では、ユーザインターフェースデバイス102、例えばAR眼鏡、は、その眼鏡の視界の中の人物の画像が、ユーザとその人物との接近した空間的関係に対応する基準を満たすかどうかを決定する。例えば、ユーザインターフェースデバイス102のシーンカメラコンポーネントは、視界の中の人物の画像をキャプチャすることができる。AR眼鏡のプロセッサ108は、その画像の顔部分を識別すること:AR眼鏡のレンズのサイズと比較した顔部分のサイズを決定すること;およびそのサイズがしきい値基準を満たす場合、ユーザとその人物との近接した空間的関係が存在すると結論付けることがきる。例えば、しきい値は30%で設定されることができ、このケースでは、画像の顔部分がディスプレイの少なくとも30%を占める場合、しきい値は満たされる。
[0029]別の構成では、ユーザインターフェースデバイス102のマイクロフォンコンポーネントは、人物のサウンド、例えば人物の声をキャプチャすること;デシベルでそのサウンドのレベルを決定すること、およびサウンドレベルがしきい値基準を満たすとき、または場合、ユーザとその人物との接近した空間的関係が存在すると結論付けることができる。例えば、しきい値は50dBで設定されることができ、このケースでは、人物のサウンドレベルが少なくとも50dBであるとき、または場合、しきい値は満たされる。
[0030]さらに別の構成では、ユーザインターフェースデバイス102は、インターフェースデバイスのユーザと人物との接近した近接を、画像およびサウンドの両方に基づいて、検出する。このケースでは、ユーザインターフェースデバイス102の画像キャプチャリングコンポーネント、例えばカメラ、が低電力モードまたはオフ電力モードで維持される一方で、ユーザインターフェースデバイスのより低い電力消費のサウンドキャプチャリングコンポーネント、例えばマイクロフォン、はオン電力モードに保たれる。ユーザの通常の声のレベルのような、しきい値を超えるレベルのサウンドのキャプチャの際、カメラがオンになり、写真をキャプチャする。ユーザインターフェースデバイス102のプロセッサ108は、上記で説明されたように、画像サイズを分析することを始める。
[0031]ステップ204で、目下の物理的遭遇が検出されない、つまり、非物理的遭遇が検出されるとき、または場合、プロセスは、ステップ212に進み、ここにおいてユーザインターフェースデバイス102のプロセッサ108は、その人物がユーザによって知られているかどうかを決定する。このステップの詳細は、以下でさらに説明される。しかしながら、ステップ204で、目下の物理的遭遇が検出される場合、物理的遭遇検出デバイス104は、そのような検出を示す信号をユーザインターフェースデバイス102に送り、プロセスはステップ206に進み、ここにおいてユーザインターフェースデバイス102は、目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定する。例えば、ユーザインターフェースデバイス102は視界の中の人物の画像をキャプチャすることができる。プロセッサ108は、ユーザによって以前遭遇された人々の画像のデータベースにおける画像と、キャプチャされた画像を比較する。視界の中の人物の画像がデータベースにおける画像に一致しないとき、または場合、プロセッサ108は、目下の物理的遭遇が最初の遭遇であると結論付ける。他方では、人物の画像がデータベースにおける画像に一致するとき、または場合、プロセッサ108は、目下の物理的遭遇が後続の遭遇であると結論付ける。
[0032]ステップ208で、目下の物理的遭遇が最初の遭遇であるとき、または場合、プロセスはステップ210に進み、ここにおいてその人物に関連付けられたコンテンツは、以前遭遇した人物のデータベースに追加される。そのようなコンテンツは、最初の遭遇中にキャプチャされたその人物の画像、最初の遭遇中のユーザとその人物との間の会話のサウンド記録、または最初の遭遇のビデオでありうる。コンテンツは、周知の技法を使用して集められ、前のコンタクトの目録としてデータベースに格納される。ユーザは後に、人物、または遭遇の特質および環境をさらに識別する情報を、カタログ内のエントリに追加することができる。この情報は、テキストまたは音声記録の形態でありうる。ユーザはまた、ユーザによって知られているとして、ある特定の人物にタグ付けすることもできる。プロセスのステップ206、208、および210は、集合的に、ユーザによって遭遇された人物の、およびサブセットとしてユーザによって知られている人物のライブラリの作成および目録作成を提供する。
[0033]ステップ208で、目下の物理的遭遇が最初の遭遇でない、言い換えれば目下の物理的遭遇が後続の遭遇であるとき、または場合、プロセスはステップ212に進み、ここにおいてシステムは、その人物がユーザによって知られているかどうかを決定する。上記で述べられたように、ステップ212はまた、非物理的遭遇がステップ204で検出されるときに実行される。既にキャプチャされているのではない場合、ユーザインターフェースデバイス102は人物の画像をキャプチャする。プロセッサ108はその後、一致する画像のためにデータベースを走査する。一度探索されると、プロセッサ108は、人物がユーザによって知られているとタグ付けられるかどうかを決定する。
[0034]ステップ214で、人物がユーザによって知られていないとき、または場合、プロセスはステップ216に進み、ここにおいてプロセッサ108は、その人物に対応する情報をインターフェースデバイスに提示する。ユーザインターフェースデバイス102を通じて情報を提示することは、その人物の画像に一致するデータベースにおける画像に関連付けられた情報のために、データベースを走査することを伴う。この情報は、人物の識別(例えば、人物の名前、職業、雇用主、居住地等)、およびユーザとその人物の以前の遭遇の概要(例えば、以前の遭遇のデータおよび位置)のうちの少なくとも1つを含むことができる。この情報は、テキスト、写真、ビデオ、またはサウンドの形態で、ユーザインターフェースデバイス102のディスプレイ、例えばレンズ、またはスピーカを通じて提示されうる。
[0035]図5は、例示的なシステム500おける種々のモジュール/手段/コンポーネント、およびそのシステムの各装置におけるモジュール/手段/コンポーネント、の動作を例示している概略的なフロー図である。システム500は、物理的遭遇検出モジュール502およびユーザインターフェースデバイス504を含む。遭遇検出モジュール502およびユーザインターフェース504は、Bluetoothのような、共通通信プロトコルを使用して、有線接続によってまたはワイヤレス通信によって通信することができる。ユーザインターフェースデバイス504は、最初の/後続の遭遇検出モジュール506、非物理的遭遇検出モジュール508、コンテンツ追加モジュール510、既知の人物検出モジュール512、情報提示モジュール514、およびデータベース516を含む。
[0036]物理的遭遇検出モジュール502は、インターフェースデバイスのユーザと人物の目下の物理的遭遇を検出する。1つの構成では、このモジュール502は、図1の物理的遭遇検出デバイス104に関して上記で説明されたコンポーネント、例えば、動きセンサ、EMGセンサ、プロセッサ、のうちの1つまたは複数を含む。非物理的遭遇検出モジュール508は、ユーザと人物の非物理的遭遇を検出する。1つの構成では、このモジュール508は、図1のユーザインターフェースデバイス102に関して上記で説明されたコンポーネント、カメラ、マイクロフォン、プロセッサ、データベース、のうちの1つまたは複数を含む。
[0037]最初の/後続の遭遇検出モジュール506は、検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定する。コンテンツ追加モジュール510は、目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに、その人物に関連付けられたコンテンツを追加する。既知の人物検出モジュール512は、目下の物理的遭遇が後続の遭遇である、すなわち目下の非物理的遭遇が検出されるとき、その人物がユーザによって知られているかどうかを決定する。情報提示モジュール514は、人物がユーザによって知られていないとき、その人物に対応する情報をインターフェースデバイスに提示する。データベース516は、ユーザが遭遇した人々に対応する情報を格納する。格納されている情報は、既知か否かに関わらず、ユーザが遭遇したすべての人々の情報を含むか、またはユーザによって遭遇したが知られていない人々のストレージだけを含むことができる。
[0038]システム500およびその装置502、504は、図2の上述のフローチャートにおけるアルゴリズムのステップの各々を実行する追加のモジュールを含むことができる。このように、図2の上述のフローチャートにおける各ステップはモジュールによって実行されることができ、装置502、504はそれらのモジュールのうちの1つまたは複数を含むことができる。モジュールは、述べられたプロセス/アルゴリズムを行うように特に構成され、述べられたプロセス/アルゴリズムを実行するように構成されたプロセッサによって実装され、プロセッサによる実装のためにコンピュータ可読媒体内に格納された、あるいはそれらの何らかの組み合わせの、1つまたは複数のハードウェアコンポーネントでありうる。
[0039]図6は、第1の処理システム602を用いる第1の装置502’、および第2の処理システム610を用いる第2の装置504’を有するシステム600のためのハードウェア実装の例を例示している図である。第1の装置502’に関して、第1の処理システム602は、バス608によって概して表されている、バスアーキテクチャを用いて実装されうる。バス608は、第1の処理システム602の指定のアプリケーションと全体的な設計の制約に依存して、任意の数の相互接続するバスおよびブリッジを含むことができる。バス608は、プロセッサ604、モジュール504、およびコンピュータ可読媒体606によって表されている1つまたは複数のプロセッサおよび/またはハードウェアモジュールを含む様々な回路を互いにリンクさせる。バス608はまた、タイミングソース、周辺機器、電圧レギュレータ、および電力管理回路のような様々な他の回路をリンクさせることができ、これらは、当該技術分野で周知であり、そのためこれ以上説明されないだろう。
[0040]第1の処理システム602は、コンピュータ可読媒体606に結合されたプロセッサ604を含む。プロセッサ604は、コンピュータ可読媒体606上に格納されたソフトウェアの実行を含む、一般的な処理を担う。ソフトウェアは、第1のプロセッサ604によって実行されるとき、第1の処理システム602に、物理的遭遇検出装置に関して上記で説明された様々な機能を実行させる。コンピュータ可読媒体606はまた、ソフトウェアを実行するときにプロセッサ604によって操作されるデータを格納するために使用されることもできる。第1の処理システム602は、モジュール504をさらに含む。そのモジュールは、プロセッサ604において起動し、コンピュータ可読媒体606に内在し/格納されたソフトウェアモジュール、プロセッサ604に結合された1つまたは複数のハードウェアモジュール、またはそれらの何らかの組み合わせでありうる。
[0041]1つの構成では、装置502/502’は、ユーザと人物の非物理的遭遇を検出するための手段を含む。そのような手段は、人物の属性が、ユーザとその人物との接近した空間的関係に対応する基準を満たすかどうかを決定するように集合的に構成される、ユーザインターフェースデバイス102の1つまたは複数のコンポーネント、例えば、カメラ、マイクロフォン、およびプロセッサを含むことができる。上述の手段は、上述の手段によって記載された機能を実行するよう構成された装置502’の処理システム602および/または装置502の上述のモジュールのうちの1つまたは複数でありうる。
[0042]第2の装置504’に関して、処理システム610は、バス612によって概して表されている、バスアーキテクチャを用いて実装されうる。バス612は、処理システム610の特定のアプリケーションおよび全体的な設計の制約に依存して、任意の数の相互接続するバスおよびブリッジを含むことができる。バス612は、プロセッサ614、モジュール504、506、508、510、512、コンピュータ可読媒体616、およびデータベース618によって表されている1つまたは複数のプロセッサおよび/またはハードウェアモジュールを含む様々な回路を互いにリンクさせる。バス612はまた、タイミングソース、周辺機器、電圧レギュレータ、および電力管理回路のような様々な他の回路をリンクさせることができ、これらは、当該技術分野で周知であり、そのためこれ以上説明されないだろう。
[0043]処理システム610は、コンピュータ可読媒体616に結合されたプロセッサ614を含む。プロセッサ614は、コンピュータ可読媒体616上に格納されたソフトウェアの実行を含む、一般的な処理を担う。ソフトウェアは、プロセッサ614によって実行されるとき、処理システム610に、ユーザインターフェースデバイス装置に関して上記で説明された様々な機能を実行させる。コンピュータ可読媒体616はまた、ソフトウェアを実行するときにプロセッサ614によって操作されるデータを格納するために使用されることもできる。処理システムは、モジュール506、508、510、512、514のうちの少なくとも1つをさらに含む。そのモジュールは、プロセッサ614において起動し、コンピュータ可読媒体616に内在し/格納されたソフトウェアモジュール、プロセッサ614に結合された1つまたは複数のハードウェアモジュール、またはそれらの何らかの組み合わせでありうる。
[0044]1つの構成では、第2の装置504/504’は、インターフェースデバイスのユーザと人物の目下の物理的遭遇の1つを検出するための手段を含む。装置504/504’はまた、検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定するための手段と、目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースにその人物に関連付けられたコンテンツを追加するための手段と、目下の物理的遭遇が後続の遭遇である、すなわち目下の非物理的遭遇が検出されるとき、その人物がユーザによって知られているかどうかを決定するための手段と、を含む。装置504/504’は、その人物がユーザによって知られていないとき、その人物に対応する情報をインターフェースデバイスに提示するための手段をさらに含む。第2の装置504/504’はまた、物理的遭遇が検出されたことを示す信号を、第1の装置502/502’から受信するための手段を含むこともできる。受信するための手段は、第1の装置502/502’の通信デバイスと通信するように構成された通信デバイスでありうる。例えば、受信する手段は、第1の装置502/502’のBluetoothデバイスとペアリングされるBluetoothデバイスでありうる。上述の手段は、上述の手段によって記載された機能を実行するよう構成された装置504’の処理システム610および/または装置504の上記のモジュールのうちの1つまたは複数でありうる。
[0045]前述の図2、5、および6の特徴および要素に基づく追加の方法、装置、およびコンピュータプログラム製品は、情報を管理するための装置、例えば、ユーザインターフェースデバイスを含むことができる。例示的な装置は、インターフェースデバイスのユーザと人物の目下の物理的遭遇の検出の指示を受信し、目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定し、目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースにその人物に関連付けられたコンテンツを追加する、モジュール/手段/コンポーネントを含む。
[0046]前述の図2、5、および6の特徴および要素に基づく追加の方法、装置、およびコンピュータプログラム製品は、検出デバイスのユーザと別の人物の物理的対話を検出するための装置、例えばリストバンドを含むことができる。例示的な装置は、ユーザのボディ部から感知された電気的活動が物理的対話に関連付けられたユーザによる第1のアクションを示すかどうかを決定し、ユーザのボディ部から感知された動き活動が物理的対話に関連付けられたユーザによる感知されたアクションを示すかどうかを決定するモジュール/手段/コンポーネントを含む。
[0047]開示されているプロセスにおけるステップの指定の順序または階層は、例示的な手法の例示のであることが理解される。設計の選好に基づいて、プロセスにおけるステップの指定の順序または階層は並べ替えられうることが理解される。さらに、いくつかのステップは、組み合わされうるか、または省略されうる。添付の方法の請求項はサンプルの順序で様々なステップの要素を提示し、提示されている指定の順序または階層に限定されるようには意図されていない。
[0048]先の説明は、あらゆる当業者が本明細書で説明されている様々な態様を実施することを可能にするように提供されている。これらの態様への様々な変更は当業者には容易に明らかになり、本明細書で定義されている包括的な本質は他の態様に適用されうる。したがって、特許請求の範囲は、本明細書で示されている態様を限定されるように意図されておらず、特許請求の範囲の用語と一貫した最大範囲であると認められるべきであり、ここにおいて、単数の要素に対する参照は、「1つおよび1つだけ」を、そのように特別に述べられない限りは意味するように意図されておらず、むしろ「1つまたは複数」を意味するように意図されている。他の方法で特別に述べられていない限り、「いくつか」という用語は、1つまたは複数を指す。当業者に既知、または後に既知となる本開示全体を通して説明されている様々な態様の要素に対するすべての構造的および機能的な均等物は参照によって本明細書に明示的に組み込まれ、請求項によって包含されるように意図されている。さらに本明細書で開示されているものが、そのような開示が請求項に明確に記載されているか否かに関わらず、公共に捧げられるようには意図されていない。どの請求項の要素も、その要素が「〜のための手段」という表現を使用して明示的に記載されない限り、ミーンズプラスファンクションとして解釈されるものではない。

Claims (44)

  1. インターフェースデバイスに関する情報を管理するための方法であって、前記方法は、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇、および前記ユーザと人物の非物理的遭遇のうちの1つを検出することと、
    目下の物理的遭遇が検出される場合、前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することと、
    前記目下の物理的遭遇が最初の遭遇である場合、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加することと、
    前記目下の物理的遭遇が後続の遭遇である場合、すなわち目下の非物理的遭遇が検出される場合、前記人物が前記ユーザによって知られているかどうかを決定することと、
    前記人物が前記ユーザによって知られていない場合、前記人物に対応する情報を前記インターフェースデバイスに提示することと、
    を備える、方法。
  2. 目下の物理的遭遇を検出することは、
    前記ユーザのボディ部から感知された電気的活動が前記ユーザの第1のアクションを示すかどうかを決定することと、
    前記ユーザのボディ部から感知された動き活動が前記ユーザの第2のアクションを示すかどうかを決定することと、
    のうちの1つまたは両方を備える、請求項1に記載の方法。
  3. 感知された電気的活動が第1のアクションを示すかどうかを決定することは、
    前記第1のアクションに対応する電気的活動の基準と、前記感知された電気的活動を比較することと、
    前記基準が満たされるとき、前記第1のアクションが生じたと結論付けることと、
    を備える、請求項2に記載の方法。
  4. 感知された動き活動が第2のアクションを示すかどうかを決定することは、
    前記第2のアクションに対応する動き活動の基準と、前記感知された動き活動を比較することと、
    前記基準が満たされるとき、前記第2のアクションが生じたと結論付けることと、
    を備える、請求項2に記載の方法。
  5. 前記第1のアクションは掌握することを備え、前記第2のアクションが上下運動を備える、請求項2に記載の方法。
  6. 目下の非物理的遭遇を検出することは、人物の属性が前記ユーザと前記人物との間の接近した空間的関係に対応する基準を満たすかどうかを決定することを備える、請求項1に記載の方法。
  7. 属性は、前記人物の画像、または前記人物のサウンド、のうちの1つまたは複数を備える、請求項1に記載の方法。
  8. 前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することは、
    前記ユーザによって以前遭遇された人々の画像のデータベースにおける画像と、前記人物の画像を比較することと、
    前記人物の前記画像が、前記データベースにおける画像に一致しない場合、前記目下の物理的遭遇が最初の遭遇であると結論付けることと、
    前記人物の前記画像が、前記データベースにおける画像に一致する場合、前記目下の物理的遭遇が後続の遭遇であると結論付けることと、
    を備える、請求項1に記載の方法。
  9. 前記人物が前記ユーザによって知られているかどうかを決定することは、
    前記人物の目下の属性を取得することと、
    前記人物の前記属性に一致するデータベース内の属性に関連付けられたタグのために、既知の人物の前記データベースを走査することと、ここにおいて、前記タグは、前記人物が前記ユーザによって知られていることを示す、
    を備える、請求項1に記載の方法。
  10. 前記目下の属性は、前記人物の画像、および前記人物のサウンド、のうちのすくなくとも1つを備える、請求項9に記載の方法。
  11. 前記インターフェースデバイスに情報を提示することは、前記人物の属性に一致するデータベース内の属性に関連付けられた情報のために、前記データベースを走査することを備え、前記情報は、前記人物の識別、および前記ユーザと前記人物の以前の遭遇の概要、のうちの少なくとも1つを含む、請求項1に記載の方法。
  12. 前記情報は、画像、音声、またはビデオのうちの1つまたは複数として提示される、請求項11に記載の方法。
  13. インターフェースデバイスに関する情報を管理するためのシステムであって、前記システムは、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇の1つを検出するための手段と、
    前記ユーザと人物の非物理的遭遇を検出するための手段と、
    検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定するための手段と、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加するための手段と、
    前記目下の物理的遭遇が後続の遭遇である、すなわち目下の非物理的遭遇が検出されるとき、前記人物が前記ユーザによって知られているかどうかを決定するための手段と、
    前記人物が前記ユーザによって知られていないとき、前記人物に対応する情報を前記インターフェースデバイスに提示するための手段と、
    を備える、システム。
  14. 目下の物理的遭遇を検出するための前記手段は、
    前記ユーザのボディ部から感知された電気的活動が前記ユーザの第1のアクションを示すかどうかを決定するための手段と、
    前記ユーザのボディ部から感知された動き活動が前記ユーザの第2のアクションを示すかどうかを決定するための手段と、
    のうちの1つまたは両方を備える、請求項13に記載のシステム。
  15. 感知された電気的活動が第1のアクションを示すかどうかを決定するための前記手段は、
    前記第1のアクションに対応する電気的活動の基準と、前記感知された電気的活動を比較することと、
    前記基準が満たされるとき、前記第1のアクションが生じたと結論付けることと、
    を行うように構成される、請求項14に記載のシステム。
  16. 感知された動き活動が第2のアクションを示すかどうかを決定するための前記手段は、
    前記第2のアクションに対応する動き活動の基準と、前記感知された動き活動を比較することと、
    前記基準が満たされるとき、前記第2のアクションが生じたと結論付けることと、
    を行うように構成される、請求項14に記載のシステム。
  17. 目下の非物理的遭遇を検出するための前記手段は、人物の属性が前記ユーザと前記人物との間の接近した空間的関係に対応する基準を満たすかどうかを決定するように構成される、請求項13に記載のシステム。
  18. 前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定するための前記手段は、
    前記ユーザによって以前遭遇された人々の画像のデータベースにおける画像と、前記人物の画像を比較することと、
    前記人物の前記画像が、前記データベースにおける画像に一致しない場合、前記目下の物理的遭遇が最初の遭遇であると結論付けることと、
    前記人物の前記画像が、前記データベースにおける画像に一致する場合、前記目下の物理的遭遇が後続の遭遇であると結論付けることと、
    を行うように構成される、請求項13に記載のシステム。
  19. 前記人物が前記ユーザによって知られているかどうかを決定するための前記手段は、
    前記人物の目下の属性を取得することと、
    前記人物の前記属性に一致するデータベース内の属性に関連付けられたタグのために、既知の人物の前記データベースを走査することと、ここにおいて、前記タグは、前記人物が前記ユーザによって知られていることを示す、
    を行うように構成される、請求項13に記載のシステム。
  20. 前記インターフェースデバイスに情報を提示するための手段は、前記人物の属性に一致するデータベース内の属性に関連付けられた情報のために、前記データベースを走査するように構成され、前記情報は、前記人物の識別、および前記ユーザと前記人物の以前の遭遇の概要、のうちの少なくとも1つを含む、請求項13に記載のシステム。
  21. インターフェースデバイスに関する情報を管理するためのシステムであって、前記システムは、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇を検出することと、
    前記ユーザと人物の非物理的遭遇を検出することと、
    検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することと、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加することと、
    前記目下の物理的遭遇が後続の遭遇である、すなわち目下の非物理的遭遇が検出されるとき、前記人物が前記ユーザによって知られているかどうかを決定することと、
    前記人物が前記ユーザによって知られていない場合、前記人物に対応する情報を前記インターフェースデバイスに提示することと、
    を行うように構成された1つまたは複数の処理システム
    を備える、システム。
  22. インターフェースデバイスに関する情報を管理するためのコンピュータプログラム製品であって、前記製品は、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇を検出することと、
    前記ユーザと人物の非物理的遭遇を検出することと、
    検出された目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することと、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加することと、
    前記目下の物理的遭遇が後続の遭遇である、すなわち目下の非物理的遭遇が検出されるとき、前記人物が前記ユーザによって知られているかどうかを決定することと、
    前記人物が前記ユーザによって知られていないとき、前記人物に対応する情報を前記インターフェースデバイスに提示することと、
    のためのコードを備える、1つまたは複数のコンピュータ可読媒体、
    を備える、コンピュータプログラム製品。
  23. インターフェースデバイスに関する情報を管理するための方法であって、前記方法は、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇の検出の指示を受信することと、
    前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することと、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加することと、
    を備える、方法。
  24. 前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することは、
    前記ユーザによって以前遭遇された人々の画像のデータベースにおける画像と、前記人物の画像を比較することと、
    前記人物の前記画像が、前記データベースにおける画像に一致しない場合、前記目下の物理的遭遇が最初の遭遇であると結論付けることと、
    前記人物の前記画像が、前記データベースにおける画像に一致する場合、前記目下の物理的遭遇が後続の遭遇であると結論付けることと、
    を備える、請求項23に記載の方法。
  25. 前記目下の物理的遭遇が後続の遭遇であるとき、前記人物が前記ユーザによって知られているかどうかを決定することと、
    前記人物が前記ユーザによって知られていないとき、前記人物に対応する情報を前記インターフェースデバイスに提示することと、
    をさらに備える、請求項23に記載の方法。
  26. 前記人物が前記ユーザによって知られているかどうかを決定することは、
    前記人物の目下の属性を取得することと、
    前記人物の前記属性に一致するデータベース内の属性に関連付けられたタグのために、既知の人物の前記データベースを走査することと、ここにおいて、前記タグは、前記人物が前記ユーザによって知られていることを示す、
    を備える、請求項25に記載の方法。
  27. 前記インターフェースデバイスに情報を提示することは、前記人物の属性に一致するデータベース内の属性に関連付けられた情報のために、前記データベースを走査することを備え、前記情報は、前記人物の識別、および前記ユーザと前記人物の以前の遭遇の概要、のうちの少なくとも1つを含む、請求項25に記載の方法。
  28. インターフェースデバイスに関する情報を管理するための装置であって、前記装置は、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇の検出の指示を受信するための手段と、
    前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定するための手段と、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加するための手段と、
    を備える、装置。
  29. 前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定するための前記手段は、
    前記ユーザによって以前遭遇された人々の画像のデータベースにおける画像と、前記人物の画像を比較することと、
    前記人物の前記画像が、前記データベースにおける画像に一致しない場合、前記目下の物理的遭遇が最初の遭遇であると結論付けることと、
    前記人物の前記画像が、前記データベースにおける画像に一致する場合、前記目下の物理的遭遇が後続の遭遇であると結論付けることと、
    を行うように構成される、請求項28に記載の装置。
  30. 前記目下の物理的遭遇が後続の遭遇であるとき、前記人物が前記ユーザによって知られているかどうかを決定するための手段と、
    前記人物が前記ユーザによって知られていないとき、前記人物に対応する情報を前記インターフェースデバイスに提示するための手段と、
    をさらに備える、請求項28に記載の装置。
  31. 前記人物が前記ユーザによって知られているかどうかを決定するための前記手段は、
    前記人物の目下の属性を取得することと、
    前記人物の前記属性に一致するデータベース内の属性に関連付けられたタグのために、既知の人物の前記データベースを走査することと、ここにおいて、前記タグは、前記人物が前記ユーザによって知られていることを示す、
    を行うように構成される、請求項30に記載の装置。
  32. 前記インターフェースデバイスに情報を提示するための手段は、前記人物の属性に一致するデータベース内の属性に関連付けられた情報のために、前記データベースを走査するように構成され、前記情報は、前記人物の識別、および前記ユーザと前記人物の以前の遭遇の概要、のうちの少なくとも1つを含む、請求項30に記載の装置。
  33. インターフェースデバイスに関する情報を管理するための装置であって、前記装置は、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇の検出の指示を受信することと、
    前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することと、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加することと、
    を行うように構成された処理システム、
    を備える、装置。
  34. インターフェースデバイスに関する情報を管理するためのコンピュータプログラム製品であって、前記製品は、
    前記インターフェースデバイスのユーザと人物の目下の物理的遭遇の検出の指示を受信することと、
    前記目下の物理的遭遇が最初の遭遇であるか、後続の遭遇であるかを決定することと、
    前記目下の物理的遭遇が最初の遭遇であるとき、以前遭遇した人物のデータベースに前記人物に関連付けられたコンテンツを追加することと、
    のためのコードを備える1つまたは複数のコンピュータ可読媒体、
    を備える、コンピュータプログラム製品。
  35. 検出デバイスのユーザと別の人物の物理的対話を検出する方法であって、前記方法は、
    前記ユーザのボディ部から感知された電気的活動が、前記物理的対話に関連付けられた前記ユーザによる第1のアクションを示すかどうかを決定することと、
    前記ユーザのボディ部から感知された動き活動が、前記物理的対話に関連付けられた前記ユーザによる第2のアクションを示すかどうかを決定することと、
    を備える、方法。
  36. 感知された電気的活動が第1のアクションを示すかどうかを決定することは、
    前記第1のアクションに対応する電気的活動の基準と、前記感知された電気的活動を比較することと、
    前記基準が満たされるとき、前記第1のアクションが生じたと結論付けることと、
    を備える、請求項35に記載の方法。
  37. 感知された動き活動が第2のアクションを示すかどうかを決定することは、
    前記第2のアクションに対応する動き活動の基準と、前記感知された動き活動を比較することと、
    前記基準が満たされるとき、前記第2のアクションが生じたと結論付けることと、
    を備える、請求項35に記載の方法。
  38. 前記第1のアクションは手の掌握を備え、前記第2のアクションが上下の腕の運動を備える、請求項35に記載の方法。
  39. 検出デバイスのユーザと別の人物の物理的対話を検出する装置であって、前記装置は、
    前記ユーザのボディ部から感知された電気的活動が、前記物理的対話に関連付けられた前記ユーザによる第1のアクションを示すかどうかを決定するための手段と、
    前記ユーザのボディ部から感知された動き活動が、前記物理的対話に関連付けられた前記ユーザによる第2のアクションを示すかどうかを決定するための手段と、
    を備える、装置。
  40. 感知された電気的活動が第1のアクションを示すかどうかを決定するための前記手段は、
    前記第1のアクションに対応する電気的活動の基準と、前記感知された電気的活動を比較することと、
    前記基準が満たされるとき、前記第1のアクションが生じたと結論付けることと、
    を行うように構成される、請求項39に記載の装置。
  41. 感知された動き活動が第2のアクションを示すかどうかを決定するための前記手段は、
    前記第2のアクションに対応する動き活動の基準と、前記感知された動き活動を比較することと、
    前記基準が満たされるとき、前記第2のアクションが生じたと結論付けることと、
    を行うように構成される、請求項39に記載の装置。
  42. 前記第1のアクションは手の掌握を備え、前記第2のアクションが上下の腕の運動を備える、請求項39に記載の装置。
  43. 検出デバイスのユーザと別の人物の物理的対話を検出するための装置であって、前記装置は、
    前記ユーザのボディ部から感知された電気的活動が、前記物理的対話に関連付けられた前記ユーザによる第1のアクションを示すかどうかを決定することと、
    前記ユーザのボディ部から感知された動き活動が、前記物理的対話に関連付けられた前記ユーザによる第2のアクションを示すかどうかを決定することと、
    を行うように構成された処理システム、
    を備える、装置。
  44. 検出デバイスのユーザと別の人物の物理的対話を検出するためのコンピュータプログラム製品であって、前記製品は、
    前記ユーザのボディ部から感知された電気的活動が、前記物理的対話に関連付けられた前記ユーザによる第1のアクションを示すかどうかを決定することと、
    前記ユーザのボディ部から感知された動き活動が、前記物理的対話に関連付けられた前記ユーザによる第2のアクションを示すかどうかを決定することと、
    のためのコードを備えるコンピュータ可読媒体、
    を備える、コンピュータプログラム製品。
JP2015552856A 2013-01-14 2014-01-13 頭部装着型ディスプレイにおいて物理的握手を活用すること Expired - Fee Related JP6407889B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/740,432 2013-01-14
US13/740,432 US9134792B2 (en) 2013-01-14 2013-01-14 Leveraging physical handshaking in head mounted displays
PCT/US2014/011280 WO2014110500A1 (en) 2013-01-14 2014-01-13 Leveraging physical handshaking in head mounted displays

Publications (3)

Publication Number Publication Date
JP2016507099A true JP2016507099A (ja) 2016-03-07
JP2016507099A5 JP2016507099A5 (ja) 2017-02-09
JP6407889B2 JP6407889B2 (ja) 2018-10-17

Family

ID=50070677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015552856A Expired - Fee Related JP6407889B2 (ja) 2013-01-14 2014-01-13 頭部装着型ディスプレイにおいて物理的握手を活用すること

Country Status (7)

Country Link
US (1) US9134792B2 (ja)
EP (1) EP2943854B1 (ja)
JP (1) JP6407889B2 (ja)
KR (1) KR102243977B1 (ja)
CN (1) CN104919396B (ja)
ES (1) ES2813611T3 (ja)
WO (1) WO2014110500A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185077A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158209B1 (ko) * 2013-07-26 2020-09-22 엘지전자 주식회사 전자기기
US9646084B2 (en) * 2014-01-31 2017-05-09 Here Global B.V. Causation of storage of handshake greeting audio information
US9456070B2 (en) 2014-09-11 2016-09-27 Ebay Inc. Methods and systems for recalling second party interactions with mobile devices
US10311869B2 (en) 2014-10-21 2019-06-04 Robert Bosch Gmbh Method and system for automation of response selection and composition in dialog systems
US9635167B2 (en) 2015-09-29 2017-04-25 Paypal, Inc. Conversation assistance system
US10152545B2 (en) * 2015-10-20 2018-12-11 Adobe Systems Incorporated Personalized recommendations using localized regularization
JPWO2017154136A1 (ja) * 2016-03-09 2018-08-30 マクセル株式会社 携帯情報端末及びそれに用いる情報処理方法
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和系统
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
EP3528091A1 (en) * 2018-02-14 2019-08-21 Koninklijke Philips N.V. Personal care device localization
US20230122450A1 (en) * 2021-10-20 2023-04-20 Google Llc Anchored messages for augmented reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP2008118526A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、撮像方法
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
US20120045093A1 (en) * 2010-08-23 2012-02-23 Nokia Corporation Method and apparatus for recognizing objects in media content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
US7751597B2 (en) 2006-11-14 2010-07-06 Lctank Llc Apparatus and method for identifying a name corresponding to a face or voice using a database
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
WO2011106798A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
KR101672215B1 (ko) * 2010-04-26 2016-11-04 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US20120026191A1 (en) 2010-07-05 2012-02-02 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US20120019557A1 (en) 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
KR101761314B1 (ko) 2010-12-03 2017-07-26 삼성전자주식회사 생체 신호 측정 로봇 및 그 제어방법
KR20120064900A (ko) 2010-12-10 2012-06-20 곽진호 사생활보호 기능이 구현되는 통신단말기 및 통신방법, 사생활보호 기능 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
US20040243342A1 (en) * 2001-06-01 2004-12-02 Junichi Rekimoto User input apparatus
JP2008118526A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、撮像方法
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
US20120045093A1 (en) * 2010-08-23 2012-02-23 Nokia Corporation Method and apparatus for recognizing objects in media content

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AUGIMERI ET AL.: "A Cooperative Approach for Handshake Detection based on Body Sensor Networks", IN PROC. OF 2010 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS [ONLINE], JPN6017044490, October 2010 (2010-10-01), pages 281 - 288, XP031805646, ISSN: 0003686615 *
岡 秀郎 他: "スポーツパフォーマンスのロボット工学的再評価", 精密工学会 学術講演会 講演論文集1959−2002年, JPN6017044494, 25 May 2009 (2009-05-25), JP, pages 635, ISSN: 0003686619 *
水谷晶彦 他: "ウェアラブルコンピュータと短距離無線通信の連携 時計型コンピュータWatchPadによる実装例", FIT2002 情報科学技術フォーラム 一般講演論文集 第4分冊, JPN6017044491, 13 September 2002 (2002-09-13), JP, pages 219 - 220, ISSN: 0003686616 *
田中 健太 他: "顔認識による過去に会った人物の情報提示システム", 映像情報メディア学会技術報告, vol. 第36巻 第9号, JPN6017044492, 13 February 2012 (2012-02-13), pages 183 - 187, ISSN: 0003686617 *
辻 敏夫 他: "生体信号でロボットを自在に操る", 電子情報通信学会誌, vol. 第90巻 第10号, JPN6017044493, 1 October 2007 (2007-10-01), pages 854 - 858, ISSN: 0003686618 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185077A (ja) * 2018-03-31 2019-10-24 Nl技研株式会社 認知支援システム、認知支援装置、および認知支援サーバ

Also Published As

Publication number Publication date
KR20150106425A (ko) 2015-09-21
ES2813611T3 (es) 2021-03-24
EP2943854A1 (en) 2015-11-18
KR102243977B1 (ko) 2021-04-22
CN104919396A (zh) 2015-09-16
JP6407889B2 (ja) 2018-10-17
US20140198956A1 (en) 2014-07-17
CN104919396B (zh) 2017-09-15
WO2014110500A1 (en) 2014-07-17
US9134792B2 (en) 2015-09-15
EP2943854B1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
JP6407889B2 (ja) 頭部装着型ディスプレイにおいて物理的握手を活用すること
JP6227669B2 (ja) 表面上でのジェスチャ認識のためのemgの使用
WO2020211701A1 (zh) 模型训练方法、情绪识别方法及相关装置和设备
US10139898B2 (en) Distracted browsing modes
WO2021190078A1 (zh) 短视频的生成方法、装置、相关设备及介质
US20150091790A1 (en) Classification of gesture detection systems through use of known and yet to be worn sensors
KR102223693B1 (ko) Nui 관여의 검출
JP2018521381A (ja) 感情検出システム
JP2018506760A (ja) ストップモーションコンテンツの増強
JP2019504409A (ja) ユーザ挙動ベースのコンテンツ推奨のためのシステムおよび方法
US10514752B2 (en) Methods and apparatus to determine objects to present in virtual reality environments
JP2013545163A (ja) サーマルイメージングを用いたユーザインタフェースシステムおよび方法
JP2014021986A (ja) コンテンツ提供方法及びそれを適用したディスプレイ装置
US20160267176A1 (en) Dynamic Presentation of Data Items Based on Prioritized Associations
JP2015505430A (ja) 携帯電子機器及び携帯電子機器を使用してメディアを記録する方法
CN113764099A (zh) 基于人工智能的心理状态分析方法、装置、设备及介质
WO2017175447A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11328187B2 (en) Information processing apparatus and information processing method
US10401968B2 (en) Determining digit movement from frequency data
TW202021534A (zh) 異常肺音標記的方法及裝置
EP3686755B1 (en) Automatic reference finding in audiovisual scenes
Hevesi et al. Wearable eye tracking for multisensor physical activity recognition
Srinivas et al. A survey report on mobile eye-based Human-Computer Interaction
TW201907292A (zh) 多媒體檔案管理方法及電子裝置
JP2021105935A (ja) 物体検索装置、物体検索方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180919

R150 Certificate of patent or registration of utility model

Ref document number: 6407889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees