JP2010157242A - ポーズからデバイスへのマッピング - Google Patents

ポーズからデバイスへのマッピング Download PDF

Info

Publication number
JP2010157242A
JP2010157242A JP2009299083A JP2009299083A JP2010157242A JP 2010157242 A JP2010157242 A JP 2010157242A JP 2009299083 A JP2009299083 A JP 2009299083A JP 2009299083 A JP2009299083 A JP 2009299083A JP 2010157242 A JP2010157242 A JP 2010157242A
Authority
JP
Japan
Prior art keywords
cell
mapping
pose
audible
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009299083A
Other languages
English (en)
Other versions
JP5306985B2 (ja
Inventor
David L Graumann
グラウマン,デイビッド,エル
Giuseppe Raffa
ラッファ,ギュセッペ
Lama Nachman
ナッチマン,ラマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2010157242A publication Critical patent/JP2010157242A/ja
Application granted granted Critical
Publication of JP5306985B2 publication Critical patent/JP5306985B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/02Details of telephonic subscriber devices including a Bluetooth interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

【課題】改良されたユーザ・インターフェイスを提供する。
【解決手段】実施形態は、モバイル・デバイス、ラップトップ機、デスクトップ機、サーバなどのデバイスの内容を2次元のフィールドまたはテーブルにマッピングし、ユーザによる内容へのアクセスを提供するためにユーザのポーズまたは運動をテーブル内の座標にマッピングする、ハードウェアおよび/またはコードなどの論理を含む。内容にアクセスするための可聴ユーザ・インターフェイスおよび聴覚的マッパを含むモバイル・インターネット・デバイスに接続された腕時計、リング、およびヘッドセットなどのワイヤレス周辺機器を利用する。可聴ユーザ・インターフェイスは、周辺機器のうちの1つまたは複数に関連する動きまたは運動を記述するポーズ・データを受け取り、可聴アイテムなどのフィードバックおよびいくつかの実施形態では他のフィードバックを提供するために、周辺機器と通信で結合される。
【選択図】図2

Description

本開示は、全般的にはユーザ・インターフェイス・テクノロジに関する。より具体的には、本開示は、ポーズ・マッピング(pose mapping)に関する。
セルラー電話機、ハンドヘルド・デバイス、ハンドヘルド・コンピュータ、「パームトップ」、モバイル・インターネット・デバイス(MID)、または類似物などのモバイル・デバイスは、通常、タッチ入力を有するディスプレイ・スクリーンまたはミニチュア・キーボードもしくはマイクロ・キーボードなどのユーザ・インターフェイスを有するポケットサイズのコンピューティング・デバイスである。多くの携帯情報端末(PDA)は、入力および出力をタッチスクリーン・インターフェイスに一体化する。
スマートホン、PDA、およびエンタープライズ・ディジタル・アシスタント(EDA)などのモバイル・デバイスは、従来のコンピュータを持ち運ぶことが実用的でない環境で従来のコンピュータの支援および便宜を必要とする人に人気のあるツールである。EDAは、バー・コード・リーダ、Radio Frequency Identification(RFID)リーダ、およびスマート・カード・リーダなどの一体化されたデータ取り込みデバイスなどの機能性をビジネス・ユーザに提供する。多くのPDAの場合と同様に、EDAは、タッチ・スクリーン、Infrared Data Association(IrDA)、Bluetooth(登録商標)、およびメモリ・カード・スロットをも含む場合がある。
モバイル・デバイスが処理、通信、およびストレージにおいて能力を高めるにつれて、これらのデバイスのこれらの能力および固有のモビリティを利用するために、新しい応用例が現れつつある。しかし、モビリティは、モバイル・デバイスのユーザがかかわることのできる対話型のタイプに対して複数の制約を課す。ユーザが、視覚的対話が不適切である時にデバイス機能(カレンダ、連絡先、ロケーション・ベースのサービス、電子メール、…)を使用することが、ますます一般的である。そのような状況の例は、ユーザが物理的にアクティブである(歩いている、走っている、運転している)状況、デバイスが到達可能ではない(たとえば、財布またはポケットの中)状況、スクリーンがすばやい対話のためには小さすぎる状況、あるいはユーザが集中力を要するアクティビティまたは少なくとも視覚的に集中力を要するアクティビティにかかわっている状況である。
フォーム・ファクタ制約に起因して、ユーザ・インターフェイスは、モバイル・デバイスの実用的使用に対する主な制限を与えるものになってきた。たとえば、フル・サイズのキーボードおよびディスプレイを有することは、明らかに、モバイル・デバイスと共に使用するための実用的なオプションではない。フル・サイズ・キーボードの代わりに、多くのモバイル・デバイスは、マイクロ・キーボード、キー・パッド、またはキーおよびボタンの独自の組合せを組み込まれ、これらは、より非理想的であり、マルチタスキングの助けにならない。
モバイル・デバイス、腕時計、およびイヤホンを含むシステムの実施形態を示す図である。 手首および肘の位置に対するセルのポーズ−聴覚的マッピングの実施形態を示す図である。 セルの上でのホバリングに応答する可聴アイテム出力の実施形態を示す図である。 セルの1つの上でのホバリングに応答する現在のポーズ位置の近くのセルの拡大の実施形態を示す図である。 ユーザがマッピングをトラバースする速度に基づくセルのサイズの変化を記述する拡大曲線の実施形態を示す図である。 モバイル・デバイス、腕時計、およびイヤホンを含むシステムの状態図の実施形態を示す図である。 モバイル・デバイス、腕時計、およびイヤホンを含むシステムの、手首/肘ポーズ位置にマッピングされるモバイル・デバイス機能の実施形態を示す図である。 モバイル・デバイス、腕時計、リング、およびイヤホンを含むシステムの実施形態を示す図である。 加速度計およびスピーカを有するモバイル・デバイスの代替実施形態を示す図である。 可聴マッピングを介してセルをトラバースする装置の実施形態を示す図である。 可聴マッピングを介してセルをトラバースする実施形態を示すフロー・チャートである。
次は、添付図面に示された新規の実施形態の詳細な説明である。しかし、提供される詳細の量は、説明される実施形態の予想される変形を限定することを意図されたものではなく、逆に、特許請求の範囲および詳細な説明は、添付の特許請求の範囲によって定義される本教示の趣旨および範囲に含まれるすべての修正形態、同等物、および代替形態を包含しなければならない。下の詳細な説明は、そのような実施形態を当業者に理解できるものにするように設計されている。
全般的に、ポーズ・マッピングをここで説明する。実施形態は、モバイル・デバイス、ラップトップ機、デスクトップ機、またはサーバなどのデバイスの内容を2次元のフィールドまたはテーブルにマッピングし、ユーザによる内容へのすばやいアクセスを提供するためにユーザのジェスチャまたは運動をテーブル内の座標にマッピングする、ハードウェアおよび/またはコードなどの論理を含むことができる。たとえば、多くの実施形態は、デバイス特徴にアクセスするための可聴ユーザ・インターフェイスおよび聴覚的マッパを含むモバイル・インターネット・デバイス(MID)に接続された腕時計、リング、およびヘッドセットなどの3つのワイヤレス周辺機器を利用する。他の実施形態は、たとえばディスプレイと共に使用される、視覚的ユーザ・インターフェイスおよび視覚的マッパを使用する。可聴ユーザ・インターフェイスは、周辺機器のうちの1つまたは複数に関連する動きまたは運動を記述するポーズ・データを受け取り、可聴アイテムなどのフィードバックおよびいくつかの実施形態では他のフィードバックを提供するために、周辺機器に通信的に結合される。複数の実施形態では、内容は、クイック買物メモ項目の記録、インスタント・メッセージング・クラウド・イメージの「応答可能」から「着信拒否」への変更、連絡先リストからの発呼、ロケーション・ベースのアラームのセット、MP3ボリューム・コントロールの変更、ロケーションまたはRF中間地点のドロップ、MP3プレイリストの選択、次の会議の時間のチェック、歩行者ナビゲーション道順を聞くこと、電話呼の応答/分配、電子メールまたは交通情報を読むこと、人の名前の記録、環境に伴うMIDの構成、およびもちろん時刻を聞くことなどの応用例を含む。
実施形態は、ワイヤレス通信を容易にすることができる。ワイヤレス実施形態は、Bluetooth(登録商標)、ワイヤレス・ローカル・エリア・ネットワーク(WLAN)、ワイヤレス・メトロポリタン・エリア・ネットワーク(WMAN)、ワイヤレス・パーソナル・エリア・ネットワーク(WPAN)、セルラー・ネットワーク、および/または米国電気電子技術者協会(IEEE)標準規格802.15.4、「Wireless Medium Access Control (MAC) and Physical Layer (PHY) Specifications for Low Rate Wireless Personal Area Networks (LR−WPAN)」(2006)(http://standards.ieee.org/getieee802/download/802.15.4−2006.pdf)などの低電力ワイヤレス通信、モバイル・デバイス、腕時計、イヤホン、およびリングでの通信を一体化して、そのようなデバイスの間の相互作用を容易にすることができる。
さらに、一部のワイヤレス実施形態は、単一のアンテナを組み込むことができるが、他の実施形態は、複数のアンテナを組み込むことができる。たとえば、multiple−input and multiple−output(MIMO)は、通信性能を改善するための、送信機と受信機との両方での複数のアンテナの使用である。MIMOテクノロジは、追加の帯域幅または送信機出力を用いずに、データ・スループットおよびリンク範囲のかなりの増加を提供する。MIMOテクノロジは、より高いスペクトル効率(毎秒帯域幅の1ヘルツあたりのより多くのビット)およびリンク信頼性またはダイバーシティ(減らされたフェージング)によってこれを達成する。
他の実施形態は、モバイル・デバイス、腕時計、イヤホン、およびリングなどの複数のデバイスを相互接続する物理媒体を介して一部またはすべての通信を実施することができる。これらの実施形態のいくつかでは、そのようなデバイスを相互接続する物理媒体を、衣類に一体化することができる。
下で説明する特定の実施形態のいくつかは、特定の構成を有する実施形態に言及し、聴覚的マッピングに関連して説明されるが、当業者は、本開示の実施形態を、視覚的マッピングを含む類似する論点または問題を有する他の構成と共に有利に実施できることを認めるであろう。具体的に言うと、実施形態は、聴覚的にではなくまたは聴覚的に加えて、視覚的にアイテムをマッピングするために視覚的マッパを含むことができる。
ここで図1Aに移ると、システム100の実施形態が示されている。システム100は、モバイル・デバイス110、ボタン125を有する腕時計120、およびイヤホン130を含む。この実施形態のモバイル・デバイス110は、モバイル・インターネット・デバイス(MID)およびセル電話機である。モバイル・デバイス110は、ユーザがトラバースするメニューまたはリストを含み、あるいはこれへのアクセスを提供することができる。たとえば、セル電話機は、クイック買物メモ項目の記録、クラウド・イメージの「応答可能」から「着信拒否」への変更、連絡先リストからの発呼、ロケーション・ベースのアラームのセット、MP3ボリューム・コントロールの変更、ロケーションまたはRF中間地点のドロップ、プレイリストの選択、次の会議の詳細のチェック、歩行者ナビゲーション道順を聞くこと、電話呼の応答/分配、電子メールまたは交通情報を読むこと、人の名前の記録、環境に伴うMIDの構成、およびもちろん時刻を聞くことのための機能を含むことができる。システム・セッティングもしくはプリファレンス、テキスト・メッセージなどへのアクセスを、メニューまたはサブメニュー・フォーマットでアクセス可能にすることもできる。さらに、セル電話機110は、インターネットまたは他のワイヤレス・ネットワークへのアクセスを有し、ユーザがメニューまたはリストを介して複数のリモート・サービスにアクセスすることを可能にすることができる。
モバイル・デバイス110は、聴覚的マッピングおよび/またはたとえばディスプレイ上の、視覚的マッピングを介するコンテンツへのアクセスを含むかこれを有することができ、現在の実施形態では、ユーザは、リモートにモバイル・デバイス110と対話でき、モバイル・デバイス110をポケット、財布、またはバッグの中にあるままにすることができる。リモート通信は、ワイヤレス通信フォーマットを介して達成することができる。ワイヤレス実施形態は、モバイル・デバイス、腕時計、イヤホン、およびリング内のBluetooth(登録商標)および/または米国電気電子技術者協会(IEEE)標準規格802.15.4通信などの低電力ワイヤレス通信を一体化することができる。標準規格IEEE 802.15.4(商標)は、最小限の電力を消費し、通常は10m(30フィート)以下の距離で接続する、比較的単純なデバイスの間の低データ・レート接続性を提供する。IEEE 802.15.4(商標)は、10から250kbpsのデータ・レートで動作する固定デバイス、ポータブル・デバイス、および移動するデバイスに対処する。この標準規格は、デバイスが、その中で直接に相互作用できる短距離アド・ホック・ネットワークを形成することを可能にする。
多くの実施形態では、内容を、アイテムごとの可聴アイコンおよび複数の実施形態ではアイテムの名前のテキスト−音声変換などのより長くより説明的な可聴アイテムを含む可聴アイコンのライブラリを介して可聴フォーマットにすることができる。同様に、内容を、各アイテムのグラフィック・アイコンおよびおそらくはより長い説明またはより詳細なグラフィックを有する視覚的内容とすることができる。一実施形態では、内容は、テキストを含むことができ、モバイル・デバイス110は、アイテムを、たとえばテキスト−音声変換論理または類似物を介して、1つまたは複数のより長い可聴アイテムに変換することができる。たとえば、連絡先リストから電話をかけるメニュー・アイテムを、一方は電話のベルに似た音を出す可聴アイコンであり他方は句「Call from Contact list(連絡先リストから電話する)」のテキスト−音声変換である、2つの可聴アイテムに関連付けることができる。
ここで図1Aおよび1Bを参照すると、内容の可聴フォーマットまたは視覚フォーマットを、テーブル121内のセルにマッピングすることができる。各セルは、行1から4などの行および列AからZなどの列によって表される位置を有することができる。たとえば、セル1Aは、基準セルと呼ばれ、基準座標を含む。現在の実施形態では、内容の各アイテムは、セルの中央の座標にマッピングされ、セルの高さおよび幅は、ユーザがその中でセルを選択できる範囲である。たとえば、モバイル・デバイスのメイン・メニュー・システムは、連絡先リストから電話をかける機能性を含むことができ、この機能を、少なくとも当初は、基準座標にマッピングすることができる。したがって、ユーザが、対応するポーズの変更によって基準セル1Aに操縦する場合に、ユーザは、連絡先リストから電話をかける機能を開始することができる。
腕時計120は、モバイル・デバイス110にテーブル121のトラバースに関する情報を与えるために、ユーザによる物理的運動を測定することができる。現在の実施形態では、腕時計120は、ユーザの手首122のチルトまたは回転の量およびユーザの肘123の回転の角度を監視するために、組込み3次元(3−D)加速度計を含む。他の実施形態では、腕時計120は、1つまたは複数の2次元(2−D)加速度計および/あるいは1つまたは複数のチルト・センサもしくはスイッチまたはジャイロスコープ・センサを含むことができる。さらに、腕時計120は、テーブル121の境界などの境界に達するかこれを横切る時に、論理境界および/またはポーズ境界に関するフィードバックをユーザに与えるために、モバイル・デバイス110から命令を受け取った時に振動するバッテリを含むことができる。他の実施形態では、腕時計120は、伝統的な時計機能性なしのリスト・バンドまたはブレスレットを含むことができる。
説明のために、ユーザは、肘123および手首122によって定義される前腕の軸に沿って手首122を、したがって腕時計120を時計回りまたは反時計回りに回転することによって、行1から4に沿ったテーブル121内の文字入りのセルにアクセスすることができ、手首122を肘123の上または下に上下に置くことによって、列に沿ってテーブル121内に番号入りのセルにアクセスすることができる。実際に、テーブル121のセルは、ユーザがこのメニューにアクセスするたびに、同一にマッピングされる。したがって、連絡先リストから電話をかける機能性は、ユーザがこのメニューにアクセスするたびに基準座標のセル1Aにマッピングされ、したがって、ユーザは、ユーザの手首および肘の角度に関するセルの位置の記憶によって、およびテーブル121にマッピングされたメニューに入る時にその同一の位置に移動することによって、連絡先リストから電話をかける機能性に直接にアクセスすることができる。複数の実施形態では、ユーザは、たとえば機能の追加/削除、セルの再配置、セルのサイズの変更、またはセル1Aの位置もしくは連絡先リストから電話をかける機能性の位置を変更できる類似物によって、モバイル・デバイス110のメイン・メニューなどの内容のマッピングを変更しまたはカスタマイズすることができる。
現在の実施形態では、テーブル121のセルにアクセスするためのユーザの手首122および肘123の回転(または角運動)の角度(シータθおよびファイφ)の測定に起因して、テーブル121は、球の表面上のマッピングであり、ここで、肘123は、球の中心であり、列AからZは、手首122の回転(シータθ)の範囲を表し、行1から4は、肘123の回転(ファイφ)の範囲を表す。したがって、現在の実施形態では、距離は、緯度角度(シータθ)および経度角度(ファイφ)に関して測定することができ、速度は、時間の変化に対する角度の変化(デルタ・ファイφおよび/またはデルタ・シータθ)において測定することができる。多くの実施形態では、手首122および肘123について利用される回転の範囲は、ユーザがカスタマイズできるプリファレンスである。いくつかの実施形態では、範囲を、アクティビティごとの基礎で選択可能とすることができ、したがって、ユーザは、ユーザがかかわるアクティビティに依存して範囲を制限し、または拡張することができるようになる。
いくつかの実施形態で、テーブル121は、トップ・ゾーン126およびドロップ・ゾーン127を含む。トップ・ゾーン126は、ユーザが親マッピングまたは以前のマッピングに戻るために進むテーブル内の位置を表すことができる。ユーザが、既に最高レベルのマッピングにいる場合、および/またはマッピングがアクセスされる最初のマッピングである場合に、トップ・ゾーン126は、何もしないか、聴覚的マッピングから出ることができる。トップ・ゾーン126を、セルの最上行の上に配置することができる。ドロップ・ゾーン127に入ることによって、聴覚的マッピングから出ることができる。いくつかの実施形態では、トップ・ゾーン126およびドロップ・ゾーン127は、セル・マッピングに入る時に限って使用可能とすることができる。
現在の実施形態では、腕時計120は、ボタン125をも含む。ユーザは、ボタン125を押して、テーブル121内の関心のあるアイテムを選択するか実行することができる。たとえば、テーブル121を関心のあるアイテムまでトラバースする時に、ユーザは、腕時計120のボタン125を押して、モバイル・デバイス110に送信される選択信号を生成することができる。他の実施形態では、ユーザは、ボタン125を離して、関心のあるアイテムを選択することができる。さらなる実施形態では、ボタン125を、容量性スイッチ、感熱スイッチ、または、ユーザがボタン125を物理的に動かさずに、もしくは少なくともボタン125を顕著には動かさずにアクティブ化できる他のタイプの接触感知スイッチとすることができる。
イヤホン130は、可聴アイテムをユーザに再生して、テーブル121を介する関心のあるアイテムへのユーザ操縦を助ける。ユーザは、テーブル121内の関心のあるアイテムに達するために適当なポーズに変更することによって操縦し、これは、筋肉の記憶を介して経験のあるユーザによって達成され得る。経験のより少ないユーザまたはマッピングの内容に慣れていないユーザは、関心のあるアイテムに達することを試みて複数のセルをナビゲートしまたはトラバースする場合がある。関心のあるアイテムのセルに達することは、いくつかの場合に目標になり得る。というのは、イヤホン130が、アイテムのテキストのテキスト−音声予告などの可聴アイテムを再生できるからである。他の場合には、アイテムの選択は、ユーザがアイテムのサブメニュー・マッピングに入ることを可能にすることができる。たとえば、テーブル121のセル2Lに達する時に(図1Cに示されたテーブル121のサブセクション145を参照されたい)、セル2Lの可聴アイテム142が、モバイル・デバイス110によってイヤホン130に出力される。ユーザが、30ミリ秒(ms)未満などの短い時間の間に限ってセル2L内に留まる場合には、短オーディオ・アイコン143が、イヤホン130に出力される。ユーザが、より長い時間期間の間にセル2Lに留まる場合には、フル可聴アイコン144を、モバイル・デバイス110によってイヤホン130に出力することができる。複数の実施形態で、複数の可聴アイテムをセルに関連付けることができ、各可聴アイコンは、ユーザがある時間期間の間にあるセル内に留まるかその上でホバリングすることに応答して出力される。いくつかの実施形態で、可聴アイテムを、頭部伝達関数(HRTF)などの伝達関数によって変更して、現在のポーズ位置またはポーズ座標に関するセル2Lの位置としてユーザによって知覚され得る形で複数のスピーカの間で出力オーディオを分散させることができる。他の実施形態では、HTRFは、現在のポーズ位置に関連するセルだけを考慮に入れる。多数の実施形態では、モバイル・デバイス110は、ユーザが複数のセルをトラバースする時にHRTFに関連してオーディオ・フェードを実施することができ、以前にトラバースされたセルの可聴アイテムをある側にフェードさせることができ、現在のポーズ位置の可聴アイテムをユーザの前にあるものとすることができ、後続セルの可聴アイテムをボリュームにおいて増やして、ユーザがそのセルに接近しつつあることを示すことができる。さらなる実施形態では、ユーザが関心のあるアイテムまで操縦した後に、彼/彼女は、腕時計120上のボタン125を使用してアイテムを選択し、サブリストに入るか選択されたアイテムに関連するオーディオ内容を再生するなど、アイテムに関連する機能を実行することができる。
説明のために、セル2Lは、モバイル・デバイス110のベルのボリュームを変更する機能を表すことができる。セル2Lに達することが、モバイル・デバイス110に、短オーディオ・アイコン143をイヤホン130に送らせ、イヤホン130は、これに応答して、モバイル・デバイス110の現在のボリューム・セッティングでベルを表すサウンド・アイコンを再生する。ユーザが、30msより長い間セル2Lに留まる時には、モバイル・デバイス110は、フル可聴アイコン144をイヤホン130に送り、イヤホン130は、機能の名前「Ringer Volume Control(ベル・ボリューム制御)」のフル・テキスト−音声変換を出力する。ユーザは、ボタン125を押し、ボタン125を離し、またはボタン125を押したままにする(セル内のアイテムの「グラブ」とも称する)ことによって、ベル・ボリューム制御機能に入ることができる。
ユーザがある時間期間の間にセル2Lに留まることに応答してイヤホン130に可聴アイテムを送ることに加えて、モバイル・デバイス110は、セルの選択を安定させるためにマッピングを拡大することができる。図1Dに、セルの1つ2Lの上でのホバリングに応答する現在のポーズ位置の近くのセルの拡大の実施形態を示す。テーブル・セクション147は、テーブル121のセル2Lを有する部分を示し、テーブル・セクション148は、セクション147が拡大された後のセクション147を示す。この例では、テーブル・セクション147のセルは、6度幅および6度高さである。ユーザがセル2L上でホバリングする時に、セル2Lならびにセル2Lの近くのセルの拡大は、モバイル・デバイス110によって拡大されて、その幅を18度に、高さを18度に増やされ、これは、効果的に、ユーザがセル2Lを出るためにトラバースしなければならない距離を増やす。この拡大は、セルに留まるためのセル公差を増やすことによって、セルの選択を安定させる。いくつかの実施形態では、拡大を、全体的に適用可能なセッティングとしてユーザによってプリファレンス内で調整することができ、いくつかの実施形態では、拡大を、アクティビティごとの基礎でプリファレンス内で調整することができる。
図1Eに、ユーザがテーブル121のマッピング内のセル2Lなどのセルをトラバースする速度に基づくセルのサイズの変化を記述する拡大曲線の実施形態を示す。図1Eでは、拡大は、指定された時間期間の間のセル上のホバリングの後の拡大の特定の変更ではなく、曲線149に基づく拡大である。曲線149は、現在のポーズ位置すなわちユーザがトラバースしつつある座標の近くのセルのサイズの、ユーザがセルをトラバースしている速度に基づく変更を示す。曲線149は、6度×x度としてセルの最小サイズを、18度×x度としてセルの最大サイズを定義し、速度(時間の変化に対するデルタ・シータ)は、現在のポーズ位置の近くのセルの実際のサイズを決定する。x度は、ファイを表し、このファイは、拡大が不要である多くの実施形態では、十分に大きくすることができる。他の実施形態では、速度のファイ成分が、拡大を決定するために考慮に入れられる。いくつかの実施形態では、拡大範囲を、マッピング内のセルの個数によって、ユーザ・プリファレンスによって、または別の曲線によって決定することができる。いくつかの実施形態では、列幅セル・サイズシータおよび行高さファイの拡大が、独立に計算され、独立の最小および最大のセル限度を使用する。
ここで図1A,図1B,図1Fを参照すると、図1Fには、モバイル・デバイス110、腕時計120、およびイヤホン130を含むシステム100の状態図150の実施形態が示されている。システム100は、アイドル状態151で開始する。アイドル状態151では、ユーザは、まだ、モバイル・デバイス110の内容の聴覚的マッピングに入るためにモバイル・デバイス110の可聴ユーザ・インターフェイスにかかわっていない。ユーザは、手首のフリック(跳ね)152によって聴覚的マッピングを開始し、親マッピング状態153に移動する。他の実施形態では、ユーザは、ボタン125を押すか、ある他のアクションを実行して、アイドル状態151から移動しまたは覚醒することができる。別の実施形態では、ユーザは、リング上のボタンを押すか、他の形で、リングに触れることによってスイッチの状態を変更することができる。
親マッピング状態153を、たとえば、モバイル・デバイス110のメイン・メニューとすることができ、メイン・メニュー・アイテムを、テーブル121などのテーブル内のセルにマッピングすることができる。他の実施形態では、親マッピング状態153を、モバイル・デバイス110のメイン・メニュー・システムから1つまたは複数レベル下のセル・マッピングとすることができる。そのような実施形態では、セル・マッピングが、図1Gに示されたマッピングに似ている場合がある。
親マッピング状態153から、ユーザは、アイドルのままになることまたは肘123をドロップ・ゾーン154に回転することによって、アイドル状態151に戻ることができる。ドロップ・ゾーン154は、聴覚的マッピングから出るかアイドル状態151に戻るユーザからのコマンドを示すためのある角度未満の肘123の回転など、図1Gのドロップ・ゾーン192などの位置とすることができる。
親マッピング状態153から、ユーザは、親マッピング状態153で使用可能なセル155にトラバースし、セルを拡大するためにセル上でホバリング164し、セルの機能を実行するためにセルにいる間にボタン125を押し、離すことによってセルを「クリック」156し、あるいは、現在のポーズ位置がセルにある間にボタン125を押し、保持することによってセルを「グラブ」157することもできる。親マッピングでのセル155のトラバースは、テーブル121などのセルのテーブルのトラバースまたは図1Gに示されているようにセルのリストのトラバースを含む場合がある。図1Gが、手首から肘へのビューの展望からテーブル121の単一行バージョンを示すことに留意されたい。
セルの実行156は、たとえば、現在のポーズ位置のセルがモバイル・デバイス110のリダイヤル機能である場合に、ダイヤルされた最後の番号をリダイヤルすることができる。その一方で、現在のポーズ位置のセルにマッピングされた機能が、ボリュームの変更などの機能である場合には、セルのクリック156は、聴覚的マッピングを子マッピング状態158に変更する場合がある。
ユーザが、親マッピング状態153からセルをグラブ157する場合には、ユーザは、ボタン125を押し続けている間に子マッピング状態158に変更することができる。子マッピング状態158では、ユーザは、トップ・ゾーン159に入り、「グラブされた」ボタンを離すことによって親マッピング状態153に戻り、図1Gまたはテーブル121に関連して説明したようにセル160をトラバースし、セルを拡大するためにセルの上にホバリング161し、セルを実行するためにボタン125を離し、あるいは、アイドル状態151に戻るためにドロップ・ゾーン163にトラバースし、ボタンを離すことができる。
図1Fおよび1Gに移る。ボタン125を離す時に、ユーザは、ユーザがセルをグラブすることによって子マッピング状態158に入る場合に、セルの機能を実行することができる。たとえば、親マッピング状態153で、ユーザが、ユーザのお気に入りのまたは最も最近のアクティビティのメニューを含むセルを指すポーズをとると仮定する。ユーザは、ボタン125を押し、保持することによって、セルをグラブ157することができる。ユーザは、子マッピング状態158に入り、この状態のマッピング190は、図1Gに示されている。まだボタンを押している間に、ユーザは、図示のユーザの手首の回転のうちの1つで手首を位置決めすることによって、メニュー・マッピング190をトラバースすることができる。ユーザが、たとえば腕時計120の表面が上に面する(このマッピングの基準位置とすることができる)ように手首を回転して子マッピング状態に入る場合に、ユーザは、時刻セルでマッピング190に入ることができ、時刻セルが関心のあるセルではない場合に、手首を反時計回りに回転することによって他のセルにアクセスすることができる。この点で、ユーザは、時刻セルを実行するためにボタン125を離すことができる。時刻セルの実行は、イヤホン130を介して時刻を知らせ、その後、ユーザを親マッピング状態153に戻すことができる。
その一方で、ユーザが、腕時計が直接に左に面する状態で子マッピング状態190に入り、ユーザが、セルをクリック156することによってそれを行う場合には、ユーザは、マッピング190の呼制御で子マッピング状態158に入ることができる。セルをクリック156することによって子マッピング状態190に入ることは、ユーザを、時刻セル機能などの機能の実行の後に子マッピング状態190に残す。その後、ユーザは、セル呼制御をクリックして呼制御機能性を実行するか、時計回りまたは反時計回りに手首を回転して別のセルを実行することができる。
代替案では、ユーザは、トップ・ゾーン191またはドロップ・ゾーン192にトラバースすることによって、子マッピング状態158から出ることができる。トップ・ゾーン191でポーズをとることは、トップ・ゾーン境界193を超えて上に、手首を肘の上に位置決めすることを伴い、ユーザを親マッピング状態153に戻す。ドロップ・ゾーン192へのポーズをとることは、ドロップ・ゾーン境界194を超えて下に肘を回転することを伴い、ユーザをアイドル状態151に戻す。多くの実施形態では、腕時計に振動させる信号または聴覚的フィードバックなど、ドロップ・ゾーン192およびトップ・ゾーン191に接近した時に、ユーザにフィードバックが提供される。さらなる実施形態では、ユーザは、ユーザをアイドル状態151または親マッピング状態153に戻すためにトップ・ゾーン191またはドロップ・ゾーン192へのポーズをとる時に、ボタンを押す。
図2に、マッピング225のアプリケーション、機能、または子マッピングへのアクセスなどの選択されたセルにマッピングされるアイテムを実行するためのメニュー、テーブル、またはリストの聴覚的マッピング225をトラバースするシステム200を示す。システム200は、モバイル・デバイス210、リング230、腕時計240、およびイヤホン250を含むことができる。モバイル・デバイス210は、ネットトップ機、ネットブック機、セル電話機、携帯情報端末(PDA)、ラップトップ機、MID、または類似物を含むことができる。他の実施形態では、システム200の機能性を、デスクトップ・コンピュータ、ゲーム機、サーバ、および類似物など、非モバイル・デバイスまたはモバイル未満のデバイスに一体化することができる。
モバイル・デバイス210は、1つまたは複数のメニューまたはリストへのアクセスを提供でき、腕時計240およびイヤホン250ならびに腕時計240を介してリング230と通信的に結合され得る。いくつかの実施形態では、モバイル・デバイス210は、腕時計240のインターフェイスを介するのではなく直接に、リング230とも通信的に結合され得る。たとえば、モバイル・デバイス210は、ルーティング情報をユーザに提供するために、ナビゲーション・コードならびに全地球測位システムおよび地図データを含むことができる。モバイル・デバイス210は、メモリ220内に機能および宛先を含むメニュー・システムのマッピング225を含むことができ、ユーザは、オーディオ・ライブラリ226に格納された可聴アイテムの形でマッピング225にアクセスすることができる。
モバイル・デバイス210は、プロセッサ212、チップセット214、送信機/受信機216、およびメモリ220を含むことができる。プロセッサ212は、聴覚的マッパ221などのコードをチップセット214を介して受け取り、実行することができる。プロセッサ212は、たとえば、1つまたは複数のIntel(登録商標)Atom(商標)プロセッサを含むことができ、チップセット214は、たとえば、Intel(登録商標)945GC ExpressチップセットまたはMobile Intel(登録商標)945GSE Expressチップセットを含むことができる。
チップセット214は、プロセッサ212、メモリ220、送信機/受信機216、および潜在的にディスプレイ、Peripheral Component Interconnect(PCI)バス、Universal Serial Bus(USB)、ネットワーク・バス、または類似物などの他のデバイスの間の通信を調整するためにシステム・コントローラ・ハブを含むことができる。たとえば、チップセット214は、ポーズ入力インタープリタ244および送信機/受信機248を介する加速度計242からのデータを含む通信を腕時計240から受け取ることができる。チップセット214は、プロセッサ212から腕時計240およびイヤホン250に通信を送ることもできる。
現在の実施形態では、チップセット214は、プロセッサ212からの聴覚的マッパ221を実行する要求に応答して、メモリ220から命令およびデータを取り出すことができる。この命令およびデータは、加速度計242からの加速度計データおよびスイッチ232の状態に関するデータを解釈する論理を含むことができる。この命令およびデータは、スピーカ252を介して可聴アイテムを鳴らすためにイヤホン250に送るためにマッピング225内のユーザの現在のポーズ位置に関連するセルに基づいてオーディオ・ライブラリ226から可聴アイテムを選択する論理をも含むことができる。たとえば、聴覚的マッパ221は、モバイル・デバイス210のメイン・システム・メニューのオーディオ・マッピングを介するユーザによる操縦を容易にすることができる。聴覚的マッパ221は、命令を含むことができ、この命令は、プロセッサ212によって実行される時に、プロセッサに、現在のポーズ位置すなわち腕時計240の位置および回転に関連する座標にあるセルに関連するアイテムを示すためにイヤホン250に送るためにオーディオ・ライブラリ226内のサウンド・クリップなどの複数のオーディオ・アイテムから選択させる。
聴覚的マッパ221は、ユーザがリストをトラバースするために示す速度に基づいて、マッピング225内の異なる位置の複数の異なるオーディオ・アイテムから選択することもできる。たとえば、ユーザが、セルの中にいる間に速度を落とす時に、聴覚的マッパ221は、より高い速度で選択される可聴アイテムより持続時間においてより長い、セルを聴覚的に表す可聴アイテムを選択することができる。多くの実施形態では、聴覚的マッパ221は、短い可聴アイテムを送ることができ、その後、ユーザが、100msなどのしきい時間期間を超えてそのセルに留まる場合に、より長い可聴アイテムを送ることができる。
送信機/受信機216は、腕時計240およびイヤホン250との通信のためのワイヤレス通信回路を含むことができる。現在の実施形態では、モバイル・デバイス210は、送信機234によって消費される電力を節約するために送信の距離を最小にするために、送信機234および腕時計240の送信機/受信機248を介してリング230から通信を受け取る。他の実施形態では、送信機234を、物理通信媒体を介して腕時計240に結合することができ、あるいは、ワイヤレスまたは有線の通信媒体を介して直接に送信機/受信機216に結合することができる。有線の相互接続を、たとえばシャツまたはジャケットなどの着られるアイテムに一体化することができる。
送信機/受信機216は、他のローカル・エリア・ネットワーク、広域ネットワーク、または類似物へのモバイル・デバイス210のアクセスを提供するために、ワイヤレス・ルータなどの図示されていない他のデバイスと通信することもできる。一実施形態では、たとえば、送信機/受信機216は、イーサネット(登録商標)・ネットワークと結合するためのイーサネット(登録商標)・アダプタと、コンピュータ・システム、外部ストレージ・デバイス、周辺機器、または他のそのようなデバイスと結合するためのUSBアダプタとを含むことができる。
メモリ220は、プロセッサ212による実行のためのコードおよびデータ、リスト224などの1つまたは複数のリスト、ならびにオーディオ・ライブラリ226内の可聴アイテムを格納することができる。メモリ220は、ランダム・アクセス・メモリ、読取り専用メモリ、フラッシュ・メモリ、ハード・ドライブなどの磁気記憶媒体、コンパクト・ディスク・ドライブなどの光記憶媒体、ディジタル・ビデオ・ディスク媒体、または類似物を含む1つまたは複数の異なるタイプのデータ・ストレージを含むことができる。メモリ220を、モバイル・デバイス210の設計およびモバイル・デバイス210の異なるエリア内のメモリの配置に関連するさまざまな効率に基づいて、モバイル・デバイス210全体を通じて分散させることができる。たとえば、聴覚的マッパ221、マッピング225、オーディオ・ライブラリ226、可聴ユーザ・インターフェイス228、またはその任意の組合せを含むメモリの諸部分は、マッピング225のセルのトラバースおよびその上でのホバリングに関連する聴覚的フィードバックの提供に伴う待ち時間を減らすために、マイクロコントローラ218の近くに物理的に配置されるメモリに常駐することができる。
現在の実施形態では、メモリ220は、少なくとも、聴覚的マッパ221、マッピング225、およびオーディオ・ライブラリ226を含む。聴覚的マッパ221は、マッピング225などの聴覚的マッピングの形で、メニュー、サブメニュー、テーブル、サブテーブル、リスト、サブリスト、および類似物にアクセスするためのユーザ・インターフェイスを提供する。聴覚的マッパ221は、モバイル・デバイス210のパワー・アップ時に、またはスイッチ232の状態の変更もしくはボタンの押下げもしくは腕時計240の機能の開始によるなど、ユーザによる聴覚的マッパ221の選択時に、開始され得る。いくつかの実施形態では、聴覚的マッパ221を、腕時計240などのデバイスの識別時または腕時計240内に含まれるか否かにかかわらず加速度計242の識別時に、開始することができる。
聴覚的マッパ221は、マッピング225からの現在のマッピングと、現在のマッピング内の現在のポーズ位置との選択によって開始され得る。現在のポーズ位置は、腕時計240の位置に関連する座標に関連する。言い換えると、現在の実施形態では、聴覚的マッパ221は、チルトおよび回転に関する腕時計240の同一位置が聴覚的マッパ221の状態に関わりなく同一座標をもたらすように、絶対座標を使用する。他の実施形態は、現在のポーズ位置をたとえば聴覚的マッパ221が開始された時に同一の初期位置に置く、相対座標を使用することができる。さらなる実施形態は、最後に訪問されたセルまたは好ましい開始セルで聴覚的マッパ221を開始することができる。
聴覚的マッパ221現在アイテムを、現在のマッピングを判定し、マッピング225を介してその位置の現在のセルに現在のポーズ位置を関連付け、その後、現在のセルに関連するものとしてアイテムを識別することによって、識別することができる。聴覚的マッパ221は、デフォルト・マッピングを判定すること、ユーザ・プリファレンスによって示される好ましい初期マッピングを判定すること、最後にアクセスされたマッピングを判定すること、最も最近にアクセスされたセルを含むセルのマッピングをユーザに提供すること、または類似物によって、マッピング225の現在のマッピングを判定することができる。
その後、ユーザは、腕時計を回転するために手首を回転することによっておよび/または腕時計240をチルトするために肘を回転することによって、マッピング225をトラバースすることができる。マッピング225をトラバースしている間に、聴覚的マッパ221は、マッピング内のセルのトラバースの速度を示す可聴アイテムを生成すると同時に、速度に基づいてマッピング内のトラバースされているセルの拡大を調整することができる。聴覚的マッパ221は、オーディオ・ライブラリ226からトラバースされるセルに関連する可聴アイテムを選択することと、その可聴アイテムをユーザの耳(1つまたは複数)で鳴らすためにその可聴アイテムをイヤホン250に送ることとによって、可聴アイテムを生成することができる。
たとえば、腕時計240を反時計回りに回転し、腕時計240を上にチルトすることによって、加速度計242から加速度計データを作ることができる。腕時計240のポーズ入力インタープリタ244は、ポーズ入力インタープリタ244の粒度に基づいて、その回転およびチルトがポーズの変化を表すことを判定することができる。いくつかの実施形態では、この粒度は、腕時計240のユーザ・インターフェイスを介してまたはモバイル・デバイス210の可聴ユーザ・インターフェイス228を介してユーザによってセットされるプリファレンスとすることができる。たとえば、ポーズ入力インタープリタ244は、加速度計242から生データを受け取ることができ、ユーザがマッピング225を介する操縦のためにポーズ状態の変化を示したと判定する前に、腕時計240が任意の特定の方向で指定された大きさまたはしきい値(ある度数など)だけ回転されかつ/またはチルトされるまで待つことができる。しきい値に達した時に、ポーズ入力インタープリタ244は、腕時計240の回転およびチルトの変化を示すポーズ・データを、送信機/受信機248を介してモバイル・デバイス210に送ることができる。しきい値は、腕時計240内のコードによってセットでき、モバイル・デバイス210によってセットでき、加速度計242によって決定可能な変化の最小量(すなわちその粒度)とすることができ、あるいは、ポーズ入力インタープリタ244によって監視できる変化の最小量(すなわちその粒度)とすることができる。
聴覚的マッパ221は、腕時計240からポーズ・データを受け取り、新しい現在のポーズ位置を判定し、腕時計240の回転およびチルトが現在のポーズ位置を別のセルに配置するかどうかを判定し、速度を判定することができる。新しい現在のポーズ位置が新しいセルに関連する場合には、聴覚的マッパ221は、新しいセルに関連するフィードバックを提供するために、新しいセルに関連するオーディオ・アイコンなどの可聴アイテムをイヤホン250に送ることができる。イヤホン250は、スピーカ252を介してオーディオ・アイコンを出力することができる。新しい現在のポーズ位置が同一セルに関連する場合には、聴覚的マッパ221は、速度に基づいて、ユーザがそのセルの上でホバリングしていると判定し、現在のセルに関連する別の聴覚的アイテムを送ることができる。いくつかの実施形態は、速度に基づいてセルを拡大することもできる。
いくつかの実施形態では、ポーズ入力インタープリタ244によって示されるすべての変化が、少なくとも速度および現在のポーズ位置の座標の変化を表し、聴覚的マッパ221に送られる。さらなる実施形態では、ポーズ入力インタープリタ244の粒度は、聴覚的マッパ221が速度または現在のトラバース座標を変更する回転またはチルトのしきい値より小さい。たとえば、ユーザは、腕時計240を左に0.5度だけチルトする場合がある。ポーズ入力インタープリタ244は、チルトの変化が、ポーズ・データをモバイル・デバイス210に送るべきしきい値を超えると判定し、したがって、ポーズ・データを生成し、そのポーズ・データをモバイル・デバイス210に送ることができる。しかし、聴覚的マッパ221は、1度未満の運動を実施することができず、したがって、現在のポーズ位置は、変更されないままになる可能性がある。
いくつかの実施形態では、聴覚的マッパ221は、現在のポーズ位置に接近させるものがトップ・ゾーンまたはドロップ・ゾーンであることを表すポーズ入力インタープリタ244によって示される変化に応答してフィードバック信号を生成することができる。トップ・ゾーンは、聴覚的マッパ221が現在のマッピングから出て以前のマッピングまたはマッピング225の親マッピングに戻る位置とすることができる。ドロップ・ゾーンは、聴覚的マッパ221が現在のマッピングから出てメイン・システム・メニューまたはマッピング225の「ホーム」マッピングなどの聴覚的マッパ221のスタート・アップ時の初期メニューに戻るか、聴覚的マッパ221を終了する位置とすることができる。それに応答して、聴覚的マッパ221は、腕時計240のフィードバック・デバイス246にフィードバック信号を送ることができる。たとえば、フィードバック・デバイス246は、フィードバック信号によって示されるレートで振動を生成することができ、聴覚的マッパ221は、腕時計240のチルトがトップ・ゾーンまたはドロップ・ゾーンに接近する時にフィードバック・デバイス246による振動の周波数を高めるフィードバック信号を生成することができる。いくつかの実施形態では、聴覚的マッパ221は、ユーザがトップ・ゾーンまたはドロップ・ゾーンから離れてトラバースする時に、振動の周波数を減らす。他の実施形態では、フィードバック・デバイス246を、腕時計240以外の要素に配置することができる。フィードバック・デバイス246は、現在のセルの変化が発生したことの表示をユーザに提供することができる。
聴覚的マッパ221は、リング230のスイッチ232から選択信号を受け取った時に、リスト内のアイテムを選択することもできる。たとえば、聴覚的マッパ221が、鳴らすべき可聴アイテムをイヤホン250に送ることによって可聴アイテムを生成する時に、ユーザは、現在のセルに関連するアイテムの選択を示すために、リング230のボタンを押すことができる。
マッピング225は、図1Bのテーブル121などのセルにマッピングできる、あるいは図1Gに関連して説明したように順次トラバースできる、任意のデータまたは情報を含むことができる。たとえば、マッピング225は、曲、ラジオ局、電話番号、連絡先、ウェブ・サイトなどのテーブルのマッピングを含むことができる。マッピング225は、モバイル・デバイス210の、連絡先を開く、テキスト・メッセージを開く、電子メールを開く、ウェブ・ブラウザを開く、プリファレンスのメニューに入る、または類似物などの機能のマッピングをも含むことができる。現在の実施形態では、マッピング225は、アイテムを含むことができ、マッピング225内の各アイテムは、オーディオ・ライブラリ226内の1つまたは複数の可聴アイテムに関連付けられ得る。たとえば、マッピング225が、ユーザがそこからモバイル・デバイス210の異なる機能を選択できるメニューを含む場合に、各メニュー・アイテムを、サウンド・クリップなどの独自の可聴アイテムに関連付けることができる。さらなる実施形態では、聴覚的マッパ221は、テキスト−音声変換論理を含むことができ、その結果、可聴アイテムを、マッピング225内でマッピングされるテキスト・アイテムについて生成し、オーディオ・ライブラリ226に格納できるようになる。
リング230は、マッピング225内のアイテムを選択しまたは実行するためにそのアイテムを「グラブ」する便利で直観的な形を提供することができる。たとえば、ボタンを、リング230の底部に配置することができ、マッピング225内の関心をもたれているアイテムに達した後に、ユーザは、ユーザの親指でボタンに触れてスイッチ232をアクティブ化し、ユーザに通常はオブジェクトのグラブに関連する自然な運動を提供することができる。他の実施形態では、スイッチ232を、モバイル・デバイス210に通信的に結合される、イヤホン250などの異なるデバイス上に配置することができる。
リング230は、Bluetooth(登録商標)送信機などの送信機234を介するワイヤレス通信機能をも含むことができる。リング230は、ユーザがスイッチ232をアクティブ化しまたは作動させるのに便利な位置にスイッチ232を維持することができる。現在の実施形態では、リング230は、ワイヤレスで腕時計240に接続される。スイッチ232の状態を変更した後に、送信機234は、選択信号を腕時計240に送ることができ、腕時計240は、選択信号をモバイル・デバイス210に送ることができる。現在の実施形態では、リング230は、送信機234に電力を与えるために、リチウム・イオン電池または他の電力貯蔵デバイスなどの電源236を含む。
腕時計240は、さまざまな腕時計機能のいずれをも提供することができる。現在の実施形態では、腕時計240は、加速度計242、ポーズ入力インタープリタ244、フィードバック・デバイス246、および送信機/受信機248を含む。現在の実施形態では、腕時計240は、生の3−D加速度計データをモバイル・デバイス210に送る。いくつかの実施形態では、腕時計240は、モバイル・デバイス210にポーズ・データを送る前にポーズ・データを作るために、加速度計データを処理するためにポーズ入力インタープリタ244を含む。他の実施形態では、腕時計240は、1つまたは複数のチルト・スイッチ、ジャイロスコープ・センサ、3−D加速度計、または腕時計240のチルトおよび回転を監視できる他のセンサなどの動きセンサを含むことができる。
イヤホン250は、ユーザに可聴アイテムを鳴らすことができる任意のタイプのイヤホンまたはヘッドセットとすることができる。イヤホン250は、スピーカ252および受信機254を含む。スピーカ252は、サウンドを作り、受信機254は、可聴アイテムを受信し、その信号を適当なフォーマットでスピーカ252に送ることができる。たとえば、受信機254が、物理媒体を介してモバイル・デバイス210に結合される場合には、受信機254は、前置増幅器またはインピーダンス整合回路網を含むことができる。他の実施形態では、受信機254は、可聴インジケータをワイヤレス信号として受信するためにワイヤレス受信機を含むことができる。さらなる実施形態では、受信機254は、有線またはワイヤレスのいずれかの、ディジタル受信機を含むことができ、ディジタル信号をスピーカ252によって鳴らすことのできるアナログ信号に変換する論理を含むことができる。
別の実施形態では、聴覚的フィードバックを視覚的ディスプレイ(ヘッド・マウント・ディスプレイ)に置換することができ、手首ポーズおよび肘ポーズは、ディスプレイ上の特定のメニュー・アイテムにマッピングされる。
ここで図3を参照すると、モバイル・デバイス310の代替実施形態300が示されている。モバイル・デバイス310は、PDA、セル電話機、ネットブック機、ネットトップ機、または類似物などの任意のタイプのポータブル・デバイスとすることができる。図2のモバイル・デバイス210と同様に、モバイル・デバイス310は、プロセッサ212、チップセット214、送信機/受信機216、ならびに、モバイル・デバイス310と共に使用するために適合された聴覚的マッパ221、マッピング225、および可聴インターフェイス228を有するメモリ220を含み、したがって、次の議論は、主に相違に焦点を合わせる。モバイル・デバイス310は、スイッチ320、スピーカ323、動きセンサ324、およびフィードバック・デバイス326をも含む。
プロセッサ212は、処理の重荷を軽くするためにマイクロコントローラを有するのではなく、聴覚的マッパ221を実施するコードおよびデータを処理することができる。いくつかの実施形態では、プロセッサ212は、セルに関連する可聴アイテムの送出を介するセルのトラバースのフィードバックの提供など、聴覚的マッパ221に関連するさまざまな機能を処理するのに優先順位を使用することができる。
スイッチ320は、ユーザがマッピング225からアイテムを選択していることのユーザからの表示を提供することができる。スイッチ320は、ばね式のボタンまたはモバイル・デバイス310のタッチ・スクリーンの少なくとも一部を利用するソフトウェアによって使用可能にされるボタンとすることができる。他の実施形態では、スイッチ320を、音声によってアクティブ化されるものまたは他の形でリモートからアクティブ化されるものとすることができる。
スピーカ323は、マッピング225の現在のポーズ位置のセルについてユーザに知らせるために可聴アイテムを知らせるか鳴らすことができる。いくつかの実施形態では、スピーカ323は、可聴アイテムをヘッドセットに出力するオーディオ・ジャックを含むことができる。
動きセンサ324は、モバイル・デバイス310の運動、具体的には、たとえば左右および上下への、腕時計240のチルトまたは回転を記述するデータを生成することができる。動きセンサ324は、3−D加速度計チップまたは他のタイプの動きセンサを含むことができ、バスを介してマイクロコントローラ318に結合され得る。多くの実施形態では、動きセンサ324を、バスを介してマイクロコントローラ318に直接に結合することができる。多くの実施形態では、モバイル・デバイス310の運動を記述するデータを生成するために加速度計をモバイル・デバイス310に一体化するのではなく、実施形態は、ジャイロスコープ、チルト・センサ、または複数のチルト・スイッチなどの別のタイプの動きセンサを一体化することができる。
フィードバック・デバイス326は、オーディオ以外の形でユーザにフィードバックを提供する機構を含むことができる。たとえば、フィードバック・デバイス326は、モバイル・デバイス310に結合されたバッテリ上の振動ジェネレータを含むことができる。他の実施形態では、フィードバック・デバイス326は、点滅するライト、発光ダイオード(LED)、またはLEDの行などの視覚的フィードバックを含むことができる。たとえば、ユーザがモバイル・デバイス310のチルトを増やす時に、聴覚的マッパ221は、リストの操縦に使用可能なチルトの総範囲内のチルトの範囲またはトップ・ゾーンもしくはドロップ・ゾーンに対する範囲のいずれかを示すために、点滅するライト(モバイル・デバイス310のディスプレイの一部とすることができる)の点滅の周波数を増やす、LEDによって放たれる光の強度を増やす、LEDの行内の点灯しているLEDの数を増やすなどを行うことができる。
図4に、可聴マッピング449を介してセルをトラバースする装置400の実施形態を示す。装置400は、可聴マッピングを介するリスト464へのアクセスを容易にするためにサーバ、デスクトップ機、ノートブック機、ネットトップ機、ネットブック機などのコンピュータと結合されるモジュールを含むことができる。リスト464は、デバイス内またはコンピュータに一体化されるか結合されるストレージ内のいずれかに常駐することができる。装置400は、外部バスまたはUSBコネクタもしくはイーサネット(登録商標)・アダプタなどのネットワーク接続を介して接続することができる。他の実施形態では、装置400は、コンピュータ内にインストールされたハードウェアおよび/またはコードなどのコンピュータに一体化されたモジュールを含むことができる。たとえば、装置400は、モバイル・デバイスに可聴マッピング449のセルをトラバースする能力を与えるためにUSBコネクタを介してモバイル・デバイスに接続できるハードウェア・コンポーネントを含むことができる。
装置400は、ユーザ・プリファレンス410、聴覚的マッパ420、およびライブラリ460を含む。ユーザ・プリファレンス410は、ポーズ・データの解釈に関するプリファレンスまたは速度および方向へのポーズ・データのマッピング、ならびに、たとえば、トップ・ゾーンおよびドロップ・ゾーンの境界、手首回転の境界、肘回転の境界、好ましいセル・サイズ、好ましいセル・サイズ範囲、好ましい拡大方法、または類似物を含むことができる。ユーザ・プリファレンス410は、聴覚的マッパ420の他の機能性に関連するプリファレンスをも含むことができる。
聴覚的マッパ420は、マッピング449のセルのトラバースを容易にするためのハードウェアおよびコードを含む論理を含むことができる。たとえば、聴覚的マッパ420は、マッピング449内のセルに関連する可聴アイテム462を選択するためにライブラリ460にアクセスし、これらのアイテムがトラバースされる時にマッピング449内のアイテムを表す可聴アイテムを出力することができる。
聴覚的マッパ420は、ポーズ・データ・インタープリタ422、ポーズ状態デターミナ430、メモリ440、およびオーディオ出力論理450を含むことができる。ポーズ・データ・インタープリタ422は、マッピング449を介してトラバースを指示することを意図されたユーザの運動を検出する動きセンサからの生センサ・データを解釈することができる。多くの実施形態で、生センサ・データは、ユーザの手首、肘、指、首、頭、くるぶし、または類似物など、横位置および縦位置を示すことができる。他の実施形態では、生センサ・データは、任意の角度ポーズを表すことができる。一実施形態では、接触感知リングに関する親指または指の配置あるいはリングの別の部分に関するリングの部分の位置が、メニュー・マッピングのためのポーズ・データを提供する。
ポーズ・データ・インタープリタ422は、ユーザ入力ならびに現在のトラバース速度または速度から現在のトラバース座標を判定する。ポーズ・データ・インタープリタ422は、角運動プロセッサ424および速度モニタ426を含む。角運動プロセッサ424は、入力データに基づいて運動の度合を判定し、運動の度合をたとえば緯度座標および経度座標に関連付けることができる。速度モニタ426は、緯度方向および/または経度方向の速度を監視することができる。
ポーズ・データ・インタープリタ422はまた、ボタンまたはスイッチから生情報を入力し、その信号を処理するか、ポーズ状態デターミナ430の選択論理に選択信号として再送することができる。たとえば、ポーズ・データ・インタープリタ422は、スイッチが状態を変化させたことおよび/またはスイッチがデフォルト状態または正常状態に戻ったことを示すデータを受け取ることができる。これに応答して、ポーズ・データ・インタープリタ422は、選択論理438に命令を通信することができる。
いくつかの実施形態で、ポーズ・データ・インタープリタ422またはその一部は、別のデバイス420に常駐することができる。たとえば、ポーズ・データ・インタープリタ422が、図2の腕時計240などの腕時計に常駐することができる。
ポーズ・データ・インタープリタ422が、ポーズ・データを判定し、ポーズ・データをポーズ状態デターミナ430に送る時に、ポーズ状態デターミナ430は、現在のマッピング446を判定し、新しい現在のポーズ位置または現在座標445を判定し、新しい現在のポーズ位置に関連する新しい現在のセル447を判定し、現在のセルの選択を検出し、現在のマッピング446を可聴アイテムを介してユーザに通信するためにオーディオ出力論理450と相互作用することができる。
ポーズ状態デターミナ430は、マッピング論理432、ホバリング論理433、拡大論理434、セル・アソシエータ436、および選択論理438を含む。マッピング論理432は、現在のマッピング446を判定し、現在のマッピングを現在のマッピング446に格納することができる。たとえば、ポーズ状態デターミナ430の最初の実行の時に、ポーズ状態デターミナ430は、組込みデフォルト・マッピング、ユーザ・プリファレンス410からのデフォルト・マッピング、またはユーザ・プリファレンス410内で示される別のマッピングを選択することができる。さらに、現在のマッピング内のセルの選択時に、マッピング論理432は、現在のマッピング446を変更することができる。たとえば、現在のセルの実行が、子マッピングに入ることを伴う場合に、マッピング論理432は、メモリ440内の現在のマッピング446を子マッピングに変更し、メモリ440のマップ・ヒストリ448に親の表示を格納する。
いくつかの実施形態では、マッピング論理432は、新しい現在のマッピング446に関連付けるべき新しい基準位置を判定することもでき、この新しい基準位置は、ユーザ・プリファレンスに基づいて、相対マッピング座標を新しい現在のマッピング446にマッピングする。
ホバリング論理433は、ユーザが別の可聴アイテムを送るためのしきい値に達するのに十分に長く、あるセル上でホバリングしたまたはあるセルに留まったかどうかを判定することができる。具体的に言うと、セル・アソシエータ436は、ユーザが異なるセルにトラバースしたことを判定した時にセルに関連する第1可聴アイテムを出力するように、オーディオ出力論理450に指示することができる。ユーザが、しきい値時間期間の間に同一セルに関して現在座標を維持する場合に、ホバリング論理433は、追加可聴アイテムが送出に使用可能でなくなるか、ユーザがそのセルを出るまで、そのセルに関連する可聴アイテムを送り続けることができる。いくつかの実施形態では、各連続する可聴アイテムを、異なるしきい値に関連付けることができる。追加の可聴アイテムが送出に使用可能ではない時には、いくつかの実施形態では、ホバー論理433は、可聴アイテムのうちの1つまたは複数を繰り返して送ることができる。他の実施形態では、ホバー論理433は、以前の可聴アイテムの送出の後に、各連続する可聴アイテムを送ることができる。
拡大論理434は、ユーザがセルをトラバースする速度を監視し、現在のセルの拡大を判定し、いくつかの実施形態では、現在のセル447に隣接するセルを判定することができる。いくつかの実施形態では、セルは、セルの高さおよび/または幅を増やすことによって拡大される。多くの実施形態では、セルは、速度がユーザによるセルへの関心を示すのに十分に遅くなるまで拡大されず、関心は、速度の関数とすることができ、ユーザ・プリファレンス410に格納できるセッティングとすることができる。
セル・アソシエータ436は、セルを現在の座標に関連付ける論理を含むことができる。たとえば、ポーズ・データ・インタープリタ422から新しい座標を受け取った時に、セル・アソシエータ436は、ユーザが異なるセルにトラバースしたのか、同一セル内に留まったのかを判定することができる。セル・アソシエータ436は、メモリ440の現在のセル447に現在のセルの表示を格納することができる。
選択論理438は、選択信号を受け取った時に、選択信号に基づいて現在のセルの選択を判定する。セルの実行が、機能の実行を伴う場合には、その機能を実行することができ、ポーズ状態442は、変更されないままになることができる。その一方で、セルの実行が、子マッピングに入ることを伴う場合には、選択論理438は、これをマッピング論理432に通信して、現在のマッピング446を更新することができる。
オーディオ出力論理450は、ポーズ状態デターミナ430からの表示に応答して、セルの可聴アイテムを判定し、出力することができる。オーディオ出力論理450は、可聴アイテム・デターミナ452、伝達関数論理454、およびオーディオ出力456を含むことができる。可聴アイテム・デターミナ452は、ポーズ状態デターミナ430によって示される関連付けに基づいて現在のセル447の可聴アイテムを判定し、ライブラリ460内の可聴アイテム462から可聴アイテムを取り出すことができる。その後、可聴アイテム・デターミナ452は、可聴アイテムをオーディオ出力456を介してオーディオ出力機構に送ることができる。いくつかの実施形態で、伝達関数論理454は、可聴アイテムを送る前に、頭部伝達関数または類似物を用いて可聴アイテムを変更することができる。
図5に、可聴マッピングを介してセルをトラバースする実施形態のフロー・チャート500を示す。フロー・チャート500は、座標を含むポーズ・データを受け取ること(要素505)から始まる。聴覚的マッパのポーズ・データ・インタープリタは、このデータを受け取ることができ、このデータは、たとえばポーズ・センサからの生データまたは部分的に処理されたデータとすることができる。次に、ポーズ・データ・デターミナが、ポーズ・データに関連する現在座標を判定し、速度を判定することができる(要素510)。
速度を判定した後に、ポーズ状態デターミナは、現在のマッピングに基づいて現在座標に関連するセルを判定することができ(要素515)、セルと可聴アイテムとの間の関連ならびに現在速度と可聴アイテムとの間の関連に基づいてセルに関連する可聴アイテムを判定することができる。たとえば、ユーザが、セルに到達したばかりの場合に、そのセルに関連する第1可聴アイテムを選択し、可聴マッパに送ることができる(要素522)。その一方で、第1可聴アイテムが、アイテムについて既に送られており、ユーザがそのセルの上に留まる場合には、聴覚的マッパのホバリング論理は、現在のセルの第1可聴アイテムが出力され終え、ユーザが、ユーザに第2可聴アイテムを送るのに十分に長くそのセルに留まったと判定することができる。ホバー論理は、セルの可聴アイテムがもうなくなるまで、ホバリングしきい値に達した時に可聴アイテムを送出し続けることができる。他の実施形態では、ホバリング論理は、最後のアイテムを繰り返し続けることができる。
拡大論理は、速度を監視し、所定の配置に従ってセルのサイズを調整することができる。ユーザが現在のセルの上で速度を落としたことの判定(要素525)に応答して、拡大論理は、セルのサイズを増やすことができる(要素530)。いくつかの実施形態では、現在のセルのサイズ調整が、およびいくつかの実施形態では、現在のセルに非常に近いセルのサイズ調整が、セルで費やされる所定の持続時間に基づく所定の変化である。他の実施形態では、セルのサイズを、図1Eの曲線149などの拡大曲線に従って継続的に変更することができる。
判断要素535では、ポーズ状態デターミナの選択論理が、選択信号が受け取られたかどうかを判定する。選択信号が受け取られる場合には、ポーズ状態デターミナは、現在のセルに関連する機能がセルの子マッピングに関連するかどうかを判定する。そうである場合には、ポーズ状態デターミナは、現在のマッピングとして新しいマッピングを選択し(要素560)、以前のマッピングの表示をメモリに格納し、その結果、以前のマッピングまたは親マッピングを、子セル・マッピング内のアクティビティの完了時に返せるようになる。その後、このフロー・チャートは、要素505に戻って、新しい子マッピングをトラバースするために追加ポーズ・データを受け取る。
その一方で、セル機能が、単純に実行できるか、他の形で子マッピングを介する操縦を必要としない場合には、現在のセルに関連する機能が、実行され、制御は、聴覚的マッパに返される(要素545)。ユーザが、セル機能を実行した後に何もしないか、他の形でユーザが聴覚的マッパを終了することを意図することを示す場合には、フロー・チャート500は、終了する。そうでない場合には、ポーズ・データ・デターミナは、要素505でポーズ・データを受け取り、フロー・チャート500は継続される。
もう1つの実施形態は、図1〜図5を参照して説明したシステムおよび方法を実施するプログラム製品として実施される。実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェア要素とソフトウェア要素との両方を含む実施形態の形をとることができる。1つの実施形態は、ソフトウェアで実施されるが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む(これらに限定はされない)。
さらに、実施形態は、コンピュータまたは任意の命令実行システムによるまたはこれに関連する使用のためのプログラム・コードを提供するコンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータ・プログラム製品の形をとることができる。この説明において、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによるまたはこれに関連する使用のためのプログラムを含み、格納し、通信し、伝搬させ、または転送することができるすべての装置とすることができる。
媒体は、電子システム、磁気システム、光学システム、電磁システム、赤外線システム、または半導体システム(あるいは装置またはデバイス)あるいは伝搬媒体とすることができる。コンピュータ可読媒体の例は、半導体メモリもしくはソリッド・ステート・メモリ、磁気テープ、リムーバブル・コンピュータ・ディスケット、ランダム・アクセス・メモリ(RAM)、読取り専用メモリ(ROM)、リジッド磁気ディスク、および光ディスクを含む。光ディスクの現在の例は、コンパクト・ディスク−読取り専用メモリ(CD−ROM)、追記型コンパクト・ディスク(CD−R/W)、およびDVDを含む。
プログラム・コードを格納し、かつ/または実行するのに適するデータ処理システムは、システム・バスを介してメモリ要素に直接にまたは間接に結合された少なくとも1つのプロセッサを含む。メモリ要素は、プログラム・コードの実際の実行中に使用されるローカル・メモリ、バルク・ストレージ、およびコードを実行中にバルク・ストレージから取り出さなければならない回数を減らすために少なくとも一部のプログラム・コードの一次的ストレージを提供するキャッシュ・メモリを含むことができる。
入出力またはI/Oデバイス(キーボード、ディスプレイ、ポインティング・デバイスなどを含むがこれらに限定はされない)を、直接にまたは介在するI/Oコントローラを介してのいずれかでシステムに結合することができる。ネットワーク・アダプタをシステムに結合して、データ処理システムを介在するプライベート・ネットワークもしくは公衆ネットワークを介して他のデータ処理システムまたはリモート・プリンタもしくはリモート・ストレージ・デバイスに結合することを可能にすることもできる。モデム、ケーブル・モデム、およびイーサネット(登録商標)・アダプタ・カードは、現在使用可能なタイプのネットワーク・アダプタのうちのごく少数である。
上で説明した論理を、集積回路チップの設計の一部とすることができる。チップ設計は、グラフィカル・コンピュータ・プログラミング言語で作成され、コンピュータ記憶媒体(ディスク、テープ、物理ハード・ドライブ、またはストレージ・アクセス・ネットワーク内などの仮想ハード・ドライブなど)に格納される。設計者が、チップまたはチップの製造に使用されるフォトリソグラフィ・マスクを製造しない場合には、設計者は、結果の設計を物理的手段によって(たとえば、設計を格納した記憶媒体のコピーを提供することによって)または電子的に(たとえば、インターネットを介して)そのようなエンティティに直接にまたは間接に送る。格納された設計は、その後、フォトリソグラフィ・マスクの製造に適当なフォーマット(たとえば、GDSII)に変換され、これは、通常、ウェハ上に形成される当該のチップ設計の複数のコピーを含む。フォトリソグラフィ・マスクは、エッチングまたはその他の形で処理されるウェハ(および/またはその上のレイヤ)の区域を定義するのに利用される。
結果の集積回路チップを、製造者によって生のウェハの形で(すなわち、複数のパッケージ化されていないチップを有する単一のウェハとして)、ベア・ダイとして、またはパッケージ化された形で配布することができる。後者の場合に、チップは、単一のチップ・パッケージ(マザーボードまたは他のより高水準のキャリアに固定されるリードを有するプラスチック・キャリアなど)またはマルチチップ・パッケージ(表面相互接続または埋込み相互接続の一方または両方を有するセラミック・キャリアなど)内に取り付けられる。どの場合でも、チップは、その後、(a)マザーボードなどの中間製品または(b)最終製品のいずれかの一部として、他のチップ、ディスクリート回路要素、および/または他の信号処理デバイスと一体化される。最終製品は、玩具および他のローエンド・アプリケーションからディスプレイ、キーボードまたは他の入力デバイス、および中央プロセッサを有する高度なコンピュータ製品までの範囲にわたる、集積回路チップを含むすべての製品とすることができる。
本開示の利益を有する当業者には、本開示がポーズから聴覚へのマッピングを企図していることが明白であろう。詳細な説明および図面に図示され、説明された実施形態の形が、単に例として解釈されるべきことを理解されたい。添付の特許請求の範囲が、開示された正確な実施形態のすべての変形を含むべく広義に解釈されることが意図されている。
本開示およびその利益の一部を、いくつかの実施形態について詳細に説明したが、さまざまな変更、置換、および代替を、添付の特許請求の範囲によって定義される本開示の趣旨および範囲から逸脱せずに行うことができることを理解されたい。特定の実施形態は、複数の目的を達成することができるが、添付の特許請求の範囲に含まれるすべての実施形態が、すべての目的を達成するわけではない。さらに、本願の範囲は、本明細書で説明されたプロセス、機械、製造、材料の組成、手段、方法、およびステップの特定の実施形態に限定されることを意図されたものではない。当業者は、本開示から、現在存在するか後に開発される、本明細書で説明された対応する実施形態と実質的に同一の機能を実行するか実質的に同一の結果を達成する、プロセス、機械、製造、材料の組成、手段、方法、またはステップを利用できることを、たやすく了解するであろう。したがって、添付の特許請求の範囲は、その範囲内に、そのようなプロセス、機械、製造、材料の組成、手段、方法、またはステップを含むことが意図されている。
110 モバイル・デバイス
120 腕時計
125 ボタン
130 イヤホン
140 BLUETOOTH(登録商標)通信
210 モバイル・デバイス
212 プロセッサ
214 チップセット
216 送信機/受信機
218 マイクロコントローラ
220 メモリ
221 聴覚的マッパ
225 マッピング
226 オーディオ・ライブラリ
228 可聴ユーザ・インターフェイス
230 リング
232 スイッチ
234 送信機
236 電源
240 腕時計
242 加速度計
244 ナビゲーション入力インタープリタ
246 フィードバック・デバイス
248 送信機/受信機
250 イヤホン
252 スピーカ
254 受信機
212 プロセッサ
214 チップセット
216 送信機/受信機
220 メモリ
221 聴覚的マッパ
225 マッピング
226 オーディオ・ライブラリ
228 可聴ユーザ・インターフェイス
310 モバイル・デバイス
320 スイッチ
323 スピーカ
324 動きセンサ
326 フィードバック・デバイス

Claims (30)

  1. ユーザ・インターフェイスからのポーズ・データをセルの第1セットの第1マッピングに関連付ける段階であって、セルの前記第1セットの各セルは、幅、高さ、ならびに前記第1マッピングの行および列内の関連する座標を有する、関連付ける段階と、
    前記第1セルの前記第1マッピングを基準座標を有する基準位置に関連付ける段階と、
    複数の速度のうちの第1速度および前記基準位置に基づく第1ポーズ位置を識別するために前記ユーザ・インターフェイスからの前記ポーズ・データを解釈する段階であって、前記第1ポーズ位置は、前記第1マッピング内の座標の第1セットを有する、解釈する段階と、
    座標の前記第1セットに基づいて、第1セルを前記第1ポーズ位置に関連付ける段階と、
    前記第1速度での前記第1セルのトラバースに基づいて、前記第1セルに関連する第1可聴アイテムを判定する段階と、
    前記第1セルに関連するオーディオを出力するために、前記ユーザ・インターフェイスに前記第1可聴アイテムを送る段階と、
    を含む、聴覚的マッピングの方法。
  2. 複数の速度の第2速度が後続ポーズ位置を有するセルの前記第1セットのうちの少なくとも1つのサイズを変更することを識別するために、前記ユーザ・インターフェイスからの後続ポーズ・データを解釈する段階をさらに含むことを特徴とする請求項1記載の方法。
  3. 前記後続ポーズ・データを解釈する段階は、前記第2速度でのセルの前記第1セットの第2セルに関連する第2ポーズ位置上のトラバースを示し、前記第2速度は、前記第1速度より遅く、前記第2速度に基づいて、前記第1速度でトラバースする間に前記第2セルの前記サイズに関する前記第2セルのサイズを増やすことを特徴とする請求項2記載の方法。
  4. 前記後続ポーズ・データを解釈する段階は、前記第2速度でのセルの前記第1セットの第2セルに関連する第2ポーズ位置上のトラバースを示し、前記第2速度は、前記第1速度より遅く、前記第2速度に基づいて、第2可聴アイテムを送り、前記第2可聴アイテムは、前記第1可聴アイテムより長い持続時間を有することを特徴とする請求項2記載の方法。
  5. 前記後続ポーズ・データを解釈する段階は、第3速度でのセルの前記第1セットの第3セルに関連する第3ポーズ位置上のトラバースを示し、前記第3速度は、前記第1速度より速く、前記第3速度に基づいて、前記第1速度でトラバースする間に前記第3セルのサイズに関する前記第3セルのサイズを減らすことを特徴とする請求項2記載の方法。
  6. 前記後続ポーズ・データを解釈する段階は、第3速度でのセルの前記第1セットの第3セルに関連する第3ポーズ位置上のトラバースを示し、前記第3速度は、前記第1速度より速く、前記第3速度に基づいて、第3可聴アイテムを送り、前記第3可聴アイテムは、前記第1可聴アイテムより短い持続時間を有することを特徴とする請求項2記載の方法。
  7. 前記ユーザ・インターフェイスから前記ポーズ・データを受け取る段階をさらに含み、前記ポーズ・データは、角運動を示すデータを含み、前記角運動は、経度成分および緯度成分を有する実質的に球の表面に沿った角運動を含むことを特徴とする請求項1記載の方法。
  8. 座標の前記第1セットを判定するために前記ポーズ・データの前記経度成分および前記緯度成分を処理する段階、および、前記第1ポーズ位置が前記第1セル内にあることを判定するために座標の前記第1セットを前記第1マッピングと比較する段階、をさらに含むことを特徴とする請求項7記載の方法。
  9. 前記第1セルに関して前記第1ポーズ位置を示すものとして知覚できる形で1つまたは複数のスピーカの間で出力オーディオを分散させるために頭部伝達関数を用いて前記可聴アイテムを調整する段階をさらに含むことを特徴とする請求項1記載の方法。
  10. 前記ポーズ・データが第5セル内にある座標の第3セットを示す間に選択信号を受け取り、これに応答して、前記第1マッピングを変更する段階をさらに含むことを特徴とする請求項1記載の方法。
  11. 複数の速度の第1速度を識別するためにユーザ・インターフェイスからのポーズ・データを解釈するポーズ・データ・インタープリタと、
    ユーザ・インターフェイスからのポーズ・データをセルの第1セットの第1マッピングに関連付けるポーズ状態デターミナであって、セルの前記第1セットの各セルは、前記第1セルの前記第1マッピングを基準座標を有する基準位置に関連付けるためおよび現在のポーズ状態を第1速度および前記基準位置に基づく第1ポーズ位置に関連付けるために幅、高さ、ならびに前記第1マッピングの行および列内の関連する座標を有し、前記第1ポーズ位置は、前記第1マッピング内の座標の第1セットを有し、前記ポーズ状態デターミナは、座標の前記第1セットに基づいて第1セルを前記第1ポーズ位置に関連付けるためにセル・アソシエータを含む、ポーズ状態デターミナと、
    前記第1速度での前記第1セルのトラバースに基づいて前記第1セルに関連する第1可聴アイテムを判定し、前記第1セルに関連するオーディオを出力するために前記第1可聴アイテムを前記ユーザ・インターフェイスに送るオーディオ出力論理と、
    を含むことを特徴とする聴覚的マッピングの装置。
  12. 前記ポーズ状態デターミナは、変化する速度に応答して前記第1セルのサイズを変更する拡大論理を含むことを特徴とする請求項11記載の装置。
  13. 低下するポーズ変化速度に応答して前記第1セルに関連する第2可聴アイテムを送るオーディオ出力論理をさらに含み、前記第2可聴アイテムは、前記第1可聴アイテムより長い持続時間を有することを特徴とする請求項11記載の装置。
  14. 前記オーディオ出力論理は、増加するポーズ変化速度に応答して前記第1セルに関連する第3可聴アイテムを送る論理を含み、前記第3可聴アイテムは、前記第1可聴アイテムより短い持続時間を有することを特徴とする請求項11記載の装置。
  15. 前記ポーズ・データ・インタープリタは、前記ユーザ・インターフェイスから前記ポーズ・データを受け取る角運動プロセッサを含み、前記ポーズ・データは、角運動を示すデータを含み、前記角運動は、経度成分および緯度成分を有する実質的に球の表面に沿った角運動を含むことを特徴とする請求項14記載の装置。
  16. 前記ポーズ・データ・インタープリタは、座標の前記第1セットを判定するために前記ポーズ・データの前記経度成分および前記緯度成分を処理する前記角運動プロセッサを含むことを特徴とする請求項15記載の装置。
  17. 前記ポーズ状態デターミナは、前記第1速度からの変化に基づいてセルの前記第1セットのうちの複数のサイズを変更する拡大論理を含み、セルの前記第1セットのうちの前記複数は、前記第1ポーズ位置に近接することを特徴とする請求項11記載の装置。
  18. 前記ポーズ状態デターミナは、前記現在のポーズ状態が前記第1セル内にある間に選択信号を受け取る選択論理、および、それに応答して前記第1マッピングを変更するマッピング論理、を含むことを特徴とする請求項11記載の装置。
  19. 前記マッピング論理は、前記第1マッピングを第2マッピングに置換し、前記第2マッピングを新しい基準位置に関連付ける論理を含むことを特徴とする請求項11記載の装置。
  20. 前記マッピング論理は、セルの第2セットのリストを順次トラバースするために後続ポーズ・データを解釈するように前記ポーズ状態デターミナに指示する論理を含むことを特徴とする請求項19記載の装置。
  21. 複数の速度のうちの第1速度を識別するために可聴ユーザ・インターフェイスからのポーズ・データを解釈し、可聴ユーザ・インターフェイスからのポーズ・データをセルの第1セットの第1マッピングに関連付ける聴覚的マッパであって、セルの前記第1セットの各セルは、前記第1セルの前記第1マッピングを基準座標を有する基準位置に関連付け、前記基準位置に基づいて現在のポーズ状態を前記第1速度および第1ポーズ位置に関連付けるために、幅、高さ、ならびに前記第1マッピングの行および列に関連する座標を有し、前記第1ポーズ位置は、前記第1マッピング内の座標の第1セットを有し、ポーズ状態デターミナは、座標の前記第1セットに基づいて第1セルを前記第1ポーズ位置に関連付けるセル・アソシエータを含み、前記聴覚的マッパは、前記第1速度での前記第1セルのトラバースに基づいて前記第1セルに関連する第1可聴アイテムを判定し、前記第1セルに関連するオーディオを出力するために前記ユーザ・インターフェイスに前記第1可聴アイテムを送る、聴覚的マッパと、
    ワイヤレス送信機/受信機と、
    前記第1マッピングをトラバースするために前記ポーズ・データを受け取り、前記ポーズ・データを前記聴覚的マッパに送る、前記ワイヤレス送信機/受信機に結合された前記可聴ユーザ・インターフェイスと、
    を含むことを特徴とする聴覚的マッピングのシステム。
  22. 前記ポーズ状態デターミナは、変化する速度に応答して前記第1セルのサイズを変更する拡大論理を含むことを特徴とする請求項21記載のシステム。
  23. 低下する変化するポーズ速度に応答して前記第1セルに関連する第2可聴アイテムを送るオーディオ出力論理をさらに含み、前記第2可聴アイテムは、前記第1可聴アイテムより長い持続時間を有することを特徴とする請求項21記載のシステム。
  24. オーディオ出力論理は、増加する速度に応答して前記第1セルに関連する第3可聴アイテムを送る論理を含み、前記第3可聴アイテムは、前記第1可聴アイテムより短い持続時間を有することを特徴とする請求項21記載のシステム。
  25. オーディオ出力論理は、前記第1セルに関する前記第1ポーズ位置を示すものとして少なくとも2つのスピーカの近くのユーザによって知覚できる形で1つまたは複数のスピーカの間で出力オーディオを分散させるために頭部伝達関数を用いて前記可聴アイテムを調整する伝達関数論理を含むことを特徴とする請求項21記載のシステム。
  26. 前記ポーズ状態デターミナは、前記現在のポーズ状態が前記第1セル内にある間に選択信号を受け取る選択論理、および、それに応答して前記第1マッピングを変更するマッピング論理、を含むことを特徴とする請求項21記載のシステム。
  27. 聴覚的マッピングのためのコンピュータ・プログラム製品において、
    それを用いて実施されるコンピュータ使用可能プログラム・コードを有するコンピュータ使用可能な媒体であって、前記コンピュータ使用可能プログラム・コードが実行されると、
    ユーザ・インターフェイスからのポーズ・データをセルの第1セットの第1マッピングに関連付ける段階であって、セルの前記第1セットの各セルは、幅、高さ、ならびに前記第1マッピングの行および列内の関連する座標を有する、関連付ける段階と、
    前記第1セルの前記第1マッピングを基準座標を有する基準位置に関連付ける段階と、
    複数の速度のうちの第1速度および前記基準位置に基づく第1ポーズ位置を識別するために前記ユーザ・インターフェイスからの前記ポーズ・データを解釈する段階であって、前記第1ポーズ位置は、前記第1マッピング内の座標の第1セットを有する、解釈する段階と、
    座標の前記第1セットに基づいて、第1セルを前記第1ポーズ位置に関連付ける段階と、
    前記第1速度での前記第1セルのトラバースに基づいて、前記第1セルに関連する第1可聴アイテムを判定する段階と、
    前記第1セルに関連するオーディオを出力するために、前記第1可聴アイテムを送る段階と、
    を含む動作を実行するように構成されたコンピュータ使用可能プログラム・コードを含むことを特徴とするコンピュータ・プログラム製品。
  28. 前記動作は、複数の速度のうちの第2速度を識別するために前記ユーザ・インターフェイスからの後続ポーズ・データを解釈する段階、および、前記第2速度に基づいて後続ポーズ位置のセルの前記第1セットのうち少なくとも1つのサイズを変更する段階、をさらに含むことを特徴とする請求項27記載のコンピュータ・プログラム製品。
  29. 前記動作は、第2可聴アイテムを送る段階をさらに含み、前記第2可聴アイテムは、前記第2速度に基づいて前記第1可聴アイテムより長い持続時間を有することを特徴とする請求項28記載のコンピュータ・プログラム製品。
  30. 前記動作は、第2可聴アイテムを送る段階をさらに含み、前記第2可聴アイテムは、前記第2速度に基づいて前記第1可聴アイテムより短い持続時間を有することを特徴とする請求項28記載のコンピュータ・プログラム製品。
JP2009299083A 2009-01-01 2009-12-29 ポーズからデバイスへのマッピング Expired - Fee Related JP5306985B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/347,999 2009-01-01
US12/347,999 US9591118B2 (en) 2009-01-01 2009-01-01 Pose to device mapping

Publications (2)

Publication Number Publication Date
JP2010157242A true JP2010157242A (ja) 2010-07-15
JP5306985B2 JP5306985B2 (ja) 2013-10-02

Family

ID=42286431

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009299083A Expired - Fee Related JP5306985B2 (ja) 2009-01-01 2009-12-29 ポーズからデバイスへのマッピング

Country Status (4)

Country Link
US (1) US9591118B2 (ja)
JP (1) JP5306985B2 (ja)
CN (1) CN101794207B (ja)
TW (1) TWI443548B (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping
TWI554076B (zh) * 2009-09-04 2016-10-11 普露諾洛股份有限公司 遠距離的電話管理器
US9965169B2 (en) * 2011-12-29 2018-05-08 David L. Graumann Systems, methods, and apparatus for controlling gesture initiation and termination
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11372536B2 (en) * 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
CN103197529A (zh) * 2013-02-06 2013-07-10 方科峰 一种体感腕表及应用方法
US20160078205A1 (en) * 2013-04-24 2016-03-17 Hewlett-Packard Development Company, L.P. Displacement signatures
CN103324309A (zh) * 2013-06-18 2013-09-25 杭鑫鑫 可穿戴计算机
US9674697B2 (en) * 2013-07-24 2017-06-06 Htc Corporation Method for operating mobile device, mobile device using the same, wearable device using the same, and computer readable medium
CN104460957A (zh) * 2013-09-18 2015-03-25 叶宏尧 环形穿戴式电子装置及其控制方法
US10466858B2 (en) * 2013-12-01 2019-11-05 Upskill, Inc. Systems and methods for interacting with a virtual menu
KR102131829B1 (ko) * 2013-12-17 2020-08-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2015127116A1 (en) * 2014-02-24 2015-08-27 Sony Corporation Proximity based and data exchange and user authentication between smart wearable devices
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US9563855B2 (en) * 2014-06-27 2017-02-07 Intel Corporation Using a generic classifier to train a personalized classifier for wearable devices
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US9464912B1 (en) * 2015-05-06 2016-10-11 Google Inc. Binaural navigation cues
JP6573071B2 (ja) * 2015-08-27 2019-09-11 カシオ計算機株式会社 電子機器及びその制御方法、制御プログラム
US9715366B2 (en) * 2015-09-16 2017-07-25 International Business Machines Corporation Digital map of a physical location based on a user's field of interest and a specific sound pattern
CN106900052A (zh) 2015-12-21 2017-06-27 深圳富泰宏精密工业有限公司 功率调整模组及具有该功率调整模组的穿戴装置
WO2019121773A1 (en) * 2017-12-18 2019-06-27 Dolby International Ab Method and system for handling local transitions between listening positions in a virtual reality environment
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08115335A (ja) * 1994-10-18 1996-05-07 Toshiba Corp マルチメディア処理装置
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
US6347290B1 (en) * 1998-06-24 2002-02-12 Compaq Information Technologies Group, L.P. Apparatus and method for detecting and executing positional and gesture commands corresponding to movement of handheld computing device
US6369794B1 (en) * 1998-09-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Operation indication outputting device for giving operation indication according to type of user's action
US6375572B1 (en) * 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6978127B1 (en) 1999-12-16 2005-12-20 Koninklijke Philips Electronics N.V. Hand-ear user interface for hand-held device
US6861946B2 (en) * 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
US6744420B2 (en) * 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
KR100817394B1 (ko) 2003-05-08 2008-03-27 힐크레스트 래보래토리스, 인크. 미디어 항목들을 편성하고, 선택하며, 개시하기 위한주밍(zooming) 가능한 그래픽 유저 인터페이스를갖춘 제어 프레임워크
CN100454220C (zh) 2003-05-08 2009-01-21 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的控制架构
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
GB0519315D0 (en) * 2005-07-21 2005-11-02 Southwing S L Personal communications systems
TWI283127B (en) 2005-11-09 2007-06-21 Benq Corp System and method for taking over incoming-call in mobile device
TWI297250B (en) 2006-02-17 2008-05-21 Compal Communications Inc Earphone device for mobile communication apparatus
US8244279B2 (en) 2006-03-31 2012-08-14 Research In Motion Limited Methods and apparatus for associating mapping functionality and information in contact lists of mobile communication devices
US20080229206A1 (en) * 2007-03-14 2008-09-18 Apple Inc. Audibly announcing user interface elements
CN101325768B (zh) 2007-06-14 2012-05-30 鸿富锦精密工业(深圳)有限公司 移动通信装置及其按键输入方法
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8456420B2 (en) * 2008-12-31 2013-06-04 Intel Corporation Audible list traversal
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping
US20100220063A1 (en) * 2009-02-27 2010-09-02 Panasonic Corporation System and methods for calibratable translation of position

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08115335A (ja) * 1994-10-18 1996-05-07 Toshiba Corp マルチメディア処理装置
JP2007072564A (ja) * 2005-09-05 2007-03-22 Sony Computer Entertainment Inc マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム

Also Published As

Publication number Publication date
CN101794207A (zh) 2010-08-04
JP5306985B2 (ja) 2013-10-02
TW201037558A (en) 2010-10-16
US9591118B2 (en) 2017-03-07
US20100169781A1 (en) 2010-07-01
TWI443548B (zh) 2014-07-01
CN101794207B (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
JP5306985B2 (ja) ポーズからデバイスへのマッピング
TWI423111B (zh) 可聽式列表巡覽技術
ES2643176T3 (es) Método y aparato para proporcionar informes de actividad independientes de la vista que responden a un gesto táctil
KR101204535B1 (ko) 장치들 및 주변장치들에 감지 정보를 제공하기 위한 방법들 및 시스템들
JP6275839B2 (ja) リモコン装置、情報処理方法およびシステム
RU2632153C2 (ru) Способ, устройство и терминал для отображения виртуальной клавиатуры
EP2975497B1 (en) Terminal device, terminal device control method, and program
JP4071158B2 (ja) 電波発信器探索装置、携帯電話通信端末装置、及び電波発信器探索装置による電波発信器探索方法
TWI476636B (zh) 電子裝置中的觸覺反饋
US20150133193A1 (en) Wearable devices and associated systems
CN103984493B (zh) 滑动控制方法及终端
WO2011150886A2 (zh) 手持式终端设备用户界面自动切换方法及手持式终端设备
CN101390038A (zh) 具有界面重配置模式的便携式电子设备
CN109844702B (zh) 一种对电子设备的控制方法以及输入设备
KR101600999B1 (ko) 문자를 선택하는 방법, 장치, 단말기장치, 프로그램 및 기록매체
JP2016048495A (ja) 携帯端末、レコメンドプログラム、レコメンドシステムおよびレコメンド方法
US20120165039A1 (en) Electronic apparatus
CN108650554A (zh) 一种多媒体文件播放控制方法及移动终端
WO2017185233A1 (zh) 一种控制音频文件播放的方法及音频播放装置
WO2016149873A1 (zh) 智能交互方法、设备及系统
CN108563650B (zh) 一种音频文件播放进度的调节方法及移动终端
WO2017166149A1 (zh) 一种终端设备及其控制方法
WO2024001828A1 (zh) 腕戴设备控制方法及相关系统、存储介质
KR20170038569A (ko) 이동 단말기 및 그 제어방법
WO2010046541A1 (en) Method and device for controlling an application

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121017

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130626

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees