JP2015228214A - 触覚通知マネージャ - Google Patents

Abstract

【課題】ユーザーへの通知を管理する通知マネージャを提供する。【解決手段】通知マネージャは、通知イベントを検出し、通知イベントのコンテクストを決定する。通知マネージャは、決定されたコンテクストと１以上の利用可能なディスプレイとに基づいて通知イベントのターゲット装置を決定する。通知マネージャはその後、ユーザーの注意をターゲット装置に向けさせるために、１以上の利用可能なディスプレイのうち１以上に通知を生成する。【選択図】図１

Description

一実施形態は、概してシステムに関し、特に、複数のユーザー機器間で通知を管理するシステムに関する。

ハプティクス（ｈａｐｔｉｃｓ）は、触覚及び力フィードバックの技術であり、力、振動、及び動きといった触覚フィードバック効果（「触覚効果」又は「触覚フィードバック」）をユーザーに適用する事によってユーザーの触覚を利用する。モバイル装置、タッチスクリーン装置、及びパーソナルコンピュータ等の装置は、触覚効果を生成するように構成することが可能である。通常、触覚効果を生成可能な埋め込みハードウェア（アクチュエータ等）への呼び出しは装置のオペレーティングシステム（ＯＳ）内でプログラム可能である。これらの呼び出しはどの触覚効果を再生するかを指定する。例えば、ユーザーが例えばボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又はその他の制御を用いて装置とインタラクトする際、装置のＯＳは制御回路を通じて埋め込みハードウェアへ再生コマンドを送信できる。埋め込みハードウェアはその後、適切な触覚効果を生起する。

装置は、触覚効果を含むユーザー通知の出力を、メッセージの受信や次回会議のリマインダーといった特定のイベント又はアラートと連携させるよう構成されてよい。ユーザーの注意は、スマートフォン、ラップトップ、ヘッドマウントディスプレイに及ぶまで様々なディスプレイ間でますます分散されるようになっている。しかしながら、これらのディスプレイは、典型的には、互いを認識しておらず、しばしばユーザーの注意を奪い合ってしまう。例えばゲームコンソールがダウンロードの完了をユーザーに知らせようとする一方で、ユーザーの注意はスマートフォン上のニュースに向けられていることもあり得る。ユーザーは、スマートフォンとラップトップの両方に届く電子メールの通知のように、周辺環境内の多様な装置から、同時かつ重複する通知を日常的に受け取っており、これはユーザーに、どのディスプレイを使用するか決定するように強要し得る。この傾向は、ヘッドマウントディスプレイやスマートウォッチ等のウェアラブルな装置がより普及するに従って続くと考えられる。しかしながら、同一のイベントに対して複数の通知を受け取ることは、不愉快かつ気が散るものとなり得る。更に、最終的にユーザーの注意を惹くことに成功した装置が、その類のコンテンツ又はイベントにとって最適ではない場合もある。

一実施形態は、ユーザーへの通知を管理するシステムである。システムは、通知イベントを検出し、通知イベントのコンテクスト（ｃｏｎｔｅｘｔ）を決定する。システムは、決定されたコンテクストと１以上の利用可能なディスプレイとに基づいて通知イベントのターゲット装置を決定する。システムはその後、ユーザーの注意をターゲット装置に向けさせるために、１以上の利用可能なディスプレイのうち１以上に通知を生成する。

添付の図面と併せて参照される以下の好適な実施形態の詳細な説明から、更なる実施形態、詳細、利点、及び変形が明らかになるだろう。

本発明の一実施形態に係るシステムのブロック図である。 本発明の一実施形態に係る触覚通知システムのブロック図である。 本発明の一実施形態に係る触覚通知管理モジュールのフロー図である。 本発明の一実施形態に係る情動触覚（ａｆｆｅｃｔｉｖｅ ｈａｐｔｉｃ）通知を図示する図である。

一実施形態は、ユーザーの通知を管理し、触覚フィードバックを用いて、各通知を処理するのに最適な装置へとユーザーの注意を向けさせるシステムである。

図１は、本発明の一実施形態に係るシステム１０のブロック図である。一実施形態において、システム１０は触覚通知管理装置の一部であり、システム１０は触覚通知管理装置のための触覚通知管理機能を提供する。単一のシステムとして図示されてはいるが、システム１０の機能は分散システムとして実装可能である。システム１０は情報通信用のバス１２又はその他の通信機構と、バス１２に連結される情報処理用のプロセッサ２２とを含む。プロセッサ２２は任意の種類の汎用又は特定用途プロセッサであり得る。プロセッサ２２は、高レベルのパラメータに基づいて、どの触覚効果を再生するか、ならびに効果を再生する順序を決定できる。一般的に、特定の触覚効果を定義する高レベルのパラメータとしては、強度、周波数、及び期間が含まれる。特定の触覚効果を決定するために、ストリーミングモータコマンド（ｓｔｒｅａｍｉｎｇ ｍｏｔｏｒ ｃｏｍｍａｎｄ）のような低レベルのパラメータも使用可能である。触覚効果が生成される際にこれらのパラメータのいくつかの変化が含まれる場合、もしくはユーザーのインタラクションに基づいたこれらのパラメータの１つの変化が含まれる場合、触覚効果は「動的」であると見なされ得る。

システム１０は情報及びプロセッサ２２によって実行される命令を格納するためのメモリ１４を更に含む。メモリ１４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気又は光学ディスク等の静的記憶装置、又はその他任意の種類のコンピュータ読み取り可能媒体、の任意の組み合わせで構成されてよい。

コンピュータ読み取り可能媒体は、プロセッサ２２によってアクセス可能な任意の利用可能な媒体であり得て、揮発性媒体と不揮発性媒体の両方、リムーバブル媒体と非リムーバブル媒体、通信媒体、及び記憶媒体を含み得る。通信媒体はコンピュータ読み取り可能命令、データ構造、プログラムモジュール、又は、搬送波やその他の搬送機構等の変調されたデータ信号内のその他のデータを含み得て、更に、公知のその他任意の形式の情報伝達媒体を含み得る。記憶媒体には、が含まれ得る。ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能リードオンリーメモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、又は公知のその他任意の形式の記憶媒体を含み得る。

一実施形態において、メモリ１４は、プロセッサ２２によって実行された際に機能を提供するソフトウェアモジュールを格納する。モジュールは、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５と、一実施形態における触覚オーサリング装置の残りの部分を含む。モジュールは、以下に詳述するとおり、多様な通知を管理する触覚通知管理モジュール１６を更に含む。特定の実施形態において、触覚通知管理モジュール１６は、各々が、通知を管理するための個別の特定の機能を提供する複数のモジュールを含んでよい。システム１０は典型的に、追加の機能を含めるために、１以上の追加のアプリケーションモジュール１８を含むだろう。

リモートのソースからデータを送受信する実施形態において、システム１０は、赤外線、無線、Ｗｉ−Ｆｉ、又は携帯ネットワーク通信のようなモバイルワイヤレスネットワーク通信を提供するために、ネットワークインターフェイスカードのような通信装置２０を更に含む。他の実施形態において、通信装置２０は、イーサネット（登録商標）接続又はモデム等の有線ネットワーク接続を提供する。

プロセッサ２２は、グラフィック描写又はユーザーインターフェイスをユーザーに向けて表示するために、バス１２を経由して液晶ディスプレイ（ＬＣＤ）等のディスプレイ２４に更に連結される。ディスプレイ２４は、プロセッサ２２との間で信号を送受信するよう構成される、タッチスクリーン等のタッチ式の入力装置であり得て、また、マルチタッチタッチスクリーンであり得る。

システム１０は触覚出力装置２６を更に含む。プロセッサ２２は、触覚効果に関連付けられた触覚信号を触覚出力装置２６に送信し得て、触覚出力装置２６は、駆動信号を受けて、振動触知（ｖｉｂｒｏｔａｃｔｉｌｅ）触覚効果、静電摩擦触覚効果、又は変形触覚効果等の触覚効果を出力する。プロセッサ２２は実際の触覚信号そのもの（すなわち触覚パラメータ）を送出し得る、もしくは、受信側の触覚出力装置（例えば、スマートウォッチ、コンピュータ、ウェアラブル、スマートフォン、又はその他の携帯機器）のプロセッサがメモリから触覚信号を取得するか、触覚信号を生成できるよう、触覚効果の識別情報や機能を送出し得る。

当該技術分野において周知のとおり、強度、周波数、又は期間といった触覚効果パラメータの１以上を変化させることにより、異なる種類の触覚効果が生成可能である。異なる種類の触覚効果は、アクチュエータ、又は、モータ信号を受け取って触覚効果を生成するその他の触覚出力装置の種類を変化させることによっても生成可能である。例えば、ＥＲＭアクチュエータによって生成された触覚効果は、ＥＳＦ装置によって生成されたものとは異なる種類の触覚効果である。

一実施形態において触覚出力装置２６は、例えば電気モータ、電磁アクチュエータ、ボイスコイル、リニア共振アクチュエータ、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転マスモータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）、広帯域アクチュエータ、電気活性ポリマー（ＥＡＰ）アクチュエータ、静電摩擦ディスプレイ、又は超音波振動発生器等のアクチュエータである。代替的な実施形態において、システム１０は、触覚出力装置２６に加えて、１以上の追加のアクチュエータを含んでよい（図１には図示せず）。代替的な実施形態において、システム１０は触覚出力装置２６を含まなくてもよく、システム１０とは別の装置がアクチュエータ、又は、触覚効果を生成するその他の触覚出力装置を含み、システム１０は生成された触覚信号又は通知信号を、通信装置２０を経由してその装置へ送信する。

アクチュエータに加えて、触覚出力装置２６は、静電摩擦（ＥＳＦ）や超音波表面摩擦（ＵＳＦ）を用いる装置、超音波触覚変換器で音響放射圧を誘導する装置、触覚基盤と可撓性又は変形可能表面、もしくは形状変形装置を用い、ユーザーの身体に取り付けられ得る装置、空気ジェットを利用したエアパフ等の投射型触覚出力を提供する装置、等のような、非機械又は非振動装置であり得る。複数の触覚効果を有する複数の触覚出力装置が１つの触覚効果を生成してよい。

生成される触覚効果には、振動、変形、圧迫、突き、伸張、表面摩擦、熱、等をはじめとする幅広い効果と技術が含まれてよい。触覚出力装置２６を含む、触覚効果を生成する装置は、ウェアラブルな装置（ブレスレット、アームバンド、手袋、ジャケット、ベスト、眼鏡、靴、ベルト等）、手持ちの装置（携帯電話、コンピュータ用マウス等）、触覚を利用可能な家具（椅子、ソファ等）、又はその他任意の触覚を利用可能な装置であってよい。

一実施形態において、システム１０はスピーカー２８を更に含む。スピーカー２８は、音声が当該システム上で生成される実施形態において用いられる。そうでない場合、スピーカー２８は別の装置の一部であってよい。プロセッサ２２は、音声信号をスピーカー２８に送信し得て、スピーカー２８は音声効果を出力する。スピーカー２８は例えば、ダイナミックスピーカー、動電型スピーカー、圧電スピーカー、磁歪スピーカー、静電スピーカー、リボン及び平面磁気スピーカー、屈曲波スピーカー、フラットパネルスピーカー、ハイルエアモーショントランスデューサー、プラズマアークスピーカー、及びデジタルスピーカーであり得る。代替的な実施形態において、システム１０は、スピーカー２８に加えて、１以上の追加のスピーカーを含んでよい（図１には図示せず）。更に、別の代替的な実施形態において、システム１０はスピーカー２８を含まなくてもよく、システム１０とは別の装置が音声効果を出力するスピーカーを含み、システム１０は音声信号を、通信装置２０を経由してその装置へ送信する。

一実施形態において、システム１０はデータベース３０を更に含む。データベース３０は、触覚設計触覚通知管理モジュール１６の格納を提供し、触覚通知データ等を格納するように構成されてよい。

図２は、本発明の一実施形態に係る通知システム２００のブロック図である。 通知システム２００は、通知マネージャ２０２、スマートフォン２０４、スマートウォッチ２０６、コンピュータ２０８、カメラ２１０、マイク２１２、及び３Ｄカメラ２１４を含む。通知マネージャ２０２は、図１の触覚通知管理モジュール１６を用いて実装可能である。一部の実施形態は、１以上の２０４−２１４を含む。一部の実施形態は、ラップトップ、タブレット、ゲームコンソール、及びテレビのような、図２に図示されない装置を１以上含む。各装置は、振動触覚効果を生成するためのアクチュエータ、視覚通知効果を生成するためのスクリーン又はディスプレイ、音声通知効果を生成するためのスピーカー等の通知出力装置を含んでよい。

作動中、通知システム２００は、ユーザーに通知するべきイベントを検出し、１以上の装置（スマートフォン２０４、スマートウォッチ２０６、コンピュータ２０８、タブレット、テレビ等）上で触覚フィードバックを生成して、計算装置及び／又はディスプレイ（スマートフォン２０４、スマートウォッチ２０６、コンピュータ２０８、タブレット、テレビ等）にユーザーの注意を向けさせ、そのイベントに関連付けられたコンテンツを、そのイベント／コンテンツに最適の装置／ディスプレイ上で見るようにさせる。触覚フィードバックが生成又は「表示」される装置は、ユーザーの注意が向けられる装置であってもよいし、ユーザーの注意は別の装置及び／又はディスプレイに向けられてもよい。

一部の実施形態において、触覚フィードバックは、例えば触覚通知管理モジュール１６として実装される通知マネージャ２０２によって制御される。一部のこのような実施形態において、通知マネージャ２０２はユーザーが常時、もしくはかなりの時間にわたり装着する計算装置、例えばヘッドマウントディスプレイやスマートウォッチ、の中に一体化される（スマートウォッチ２０６等）。例えば、ウェアラブルな装置は継続的に又は長時間装着されるのが一般的なため、ウェアラブルな装置は通知のフローを管理し、ユーザーの注意を最適な装置に向けさせる機会を提供する。

一部の実施形態において、通知マネージャ２０２は、計算装置のエコシステム向けに通知を管理するために、グーグルグラス等のヘッドマウントディスプレイに一体化される。このような実施形態において、１以上の装置から通知要求を受信した後、通知マネージャ２０２は、ユーザーのコンテクストと通知の詳細とに基づいて、使用する最適な装置を決定する。一部の実施形態において、通知マネージャ２０２はユーザーの注意を、例えば長い電子メールが受信された時はラップトップへと、短いテキストメッセージの場合はスマートフォン、又はその他の使用可能な「スクリーン」へと向けさせる。一方で、例えばテレビで映画を観る、といった主要タスクとは無関係な短い通知の場合は、通知マネージャ２０２はユーザーの注意をグーグルグラスのディスプレイへと向けさせることができる。

一部の実施形態において、通知マネージャ２０２は、多様な触覚装置上に触覚効果を生成して、要求されるキュー情報を提供することができる。例えば、一部の実施形態において、通知システム２００はウェアラブルな装置を含み、触覚ディスプレイは別の場所にいるユーザーの身体に装着された通知システム２００の一部であるか、もしくは単にユーザーの環境内の装置の一部である（ただし通知マネージャ２０２の管理下であるもの）（例えば、スマートフォン２０４、スマートウォッチ２０６等）。触覚効果は振動、又は、圧迫や突き等その他の刺激の形をとってよい。

一部の実施形態において、通知マネージャ２０２は直感的な方法で触覚キューを提供する。例えば、方向性キューはユーザーの注意を、視界の中のターゲット装置が含まれる領域に向けさせることができる。一部の実施形態において、例えば、ヘッドマウントディスプレイの右テンプルの振動は、通知を処理するために、ユーザーの右側にあるラップトップを使用すべきであることを示す。同様に、キューの場所も、どの装置を使用すべきかを示す場合がある。一部の実施形態において、選択された装置に最も近い触覚ディスプレイ上に振動が生起される。例えば、リストバンドの振動は、そちらの手を伸ばして近くのスマートフォンを握るよう示唆する場合がある。

一部の実施形態において、通知システム２００は、ユーザーによって学習されることのできる言語を用いて抽象的な触覚キューを生成できる。例えば別々の装置が、別々の触知性アイコンに関連付けられることができる。複雑な通知も、効果のプロパティ（長さ等）においてコード化し、これにより、コンピュータ２０８又はスマートフォン２０４のどちらがより適切かを示すことができる。例えば長い電子メールは長い振動をトリガーするようにしてよく、これは、この電子メールを読むために、ユーザーをスマートフォン２０４ではなくコンピュータ２０８に向けさせるほうがより適切であると示すものである。

一部の実施形態において、通知マネージャ２００は、どの装置がその触覚フィードバックを生成したとしても、関連する通知が同じように感じられるよう、触覚フィードバックを生起する。例えば、一実施形態において、スマートウォッチとスマートフォンのいずれかに向けられた電子メールの通知は、それぞれ、手首の圧迫又は電話の振動を用いて生成されてよい。このような実施形態において、通知マネージャ２００はこれらの触覚効果の強度とリズムを合わせて、これらの通知の両方が電子メールに関連していることを示すことができる。

一部の実施形態において、通知マネージャ２０２はユーザーがアクセス可能な装置のエコシステム向けに通知を管理する（例えばスマートフォン２０４、スマートウォッチ２０６、及び／又はコンピュータ２０８）。一部の実施形態において、通知マネージャ２０２は、スマートウォッチやヘッドマウントディスプレイ（グーグルグラス等）のように、ユーザーが常時、又は長時間装着する装置である。スマートフォンはしばしばユーザーの身体に触れているか（ポケットなど）、もしくはすぐ手の届く場所に置かれることから、一部の実施形態において、通知マネージャ２０２はスマートフォンである。

一部の実施形態において、通知マネージャ２０２は、携帯機器、ウェアラブル、コンピュータ、テレビ、カメラ、マイク、その他のコンテクストセンサーのような別の装置と通信することで中央通知マネージャとして機能するヘッドマウントディスプレイである。

一部の実施形態において、通知マネージャ２０２は、通知の種類とターゲットディスプレイに基づいて、採用する最良の手段又は手段の組み合わせを決定する。例えば、このような実施形態において、ユーザーがターゲットディスプレイを現在見ている場合、通知マネージャ２０２は、ユーザーに現在のタスクから気を逸らせることなく視覚フィードバックを提供できる時には、音声又は触覚フィードバックよりも視覚フィードバックが適し得ると決定する。このような実施形態において、ターゲットディスプレイがユーザーの身体に接している時、通知マネージャ２０２は触覚フィードバックを通知に用いることができる。同様に、ターゲット装置がユーザーからすぐ手の届く場所にある場合、通知マネージャ２０２は、手首への触覚フィードバックが、ユーザーの注意を惹くために求められる手段であると決定できる。別の例において、装置が遠くにあり手が届かない場合、通知マネージャ２０２はその装置から音声を発生させてユーザーの注意を惹くことができる。また、タイミングに特別の配慮を行い、手段の組み合わせを用いることも可能である。例えば右手首での振動の後に、ユーザーの視界の右手側にある遠くの装置でかすかなビープ音又は光の明滅を発生させてもよい。このような例では、通知マネージャ２０２によって生成される触覚フィードバックが、広い範囲へとユーザーの注意を向けさせることができ、視覚又は音声フィードバックが、注意を求めている装置そのものを示している。

一部の実施形態において、通知マネージャ２０２は離れた場所にあるが、ユーザーの近くにある装置と通信している。例えば、一部の実施形態において、通知マネージャ２０２は、ユーザーの注意を最適な装置へ向けさせるためにユーザーの通知ストリームを管理するクラウドサービスである。一部の実施形態において、通知マネージャ２０２は、１つの装置が通知の全制御を担うのではなく、全ての装置が協働して最適な装置にユーザーの注意を惹くようにするために、ユーザーの環境内にある別々の装置間で分散されている。

図３は、本発明の一実施形態に係るシステムによって実行される触覚設計機能のフロー図である。一実施形態において、図３の機能はメモリ、もしくはその他のコンピュータ読み取り可能媒体に格納されたソフトウェアによって実装され、プロセッサによって実行される。本実施形態において、各機能は触覚通知管理モジュール（図１の触覚通知管理モジュール１６等）によって行われ得る。別の実施形態において、各機能はハードウェア（例えば、特定用途向けＩＣ（ＡＳＩＣ）、プログラム可能ゲートアレイ（ＰＧＡ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等を用いる）又はハードウェアとソフトウェアとの任意の組み合わせによって行われ得る。

実施形態によると、フローは３０２において通知イベントを検出することによって開始する。モジュール１６は通知イベントを検出できる、もしくは、モジュール１６はユーザー装置から通知イベントを受信できる。一部の実施形態において、図２の２０４−２０８のようなユーザー装置は通知をモジュール１６へ送信し、モジュール１６はその後、本稿に記載のとおりユーザー通知を管理する。モジュール１６は検出された通知イベント、ユーザーコンテクスト、及び、触覚フィードバックと通知に利用可能な装置、を分析可能である。フローは３０４に続く。

３０４において、モジュール１６は、ユーザーの注意を向けさせるのに最適なディスプレイを決定する。モジュール１６はユーザーの注意を正確に誘導する方法を知的に決定できる。モジュール１６は、例えば通知の性質、利用可能なディスプレイ、ユーザーが行っている現在のタスク／アクティビティ、利用可能なディスプレイのユーザーに対する近接度、通知に関連付けられたプライバシーレベル、及びあらかじめ決定された通知の優先度、を含む通知のコンテクストに基づいて、特定の通知に最適なディスプレイを決定できる。

例えば、一部の実施形態において、モジュール１６は通知又はそれに関連するイベントの性質を決定する。モジュール１６は、一般的なデータ又はユーザーの行動から学習されたデータのいずれかに基づいて、可能性のあるイベントと、特定の通知イベントを処理するのに最適な装置の可能性とが関連付けられたデータベースに接続できる。モジュール１６はまた、自然言語処理によってテキストメッセージの文脈を決定する、イベントがユーザーの現在のタスク又はコンテクストとどのように関連しているかを決定する、などの人工知能を実行可能である。

一部の実施形態において、モジュール１６は、ユーザーの環境内で利用可能な装置、例えばコンピュータ、ラップトップ、タブレット、スマートフォン、スマートウォッチ、ヘッドマウントディスプレイ等、を把握している。モジュール１６は各装置の、ユーザー（及び／又は利用可能な触覚装置）との相対的な現在地を検出及び把握できる。例えば、モジュール１６は、適切な方向性キューを提供できるよう、ユーザーがコンピュータの前に座っており、スマートフォンがユーザーの右側に置かれていることを把握するように、ユーザーの環境を監視できる一部の実施形態において、このような監視はコンピュータビジョン技術を用いて、例えばヘッドマウントディスプレイからの映像又は３Ｄカメラ２１４等の深度カメラからの３Ｄマップを分析することによって、行われる。一部の実施形態において、このような監視は、装置間の相対距離を決定するために、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉのような装置間通信の信号強度を分析することによって行われる。一部の実施形態において、このような監視は、位置を決定可能な計装環境（ｉｎｓｔｒｕｍｅｎｔｅｄ ｅｎｖｉｒｏｎｍｅｎｔ）で（例えば室内位置決め（ｉｎｄｏｏｒ ｐｏｓｉｔｉｏｎｉｎｇ）技術を用いて）行われる。

一部の実施形態において、モジュール１６はユーザーが現在行っているタスクと、ユーザーの注意の現在の状況を監視及び把握可能である。例えば、一部の実施形態において、モジュール１６は装置のエコシステムを監視して、どの装置が現在操作されているか、及び装置がどの機能を現在実行しているかを決定する。例えば、モジュール１６はユーザーがコンピュータ２０８上でＷｏｒｄ文書をタイピング中であること、もしくは、タブレットで映画を観ていること、を決定する。一部の実施形態において、モジュール１６はユーザーがどこを見ているかも決定する。ユーザーが注意を払っている対象が、テレビで上映中の映画なのか、それとも手に持った電子書籍リーダーなのかを決定するために、例えば視線追跡技術が用いられてよい。

一部の実施形態において、モジュール１６は、ユーザーが現在接触している装置、例えば触覚フィードバック機能を有する装置、を把握している。例えば、ユーザーがスマートフォン上に手を置いており、つまりユーザーがスマートフォンからの触覚フィードバックを受け取れることを決定するために、静電容量式検知を用いてよい。

一部の実施形態において、モジュール１６は通知に関連するプライバシー要件、ならびに、ユーザーの環境内にある別々の装置がそれをサポートしているかどうかを把握している。例えば、プライベートなテキストメッセージは、技術的にはテレビにもスマートフォンにも表示可能だが、他の人もテレビを見ている場合には、後者のほうがより適切だろう。一部の実施形態において、ビデオカメラ２１０等のセンサーとコンピュータビジョンアルゴリズムとを用いてユーザーの環境が決定される。

一部の実施形態において、モジュール１６は、現在のコンテクスト及び／又は受信される通知の性質に基づいて通知の優先順位付けを行う。一部の実施形態において、モジュール１６は、通知が行われる場合に、決定された優先順位と、表示にどの触覚装置が用いられるかと、に基づいて、特定の通知にどの触覚フィードバックが用いられるかを決定する。例えば、モジュール１６は、重要な電話の場合はスマートフォンへとユーザーの注意を惹き、重要度の低い受信メールは無視することを選択し得る。触覚フィードバックは、重要なメッセージについては強い振動というように、通知の重要性に基づいて選択することも可能である。通知は、より適切な時間へと遅延されることもある。例えば、ユーザーは、重要な電話を終えた後で、緊急でないメールについて通知されることが可能である。

３０６において、モジュール１６はその通知にとって最適な装置へとユーザーの注意を向けさせる触覚効果を含む触覚効果通知を生成する。一部の実施形態において、触覚効果通知は通知マネージャ２０２そのものに搭載されたアクチュエータ、例えばヘッドマウントディスプレイの場合の振動アクチュエータ、によって生起される。追加で、または別法として、触覚効果通知は、通知マネージャ２０２がリモートで制御する他の触覚表示装置（スマートフォン２０４、スマートウォッチ２０６、コンピュータ２０８、ウェアラブル、又はその他のモバイル装置）、例えばスマートウォッチ２０６及び／又はスマートフォン２０４内の振動アクチュエータ、によって生起される。生起された触覚効果通知は、振動及び変形を含む、任意の形式をとってよい。変形は、快く邪魔にならない通知を提供するために特に有用である。

各触覚効果は、強度、周波数、期間を含む高レベルのパラメータによって定義されてよい。触覚効果通知は実際の触覚信号そのもの（すなわち触覚パラメータ）を含んでよく、もしくは、受信側の触覚出力装置（例えば、スマートフォン２０４、スマートウォッチ２０６、コンピュータ２０８、ウェアラブル、又はその他の携帯機器）のプロセッサがメモリから触覚信号を取得するか、触覚信号を生成できるよう、触覚効果の識別情報や機能を含んでよい。

一実施形態において、触覚効果パラメータはローカルメモリから取得され、アクチュエータ又はその他の種類の触覚出力装置へと送信されるモータ信号に変換される。アクチュエータはその後、振動触覚効果、又は上述した任意の他の種類の触覚効果を生成する。触覚効果は、触覚効果の識別情報又はパラメータが通知マネージャ２０２から受信されると直ちに生成され得る、もしくは、タイミングは所定の時間遅延されてよい。

同じ実施形態において、モジュール１６は直感的にユーザーの注意を特定の方向、もしくは特定の機器へ向けさせるために触覚効果を生成する。例えば、両手首の振動アクチュエータは、いずれかの手に最も近い装置へとユーザーの注意を向けさせるために用いられてよい。ユーザーの注意を要求する装置は、ユーザーの身体に接触した場合に振動するものであってもよい。一部の実施形態において、フィードバックは、振動源に頭を向けさせる等、適切な反応を自然に引き起こすために生成される。

一部の実施形態において、通知マネージャ２０２は連続するフィードバック、連続する通知、又は触覚フローを生成するように構成される。このような実施形態において、例えばリストバンドは、腕の長手軸に沿って３つのアクチュエータを有してよい。順に起動されると、これらのアクチュエータは手又は肩に向かうフローの認知を作り出すことができる。このような効果は、例えば特定の装置に向けてなど、特定の方向に注意を向けさせるために用いられてよい。これらの効果のタイミングによって、その他のプロパティを示すこともできるだろう。例えば高速の進行は、ターゲットディスプレイが近くにあることを閉めし、低速の進行は、遠くにあるディスプレイを示すことができる。

一部の実施形態において、モジュール１６は、より抽象的で、フィードバック効果とその意図との間の学習された関連付けに依存する触覚効果を生成する。例えば、モジュール１６は、スマートウォッチ、スマートフォン、コンピュータ等の異なる装置へとユーザーの注意を向けさせるために、異なる触覚効果を生成してよい。

上述のフローを解説するために、以下の例が提供される。

例１：アリスは徒歩で職場に向かっている間、スマートウォッチに振動を受信する。彼女は素早くスマートウォッチを一瞥し、ポケットからスマートフォンを取り出すほどの重要性はないことを確認する。スマートウォッチでは読むことができない長い電子メールを受信していたとしたら、スマートフォンが振動していただろう。

例２：ボブはテレビで映画を見ているが、映画には注意を払わず、その映画が撮影された場所についてスマートフォンで読んでいる。彼の通知マネージャは、自由時間を楽しんでいる彼を、緊急でない仕事のメールによって邪魔しないことを選択する。ただし、妻からの重要なメールを受信したときには、現在彼の注意が向けられているスマートフォンに通知が送られる。

例３：カーティスがコンピュータの前に座っていると、友人から電話がかかってくる。彼はコンピュータから電話に応答することもできるが、長い会話にはスマートフォンを使うことを好む。これを把握し、かつ、この発呼者とは普段から長い会話をすることを把握していることから、通知マネージャは彼の注意を、背後のテーブルに置かれた電話に向けさせることを選択する。マネージャはアクチュエータを用いてカーティスの肩を優しく突き（スマートベスト等の、アクチュエータを備えたウェアラブル）、振り返らせて電話が点滅していることを確認させる。

例４：ダンはラップトップで作業中、右手首に装着した触覚ブレスレットに圧迫を感じる。彼は右手を伸ばして近くにある電話を手に取ると、新規テキストメッセージが受信されている。

ユーザーの注意を、自動車、トラック、飛行機、ヘリコプター、バイク等の車両内で他のディスプレイへ向けさせるために、 他の実施形態が用いられてよい。これらのディスプレイには、ヘッドマウントディスプレイ（グーグルグラス等）、ウェアラブルな装置（フィットネスバンドやスマートウォッチ）、携帯機器（スマートフォンやタブレット）等の、運転手や乗客が車両に持ち込む装置が含まれてよい。これらのディスプレイには更に、ダッシュボードに取り付けられたグローバルポジショニングシステム（ＧＰＳ）装置、ダッシュボード、バックミラー、サイドミラー、もしくは車両内のその他の場所に一体化されたディスプレイ、路面に情報を投影するヘッドアップディスプレイ、ラジオ、現在の状態を表示できる任意のその他の装置（オン／オフ表示のあるスイッチ）といった車両内のその他の装置が含まれてよい。パトカー、救急車、消防車、タクシー等の一部の特殊車両も、実施形態がユーザーの注意を向けさせることのできる、ラップトップコンピュータ、通信装置、料金計等の特殊なディスプレイを含み得る。

車両に係る実施形態における注意キューは、上述の実施形態と同様に、触覚、音声、又は視覚フィードバックによって提供されてよい。触覚フィードバックは、ヘッドアップディスプレイやスマートウォッチ等の上述の装置のうちの１つによって提供されてよい。また、車両、例えばハンドル、座席、アームレスト、ヘッドレスト、もしくは運転者や乗客の身体が接触するその他の場所、に搭載された触覚アクチュエータによって提供されてもよい。これらの実施形態は、ユーザーの身体との接触、例えばハンドルに置かれた手、を検出する機構を含み得る。触覚フィードバックは、車両に搭載された投射型の触覚アクチュエータ（例えば空気渦又は超音波圧力波）で生起されてもよい。フィードバックは特定のディスプレイへと注意を向けさせるべきである。例えばハンドルの右手側における振動は、中央コンソール上の車内インフォテインメントシステムへと注意を向けさせることができる。

更に、一部の実施形態において、ユーザーの注意を惹く通知用に選択されたディスプレイは、車両の目的と、車両の走行環境に特化されてよい。例えば、通知はテキストメッセージ、電子メール、交通状況や事故によるルート変更（またはルート変更の提案）、もしくは特殊な運転者（消防士やタクシー運転手）の状況の変化や任務の割り当て、についての情報を提供し得る。これらの通知は、通知をより邪魔にならないようにし、また、最善のディスプレイに直ちに目を向けさせることにより運転中に重要な情報をより効果的に入手できるようにすることで、運転エクスペリエンスや安全性を向上できる。

実施形態は、運転中又は車両の停車中いずれかに用いられてよい。実施形態は、このコンテクストを把握でき、適切に注意を向けさせる。例えば停車中はスマートフォンへと注意が向けられてよいが、運転中には中央コンソールへと向けられてよい（もしくは通知を待機させて後で送ってもよい）。通知マネージャは複数の乗客の存在を把握して、最適な人物へと通知を送ることができる。例えば、ナビゲーションシステムが前方の交通状況の変化を検出した場合には、運転者の注意を、車両の中央コンソールに表示されたショートメッセージへ向けさせてルート変更を簡潔に知らせつつ、乗客の注意をタブレットに向けさせ、交通状況についての詳細情報と代替ルートを表示することができる。

図４は、本発明の一実施形態に係る情動触覚（ａｆｆｅｃｔｉｖｅ ｈａｐｔｉｃ）通知４００を図示する。情動触覚通知４００は、例えばソーシャルネットワーク上のユーザーの投稿に対する誰かの「好き」や「嫌い」という反応等、メッセージの感情的コンテンツを強化するための情動触覚効果を含む（例えばグーグルグラスのＰａｔｈアプリ）。情動触覚効果は、通知又はメッセージの感情的コンテンツを、ユーザーが内容を見なくても判別可能にするよう適応される。例えば、投稿に「好き」という反応が得られた際には第１の種類の触覚効果が用いられてよく、「嫌い」という反応が得られた際には別の第２の種類の触覚効果が用いられてよい。

情動触覚効果は、異なる触覚効果に対するユーザーの感情的反応を用いるように適応される。例えば、連続する強い高周波振動は、厄介で不愉快なものとして感じられるだろう。一方、短いかすかな低周波振動は、快いものとして感じられるだろう。同様に、ゆっくりとした弱い手首の圧迫は快いものとして感じられるが、強い圧迫や、高速で連続する急激な圧迫、急激に弾くような圧迫は、不愉快な感覚を与えるだろう。これらの感情的反応を、ソーシャルネットワーク上の投稿への肯定的又は否定的反応、メッセージの送信者の感情状態といった、特定のコンテンツに関連付けることができ、図２の通知マネージャ２００のような通知マネージャは、この関連付けを決定して、上述のように、決定された関連付けに基づいて適切な情動触覚効果を生成するよう構成されてよい。

本稿において、具体的に描写及び／又は説明されているいくつかの実施形態において生成される通知は、触覚、音声、及び視覚効果のうち１以上の任意の組み合わせを含んでよいことが理解されるだろう。

上述のように、実施形態は、通知のコンテクストやその他の要素に基づいて、ユーザー通知用に最適なディスプレイを決定する通知マネージャを実装する。このようにして、ユーザーの注意を、通知を確認するのに最適なディスプレイへと向けさせることができる。

いくつかの実施形態が、本稿において具体的に図示及び／又は記載されている。しかしながら、開示された実施形態の変形及び変異が、本発明の精神及び意図される範囲から逸脱することなく、上述の記載によって網羅され、添付される請求の範囲に包含されることが理解される。

Claims (29)

1. プロセッサによって実行された際、前記プロセッサにユーザーへの通知を管理させる命令が格納されたコンピュータ読み取り可能媒体であって、前記管理は、
   通知イベントを検出すること、
   前記通知イベントのコンテクストを決定すること、
   決定された前記コンテクストと１以上の利用可能なディスプレイとに基づいて前記通知イベントのターゲット装置を決定すること、及び
   前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成すること、
   を含む、コンピュータ読み取り可能媒体。
2. 請求項１に記載のコンピュータ読み取り可能媒体であって、前記通知は、前記ユーザーの注意を前記ターゲット装置に向けさせるために振動を生成するように構成された触覚効果である、コンピュータ読み取り可能媒体。
3. 請求項１に記載のコンピュータ読み取り可能媒体であって、前記通知は、前記ユーザーの注意を前記ターゲット装置に向けさせるために視覚キューを生成するように構成された視覚効果である、コンピュータ読み取り可能媒体。
4. 請求項２に記載のコンピュータ読み取り可能媒体であって、前記触覚効果はアクチュエータによって生成される、コンピュータ読み取り可能媒体。
5. 請求項１に記載のコンピュータ読み取り可能媒体であって、前記コンテクストを決定することは、
   前記通知の性質を決定すること、
   前記１以上の利用可能なディスプレイを決定すること、
   前記ユーザーによって行われている現在のタスクを決定すること、
   利用可能なディスプレイそれぞれのユーザーに対する近接度を決定すること、
   前記通知イベントに関連付けられたプライバシーレベルを決定すること、及び
   前記通知イベントの優先度を決定すること、
   を含む、コンピュータ読み取り可能媒体。
6. 請求項５に記載のコンピュータ読み取り可能媒体であって、前記通知の前記性質を決定することは、自然言語処理を実行することを含む、コンピュータ読み取り可能媒体。
7. 請求項５に記載のコンピュータ読み取り可能媒体であって、前記ユーザーによって行われている現在のタスクを決定することは、前記ユーザーの注意がどこに向けられているかを決定するために視線追跡を実行することを含む、コンピュータ読み取り可能媒体。
8. 請求項５に記載のコンピュータ読み取り可能媒体であって、前記利用可能なディスプレイそれぞれのユーザーに対する近接度を決定することは、ヘッドマウントディスプレイからの映像を分析することを含む、コンピュータ読み取り可能媒体。
9. 請求項５に記載のコンピュータ読み取り可能媒体であって、前記利用可能なディスプレイそれぞれのユーザーに対する近接度を決定することは、装置間通信の信号強度を分析して装置間の相対距離を決定することと、計装環境で室内位置決めを行うことと、を含む、コンピュータ読み取り可能媒体。
10. 請求項１に記載のコンピュータ読み取り可能媒体であって、前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成することは、方向性を持った経路で前記ユーザーの注意を誘導するために連続する通知を生成することを含み、前記方向性を持った経路は前記ターゲット装置を指し示す、コンピュータ読み取り可能媒体。
11. 請求項１に記載のコンピュータ読み取り可能媒体であって、前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成することは、予め定義された共通種類の通知を生成することを含み、
    前記予め定義された共通種類の通知は、前記１以上の利用可能なディスプレイのうち別々のディスプレイ上で生成された際にも、同様の体験を前記ユーザーに提供するように構成された、１以上の予め定義された通知を含む、コンピュータ読み取り可能媒体。
12. ユーザーへの通知を管理するための、コンピュータに実装された方法であって、
    通知イベントを検出すること、
    前記通知イベントのコンテクストを決定すること、
    決定された前記コンテクストと１以上の利用可能なディスプレイとに基づいて前記通知イベントのターゲット装置を決定すること、及び
    前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成すること、
    を含む、前記コンピュータに実装された方法。
13. 請求項１２に記載のコンピュータに実装された方法であって、前記通知は、前記ユーザーの注意を前記ターゲット装置に向けさせるために振動を生成するように構成された触覚効果である、コンピュータに実装された方法。
14. 請求項１２に記載のコンピュータに実装された方法であって、前記通知は、前記ユーザーの注意を前記ターゲット装置に向けさせるために視覚キューを生成するように構成された視覚効果である、コンピュータに実装された方法。
15. 請求項１３に記載のコンピュータに実装された方法であって、前記触覚効果はアクチュエータによって生成される、コンピュータに実装された方法。
16. 請求項１２に記載のコンピュータに実装された方法であって、前記コンテクストを決定することは、
    前記通知の性質を決定すること、
    前記１以上の利用可能なディスプレイを決定すること、
    前記ユーザーによって行われている現在のタスクを決定すること、
    利用可能なディスプレイそれぞれのユーザーに対する近接度を決定すること、
    前記通知イベントに関連付けられたプライバシーレベルを決定すること、及び
    前記通知イベントの優先度を決定すること、
    を含む、コンピュータに実装された方法。
17. 請求項１６に記載のコンピュータに実装された方法であって、前記通知の前記性質を決定することは、自然言語処理を実行することを含む、コンピュータに実装された方法。
18. 請求項１６に記載のコンピュータに実装された方法であって、前記ユーザーによって行われている現在のタスクを決定することは、前記ユーザーの注意がどこに向けられているかを決定するために視線追跡を実行することを含む、コンピュータに実装された方法。
19. 請求項１６に記載のコンピュータに実装された方法であって、前記利用可能なディスプレイそれぞれのユーザーに対する近接度を決定することは、ヘッドマウントディスプレイからの映像を分析することを含む、コンピュータに実装された方法。
20. 請求項１６に記載のコンピュータに実装された方法であって、前記利用可能なディスプレイそれぞれのユーザーに対する近接度を決定することは、装置間通信の信号強度を分析して装置間の相対距離を決定することと、計装環境で室内位置決めを行うことと、を含む、コンピュータに実装された方法。
21. 請求項１２に記載のコンピュータに実装された方法であって、前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成することは、方向性を持った経路で前記ユーザーの注意を誘導するために連続する通知を生成することを含み、前記方向性を持った経路は、前記ターゲット装置を指し示す、コンピュータに実装された方法。
22. 請求項１２に記載のコンピュータに実装された方法であって、前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成することは、予め定義された共通種類の通知を生成することを含み、
    前記予め定義された共通種類の通知は、前記１以上の利用可能なディスプレイのうち別々のディスプレイ上で生成された際にも、同様の体験を前記ユーザーに提供するように構成された、１以上の予め定義された通知を含む、
    コンピュータに実装された方法。
23. 通知管理モジュールを格納するよう構成されるメモリ装置と、
    前記メモリ装置と通信する処理装置であって、前記メモリ装置に格納された前記通知管理モジュールを実行してユーザーへの通知を管理するように構成される処理装置と、を含み、前記管理は、
    通知イベントを検出すること、
    前記通知イベントのコンテクストを決定すること、
    決定された前記コンテクストと１以上の利用可能なディスプレイとに基づいて前記通知イベントのターゲット装置を決定すること、及び
    前記ユーザーの注意を前記ターゲット装置に向けさせるために、前記１以上の利用可能なディスプレイのうち１以上に通知を生成すること、
    を含む、システム。
24. 請求項２３に記載のシステムであって、前記通知は、前記ユーザーの注意を前記ターゲット装置に向けさせるために振動を生成するように構成された触覚効果である、システム。
25. 請求項２３に記載のシステムであって、前記通知は、前記ユーザーの注意を前記ターゲット装置に向けさせるために視覚キューを生成するように適応された視覚効果である、システム。
26. 請求項２４に記載のシステムであって、前記触覚効果はアクチュエータによって生成される、システム。
27. 請求項２３に記載のシステムであって、前記コンテクストを決定することは、
    前記通知の性質を決定すること、
    前記１以上の利用可能なディスプレイを決定すること、
    前記ユーザーによって行われている現在のタスクを決定すること、
    利用可能なディスプレイそれぞれのユーザーに対する近接度を決定すること、
    前記通知イベントに関連付けられたプライバシーレベルを決定すること、及び
    前記通知イベントの優先度を決定すること、
    を含む、システム。
28. 請求項１２に記載の方法であって、前記ユーザーは、複数のユーザーのうちの１人であり、前記ターゲット装置を決定することは、前記複数のユーザーから前記ユーザーを決定することを含む、方法。
29. 請求項２８に記載の方法であって、前記複数のユーザーは、車両の乗員であり、前記複数のユーザーから前記ユーザーを決定することは、少なくとも、前記複数のユーザーのうちの操縦者の決定に基づく、方法。