JP2015531932A - マルチモードフィードバックでイメージを認識するシステム及び方法 - Google Patents

Abstract

本発明は、イメージに対するフィードバック効果を提供する方法に関し、システム及びコンピュータ可読記録媒体が提供される。その方法は、イメージ区域で１つ以上の特徴を確認するステップを含む。また、その方法は、確認された１つ以上の特徴を複数のフィードバック効果様態（ｍｏｄａｌｉｔｉｅｓ）のうち少なくとも１つにマッピングするステップを含む。また、その方法は、イメージ区域に該当するユーザ入力座標に応じてイメージに関連づけられたユーザインタフェースが複数のフィードバック効果様態のうち少なくとも１つをユーザに提供するように、フィードバック効果の出力のためのパラメータを生成し、生成されたパラメータをイメージに関連づけて保存するステップを含む。複数のフィードバック効果様態は、１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果、及び１つ以上のオーディオフィードバック効果を含む。

Description

本発明は、一般にイメージ認識に関し、特にマルチモードフィードバックでイメージを認識することに関する。

写真、グラフィック、及び背景のようなイメージは、一般に静止画ビューを介して電子装置のユーザインタフェースのみで認識される。近年、増加している数多くのコンシューマ電子装置はタッチスクリーン、スピーカ及び触覚（ｈａｐｔｉｃ）フィードバックを提供する機能を含む。触覚フィードバックは、振動又はモーション（ｍｏｔｉｏｎ）のような動きを使用するタッチ感覚を介してユーザに提供されるフィードバックである。

したがって、マルチモードフィードバックの使用によってイメージ認識を向上する必要がある。

本発明の目的は、マルチモードフィードバックでイメージを認識するシステム及び方法を提供することにある。

一実施形態において、イメージに対するフィードバック効果を提供する方法が提供される。その方法は、イメージ区域で１つ以上の特徴を確認するステップを含む。その方法は、確認された１つ以上の特徴を複数のフィードバック効果様態（ｍｏｄａｌｉｔｉｅｓ）のうち少なくとも１つにマッピング（ｍａｐｐｉｎｇ）するステップを含む。また、その方法は、イメージ区域に該当するユーザ入力座標に応じてイメージに関連づけられたユーザインタフェースが複数のフィードバック効果様態のうち少なくとも１つをユーザに提供するようにフィードバック効果の出力のためのパラメータを生成し、生成されたパラメータをイメージに関連づけて保存するステップを含む。複数のフィードバック効果様態は、１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果、及び１つ以上のオーディオフィードバック効果を含む。

別の実施形態において、イメージに対するフィードバック効果を提供するシステムが提供される。そのシステムは、少なくとも１つのプロセッサ及びプログラムコードを保存する少なくとも１つのストレージ装置を含む。そのプロセッサは、イメージ区域から１つ以上の特徴で確認するプログラムコードを実行し、１つ以上の確認された特徴を複数のフィードバック効果様態のうち少なくとも１つにマッピングし、イメージ区域に該当するユーザ入力座標に応じてイメージに関連づけられたユーザインタフェースが複数のフィードバック効果様態のうち少なくとも１つをユーザに提供するようにフィードバック効果の出力のためのパラメータを生成し、イメージに関連づけて生成されたパラメータを保存する。

さらに別の実施形態において、イメージに対するフィードバック効果を提供するプログラムコードを具現する非一時的コンピュータ可読記録媒体が提供される。コンピュータ可読記録媒体は、イメージ区域で１つ以上の特徴を確認するステップに対するプログラムコードを含む。また、コンピュータ可読記録媒体は、確認された１つ以上の特徴を複数のフィードバック効果様態のうち少なくとも１つにマッピングするステップに対するプログラムコードを含む。また、コンピュータ可読記録媒体は、イメージ区域に該当するユーザ入力座標に応じてイメージに関連づけられたユーザインタフェースが複数のフィードバック効果様態のうち少なくとも１つをユーザに提供するようにフィードバック効果の出力のためのパラメータを生成し、生成されたパラメータをイメージに関連づけて保存するステップに対するプログラムコードを含む。

下記の詳細な説明を作成する前に、本願文書全体にわたって使用される単語及び句について定義することが有利であろう。用語「又は」は、包括的な（ｉｎｃｌｕｓｉｖｅ）意味であって、「及び／又は」を意味する。句「…と関連付けられた」、「…その中で関連付けられる」及びその派生語らは、「含む」、「…の内で含む」、「互いに接続する」、「含有する」、「…の内で含有する」、「…に、あるいは…と接続される」、「…に、あるいは…と結合される」、「…と通信可能である」、「…と協力する」、「挟む」、「並置する」、「隣接する」、「…に、あるいは…と縛られる」、「持つ」、「…の特性を持つ」などを意味し得る。そして、用語「制御器」は、少なくとも１つの動作を制御する任意の装置、システム、又はその一部を意味し、そのような装置は、ハードウェア、ファームウェアもしくはソフトウェア、又はそれらの少なくとも２つの組み合わせで具現化することができる。任意の特定の制御部に関連づけられた機能は、ローカル又はリモートに集中化又は分散化することができる。特定の単語及び句に対する定義は、本特許文書全般にわたって提供されるものであって、本発明の属する技術分野における当業者は、ほとんどの場合ではないとしても、多くの場合、そのように定義された単語及び句の今後の使用だけでなく、従来にも適用されるということを理解すべきである。

本発明及びその長所に対するより完全な理解のために添付された図面を参照して次の詳細な説明が行われる。図面における同じ符号は同じ構成要素を示す。
本発明の様々な実施形態を具現するために使用され得る電子装置を示した図である。 本発明の様々な実施形態によるイメージに対するフィードバック効果を生成するシステムを示した図である。 図２に示すシステムにおける再均衡モジュール（ｒｅｂａｌａｎｃｉｎｇ ｍｏｄｕｌｅ）の例示的な実施形態を示した図である。 本発明の様々な実施形態による潜在的なテクスチャ値に基づいてイメージパッチを分類するプロセスを示したフローチャートである。 本発明の例示的な実施形態による粗悪度（ｃｏａｒｓｅｎｅｓｓ）、コントラスト（ｃｏｎｔｒａｓｔ）及び勾配（ｇｒａｄｉｅｎｔ）に対する平均値によって分類された他のクラスタからのパッチを示した図である。 本発明の例示的な実施形態によるテクスチャ（ｔｅｘｔｕｒｅ）マップ、強度（ｉｎｔｅｎｓｉｔｙ）マップ、及びカラーマップに抽出された入力イメージの例を示した図である。 本発明の例示的な実施形態によるイメージに対するユーザタッチに応じて提供されたフィードバック効果を示した図である。 本発明の例示的な実施形態によるイメージに対するユーザタッチに応じて提供されたフィードバック効果を示した図である。 本発明の例示的な実施形態によるイメージで波及効果（ｒｉｐｐｌｅ ｅｆｆｅｃｔ）を示した図である。 本発明の例示的な実施形態によるイメージでグロー効果（ｇｌｏｗ ｅｆｆｅｃｔ）を示した図である。 本発明の例示的な実施形態によるイメージでブラー効果（ｂｌｕｒ ｅｆｆｅｃｔ）を示した図である。 本発明の例示的な実施形態による抽出されたイメージ特徴とフィードバック効果との間の例示的なマッピングを示した図である。 本発明の例示的な実施形態による携帯電話のためのユーザインタフェースに表示されたイメージを示した図である。 本発明の様々な実施形態によるイメージに対するフィードバック効果を生成するプロセスを示した図である。 本発明の様々な実施形態によってイメージフィードバック効果をユーザに提供するプロセスを示した図である。

以下で図示された図１乃至１２及び本明細書で本発明の原理を記述するために使用される様々な実施形態は単に説明のためのものであって、本発明の範囲を制限するものとして解釈されてはならない。本発明の原理は任意の適切に配置されたシステム又は装置で具現され得ることが当業者にとって自明である。

本発明の様々な実施形態は、触覚（ｈａｐｔｉｃ）フィードバック（ｆｅｅｄｂａｃｋ）が、特に、例えば、ノイズ環境で生産性を増加させることができることを認める。また、本発明の様々な実施形態は、触覚フィードバックが包まれるような感覚経験をやり取りするためのイメージのような視覚的コンテンツコンテキストに拡張されることができることを認める。イメージは、所望する場合、経験を思い出させる視覚的媒体で現在の感覚経験を維持する。しかし、場面での聴覚、タッチ及び他の感覚コンテンツはこの過程で捨てられる。感覚経験の一部は視覚、聴覚及び触覚効果が集中したアプリケーションを介してイメージを見る際に再度作られることができる。例えば、本発明の実施形態は、触覚フィードバックの強度をプローブの（ｐｒｏｂｅ）形状、ユーザが仮想表面でプローブを動かす速度及び仮想表面の形状に基づいて認識する。本発明の実施形態は、イメージに対する触覚フィードバックを結合しようとする既存のアプローチの限界が他の種類の触覚フィードバック結合の有効性を評価するための触覚及びユーザ研究の不足以外にも視覚及び聴覚効果の同時結合が不足していたことにあったことを認める。

また、本発明の様々な実施形態は、聴覚フィードバックがイメージ認知を向上させることができることを認める。例えば、聴覚フィードバックは、ユーザが画面で特別な種類のテクスチャをタッチする時、特別な音を発生するシステムを含む。本発明の実施形態は、そのようなシステムの限界が計算の複雑度にあることを認める。例えば、計算の複雑度は生成された様々な声を制限する場合がある。また、本発明の様々な実施形態は、視覚フィードバックが視覚的コンテンツを変更してイメージ認識を向上しようとするアプローチを含むことを認める。本発明の実施形態は、触覚及びオーディオのように視覚フィードバックシステムが拡張された手動調整が必要であることを認める。

よって、本発明の実施形態は、表示されたイメージに関連づけられたアプリケーションを利用したりイメージを見ているユーザに視覚、触覚及び所望の（例えば、自然的な及び／又は魅力的な）感覚フィードバックを提供するための他の感覚効果の調和を提供する。様々な実施形態は、ユーザがイメージの他の部分をタッチしている間、例えば、タッチに敏感なディスプレイユニットを使用して正常なイメージビューを超えた聴覚、視覚、及び触覚フィードバックをユーザに提供する。聴覚効果はユーザがイメージの特定の領域で指をタッチしたり動かしている間、特定の音を再生することを含む。触覚効果とも呼ばれる触覚効果は、ユーザがイメージの特定の領域で指をタッチしたり動かしている間、合成された触覚フィードバックを再生することを含む。触覚フィードバックの例としては、ハンドヘルド（ｈａｎｄｈｅｌｄ）装置で一般に使用できる触覚振動のオン−オフシーケンスがある。他のオン−オフパターンを有する他の振動シーケンスは振動を経験したユーザに他の感覚反応を引き出す。一方、視覚的効果は、例えば、ユーザがイメージをタッチしているポイント周辺を表示するイメージ区域のカラー及び強度を変更して視覚的コンテンツを変更する。このような３種の形態のフィードバックと、できる限り他の形態が体系的に選択され、これに対するパラメータは、ユーザプロファイル、装置タイプなどのような様々な要因によって左右され、イメージコンテンツの感覚認知を向上させる。

図１は、電子装置１００に具現された様々な実施形態を説明する。図１の説明は他の実施形態が具現され得る方式を物理的又はアーキテクチャ的に制限することを意図しない。本発明の他の実施形態は、任意の適切に配置されたシステム又は装置で具現され得る。

図１は、本発明の様々な実施形態を具現するために使用され得る電子装置１００を示した図である。例えば、一部の実施形態において、電子装置１００は、タッチスクリーンが使用可能な装置であって、イメージに関連づけられた聴覚、視覚及び／又は触覚フィードバックを電子装置１００のユーザに提供する。一部の実施形態において、電子装置１００は、イメージの特徴を確認してイメージとともに提供される聴覚、視覚、及び／又は触覚フィードバックに対するパラメータを生成する。制限的でない例を挙げると、電子装置１００は、サーバ（ｓｅｒｖｅｒ）コンピュータ、個人用（ｐｅｒｓｏｎａｌ）コンピュータ、ラップトップ（ｌａｐｔｏｐ）コンピュータ、タブレット（ｔａｂｌｅｔ）コンピュータ、携帯電話（ｍｏｂｉｌｅ ｐｈｏｎｅ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＴＶなどである場合がある。

本例示的な実施形態において、電子装置１００は、アンテナ１０５、無線周波数（ＲＦ）トランシーバ１１０、送信（ＴＸ）処理回路１１５、マイク１２０及び受信（ＲＸ）処理回路１２５を含む。また、電子装置１００は、スピーカ１３０、プロセッサ１４０、入出力（Ｉ／Ｏ）インタフェース（ＩＦ）１４５、キーパッド１５０、タッチスクリーン１５５、及びメモリ１６０を含む。メモリ１６０は、基本オペレーティングシステム（ＯＳ）プログラム１６５をさらに含む。

本発明の有利な実施形態において、プロセッサ１４は、マイクロプロセッサ又はマイクロコントローラである。メモリ１６０は、プロセッサ１４０と結合される。本発明の有利な実施形態によれば、メモリ１６０の一部は、ランダムアクセスメモリ（ＲＡＭ）を含み、メモリ１６０の他の一部は、読み出し専用メモリ（ＲＯＭ）として動作するフラッシュメモリのような不揮発性メモリを含む。

プロセッサ１４０は、電子装置１００の全体動作を制御するためにメモリ１６０に保存された基本オペレーティングシステム（ＯＳ）プログラム１６５を実行する。そのような動作で、プロセッサ１４０は、周知の原理に従って、無線周波数（ＲＦ）トランシーバ１１０、受信処理回路１２５、及び送信処理回路１１５による順方向チャネル信号の受信及び逆方向チャネル信号の送信を制御する。

本例示的な実施形態において、また、電子装置１００は、スピーカ１３０、プロセッサ１４０、入出力（Ｉ／Ｏ）インタフェース（ＩＦ）１４５、キーパッド１５０、タッチスクリーン１５５、及びメモリ１６０を含む。メモリ１６０は、基本オペレーティングシステム（ＯＳ）プログラム１６５をさらに含む。

プロセッサ１４０は、メモリ１６０に常駐する他のプロセス及びプログラムを実行できる。様々な実施形態において、プロセッサ１４０は、フィードバックプログラム１７０のプログラムコードを実行してイメージに対する聴覚、視覚及び／又は触覚フィードバックを生成及び／又は提供する。プロセッサ１４０は、実行プロセスによって要求されるようにメモリ１６０へ／からデータを移動させることができる。また、プロセッサ１４０は、入出力（Ｉ／Ｏ）インタフェース１４５と結合される。Ｉ／Ｏインタフェース１４５は、電子装置１００とラップトップコンピュータ及びハンドヘルドコンピュータのような他の装置を接続する能力を提供する。Ｉ／Ｏインタフェース１４５は、該アクセサリ及びプロセッサ１４０の間の通信経路である。

また、プロセッサ１４０は、キーパッド１５０及びタッチスクリーン１５５と結合される。一部の実施形態において、電子装置１００のユーザはキーパッド１５０を使用して電子装置１００にデータを入力できる。別の実施形態において、電子装置１００は、タッチスクリーンを使用してユーザ入力を受信することができる。例えば、タッチスクリーン１５５は、例えば、抵抗式、又は静電容量式タッチプレートのようなタッチプレート及びディスプレイをすべて含むことができる。タッチスクリーン１５５でディスプレイは、例えば、テキスト及び／又は少なくともウェブサイトからの制限されたグラフィックをレンダリングできる液晶ディスプレイ、発光ダイオードディスプレイ及び／又は有機発光ダイオードディスプレイである場合がある。代案的な実施形態は、他のタイプのディスプレイを使用することができる。

触覚フィードバック装置１７５は、触覚フィードバックを提供する装置である。例えば、触覚フィードバック装置１７５は、モータを含んで電子装置１００に動き及び／又は振動を生成して電子装置１００のユーザに触覚フィードバックを提供する。センサ１８０は、電子装置１００が位置する環境の条件を感知するセンサである。制限的でない例を挙げると、センサ１８０は、近接センサ、光センサ又は電子装置１００が位置する環境の条件を感知する他の形態のセンサであり得る。様々な実施形態において、電子装置１００は、フィードバックタイプに対する制限条件の決定にセンサ１８０を使用してイメージとともに提供できる。

電子装置１００及びその中に含まれたコンポーネントに対する説明は例示的なものであって、本発明の原理に従って具現され得る様々な実施形態に物理的な又はアーキテクチャ的な制限を加えることを意図しない。例えば、必要な電子装置タイプによって、電子装置１００の実施形態は、図１に示す全てのコンポーネントを含まない場合もある。例えば、個人用コンピュータ、又はサーバコンピュータのようなコンピュータはＬＡＮ及びカードを使用して有線接続を介して通信することができ、例えば、アンテナ１０５、無線周波数（ＲＦ）トランシーバ１１０、送信（ＴＸ）処理回路１１５、マイク１２０及び／又は受信（ＲＸ）処理回路１２５のような無線通信素子を含まない場合がある。様々な実施形態において、電子装置１００は、マウスを使用するユーザからカーソル入力を受信できる、又は電子装置１００はキーパッド１５０を含まない場合がある。別の実施形態において、電子装置１００がイメージに対する聴覚、視覚及び／又は触覚フィードバックパラメータの生成のみを行う場合、電子装置１００は、センサ１８０及び／又は触覚フィードバック装置１７５を含まない場合がある。別の実施形態において、イメージを表示する電子装置１００は、提供され得るフィードバックタイプに対する物理的な制限を有する場合がある。例えば、そのような実施形態において、電子装置１００は、触覚フィードバック装置１７５を含まない場合があり、タッチスクリーンが使用可能ではない場合があり、スピーカ１３０を含まない場合がある。

図２は、本発明の様々な実施形態によるイメージに対するフィードバック効果を生成するシステム２００を示した図である。本例示的な実施形態において、システム２００は、特徴の抽出及びフィードバック効果の間のマッピングを介してイメージに対するフィードバック効果を生成する。システム２００は、例えば、図１に示す電子装置１００及びフィードバックプログラム１７０によって具現され得る。

本例示的な実施形態において、システム２００は、聴覚、視覚、触覚及び他の感覚効果に対するアプリケーション及び調和を提供して所望の（例えば、自然的な及び／又は魅力的な）感覚フィードバックをユーザに提供する。システム２００は、コンテンツ及びユーザインタラクション（ｕｓｅｒ ｉｎｔｅｒａｃｔｉｏｎ）のような入力を受信する入力モジュール２０５を含む。入力コンテンツは、グラフィック、写真、背景などのようなイメージを含むことができる。ユーザインタラクション入力は、タッチスクリーンへのユーザタッチ入力座標、又はマウスを使用したカーソル又はポインタ入力座標を含むことができる。システム２００は、イメージに対する理想的な認知を判断するための理想的な認知を確認するイメージ認知モジュール２１０を含み、表示されたイメージにある場面に実際に存在する観察者に対するシミュレーションを提供する。また、システム２００は、再均衡（ｒｅｂａｌａｎｃｉｎｇ）モジュール２１５を含んでイメージ特徴の抽出及びフィードバック効果の間のマッピングを使用してイメージに対して新しい所望の認知を可能にする。所望の認知が可能なように再均衡モジュール２１５は、特徴抽出モジュール２２０及び効果生成モジュール２２５を含む。

様々な実施形態において、特徴抽出モジュール２２０は、以下で論議されるように、イメージから様々なイメージテクスチャ特徴を確認及び／又は抽出する。そのような特徴の例は、田村（Ｔａｍｕｒａ）テクスチャ特徴、局所勾配ベクター（ｌｏｃａｌ ｇｒａｄｉｅｎｔ ｖｅｃｔｏｒ）などを含む。特徴抽出モジュール２２０を使用して抽出された特徴はイメージとともに提供される効果のパラメータ推定に使用されるべき局所イメージ特性を測定するように期待される。別の例において、特徴抽出モジュール２２０は、場面の要素（例えば、芝、木、人々等）を認識することができ、局所の又はクラウドベースのオブジェクト認識システム使用を含むことができる。

様々な実施形態において、効果生成モジュール２２５は、特徴抽出モジュール、イメージ自体、及びユーザが装置と対話する方式（例えば、ユーザが装置をタッチしていたりカーソル入力が検出された位置のｘｙ座標）を確認してイメージに対する聴覚、視覚及び触覚効果を含むことができる感覚フィードバックを生成する。以下、効果生成モジュール２２５によって提供され得る様々な聴覚、視覚及び触覚効果が詳しく論議される。一部の方式において、視覚効果は表示されているイメージを変形するが、一方で、聴覚及び触覚効果はイメージを表示する装置によって直接再生されて及び／又は提供される。

再均衡モジュール２１５は、その後、様々な効果をイメージの適用可能な区域にマッピングしてイメージ効果を提供する出力パラメータ２３０を生成する。例えば、出力パラメータ２３０はあるイメージの他の区域にマッピングされるイメージに対する効果のライブラリに保存された効果を提供する命令であり得る。ユーザが入力座標を提供する場合、システム２００は、ライブラリからの出力パラメータ２３０とユーザ入力座標に該当する領域の間のマッピングを確認する。確認された出力パラメータ２３０は、検索及び処理されて所望のフィードバック効果を提供する。

図３は、図２に示すシステム２００内の再均衡モジュール２１５の例示的な実施形態を示した図である。様々な実施形態において、特徴抽出モジュール２２０は、入力データ３０５（例えば、イメージ）を受信し、例えば、テクスチャ、強度、カラー及び／又はタッチ又はカーソル入力のようなイメージとのユーザインタラクションなどのようなイメージの特徴を抽出及び／又は確認する。本実施形態において、特徴抽出モジュール２２０は、同時生起行列（ｃｏ−ｏｃｃｕｒｒｅｎｃｅ ｍａｔｒｉｃｅｓ）、マルコフランダムフィールド（Ｍａｒｋｏｖ ｒａｎｄｏｍ ｆｉｅｌｄｓ）、ガボー（Ｇａｒｂｏｒ）テクスチャ特徴及び田村特徴を含む様々な技術を使用してイメージ特徴を抽出できる。テクスチャ特徴抽出のための追加的な技術は、例えば、本発明に参照として含まれたＴｕｃｅｒｙａｎ，Ｍ．，ａｎｄ Ｊａｉｎ，Ａ．Ｋ．，Ｃ．Ｃｈｅｎ，Ｌ．Ｐａｕ，ａｎｄ Ｐ．Ｗａｎｇの“Ｔｈｅ Ｈａｎｄｂｏｏｋ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ”、Ｗｏｒｌｄ Ｓｃｉｅｎｔｉｆｉｃ Ｐｕｂｌｉｓｈｉｎｇ Ｃｏ．，１９９８の特に２．１章の“Ｔｅｘｔｕｒｅ Ａｎａｌｙｓｉｓ”に記載されている。同時生起行列、マルコフランダムフィールド、ガボーテクスチャ特徴及び田村特徴は、主にテクスチャ分類に使用されるが、この方法に対する値が与えられる場合、テクスチャ種類を推論したり視覚化することは難しい場合がある。一方、田村テクスチャ特徴は、特にそれぞれ他の特徴に意味を提供する。６つの田村特徴は粗悪度（ｃｏａｒｓｅｎｅｓｓ）、コントラスト、方向性、線類似性（ｌｉｎｅ ｌｉｋｅｎｅｓｓ）、規則性及び粗さ（ｒｏｕｇｈｎｅｓｓ）を含み、本発明に参照として含まれた“Ｔｅｘｔｕｒｅ ｆｅａｔｕｒｅｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｖｉｓｕａｌ ｐｅｒｃｅｐｔｉｏｎ” ｂｙ Ｈ．Ｔａｍｕｒａ，Ｓ．Ｍｏｒｉ，ａｎｄ Ｔ．Ｙａｍａｗａｋｉ ｉｎ ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ，ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，ｖｏｌ．ＳＭＣ−８，ｎｏ．６，１９７８，４６０−４７３，論文に詳細に記載されている。

粗悪度は、基本的にイメージでテクスチャ要素の大きさを定量化する。テクスチャで要素が大きいほどより粗い。例えば、大きな石に対するイメージは小さな石に対するイメージに比べ粗い。拡大されたイメージバージョンは元のイメージに比べ大きい粗悪値を有すると知られる。コントラストは、基本的にイメージ内の局所的に存在する強度値の範囲を測定する。例えば、黒／白チェッカー板イメージは空のイメージに比べ大きなコントラストを有する。方向性は、優勢な（ｄｏｍｉｎａｎｔ）勾配を有する他の方向の数を定量化する。例えば、窓ブラインドに対するイメージは、石イメージに比べさらに方向性を有する。線類似性は、イメージに存在する薄い線の量を測定する。例えば、ワイヤメッシュ（ｗｉｒｅ ｍｅｓｈ）イメージは石イメージに比べ線のように見える。規則性は、テクスチャ要素がどのくらい規則的に位置するかを測定する。例えば、層をなしたブロックのイメージはガラスのイメージに比べ規則的である。荒さは、粗悪度とコントラスト値の合計で得られる。テクスチャがどのくらい粗く認知されるかを測定する。田村特徴の以外にも特徴抽出モジュール２２０は、ソーベル（Ｓｏｂｅｌ）演算子を使用して計算されたイメージ勾配を使用してタッチされた位置を多くの所定のカテゴリーのうち１つに分類できる。局所テクスチャカテゴリーは順に再生される聴覚、視覚及び触覚効果を決定するために使用される。

別の例において、また、特徴抽出モジュール２２０は、イメージの強度及びカラーに対する値を確認してフィードバック効果のマッチングのための確認された特徴として使用することができる。例えば、図６は、本発明の例示的な実施形態によるテクスチャマップ６０５、強度マップ６１０、及びカラーマップ６１５に抽出された入力イメージ６００の例を示した図である。この例で、特徴抽出モジュール２２０は、イメージ６００で様々なポイントに対するテクスチャ、強度及び／又はカラー値を確認し、フィードバック効果は、イメージのテクスチャ、強度及びカラーのうち１つ以上にマッピングされることができる。例えば、特徴抽出モジュール２２０は、テクスチャ値の範囲、強度及び／又はカラーを確認し、再均衡モジュール２１５が聴覚、視覚効果及び／又は触覚効果の該当範囲をマッピングすること（例えば、振動周波数又は強度）を理解できる。

一部の実施形態において、システム２００は、潜在的なテクスチャ、強度及び／又はカラー値に基づいてイメージ区域、パッチ、又は区域を分類し、視覚、触覚及び聴覚効果パラメータを分類されたイメージ区域、パッチ、又は区域のそれぞれにマッピングできる。例えば、図４は、本発明の様々な実施形態による潜在的なテクスチャ値に基づいてイメージパッチを分類するプロセスを示したフローチャートである。本実施形態において、システム２００は、イメージを受信し（ステップ４００）、イメージを複数の領域、パッチ又は区域に分割する（ステップ４０５）。システム２００は、各パッチのポイント又はピクセルのテクスチャを分析する（ステップ４１０）。例えば、システム２００は、田村特徴を抽出してイメージ内の勾配を確認する。システム２００は、抽出された特徴に基づいて各パッチを分類する（ステップ４１５）。例えば、システム２００は、タッチされた位置を所定のカテゴリーに分類するように計算されたイメージ勾配を使用しパッチで特徴を分類できる。以降、システム２００は、イメージの各パッチを分類する（ステップ４２０）。例えば、システム２００は、例えば、粗悪度、コントラスト、方向性、線類似性、規則性及び粗さのような田村特徴のすべてに対する様々なレベルにパッチを分類できる。パッチのカテゴリーは順に聴覚、視覚、及び触覚効果が再生されたり、そのパッチに対するユーザ入力に関連づけられるように決定するために使用される。

図５は、本発明の例示的な実施形態による粗悪度、コントラスト及び勾配の平均値によって分類された他のクラスタ（ｃｌｕｓｔｅｒ）からのパッチを示した図である。本例示的な実施形態において、システム２００は、テクスチャパッチプール（ｐｏｏｌ）（例えば、５０ｘ５０のサイズ）で粗悪度、コントラスト及び局所勾配の大きさを抽出し、Ｋ−平均（ｍｅａｎｓ）クラスタリングを使用してパッチをクラスタリングしてｋ個の互いに異なるクラスタセットを生成する。

イメージ特徴を確認した後、システム２００は、１つ以上のフィードバック効果を確認されたイメージ特徴に割り当て、生成及び／又はマッピングする。様々な実施形態において、該フィードバック効果は、少なくとも３種のタイプ、すなわち、聴覚、視覚及び触覚を含む。本発明の様々な実施形態で使用された視覚効果は３種以外のタイプ：変位（ｄｉｓｐｌａｃｅｍｅｎｔ）効果、照明効果、及びブラー（ｂｌｕｒ）効果を含む。

変位効果は、ユーザが領域をタッチする際のイメージ内の一部の領域の移動を含む。この効果は、動きによってタッチに反応する場面に存在する物理的なオブジェクトを摸写する（ｓｉｍｕｌａｔｅ）。変位効果の例は、以下で詳しく説明される波及（Ｒｉｐｐｌｅ）効果である。一方、照明効果は、イメージで一部の領域を強調（ｈｉｇｈｌｉｇｈｔ）するために使用される光源を摸写する。光源は他のカラーの波長を有する特定のカラーのセットを含むことができる。照明効果の例は、以下で詳しく説明されるグロー（ｇｌｏｗ）効果である。視覚効果の第３のカテゴリーは、素早く動くオブジェクトを見る時、特にオブジェクトが焦点から離れた時、基本的に人間の認知の限界を強調するイメージの一部の領域をぼかすことを含む。ブラー効果の例は、以下で詳しく説明されるモーションブラー（ｍｏｔｉｏｎ−ｂｌｕｒ）効果である。この効果は互いに相補的であるとともに、順に又は同時に再生されたり提供され得る。

図８Ａは、本発明の例示的な実施形態によるイメージで波及効果を示した図である。図示のように、波及効果は、ユーザが水の表面をタッチしていれば水が画面上に広がるシナリオを摸写する。ここで、各ピクセルの位置はその位置における水の高さに基づいて更新されることができる。各フレームで、特定のポイントで水の高さは前の２フレームの隣接ポイントだけでなくそのポイントにおける水の高さを使用して決定される。ユーザが画面をタッチすると、タッチポイントの隣接領域でその瞬間表示されたイメージフレーム内の水の高さは特定のレベルまで上がる。その効果は前のフレームによって左右されるため、効果は後続のフレームで継続して再生され、イメージ上を流れる波の感覚が認知される。この効果を摸写する２つのパラメータがあって、ユーザがイメージをタッチする時、水の高さが影響を受ける円形の周囲領域の大きさとダンピング（ｄａｍｐｉｎｇ）パラメータである。ダンピングパラメータは、基本的に摸写された流体の粘性を摸写する。ダンピングパラメータ値が小さければ、波は流体の粘性が非常に高いと認知されることを表して非常に速く消える。一方で、ダンピングパラメータ値が可能な最大値（すなわち、１）を有する場合、波は中止されない。

図８Ｂは、本発明の例示的な実施形態によるイメージでグロー効果（ｇｌｏｗ ｅｆｆｅｃｔ）を示した図である。この例で、ユーザが現在、表面をタッチしている位置周辺の領域は効果パラメータに基づいて変更される。波及効果とは違って、この効果は一時的な効果である。これはユーザが画面をタッチしている位置を変更した途端、効果もそれに従って動くということを意味する。現在の具現では、表示されているイメージに関連づけられたカラー値の強度コンポーネントを増加させるグロー類似（ｇｌｏｗ−ｌｉｋｅ）効果が生成される。特定のポイント（ｘ，ｙ）でイメージのＲＧＢカラー値がそれぞれｒ、ｇ、及びｂであれば、更新されたカラー値は下記式１によって計算できる。

ここで、Ｘは、この効果によって影響を受けるイメージ区域の大きさを調節するために使用されるパラメータで、Ｄは、タッチポイントの位置から考慮された現在のピクセルのユークリッド（Ｅｕｃｌｉｄｅａｎ）距離で、Ｆは、効果の強度を調節するパラメータである。常数Ｒ_ＭＡＸ、Ｇ_ＭＡＸ、及びＢ_ＭＡＸは、赤、緑、及び青に対して許容された最大値を表す。

図８Ｃは、本発明の例示的な実施形態によるイメージでブラー効果を示した図である。モーション効果は、ユーザがイメージを横切って指を動かしており、ユーザがイメージをタッチしている領域でイメージが局所的にぼかされるシナリオを摸写する（ｓｉｍｕｌａｔｅ）。ぼかされる方向はユーザが指を動かしている方向と同じである。グロー効果と類似してこの効果は局所的かつ一時的である、すなわち、ブラーは、その値がユーザが画面をタッチするポイント周辺で効果パラメータで調整されることができる半径内の領域でのみ現れる。ユーザが現在、（Ｔｘ，Ｔｙ）ポイントでタッチしており、ユーザが指を動かす速度が（Ｖｘ，Ｖｙ）であれば、効果はそのピクセル自体を含む７個の隣接ピクセルのピクセル値に対する加重平均を行う。この７という値のパラメータは例示的なものであって、他の値も使用され得る。このモーションブラー効果を調節するために使用されるパラメータは選択された隣接ポイントのタッチポイントからの距離を決定する効果の大きさである。モーションブラー効果の他のパラメータはカラー値がこの効果の結果によって影響を受けるタッチポイント周辺の領域である。

上述したものと類似に使用され得る視覚効果の追加的かつ非制限的な例は以下を含む：３Ｄメッシュレンダリング（３Ｄ ｍｅｓｈ ｒｅｎｄｅｒｉｎｇ）；スポットライト（ｓｐｏｔｌｉｇｈｔ）；カラーシフティング（ｃｏｌｏｒ ｓｈｉｆｔｉｎｇ）；メッシュ分解ポリゴン（ｍｅｓｈ ｅｘｐｌｏｄｅ ｐｏｌｙｇｏｎｓ）；ポイントライト（ｐｏｉｎｔ ｌｉｇｈｔ）；セピアトーン（Ｓｅｐｉａ ｔｏｎｅ）；波（ｗａｖｅ）；方向性光（ｄｉｒｅｃｔｉｏｎａｌ ｌｉｇｈｔ）；レンヴィネット（ｌｅｎ ｖｉｇｎｅｔｔｅ）； ウォータフィル（ｗａｔｅｒ ｆｉｌｌ）；ピクセル別照明（ｐｅｒ ｐｉｘｅｌ ｌｉｇｈｔｉｎｇ）；メタル、ラバー又はウッドシェーディング（ｍｅｔａｌ、ｒｕｂｂｅｒ ｏｒ ｗｏｏｄ ｓｈａｄｉｎｇ）；フィッシュアイ（ｆｉｓｈ ｅｙｅ）；影（ｓｈａｄｏｗｓ）；バンプマッピング（ｂｕｍｐ ｍａｐｐｉｎｇ）；ライトニング（ｌｉｇｈｔｎｉｎｇ）；ファイヤー（ｆｉｒｅ）；ファー（ｆｕｒ）；スモーク（ｓｍｏｋｅ）；ファイヤーボール（ｆｉｒｅｂａｌｌ）；遅延（ｄｉｌａｔｉｏｎ）；霧（ｆｏｇ）；水性ペイント（ｗａｔｅｒ ｐａｉｎｔ）；侵食（ｅｒｏｓｉｏｎ）；拡大鏡（ｍａｇｎｉｆｙｉｎｇ ｇｌａｓｓ）；一時的なカーテン効果（ｅｐｈｅｍｅｒａｌ ｃｕｒｔａｉｎ）；シャープ効果（ｓｈａｒｐｅｎ）；雪粒子（ｓｎｏｗ ｐａｒｔｉｃｌｅｓ）；グロー（ｇｌｏｗ）；エンボス（ｅｍｂｏｓｓ）；ピクシーダスト（ｐｉｘｉｅ ｄｕｓｔ）； ブルーム（ｂｌｏｏｍ）；モノクロ（ｂｌａｃｋ ａｎｄ ｗｈｉｔｅ）；チェリーブロッサムパーティクル（ｃｈｅｒｒｙ ｂｌｏｓｓｏｍ ｐａｒｔｉｃｌｅｓ）；ヒートウェーブ（ｈｅａｔ ｗａｖｅ）；クロスハッチ（ｃｒｏｓｓ ｈａｔｃｈ）；他の粒子効果（ｏｔｈｅｒ ｐａｒｔｉｃｌｅ ｅｆｆｅｃｔｓ）；サイン波（ｓｉｎｅ ｗａｖｅｓ）；カートゥーンシェーディング（ｃａｒｔｏｏｎ ｓｈａｄｉｎｇ）；反射（ｒｅｆｌｅｃｔｉｏｎ）；熱画像（ｔｈｅｒｍａｌ ｖｉｓｉｏｎ）（プレデターモード（ｐｒｅｄａｔｏｒ ｍｏｄｅ））；ネガティブ（ｎｅｇａｔｉｖｅ）；屈折（ｒｅｆｒａｃｔｉｏｎ）；ナイトビジョン（ｎｉｇｈｔ ｖｉｓｉｏｎ）；ジェロゼラチン効果（Ｊｅｌｌ−Ｏ ｇｅｌａｔｉｎ ｅｆｆｅｃｔ）；モーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）；ソーベルエッジ検出（Ｓｏｂｅｌ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ）；クロスリップル（ｃｌｏｔｈ ｒｉｐｐｌｅ）；モーショントレーラー（ｍｏｔｉｏｎ ｔｒａｉｌｅｒ）； ラプラシアンエッジ検出（Ｌａｐｌａｃｉａｎ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ）；ジニーエフェクト（ｇｅｎｉｅ ｅｆｆｅｃｔ）；レンズフレア（ｌｅｎｓ ｆｌａｒｅ）；ブライトン（ｂｒｉｇｈｔｅｎ）；ＴＶ静的（ｓｔａｔｉｃ）ノイズ（ｎｏｉｓｅ）；ゴッドレイ（ｇｏｄ ｒａｙｓ）；ダークン（ｄａｒｋｅｎ）；反転タイル（ｆｌｉｐｐｉｎｇ ｔｉｌｅｓ）；ガウシアンブラー（Ｇａｕｓｓｉａｎ ｂｌｕｒ）；色づけ（ｃｏｌｏｒｉｚｅ）； ポリゴンビデオ（ｖｉｄｅｏ ｏｎ ｐｏｌｙｇｏｎｓ）；デプスオブフィールド（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）；カラーチャネル及びメッシュ変形除去（ｒｅｍｏｖｅ ｃｏｌｏｒ ｃｈａｎｎｅｌｓ ａｎｄ ｍｅｓｈ ｄｅｆｏｒｍａｔｉｏｎｓ）。

また、本発明の様々な実施形態は、触覚フィードバック効果を提供する。触覚フィードバック効果は、オン−オフスイッチング回路によって駆動される非対称の重み値を有するコアレス（ｃｏｒｅｌｅｓｓ）ＤＣモータを使用して生成される振動触覚（ｖｉｂｒｏｔａｃｔｉｌｅ）フィードバックを含むことができる。オン−オフスイッチングソフトウェア（例えば、イマージョン（ｉｍｍｅｒｓｉｏｎ）ソフトウェア）は、様々なスイッチングシーケンス（例えば、振動周波数及びパターン）を提供でき、それぞれは装置をタッチするユーザによって特定のセンサ応答を引き出すために使用され得る。任意の他のソフトウェアで駆動される触覚／触覚フィードバックも使用され得る。例示的な一実施形態において、図７Ａに示すように、ユーザが水が存在するイメージ上の区域をタッチすると、穏やかな又は低い周波数振動が再生され得る。別の例において、図７Ｂに示すように、ユーザが岩をタッチすると、より強いまたはより高い周波数の振動が再生され得る。

また、本発明の様々な実施形態は、聴覚フィードバック効果を提供する。例えば、ユーザがタッチに敏感な画面をタッチした途端、サウンドが再生され始めることができる。再生される特定のサウンドはタッチポイントに関連づけられてテクスチャ特徴値に基づいて決定されることができる。一部の例において、サウンドはユーザが画面をタッチしている限りループ内で継続して再生されることができる。再生されるサウンドは局所的なテクスチャ特徴又はカラー値によって変わることができる。例えば、再生速度、サウンド強度又はサウンドタイプが変わることができる。

一部の例において、再生速度はユーザがイメージをタッチしているポイントに関連付けられたピクセルのテクスチャ特徴又はカラー値の関数で計算されることができる。テクスチャ特徴又はカラー値をサウンド再生速度にマッピングするために使用される関数は任意的な場合がある。例示的な関数として、再生速度ｓはｓ＝ｓ＊（ｆｄ）で計算されることができ、ここで、ｆは、掛け算因子で、ｄは、タッチポイントで特定のテクスチャ特徴を測定する１以上の整数である。上記例で、速度ｓはサウンドが正常速度のｓ倍で再生されていることを意味する。ｄ値はイメージテクスチャの任意の単調な（ｍｏｎｏｔｏｎｉｃ）又は非単調な関数であり得る。一部の例において、再生されるサウンド強度は、再生速度計算に使用されるものと類似の方式で計算されることもできる。

一部の例において、再生速度又はサウンド強度の変更と同様に、再生されたサウンドタイプもタッチポイントでテクスチャ特徴値に基づいて変更され得る。サウンドの２種の異なるカテゴリー−自然及び合成が使用され得る。自然的なサウンドはサウンドが自然に存在する場所（例えば、滝）からマイクを使用して録音され、合成サウンドはサウンドのオーディオ波形を特定して生成される。合成サウンドの例は、特定の周波数を有するサンプリングされたサイン（ｓｉｎｅ）波形である。別の例において、サウンド又は単語の他のライブラリタイプは特定の確認された特徴にマッピングされることができる。例示的な一実施形態として、図７Ａに示すように、ユーザが水が存在するイメージ上の区域をタッチすると、水が流れるように心を落ち着かせるサウンドが再生されることができる。別の例において、図７Ｂに示すように、ユーザが岩をタッチすると、衝突雑音のようなより激しいサウンドが再生されることができる。さらに別の例において、「水」又は「岩」に対する単語の録音が再生されることができる。そのような実施形態は、特に視覚が損傷している人及び語彙を学ぶ子供を助けるために有用である場合がある。

本発明の様々な実施形態において、効果は抽出されたイメージテクスチャ特徴に基づいて変更され得る。図９は、本発明の例示的な実施形態による抽出されたイメージ特徴とフィードバック効果の間の例示的なマッピングを示した図である。本実施形態において、システム２００は、ユーザが表面をタッチする方式だけでなく潜在的なイメージテクスチャに基づいてフィードバック効果パラメータを決定する。この例示的な実施形態において、６つの主な要因がフィードバック効果を調節するために使用される。

この例示的な実施形態において、抽出された粗悪度の値はグロー効果のサイズパラメータを決定するために使用され得る。粗悪度が大きいほどパラメータのサイズが大きくなる。このような連関性は、大きな要素を有するテクスチャが小さな要素を有するテクスチャに比べてユーザにイメージのより大きな領域に集中させるという事実に基づく。この効果を達成するために、グローの半径はユーザの選好に基づいて正規化された粗悪度の値に掛けられ得る。一般的な粗悪度の値を使用すると、照明タイプの視覚的効果によって影響を受けるイメージ区域の大きさを増加させるようになる。

フリック（ｆｌｉｃｋ）速度は、ユーザがディスプレイ上で指（又はカーソル）を動かす速度である。この例で、フリック速度はモーション効果を調節するために使用される。速度が大きいほどモーションブラーのサイズ又は任意のブラータイプの視覚効果のサイズも大きくなる。フリック方向はユーザがディスプレイ上で指（又はカーソル）を動かす方向である。この例で、フリック方向もイメージがフリック方向のみに従ってぼかされるモーション効果を調節するために使用される。

勾配の大きさは、ｘ、ｙ方向のすべてに関連付けられたソーベル（Ｓｏｂｅｌ）カーネルを有するイメージをコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）して計算された値である。一例として、３ｘ３ソーベルカーネルはｘ、ｙ方向のすべてに対して使用され得る。この例で、勾配の大きさは波及効果を調節するために使用され得る。高い勾配値は、当然、より大きいダンピング（ｄａｍｐｉｎｇ）を引き起こさなければならないので、ダンピングファクターは勾配値と掛けられ得る。したがって、波はより大きな勾配を有する地域に比べ速く流れない。勾配値は一般に変位タイプの視覚的効果で変位量を制限するために使用され得る。勾配方向は勾配に関連付けられた方向である。この例で、勾配方向は、基本的に後述の妨害（ｏｂｓｔｒｕｃｔｉｏｎ）値の決定に使用される。

妨害値は、基本的にフリック方向による勾配量を決定する。フリックベクター（Ｆｘ，Ｆｙ）及び勾配ベクター（Ｇｘ，Ｇｙ）が与えられると、妨害値はフリックベクターと勾配ベクターの内積（すなわち、Ｏ＝Ｆｘ＊Ｇｘ＋Ｆｙ＊Ｇｙ）で計算される。この例で、妨害値は、順に聴覚及び触覚効果を調節するために使用される。妨害値が大きいほど期待されるフィードバックを引き出すことに関連付けられたエネルギーが大きくなる。聴覚及び触覚効果でエネルギーは強度及び周波数のような特性に関連づけられることができる。

このパラメータが関連づけられた効果に適用される前に、その値はユーザの選好度によって調節されたり変更され得る。機械学習（ｍａｃｈｉｎｅ−ｌｅａｒｎｉｎｇ）システムもユーザプロファイルに基づいてユーザ選好度を推論するように設計されることができる。図９に示したマッピングは例示的なものであって、本発明の原理に従って具現され得る他のマッピングの数又はタイプに対する制限を暗示しない。

図１０は、本発明の例示的な実施形態による携帯電話１０００のためのユーザインタフェース１００５に表示されたイメージを示した図である。本実施形態において、携帯電話１０００は、図１における電子装置１００の一例である。この例で、携帯電話１０００のタッチスクリーン１０１０は、ユーザインタフェース１００５で着信電話に関連付けられたイメージ１０１５（例えば、着信電話又はユーザオプションに関するグラフィック）を表示する。また、ユーザインタフェース１００５は、ショートメッセージ応答、電話通話及び電話拒否オプションのうち１つを送信する電話処理に対するオプションを表示する。

この実施形態において、システム２００は、該イメージ１０１５に対するフィードバック効果を生成してユーザがイメージ１０１５を認識することを助け、着信電話に応答することを助ける。例えば、ユーザは、携帯電話１０００を聞いたり見たりすることに制限がある会議中、または映画を観ている場合がある。この例で、携帯電話１０００は、ユーザに触覚フィードバックを提供してイメージ１０１５を認知したり着信電話に応答するように助けることができる。例えば、ユーザは、電子装置の隅の一箇所をタッチして電話処理のためのオプションのうち１つを選択するように促す振動を感じることができる。非制限的な例において、電話を受けるためにイメージ１０１５の一区域をタッチすると、短い１つの振動触覚パルスフィードバックをトリガーすることができ、「拒否」をタッチすると長い１つの振動触覚パルスフィードバックをトリガーすることができる。同様に、「後ほど電話させていただきます」というショートメッセージを送るためにイメージ１０１５の一区域をタッチすると、２つの振動触覚パルスフィードバックがトリガーされ、「今は通話できません。どのようなご用件でしょうか？」 というテキストをタッチすると、３つの振動触覚パルスフィードバックがトリガーされ得る。すると、ユーザは、携帯電話１０００を見る必要なく電話に応答するためのオプションのうちいずれかを選択したかを知り、これはユーザが携帯電話１０００を見られない状況にある場合、有利であり得る。他のテキストに関連付けられた触覚振動パルスパターンは他のテキストボックスに対する背景イメージとして示され得る、異なるようにテクスチャされたイメージに関連付けられたパラメータとして得られることができる。

上述した例示的な実施形態で論議され、図示されたように、システム２００は、イメージに対するフィードバック効果パラメータを生成することにおいて、制限条件３１０内の要因を確認することができる。制限条件３１０は、例えば、イメージを表示する装置の物理的な制限条件及び、ユーザが装置を見ることができなかったり（例えば、ユーザのポケットに装置があったりユーザが運転中であったりユーザに視覚障害があったり等）、現在の環境で雑音が容認されない場合（例えば、装置が黙音モード）又はタッチが意図されていない装置（例えば、コンピュータモニタ又はＴＶ）のような環境的な制限条件が与えられた場合に提供され得るフィードバック効果様態（ｍｏｄａｌｉｔｉｅｓ）の数及びタイプに対する制限である。システム２００は、イメージを表示する装置（例えば、タッチスクリーンが使用できない装置は触覚フィードバック装置１７５を含まず、スピーカ１３０などを含まない）でコンポーネントに関する情報及び装置の設定（例えば、装置が黙音動作モード、駆動動作モード、非ディスプレイ動作モードなどである）からこの制限条件を確認することができたり、又はセンサ１８０を使用して、例えば、光又は近接検出（例えば、光が感知されなかったり装置が識別されて／遮断されて視覚フィードバック効果が制限される場合がある）を介して自動的に確認されることができる。

制限条件３１０を確認した時、システムは、イメージとともに提供されたフィードバック様態を制限できる。例えば、ユーザが運転中であるか、視覚障害を持つ場合、イメージとともに提供されたフィードバック様態は触覚及び聴覚フィードバック効果に制限されることができる。別の例において、ユーザが会議中であるか、映画を観ている場合は、イメージとともに提供されたフィードバック様態は触覚効果に制限されることができる。別の例において、ユーザがイメージをプロジェクタやＴＶで見せたりウェブサイトにアップロードしたりする場合、イメージとともに提供されるフィードバック様態は、視覚及び聴覚フィードバック効果に制限されることができる。さらに別の例において、医者が重要な収差（ａｂｅｒｒａｔｉｏｎ）観察で失敗しないように医療イメージを感じることを希望する場合は、フィードバック効果は触覚フィードバック効果に制限されることができる。

このような制限点は、イメージを表示する前に含まれ、後の表示に関連づけられて保存されることができる。例えば、システム２００は、表示の際、１つ以上のフィードバック様態が制限されるイベントで表示されたイメージに提供されるフィードバック様態に対する他のオプションを含むことができる。別の例において、システム２００は、イメージ表示の際、確認された制限条件３１０に基づいてイメージに対するフィードバック効果を生成できる。

図１１は、本発明の様々な実施形態によるイメージに対するフィードバック効果を生成するプロセスを示した図である。例えば、図１１に示すプロセスは、図１の電子装置１００又は図２のシステム２００によって行われることができる。

プロセスは、イメージ区域で特徴（複数可）を確認することによって開始される（ステップ１１０５）。例えば、ステップ１１０５にて、プロセスは、様々なイメージ区域に関連付けられたテクスチャ、強度及びカラーを確認することができる。また、プロセスはイメージにあるオブジェクトを確認する。領域内の特徴であるユーザのタッチ又はフリックのようなイメージとのインタラクションに基づいて抽出されて確認されることができる。

その後、プロセスは、特徴（複数可）を複数のフィードバック効果様態のうち少なくとも１つにマッピングする（ステップ１１１０）。例えば、ステップ１１１０にて、プロセスはイメージ又は特定の領域内の特徴を提供される他のフィードバック効果にマッピングできる。複数のフィードバック効果様態は１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果及び１つ以上の聴覚フィードバック効果を含むことができる。このステップの一部として、また、プロセスは、どのフィードバック効果様態がマッピングされることができるかに対する制限条件を確認する。また、プロセスは、ユーザのフリック方向又は速度のようなイメージとのインタラクションに基づいてフィードバック効果をマッピングできる。

その後、プロセスは、フィードバック効果出力に対するパラメータを生成する（ステップ１１１５）。例えば、ステップ１１１５にて、プロセスはユーザがタッチ又はカーソルを介してイメージとインタラクションを行う時、フィードバック効果を提供するようにパラメータを生成できる。その後、プロセスは、生成されたパラメータをイメージに関連づけて保存する（ステップ１１２０）。例えば、ステップ１１２０にて、プロセスは、イメージ区域に該当するユーザ入力座標に応じてイメージに関連づけられたユーザインタフェースがユーザに複数のフィードバック効果様態のうち少なくとも１つを提供するように生成されたパラメータを保存することができる。このプロセスの一部として、ユーザは生成されたパラメータ値を変更できる。

図１２は、本発明の様々な実施形態によってユーザにイメージフィードバック効果を提供するプロセスを示した図である。例えば、図１２に示すプロセスは、図１の電子装置１００又は図２のシステム２００によって行われることができる。

プロセスは、イメージを表示することによって開始される（ステップ１２０５）。例えば、ステップ１２０５にて、プロセスは、タッチスクリーンが使用可能な装置を使用してイメージを表示できる。その後、プロセスは、ユーザから入力を受信する（ステップ１２１０）。例えば、ステップ１２１０にて、入力はタッチスクリーンのタッチを介して又はマウスのカーソルを介して行われることができる。その後、プロセスは、ユーザ入力に該当するイメージ座標を確認する（ステップ１２１５）。例えば、ステップ１２１５にて、プロセスは、イメージ上のタッチ又はカーソル位置に対するｘ，ｙ座標を確認することができる。また、プロセスは、フリック方向及び速度のようなイメージとのインタラクションの特徴を確認することができる。

その後、プロセスは、イメージ区域で特徴（複数可）にマッピングされたフィードバック効果（複数可）を確認する（ステップ１２２０）。例えば、ステップ１２２０にて、プロセスは、ユーザ入力に該当するイメージで抽出された特徴に基づいてフィードバック効果を生成できる。また、プロセスは、イメージ区域又は特徴と、フィードバック効果との間の保存されたマッピングからフィードバック効果を確認することができる。フィードバック効果は１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果及び１つ以上の聴覚フィードバック効果を含むことができる。このステップの一部として、また、プロセスは、他のフィードバック効果タイプに対する制限条件を確認し、どのフィードバック効果が提供されるかを制限できる。

その後、プロセスは、フィードバック効果（複数可）を提供する（ステップ１２２５）。例えば、ステップ１２２５にて、プロセスは、検出されたユーザ入力に反応して１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果及び／又は１つ以上の聴覚フィードバック効果を提供できる。

図１１及び１２は、それぞれイメージに対するフィードバック効果を生成してユーザにイメージフィードバック効果を提供するプロセスの例を図示しているが、図１１及び１２に様々な変更が行われることができる。例えば、一連のステップとして図示されたが、各図面内の様々なステップは、重複したり並列して起こったり他の順番で起こったり、又は複数回起こったりすることができる。

本発明が複数の例を挙げて説明されたが、様々な変化及び変更が当業者に提示されることができる。本発明は、そのような変更及び変形が添付された請求の範囲内に属するように包括することが意図される。

１００ 電子装置
１０５ アンテナ
１１０ 無線周波数（ＲＦ）トランシーバ
１１５ 送信（ＴＸ）処理回路
１２０ マイク
１２５ 受信（ＲＸ）処理回路
１３０ スピーカ
１４０ プロセッサ
１４５ 入出力（Ｉ／Ｏ）インタフェース（ＩＦ）
１５０ キーパッド
１５５ タッチスクリーン
１６０ メモリ
１６５ 基本オペレーティングシステム（ＯＳ）プログラム
１７０ フィードバックプログラム
１７５ 触覚フィードバック装置
１８０ センサ
２００ システム
２０５ 入力モジュール
２１０ イメージ認知モジュール２１５ 再均衡モジュール
２１５ 再均衡（ｒｅｂａｌａｎｃｉｎｇ）モジュール
２２０ 特徴抽出モジュール
２２５ 効果生成モジュール
２３０ 出力パラメータ

Claims (15)

1. イメージ（ｉｍａｇｅ）に対するフィードバック（ｆｅｅｄｂａｃｋ）効果を提供する方法において：
   イメージ区域で１つ以上の特徴を確認するステップ；
   前記１つ以上の特徴を複数のフィードバック効果様態のうち少なくとも１つにマッピング（ｍａｐｐｉｎｇ）するステップ；及び
   前記イメージ区域に該当するユーザ入力の座標に応じて前記イメージに関連づけられたユーザインタフェースは、ユーザに複数のフィードバック効果様態のうち少なくとも１つを提供するようにフィードバック効果の出力のためのパラメータを生成し、前記イメージに関連づけて生成されたパラメータを保存するステップを含むことを特徴とする方法。
2. イメージに対するフィードバック効果を提供するシステムにおいて：
   少なくとも１つのプロセッサ；及び
   プログラムコードを保存する少なくとも１つのストレージ装置を含み、
   前記プロセッサは、
   イメージ区域で１つ以上の特徴を確認し、
   前記１つ以上の特徴を複数のフィードバック効果様態のうち少なくとも１つにマッピングし、
   前記イメージ区域に該当するユーザ入力の座標に応じて前記イメージに関連づけられたユーザインタフェースは、ユーザに複数のフィードバック効果様態のうち少なくとも１つを提供するようにフィードバック効果の出力のためのパラメータを生成し、前記イメージに関連づけて生成されたパラメータを保存するプログラムコードを実行することを特徴とするシステム。
3. 前記複数のフィードバック効果様態は、１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果、及び１つ以上の聴覚フィードバック効果を含むことを特徴とする請求項１又は２に記載の方法又はシステム。
4. タッチスクリーンが使用可能な装置を使用してイメージを表示するステップ；
   ユーザのタッチ入力に対応する前記イメージの座標を確認するステップ；
   前記イメージの一区域にマッピングされたフィードバック効果を確認するステップ；及び
   前記タッチスクリーンが使用可能な装置を使用して前記フィードバック効果を提供するステップをさらに含むことを特徴とする請求項１又は２に記載の方法又はシステム。
5. 前記１つ以上の確認された特徴は、前記イメージ区域に関連付けられたテクスチャ（ｔｅｘｔｕｒｅ）、強度、及びカラーを含むことを特徴とする請求項１又は２に記載の方法又はシステム。
6. ユーザに１つ以上の前記フィードバック効果様態を提供することに対する制限条件を確認するステップ；及び
   前記１つ以上の確認された特徴の制限されないフィードバック効果様態のみへのマッピングを制限するステップを含むことを特徴とする請求項３に記載の方法又はシステム。
7. 前記制限条件は、視覚的に損傷した動作モードであって、
   前記１つ以上の確認された特徴のマッピングを制限するステップは、前記１つ以上の確認された特徴を１つ以上の触覚フィードバック効果又は１つ以上の聴覚フィードバック効果のうち少なくとも１つにマッピングすることを制限するステップを含むことを特徴とする請求項６に記載の方法又はシステム。
8. 前記制限条件を確認するステップは、センサを使用して光量がしきい値より低いことを確認するステップ、及び
   前記１つ以上の確認された特徴のマッピングを制限するステップは、前記１つ以上の確認された特徴を１つ以上の触覚フィードバック効果又は１つ以上の聴覚フィードバック効果のうち少なくとも１つにマッピングすることを制限するステップを含むことを特徴とする請求項６に記載の方法又はシステム。
9. 前記制限条件は、黙音動作モードであって、
   前記１つ以上の確認された特徴のマッピングを制限するステップは、前記１つ以上の確認された特徴を１つ以上の触覚フィードバック効果又は１つ以上の聴覚フィードバック効果のうち少なくとも１つにマッピングすることを制限するステップを含むことを特徴とする請求項６に記載の方法又はシステム。
10. 前記イメージは受信中の電話に関連付けられ、前記イメージの他の区域は前記電話に応じて取られ得る他の行動に対応し、前記マッピングされたフィードバック効果は、ユーザからのタッチ入力に応じて取られた行動であることを示す触覚フィードバック効果であることを特徴とする請求項９に記載の方法又はシステム。
11. イメージに対するフィードバック効果を提供するプログラムコードを具現する非一時的コンピュータ可読記録媒体において、前記コンピュータ可読記録媒体は：
    イメージ区域で１つ以上の特徴を確認するステップ；
    前記１つ以上の特徴を複数のフィードバック効果様態のうち少なくとも１つにマッピングするステップ；及び
    前記イメージの一区域に該当するユーザ入力の座標に応じて前記イメージに関連づけられたユーザインタフェースは、ユーザに複数のフィードバック効果様態のうち少なくとも１つを提供するようにフィードバック効果の出力のためのパラメータを生成し、前記イメージに関連づけて生成されたパラメータを保存するステップを含むプログラムコードを含むことを特徴とするコンピュータ可読記録媒体。
12. 前記複数のフィードバック効果様態は、１つ以上の視覚フィードバック効果、１つ以上の触覚フィードバック効果、及び１つ以上の聴覚フィードバック効果を含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。
13. タッチスクリーンが使用可能な装置を使用してイメージを表示するステップ；
    ユーザのタッチ入力に対応する前記イメージの座標を確認するステップ；
    前記イメージの一区域にマッピングされたフィードバック効果を確認するステップ；及び
    前記タッチスクリーンが使用可能な装置を使用して前記フィードバック効果を提供するステップをさらに含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。
14. 前記１つ以上の確認された特徴は、前記イメージ区域に関連付けられたテクスチャ、強度、及びカラーを含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。
15. ユーザに前記複数のフィードバック効果様態のうち１つ以上を提供することに対する制限条件を確認するステップ；及び
    前記１つ以上の確認された特徴を制限されないフィードバック効果様態のみへのマッピングを制限するステップを含むことを特徴とする請求項１２に記載のコンピュータ可読記録媒体。

Images