JP2018190443A5 - - Google Patents

Claims (20)

1. タッチスクリーンディスプレイと、
   画像を取り込み、当該画像を表す画像信号を送信するように構成されたカメラと、
   前記カメラ及び前記タッチスクリーンディスプレイと通信可能に結合された処理装置と、
   前記処理装置によって実行可能なプログラムコードを含む記憶装置であって、当該プログラムコードによって前記処理装置は、
   前記画像信号を受信する処理と、
   前記タッチスクリーンディスプレイに拡張現実環境を表示する処理であって、当該拡張現実環境は、取り込まれた画像内の物体のグラフィック表現を含み、当該物体のグラフィック表現は、当該物体のグラフィック表現を少なくとも部分的に覆う仮想的に生成されたテクスチャを有する、処理と、
   前記タッチスクリーンディスプレイを介する前記物体のグラフィック表現とのインタラクションを検出する処理と、
   前記物体のグラフィック表現とのインタラクションを検出することに応答して、前記物体及び前記仮想的に生成されたテクスチャに少なくとも部分的に基づいて触覚効果を決定する処理と、
   前記触覚効果と関連付けられた触覚信号を送信する処理と、
   を実行する、記憶装置と、
   前記触覚信号を受信して前記触覚効果を出力するように構成された触覚出力装置と、
   を備える、システム。
2. 前記インタラクションは前記タッチスクリーンディスプレイ上で前記物体のグラフィック表現を横切る一又は複数の方向の動きを含み、前記記憶装置は前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、
   前記物体のグラフィック表現を横切る動きの方向に基づいて前記触覚効果の強度を調整し、それによって３次元における前記物体の感触をシミュレートする処理
   を実行することを特徴とする請求項１に記載のシステム。
3. 前記記憶装置は前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、前記触覚効果の強度を調整する処理を実行し、当該触覚効果の強度を調整する処理は、
   前記物体のグラフィック表現に対応する複数の触覚効果マップを決定し、
   前記物体のグラフィック表現を横切る動きの方向に基づいて前記複数の触覚効果マップの中から触覚効果マップを選択することによって実行されることを特徴とする請求項２に記載のシステム。
4. 前記記憶装置は前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、
   前記触覚効果の強度を調整することによって、前記方向が第１の方向のときに第１の重力効果をシミュレートし、前記方向が前記第１の方向と反対の第２の方向のときに第２の重力効果をシミュレートする処理を実行することを特徴とする請求項２に記載のシステム。
5. 前記記憶装置は前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、
   前記物体の表面に関連付けられた複数のグラジエントを識別する処理と、
   前記複数のグラジエントの中から、前記物体のグラフィック表現を横切る動きの方向に関連付けられたグラジエントを決定する処理と、
   前記決定されたグラジエントに基づいて前記触覚効果の強度を調整する処理と、
   を実行することを特徴とする請求項２に記載のシステム。
6. 前記触覚効果は静電摩擦又は超音波振動を含むことを特徴とする請求項１に記載のシステム。
7. 前記触覚効果は前記物体のテクスチャリングされた表面又は外形をシミュレートするように構成されたことを特徴とする請求項１に記載のシステム。
8. 処理装置により、カメラから取り込まれた画像を受信する工程と、
   前記処理装置により、タッチスクリーンディスプレイに拡張現実環境を表示する工程であって、当該拡張現実環境は、前記取り込まれた画像内の物体のグラフィック表現を含み、当該物体のグラフィック表現は、当該物体のグラフィック表現を少なくとも部分的に覆う仮想的に生成されたテクスチャを有する、工程と、
   前記処理装置により、前記タッチスクリーンディスプレイを介する前記物体のグラフィック表現とのインタラクションを検出する処理と、
   前記物体のグラフィック表現とのインタラクションを検出することに応答して、前記処理装置により、前記物体のグラフィック表現及び前記仮想的に生成されたテクスチャに少なくとも部分的に基づいて触覚効果を決定する工程と、
   前記処理装置により、触覚出力装置を用いて前記触覚効果を出力する工程と、
   を備える方法。
9. 前記インタラクションは前記タッチスクリーンディスプレイ上で前記物体のグラフィック表現を横切る一又は複数の方向の動きを含み、前記方法は、
   前記物体のグラフィック表現を横切る動きの方向に基づいて前記触覚効果の強度を調整し、それによって３次元における前記物体の感触をシミュレートする工程をさらに含む請求項８に記載の方法。
10. 前記物体のグラフィック表現に対応する複数の触覚効果マップを決定し、
    前記物体のグラフィック表現を横切る動きの方向に基づいて前記複数の触覚効果マップの中から触覚効果マップを選択することによって前記触覚効果の強度を調整する工程をさらに備える、請求項９に記載の方法。
11. 前記触覚効果の強度を調整することによって、前記方向が第１の方向のときに第１の重力効果をシミュレートし、前記方向が前記第１の方向と反対の第２の方向のときに第２の重力効果をシミュレートする工程をさらに備える、請求項９に記載の方法。
12. 前記物体の表面に関連付けられた複数のグラジエントを識別する工程と、
    前記複数のグラジエントの中から、前記物体のグラフィック表現を横切る動きの方向に関連付けられたグラジエントを決定する工程と、
    前記決定されたグラジエントに基づいて前記触覚効果の強度を調整する工程と、
    をさらに備える、請求項９に記載の方法。
13. 前記触覚効果は前記物体のテクスチャリングされた表面又は外形をシミュレートするように構成されたことを特徴とする請求項９に記載の方法。
14. 処理装置によって実行可能なプログラムコードを含む非一時的なコンピュータ可読媒体であって、当該プログラムコードによって前記処理装置は、
    カメラから取り込まれた画像を受信する処理と、
    タッチスクリーンディスプレイに拡張現実環境を表示する処理であって、当該拡張現実環境は、前記取り込まれた画像内の物体のグラフィック表現を含み、当該物体のグラフィック表現は、当該物体のグラフィック表現を少なくとも部分的に覆う仮想的に生成されたテクスチャを有する、処理と、
    前記タッチスクリーンディスプレイを介する前記物体のグラフィック表現とのインタラクションを検出する処理と、
    前記物体のグラフィック表現とのインタラクションを検出することに応答して、前記物体及び前記仮想的に生成されたテクスチャに少なくとも部分的に基づいて触覚効果を決定する処理と、
    前記触覚効果に関連付けられた触覚信号を送信する処理であって、当該触覚信号は触覚出力装置に前記触覚効果を出力させるように構成された、処理と、
    を実行することを特徴とする非一時的なコンピュータ可読媒体。
15. 前記インタラクションは前記物体のグラフィック表現を横切る一又は複数の方向の動きを含み、前記非一時的なコンピュータ可読媒体は前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、
    前記物体のグラフィック表現を横切る動きの方向に基づいて前記触覚効果の強度を調整し、それによって３次元における前記物体の感触をシミュレートする処理を実行することを特徴とする請求項１４に記載の非一時的なコンピュータ可読媒体。
16. 前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、前記触覚効果の強度を調整する処理を実行し、当該触覚効果の強度を調整する処理は、
    前記物体のグラフィック表現に対応する複数の触覚効果マップを決定し、
    前記物体のグラフィック表現を横切る動きの方向に基づいて前記複数の触覚効果マップの中から触覚効果マップを選択することによって実行されることを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
17. 前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、
    前記触覚効果の強度を調整することによって、前記方向が第１の方向のときに第１の重力効果をシミュレートし、前記方向が前記第１の方向と反対の第２の方向のときに第２の重力効果をシミュレートする処理を実行することを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
18. 前記処理装置によって実行可能なプログラムコードをさらに含み、当該プログラムコードによって前記処理装置は、
    前記物体の表面に関連付けられた複数のグラジエントを識別する処理と、
    前記複数のグラジエントの中から、前記物体のグラフィック表現を横切る動きの方向に関連付けられたグラジエントを決定する処理と、
    前記決定されたグラジエントに基づいて前記触覚効果の強度を調整する処理と、
    を実行することを特徴とする請求項１５に記載の非一時的なコンピュータ可読媒体。
19. 前記仮想的に生成されたテクスチャは前記物体のグラフィック表現の後に生成されることを特徴とする請求項１４に記載の非一時的なコンピュータ可読媒体。
20. 前記触覚効果は前記物体のテクスチャリングされた表面又は外形をシミュレートするように構成されたことを特徴とする請求項１４に記載の非一時的なコンピュータ可読媒体。