JP2020024686A - ヒューマンコンピュータインタラクション方法、装置、端末及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】ヒューマンコンピュータインタラクション方法を提供する。【解決手段】ヒューマンコンピュータインタラクション方法は、端末に用いられる。当該方法は、オーディオ信号を取得するステップと、オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成するステップと、を含み、触覚感知信号は、触覚刺激をユーザに提供するために用いられ、視覚感知信号は、視覚刺激をユーザに提供するために用いられる。端末が、取得したオーディオ信号に基づいて、ユーザに触覚刺激を提供する触覚感知信号と、ユーザに視覚刺激を提供する視覚感知信号とを生成することによって、ユーザは異なる官能体験を得ることができる。ユーザの関与感が高められつつ、ユーザの体験感が向上する。【選択図】図１

Description

本発明は、通信技術分野に関し、特に、ヒューマンコンピュータインタラクション方法、装置、端末及びコンピュータ読み取り可能な記憶媒体に関する。

科学技術の発展に伴い、電子製品は、人々の生活でますます多く普及および応用され、また、使用過程においてユーザの電子製品に対する体験要求も徐々に高くなっている。たとえば、携帯電話またはタブレットＰＣなどの携帯用電子デバイスを使用して、ゲームをしたりビデオを見たりする過程において、ユーザの視聴体験またはゲーム体験を高めるために、発振器をオンにしてユーザ体験を高めている。

しかしながら、本発明の発明者は、以下のことを見出した。従来技術の電子製品は内蔵された決まったプログラムを利用して発振器をオンにして、ユーザの体験効果を高めているが、実際の応用において、ビデオシーンまたはゲームシーンが通常しばしば変更される。ユーザは、関与感を高めるために、しばしば変更されるシーンに応じて異なる官能効果を得る必要があるが、決まったプログラムだけで振動をオンにする方式ではユーザの体験要求を満たすことができない。

本発明の目的は、端末が、取得したオーディオ信号に基づいて、ユーザに触覚刺激を提供する触覚感知信号と、ユーザに視覚刺激を提供する視覚感知信号とを生成することによって、ユーザが異なる官能体験を得ることができるような、ヒューマンコンピュータインタラクション方法、装置、端末及びコンピュータ読み取り可能な記憶媒体を提供することにある。ユーザの関与感を向上させ、ユーザのより高い体験要求を満たす。

本発明は、上記の技術問題を解決するために、ヒューマンコンピュータインタラクション方法を提供する。当該方法は、オーディオ信号を取得するステップと、
オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成するステップと、を含み、
触覚感知信号は、触覚刺激をユーザに提供するために用いられ、視覚感知信号は、視覚刺激をユーザに提供するために用いられる。

本発明は、ヒューマンコンピュータインタラクション装置をさらに提供し、当該装置は、取得モジュールと特定モジュールとを備え、
取得モジュールは、オーディオ信号を取得し、
特定モジュールは、オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成し、前記触覚感知信号と前記視覚感知信号は、互いに関連付けられており、
触覚感知信号は、触覚刺激をユーザに提供するために用いられ、視覚感知信号は、視覚刺激をユーザに提供するために用いられる。

本発明は、端末をさらに提供し、当該端末は、少なくとも一つのプロセッサと、
少なくとも一つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも一つのプロセッサで実行可能な命令が記憶され、命令が少なくとも一つのプロセッサによって実行されることによって、少なくとも一つのプロセッサが上記の実施形態におけるヒューマンコンピュータインタラクション方法を実施可能である。

本発明は、コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体をさらに提供し、コンピュータプログラムがプロセッサによって実行されるとき、上記実施形態におけるヒューマンコンピュータインタラクション方法が実施される。

本発明は、従来技術と比較すると、端末が取得したオーディオ信号に基づいて、ユーザに触覚刺激を提供する触覚感知信号と、ユーザに視覚刺激を提供する視覚感知信号とを生成することによって、ユーザが異なる官能体験を得ることができる。ユーザの関与感が高められつつ、ユーザの体験感が向上する。

また、オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成するステップは、オーディオ信号の特徴情報を抽出するステップと、特徴情報に基づいて触覚感知信号と視覚感知信号とを生成するステップと、を含む。抽出した特徴情報触のみに基づいて覚感知信号と視覚感知信号とを生成し、オーディオ信号のすべての情報を使用する必要がなくなるので、触覚感知信号と視覚感知信号とを生成する速度は速くなる。

また、特徴情報は、信号強度、周波数および振幅の中の少なくとも一つを含む。

また、特徴情報に基づいて触覚感知信号と視覚感知信号とを生成するステップは、前記特徴情報に基づいて発振器の振動状態を特定し、発振器の振動状態に基づいて触覚感知信号を生成するステップと、
前記特徴情報に基づいて光源の点灯状態を特定し、光源の点灯状態に基づいて視覚感知信号を生成するステップと、を含み、
振動状態は、振動振幅と振動周波数とを含み、点灯状態は、色と輝度とを含む。

前記特徴情報に基づいて触覚感知信号と視覚感知信号とを同時に生成可能であり、ユーザが触覚刺激と視覚刺激とを得ることができるため、複数の官能体験がユーザに与えられ、ユーザの体験用件が満たされる。

また、前記特徴情報に基づいて光源の点灯状態を特定するステップの前に、前記特徴情報に基づいて光源がオン状態にあることを特定するステップをさらに含む。

また、オーディオ信号を取得するステップは、ローカルに格納されたオーディオ信号を取得するステップを含む。

また、オーディオ信号を取得するステップは、外部再生デバイスから送信されたオーディオ信号を受信するステップを含む。端末は、オーディオ信号を取得するときに、外部再生デバイスから送信されたオーディオ信号も受信できるので、端末がオーディオ信号を取得する方式の多様性は確保される。

端末が、取得したオーディオ信号に基づいて、ユーザに触覚刺激を提供する触覚感知信号と、ユーザに視覚刺激を提供する視覚感知信号とを生成するため、ユーザが異なる官能体験を得ることができる。

本発明の第１の実施形態に係るヒューマンコンピュータインタラクション方法を示すフローチャートである。 本発明の第２の実施形態に係るヒューマンコンピュータインタラクション方法を示すフローチャートである。 本発明の第３の実施形態に係るヒューマンコンピュータインタラクション装置の構成を示す模式図である。 本発明の第４の実施形態に係るヒューマンコンピュータインタラクション装置の構成を示す模式図である。 本発明の第５の実施形態の端末の構成を示す模式図である。

以下、本発明の実施例の目的、解決手段及び利点がより明瞭になるように、図面を参照して本発明の各実施形態を詳細に説明する。しかしながら、本発明の各実施形態において、読者に本発明のより良い理解を与えるためにいくつかの技術的細部を提示したことを、当業者は理解すべきである。しかし、これら技術的細部、および、以下の各実施形態に基づくいろんな変化および修正がなくても、本発明が保護請求する解決手段を実現することができる。

本発明の第１の実施形態は、ヒューマンコンピュータインタラクション方法に関し、当該ヒューマンコンピュータインタラクション方法は、端末に応用され、具体的な流れは図１に示され、具体的な流れは以下のようになる。

ステップ１０１において、オーディオ信号を取得する。

説明すべきことは、本発明において、オーディオ信号を取得する方式は、ローカルに格納されたオーディオ信号、または、リアルタイムで再生されるオーディオ信号を取得する方式であってもよいし、外部再生デバイスから送信されたオーディオ信号を受信する方式であってもよい。

具体的な実施において、端末は、端末中のアプリケーションがオンにされるとき、たとえば、端末中のゲームまたはビデオがオンにされるとき、ゲームまたはビデオがオンにされる命令に応じて、同期してローカルからオーディオ信号を取得する。その中、オーディオ信号は、予め記憶されたゲームまたはビデオシーンに関する情報である。

もう一つの具体的な実施において、端末は、端末中のアプリケーションがオンにされるとき、たとえば、端末中のゲームまたはビデオがオンにされるとき、外部再生デバイスから送信されたオーディオ信号を受信してもよい。その中、ユーザは、外部再生デバイスによって再生されたるオーディオ信号の種類を自発的に選択してもよく、たとえば、オーディオ信号は、テンポの速い音楽であってもよいし、テンポの遅い音楽であってもよい。当然ながら、ユーザが選択しなかった場合に、外部再生デバイスはデフォルト形式のオーディオ信号を再生してもよい。したがって、本発明は、オーディオ信号を取得する具体的な方式を限定しない同時に、オーディオ信号の具体的な種類も限定しない。

ステップ１０２において、オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成し、前記触覚感知信号と前記視覚感知信号は、互いに関連付けられている。

説明すべきことは、オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成するとき、具体的に、オーディオ信号の特徴情報を抽出し、特徴情報に基づいて触覚感知信号と視覚感知信号とを生成する方法を採用してもよい。

その中、触覚感知信号は、触覚刺激をユーザに提供するために用いられ、視覚感知信号は、視覚刺激をユーザに提供するために用いられる。

その中、特徴情報は、信号強度、周波数、振幅などの少なくとも一つを含む。オーディオ信号の特徴情報を抽出するとき、具体的に、音声分析技術を採用して、端末に内蔵された音声分析デバイス、および、ユーザが端末内に事前に設定した抽出信号強度命令を利用して、オーディオ信号の信号強度を抽出してもよい。あるいは、信号周波数命令によって信号周波数情報を抽出するか、または、信号振幅命令によって信号周波数情報を抽出してもよい。当然ながら、本発明でのモバイル端末は、オーディオ信号をデータに変換して、データ分析技術によって、データから信号強度などに関するデータを取得した後、取得された関連データを変換して、信号強度などの特徴情報を取得してもよい。当然ながら、以上は一例であり、本発明は特徴情報の具体的な抽出方式に対して限定しない。

具体的に、信号強度などの特徴情報に基づいて発振器の振動状態を特定し、発振器の振動状態に基づいて触覚感知信号を生成し、その中、振動状態は、振動振幅と振動周波数とを含む。

説明すべきことは、端末内には、信号強度などの特徴情報と振動振幅および振動周波数との対応関係が予め記憶されている。オーディオ信号を取得し、オーディオ信号の信号強度などの特徴情報を抽出した後に、抽出した信号強度などの特徴情報と、予め記憶された信号強度などの特徴情報と振動振幅との対応関係とをマッチングすると同時に、抽出した特徴情報と、予め記憶された信号強度などの特徴情報と振動周波数との対応関係とをマッチングして、マッチング結果に基づいて触覚感知信号を生成する。

たとえば、信号強度が１〜５０であるとき、対応する振動振幅が１０ミクロンであり、対応する振動周波数が５ヘルツである。振動振幅が１０ミクロンであり、振動周波数が５ヘルツであると特定されると、１級触覚感知信号の生成と定義される。信号強度が５１〜１００であるとき、対応する振動振幅が２０ミクロンであり、対応する振動周波数が１０ヘルツである。振動振幅が２０ミクロンであり、振動周波数が１０ヘルツであると特定されると、２級触覚感知信号の生成と定義される。したがって、オーディオ信号が取得され、分析を通じて、抽出されたオーディオ信号の信号強度が６０であると、このとき、発振器の振動状態は、振動振幅を２０ミクロン、振動周波数を１０ヘルツとして特定可能である。振動状態に基づいて、生成されたのが２級触覚感知信号であると特定する。当然ながら、上記はただ信号強度が１〜５０および５１〜１００である例を挙げて説明したが、実際の応用では必要によって、信号強度を自発的に区分することができ、本実施形態は区分の具体的な方式に対して限定しない。

具体的に、信号強度などの特徴情報に基づいて光源の点灯状態を特定し、光源の点灯状態に基づいて視覚感知信号を生成する。その中、点灯状態は、色と輝度とを含む。

説明すべきことは、端末内には、信号強度などの特徴情報と、光源の点灯状態中の色および輝度との対応関係が予め記憶されている。オーディオ信号が取得され、オーディオ信号の信号強度などの特徴情報を抽出した後、抽出した信号強度などの特徴情報と、予め記憶された信号強度などの特徴情報と輝度との対応関係とをマッチングすると同時に、抽出した信号強度などの特徴情報と、予め記憶された信号強度などの特徴情報と色との対応関係とをマッチングして、マッチング結果に基づいて視覚感知信号を生成する。

たとえば、信号強度が５０〜１００であるとき、対応する輝度が１０カンデラ／平方メートルであり、対応する色が赤色である。光源輝度が１０カンデラ／平方メートルであり、色が赤色であると特定されると、１級視覚感知信号の生成と定義される。信号強度が１０１〜１５０であるとき、対応する輝度が２０カンデラ／平方メートルであり、対応する色が紫色である。光源輝度が２０カンデラ／平方メートルであり、色が紫色であると特定されると、２級視覚感知信号の生成と定義される。したがって、オーディオ信号が取得され、分析を通じて、抽出されたオーディオ信号の強度が６０であると、このとき、光源の点灯状態は、輝度を１０カンデラ／平方メートル、色を赤色に特定可能である。点灯状態に基づいて、生成されたのが１級視覚感知信号であると特定する。当然ながら、上記はただ信号強度が５０〜１００および１０１〜１５０である例を挙げて説明したが、実際の応用では必要に応じて信号強度を自発的に区分することができ、本実施形態は区分の具体的な方式に対して限定しない。

なお、実際の応用においては、本発明の光源の数は、複数含むことができ、具体的な数はユーザの実際の必要に応じて設定すればよく、本実施形態は光源の具体的な数に対して限定しない。

本実施形態においては、従来技術と比較すると、端末が、取得したオーディオ信号に基づいて、ユーザに触覚刺激を提供する触覚感知信号と、ユーザに視覚刺激を提供する視覚感知信号とを生成し、ユーザが異なる官能体験を得ることができる。ユーザの関与感が高められつつ、ユーザの体験感が向上する。

本発明の第２の実施形態は、ヒューマンコンピュータインタラクション方法に関し、本実施形態は、第１の実施形態を基に更なる改良を行って得たものであり、具体的な改良は、信号強度などの特徴情報に基づいて光源の点灯状態を特定するステップの前に、信号強度などの特徴情報に基づいて光源がオン状態にあることを特定するステップを追加することにある。本実施形態において、ヒューマンコンピュータインタラクション方法のフローチャートは、図２に示される。

具体的に言えば、本実施例は、ステップ２０１〜ステップ２０５を含む。その中、ステップ２０１は、第１の実施形態におけるステップ１０１と大体同じであり、ステップ２０２〜２０３およびステップ２０５は、第１の実施形態におけるステップ１０２と大体同じであるため、ここで繰り返して説明しない。以下では、主に異なる部分を説明し、本実施形態で詳細に説明しない技術細部は、第１の実施形態に供されるヒューマンコンピュータインタラクション方法を参考すればよく、ここで繰り返して説明しない。

ステップ２０４において、信号強度などの特徴情報に基づいて光源がオン状態にあることを特定する。

具体的に言えば、オーディオ信号の信号強度などの特徴情報が抽出された後、端末は信号強度などの特徴情報に基づいて光源がオン状態にあることを特定することになる。

具体的な実施において、抽出した信号強度などの特徴情報を予め設定された閾値と比較し、抽出した信号強度などの特徴情報が予め設定された閾値よりも大きいと特定されると、光源がオン状態にあると特定する。

たとえば、信号強度の予め設定された閾値を４０に設定し、抽出した信号強度が４０よりも大きいと特定されると、光源がオン状態にあると特定し、抽出した信号強度が４０未満であると特定されると、光源がオフ状態にあると特定する。

説明すべきことは、本実施形態にとっては、抽出した信号強度などの特徴情報が予め設定された閾値未満であると、光源がオフ状態にあるが、発振器が振動される場合が発生する可能性がある。このとき、端末は、これに応じて触覚感知信号を生成するが、視覚感知信号は０である。このような状態が発生する場合は、信号強度などの特徴情報が相対的に弱いことを示し、ユーザは、触覚感知信号がもたらす触覚刺激および得られない視覚刺激に基づいて、信号強度などの特徴情報の大きさを直感的に判断することができる。

説明すべきことは、本実施形態において、ステップ２０３と、ステップ２０４およびステップ２０５との前後順に対して限定せず、ステップ２０４がステップ２０５の前にあれば、本実施形態の目的に合致するものとされる。

本実施形態においては、従来技術と比較すると、端末が、取得したオーディオ信号に基づいて、ユーザに触覚刺激を提供する触覚感知信号と、ユーザに視覚刺激を提供する視覚感知信号と、を生成することによって、ユーザが異なる官能体験を得ることができる。ユーザの関与感を向上させ、ユーザのより高い体験要件を満たす。信号強度などの特徴情報に基づいて光源の点灯状態を特定するステップの前に、信号強度などの特徴情報に基づいて光源がオン状態にあることを特定するステップを追加することによって、オンにされていない状態である光源に対する端末の不必要な操作は回避される。

本発明の第３の実施形態は、ヒューマンコンピュータインタラクションに装置に関し、当該装置の具体的な構成は図３に示され、ヒューマンコンピュータインタラクション装置は、具体的に、取得モジュール３０１と特定モジュール３０２とを備える。

その中、取得モジュール３０１は、オーディオ信号を取得する。

特定モジュール３０２は、オーディオ信号に基づいて触覚感知信号と視覚感知信号とを生成し、前記触覚感知信号と前記視覚感知信号は、互いに関連付けられている。

その中、触覚感知信号は、触覚刺激をユーザに提供するために用いられ、視覚感知信号は、視覚刺激をユーザに提供するために用いられる。

本実施形態は、第１の実施形態に対応する装置の実施形態であることが明らかであり、本実施形態は第１の実施形態と互いに協働して実施することができる。第１の実施形態で言及された関連技術の細部は、本実施形態においても依然として有効であり、繰り返しの説明を省略するためにここでは再度説明しない。これに応じて、本実施形態で言及される関連技術の細部も、第１の実施形態において応用できる。

本発明の第４の実施形態は、ヒューマンコンピュータインタラクション装置に関し、当該実施形態は第３の実施形態と大体同じであり、具体的な構成は図４に示される。その中、主な改良は、特定モジュール３０２の機能に対する具体的な説明にある。

特定モジュール３０２は、具体的に、抽出モジュール３０２１と、触覚感知信号特定モジュール３０２２と、オン状態特定モジュール３０２３と、視覚感知信号特定モジュール３０２４と、を備える。

その中、抽出モジュール３０２１は、オーディオ信号の信号強度などの特徴情報を抽出する。

触覚感知信号特定モジュール３０２２は、信号強度などの特徴情報に基づいて発振器の振動状態を特定し、発振器の振動状態に基づいて触覚感知信号を生成する。

オン状態特定モジュール３０２３は、信号強度などの特徴情報に基づいて光源がオン状態にあることを特定する。

視覚感知信号特定モジュール３０２４は、信号強度などの特徴情報に基づいて光源の点灯状態を特定し、光源の点灯状態に基づいて視覚感知信号を生成する。

本実施形態は、第２の実施形態に対応する装置の実施形態であることが明らかであり、本実施形態は第２の実施形態と互いに協働して実施することができる。第２の実施形態で言及された関連技術の細部は、本実施形態においても依然として有効であり、繰り返しの説明を省略するためにここでは再度説明しない。これに応じて、本実施形態で言及される関連技術の細部も、第２の実施形態において応用できる。

本発明の第５の実施形態は、端末に関し、具体的な構成は図５に示される。当該端末は、少なくとも一つのプロセッサ４０１と、少なくとも一つのプロセッサ４０１に通信接続されるメモリ４０２と、を備える。その中、メモリ４０２には、少なくとも一つのプロセッサ４０１で実行可能な命令が記憶され、命令が少なくとも一つのプロセッサ４０１によって実行されることによって、少なくとも一つのプロセッサ４０１がヒューマンコンピュータインタラクション方法を実行可能である。

本実施形態においては、プロセッサ４０１が中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、メモリ４０２が読み書き可能なメモリＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である例を挙げる。プロセッサ４０１とメモリ４０２とは、バスまたは他の方式によって接続され、図５ではバスを介して接続される例を挙げている。メモリ４０２は、不揮発性コンピュータ可読記憶媒体として、不揮発性ソフトウェアプログラム、不揮発性コンピュータの実行可能なプログラム及びモジュールを記憶可能である。本願の実施例に係る環境情報特定方法を実施するプログラムはメモリ４０２に記憶されている。プロセッサ４０１は、メモリ４０２に記憶されている不揮発性ソフトウェアプログラム、命令、および、モジュールを動作させることによって、デバイスの様々な機能アプリケーションとデータ処理とを実行し、すなわち、上記ヒューマンコンピュータインタラクションの方法を実施する。

メモリ４０２は、プログラム記憶領域とデータ記憶領域とを含んでもよく、その中、プログラム記憶領域はオペレーティングシステムと少なくとも一つの機能に必要なアプリケーションを記憶することができ、データ記憶領域はオプションリストなどを記憶することができる。なお、メモリは、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよく、たとえば、少なくとも一つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、または、他の不揮発性固体記憶デバイスなどを含んでもよい。いくつかの実施形態において、メモリ４０２は、プロセッサ４０１に対して遠隔に配置されたメモリを選択的に含んでもよく、これら遠隔メモリはネットワークを介して外部デバイスに接続されてもよい。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、および、その組み合わせを含んでもよいが、これらに限定されない。

一つまたは複数のプログラムモジュールは、メモリ４０２内に記憶されており、一つまたは複数のプロセッサ４０１によって実行されるとき、上記任意の方法実施例におけるヒューマンコンピュータインタラクション方法が実行される。

上記製品は、本願の実施例に供される方法を実行することができ、方法の実行に対応する機能モジュール及び有利な作用効果を有し、本実施形態で詳細に説明されていない技術的細部は、本願の実施形態に供される方法を参照すればよい。

本願の第６の実施形態は、コンピュータ読み取り可能な記憶媒体に関し、当該コンピュータ読み取り可能な記憶媒体には、コンピュータプログラムが記憶されている、当該コンピュータプログラムがプロセッサによって実行されるとき、本願の任意の方法の実施例形態に係るヒューマンコンピュータインタラクション方法が実施される。

当業者は、上記実施形態の方法における全部または一部のステップの実施は、プログラムが関連するハードウェアを命令して完成することができ、当該プログラムは、一つの記憶媒体に記憶され、一つの機器（ワンチップマイコン、チップなどであってもよい）、または、プロセッサ（ｐｒｏｃｅｓｓｏｒ）が本発明の各実施形態に記載の方法の全部または一部のステップを実行するようにするためのいくつかの命令を含むことが理解できる。前述の記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク、または、光ディスクなどの様々な、プログラムコードを記憶できる媒体を含む。

当業者であれば、上記各実施形態は、本発明を実現するための具体的な実施形態であり、実際の応用において、本発明の精神および範囲から逸脱することなく、形態および細部上で様々な変更を加えることが可能であると理解できる。

Claims (10)

1. ヒューマンコンピュータインタラクション方法であって、
   前記ヒューマンコンピュータインタラクション方法は、端末に用いられ、
   オーディオ信号を取得するステップと、
   前記オーディオ信号に基づいて、互いに関連付けられている触覚感知信号と視覚感知信号とを生成するステップと、を含み、
   前記触覚感知信号は、触覚刺激をユーザに提供するために用いられ、前記視覚感知信号は、視覚刺激を前記ユーザに提供するために用いられる、
   ことを特徴とするヒューマンコンピュータインタラクション方法。
2. 前記オーディオ信号に基づいて前記触覚感知信号と前記視覚感知信号とを生成するステップは、
   前記オーディオ信号の特徴情報を抽出するステップと、
   前記特徴情報に基づいて前記触覚感知信号と前記視覚感知信号とを生成するステップと、を含む、
   ことを特徴とする請求項１に記載のヒューマンコンピュータインタラクション方法。
3. 前記特徴情報は、信号強度、周波数および振幅の中の少なくとも一つを含む、
   ことを特徴とする請求項２に記載のヒューマンコンピュータインタラクション方法。
4. 前記特徴情報に基づいて前記触覚感知信号と前記視覚感知信号とを生成するステップは、
   前記特徴情報に基づいて発振器の振動状態を特定し、前記発振器の前記振動状態に基づいて前記触覚感知信号を生成するステップと、
   前記特徴情報に基づいて光源の点灯状態を特定し、前記光源の前記点灯状態に基づいて前記視覚感知信号を生成するステップと、を含み、
   前記振動状態は、振動振幅と振動周波数とを含み、前記点灯状態は、色と輝度とを含む、
   ことを特徴とする請求項３に記載のヒューマンコンピュータインタラクション方法。
5. 前記特徴情報に基づいて前記光源の前記点灯状態を特定するステップの前に、
   前記特徴情報に基づいて前記光源がオン状態にあることを特定するステップをさらに含む、
   ことを特徴とする請求項４に記載のヒューマンコンピュータインタラクション方法。
6. 前記オーディオ信号を取得するステップは、ローカルの前記オーディオ信号を取得するステップを含む、
   ことを特徴とする請求項１に記載のヒューマンコンピュータインタラクション方法。
7. 前記オーディオ信号を取得するステップは、外部再生デバイスから送信された前記オーディオ信号を受信するステップを含む、
   ことを特徴とする請求項１に記載のヒューマンコンピュータインタラクション方法。
8. 取得モジュールと特定モジュールとを備え、
   前記取得モジュールは、オーディオ信号を取得し、
   前記特定モジュールは、前記オーディオ信号に基づいて、互いに関連付けられている触覚感知信号と視覚感知信号とを生成し、
   前記触覚感知信号は、触覚刺激をユーザに提供するために用いられ、前記視覚感知信号は、視覚刺激をユーザに提供するために用いられる、
   ことを特徴とする装置。
9. 少なくとも一つのプロセッサと、
   前記少なくとも一つのプロセッサに通信接続されるメモリと、を備え、
   前記メモリには、前記少なくとも一つのプロセッサで実行可能な命令が記憶され、前記命令が前記少なくとも一つのプロセッサによって実行されることによって、前記少なくとも一つのプロセッサが請求項１乃至７のいずれか１項に記載のヒューマンコンピュータインタラクション方法を実行可能である、
   ことを特徴とする端末。
10. コンピュータプログラムが記憶されるコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１乃至７のいずれか１項に記載のヒューマンコンピュータインタラクション方法が実施される、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。