JP2019042509A - 音声情報を補償するビジュアル方法及び装置、プログラム、記憶媒体、電子機器 - Google Patents

Abstract

【課題】音声情報を補償するビジュアル方法及び装置、プログラム、記憶媒体、電子機器を提供する。
【解決手段】ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、音声のタイプと、音声の音源の仮想オブジェクトに対する方位とを取得するステップＳ１と、グラフィカルユーザインターフェースには音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップＳ２と、音声の音源の仮想オブジェクトに対する方位に基づいて、対応付けられる仮想コンポーネントの指向を制御するステップＳ３と、を含む。
【選択図】図１

Description

本願は、出願番号が２０１７１０７６２２９８.３であって、出願日が２０１７年８月３０日である中国特許出願に基づき優先権を主張し、当該中国特許出願のすべての内容を本願に援用する。

本発明は、マンマシンインタラクション技術領域に係り、特に、音声情報を補償するビジュアル方法及び装置、プログラム、記憶媒体、電子機器に関する。

コンベンショナル端末のゲームでは、ユーザは、ゲームにおける音声のタイプと、音声の音源の、ユーザにより制御される仮想オブジェクトに対する距離及び方位などの情報を判断することによって、ユーザにより制御される仮想オブジェクトが位置する環境を判断することができ、例えば、靴音の変化規則によって、敵キャラクタの方向を判断することができ、さらに、例えば、銃声によって、危険の来現を判断することができる。したがって、コンベンショナル端末のゲームでは、ユーザは、ゲームにおける音声に基づいて、ユーザにより制御される仮想オブジェクトが位置する環境を迅速に判断することができると共に、対策を迅速に施すことができる。なお、コンベンショナル端末の応用環境が良い、音響効果が良いイヤホンまたは音響機器を使用すると、没入感が容易に中断されず、ユーザは、より良い体験を持つことができる。

現在、手持ち端末の普及に伴い、ゲームが手持ち端末に応用されることは、ますます増えている。しかしながら、コンベンショナル端末に比べて、手持ち端末の応用環境は、比較的広くなっている。手持ち端末が騒音環境で応用される場合、ユーザは、ゲームにおける音声によって、ユーザにより制御される仮想オブジェクトが位置する環境を判断しにくく、且つ、没入感は、容易に中断される。

なお、上記の背景技術に開示された上記の情報は、本発明の背景に対する理解を強化するためのものに過ぎず、当業者にとって公知の先行技術ではない情報を含むことができる。

本発明は、音声情報を補償するビジュアル方法及び装置、プログラム、記憶媒体、電子機器を提供することを目的とする。

本発明の一局面によれば、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル方法を提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを部分的に含み、前記方法は、前記ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、前記音声のタイプと、前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップと、前記グラフィカルユーザインターフェースに前記音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップと、前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップと、を含む。

本発明の一局面によれば、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル方法を提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを部分的に含み、前記方法は、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップと、前記グラフィカルユーザインターフェースに前記複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップと、前記第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップと、を含む。

本発明の一局面によれば、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル方法を提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを部分的に含み、前記方法は、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップと、前記グラフィカルユーザインターフェースに前記複数の音声と同じ数の複数のビジュアルコントロールを提供するステップと、ここで、前記複数のビジュアルコントロールは、前記複数の音声と一対一で対応し、各前記ビジュアルコントロールは、いずれも各前記音声のタイプに対応付けられる仮想コンポーネントを含み、各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる各前記仮想コンポーネントの指向をそれぞれ制御するステップと、を含む。

本発明の一局面によれば、プロセッサに実行されることにより、上記のいずれか１つの音声情報を補償するビジュアル方法を実現するコンピュータプログラムを提供する。

本発明の一局面によれば、上記のコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体を提供する。

本発明の一局面によれば、電子機器を提供し、
当該電子機器は、
プロセッサと、
前記プロセッサによって実行可能な指令を記憶するメモリと、を含み、
前記プロセッサは、前記実行可能な指令を実行することによって、上記のいずれか１つの音声情報を補償するビジュアル方法を実行するように構成される。
以上の一般的な説明および以下の詳細な説明は、例示的且つ説明的なものに過ぎず、本発明を限定するものではないことを理解するべきである。

例示的な実施形態を図面を参照して詳細に説明することにより、本発明の上記特徴及び他の特徴及び利点がより明らかになるであろう。明らかなように、以下の説明における図面は、単に本発明のいくつかの実施形態に関するものであり、当業者は、創造的な労働をかけることなく、これらの図面に基づいて他の図面を得ることができる。
図１は、本発明に係る音声情報を補償するビジュアル方法の第１のフローチャートである。 図２は、本発明の例示的な実施例における第１の予め設定された範囲と第２の予め設定された範囲との模式図である。 図３は、本発明に係る音声情報を補償するビジュアル方法の第２のフローチャートである。 図４は、本発明の例示的な実施例に１つのビジュアルコントロールを表示する模式図である。 図５は、本発明の他の例示的な実施例に１つのビジュアルコントロールを表示する模式図である。 図６は、本発明に係る音声情報を補償するビジュアル方法の第３のフローチャートである。 図７は、本発明の例示的な実施例に３つのビジュアルコントロールを表示する模式図である。 図８は、本発明の他の例示的な実施例に３つのビジュアルコントロールを表示する模式図である。 図９は、本発明に係る音声情報を補償するビジュアル装置のブロック図である。 図１０は、本発明の例示的な実施例における電子機器のモジュール模式図である。 図１１は、本発明の例示的な実施例におけるプログラム製品の模式図である。

現在、いくつかのゲーム開発元は、グラフィカルユーザインターフェースに矢印を表示することによって、ゲームにおける音声の音源の仮想オブジェクトに対する方位を標示し、または、グラフィカルユーザインターフェースに音声波形を含むコントロールを表示することによって、音声の音量の変化を示す。

上記の方式においては、音声のタイプと、音声の仮想オブジェクトに対する距離及び方位とを同時に表示することができない。ユーザは、騒音環境で上記の方式により、音声のタイプと、音声の仮想オブジェクトに対する距離及び方位とを同時に取得できず、ユーザ体験が悪い。

以下、図面を参照して本発明の例示的な実施例をより詳細に説明する。
当該例示的な実施例は、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル方法を開示し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを少なくとも部分的に含む。当該タッチ端末は、例えば、携帯電話、タブレットコンピュータ、ノートコンピュータ、ゲーム機、ＰＤＡ等、タッチスクリーンを備える各種の電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラミングインタフェースにより、タッチ端末のタッチスクリーンが仮想オブジェクトと、仮想ジョイスティックを含む仮想ジョイスティック領域と、仮想戦闘シーンと、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体の領域であってもよく、タッチスクリーンの一部の領域であってもよいが、当該例示的な実施例は、これに対して特に限定されない。前記仮想オブジェクトとは、ユーザにより制御されるゲームキャラクタを指し、前記ゲームキャラクタの部分または全体の形態でグラフィカルユーザインターフェースに表示される。例えば、一人称視点では、グラフィカルユーザインターフェースの内容は、ユーザのマスター視点で提示され、ユーザの没入感を向上させることができ、インタフェースには、例えば、手または足などのゲームキャラクタの一部のみが見えるが、三人称視点では、ゲームキャラクタの全体をグラフィカルユーザインターフェースに提示することができ、ユーザの操作難度及びめまい感を低減し、且つ画面の動作感をより強調することができる。開発者は、ゲームの内容に基づいて、どちらの方式で表示するかを決定でき、本発明は、これに限定されない。図１に示すように、音声情報を補償するビジュアル方法は、前記ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、前記音声のタイプと、前記音声の音源の前記仮想オブジェクトに対する方位を取得するステップＳ１と、前記グラフィカルユーザインターフェースには前記音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップＳ２と、前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップＳ３と、を含んでもよい。

当該例示的な実施例における音声情報を補償するビジュアル方法によれば、音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向によって、音声のタイプと、音声の音源の前記仮想オブジェクトに対する方位とを同時に表示する方法を提供し、ユーザは、騒音環境において音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向により、音声のタイプと、音声の音源の前記仮想オブジェクトに対する方位とを識別できるようになり、一方、上記の方式によって、ユーザは、音声のタイプと、音声の音源の前記仮想オブジェクトに対する方位とを同時に識別でき、したがって、関連技術に比べて、ユーザ体験が良い。

以下、図１を参照して、当該例示的な実施例における音声情報を補償するビジュアル方法をさらに説明する。

ステップＳ１において、前記ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、前記音声のタイプと、前記音声の音源の前記仮想オブジェクトに対する方位を取得する。

当該例示的な実施例において、前記第１の予め設定された範囲の大きさは、開発者によりゲーム内容に応じて設定されてもよい。例えば、前記第１の予め設定された範囲は、仮想キャラクタの聴覚範囲に基づいて決定される範囲であってもよく、ゲームシーンの全体の領域またはグラフィカルユーザインターフェースに表示されるゲームシーンの領域等であってもよい。

検出モジュールにより、予め設定された周期で第１の予め設定された範囲内の音声を検出してもよく、前記予め設定された周期は、開発元によって設定されてもよい。ただし、検出の精度を確保するために、前記予め設定された周期は長すぎるものとすることができない。

音声タイプ取得モジュールにより、前記音声のタイプを取得してもよい。ここで、前記音声のタイプは、靴音、会話音、ドア開音、銃声、戦闘音等であってもよいが、当該例示的な実施例は、これに対して特に限定されない。

仮想オブジェクトの座標と音声の音源の座標を取得すると共に、前記仮想オブジェクトの座標と音声の音源の座標に基づいて、音声の音源の仮想オブジェクトに対する方位を計算してもよい。

ステップＳ２において、前記グラフィカルユーザインターフェースには前記音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供する。

当該例示的な実施例において、前記ビジュアルコントロールは、グラフィカルユーザインターフェースにおける任意の位置に設置されてもよい。例えば、前記ビジュアルコントロールは、グラフィカルユーザインターフェースの左上方に設置されてもよい。さらに、例えば、前記ビジュアルコントロールは、グラフィカルユーザインターフェースの右下方等に設置されてもよい、当該例示的な実施例は、これに対して特に限定されない。前記ビジュアルコントロールの形状は、円形、方形、楕円形等であってもよい。前記ビジュアルコントロールの色は、緑色、黒色、灰色等であってもよい。

前記仮想コンポーネントは、表意画像と方向標識を含んでもよい。前記表意画像は、音声のタイプを表示するためのものであり、したがって、前記表意画像は、前記音声のタイプと一致する。ユーザが前記表意画像に基づいて前記音声のタイプを迅速に識別できるようにするために、前記表意画像は、音声のタイプに基づいて決定されてもよい。例えば、音声のタイプが靴音である場合、表意画像は、足の形状であってもよい。さらに、例えば、音声のタイプが銃声である場合、表意画像は、銃の形状であってもよい。前記表意画像の色は、開発元により設定されてもよく、音声のタイプに基づいて決定されてもよく、例えば、音声のタイプが銃声である場合、前記表意画像の色は、銃の色に基づいて設定されてもよい。さらに、例えば、音声のタイプが靴音である場合、前記表意画像の色は、黒色であってもよい。なお、表意画像の色とビジュアルコントロールの色は、ユーザが表意画像を迅速に識別できないことを避けるように、似すぎるものに設置されることができない。

前記方向標識は、前記音声の音源の前記仮想オブジェクトに対する方位を示すためのものであり、したがって、前記方向標識の指向は、前記音声の音源の前記仮想オブジェクトに対する方位と一致する。前記方向標識は、矢印であってもよく、三角形であってもよく、ポインターなど指向方向を有する標識であってもよいが、当該例示的な実施例は、これに対して特に限定されない。前記方向標識の色は、開発元により設定されてもよく、例えば、緑色であってもよく、赤色等であってもよい。前記方向標識の指向は、前記音声の音源の前記仮想オブジェクトに対する方位に伴って３６０度連続的に変化し、即ち、音声の音源の前記仮想オブジェクトに対する方位が連続的に変化する場合、前記方向標識の指向も連続的に変化する。

ステップＳ３において、前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御する。

当該例示的な実施例において、前記仮想コンポーネントが表意画像と方向標識を含む場合、音声の音源の仮想オブジェクトに対する方位に基づいて、対応付けられる仮想コンポーネントにおける方向標識の指向を制御してもよい。

当該例示的な実施例において、前記方向標識は、ビジュアルコントロールの周囲の任意の固定位置に設置されてもよい。これに基づいて、前記方向標識は、方向標識上の任意の１つの点を中心として回転して、方向標識の指向を変更することができる。

当該例示的な実施例において、前記方向標識は、ビジュアルコントロールの境界上に設置されてもよい、または、ビジュアルコントロールの周囲に設置されてもよい。これに基づいて、前記方向標識は、予め設定された軌跡に沿って移動して、方向標識の指向を変更でき、ここで、前記予め設定された軌跡は、例えば、前記ビジュアルコントロールの境界であってもよい。

一実施例において、前記方法は、前記音声の音源の前記仮想オブジェクトに対する距離を取得するステップと、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップと、をさらに含む。

一実施例において、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップは、
前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの透明度、大きさ、または輝度のうちの少なくとも一種の表示形態を制御するステップを含む。

当該例示的な実施例において、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップは、以下の方式を含む。

方式１では、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの透明度の表示形態を制御する。

当該例示的な実施例において、前記仮想コンポーネントの透明度と前記音声の音源の前記仮想オブジェクトに対する距離とは、負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、仮想コンポーネントの透明度が高くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、仮想コンポーネントの透明度が低くなる。なお、前記仮想コンポーネントの透明度の取り得る範囲は、１００％〜０％であり、ここで、仮想コンポーネントの透明度が１００％である場合、仮想コンポーネントは、完全に透明であり、仮想コンポーネントの透明度が０％である場合、仮想コンポーネントは、完全に不透明である。

方式２では、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの大きさの表示形態を制御する。

当該例示的な実施例において、前記仮想コンポーネントの大きさと前記音声の音源の前記仮想オブジェクトに対する距離とは、負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、仮想コンポーネントの大きさが小さくなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、仮想コンポーネントの大きさが大きくなる。

方式３では、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの輝度の表示形態を制御する。

当該例示的な実施例において、前記仮想コンポーネントの輝度と前記音声の音源の前記仮想オブジェクトに対する距離とは、負の相関関係を有し、即ち、前記音声の音源の前記仮想オブジェクトに対する距離が遠いほど、仮想コンポーネントの輝度が低くなり、前記音声の音源の前記仮想オブジェクトに対する距離が近いほど、仮想コンポーネントの輝度が高くなる。

なお、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの透明度、大きさまたは輝度のうちの任意の２種または３種の表示形態を制御してもよい。

なお、前記仮想コンポーネントが表意画像と方向標識を含む場合、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップは、前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントにおける前記表意画像及び/又は前記方向標識の表示形態を制御するステップを含んでもよい。

当該例示的な実施例において、表意画像と方向標識の表示形態を同時に制御すことによって、音声の音源の仮想オブジェクトに対する距離を表示してもよい、表意画像と方向標識のうちの一方の表示形態を制御することによって、音声の音源の仮想オブジェクトに対する距離を表示してもよい。

さらに、前記音声の音源の仮想オブジェクトに対する距離に基づいて、対応付けられる仮想コンポーネントにおける前記表意画像及び/又は前記方向標識の透明度の表示形態を制御してもよい、前記音声の音源の仮想オブジェクトに対する距離に基づいて、対応付けられる仮想コンポーネントにおける前記表意画像及び/又は前記方向標識の大きさの表示形態を制御してもよい、前記音声の音源の仮想オブジェクトに対する距離に基づいて、対応付けられる仮想コンポーネントにおける前記表意画像及び/又は前記方向標識の輝度の表示形態を制御してもよい。

なお、前記音声の音源の仮想オブジェクトに対する距離に基づいて、対応付けられる仮想コンポーネントにおける前記表意画像及び/又は前記方向標識の透明度、大きさまたは輝度のうちの任意の２種または３種の表示形態を制御してもよい。

以上のように、音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向によって、音声のタイプと、音声の音源の前記仮想オブジェクトに対する方位とを同時に表示する方法を提供し、ユーザは、騒音環境において音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向により、音声のタイプ、音声の音源の前記仮想オブジェクトに対する方位を識別できるようになる。なお、上記の方式によって、ユーザは、音声のタイプと、音声の音源の前記仮想オブジェクトに対する方位とを同時に識別できるようになり、したがって、関連技術に比べて、ユーザ体験が良い。

なお、前記方法は、前記グラフィカルユーザインターフェースにはビジュアルコントロールを提供する前に、前記音声の音源が第２の予め設定された範囲内にあり、且つ第３の予め設定された範囲外にあると判定するステップをさらに含む。

当該例示的な実施例において、前記第２の予め設定された範囲は、仮想オブジェクトに影響できる範囲であり、前記第２の予め設定された範囲は、仮想オブジェクトを中心とする範囲である。例えば、図２に示すように、前記第２の予め設定された範囲Ａは、仮想オブジェクト１を中心とする円形領域であってもよい。なお、前記第２の予め設定された範囲は、仮想オブジェクトを中心とする方形の範囲または楕円形の範囲であってもよいが、当該例示的な実施例は、これに対して特に限定されない。前記第３の予め設定された範囲は、仮想オブジェクトの視野が明瞭である範囲である。図２に示すように、前記第３の予め設定された範囲Ｂは、仮想オブジェクト１を基準点とする扇形領域であってもよいが、前記扇形領域の面積は、仮想オブジェクトの視野が明瞭である範囲に基づいて設定される。例えば、比較的平坦且つ多すぎる障害物がない環境において、扇形領域の面積を大きく設定できる。さらに、例えば、障害物が多い、または、地形が凹凸ある環境において、扇形領域の面積は、当該扇形領域の既存の面積から障害物または地形の凸凹ある部分の面積を差し引いた後の余剰の面積であってもよい。

音声の音源の位置を取得した場合、音声の音源の位置座標が第２の予め設定された範囲の座標範囲内にあり且つ第３の予め設定された範囲の座標範囲外にあるか否かを判定し、音声の音源の位置座標が第２の予め設定された範囲の座標範囲内にあり且つ第３の予め設定された範囲の座標範囲外にあると判定する場合、グラフィカルユーザインターフェースにビジュアルコントロールを表示し、音声の音源の位置座標が第２の予め設定された範囲の座標範囲外にあるかまたは第３の予め設定された範囲の座標範囲内にあると判定する場合、グラフィカルユーザインターフェースにビジュアルコントロールを表示しない。

上記の方式によって、音声の音源の位置が仮想オブジェクトから遠く離れる場合、当該音声は、短時間で仮想オブジェクトに影響を及ぼさない、例えば、仮想オブジェクトから遠く離れる銃声は、短時間で仮想オブジェクトに脅威を与えない、したがって、第２の予め設定された範囲（即ち、仮想オブジェクトに影響を及ぼすことができる範囲）を設定し、且つ、音声の音源の位置が第２の予め設定された範囲内にある場合のみ、ビジュアルコントロールを表示することによって、表示ロジックを最適化させると共に、ビジュアルコントロールの冗長設計を減少させることができる。なお、音声の音源の位置が第３の予め設定された範囲内（即ち、音声の音源の位置が仮想オブジェクトの視野が明瞭である範囲内にある場合）にある場合、ユーザは、音声の音源の位置を明瞭に見ることができ、したがって、グラフィカルユーザインターフェースにビジュアルコントロールを表示しない、音声の音源の位置が第３の予め設定された範囲外（即ち、音声の音源の位置は仮想オブジェクトの視野が明瞭である範囲外にある場合）にある場合のみ、ビジュアルコントロールを表示し、表示ロジックをさらに最適化させると共に、ビジュアルコントロールの冗長設計を減少させることができる。

本発明の例示的な実施例において、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル方法をさらに提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを少なくとも部分的に含む。当該タッチ端末は、例えば、携帯電話、タブレットコンピュータ、ノートコンピュータ、ゲーム機、ＰＤＡ等、タッチスクリーンを備える各種の電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラミングインタフェースにより、タッチ端末のタッチスクリーンが仮想オブジェクトと、仮想ジョイスティックを含む仮想ジョイスティック領域と、仮想戦闘シーンと、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体の領域であってもよい、タッチスクリーンの一部の領域であってもよい、当該例示的な実施例は、これに対して特に限定されない。前記仮想オブジェクトとは、ユーザにより制御されるゲームキャラクタを指し、前記ゲームキャラクタの部分または全体の形態でグラフィカルユーザインターフェースに表示される。例えば、一人称視点では、グラフィカルユーザインターフェースの内容は、ユーザのマスター視点で提示され、ユーザの没入感を向上させることができ、インタフェースには、例えば、手または足などのゲームキャラクタの一部のみが見えるが、三人称視点では、ゲームキャラクタの全体をグラフィカルユーザインターフェースに提示することができ、ユーザの操作難度及びめまい感を低減し、且つ画面の動作感をより強調することができる。開発者は、ゲームの内容に基づいて、どちらの方式で表示するかを決定できるが、本発明は、これに限定されない。図３に示すように、音声情報を補償するビジュアル方法は、以下のステップを含んでもよい。

ステップＳ１０において、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得する。

当該例示的な実施例において、前記第１の予め設定された範囲の大きさは、開発者によりゲーム内容に基づいて設定されてもよく、例えば、前記第１の予め設定された範囲は、仮想キャラクタの聴覚範囲に基づいて決定される範囲であってもよく、ゲームシーンの全体の領域またはグラフィカルユーザインターフェースに表示されるゲームシーンの領域等であってもよい。

検出モジュールにより、予め設定された周期でグラフィカルユーザインターフェースにおける複数の音声を検出してもよい、前記予め設定された周期は、開発元によって設定されてもよい。ただし、検出の精度を確保するために、前記予め設定された周期は長すぎるものとすることができない。

音声タイプ取得モジュールにより、前記複数の音声のタイプをそれぞれ取得してもよい。ここで、前記音声のタイプは、靴音、会話音、ドア開音、銃声、戦闘音等であってもよいが、当該例示的な実施例は、これに対して特に限定されない。

各音声の音源の座標と仮想オブジェクトの座標を取得すると共に、各音声の音源の座標と仮想オブジェクトの座標に基づいて、各音声の音源の仮想オブジェクトに対する距離及び方位をそれぞれ計算してもよい。

前記複数の音声は、３個であってもよいし、４個であってもよいし、５個であってもよいが、当該例示的な実施例は、これに対して特に限定されない。前記複数の音声のタイプは、完全に同一であってもよく、完全に異なってもよく、完全に同一でなくてもよい。

ステップＳ２０において、前記グラフィカルユーザインターフェースには、前記複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供する。

当該例示的な実施例において、前記ビジュアルコントロールの位置は、グラフィカルユーザインターフェースにおける任意の位置であってもよく、例えば、グラフィカルユーザインターフェースの右下方であってもよく、グラフィカルユーザインターフェースの左上方にあってもよいが、当該例示的な実施例は、これに対して特に限定されない。

予め設定された方式に基づいて複数の音声の順序をソートすると共に、一番目に並べられる音声を第１の音声として決定してもよい。前記予め設定された方式は、音声の音源の仮想オブジェクトに対する距離に基づいて、近い順から遠い順でソートし、仮想オブジェクトに対する距離が最も近い音声を一番目に並べ、仮想オブジェクトに対する距離が最も遠い音声を最後に並べることであってもよい。前記予め設定された方式は、音声の仮想オブジェクトに対する脅威度に基づいて、脅威度が大きい順から小さい順でソートし、仮想オブジェクトに対する脅威度が最大である音声を一番目に並べ、仮想オブジェクトに対する脅威度が最小である音声を最後に並べることであってもよい。なお、当該例示的な実施例における予め設定された方式は、これに限定されない。

当該例示的な実施例において、前記仮想コンポーネントは、表意画像と方向標識を含んでもよく、ここで、表意画像は、前記第１の音声のタイプと一致し、前記方向標識の指向は、前記第１の音声の音源の前記仮想オブジェクトに対する方位と一致する。上記の仮想コンポーネントにおける表意画像と方向標識により、ユーザは、第１の音声のタイプと、第１の音声の音源の仮想オブジェクトに対する方位とを取得できる。

前記仮想コンポーネントは、表意画像と、前記複数の音声と同じ数の複数の方向標識をさらに含んでもよい。ここで、前記表意画像は、前記第１の音声のタイプに一致し、前記複数の方向標識は、前記複数の音声と一対一で対応する。即ち、１つの方向標識は、１つの音声に対応し、１つの音声は、１つの方向標識に対応する。上記の仮想コンポーネントにおける表意画像と、複数の音声と同じ数の複数の方向標識とによって、ユーザは、第１の音声のタイプと、各音声の音源の仮想オブジェクトに対する方位とを取得できる。これに基づいて、ユーザが複数の方向標識から第１の音声の音源の仮想オブジェクトに対する方位を迅速に区別できるようにするために、第１の音声の音源の仮想オブジェクトに対する方位を示す方向標識と、他の音声の音源の仮想オブジェクトに対する方位を示す方向標識とを区別して表示できる。

なお、上記の図１で音声情報を補償するビジュアル方法において、前記表意画像と前記方向標識を詳細に説明したので、ここでは説明を省略する。

ステップＳ３０において、前記第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御する。

当該例示的な実施例において、前記仮想コンポーネントは、表意画像と方向標識を含んでもよい。この場合、第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる仮想コンポーネントにおける方向標識の指向を制御することにより、ユーザは、当該方向標識により第１の音声の音源の仮想オブジェクトに対する方位を取得することができる。

前記仮想コンポーネントは、表意画像と、前記複数の音声と同じ数の複数の方向標識とをさらに含んでもよい、ここで、前記表意画像は、前記第１の音声のタイプに一致し、前記複数の方向標識は、前記複数の音声と一対一で対応する。この場合、各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応する各前記方向標識の指向をそれぞれ制御でき、即ち、１つの方向標識は、１つの音声の音源の仮想オブジェクトに対する方位に対応する。上記の方式により、ユーザは、各方向標識の指向に基づいて、各音声の音源の仮想オブジェクトに対する方位をそれぞれ取得することができる。

一実施例において、前記方法は、前記第１の音声の音源の前記仮想オブジェクトに対する距離を取得するステップと、前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップとをさらに含む。

当該例示的な実施例において、前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの透明度の表示形態を制御してもよく、ここで、距離が遠いほど、透明度が高くなり、距離が近いほど、透明度が低くなる。前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの大きさの表示形態を制御してもよく、ここで、距離が遠いほど、仮想コンポーネントが小さくなり、距離が近いほど、仮想コンポーネントが大きくなる。前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの輝度の表示形態を制御してもよく、ここで、距離が遠いほど、輝度が低くなり、距離が近いほど、輝度が高くなる。前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御することによって、ユーザは、仮想コンポーネントの表示形態に基づいて、第１の音声の音源の仮想オブジェクトに対する距離を取得することができる。

前記仮想コンポーネントが表意画像と方向標識含む場合、前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、表意画像及び/又は方向標識の表示形態を制御してもよい。具体的には、前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、表意画像及び/又は方向標識の透明度の表示形態を制御してもよい。前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、表意画像及び/又は方向標識の大きさの表示形態を制御してもよい。以上のように、ユーザは、表意画像及び/又は方向標識の表示形態によって、第１の音声の音源の仮想オブジェクトに対する距離を取得することができる。

前記仮想コンポーネントが表意画像と、前記複数の音声と同じ数の複数の方向標識とを含む場合、前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、表意画像及び/又は第１の音声に対応する方向標識の表示形態を制御してもよい。具体的には、前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、表意画像及び/又は第１の音声に対応する方向標識の透明度の表示形態を制御してもよい。前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、表意画像及び/又は第１の音声に対応する方向標識の大きさの表示形態を制御してもよい。以上のように、ユーザは、表意画像及び/又は第１の音声に対応する方向標識の表示形態により、第１の音声の音源の仮想オブジェクトに対する距離を取得することができる。

なお、前記仮想コンポーネントが表意画像と、前記複数の音声と同じ数の複数の方向標識を含む場合、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、各前記音声に対応付けられる前記方向標識の表示形態を制御してもよい。具体的には、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、各前記音声に対応付けられる前記方向標識の透明度の表示形態を制御してもよく、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、各前記音声に対応付けられる前記方向標識の大きさの表示形態を制御してもよい。以上のように、ユーザは、各前記音声に対応付けられる前記方向標識の表示形態により、各前記音声の音源の仮想オブジェクトに対する距離をそれぞれ取得することができる。

以下、複数の音声が３つの音声であることを例として上記の過程を説明する。

例えば、上記の３つの音声は、それぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１の音声〜第３の音声のタイプは、それぞれ靴音、銃声、ドア開音であり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離は、それぞれ１０ｍ、２０ｍ、３０ｍであり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する方位は、それぞれ前、後、左である。その上で、音声の音源の前記仮想オブジェクトに対する距離に基づいて、第１の音声〜第３の音声を近くから遠くへの順序でソートし、これにより、第１の音声は、一番目に並べられる。図４に示すように、図４におけるビジュアルコントロール２は、仮想コンポーネントを含み、仮想コンポーネントは、１つの表意画像２０と３つの方向標識を含み、ここで、表意画像２０の形状は、第１の音声のタイプと一致し、即ち、足の形状であり、３つの方向標識は、それぞれ第１の方向標識２１、第２の方向標識２２、第３の方向標識２３である。ここで、第１の方向標識２１は、第１の音声の音源の仮想オブジェクトに対する方位を示し、したがって、第１の方向標識の方向は、前方を指す。第２の方向標識２２は、第２の音声の音源の仮想オブジェクトに対する方位を示し、したがって、第２の方向標識の方向は、後方を指す。第３の方向標識２３は、第３の音声の音源の仮想オブジェクトに対する方位を示し、したがって、第３の方向標識の方向は、左方を指す。図４において、それぞれ第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離に基づいて、それぞれ第１の方向標識〜第３の方向標識の大きさを制御し、ここで、距離が遠いほど、方向標識が小さくなり、距離が近いほど、方向標識が大きくなり、したがって、第１の方向標識２１の大きさは、第２の方向標識２２の大きさよりも大きく、第２の方向標識２２の大きさは、第３の方向標識２３の大きさよりも大きい。なお、図４において、第１の方向標識２１には、色が充填され、第２の方向標識２２と第３の方向標識２３には、色が充填されないので、ユーザは、色に基づいて第１の方向標識２１が第１の音声に対応する方向標識であることを区別できる。

さらに、例えば、上記の３つの音声は、それぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１の音声〜第３の音声のタイプは、いずれも銃声であり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離は、それぞれ１０ｍ、２０ｍ、３０ｍであり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する方位は、それぞれ前、後、左である。その上で、音声の音源の前記仮想オブジェクトに対する距離に基づいて、第１の音声〜第３の音声を近くから遠くへの順序でソートし、これにより、第１の音声は、一番目に並べられる。図５に示すように、図５におけるビジュアルコントロール２は、仮想コンポーネントを含み、仮想コンポーネントは、１つの表意画像２０と３つの方向標識を含み、ここで、表意画像２０の形状は、第１の音声のタイプと一致し、即ち、銃の形状であり、３つの方向標識は、それぞれ第１の方向標識２１、第２の方向標識２２、第３の方向標識２３である。ここで、第１の方向標識２１は、第１の音声の音源の仮想オブジェクトに対する方位を示し、したがって、第１の方向標識の方向は、前方を指す。第２の方向標識２２は、第２の音声の音源の仮想オブジェクトに対する方位を示し、したがって、第２の方向標識の方向は、後方を指す。第３の方向標識２３は、第３の音声の音源の仮想オブジェクトに対する方位を示し、したがって、第３の方向標識の方向は、左方を指す。図５において、それぞれ第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離に基づいて、それぞれ第１の方向標識〜第３の方向標識の大きさを制御し、ここで、距離が遠いほど、方向標識が小さくなり、距離が近いほど、方向標識が大きくなり、したがって、第１の方向標識２１の大きさは、第２の方向標識２２の大きさよりも大きく、第２の方向標識２２の大きさは、第３の方向標識２３の大きさよりも大きい。なお、図５において、第１の方向標識２１には、色が充填され、第２の方向標識２２と第３の方向標識２３には、色が充填されないので、ユーザは、色に基づいて第１の方向標識２１が第１の音声に対応する方向標識であることを区別できる。

以上のように、ゲームシーンには複数の音声を検出した場合、複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向によって、複数の音声における第１の音声のタイプ、第１の音声の音源の仮想オブジェクトに対する距離及び方位を表示し、これにより、ユーザは、騒音環境において第１の音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向により、第１の音声のタイプ、第１の音声の音源の前記仮想オブジェクトに対する距離及び方位を識別することができる。

あるいは、ゲームシーンには複数の音声を検出した場合、複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントにおける複数の音声と同じ数の複数の方向標識の指向、仮想コンポーネントにおける複数の音声と同じ数の複数の方向標識の表示形態により、複数の音声における第１の音声のタイプ、複数の音声の音源それぞれの仮想オブジェクトに対する距離及び方位を表示することによって、ユーザは、騒音環境において第１の音声のタイプに対応付けられる仮想コンポーネント、仮想コンポーネントにおける複数の音声と同じ数の複数の方向標識の指向及び仮想コンポーネントにおける複数の音声と同じ数の複数の方向標識の表示形態により、第１の音声のタイプ、複数の音声の音源それぞれの前記仮想オブジェクトに対する距離及び方位を識別することができる。

本発明の例示的な実施例において、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル方法をさらに提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを少なくとも部分的に含む。当該タッチ端末は、例えば、携帯電話、タブレットコンピュータ、ノートコンピュータ、ゲーム機、ＰＤＡ等、タッチスクリーンを備える各種の電子機器であってもよい。ゲームアプリケーションは、タッチ端末のアプリケーションプログラミングインタフェースにより、タッチ端末のタッチスクリーンが仮想オブジェクトと、仮想ジョイスティックを含む仮想ジョイスティック領域と、仮想戦闘シーンと、仮想自然環境等を提示するように制御できる。前記グラフィカルユーザインターフェースは、タッチスクリーンの全体の領域であってもよく、タッチスクリーンの一部の領域であってもよいが、当該例示的な実施例は、これに対して特に限定されない。前記仮想オブジェクトとは、ユーザにより制御されるゲームキャラクタを指し、前記ゲームキャラクタの部分または全体の形態でグラフィカルユーザインターフェースに表示される。例えば、一人称視点では、グラフィカルユーザインターフェースの内容は、ユーザのマスター視点で提示され、ユーザの没入感を向上させることができ、インタフェースには、例えば、手または足などのゲームキャラクタの一部のみが見えるが、三人称視点では、ゲームキャラクタの全体をグラフィカルユーザインターフェースに提示することができ、ユーザの操作難度及びめまい感を低減し、且つ画面の動作感をより強調することができる。開発者は、ゲームの内容に基づいて、どちらの方式で表示するかを決定できるが、本発明は、これに限定されない。図６に示すように、音声情報を補償するビジュアル方法は、以下のステップを含んでもよい。

ステップＳ１００において、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得する。

当該例示的な実施例において、図３では音声情報を補償するビジュアル方法のステップＳ１０において上記のステップを詳細に説明したので、ここでは説明を省略する。

ステップＳ２００において、前記グラフィカルユーザインターフェースには前記複数の音声と同じ数の複数のビジュアルコントロールを提供し、前記複数のビジュアルコントロールは、前記複数の音声と一対一で対応し、各前記ビジュアルコントロールは、いずれも各前記音声のタイプに対応付けられる仮想コンポーネントを含む。

当該例示的な実施例において、前記ビジュアルコントロールの数と音声の数は、同じであり、且つ、１つの音声は、１つのビジュアルコントロールのみに対応し、１つのビジュアルコントロールは、１つの音声のみに対応する。

各前記仮想コンポーネントは、いずれも表意画像と方向標識を含んでもよく、ここで、仮想コンポーネントにおける表意画像は、仮想コンポーネントに対応付けられる音声のタイプと一致し、前記仮想コンポーネントにおける方向標識は、仮想コンポーネントに対応付けられる音声の音源の仮想オブジェクトに対する方位と一致する。

なお、上記の図１で音声情報を補償するビジュアル方法において、前記表意画像と前記方向標識を詳細に説明したので、ここでは説明を省略する。

ステップＳ３００において、各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる各前記仮想コンポーネントの指向をそれぞれ制御する。

当該例示的な実施例において、前記仮想コンポーネントが表意画像と方向標識を含む場合、各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる各前記仮想コンポーネントにおける方向標識の指向をそれぞれ制御することができる。

一実施例において、前記方法は、前記複数の音声の音源の前記仮想オブジェクトに対する距離を取得するステップと、前記複数の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップとをさらに含む。

当該例示的な実施例において、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる各前記仮想コンポーネントの透明度の表示形態をそれぞれ制御してもよい。各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる各前記仮想コンポーネントの大きさの表示形態をそれぞれ制御してもよい。

各前記仮想コンポーネントがいずれも表意画像と方向標識を含む場合、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる各前記仮想コンポーネントの表示形態をそれぞれ制御するステップは、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる各前記仮想コンポーネントにおける表意画像及び/又は方向標識の表示形態をそれぞれ制御するステップを含んでもよい。具体的には、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる各前記仮想コンポーネントにおける表意画像及び/又は方向標識の透明度の表示形態をそれぞれ制御してもよく、各前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる各前記仮想コンポーネントにおける表意画像及び/又は方向標識の大きさの表示形態をそれぞれ制御してもよい。

以下、複数の音声が３つの音声であることを例として上記の過程を説明する。

例えば、上記の３つの音声は、それぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１の音声〜第３の音声のタイプは、それぞれ靴音、銃声、ドア開音であり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離は、それぞれ１０ｍ、２０ｍ、３０ｍであり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する方位は、それぞれ前、後、左である。図７に示すように、図７において、３つのビジュアルコントロールを含み、それぞれ第１のビジュアルコントロール３、第２のビジュアルコントロール４及び第３のビジュアルコントロール５である。ここで、第１のビジュアルコントロール３は、第１の音声タイプに対応付けられる第１の仮想コンポーネントを含み、第２のビジュアルコントロール４は、第２の音声タイプに対応付けられる第２の仮想コンポーネントを含み、第３のビジュアルコントロール５は、第３の音声タイプに対応付けられる第３の仮想コンポーネントを含む。第１の仮想コンポーネントは、第１の音声のタイプに対応付けられる第１の表意画像３０と、第１の音声の音源の仮想オブジェクトに対する方位と一致する第１の方向標識３１とを含み、ここで、第１の表意画像３０は、足の形状であり、第１の方向標識３１は、前方を指す。第２の仮想コンポーネントは、第２の音声のタイプに対応付けられる第２の表意画像４０と、第２の音声の音源の仮想オブジェクトに対する方位と一致する第２の方向標識４１とを含み、ここで、第２の表意画像４０は、銃の形状であり、第２の方向標識４１は、後方を指す。第３の仮想コンポーネントは、第３の音声のタイプに対応付けられる第３の表意画像５０と、第３の音声の音源の仮想オブジェクトに対する方位と一致する第３の方向標識５１とを含み、ここで、第３の表意画像５０は、ドアの形状であり、第３の方向標識５１は、左方を指す。図７において、第１の方向標識〜第３の方向標識の大きさにより、第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離を表示し、したがって、第１の方向標識３１の大きさは、第２の方向標識４１の大きさよりも大きく、第２の方向標識４１の大きさは、第３の方向標識５１の大きさよりも大きい。

さらに、例えば、上記の３つの音声は、それぞれ第１の音声、第２の音声、第３の音声であり、ここで、第１の音声〜第３の音声のタイプは、いずれも靴音であり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離は、それぞれ１０ｍ、２０ｍ、３０ｍであり、第１の音声〜第３の音声の音源の仮想オブジェクトに対する方位は、それぞれ前、後、左である。図８に示すように、図８において、３つのビジュアルコントロールを含み、それぞれ第１のビジュアルコントロール３、第２のビジュアルコントロール４及び第３のビジュアルコントロール５である。ここで、第１のビジュアルコントロール３は、第１の音声タイプに対応付けられる第１の仮想コンポーネントを含み、第２のビジュアルコントロール４は、第２の音声タイプに対応付けられる第２の仮想コンポーネントを含み、第３のビジュアルコントロール５は、第３の音声タイプに対応付けられる第３の仮想コンポーネントを含む。第１の仮想コンポーネントは、第１の音声のタイプに対応付けられる第１の表意画像３０と、第１の音声の音源の仮想オブジェクトに対する方位と一致する第１の方向標識３１とを含み、ここで、第１の表意画像３０は、足の形状であり、第１の方向標識３１は、前方を指す。第２の仮想コンポーネントは、第２の音声のタイプに対応付けられる第２の表意画像４０と、第２の音声の音源の仮想オブジェクトに対する方位と一致する第２の方向標識４１とを含み、ここで、第２の表意画像４０は、足の形状であり、第２の方向標識４１は、後方を指す。第３の仮想コンポーネントは、第３の音声のタイプに対応付けられる第３の表意画像５０と、第３の音声の音源の仮想オブジェクトに対する方位と一致する第３の方向標識５１とを含み、ここで、第３の表意画像５０は、足の形状であり、第３の方向標識５１は、左方を指す。図８において、第１の方向標識〜第３の方向標識の大きさにより、第１の音声〜第３の音声の音源の仮想オブジェクトに対する距離を表示し、したがって、第１の方向標識３１の大きさは、第２の方向標識４１の大きさよりも大きく、第２の方向標識４１の大きさは、第３の方向標識５１の大きさよりも大きい。

以上のように、複数の音声を検出した上で、複数の音声と同じ数のビジュアルコントロールを表示すると共に、各ビジュアルコントロールにおける各音声タイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向によって、ユーザは、各ビジュアルコントロールにおける各音声タイプに対応付けられる仮想コンポーネント、仮想コンポーネントの表示形態及び仮想コンポーネントの指向により、各音声のタイプと、各音声の音源の仮想オブジェクトに対する方位及び距離を取得することができる。

なお、図面において所定の順序で本発明における方法の各ステップを説明するが、当該所定の順序でこれらのステップを実行しなければならないこと、または、期待の結果を実現するために図示される全てのステップを実行しなければならないことを要求または暗示することではない。それ以外にも、あるステップを省略したり、複数のステップを組み合わせて１つのステップにして実行したり、及び/又は、１つのステップを複数のステップに分解して実行したりしてもよい。

本発明の例示的な実施例において、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル装置をさらに提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを少なくとも部分的に含む。図９に示すように、前記音声情報を補償するビジュアル装置１００は、検出取得モジュール１０１、提供モジュール１０２及び第１の制御モジュール１０３を含んでもよい。ここで、検出取得モジュール１０１は、前記ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、前記音声のタイプと、前記音声の音源の前記仮想オブジェクトに対する方位を取得してもよい。

提供モジュール１０２は、前記グラフィカルユーザインターフェースには前記音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供してもよい。

第１の制御モジュール１０３は、前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御してもよい。

前記装置は、第２の制御モジュール１０４をさらに含み、前記第２の制御モジュールは、音声の音源と前記仮想オブジェクトとの距離を取得すると共に、前記音声の音源と前記仮想オブジェクトとの距離に基づいて、前記仮想コンポーネントの表示形態を制御してもよい。

上記の音声情報を補償するビジュアル装置の各モジュールの具体的な細部は、対応する音声情報を補償するビジュアル方法において詳細に説明したので、ここではその説明を省略する。

本発明の例示的な実施例において、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル装置をさらに提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを少なくとも部分的に含む。前記装置は、検出取得モジュール、提供モジュール及び第１の制御モジュールを含んでもよい。ここで、検出取得モジュールは、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得してもよい。

提供モジュールは、前記グラフィカルユーザインターフェースには、前記複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供してもよい。

第１の制御モジュールは、前記第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御してもよい。

前記装置は、第２の制御モジュールをさらに含み、前記第２の制御モジュールは、前記第１の音声の音源と前記仮想オブジェクトとの距離を取得すると共に、前記第１の音声の音源と前記仮想オブジェクトとの距離に基づいて、前記仮想コンポーネントの表示形態を制御してもよい。

上記の音声情報を補償するビジュアル装置の各モジュールの具体的な細部は、対応する音声情報を補償するビジュアル方法において詳細に説明したので、ここではその説明を省略する。

本発明の例示的な実施例において、グラフィカルユーザインターフェースを提示できるタッチ端末に適用される、音声情報を補償するビジュアル装置をさらに提供し、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを少なくとも部分的に含む。前記装置は、検出取得モジュール、提供モジュール及び第１の制御モジュールを含んでもよい。ここで、検出取得モジュールは、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプ、各前記音声の音源の前記仮想オブジェクトに対する方位を取得してもよい。

提供モジュールは、前記グラフィカルユーザインターフェースには前記複数の音声と同じ数の複数のビジュアルコントロールを提供してもよい、前記複数のビジュアルコントロールは、前記複数の音声と一対一で対応し、各前記ビジュアルコントロールは、いずれも各前記音声のタイプに対応付けられる仮想コンポーネントを含む。

第１の制御モジュールは、各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる各前記仮想コンポーネントの指向をそれぞれ制御してもよい。

前記装置は、第２の制御モジュールをさらに含み、前記第２の制御モジュールは、各前記音声の音源と前記仮想オブジェクトとの距離を取得すると共に、各前記音声の音源と前記仮想オブジェクトとの距離に基づいて、各前記仮想コンポーネントの表示形態を制御してもよい。

上記の音声情報を補償するビジュアル装置の各モジュールの具体的な細部は、対応する音声情報を補償するビジュアル方法において詳細に説明したので、ここではその説明を省略する。

なお、以上の詳細な説明では、実行するための機器のいくつかのモジュールまたはユニットを説明したが、このような区分は、強制的なものではない。実際には、本発明の実施形態によれば、上述した２つ以上のモジュールまたはユニットの特徴及び機能は、１つのモジュールまたはユニットで具体化されてもよい。逆に、上述した１つのモジュールまたはユニットの特徴及び機能は、複数のモジュールまたはユニットによりさらに具体化されても良い。

本発明の例示的な実施例において、上記の方法を実現できる電子機器をさらに提供する。

当業者は、本発明の各局面がシステム、方法またはプログラム製品として実現できることを理解するべきである。したがって、本発明の各局面は、以下の形式で実現でき、即ち、完全なハードウェア実施形態、完全なソフトウェア実施形態（ファームウェア、マイクロコード等を含み）、または、ハードウェアとソフトウェアを結合する実施形態であり、ここでは、「回路」、「モジュール」または「システム」と総称してもよい。

以下、図１０を参照して、本発明のこのような実施形態の電子機器６００を説明する。図１０に示される電子機器６００は、単なる一例に過ぎず、本発明の実施例の機能及び使用範囲を限定するものではない。

図１０に示すように、電子機器６００は、汎用な計算機器の形式で表現される。電子機器６００のコンポーネントは、少なくとも１つの処理ユニット６１０、少なくとも１つの記憶ユニット６２０、異なるシステムコンポーネント（記憶ユニット６２０と処理ユニット６１０を含み）に接続するバス６３０、表示ユニット６４０を含んでもよいが、ただし、これに限定されない。

ここで、前記記憶ユニットには、プログラムコードが記憶され、前記プログラムコードは、前記処理ユニット６１０により実行されてもよく、これにより、前記処理ユニット６１０は、本明細書の上記の「例示的な方法」の部分に説明した本発明の様々な例示的な実施形態のステップを実行する。例えば、前記処理ユニット６１０は、図１に示すような、前記ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、前記音声のタイプと、前記音声の音源の前記仮想オブジェクトに対する方位を取得するステップＳ１と、前記グラフィカルユーザインターフェースには前記音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップＳ２と、前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップＳ３を実行してもよい。さらに、例えば、前記処理ユニット６１０は、図３に示すような、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップＳ１０と、前記グラフィカルユーザインターフェースには、前記複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップＳ２０と、前記第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップＳ３０とを実行してもよい。さらに、例えば、前記処理ユニット６１０は、図６に示すような、前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップＳ１００と、前記グラフィカルユーザインターフェースには前記複数の音声と同じ数の複数のビジュアルコントロールを提供するステップＳ２００と、ここで、前記複数のビジュアルコントロールは、前記複数の音声と一対一で対応し、各前記ビジュアルコントロールは、いずれも各前記音声のタイプに対応付けられる仮想コンポーネントを含み、及び、各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる各前記仮想コンポーネントの指向をそれぞれ制御するステップＳ３００とを実行してもよい。

記憶ユニット６２０は、例えば、ランダムアクセス記憶ユニット（ＲＡＭ）６２０１及び/又は高速キャッシュ記憶ユニット６２０２などの揮発性記憶ユニットの形態の読取り可能な媒体を含んでもよく、読取り専用の記憶ユニット（ＲＯＭ）６２０３をさらに含んでもよい。

記憶ユニット６２０は、一組（少なくとも１つ）のプログラムモジュール６２０５を備えるプログラム/ユーティリティツール６２０４をさらに含んでもよく、このようなプログラムモジュール６２０５は、操作システム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これに限定されない。これらの例における各々またはその特定の組み合わせは、ネットワーク環境の実現を含むことができる。

バス６３０は、いくつかの種類のバス構造のうちの１種または複数種であってもよく、記憶ユニットバスまたは記憶ユニットコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、処理ユニットまたは複数種のバス構造のうちの任意のバス構造を使用するローカルバスを含む。

電子機器６００は、１つまたは複数の外部機器７００（例えば、キーボード、指向機器、ブルートゥース機器等）に通信してもよく、ユーザが当該電子機器６００にインタラクションすることを可能にする１つまたは複数の機器と通信してもよく、及び/又は、当該電子機器６００が１つまたは複数の他の計算機器に通信することを可能にする任意の機器（例えば、ルータ、モデム等）と通信してもよい。このような通信は、入力/出力（Ｉ／Ｏ）インターフェース６５０を介して行ってもよい。そして、電子機器６００は、ネットワークアダプタ６６０を介して１つまたは複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及び/又は共通のネットワーク、例えば、インターネット）と通信してもよい。図に示すように、ネットワークアダプタ６６０は、バス６３０を介して電子機器６００の他のモジュールと通信する。なお、図には示されないが、他のハードウェア及び/又はソフトウェアモジュールを電子機器６００と共に使用してもよく、上記の他のハードウェア及び/又はソフトウェアモジュールは、マイクロコード、機器ドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ及びデータバックアップ記憶システム等を含むが、これに限定されない。

以上の実施形態の説明によって、当業者は、本明細書に記載される例示的な実施形態がソフトウェアにより実現されてもよいこと、ソフトウェアと必要なハードウェアを結合することにより実現されてもよいことを容易に理解することができる。したがって、本発明の実施形態に係る技術案は、ソフトウェア製品の形態で体現されてもよく、当該ソフトウェア製品は、１つの不揮発性記憶媒体（ＣＤーＲＯＭ、ＵＳＢデバイス、モバイルハードディスク等であってもよい）またはネットワークに記憶されてもよく、計算機器（パーソナルコンピュータ、サーバ、端末装置またはネットワーク機器等であってもよい）が本発明の実施形態に係る方法を実行するようないくつかの指令を含む。

本発明の例示的な実施例において、本明細書における上記の方法を実現できるプログラム製品が記憶されるコンピュータ読取り可能な記憶媒体をさらに提供する。いくつかの可能な実施形態では、本発明の各局面は、プログラムコードを含むプログラム製品の形態で実現されてもよく、前記プログラム製品が端末機器で実行される場合、前記プログラムコードは、本明細書の上記の「例示的な方法」の部分に説明した本発明の様々な例示的な実施形態のステップを前記端末機器に実行させる。

図１１に示すように、本発明の実施形態による上記の方法を実現するためのプログラム製品８００は、コンパクトディスク読取り専用メモリ（ＣＤーＲＯＭ）を使用し、プログラムコードを含み、端末機器（例えば、パーソナルコンピュータ）で実行されることができる。しかしながら、本発明のプログラム製品は、これに限定されず、本願において、読取り可能な記憶媒体は、プログラムを含むかまたは記憶する任意の有形媒体であってもよく、当該プログラムは、指令実行システム、装置または部品により使用されてもよい、または、それらに結合して使用されてもよい。

前記プログラム製品は、１つまたは複数の読取り可能な媒体の任意の組み合わせを使用してもよい。読取り可能な媒体は、読取り可能な信号媒体または読取り可能な記憶媒体であってもよい。読取り可能な記憶媒体は、例えば、電子、磁気、光、電磁、赤外線、または半導体のシステム、装置または部品、または、上記の任意の組み合わせであってもよいが、ただし、これに限定されない。読取り可能な記憶媒体のより具体的な例（非網羅的リスト）は、１つまたは複数の導線を有する電気的接続、可搬型ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去/プログラムが可能な読取り専用のメモリ（ＥＰＲＯＭまたはフラッシュ）、光ファイバー、コンパクトディスク読取り専用のメモリ（ＣＤーＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または、これらの任意の組み合わせを含む。

コンピュータ読取り可能な信号媒体は、ベースバンドに含まれまたは搬送波の一部として伝播されるデータ信号を含んでもよく、その中で読取り可能なプログラムコードを担持する。このような伝播されるデータ信号は、多くの形式を採用してもよく、電磁信号、光信号または上記の任意の組み合わせを含むが、これに限定されない。読取り可能な信号媒体は、読取り可能な記憶媒体以外の任意の読取り可能な媒体であってもよく、当該読取り可能な媒体は、指令実行システム、装置または部品により使用されまたはそれらに組み合わせて使用されるためのプログラムを送信、伝播または転送することができる。

読取り可能な媒体に含まれるプログラムコードは、任意の適切な媒体により転送されてもよく、無線、有線、光ケーブル、ＲＦ等、または、上記の任意の適切な組み合わせを含むが、これに限定されない。

本発明の動作を実行するためのプログラムコードは、１種または複数種のプログラム言語の任意の組み合わせで書かれてもよく、前記プログラム言語は、Ｊａｖａ、Ｃ＋＋などのオブジェクト指向プログラム言語を含んでもよく、「Ｃ」言語または類似のプログラム言語などの通常の手続型プログラム言語を含んでもよい。プログラムコードは、完全にユーザ計算機器で実行されてもよく、一部がユーザ計算機器で実行されてもよく、１つの独立のソフトウェアとして実行されてもよく、一部がユーザ計算機器で実行され、一部が遠隔計算機器で実行されてもよい、または、完全に遠隔計算機器またはサーバで実行されてもよい。遠隔計算機器に係る場合、遠隔計算機器は、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザの計算機器に接続されてもよい、または、外部計算機器（例えば、インターネットサービスプロバイダによりインターネットを介して接続され）に接続されてもよい。

例示的な実施形態は、様々な形態で実施することができ、ここに記述の実施形態に限定されると理解されるべきではない。逆に、これらの実施形態が提供されることにより、本発明が全面且つ完全になり、例示的な実施形態の構想を当業者に全面的に伝えることができる。図面において、同一の符号は同一又は類似の構成を示すので、その詳細な説明は省略する。

なお、説明された特徴、構造または特性は、１つのまたは複数の実施形態に任意の適切な方法で組み合わせることができる。以下の説明では、本発明の実施形態を十分に理解するために、多くの具体的な詳細を述べる。しかしながら、当業者は、本発明の技術案が特定の詳細の１つまたは複数を使用しなく実施できること、または、他の方法、構成要素、材料、装置、ステップなどが採用できることを理解するべきである。他の場合では、本発明の各局面を不明瞭にすることを避けるために、周知の構造、方法、装置、実現、材料、または操作を詳細に図示または説明しない。

図面に示されたブロック図は、単に機能エンティティであり、必ずしも物理的に独立のエンティティに対応する必要はない。即ち、ソフトウェアを採用してこれらの機能エンティティを実現してもよく、または、１つまたは複数のソフトウェアが硬化したモジュールではこれらの機能エンティティまたは機能エンティティの一部を実現してもよく、または、異なるネットワーク及び/又はプロセッサ装置及び/又はマイクロコントローラ装置ではこれらの機能エンティティを実現してもよい。

なお、上記の図面は、本発明の例示的な実施形態の方法に含まれるプロセスの例示的な説明のみであり、限定することを意図するものではない。上記の図に示されたプロセスはこれらのプロセスの時間的な順序を明確に示したり、限定したりするものではないことが容易に理解されるであろう。また、これらのプロセスは、例えば複数のモジュールにおいて同期的または非同期的に実行されてもよいことも容易に理解されるであろう。

当業者は、本明細書を考慮し、本明細書に開示された発明を実施した後、本発明の他の実施形態を容易に想到できる。本発明は、本発明の任意の変形、用途または適応性の変更を含み、これらの変形、用途または適応性の変更は、本発明の一般的な原理に従うと共に、本発明に開示されない当技術分野における公知な常識または慣用の技術手段を含む。明細書及び実施例は、例示的なものに過ぎず、本発明の真の範囲及び精神は、特許請求の範囲において指摘されている。

本発明は、以上説明され、且つ図面に示された正確な構成に限定されず、その範囲から逸脱することなく、様々な修正および変更を行うことができることが理解されるべきである。本発明の範囲は、添付の特許請求の範囲によってのみ限定される。

Claims (13)

1. 音声情報を補償するビジュアル方法であって、グラフィカルユーザインターフェースを提示できるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを部分的に含み、
   前記方法は、
   前記ゲームシーンにおける第１の予め設定された範囲内の音声を検出すると共に、前記音声のタイプと、前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップと、
   前記グラフィカルユーザインターフェースに前記音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップと、
   前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップと、を含む
   音声情報を補償するビジュアル方法。
2. 前記方法は、
   前記音声の音源の前記仮想オブジェクトに対する距離を取得するステップと、
   前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップと、をさらに含む
   請求項１に記載の音声情報を補償するビジュアル方法。
3. 前記グラフィカルユーザインターフェースにビジュアルコントロールを提供する前に、
   前記音声の音源が第２の予め設定された範囲内にあり、且つ第３の予め設定された範囲外にあると判定するステップをさらに含む
   請求項１に記載の音声情報を補償するビジュアル方法。
4. 前記仮想コンポーネントは、表意画像と方向標識を含み、ここで、前記表意画像は、前記音声のタイプと一致し、前記方向標識の指向は、前記音声の音源の前記仮想オブジェクトに対する方位と一致する
   請求項１に記載の音声情報を補償するビジュアル方法。
5. 前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップは、
   前記音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの透明度、大きさ、または輝度のうちの少なくとも一種の表示形態を制御するステップを含む
   請求項２に記載の音声情報を補償するビジュアル方法。
6. 音声情報を補償するビジュアル方法であって、グラフィカルユーザインターフェースを提示できるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを部分的に含み、
   前記方法は、
   前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップと、
   前記グラフィカルユーザインターフェースに前記複数の音声における第１の音声のタイプに対応付けられる仮想コンポーネントを含むビジュアルコントロールを提供するステップと、
   前記第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップと、を含む
   音声情報を補償するビジュアル方法。
7. 前記仮想コンポーネントは、表意画像と、前記複数の音声と同じ数の複数の方向標識とを含み、ここで、前記表意画像は、前記第１の音声のタイプに一致し、前記複数の方向標識は、前記複数の音声と一対一で対応し、
   前記第１の音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる前記仮想コンポーネントの指向を制御するステップは、
   各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応する各前記方向標識の指向をそれぞれ制御するステップを含む
   請求項６に記載の音声情報を補償するビジュアル方法。
8. 前記方法は、
   前記第１の音声の音源の前記仮想オブジェクトに対する距離を取得するステップと、
   前記第１の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップと、をさらに含む
   請求項６に記載の音声情報を補償するビジュアル方法。
9. 音声情報を補償するビジュアル方法であって、グラフィカルユーザインターフェースを提示できるタッチ端末に適用され、前記グラフィカルユーザインターフェースは、ゲームシーンと、仮想オブジェクトを部分的に含み、
   前記方法は、
   前記ゲームシーンにおける第１の予め設定された範囲内の複数の音声を検出すると共に、各前記音声のタイプと、各前記音声の音源の前記仮想オブジェクトに対する方位とを取得するステップと、
   前記グラフィカルユーザインターフェースに前記複数の音声と同じ数の複数のビジュアルコントロールを提供するステップと、ここで、前記複数のビジュアルコントロールは、前記複数の音声と一対一で対応し、各前記ビジュアルコントロールは、いずれも各前記音声のタイプに対応付けられる仮想コンポーネントを含み、
   各前記音声の音源の前記仮想オブジェクトに対する方位に基づいて、対応付けられる各前記仮想コンポーネントの指向をそれぞれ制御するステップと、を含む
   音声情報を補償するビジュアル方法。
10. 前記方法は、
    前記複数の音声の音源の前記仮想オブジェクトに対する距離を取得するステップと、前記複数の音声の音源の前記仮想オブジェクトに対する距離に基づいて、対応付けられる前記仮想コンポーネントの表示形態を制御するステップとをさらに含む
    請求項９に記載の音声情報を補償するビジュアル方法。
11. プロセッサに実行されることにより、請求項１〜請求項１０の何れか一項に記載の音声情報を補償するビジュアル方法を実現するコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムが記憶されたコンピュータ読取り可能な記憶媒体。
13. プロセッサと、
    前記プロセッサによって実行可能な指令を記憶するメモリと、を含み、
    前記プロセッサは、前記実行可能な指令を実行することによって、請求項１〜請求項１０の何れか一項に記載の音声情報を補償するビジュアル方法を実行するように構成される
    電子機器。

Images