JP2017018414A - ユーザ入力支援のためのコンピュータ・プログラム - Google Patents

Abstract

【課題】スタンプ等のコンタクト情報の入力動作を容易にすべく、音声入力を用いてタッチパネルに対するユーザ操作を最小限に抑制できるユーザ入力支援のためのコンピュータ・プログラムを提供することを目的とする。
【解決手段】当該コンピュータ・プログラムは、１のユーザに関連付けられたキャラクタの仮想空間内の配置に基づく視界画像を生成して、ユーザのユーザ端末が具備するディスプレイに表示する視界画像生成部と、ユーザ端末が具備するマイクロフォンを通じて音声入力を受ける入力部と、音声入力に基づくコンタクト情報を視界画像に重畳して、ディスプレイに表示する出力部であって、コンタクト情報を重畳するためのコンタクト情報配置領域が、音声入力の音量に少なくとも従って視界画像内に決定される、出力部として前記ユーザ端末に機能させる。
【選択図】図４

Description

本発明は、ユーザ入力支援のためのコンピュータ・プログラムに関する。より詳細には、複数のユーザ間で仮想空間を共有して相互対話をする際に、各ユーザによるユーザ端末からのコンタクト情報の入力を容易にするようにユーザ支援するためのコンピュータ・プログラムに関するものである。

複数のユーザが仮想空間を共有し、オンラインでの情報発信を通じてメッセージ交換等の相互対話を行うことが知られる。例えば、スマートフォンを利用したメッセージ・チャット・アプリケーションが知られる。特に、ユーザの投稿内容として、テキスト情報のみならずスタンプと称されるアイコン画像情報を用いた画像チャットが知られる。

また、ユーザの投稿内容の表示に関し、仮想空間内で各ユーザが入力した情報を該ユーザに関連付けられるキャラクタ（アバタ）から吹き出し表示するものが知られる。例えば、特許文献１では、ＳＮＳ等においてフォローしているユーザによる投稿を表示する際に、各ユーザに対応付いたキャラクタを表示した空間フィールド画面において、各フォロー・ユーザの投稿内容をキャラクタから吹き出し表示する。

スマートフォンを用いたオンライン・ゲーム、特に、仮想空間内でユーザがキャラクタを操作可能な対戦型のオンラインＲＰＧにおいて、ゲーム内の仮想空間を複数のユーザで共有する場合、仮想空間内での共有ユーザ同士のコミュニケーション手法として、各ユーザが入力したテキスト情報やスタンプ等のコンタクト情報を、ユーザに対応付けたキャラクタから吹き出し表示することが想定される。

２０１２−０１８５６９号公報

対戦型のオンラインＲＰＧでは、一般的に、スマートフォンのタッチパネルに対する入力操作は即時性が必要とされるのに対し、ユーザが入力しようとするコンタクト情報、特にスタンプを選択する動作は多くのタッチ動作を伴うものであるため、従来型のスタンプ入力動作をユーザに要求するのは適さない。特に、昨今の画像チャットにおいてユーザに提供されるスタンプの種類は多岐にわたるため、ユーザがその中から所望のスタンプを選択するのに時間を掛けさせることは対戦型のオンラインＲＰＧのゲーム進行上ふさわしくない。

そこで、本発明は、このようなスタンプをはじめとしたコンタクト情報の入力動作を容易にすべく、音声入力を用いてタッチパネルに対するユーザ操作を最小限に抑制でき、更に音声に応じた画面表示態様とするユーザ入力支援のためのコンピュータ・プログラムを提供することを目的とする。

上記の課題を解決するために、本発明によれば、１のユーザに関連付けられたキャラクタの仮想空間内の配置に基づく視界画像を生成して、ユーザのユーザ端末が具備するディスプレイに表示する視界画像生成部と、ユーザ端末が具備するマイクロフォンを通じて音声入力を受ける入力部と、音声入力に基づくコンタクト情報を視界画像に重畳して、ディスプレイに表示する出力部であって、コンタクト情報を重畳するためのコンタクト情報配置領域が、音声入力の音量に少なくとも従って視界画像内に決定される、出力部として前記ユーザ端末に機能させる、ユーザ入力支援のためのコンピュータ・プログラムが得られる。

本発明の特徴点および利点は、後述する発明の詳細な説明、並びに添付の図面および特許請求の範囲の記載から明らかなものとなる。

図１は、本発明の実施形態によるコンピュータ・プログラムを実行させるためのコンピュータ・システムの全体概略図である。 図２は、図１に示したユーザ端末の構成を示す概略ブロック図である。 図３は、本発明の実施形態によるコンピュータ・プログラムをゲーム・アプリケーションとして適用した一例のゲーム画面である。 図４は、本発明の実施形態によるコンピュータ・プログラムをゲーム・アプリケーションとして適用した他の例のゲーム画面である。 図５は、図２に示したユーザ端末の制御部に関連する詳細な主要機能ブロック図である。 図６は、本発明の実施形態により実現される自ユーザと相手ユーザのサーバ・システムを介した一例の相互作用に関連するフロー図である。 図７は、本発明の実施形態によるコンピュータ・プログラムで実装される、音声入力処理に関するフロー図である。 図８は、本発明の実施形態によるコンピュータ・プログラムで実装される、コンタクト情報の画面出力処理に関するフロー図である。 図９は、本発明の実施形態により、視界画像中にコンタクト情報配置領域を決定し、コンタクト情報を視界画像に重畳する一例の概略イメージ図である。 図１０は、本発明の実施形態により、視界画像中にコンタクト情報配置領域を決定し、コンタクト情報を視界画像に重畳する他の例の概略イメージ図である。 図１１は、本発明の実施形態による、コンタクト情報配置領域内にコンタクト情報を収容する吹き出し画像を生成して、視界画像に重畳する一例の概略イメージ図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態によるユーザ入力支援のためのコンピュータ・プログラムは、以下のような構成を備える。

（項目１）
１のユーザに関連付けられたキャラクタの仮想空間内の配置に基づく視界画像を生成して、前記ユーザのユーザ端末が具備するディスプレイに表示する視界画像生成部と、
前記ユーザ端末が具備するマイクロフォンを通じて音声入力を受ける入力部と、
前記音声入力に基づくコンタクト情報を前記視界画像に重畳して、前記ディスプレイに表示する出力部であって、前記コンタクト情報を重畳するためのコンタクト情報配置領域が、前記音声入力の音量に少なくとも従って前記視界画像内に決定される、出力部と
として前記ユーザ端末に機能させる、ユーザ入力支援のためのコンピュータ・プログラム。

本項目のコンピュータ・プログラムによれば、マイクロフォンを通じた音声入力によりコンタクト情報を入力可能とすることにより、ユーザは、タッチパネルへの多くのタッチ動作を要することなく、入力動作を効率化することができる。特に上記の対戦型のオンラインＲＰＧにおいて、ゲーム進行を妨げることなく、ゲーム状況に応じたスタンプ入力をユーザに実施させることを可能とする。
また、音声入力時の音量をコンタクト情報の出力処理時のパラメータに採用することにより、ユーザにとってよりダイナミックなコンタクト情報の画面出力を可能とし、ユーザ間のリアルタイム・コミュニケーションの臨場感をより大きなものとすることができる。

（項目２）
前記出力部において、前記コンタクト情報配置領域内において前記コンタクト情報を吹き出し画像と共に表示する、項目１記載のコンピュータ・プログラム。

（項目３）
前記仮想空間が他のユーザに関連付けられる他のキャラクタと共有され、
前記出力部において、更に、前記他のユーザが入力した他のコンタクト情報を、前記１のユーザに関連付けられた前記キャラクタの配置に基づく前記視界画像に重畳して、前記ディスプレイに表示する、項目１または２記載のコンピュータ・プログラム。

（項目４）
前記出力部において、前記他のコンタクト情報を重畳するための他のコンタクト情報配置領域を、前記他のキャラクタの配置に少なくとも従って前記視界画像内に決定し、
前記他のコンタクト情報配置領域内に前記他のコンタクト情報を吹き出し画像と共に表示する、項目３記載のコンピュータ・プログラム。

（項目５）
前記コンタクト情報が、前記音声入力のテキスト変換に基づくテキスト情報である、項目１から４のいずれか一項記載のコンピュータ・プログラム。

（項目６）
前記コンタクト情報が、前記音声入力のテキスト変換に基づくテキストに関連付けられ、前記ユーザ端末に格納されるスタンプ画像である、項目１から５のいずれか一項記載のコンピュータ・プログラム。

［本発明の実施形態の詳細］
以下、図面を参照して、本発明の実施形態によるユーザ入力支援のためのコンピュータ・プログラムについて説明する。

図１は、本発明の実施形態によるユーザ入力支援のためのコンピュータ・プログラムを実行させるためのコンピュータ・システムの全体概略図である。図１では、コンピュータ・システムの主要な構成要素のみを示している。コンピュータ・システム１００は、ユーザ端末１０−１〜１０−４（以後、「ユーザ端末１０」と総称する。）、およびコンピュータ・サーバ５０を備え、これら要素間はネットワーク３０（特に、インターネット・ネットワーク）を介して通信を行う。なお、以下では、一例として、本発明の実施形態によるコンピュータ・プログラムをゲーム・プログラムとしてスマートフォン・ゲームに適用し、複数のユーザに共有ゲーム空間（３次元仮想空間）内で相互にコミュニケーションさせるオンライン・ゲーム、特に、３次元仮想空間内で各ユーザが自分自身に関連付けられたキャラクタを操作可能な対戦型のオンラインＲＰＧをユーザがプレイすることを想定する。

ユーザ端末１０は、コンピュータ・サーバ５０から送られるデータを使用し、またコンピュータ・サーバ５０から送られるプログラムを実行して、ゲーム画像を生成・表示できる装置であればよく、例えば、インターネットに接続可能な携帯電話機、スマートフォン、タブレット端末、ゲーム用コンソール、ノートＰＣ等を含むが、これらに限定されない。図示のように、ユーザ端末１０は、端末表示部１１、端末入力部１２、端末処理部１３、端末通信部１４および端末記憶部１５等を備え、これらはバスを介して電気的に相互に接続される。

ゲーム・サーバ５０から端末通信部１４で受信したデータやプログラムは、端末記憶部１５に一時的に格納され、ゲームの進行に応じて端末処理部１３で画面イメージが生成されて、端末表示部１１によって表示される。端末表示部１１は、例えば液晶ディスプレイ（ＬＣＤ）等によって実現することができるが、図２に後述するように特にタッチ・ディスプレイとして構成するのがよい。端末入力部１２は、３次元仮想空間に配置される仮想カメラの操作制御をするための命令や、ゲームを進行させるためのユーザ作用全般の命令の入力（音声入力も含む）、および仮想空間内へのコンタクト情報の発信を実施する。

端末入力部１２で受けた入力命令に基づいて、端末処理部１３においてプログラムが実行される。または、ユーザ命令が作成され、端末通信部１４およびネットワーク３０を通じてコンピュータ・サーバ５０と通信を行い、コンピュータ・サーバ５０によってプログラムを実行することができる。端末記憶部１５は、ユーザ端末に関連付けられる各種データ、および画像データの表示に必要なブラウザ等のアプリケーションを格納すると共に、ゲーム・サーバ５０から受信するテキストデータやスタンプ画像データ等のコンタクト・データ、並びに画面イメージを生成するためのデータおよびプログラム等の各種データも格納する。

一方、コンピュータ・サーバ５０は、処理部５１、メインメモリ５２、外部メモリ５３、ユーザ・インタフェース５４、通信部５５、およびディスク・ドライブ５６等を備え、これらはバスを介して電気的に相互に接続される。処理部５１は、外部メモリ５３に格納されたプログラム・モジュール、およびディスク・ドライブ５６に格納されたユーザ・データ、スタンプ画像データ、仮想空間情報、およびゲーム進行データ等の各種データ等をメインメモリ５２にロードして、順次、各種コンピュータ・プログラムを実行することによりゲームの進行を制御する。特に、処理部５１は、ユーザ端末１０間で共有させるための仮想空間情報等のデータやプログラムを管理し、必要に応じて通信部５５を介してユーザ端末１０に提供するように構成される。ユーザ・インタフェース５４は、ゲーム・サーバ５０の管理者によってサーバにアクセスされ、各種サーバ機能設定やネットワーク設定が実施される。

なお、上記コンピュータ・サーバ５０に関する情報処理装置としての様々な機能の全部または一部は、ユーザ端末１０が担うように構成してもよい。この場合には、ユーザ端末１０自体で情報処理装置を構成するか、またはユーザ端末１０およびコンピュータ・サーバ５０を組み合わせ、全体で情報処理装置を構成することになる。

図２にユーザ端末１０の一例として、携帯端末（特にスマートフォン）１０の基本構成に関するブロック図を示す。図示のように、携帯端末１０は基本構成として、タッチ・ディスプレイ１１０、音声検知部／マイクロフォン１３０、制御部１４０および記憶部１５０を備える。タッチ・ディスプレイ１１０は、記憶部１５０に格納された各種データを表示するための表示部／ディスプレイ１２０、該表示部／ディスプレイ１２０に対し、人の指やスタイラスなどの物体による接触操作（主に、タッチ操作、スワイプ（スライド）操作およびタップ操作等の物理的接触操作）を検知する接触検知部／タッチパネル１２５、並びに、携帯端末への音声入力を検知する音声検知部（マイクロフォン）１３０を備える。

接触検知部１２５はタッチ・ディスプレイの構造上、液晶パネル、有機ＥＬ、プラズマディスプレイ等のようなディスプレイ１２０の上層に配置される。接触検知部１２５は、圧力検出方式、抵抗膜方式、静電容量方式や電磁誘導方式等を採用することができる。接触検知部１２５上で指やスタイラス等の物体の接触による入力を受けた際に、その接触位置において押圧、電気抵抗、電気容量や弾性波のエネルギー等の変化量を検知し、表示部１２０上の対応する接触座標が特定される。

音声検知部１３０は、ユーザ端末等に標準的に搭載される音声通話用のマイクロフォンとすることができる。制御部１４０は、端末処理部からの処理命令に従って、本発明の実施形態によるコンピュータ・プログラムを実行して携帯端末１０を動作させるように構成される。制御部１４０の詳細については図５を参照して後述する。記憶部１５０は、本実施形態によるコンピュータ・プログラム、ゲーム・プログラム、ユーザやゲームに関連するデータ、およびコンタクト情報データの全般を格納し、制御部からの命令に応じて情報の登録、更新、削除等が実施される。なお、本実施形態によるコンピュータ・プログラムを通じて入力されるスタンプ画像についてもサーバ５０から携帯端末１０にユーザがダウンロードした際に格納することができる。

これより図３および図４を参照して、本発明の実施形態によるコンピュータ・プログラムが適用されるオンライン・アクションＲＰＧの一例のゲーム・コンテンツ例の概要を示す。ここでは、複数のユーザが同一の３次元仮想空間を共有し、それぞれが当該３次元仮想空間で自らのキャラクタに対するアクション操作を実施可能である。加えて、各ユーザは、キャラクタへのアクション操作によりゲームを進行することができると共に、キャラクタを通じた相互対話、即ち、テキスト・チャットや画像チャットのようなリアルタイムのチャットをゲーム進行と同時に実施可能である。

図３（ａ）および（ｂ）は、自キャラクタ１を操作するユーザ（自ユーザ）のユーザ画面に表示される一連のゲーム画像である。関連付けるキャラクタおよびその配置はユーザ毎に異なるため、ユーザごとに端末に表示されるゲーム画面は異なる。図３（ａ）（ｂ）の視界画像３は、自キャラクタ１の配置（画面中心よりやや上）に基づき、自ユーザの端末の画面に表示される画像である。一方、相手キャラクタ２を操作する別のユーザ（相手ユーザ）の端末の画面に表示される画像は、相手キャラクタ２の配置（画面中心よりやや上）に基づいた視界画像となり、図３（ａ）（ｂ）の自ユーザの視界画像とは異なるものとなる。

上記のように、自ユーザの視界画像３の中心上部近傍に自キャラクタ１が表示される。つまり、自キャラクタ１の配置は表示画面の所定の位置範囲に位置合わせされる。ユーザは、端末入力部を通じたユーザ命令に従い、３次元仮想空間内で自キャラクタ１を移動させることができる。自キャラクタ１には仮想カメラが関連付けられており、該仮想カメラは３次元仮想空間内の自キャラクタの後方かつ上方に配置されて（図示せず）、自キャラクタの移動に伴って追従するよう動作する。自キャラクタ１の仮想カメラからの視界領域に基づいて視界画像３が生成され、端末のディスプレイに表示される。ここで、各キャラクタは、キャラクタ特性５を有しており、画面左下に表示される。キャラクタ特性５には、例えば、キャラクタの種別、キャラクタ画像、キャラクタとしての強さ（ヒット・ポイント（ＨＰ：キャラクタの体力ポイント）やスキル・ポイント（ＳＰ：必殺技を繰り出すための技能ポイント））等が含まれる。

図３（ａ）の例では、自キャラクタ１の左下部に、相手ユーザが操作している相手キャラクタ２が位置しており、視界画像３にも映り込んでいる。そして、自ユーザ１は、自らのユーザ端末から「こんにちは」というコンタクト情報（テキスト・データ）を入力して３次元仮想空間内に発信している。その結果、図示のように、視界画像３において自キャラクタ１から「こんにちは」とテキスト表示された吹き出し画像４が表示され、自ユーザの画面に表示されている。勿論、相手ユーザの画面上にも、自キャラクタ１から「こんにちは」とテキスト表示された吹き出し画像が表示されることが理解される。

自ユーザが３次元仮想空間で自キャラクタ１を上方向に移動させると、図３（ｂ）のような視界画像の表示となる。この場合、相手キャラクタ２は自キャラクタ１からは離れて画面左下に位置するようにゲーム進行される。併せて、図３（ｂ）では、図３（ａ）で自キャラクタが「こんにちは」なるコンタクト情報を３次元仮想空間に発信したのに応答するようにして、相手ユーザが自らの端末から「お元気ですか！？」なるコンタクト情報を入力して３次元仮想空間内に発信する。その結果、自ユーザの視界画像３でも、相手キャラクタ２から「お元気ですか！？」とテキスト表示された吹き出し画像４が表示される。

なお、図３では、ゲーム内空間を共有するキャラクタに送信されるコンタクト情報がテキスト情報であるが、次の図４（ｃ）に示すように、コンタクト情報は、画像チャットのようなスタンプ（即ち一般的にアイコンと称される）画像としてもよい。また、本発明の実施形態によるコンピュータ・プログラムが適用できるコンテンツは、ゲーム・アプリケーション、特に図３および図４のようなオンライン・アクションＲＰＧに限定されない。これ以外にも、ＳＮＳや電子掲示板のように、複数のユーザがメッセージ交換を行ったり、自らの近況を関連ユーザに知らせたりするような３次元仮想空間内でコミュニケーションを実施するアプリケーションに対して、本発明の実施形態によるコンピュータ・プログラムを広範に適用可能であることが認められる。

図４は、自ユーザが、ゲームの進行と同時に、３次元仮想空間にコンタクト情報を音声入力により発信した際のイメージ図である。図４（ａ）は、ゲーム進行中に「音声入力モード」に切り替えた状態である。切り替えは、ユーザがゲーム進行中に所定の画面領域を長押しする、所定のボタンをタップする、またはユーザ端末を傾ける等のユーザ動作をすることによって実施可能である。図４（ａ）での「音声入力モード」においてユーザが「ありがとう！」と音声を発すると、音声検知部１３０がそれを検知する。入力された音声は、制御部１４０によって認識および解析等の処理がされ、図４（ｂ）（ｃ）のようにコンタクト情報画像としてゲーム画面中に出力される。具体的には、文字列「ありがとう」が音声認識・解析され、予めユーザ端末の記憶部１５０に格納されている変換テーブルに格納してある「Ｔｈａｎｋｓ！」や所定のスタンプ画像に変換されて画面出力される。後述するように、変換処理の際は、入力音声に関連してその音質や音量を変換パラメータとして利用するのがよい。

これら図３および図４の画面イメージ例を踏まえ、これより、図５以降を参照して、本発明の実施形態によるユーザ入力支援のためのコンピュータ・プログラムについて説明する。特に図４に例示した音声入力に基づく情報処理について詳細に説明する。図５は、当該処理を実施するためにユーザ端末１０に実装される主要機能ブロック図であり、その全体が図２の制御部１４０に相当する。図５に示すように、制御部１４０は、大きくは、ゲーム進行部６１、コンタクト入力部７１およびコンタクト出力部９１を含む。また、ゲーム進行部６１は、自キャラクタ移動制御部６１１、仮想カメラ制御部（視界領域決定部）６１３、および視界画像生成部６１５を含む。コンタクト入力部７１は、音声検知部７１１、音声解析部７１３、音声変換部７１５、およいｂコンタクト情報決定部７１７を含む。更に、コンタクト出力部９１は、コンタクト情報配置領域決定部９１１、コンタクト画像生成部９１３、およびコンタクト情報重畳部９１５を含む。制御部１４０は、上記以外にも、コンタクト受信部８１、キャラクタ配置決定部８３等も含む。なお、図５は本発明の実施形態によるコンピュータ・プログラムを実装するための最低限の主要機能のセットを記載したに過ぎない点に留意すべきである。

これより図６のフロー図を参照して、本発明の実施形態によるユーザ入力支援のためのコンピュータ・プログラムにより実施される、自ユーザと相手ユーザのサーバ・システムを介した一例の相互作用に関連する情報処理について説明する。ここでは、自キャラクタの動作を制御可能な自ユーザａのユーザ端末と、相手キャラクタの動作を制御可能な相手ユーザｂのユーザ端末が、各々ゲームを進行させながら、サーバ・システムを介してメッセージ交換することを想定する。

図６に例示する情報処理では、最初に、サーバ・システムによりステップＳ１ｓにおいて、ユーザ間で共有する仮想空間情報が配信され、自ユーザａおよび他ユーザｂがステップＳ１ａおよびステップＳ１ｂにおいて仮想空間情報を展開することにより、仮想空間が共有される。その後の情報処理は、大きくは、キャラクタの空間内移動に伴うゲーム進行処理（通常のゲーム進行。図７の上半分）および空間内コンタクトに関するコンタクト処理（図７の下半分）から構成される。

キャラクタの空間内移動に伴うゲーム進行処理は、自ユーザａによるステップＳ２ａ〜Ｓ４ａ、および相手ユーザｂによるステップＳ２ｂ〜Ｓ４ｂ、並びにサーバ・システムによるステップＳ２ｓから構成される。ステップＳ２ａでは、自ユーザａは、自キャラクタ移動制御部６１１によって自キャラクタを操作して３次元仮想空間内を移動させる。ステップＳ３ａでは、自キャラクタの３次元仮想空間内の移動に伴い、仮想カメラ制御部６１３によって、自キャラクタに仮想カメラを追従させる。そして、自ユーザに関連付けられた自キャラクタの３次元仮想空間内の配置を中心に関連付けた視界領域を決定する。なお、自キャラクタの移動情報はサーバ・システムにも逐一、定期的に、およびイベント・トリガのいずれか１つ以上により反映するのがよい。即ち、ステップＳ２ｓでは、サーバ・システムによって自キャラクタの位置情報で仮想空間情報を更新して、各ユーザにフィードバックする。そして、ステップＳ４ａでは、ステップＳ３ａで決定された視界領域に基づいて、視界画像生成部６１５によって視界画像が生成され、ユーザ端末のディスプレイに表示される。相手ユーザｂの相手キャラクタによる空間内移動（ステップＳ２ｂ〜Ｓ４ｂ）についても同様である。

空間内コンタクトに関するコンタクト処理は、自ユーザａによるステップＳ５ａ〜Ｓ６ａ、および相手ユーザｂによるステップＳ５ｂ〜Ｓ６ｂ、並びにサーバ・システムによるステップＳ３ｓから構成される。自ユーザａの自キャラクタおよび相手ユーザｂの相手キャラクタが３次元仮想空間を共有して移動しながらゲームが進行する中で、ステップＳ５ａにおいて、自ユーザａは、コンタクト入力部７１により、即ち、ユーザ端末のマイクロフォンを通じた音声入力により、３次元仮想空間内にコンタクト情報を発信する。つまり、３次元仮想空間を共有しているユーザ（相手ユーザｂ）に向けて、図３および図４に例示したようなコンタクト情報を送信する（図７で詳述）。コンタクト情報は、テキスト変換に基づくテキスト情報でも、テキスト変換に基づくテキストに関連付けられたスタンプ画像情報でもよい。送信されるコンタクト情報は、ステップＳ３ｓにおいてサーバ・システム側で空間情報の更新処理に用いられ、次いで、３次元仮想空間内に発信されて自ユーザａおよび相手ユーザｂの両方に通知される。

そして、ユーザａ側では、ステップＳ６ａにおいて、コンタクト出力部９１によって、自ら送信したコンタクト情報を収容した吹き出し画像を自キャラクタの配置に基づいて自身の視界画像に重畳させて、ディスプレイに表示する（図８で詳述）。相手ユーザｂ側では、ステップＳ５ｂにおいて、コンタクト受信部８１によって自ユーザａからのコンタクト情報を入力音声関連情報と共に受信し、キャラクタ配置決定部８３によって３次元仮想空間内の自キャラクタの配置位置を特定する。入力音声関連情報は、コンタクト情報配置領域を決定するのに使用される音量パラメータや音質パラメータを含むのがよい。引き続き、ステップＳ６ｂにおいて、コンタクト出力部９１によって、受信したコンタクト情報を収容する吹き出し画像を自キャラクタの配置に基づいて相手ユーザ自身の視界画像に重畳させて、ディスプレイに表示する。

次に、図７〜図１１を参照して、上記のうち特に自ユーザａによるステップＳ５ａ，Ｓ６ａの情報処理について詳細に説明する。この内、図７は、図６のステップＳ５ａにおいて音声入力を通じたコンタクト発信処理を詳細化したフロー図であり、図８は、図４の画面イメージに関連するコンタクト処理に相当する。

図７のステップＳ５１ａでは、最初に、音声検知部７１１において、ユーザ端末が具備するマイクロフォンを通じて音声入力を受け、次いで、ステップＳ５２ａに進んで、音声解析部７１３において音声情報を取得および解析する。音声の解析では、主に、入力された音声の音量および音質を音声関連情報として取得する。音声関連情報は、コンタクト情報配置領域の大きさを決定し、および／または該コンタクト情報配置領域内に収容する吹き出し種別やコンタクト情報の表示態様を決定するのに使用することができる。ここで、音質は公知の評価方法により取得可能なものである。一例として、物理信号としての音声信号の周波数特性、歪率、ＳＮ比およびダイナミックレンジを取得してもよいし、並びに／または、国際電気通信連合（ＩＴＵ）で規格化された音声の主観的品質評価法および客観的品質評価法による評点を取得してもよい。しかしながら、当業者にとって、音質パラメータはこれらに限定されないことが理解されるべきである。

ステップＳ５３ａでは、音声変換部７１５によって、入力された音声をテキスト情報へ変換する。具体的には、図４（ａ）の例では、音声入力に対し「ありがとう」とテキスト変換する。ステップＳ５４ａでは、コンタクト情報決定部７１７によって、変換されたテキスト情報に基づいてコンタクト情報を決定する。具体的には、図４（ａ）でテキスト変換された「ありがとう」に対し、予め規定され記憶部１５０に格納された変換テーブルに基づいて、「Ｔｈａｎｋｓ！」や相当するスタンプ画像と変換して、コンタクト情報として決定する。最後に、ステップＳ５５ａでは、決定したコンタクト情報を図３や図４のように３次元仮想空間に発信し共有ユーザに通知するために、サーバ・システムに送信する。その際、音声入力に関連する上記音声関連情報も一緒に送るのがよい。

このように、本発明の実施形態によるユーザ入力支援のコンピュータ・プログラムは、ゲームの進行を妨げることなく、音声入力を通じて、非常に効率的に数多くの候補の中から所望のコンタクト情報を入力することができる。なお、テキスト（「ありがとう」）と変換されることになる対応情報（「Ｔｈａｎｋｓ！」や記号（「♪」「★」等）を含むテキスト情報や、相当するスタンプ画像）との間の関連付けは、各ユーザが個別に実施して格納しても、関連付け情報をサーバ側からダウンロードして格納しても何れの態様とすることができる。

図８は、図６のステップＳ６ａにおいて、上記音声入力に基づくコンタクト情報を視界画像に重畳してディスプレイに表示するコンタクト出力処理を詳細化したフロー図であり、図４（ｂ）（ｃ）の画面イメージの出力処理に相当する。また、図９〜図１１は、当該コンタクト出力処理に関連する幾らかの例示の概要イメージである。

図８のステップＳ６１ａでは、キャラクタ配置決定部８３によって、コンタクト情報を送信したキャラクタの３次元仮想空間内の配置情報を決定する。図４の例では、自ユーザが自らコンタクト情報を入力したため、対応する自キャラクタの位置座標を決定することになる。なお、図９（ａ）の例のように、自キャラクタの位置は基本的に視界画像の中心とするのがよい。引き続き、ステップＳ６２ａでは、決定した配置情報およびステップＳ５５ａでの音声関連情報に従って、コンタクト情報配置領域決定部９１１によって、コンタクト情報を重畳するためのコンタクト情報配置領域を視界画像内に決定する。より具体的には、視界画像内の基準点、並びにコンタクト情報配置領域の位置および大きさを決定する。基準点は、吹き出し画像を生成するために必要となり、一例としてはキャラクタの配置位置に関連付けるのがよいが、これに限定されない。例えば図９（ｂ）のように、自キャラクタの頭部の位置座標を基準点として採用するのがよい。また、コンタクト情報配置領域は、吹き出し画像を収容する領域であり、同じく図９（ｂ）のように、視界画像全体における基準点の相対位置に応じてコンタクト情報配置領域の位置を、また、上記音声関連情報に含まれる音量に少なくとも従ってその大きさを決定するのがよい。

ここで、図１１の例を参照しても分かるように、コンタクト情報は、コンタクト情報配置領域内において、吹き出し画像と共に（吹き出し画像に収容されるようにして）ディスプレイに表示される。コンタクト情報配置領域はディスプレイに非表示とするのがよい。図示のように、コンタクト情報配置領域内に吹き出し画像が収容され、且つ吹き出し画像内にコンタクト情報（即ち、スタンプ画像（ａ）やテキスト情報（ｂ））が収容される。また、図示のように、吹き出し画像は、コンタクト情報配置領域の基準点に位置合わせされる先端部分と、スタンプ画像やテキスト情報を収容する本体部分を含み、これらを結合するようにして形成される。

図８に戻り、ステップＳ６３ａでは、ステップＳ６２ａで決定した視界画像内の基準点に対し、吹き出し画像の先端部分を位置合わせする。次いで、ステップＳ６４ａでは、吹き出し画像の本体部分が視界画像内に収容されるように本体部の大きさを調整した上で、本体部分を先端部分に結合する。なお、本体部分の形状は図１１（ａ）（ｂ）のような矩形に限定されず、例えば角丸形、多角形やそれ以外の任意の形状としてもよい。特に、上記音声関連情報に含まれる音質情報に従ってその形状を決定してもよい。具体的には、音声品質が悪い場合には、多角形状を有する（ギザギザの）本体部分とし、音声品質が良い場合には正方形状の本体部分とするように吹き出し画像を形成してもよい。

次いで、ステップＳ６５ａでは、ステップＳ６４ａで調整した本体部分の大きさに基づいて、コンタクト情報の表示上の大きさ（即ちスタンプの大きさやテキスト情報のフォントの大きさ）を調整し、本体部分に収容させてコンタクト画像情報を生成する。特に、コンタクト情報がテキスト情報である場合には、上記音声関連情報に含まれる音質情報に従って、更にそのフォントの種別を決定してもよい。これらステップＳ６３ａおよびＳ６４ａはコンタクト画像生成部９１３によって実施される。最後に、ステップＳ６６ａでは、コンタクト情報重畳部９１５によって、コンタクト画像情報を吹き出し画像と共に視界画像に重畳して、図３や図４（ｂ）（ｃ）に示したようなゲーム画像として画面表示する。

このように、音声入力時の音量や音質といった音声関連情報をコンタクト情報の出力処理時のパラメータに採用することにより、コンタクト画像情報をユーザにとってよりダイナミックに生成可能とすることができ、ユーザ間のリアルタイム・コミュニケーションの臨場感をより大きなものとすることができる。

なお、図９（ｃ）では、コンタクト画像情報としてスタンプ画像をコンタクト情報配置領域内の中央に配置しているが、これに限定されず、視界画像内に収容されるのであれば如何なる場所に配置してもよい。図９の例は、自ユーザがスタンプを送信し、自キャラクタに対して吹き出し表示したものである。これに対し、図１０の例は、３次元仮想空間を共有する他の相手ユーザによってコンタクト情報が選択および送信された場合の例である。この場合も、まず図１０（ａ）のように、相手キャラクタの３次元仮想空間内の配置情報を少なくとも決定し（ステップＳ６１ａ）、当該配置情報および受信した音声関連情報に従って、図１０（ｂ）のように、自ユーザの自キャラクタの配置に基づく視界画像内においてコンタクト情報を表示するための基準点およびコンタクト情報配置領域を決定し（ステップＳ６２ａ）、そして、図１０（ｃ）のように、当該コンタクト情報配置領域内にコンタクト画像情報を吹き出し画像と共に重畳して、ディスプレイに表示することになる（ステップＳ６３ａ〜Ｓ６６ａ）。

以上、本発明の実施形態によるユーザ入力支援のためのコンピュータ・プログラムについて、各種例と共に説明した。上述した実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

Claims (6)

1. １のユーザに関連付けられたキャラクタの仮想空間内の配置に基づく視界画像を生成して、前記ユーザのユーザ端末が具備するディスプレイに表示する視界画像生成部と、
   前記ユーザ端末が具備するマイクロフォンを通じて音声入力を受ける入力部と、
   前記音声入力に基づくコンタクト情報を前記視界画像に重畳して、前記ディスプレイに表示する出力部であって、前記コンタクト情報を重畳するためのコンタクト情報配置領域が、前記音声入力の音量に少なくとも従って前記視界画像内に決定される、出力部と
   として前記ユーザ端末に機能させる、ユーザ入力支援のためのコンピュータ・プログラム。
2. 前記出力部において、前記コンタクト情報配置領域内において前記コンタクト情報を吹き出し画像と共に表示する、請求項１記載のコンピュータ・プログラム。
3. 前記仮想空間が他のユーザに関連付けられる他のキャラクタと共有され、
   前記出力部において、更に、前記他のユーザが入力した他のコンタクト情報を、前記１のユーザに関連付けられた前記キャラクタの配置に基づく前記視界画像に重畳して、前記ディスプレイに表示する、請求項１または２記載のコンピュータ・プログラム。
4. 前記出力部において、前記他のコンタクト情報を重畳するための他のコンタクト情報配置領域を、前記他のキャラクタの配置に少なくとも従って前記視界画像内に決定し、
   前記他のコンタクト情報配置領域内に前記他のコンタクト情報を吹き出し画像と共に表示する、請求項３記載のコンピュータ・プログラム。
5. 前記コンタクト情報が、前記音声入力のテキスト変換に基づくテキスト情報である、請求項１から４のいずれか一項記載のコンピュータ・プログラム。
6. 前記コンタクト情報が、前記音声入力のテキスト変換に基づくテキストに関連付けられ、前記ユーザ端末に格納されるスタンプ画像である、請求項１から５のいずれか一項記載のコンピュータ・プログラム。