JP2008043760A - プログラム制御のためにユーザインタフェイス信号のイメージ分析を使用するためのシステム及び方法。 - Google Patents

Abstract

【課題】ユーザの反応状態に応じてプロセッサ上で実行されているプログラムの動作特性を自動的に制御すること。
【解決手段】プレーヤが不快になると該プレーヤの生理状態の視覚的に観察可能な外観（眼の瞬きの頻度等）が変化するという事実が利用される。かかる変化及び／又は他のイメージ変化を、入力装置により生成された信号から取得された際に分析することにより、本システムは、プレーヤの快適度の変化を判定し、それに従ってゲームを変化させる。
【選択図】図４

Description

本発明は、一般に対話型コンピュータシステム及び方法に関し、特にプログラムを制御するためにユーザインタフェイス信号のイメージ分析を使用するシステム及び方法に関するものである。

コンピュータ、ゲームコンソール、又はハンドヘルドコンソールを用いる電子ゲームは一般に、入力装置、プロセッサ、及び視覚的な表示装置を用いたものとなる。該入力装置は、マウス、ジョイスティック、又はプレーヤがプロセッサへ応答を入力することを可能にする他の形態のコントローラとすることができる。前記プロセッサは、コンピュータシステムの一部とすることが可能であり、XBOX(R)及びPLAYSTATION(R)ゲームシステムといった専用のゲームシステムとすることが可能である。該プロセッサは、前記表示装置と通信を行って、ゲームの視覚的及び／又は音響的なイメージを提供する。

これらの電子ゲームは一般に、プレーヤを楽しませるプレーレベルを提供するために、異なるプレーレベルを有する。多くのゲームの場合、プレーレベルは、ゲームをプレーする前にユーザによって選択され、プレーレベルの変更は、ユーザがゲームをリスタートすることを必要とする。プレーヤは、自分自身に適したプレーレベルを見出すまでに様々なプレーレベルを試行しなければならないことが多い。

ゲームは一般に、迅速な及び／又は機敏な応答が必要とされる状況にプレーヤを置き、プレーヤの成績は一般に、ゲームにより提示される課題に対して迅速に応答するプレーヤ自身の能力を反映するものとなる。多くの場合、マウス、ジョイスティック、又はコントローラを使用して位置情報が伝えられ、該位置情報が、表示装置上のオブジェクトを移動させるためにゲームにより使用される。

適当なプレーレベルでプレーすることにより、ゲームによってプレーヤに確実に課題が与えられて、プレーヤに圧勝したりプレーヤを退屈させたりする危険性が最小限になる。しかし、ゲームを開始する前にユーザのスキルレベルを設定しなければならない場合には、ゲームをリスタートする以外に、ユーザがスキルレベルを調節することができる便利な方法は存在しない。多くの場合、ユーザは、スキルレベルが自分にとってふさわしくないことさえ知らない。

プレーヤが不快になると該プレーヤの生理状態の視覚的に観察可能な外観（眼の瞬きの頻度等）が変化するという事実が利用される。かかる変化及び／又は他のイメージ変化を、入力装置により生成された信号から取得された際に分析することにより、本システムは、プレーヤの快適度の変化を判定し、それに従ってゲームを変化させることが可能である。

上記説明は、以下の本発明の詳細な説明をより良く理解することができるように、本発明の特徴及び技術的な利点をかなり広範に概説したものである。以下で説明する本発明の更なる特徴及び利点は、本発明の特許請求の範囲の要旨を形成するものである。本書で開示する思想及び特定の実施形態は、本発明と同じ目的を達成するために修正し又は他の構成を設計するための基礎として容易に利用することが可能なものである、ということが当業者には理解されよう。また、かかる等価な構成は、特許請求の範囲に記載する本発明の思想及び範囲から逸脱するものではない、ということが当業者には理解されよう。本発明の特色であると考えられる新規の特徴は、その構成及び処理方法の両者について、更なる目的及び利点と共に、図面に関連して以下の詳細な説明を考察することにより、一層良好に理解されよう。しかし、図面の各々は、例示及び説明のみを目的として提示したものであり、本発明の限界の定義を意図したものではないことは明らかである。

本発明をより完全に理解するために、図面に関連して以下の詳細な説明を参照する。

図１に示すように、本発明の一実施形態は、処理回路30を介してプロセッサ12と通信を行う装置22等の視覚的なユーザインタフェイスを含む。ゲームプログラムのプログラムコード又はアルゴリズムは、メモリ14等のメモリ装置に格納し、プロセッサ12により実行することが可能である。回路30に示す処理（図３に関して後述する）は、回路、アルゴリズムの一部としてのソフトウェア、又はそれらの一部において達成することができる。かかる処理又は回路は、プロセッサ12と一体にすることも、それとは別個にすることも、可能である。

ユーザインタフェイス22は、図２に示すようなスタンドアロン装置とすることが可能であり、この場合には、視覚的な入力装置が表示装置201の上に載置されて示されており、又は、該視覚的な入力装置は、マウス、ゲームコントローラ、ジョイスティック、若しくはキーボード202といった他の任意の装置に組み込むことが可能であり、該視覚的な入力装置を介して、プレーヤが自身のアクションをプロセッサ12に入力することが可能となる。装置22は、目の瞬き、頭の動き、顔に触れる頻度、腕又は脚の揺動、及び頭のうなずきその他のイメージを捕捉するためのアナログ若しくはディジタルカメラ又はLEDディスプレイとすることが可能である。プロセッサ12は、メモリ装置、マイクロプロセッサ、及びゲームプログラムのプログラムコードを実行するために利用されるあらゆる構成要素を含むことが可能である。該プロセッサシステムは、コンピュータシステムの一部、ビデオゲームコンソール、又はハンドヘルド型ゲーム装置とすることが可能である。

視覚的なイメージ（例えば、眼の瞬き、頭のうなずき、顔イメージの変化等）は、プレーヤの反応レベルの指示子として用いることができる。例えば、速い眼の瞬きは、プレーヤが苛立ちまたは困惑するようになることを示唆し得るものである。ゲームプレー中のプレーヤの反応レベルの変化を使用してゲームプログラムの特徴を変更することが可能であり、例えば、プレー難易度を調節することが可能である。

図３に示すように、一実施形態では、イメージ処理回路30の増幅器31は（例えば図２Ａ,２Ｂに示す装置22からの）イメージ信号を受信する。この信号は、（常にではないが）一般にアナログ形式のものであり、増幅器31により増幅されてフィルタ32によりフィルタリングされることになる。このフィルタリングは、所望の所定範囲外の信号を除去するものである。このフィルタリング済みの信号は、回路33によりそのコンディショニングが行われ、必要に応じてA/D変換器34によりディジタル形式へと変換される。次いでこの信号がプロセッサ12へ提示される。

フィルタリング及び／又はコンディショニングの一部として、イメージの変化を検出してプロセッサへ知らせることが可能であり、または必要に応じて、コンディショニングが行われた信号全体をプロセッサへ提示して、イメージ変化を判定すること、及びかかるイメージ変化がユーザの不快感その他に関して何を意味するものであるかを判定することが可能である、ということに留意されたい。

プレーヤの反応レベルが判定されると、プロセッサ12は、例えばプレー中のゲームの難易度を調節することにより、システムを変更することが可能である。本発明の一実施形態では、これは、ゲームで規定されている複数のプリセット難易度を切り替えること、又は判定された応答レベルに適しているとデータベース又はアルゴリズムにより指示された難易度を使用することを含む。別の実施形態では、本処理システムは、ゲームアルゴリズムを実行する速度を増減させることが可能なものとなる。更に別の実施形態では、ユーザ反応が所定の範囲内に入るまで、難易度を連続的に調節することができる。

図４は、受信した視覚的なイメージに基づいてゲームのスキルレベル又はその他のアプリケーションを調節するために使用されるシステムの一実施形態40を示すフローチャートである。プロセス402によりユーザインタフェイス22から信号が取得され、プロセス403,404により図３に関して上述したような信号のイメージ分析が行われ、イメージの何らかの重要な特徴が変化したか否かがプロセス405により判定される。以前に取得した１つの値（又はメモリに格納されている以前の一組の値）から変化している場合には、プロセス406により、受信した視覚的なイメージの性質に基づいてプレーヤの反応レベルが判定される。次いでプロセス402により、受信した視覚的なイメージデータに基づいてゲームのスキルレベル又はその他のパラメータが調節される。イメージは一定期間にわたってメモリ（図示せず）に格納することができ、イメージを以前の１つのイメージ（又は以前の複数のイメージを合成（又は平均）したもの）と比較して、ユーザが苛立っているか、飽きているか、驚いているか、熱中しているか等を判定することができる。例えば、急速な眼の変化は、ユーザが苛立っていることを意味する。必要に応じて、各ユーザ毎にデータを保持し、特定のユーザについて視覚的なイメージの変化とアクション（悪い、良い、その他）とを関係づけることが可能である。次いで、この関係づけは、同様の視覚的な変化を更に検出した際にプログラムに対して行う変化の基礎となり得るものである。

受信した視覚的なイメージが一定期間にわたり平均化された（又は保存された）ものを使用して実際のユーザの快適さの等級付けされたレベルを判定することができるようにユーザレベルが確立されたテーブルが存在し得ることに留意されたい。任意の時点における等級付けに基づいて、同一の（又は他の）プログラムを一層難しく又は一層容易になるよう調節することが可能である。

ゲームシステムについて説明してきたが、本書で教示する思想は、プロセッサ上で実行されているあらゆるプログラムの動作特性を制御するために使用することが可能なものである、ということに留意されたい。例えば、スプレッドシートプログラムに対して、眼の瞬きの頻度又はその他の視覚的なイメージに基づいて異なる命令を提示することが可能である。

本発明及びその利点について詳細に説明してきたが、特許請求の範囲により規定する本発明の思想及び範囲から逸脱することなく、本開示の実施形態に対して様々な変更、置換、及び代替を行うことが可能であることが理解されよう。更に、本発明の範囲は、本書に記載した処理、マシン、製造物、構成、手段、方法、及びステップの特定の実施形態に制限することを意図したものではない。本発明の開示内容から当業者には容易に理解されるように、本書に記載した対応する実施形態と実質的に同じ結果を生み出す既存の又は後に開発される処理、マシン、製造物、構成、手段、方法、又はステップは、本発明に従って利用することが可能なものである。したがって、特許請求の範囲は、かかる処理、マシン、製造物、構成、手段、方法、又はステップをその範囲内に包含することを意図したものである。

以下においては、本発明の種々の構成要件の組み合わせからなる例示的な実施形態を示す。
１．プロセッサ上で実行中のプログラムを制御する方法であって、
ユーザインタフェイスからの信号について視覚的なイメージング分析を使用し、
ユーザの反応レベルを判定し、
該判定されたユーザの反応に応じて前記プログラムを調節する、
という各ステップを含む、プロセッサ上で実行中のプログラムを制御する方法。
２．前記使用ステップが、受信したイメージを以前に受信したイメージと突き合わせするステップを含む、前項１に記載の方法。
３．前記判定ステップが、受信したイメージの変化に基づくものである、前項１に記載の方法。
４．前記判定ステップが、受信したイメージにおける急速な変化に基づくものである、前項１に記載の方法。
５．前記プログラムがゲームプログラムであり、前記調節ステップの結果としてユーザに提示されるスキルレベルが変化する、前項１に記載の方法。
６．プロセッサ上で実行中のプログラムに対するユーザインタフェイスと、
前記プロセッサ上でのプログラムの実行中に前記ユーザインタフェイスからの信号について視覚的なイメージ処理を実行する手段と、
実行された視覚的なイメージング分析に応じて前記プログラムの少なくとも１つの動作特性を調節する手段と
を含む、システム。
７．前記プログラムがゲームであり、前記入力インタフェイスがカメラである、前項６に記載のシステム。
８．前記動作特性が、
難易度、
教育レベル、及び、
表示される情報量
の中から選択される、前項６に記載のシステム。
９．前記信号が一連の視覚的なイメージである、前項６に記載のシステム。
１０．前記視覚的なイメージが、
眼の瞬き、
顔に手で触れること、
脚の動き、
腕の動き、及び、
頭の動き
の中から選択される、前項９に記載のシステム。
１１．前記イメージ処理手段が、前記ユーザインタフェイスからの現在のビデオイメージを該ユーザインタフェイスからの以前のビデオイメージに対して評価する手段を含む、前項６に記載のシステム。
１２．前記視覚的なイメージ処理手段が、アナログ信号の増幅及びフィルタリングを行うための回路を含む、前項６に記載のシステム。
１３．前記アナログ信号がカメラからのものである、前項１２に記載のシステム。
１４．視覚的なイメージ処理を実行する前記手段が、ディジタルカメラからの入力信号を処理するためのアルゴリズムを含む、前項６に記載のシステム。
１５．プログラムの使用方法であって、
プログラムレベルを設定し、
ユーザインタフェイス信号から取得される前記ユーザの視覚的なイメージを監視することにより、プログラムの使用中にユーザの反応レベルの変化を判定し、
前記ユーザのビデオイメージの経時的な変化の判定に基づいて前記プログラムレベルを調節する、
という各ステップを含む、プログラムの使用方法。
１６．前記判定ステップが、前記ユーザインタフェイス信号から受信した複数の視覚的なイメージ間の相違を使用することを含む、前項１５に記載の方法。
１７．前記ユーザインタフェイス信号が、前記ユーザがゲームコントローラ要素のプログラム入力装置を操作している間におけるユーザイメージの変化を表すものである、前項１６に記載の方法。
１８．前記プログラムレベルが、前記ゲームプログラムの難易度である、前項１７に記載の方法。
１９．前記視覚的なイメージの監視によってインタフェイス信号間で視覚的なイメージの変化の割合が増大したことが示された場合に前記難易度が下げられる、前項１８に記載の方法。
２０．前記視覚的なイメージの監視によってインタフェイス信号間で実質的に変化がないことが示された場合に前記難易度が高められる、前項１８に記載の方法。

本発明の一実施形態を示すブロック図である。 本発明の実施形態の概要を示す斜視図である。 本発明の実施形態の概要を示す斜視図である。 本発明で用いるイメージ処理回路の一実施形態を示すブロック図である。 本発明の一実施形態を示すフローチャートである。

符号の説明

12 プロセッサ
14 メモリ
22 ユーザインタフェイス（視覚的な入力装置）
30 イメージ処理回路
31 増幅器
32 フィルタ
33 コンディショニング回路
34 A/D変換器
201 表示装置
202 キーボード

Claims (10)

1. プロセッサ上で実行中のプログラムを制御する方法(40)であって、
   ユーザインタフェイスからの信号について視覚的なイメージング分析を使用し(404)、
   ユーザの反応レベルを判定し(406)、
   該判定されたユーザの反応に応じて前記プログラムを調節する(407)、
   という各ステップを含む、プロセッサ上で実行中のプログラムを制御する方法(40)。
2. 前記使用ステップが、受信したイメージを以前に受信したイメージと突き合わせするステップ(405)を含む、請求項１に記載の方法。
3. 前記判定ステップが、受信したイメージの変化に基づくものである(405)、請求項１に記載の方法。
4. 前記判定ステップが、受信したイメージにおける急速な変化に基づくものである、請求項２に記載の方法。
5. 前記プログラムがゲームプログラムであり、前記調節ステップの結果としてユーザに提示されるスキルレベルが変化する、請求項１に記載の方法。
6. プロセッサ上で実行中のプログラムに対するユーザインタフェイス(30)と、
   前記プロセッサ上でのプログラムの実行中に前記ユーザインタフェイスからの信号について視覚的なイメージ処理を実行する手段(31,32,33,34)と、
   実行された視覚的なイメージング分析に応じて前記プログラムの少なくとも１つの動作特性を調節する手段(12)と
   を含む、システム。
7. 前記プログラムがゲームであり、前記入力インタフェイスがカメラである、請求項６に記載のシステム。
8. 前記動作特性が、
   難易度、
   教育レベル、及び、
   表示される情報量
   の中から選択される、請求項６に記載のシステム。
9. 前記信号が一連の視覚的なイメージである、請求項６に記載のシステム。
10. 前記イメージ処理手段が、前記ユーザインタフェイスからの現在のビデオイメージを該ユーザインタフェイスからの少なくとも１つの以前のビデオイメージに対して評価する手段を含む、請求項６に記載のシステム。

Images