JP2005165531A - 情報機器、その制御方法及びプログラム - Google Patents

Abstract

【課題】撮像画像中の人物オブジェクトを置換するための置換用オブジェクトを迅速に、しかも、ユーザに煩わしい作業を強いることなく決定する。
【解決手段】撮像カメラ９４と、撮像カメラ９４によって撮像される画像に含まれる人物の特徴を抽出する特徴抽出部１４と、複数の置換用オブジェクトを格納した置換用オブジェクト部１７と、特徴抽出部１４によって抽出された特徴に基づいて、複数の置換用オブジェクトの中から撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択部１８と、オブジェクト選択部１８によって選択された置換用オブジェクトによって撮像画像に含まれる人物オブジェクトを置換した画像を生成する画像出力情報作成部１９とを備える。
【選択図】図１

Description

本発明は、情報機器、その制御方法及びプログラムに係り、特に、撮像画像と予め登録されている画像とを合成して表示可能な情報機器、その制御方法及びプログラムに関する。

情報化社会を迎えた現在においては、ＩＴ技術やユビキタスコンピューティングが広く展開されつつある。携帯可能なモバイル機器や着用可能なウェアラブル機器として、ヘッドマウントディスプレイ（以下、ＨＭＤ）と呼ばれる表示装置を備えるものがある。ＨＭＤの１つの方式として、両眼の前方に仮想的な表示面を有し、例えば液晶表示装置等の画像形成装置を用いて画像を形成し、その画像を光学系によって仮想的な表示面に投影する。このようなＨＭＤでは、表示画像の彩度を向上させる為に外部から迷光が入らないようにした密閉タイプが採用されている。

ＨＭＤの他の方式としては、透過型又は半透過型のグラス（眼鏡）タイプの表示装置も開発されている。このようなＨＭＤでは、透明又は半透明な部材を眼鏡のように両眼の前に配置し、そこに比較的小さな画像を投影して現実画像に合成する。グラスタイプのＨＭＤは、密閉タイプのＨＭＤとは異なり、一般的に、目の前に広がる現実画像を主とし、それに合成される画像を補助とするものである。

また、ＨＭＤに撮像カメラを搭載した機器や、ＨＭＤにオーディオ機能を搭載した機器がある。ＨＭＤで現実画像（リアル画像）と仮想画像（バーチャル画像）とを合成すると、それは良く知られたＭＲ（ミックスリアリティ）画像となる。

撮像カメラで撮像した現実画像からＣＧ（Computer Graphics）画像を作成するために、モーションキャプチャと呼ばれる手法が有る（特許文献１、２）。

コンピュータゲーム機には、スタンドアローン形式のゲーム機の他、ネットワークを介して相互接続して使用されるゲーム機がある。複数人が参加可能なゲーム機の一形態として、ＭＲゲーム機がある。

また、複数人が参加可能なシステムとして、会議システムや会話システム等がある。
特開2000-331190号公報 特開平09-128567号公報（特許第3331285号公報）

撮像カメラによって撮像されるような現実画像中に存在する人物オブジェクトをＣＧ画像等によって置換する際に、どのようなＣＧ画像によって置換するかを手入力によって指定する方法では、ＣＧ画像の選択のために長時間を要するし、煩わしい作業をユーザに強いることになる。上記の特許文献１、２は、このような新規な課題を想定したものではない。

本発明は、上記のような新規な課題の創出に基づいてなされたものであり、例えば、撮像画像中の人物オブジェクトを置換するための置換用オブジェクトを迅速に、しかも、ユーザに煩わしい作業を強いることなく決定することを目的とする。

本発明の第１の側面は、撮像された画像と予め登録されている画像とを合成して表示可能な情報機器に係り、該情報機器は、撮像部と、前記撮像部による撮像画像に含まれる人物の特徴を抽出する特徴抽出部と、複数の置換用画像を格納した格納部と、前記特徴抽出部によって抽出された特徴に基づいて、前記格納部に格納された複数の置換用オブジェクトの中から前記撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択部と、前記オブジェクト選択部によって選択された置換用オブジェクトによって前記撮像画像に含まれる人物オブジェクトを置換する置換部とを備える。

本発明の好適な実施形態によれば、前記特徴抽出部が抽出する特徴は、人物の寸法に関する特徴を含みうる。ここで、前記特徴抽出部は、例えば、前記撮像画像中における人物オブジェクトの寸法と、当該情報機器と人物との間の距離とに基づいて、寸法に関する人物の特徴を抽出することができる。人物の寸法に関する特徴には、例えば、人物の身長、人物の肩幅、人物の胸部の厚さ等が含まれうる。

本発明の好適な実施形態に拠れば、前記情報機器は、マイクを更に備えることができ、前記特徴抽出部は、前記マイクによって検出される音情報に基づいて人物の声に関する特徴を抽出するように構成されうる。

本発明の好適な実施形態によれば、前記情報機器は、スピーカを更に備えることができる。前記オブジェクト選択部によって選択された置換用オブジェクトには音情報が対応付けられてもよく、この場合、前記置換用オブジェクトに対応付けられた音情報に基づいて前記スピーカから音を出力することができる。

本発明の好適な実施形態によれば、前記情報機器は、ヘッドマウントディスプレイとして構成されうる。

本発明の第２の側面は、撮像された画像と予め登録されている画像とを合成して表示可能な情報機器の制御方法に係り、該方法は、撮像画像に含まれる人物の特徴を抽出する特徴抽出工程と、前記特徴抽出工程で抽出された特徴に基づいて、予め登録されている複数の置換用オブジェクトの中から前記撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択工程と、前記オブジェクト選択工程で選択された置換用オブジェクトによって前記撮像画像に含まれる人物オブジェクトを置換する置換工程とを含む。

本発明の第３の側面は、撮像された画像と予め登録されている画像とを合成して表示可能な情報機器を制御するプログラムに係り、該プログラムは、撮像画像に含まれる人物の特徴を抽出する特徴抽出工程と、前記特徴抽出工程で抽出された特徴に基づいて、予め登録されている複数の置換用オブジェクトの中から前記撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択工程と、前記オブジェクト選択工程で選択された置換用オブジェクトによって前記撮像画像に含まれる人物オブジェクトを置換する置換工程とを含む。

本発明によれば、例えば、撮像画像中の人物オブジェクトを置換するための置換用オブジェクトを迅速に、しかも、ユーザに煩わしい作業を強いることなく決定することができる。

以下、添付図面を参照しながら本発明の好適な実施形態を説明する。

［第１実施形態］
図７は、本発明の好適な実施形態の情報機器１００の外観構成を模式的に示す図である。情報機器１００は、ＨＭＤ（ヘッドマウントディスプレイ）として、又は、ＨＭＤを有する装置として構成されうる。この実施形態では、情報機器１００は、概ね眼鏡形状に構成され、使用者の両目の前に配置される本体部９１と、両耳に掛けるための２つのツル９２とを有する。

本体部９１は、２つのツル９２の根元を連結する連結部９３と、２つの光学系９７とを有する。２つの光学系９７は、使用者の２つの目の前に配置されるように構成されている。２つのツル９２には、イヤホン９８が配置されている。

連結部９３には、ＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子を有する撮像カメラ（画像情報を入力する入力部）９４、ステレオマイク９５が備えられている。撮像カメラ９４としては、例えば、口径１／２程度のＳＸＧＡカラーカメラなどが好適である。連結部９３には、表示装置（例えば、ＬＣＤ）９６が内蔵されており、表示装置９６の表示面に形成された画像は、光学系９７によって網膜上に投影される。光学系９７は、例えば、２ｍ先の仮想画面において大きさ５２型（半径０．６６ｍ）の視野を形成する。光学系９７によって網膜上に形成される画像の中心は、撮像カメラ９４の光軸に一致する。

連結部９３には、更に、情報機器１００と人物等の被写体との間の距離、より正確には、撮像カメラ９４の視野内の中央部等の所定領域に存在する物体までの距離を検出する測距部９９が設けられている。距離の検出は、例えば、超音波を用いてなされうる。

図１は、図７に示す情報機器１００の電気回路の構成を示すブロック図である。撮像カメラ９４によって撮像される動画を構成するフレーム画像によって、フレームメモリ１２内のフレーム画像が順次更新される。

画像処理部１３は、フレームメモリ１２中に格納される撮像画像（撮像カメラ９４によって撮像された画像）から人物オブジェクト（人物の画像部分）を抽出するオブジェクト抽出部を含む。人物オブジェクトは、例えば、撮像画像中から予め設定された人物テンプレートにマッチングする部分を抽出することによって抽出されうる。或いは、人物オブジェクトは、撮像画像中において動きを有する部分を抽出することによっても抽出されうる。動きを有する部分は、例えば、動画を構成する複数のフレームを比較することによって抽出されうる。或いは、人物オブジェクトは、人物の背景を特定の色としておき、該特定の色以外を抽出することによっても抽出されうる。或いは、人物オブジェクトは、情報機器１００を装着している人物の当該情報機器１００を撮像画像中から抽出し、当該情報機器１００のオブジェクトが存在する部分を人物の頭部として特定し、該頭部と共に移動するオブジェクトを抽出ことによっても抽出されうる。或いは、人物オブジェクトは、人物の頭部、手、脚、腰等の特定の部分にマークを付しておき、該マーク及びそれと共に移動するオブジェクトを抽出することによっても抽出されうる。

特徴抽出部１４は、画像処理部１３のオブジェクト抽出部によって抽出された人物オブジェクトから人物の特徴を抽出する。人物の特徴には、例えば、性別、身長、肩幅、胸板の厚さ（胸部の厚さ）、衣服の色、衣服の種類等が含まれうる。なお、これらの全ての情報を抽出することができる可能性は低いので、抽出不能な情報については「不明」として抽出結果が出力される。

性別は、例えば、人物の毛髪の形状等を抽出することによって推定することができる。毛髪の位置は、例えば、毛髪の色や頭部の位置等から推定することができる。

身長、肩幅、胸板（胸部）の厚さ等の身体的な特徴については、物理的な寸法としての抽出が可能である。物理的な寸法は、撮像画像中における人物オブジェクトの高さ寸法、その高さ寸法と身体の各構成部の一般的な比率とに基づいて推定される肩部における幅寸法、胸部の厚さ寸法（例えば、人物に回転してもらいながら撮像を行い、胸部の最小値を胸部の厚さ寸法として推定することができる）等の情報と、測距部９９によって検出される距離（情報機器から人物までの距離）とに基づいて推定することができる。

衣服の色は、例えば、人物オブジェクトの特定部分の色を識別することによって抽出することができる。

衣服の種類は、例えば、下半身部を構成する部分の形状、上半身部を構成する部分の形状、頭部付近の物体の有無等に基づいて、例えば、パンツ／スカートの別、長袖／半袖の別、帽子の有無等として推定することができる。

特徴リスト部１５は、例えば、図１０に例示的に示すような特徴リスト１５Ｌを格納している。特徴抽出部１４は、特徴リスト部１５に格納されている特徴リスト１５Ｌとの対比が可能な情報を人物の特徴として抽出する。なお、識別が不能な項目については、特徴抽出部１４は、前述のように「不明」として処理される。

特徴比較部１６は、特徴抽出回路１４によって抽出された特徴を特徴リスト部１５に格納されている特徴リスト１５Ｌと比較して、人物オブジェクトをその特徴に基づいて分類する。この例では、特徴リスト１５Ｌは、性別として３種類、身長、肩幅、胸板、衣服の色、衣服の種類としてそれぞれ８種類を含むので、人物の分類数は、３×８^５＝９８３０４である。

置換用オブジェクト部（置換用オブジェクト格納部）１７には、抽出された人物オブジェクトを置換するための複数の置換用オブジェクトが登録されている。置換用オブジェクト部１７には、例えば、前述の分類数（９８３０４）に対応する置換用オブジェクトが登録されている。或いは、置換用オブジェクト部１７には、前述の分類数より少ない個数の置換用オブジェクトを登録しておき、必要に応じて、登録されている置換用オブジェクトを修正（例えば、色の変更、形状の変更等）して、特徴比較部１６で分類された人物オブジェクトに対応する置換用オブジェクトを生成してもよい。

置換用オブジェクトは、典型的には、コンピュータグラフィクス（ＣＧ）で作成されうる。置換用オブジェクトとしては、第１実施形態では、モンスターの画像が採用され、各置換用オブジェクトにその価値を表す固有の値αが付されている。

オブジェクト選択部１８は、特徴比較部１６によって分類された人物オブジェクトに対応する置換用オブジェクト（この例では、モンスターの画像）を選択する。

画像出力情報作成部（置換部）１９は、撮像画像（現実画像）のうち画像処理部１３のオブジェクト抽出部で抽出された人物オブジェクトをオブジェクト選択部１８によって選択された置換用オブジェクトで置換した画像を生成し、その画像を表示装置９６に表示させる。

置換用オブジェクトによる人物オブジェクトの置換は、例えばモーションキャプチャ技術を利用してなされうる。モーションキャプチャ技術によれば、抽出された人物オブジェクトの頭、両肩、両手、足の付け根（腰）、足先をそれぞれ検出して、その人物オブジェクトの各々の部位に対して置換用オブジェクト（モンスターオブジェクト）の対応する部位を貼り付けることができる。その際、置換用オブジェクト（モンスターオブジェクト）の画像は、各々の部位が占める位置に応じて適宜伸縮・変形されうる。

表示装置９６は、画像出力情報作成部１９から提供される撮像画像（現実画像）とＣＧ画像との合成画像（ＭＲ画像）を表示する。これにより、情報機器１００の装着者は、撮像カメラ９４で撮像された現実画像のうち人物オブジェクトが置換用オブジェクト（モンスターオブジェクト）によって置換された画像を観ることができる。

以下、上記のような置換技術をシューティングゲームに適用した例を説明する。図４は、シューティングゲームプログラムの流れを示すフローチャートであり、このプログラムは、メモリ２２中に格納され、ＣＰＵ２１によって実行されうる。

ステップＳ１４１では、パラメータＰＴを”０”に初期化する。ＰＴは、モモンスターのシューティングに成功した場合にプレイヤー（情報機器１００の装着者）与えられるポイント数である。なお、このゲームは、ＰＴが所定値Ｎを越えた場合に終了する。

ステップＳ１４２では、画像出力情報作成部１９によって、撮像カメラ９４による撮像画像（又は、撮像画像中の人物オブジェクトを置換用オブジェクト（モンスターオブジェクト）で置換した画像）にＰＴ値を合成し、表示装置９６に表示させる。

ステップＳ１４３では、画像処理部１３のオブジェクト抽出部によって撮像画像中の人物オブジェクトを抽出し、特徴抽出部１４によって人物オブジェクトの特徴を抽出し、特徴比較部１６によってその人物オブジェクトを分類し、オブジェクト選択部１８によってその分類に適合した置換用オブジェクト（モンスターオブジェクト）を選択し、画像出力情報作成部１９によって人物オブジェクトを選択された置換用オブジェクトで置換し、表示装置１９に表示する。なお、撮像画像中に人物オブジェクトが存在しない場合には、置換用オブジェクトによる置換はなされず、現実画像にＰＴ値を合成した画像が表示装置９６に表示される。

ステップＳ１４４では、置換用オブジェクトとしてのモンスター画像によって置換されている人物オブジェクトのシューティングに成功したか否かが判定される。この例では、図９に例示的に示すような表示装置９６の表示画面１１１内の所定領域（典型的には中央領域）１１２内にモンスターオブジェクト１１３が所定時間以上入った場合に、シューティングが成功したと判断されうる。

シューティングに成功したと判断されると、ステップＳ１４５において、ＰＴ値にαを加算してステップＳ１４６に進み、そうでない場合は、直接ステップＳ１４７に進む。

ステップＳ１４６では、ＰＴ値が終了条件である所定値Ｎを越えたか否かを判定し、越えた場合にはステップＳ１４７に進んで、表示装置９６にゲームの終了を表示し、越えていない場合にはステップＳ１４２に戻る。すなわち、ＰＴ値がＮを越えるまで、ステップＳ１４２〜Ｓ１４６の処理が繰り返されて、表示装置９６の表示が逐次更新され、プレイヤーに対して、人物オブジェクトがモンスター画像で置換された合成画像がリアルタイムに提供される。

置換用オブジェクトは、モンスター画像に限られず、他のキャラクタの画像であってもよいし、人物や動物等の画像であってもよいし、他の画像であってもよい。

また、人物オブジェクト以外のオブジェクトを抽出して、それを対応する置換用オブジェクトで置換してもよい。

また、シューティングは、撮像カメラの視野の特定領域に対象（人物或いはモンスター）を捉えることに限られず、ＬＥＤ銃などによってなされてもよい。

この実施形態によれば、撮像画像中の人物オブジェクトをその特徴に基づいて他の置換用オブジェクトによって置換することができるので、情報機器１００の使用者に対して、人物の特徴を反映した置換用オブジェクトを提供することができる。また、情報機器１００の使用者（例えば、ゲームのプレイヤー）は、置換用オブジェクトを選択するための情報を手入力することなく迅速かつ容易に置換用オブジェクトを選択することができる。

［第２実施形態］
図２は、図７に示す情報機器１００の電気回路の第２構成例を示すブロック図である。すなわち、この実施形態の情報機器１００は、第１実施形態と同様の外観構成を有しうる。

マイク９５は、音情報（声情報）を取り込む。音処理部６３は、マイク９５によって取り込まれた音情報を周波数分解して、例えば、所定の周波数帯域における音量（強度）を音に関する人物オブジェクトとして抽出する。

嗅覚器６２は、特定の臭い、例えば香水の匂い、煙草の臭い、アルコールの臭いなどの臭い情報を検出する。

特徴抽出部１４は、第１実施形態で述べたように画像処理部１３から提供される画像に関する人物オブジェクトから人物の特徴を抽出する他、音声処理部６３から提供される音情報、嗅覚器１３から提供される臭い情報から人物の特徴を抽出する。抽出される特徴には、人物の視覚的特徴（画像に現れる特徴）の他、声の高低、臭いなどの特徴が含まれうる。

特徴リスト部１６には、第１実施形態で述べたような視覚的な特徴の他、声及び臭いに関する特徴のリストが格納されている。

置換用オブジェクト部１７は、画像、音（声）、臭いによって分類される人物オブジェクトを置換するための複数の置換用オブジェクトが登録（格納）されている。各置換用オブジェクトは、例えば、抽出された人物オブジェクトを置換する画像オブジェクト（典型的にはＣＧ画像）を含み、画像オブジェクトには音情報が対応付けられている。

オブジェクト選択部１８は、特徴比較部１６によって分類された人物オブジェクトに対応する置換用オブジェクトを選択する。

画像出力情報作成部１９は、撮像画像（現実画像）のうち画像処理部１３のオブジェクト抽出部で抽出された人物オブジェクトをオブジェクト選択部１８によって選択された置換用オブジェクトで置換した画像を生成し、その画像を表示装置９６に表示させる。

音出力情報作成部６９は、オブジェクト選択部１８によって選択された置換用オブジェクトに対応付けられている音情報をイヤホン（スピーカ）９６に出力する。なお、音出力情報作成部６９は、マイク９５で検出された音情報をオブジェクト選択部１８によって選択された置換用オブジェクトに対応付けられている音情報で置換してイヤホン９６に出力してもよい。

以下、上記のような置換技術をアドベンチャーゲームに適用した例を説明する。図５は、アドベンチャーゲームの流れを示すフローチャートであり、このプログラムは、メモリ２２中に格納され、ＣＰＵ２１によって実行されうる。

ステップＳ１５１では、プレイヤー自身が情報機器１００の撮像カメラ９４の視野内に入って声を発することにより、情報機器１００の特徴抽出部１４にプレイヤー（人物）の特徴（視覚的な特徴、音（声）の特徴、臭いの特徴）を抽出させる。情報機器１００は、特徴比較部１６によって人物を分類し、オブジェクト選択部１８によって置換用オブジェクトを選択する。

ステップＳ１５２では、プレイヤーを置換用オブジェクトで表したキャラクタを主人公とする宝探しゲームを開始する。ゲームが開始されると、画像出力情報作成部１９によってゲーム中の主人公（プレイヤーによって操作されるキャラクタ）の画像が生成されるとともに音出力情報作成回路６９によって当該主人公の音情報（声）が生成され、表示装置９６及びイヤホン９６によって再生される。

ステップＳ１５３では、宝が見つかったか否かを判定しながら、宝が見つかるまでゲームが続行される。

なお、人物から得る情報は、視覚的情報（画像）、声（音）、臭いの他、体温、心拍数、発汗量等を含んでもよい。

［第３実施形態］
図３は、図７に示す情報機器１００の電気回路の第２構成例を示すブロック図である。すなわち、この実施形態の情報機器１００は、第１実施形態と同様の外観構成を有しうる。この実施形態の情報機器１００は、通信部８３を有し、他の情報機器との通信が可能に構成されている。また、情報機器１００は、操作部８４を有し、これを操作することによって置換用オブジェクトを選択することができる。

以下、上記のような置換技術を対戦ゲームに適用した例を説明する。図６は、対戦ゲームの流れを示すフローチャートであり、このプログラムは、メモリ２２中に格納され、ＣＰＵ２１によって実行されうる。

ステップＳ１６０では、対戦者を置換する置換用オブジェクトを決定する。この決定は、情報機器１００の撮像カメラ９４で対戦者を撮像することによってなされる。具体的には、対戦者を撮像カメラ９４で撮像し、特徴抽出部１４によって人物オブジェクトの特徴を抽出し、特徴比較部１６によってその人物オブジェクトを分類し、オブジェクト選択部１８によってその分類に適合した置換用オブジェクト（モンスターオブジェクト）を選択する。

この際、プレイヤーは、操作部８４を操作することによって、対戦相手を置換するための置換用オブジェクトを自身の好みの置換用オブジェクトに変更することができる。オブジェクト選択部７８は、特徴比較部１６によって特定される置換用オブジェクトの識別子を他の置換用オブジェクトの識別子に変更するための変更情報を登録することができ、特徴比較部１６によって置換用オブジェクトが特定される都度（すなわち、人物オブジェクトの分類が特定される都度）、その特定された置換用オブジェクトの識別子を変更情報に基づいて他の置換用オブジェクトの識別子に変更し、変更後の識別子に従って置換用オブジェクト部１７に登録されている複数の置換用オブジェクトの中から１つの置換用オブジェクトを特定し、その特定した置換用オブジェクトによって人物オブジェクトを置換することができる。

ステップＳ１６１では、ＰＴＯ値及びＰＴＥ値をＮに初期化する。ここで、ＰＴＯ値は、プレイヤー自身のヒットポイント（生命力）であり、ＰＴＯ値が０になった時点でそのプレイヤーが負けとしてゲームが終了する。ＰＴＥ値は、対戦相手のヒットポイントであり、対戦相手のＰＴＥ値が０になった時点でその対戦相手が負けとしてゲームが終了する。ゲームの開始時には、両プレイヤーが同じヒットポイントＮを持っている。

ステップＳ１６２では、画像出力情報作成部１９によって、撮像カメラ９４による撮像画像（又は、撮像画像中の人物オブジェクトを置換用オブジェクト（選択されたキャラクタの画像）で置換した画像）にＰＴＯ値及びＰＴＥ値を合成し、表示装置９６に表示させる。

ステップＳ１６３では、図９に示す所定領域（典型的には中央領域）１１２に入っているオブジェクトを検出する。なお、そのオブジェクトが対戦相手の人物オブジェクトである場合には、ステップＳ１６１で決定された置換用オブジェクトによって置換されて表示部９６に表示される。

ステップＳ１６４では、表示装置９６の表示画面１１１の所定領域１１２内に対戦者の置換用オブジェクトであるか否かを判定する。所定領域１１２内に対戦者の置換用オブジェクトである場合には、対戦者がシューティングされたものと看做して、ステップＳ１６５で、ＰＴＥ値からαを減じる。

ステップＳ１６６では、対戦者の情報機器１００から自身のヒットポイントＰＴＯ値（対戦者の情報機器１００では、ＰＴＥ値）を受信する。

ステップＳ１６７では、ＰＴＯ値が０より大きいか否かが判定され、ＰＴＯが０よりも大きければ、ステップＳ１６９において、ＰＴＥ値が０より大きいか否かが判定され、ＰＴＯ値＞０かつＰＴＥ値＞０であれば（ステップＳ１６９でＹｅｓ）、両者ともヒットポイントを有しているので、ステップＳ１６２に処理を戻してゲームが続行される。一方、ＰＴＯ値＞０かつＰＴＥ値＝０であれば（ステップＳ１６９でＮｏ）、勝ちとなる。

ステップＳ１６７において、ＰＴＯ値が０であれば、ステップＳ１６８において、ＰＴＥ値が０であるか否かが判定される。ＰＴＯ値＝ＰＴＥ値＝０であれば（ステップＳ１６８でＮｏ）、引き分けとなる。ＰＴＯ値＝０かるＰＴＥ値＞０であれば（ステップＳ１６８でＹｅｓ）であれば、負けとなる。

［第４実施形態］
図７に示す情報機器１００はシースルータイプのＨＭＤとして構成されうる。この場合において、図８に示すように、表示装置９６によって現実空間に合成する画像の領域を現実の視野１０１の一部の領域１０２に制限することが好ましい。表示装置９６によって領域１０２に表示する画像の明るさは、その周囲の現実の視野１０１における明るさに一致させることが好ましい。このように現実の視野１０１の一部にのみ表示装置９６による表示領域を配置することにより、表示領域の視野を小さくすることができるため、表示装置９６の画素数が小さい場合においても画素密度を高めることができ、現実感を向上させることができる。

第１実施形態の情報機器の電気回路の構成を示すブロック図である。 第２実施形態の情報機器の電気回路の構成を示すブロック図である。 第２実施形態の情報機器の電気回路の構成を示すブロック図である。 シューティングゲームプログラム（第１実施形態の適用例）の流れを示すフローチャートである。 アドベンチャーゲーム（第２実施形態の適用例）の流れを示すフローチャートである。 対戦ゲーム（第３実施形態の適用例）の流れを示すフローチャートである。 本発明の好適な実施形態の情報機器の外観構成を模式的に示す図である。 表示装置の視野を示す図である。 表示装置の表示例を示す図である。 特徴リストの一例を示す図である。

Claims (11)

1. 撮像された画像と予め登録されている画像とを合成して表示可能な情報機器であって、
   撮像部と、
   前記撮像部による撮像画像に含まれる人物の特徴を抽出する特徴抽出部と、
   複数の置換用画像を格納した格納部と、
   前記特徴抽出部によって抽出された特徴に基づいて、前記格納部に格納された複数の置換用オブジェクトの中から前記撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択部と、
   前記オブジェクト選択部によって選択された置換用オブジェクトによって前記撮像画像に含まれる人物オブジェクトを置換する置換部と、
   を備えることを特徴とする情報機器。
2. 前記特徴抽出部が抽出する特徴は、人物の寸法に関する特徴を含むことを特徴とする請求項１に記載の情報機器。
3. 前記特徴抽出部は、前記撮像画像中における人物オブジェクトの寸法と、当該情報機器と人物との間の距離とに基づいて、寸法に関する人物の特徴を抽出することを特徴とする請求項２に記載の情報機器。
4. 前記特徴抽出部が抽出する特徴は、人物の身長を含むことを特徴とする請求項２又は請求項３に記載の情報機器。
5. 前記特徴抽出部が抽出する特徴は、人物の肩幅を含むことを特徴とする請求項２乃至請求項４のいずれか１項に記載の情報機器。
6. 前記特徴抽出部が抽出する特徴は、人物の胸部の厚さを含むことを特徴とする請求項２乃至請求項４のいずれか１項に記載の情報機器。
7. マイクを更に備え、前記特徴抽出部は、前記マイクによって検出される音情報に基づいて人物の声に関する特徴を抽出することを特徴とする請求項１乃至請求項６のいずれか１項に記載の情報機器。
8. スピーカを更に備え、
   前記オブジェクト選択部によって選択された置換用オブジェクトには音情報が対応付けられており、前記置換用オブジェクトに対応付けられた音情報に基づいて前記スピーカから音を出力することを特徴とする請求項１乃至請求項７のいずれか１項に記載の情報機器。
9. ヘッドマウントディスプレイとして構成されていることを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報機器。
10. 撮像された画像と予め登録されている画像とを合成して表示可能な情報機器の制御方法であって、
    撮像画像に含まれる人物の特徴を抽出する特徴抽出工程と、
    前記特徴抽出工程で抽出された特徴に基づいて、予め登録されている複数の置換用オブジェクトの中から前記撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択工程と、
    前記オブジェクト選択工程で選択された置換用オブジェクトによって前記撮像画像に含まれる人物オブジェクトを置換する置換工程と、
    を含むことを特徴とする情報機器の制御方法。
11. 撮像された画像と予め登録されている画像とを合成して表示可能な情報機器を制御するプログラムであって、
    撮像画像に含まれる人物の特徴を抽出する特徴抽出工程と、
    前記特徴抽出工程で抽出された特徴に基づいて、予め登録されている複数の置換用オブジェクトの中から前記撮像画像に含まれる人物オブジェクトを置換するための置換用オブジェクトを選択するオブジェクト選択工程と、
    前記オブジェクト選択工程で選択された置換用オブジェクトによって前記撮像画像に含まれる人物オブジェクトを置換する置換工程と、
    を含むことを特徴とするプログラム。

Images