JP2010233672A - プログラム、情報記憶媒体及び電子機器 - Google Patents

Abstract

【課題】撮影画像の中から顔とみなせる像である容顔像を判定して楽しむゲームを実現する。
【解決手段】ゲーム開始前にプレーヤが撮影した画像内から、人の顔に見える部分（容顔像）を抽出し、抽出した容顔像部分を画面上で強調表示してプレーヤに顔に見えるよ」と同意を示す。更に、容顔像部分から顔テクスチャデータを生成し、同データを頭部にテクスチャマッピングしたキャラクタ４を登場させるゲームを実行する。
【選択図】図３

Description

本発明は、コンピュータに所定のキャラクタを表示制御させてゲームを進行制御させるためのプログラム等に関する。

近年、撮像機能を備えた携帯型ゲーム装置で、アプリケーションソフトの起動時にアプリケーションソフト側から撮影機能を利用することのできるものが知られるところである（例えば、特許文献１参照）。
また、ゲーム用の３次元モデルに、撮影した画像からプレーヤの人体部分を切り出した画像をテクスチャマッピングしてプレーヤ自身がゲームの登場人物になったかのように見せる技術も知られるところである（例えば、特許文献２参照）。

特許第４１８１２１１号公報 特開平１１−３４３７号公報

ところで、カメラを持って歩くと、時折人の顔ではないのに人の顔のように見えてしまう風景に出会う。三ツ口のコンセントであれば差し込み口が左右の目と口に見えたり、自動車の正面像であればヘッドライトが左右の目に見えてナンバープレートやバンパーのラジエターグリルが口に見えたり、と言った具合である。

これは、人の顔ではないモノが特定の配置条件を満たすと人の顔に見えてしまう錯覚現象であり「シミュラクラ現象（類像現象）」と呼ばれる。街の風景に潜む人の顔に見えてしまうモノは時に「街顔」とも呼ばれ、撮影を趣味とする人々に限らず日々の生活の中でふと見つけることのできる楽しみの１つでもある。また、シミュラクラ現象は錯覚現象の１つであるから、撮影者自身が本当に顔に見えるか不安になるところもあり、他人からの同意を得てみたいと思うものである。

前述のように撮影機能を搭載した電子機器、特に携帯型ゲーム装置が普及するようになったので、この「街顔」を見つける楽しさをゲームに利用できたならば、きっと新たな楽しさを得られるであろう。
本発明は、撮影画像の中から顔とみなせる像である容顔像を判定して楽しむゲームを実現することを目的とする。

以上の課題を解決するための第１の発明は、デジタル式の撮影部（例えば、図１のイメージセンサモジュール１４３０）を備えたコンピュータに、撮影画像の中から顔とみなせる像である容顔像が写っているか否かを判定させ、その判定結果を興趣の１つとして楽しむゲームを実行させるためのプログラムであって、
撮影画像の中から特異部分（例えば、図４のパーツ候補特異部分４２〜４５、パーツ候補特異部分５２及び５４）を抽出する抽出手段（例えば、図９の処理部２００、ゲーム演算部２１０、容顔像抽出部２１４、同色領域抽出部２１６、パーツ候補特異部分選別部２１８、図１２のステップＳ６、図１３のステップＳ５０〜Ｓ６０）、
前記特異部分の配置構成が所定の顔パーツ配置構成条件を満たすかを判定する判定手段（例えば、図９の処理部２００、ゲーム演算部２１０、容顔像抽出部２１４、顔パーツ選択部２２０、図１０の顔辞書データライブラリ５１０、図１２のステップＳ６、図１３のステップＳ１２０〜Ｓ１３４）、
前記判定手段により満たすと判定された場合に、前記撮影画像の中に容顔像が写っている旨を提示する提示手段（例えば、図９の処理部２００、ゲーム演算部２１０、顔輪郭線提示制御部２３２、画像表示部３６０、図１２のステップＳ１２、Ｓ２０、Ｓ２２）、として前記コンピュータを機能させるためのプログラムである。

また、別形態としてデジタル式の撮影部を備え、撮影画像の中から顔とみなせる像である容顔像が写っているか否かを判定して、その判定結果を興趣の１つとして楽しむゲームを実行可能な電子機器（例えば、図１の携帯型ゲーム装置１４００、図１７の携帯電話機１４００Ｂ）であって、撮影画像の中から特異部分を抽出する抽出手段と、前記特異部分の配置構成が所定の顔パーツ配置構成条件を満たすかを判定する判定手段と、前記判定手段により満たすと判定された場合に、前記撮影画像の中に容顔像が写っている旨を提示する提示手段と、を備えた電子機器である。

第１の発明によれば、電子機器が備える撮像部でプレーヤが「顔に見えるかな」と思うところを撮影してもらい、撮影した画像の中から容顔像が写っているか否かを判定し、プレーヤに「確かに顔に見えるよ」と同意を見せることができる。そして、判定結果を興趣の１つとするゲームを実現できる。

第２の発明は、前記提示手段が、前記判定手段により満たすと判定された場合に、前記容顔像の輪郭を前記撮影画像中に表示制御する輪郭表示制御手段（例えば、図９の処理部２００、ゲーム演算部２１０、顔輪郭線提示制御部２３２、図１２のステップＳ１２）を有するように前記コンピュータを機能させるための第１の発明のプログラムである。

第２の発明によれば、第１の発明と同様の効果を奏するとともに、プレーヤ自身が撮影した画像中に、顔に見えると判定された部分を強調表示することができるので、プレーヤへの提示をより直接的で明確なものにできる。また、画面全体における容顔像部分の配置や大きさの感覚をプレーヤに知ってもらうことで、次の撮影でどのように画面構成して撮影すると良いかを考えてもらうきっかけを作ることができる。

第３の発明は、前記判定手段が、前記抽出手段により抽出された特異部分の中から、顔パーツとする特異部分の組合せを選出する組合せ選出手段（例えば、図９の処理部２００、ゲーム演算部２１０、容顔像抽出部２１４、図１３のステップＳ１２０〜Ｓ１２４）と、
前記選出手段により選出された各組合せについて、当該組合せの特異部分の配置構成と所定の顔パーツ配置構成基準との類似度を算出する類似度算出手段（例えば、図９の処理部２００、ゲーム演算部２１０、容顔像抽出部２１４、顔パーツ選択部２２０、図１３のステップＳ１２６）と、を有し、前記類似度算出手段により算出された類似度が所定の閾値条件を満たす組合せを、前記顔パーツ配置構成条件を満たすと判定するように前記コンピュータを機能させるための第１又は第２の発明のプログラムである。

第３の発明によれば、第１又は第２の発明と同様の効果を奏するとともに、顔パーツとする特異部分の組合せのうち、予め用意されている基準との類似度が閾値条件を満たすか否かで容顔像の有無の判定ができる。

第４の発明は、組合せ選出手段が、前記抽出手段により抽出された特異部分の中から、目パーツとする特異部分を選択する第１選択手段（例えば、図９の処理部２００、ゲーム演算部２１０、容顔像抽出部２１４、図１３のステップＳ１２２）と、
前記第１選択手段により選択された目パーツとする特異部分との位置関係から、鼻パーツ及び／又は口パーツとする特異部分を選択する第２選択手段（例えば、図９の処理部２００、ゲーム演算部２１０、容顔像抽出部２１４、図１３のステップＳ１２４）と、を有し、前記第１選択手段及び前記第２選択手段により選択された特異部分を１つの組合せとするように前記コンピュータを機能させるための第３の発明のプログラムである。

第４の発明によれば、第３の発明と同様の効果を奏するとともに、組合せを選出する段階から、シミュラクラ現象を起こす相対位置関係を考慮して組み合わせを構成する特異部分を選択できるので、演算負荷を低減することができる。

第５の発明は、前記顔パーツ配置構成基準には複数種類の基準が含まれ、前記類似度算出手段が、当該組合せの特異部分の配置構成と、前記複数種類の顔パーツ配置構成基準それぞれとの類似度を算出するように前記コンピュータを機能させ、
前記類似度算出手段により算出された前記複数種類の顔パーツ配置構成基準それぞれに対する類似度に基づいて、前記撮影画像の中に写っている容顔像を評価する容顔像評価手段（例えば、図９の処理部２００、ゲーム演算部２１０、図１２のステップＳ１６〜Ｓ２０）として前記コンピュータを機能させ、
前記提示手段が、前記容顔像評価手段による評価結果を提示するように前記コンピュータを機能させるための第３又は第４の発明のプログラムである。

第５の発明によれば、第３又は第４の発明と同様の効果を奏するとともに、撮影画像の中に写っている容顔像が基準となる顔にどれだけ似ているかに基づく評価を提示するこができるので、よりゲームの興趣が高められる。

第６の発明は、前記顔パーツ配置構成基準には、顔パーツの配置、大きさ、形状及び色のうちの少なくとも配置の基準が含まれており、
前記容顔像評価手段が、前記複数種類の顔パーツ配置構成基準それぞれに対する類似度に基づいて、各顔パーツ配置構成基準に対応付けられている評語の中から所定数の評語を選択することで容顔像を評価する評語選択手段（例えば、図９の処理部２００、ゲーム演算部２１０、図１０の評語５１０ｃ、図１２のステップＳ１６〜Ｓ２０）を有するように前記コンピュータを機能させるための第５の発明のプログラムである。

第６の発明によれば、第５の発明と同様の効果を奏するとともに、基準となる顔の評語を類似度に基づいて選択し提示することで、分かりやすく面白い評価を実現できる。

第７の発明によれば、前記判定手段により満たすと判定された場合に、前記容顔像の部分を顔とするキャラクタモデルを生成するキャラクタ生成手段（例えば、図９の処理部２００、ゲーム演算部２１０、キャラクタ生成部２３４、図１２のステップＳ２２）として前記コンピュータを機能させるための第１〜第６の何れかの発明のプログラムである。

第７の発明によれば、第１〜第６の発明の何れかと同様の効果を奏するとともに、容顔像を顔とするキャラクタを登場させたゲームを実現できる。

第８の発明は、前記判定手段により満たすと判定された場合に、前記容顔像の部分を顔とするキャラクタモデルを生成するキャラクタ生成手段、
前記キャラクタモデルの所定のパラメータ値を、前記類似度算出手段により算出された類似度に基づいて設定するパラメータ値設定手段（例えば、図９の処理部２００、ゲーム演算部２１０、顔種類判定部２３０、会話シナリオデータライブラリ５１６、図１２のステップＳ２４）、として前記コンピュータを機能させるための第３〜第６の何れかの発明のプログラムである。

第８の発明によれば、第３〜第６の発明の何れかと同様の効果を奏するとともに、容顔像を顔とするキャラクタを登場させたゲームを実現できる。そして、基準となる顔に対する似ている度合いに応じて、そのキャラクタのゲーム内で使用するパラメータ値を設定することができる。よって、ゲームの興趣をより高めることができる。
尚、ここで言う「パラメータ値」は、例えば格闘ゲームやＲＰＧにおける技、攻撃力、移動能力、防御力、初期ヒットポイントといったパラメータ値や、育成ゲームにおける好みのエサの種類やそれを食したときに得られる能力種類、会話できる台詞の内容など、ゲーム内にてキャラクタが発揮する能力を設定するデータを言う。

第９の発明は、第１〜第８の何れかの発明のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。ここで言う「情報記憶媒体」とは、例えば磁気ディスクや光学ディスク、ＩＣメモリなどを含む。第９の発明によれば、第１〜第８の何れか一つの発明のプログラムをコンピュータに読み取らせて実行させることによって、コンピュータに第１〜第８の何れか一つの発明と同様の効果を発揮させることができる。

携帯型ゲーム装置のシステム構成例を示す図。 ゲームで使用する画像の撮影時に表示される画面表示例を示す図。 ゲームプレイ中の画面表示例を示す図。 撮影されたオリジナル２次元画像から容顔像を抽出するまでの各過程において得られる画像の概略図。 撮影されたオリジナル２次元画像から容顔像を抽出するまでの各過程において得られる画像の概略図。 撮影されたオリジナル２次元画像から容顔像を抽出するまでの各過程において得られる画像の概略図。 顔種類と、各顔種類に対応づけられた会話シナリオデータとの関係例を示す図。 顔種類を判定するための特徴値の例を示す概念図。 携帯型ゲーム装置の機能構成例を示す機能ブロック図。 顔辞書データライブラリのデータ構成例を示す図。 会話シナリオデータライブラリのデータ構成例を示す図。 実施形態における主たる処理の流れを説明するためのフローチャート。 容顔像抽出処理の流れを説明するためのフローチャート。 図１３より続くフローチャート。 パーツ候補特異部分選別処理の流れを説明するためのフローチャート。 優先順位設定処理の流れを説明するためのフローチャート。 本発明を適用した電子機器の変形例のシステム構成例を示す外観図。 ゲームで使用する画像の撮影時に表示される画面表示の変形例を示す図。 容顔像抽出処理の変形例における処理の流れを説明するためのフローチャート。

本発明を適用した実施形態として、デジタルカメラ機能をアプリケーションソフトから呼び出して利用することのできる電子機器である携帯型ゲーム装置において、会話ゲームを実行する例を説明する。

［ゲーム装置の構成］
図１は、携帯型ゲーム装置の構成例を説明するための外観図である。本実施形態における携帯型ゲーム装置１４００は、方向入力キー１４０２及びボタンスイッチ１４０４と、第１液晶ディスプレイ１４０６と、第２液晶ディスプレイ１４０８と、スピーカ１４１０と、制御ユニット１４５０とを、ヒンジ１４１４で開閉自在な折り畳み型の装置本体１４０１に備えている。
そして、第１液晶ディスプレイ１４０６及び第２液晶ディスプレイ１４０８の表示面上には、スタイラスペン１４１６などで触れることによって表示画面の任意位置を接触入力することのできるタッチパネル１４０７、１４０９がそれぞれ装着されている。

また、装置本体１４０１には、コンピュータ読み出し可能な情報記憶媒体であるメモリカード１４４０にデータを読み書きできるメモリカード読取装置１４１８が備えられている。メモリカード１４４０には、携帯型ゲーム装置１４００の制御ユニット１４５０がゲームプレイに係る各種演算処理を実行するために必要なプログラムや各種設定データが記憶されている。またその他、装置本体１４０１には図示されていない内臓バッテリーや電源ボタン、音量調節ボタン等が設けられている。

タッチパネル１４０７、１４０９は、表示画面を遮蔽することなくそれぞれ第１液晶ディスプレイ１４０６及び第２液晶ディスプレイ１４０８の表示画面のほぼ全域を被い、プレーヤがスタイラスペン１４１６（或いは指など）で触れる接触操作を行うと、左上を原点とする直交Ｘｔ，Ｙｔ軸座標系における接触位置座標を制御ユニット１４５０へ出力することができる。

制御ユニット１４５０は、ゲーム装置の制御基板に相当し、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＡＳＩＣ(Application Specific Integrated Circuit)、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリを搭載する。
また、制御ユニット１４５０は、無線通信モジュール１４１２や、３軸加速度センサ１４２２、第１液晶ディスプレイ１４０６及び第２液晶ディスプレイ１４０８のドライバ回路、タッチパネル１４０７及びタッチパネル１４０９のドライバ回路、方向入力キー１４０２及びボタンスイッチ１４０４からの信号を受信する回路、スピーカ１４１０へ音声信号を出力するためのアンプ回路、メモリカード読取装置１４１８への信号入出力回路といった所謂Ｉ／Ｆ回路（インターフェース回路）を搭載する。これら制御ユニット１４５０に搭載されている各要素は、それぞれバス回路を介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。

３軸加速度センサ１４２２は、携帯型ゲーム装置１４００の姿勢変化や位置変化を検出するために直交するＸ軸・Ｙ軸・Ｚ軸の３軸方向の加速度を検出し、検出信号を制御ユニット１４５０へ出力する。尚、加速度センサの代わり、又は更なる機能追加としてジャイロセンサを備える構成としても良い。或いは地磁気を基準として位置や姿勢変化を検出する磁気センサを更に機能追加してもよい。

そして制御ユニット１４５０は、メモリカード読取装置１４１８によってメモリカード１４４０に格納されているプログラムやデータを読み出して、搭載するＩＣメモリにこれらを一時記憶する。そして、読み出したプログラムを実行して演算処理を実行し、方向入力キー１４０２やボタンスイッチ１４０４、タッチパネル１４０７及び１４０９からの操作入力に応じて携帯型ゲーム装置１４００の各部を制御して、会話ゲームを実行する。

尚、本実施形態では、携帯型ゲーム装置１４００は必要なプログラムや各種設定データをメモリカード１４４０から読み出す構成としているが、無線通信モジュール１４１２を介して、インターネットやＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などの有線／無線の通信回線１に接続して外部の装置からダウンロードする構成としても良い。

また、携帯型ゲーム装置１４００は、装置本体１４０１の外面にデジタル式の撮影部の一種であるイメージセンサモジュール１４３０を搭載している。そして、ボタンスイッチ１４０４の所定スイッチにシャッター等の機能割り当て、第１液晶ディスプレイ１４０６或いは第２液晶ディスプレイ１４０８にライブビュー表示をすることで、公知のライブビューファインダー型のデジタルカメラと同様に、ユーザが任意の撮影対象を撮影し、デジタルイメージデータをメモリカード１４４０等に記憶することができる。こうしたデジタルカメラ機能は、携帯型ゲーム装置１４００の基本システムに予め組み込まれており、アプリケーションソフトから適宜機能を呼び出して利用することができる。

［ゲームの概要］
本実施形態では、ゲームを開始するに当って先ず会話ゲームに登場するキャラクタの顔の素材となる画像をプレーヤに撮影・取得してもらう。
例えば、図２に示すように、第２液晶ディスプレイ１４０８に撮影を促すメッセージと、ボタンスイッチ１４０４への機能割り当てを通知する撮影操作ガイドとを含む撮影操作画面Ｗ２を表示させる。そして、携帯型ゲーム装置１４００のデジタルカメラ機能を読み出し、第１液晶ディスプレイ１４０６に今現在イメージセンサモジュール１４３０で検出中のイメージ、所謂ライブビュー画像Ｗ４を略リアルタイムに表示させて、ライブビューファインダーとして機能させる。
図２の例では、ライブビュー画像Ｗ４には電車の正面像が写されている。また、菱形配置されたボタンスイッチ１４０４の下側のスイッチがシャッター、同スイッチと右端のスイッチを同時押しで撮影を終了するように操作が割り振られている。

プレーヤが、イメージセンサモジュール１４３０を所望する撮影対象に向けてフレーミングしシャッター操作をすると、公知のデジタルカメラと同様に所定フォーマットの２次元画像データが生成され、同２次元画像データがメモリカード１４４０の所定フォルダ内に格納される。キャラクタの顔素材として使用する画像の撮影は、プレーヤの希望により単数でも複数でも良い。以下、本明細書ではこうして撮影された画像を「オリジナル２次元画像」と称する。

尚、オリジナル２次元画像の取得方法は、撮影に限るものではなく、メモリカード１４４０に記憶されているデータやフォルダを指定して取得したり、無線通信モジュール１４１２を介して外部記憶装置からダウンロードして取得するとしても良い。

オリジナル２次元画像が取得できたならば、オリジナル２次元画像から、顔のように見える部分（以下、「容顔像」とも言う。）を抽出し、会話ゲームに登場するキャラクタの顔テクスチャとして切り出す。そして、図３に示すように第１液晶ディスプレイ１４０６に顔テクスチャ４ａを頭部に適用したキャラクタ４を登場させたゲーム画面Ｗ６を表示させ、第２液晶ディスプレイ１４０８に操作入力画面Ｗ８を表示させる。

ゲーム画面Ｗ６では、人型のベースキャラクタモデル４ｂの頭部に顔テクスチャ４ａが適用されたキャラクタ４が、画面の向こうからプレーヤに向けて話しかけてくる。キャラクタ４の台詞は吹き出し表示６内でテキスト表示される。また、本実施形態では、容顔像を予め用意されている顔辞書データと照合し、その適合度に応じた評語８と成分表示１０とが対応づけて表示される。

操作入力画面Ｗ８では、キャラクタ４との会話に応じるプレーヤの台詞の選択肢１２が選択可能に表示される。プレーヤは、方向入力キー１４０２の上下方向操作、或いはスタイラスペン１４１６によるタッチ操作によって何れかの選択肢１２を選択操作する。そして、所定のボタンスイッチ１４０４を押すか、画面内に表示される選択決定ボタン表示１４をタッチ操作してゲームを進行させる。

［顔テクスチャの抽出原理の説明］
次に、顔テクスチャの抽出原理について説明する。
顔テクスチャの抽出は、画像から人の顔のように見える部分（容顔像）を見つけることである。本実施形態では、オリジナル２次元画像内から顔のパーツ候補となる特異部分を抽出し、特異部分のなかからシミュラクラ現象（類像現象）を誘発し得る左右の目、口、鼻のパーツを選択する。

特異部分を抽出するためには、先ず、制御ユニット１４５０はオリジナル２次元画像から類似色の範囲を１つの領域としてまとめた同色領域を抽出する。例えば、色情報のビット数を下げることで画像表示中に使用される色数を意図的に減らし、減らされた色情報に基づいて隣接する類似色の画素をひと纏まりの領域（同色領域）として抽出する。そして、各同色領域毎に輪郭線抽出処理を実行する。これによって、例えば図４（１）に示すような画像Ｗ１０が得られる。

画像Ｗ１０の例は、図２のライブビュー画像Ｗ４を撮影したオリジナル２次元画像から抽出された各同色領域を囲う閉輪郭線を示した例である。類似色の塊に着目することで、電車の表面に施されている配線や配管、溶接ラインなど単独では顔のパーツと認識し易い要素をより大きな部分に統合することができる。或いは、運転席の窓暗部のように光線状況によって生じる濃淡をそれぞれ単独のパーツとするのでなく、ひと纏まりのパーツとして認識できる。

次に、抽出された閉輪郭線に囲まれた同色領域の中から、所定サイズ条件を満たすものを抽出して、残ったモノをパーツ候補特異部分として登録する。これによって、画像の全体サイズから見て、目や口、鼻のパーツとして大き過ぎたり小さ過ぎるものを実質的に除く。更に、登録されているパーツ候補特異部分の中から、例えば抽出窓枠の中に嵌っているガラスや、照明装置のフレームに嵌っている照明装置の様に入れ子構造になっている部分を抽出しそれらを統合する。具体的には、入れ子構造の親側、より外郭側の輪郭を有するパーツ候補特異部分を残して、内側のパーツ候補特異部分の登録を解除する。またその他、三眼以上の複眼顔とならないように同サイズ同形状で横並びに３つ上並んだパーツ候補特異部分を除外する。

これによって、例えば図４（１）の画像Ｗ１０から図４（２）に示すような画像Ｗ１２が得られる。両者を比較すると、画像Ｗ１２では画面の全体サイズに対して小さいパーツ候補特異部分（例えば、画像Ｗ１０の符合２０〜２９を付与した部分など）と、運転席の窓部分等で入れ子構造を成していたパーツ候補特異部分（例えば、画像Ｗ１０の符合３０〜３２を付与した部分など）が除外されている。

次に、画像Ｗ１２において、内側に他のパーツ候補特異部分を内包する最外郭の輪郭線を有するパーツ候補特異部分を抽出し、これを顔の輪郭線候補と判断して登録を解除する。これによって、例えば図４（２）の画像Ｗ１２から図４（３）に示すような画像Ｗ１４が得られる。両者を比較すると、パーツ候補特異部分４２〜４５を内包するパーツ候補特異部分４０と、パーツ候補特異部分５２，５４を内包するパーツ候補特異部分５０とがそれぞれ登録解除されている。この段階で登録に残っているのが、最終的なパーツ候補特異部分となる。

次に、制御ユニット１４５０は、残っているパーツ候補特異部分毎に代表点位置を算出する。そして、３つの代表点を組み合わせ、それらが逆三角形を成す相対位置関係を成しているかを判定する。例えば、図５（１）の画像Ｗ１６に示すように、組み合わされた３つの代表点が逆三角形を成す相対位置関係をしている場合、それらはシミュラクラ現象を誘発し得る要素、つまりは左右の目と口に見える組み合わせと判断することができる。よって、逆三角形の上部２点の代表点に対応するパーツ候補特異部分を左目パーツ及び右目パーツとして登録し、逆三角形下部の１点の代表点に対応するパーツ候補特異部分を口パーツとして登録する。

尚、本実施形態では、パーツ候補特異部分は大きさや形状種類別に基づいて、予め選択の優先順位が設定され、３つの代表点が逆三角形を成す組み合わせが複数存在する場合には、その優先順位の高いものが選択される。図５（１）の例では、口パーツに該当する２つのパーツ候補特異部分５２，５４が選択されているが、面積の大きいパーツ候補特異部分５２が選択されることになる。

次いで、制御ユニット１４５０は、左目／右目のパーツと口パーツとが選択されたならば、それらが成す逆三角形領域内に代表点が存在するパーツ候補特異部分を抽出して、これを鼻パーツとして登録する。ここでも、パーツ候補特異部分毎の優先順位は適用されるので、図５（１）の例では、鼻パーツに該当する２つのパーツ候補特異部分４４，４５が選択されているが、面積の大きいパーツ候補特異部分４４が選択される。

また、顔パーツが選択されたならば、制御ユニット１４５０は、左目／右目パーツ及び口パーツを内包した最外郭を成す閉領域を抽出し、顔輪郭線６０として登録する。

その結果、例えば図５（２）の画像Ｗ２０のように、シミュラクラ現象を誘発できる右目パーツ（パーツ候補特異部分４２）、左目パーツ（パーツ候補特異部分４３）、口パーツ（パーツ候補特異部分５２）と、顔輪郭線６０とが選択される。換言すると、顔輪郭線６０内には、シミュラクラ現象によって人の顔を連想させる情報があり、顔テクスチャに適当と判断される。

そして、本実施形態ではゲーム開始前に、例えば図５（３）の画面Ｗ２０に示すように、オリジナル２次元画像に顔輪郭線６０の強調表示６２をして、プレーヤにここに有るはずのない人の顔に見える部分（容顔像）が有る旨提示する。

図６は、顔テクスチャの抽出原理を別の画像例に適用した例を示す。
図６（１）のオリジナル２次元画像Ｗ２２は、パソコン背面に設けられた各種ジャックの挿入口を正面から撮影した例である。同画像からは、パソコンの筐体の閉輪郭線７０、７１の内側に、３つ並んだピンジャック差し込み口の閉輪郭線７２ａ，７２ｂ，７２ｃと、ピンジャック差し込み口を纏める取付プレートの閉輪郭線７３と、ＵＳＢ端子の差し込み口の輪郭線７４，７５と、電源ケーブルの差し込み口の閉輪郭線７６と、ビスの閉輪郭線７７とが抽出され得る。

しかし、前述のように顔パーツとするには小さい同色領域や、入れ子構造を成しているパーツ候補特異部分等を除くことで、例えば図６（２）の画面Ｗ２４に示すように、パソコンの筐体輪郭線に基づくパーツ候補特異部分８０と、ピンジャック差し込み口に基づくパーツ候補特異部分８２ａ，８２ｂ，８２ｃと、ＵＳＢ端子の差し込み口に基づくパーツ候補特異部分８４，８５と、電源ケーブルの差し込み口に基づくパーツ候補特異部分８６が残される。

更にここから、顔輪郭線候補としてパーツ候補特異部分８０と、同サイズ同形状で３箇所横並びに配置されたパーツ候補特異部分８２ａ，８２ｂ，８２ｃが除外されて、シミュラクラ現象に基づく顔パーツの識別が行われる。
その結果、例えば図６（３）の画面Ｗ２６に示すように、ＵＳＢ端子の差し込み口に基づくパーツ候補特異部分８４，８５を左目／右目パーツと認識し、電源ケーブルの差し込み口に基づくパーツ候補特異部分８６を口パーツとして認識し、パソコンの筐体輪郭線に基づくパーツ候補特異部分８０を顔輪郭線として認識することができる。顔輪郭線内が顔テクスチャとして選択されることとなる。

［会話シナリオデータの選択についての説明］
顔テクスチャが選択されたならば、会話ゲームで使用する会話シナリオデータを選択する。本実施形態では、図７に示すように、顔テクスチャから感じられる顔の感じ（顔種類）に応じて異なる内容の会話シナリオデータ５１６ａが予め対応づけられている。例えば、今回抽出された顔テクスチャの容顔像が子供っぽい顔を感じさせるものであれば子供らしい内容の会話、サングラスをしたスパイ顔ならばなにやら秘密めいた内容の会話、と言った具合である。用意する顔種類は適宜設定することができる。

顔種類の判定は、公知の顔に関する認識技術を適宜利用することができる。
本実施形態では、各顔パーツの形状や相対位置関係、サイズなどに基づく特徴値を算出し、顔辞書データで定義される顔パーツ基準構成条件と比較して顔種類毎の適合度を算出する。そして、最も適合度が高い顔種類が今回の顔テクスチャにマッチする顔種類と判断し、これに対応する会話シナリオデータ５１６ａを選択する。

特徴値としては、例えば図８に示すように、右目パーツと左目パーツの代表点の左右距離Ｌｅ、右目パーツ及び左目パーツの代表点と口パーツの代表点との上下距離Ｌｅｍ、顔輪郭線の上端から右目パーツと左目パーツの代表点までの距離Ｌｄ、口パーツの代表点から左目パーツの代表点までのベクトルＶｌｍ、口パーツの代表点から右目パーツの代表点までのベクトルＶｒｍ、及び各パーツ毎の幅や高さ、形状などが適宜利用できる。顔辞書パターンデータ及びパターン認識の方法は、利用する公知のパターン認識技術、特に顔認識技術を適宜利用することによって実現できる。

［機能ブロックの説明］
次に、上述のようなゲームを実行するための機能構成例について説明する。
図９は、本実施形態における機能構成の一例を示す機能ブロック図である。同図に示すように本実施形態では、操作入力部１００と、撮像部１１０と、処理部２００と、音出力部３５０と、画像表示部３６０と、通信部３７０と、記憶部５００とを備える。

操作入力部１００は、プレーヤによって為された各種の操作入力に応じて操作入力信号を処理部２００に出力する。本実施形態では、接触位置検出部１０２と、加速度検出部１０４とを含む。

操作入力部１００は、ボタンスイッチや、ジョイスティック、タッチパッド、トラックボール、２軸以上の検出軸を有する多軸検出型加速度センサ又は検出軸方向を違えて組み合わされた単軸検出型加速度センサユニット、少なくとも２方向以上の検出方向を可能にする多方向検出型傾斜センサまたは検出方向を違えて組み合わされた単方向検出型傾斜センサユニット、などによって実現できる。図１の方向入力キー１４０２やボタンスイッチ１４０４はこれに該当する。

接触位置検出部１０２は、表示画面範囲への接触位置を検出することのできるデバイスで実現される。図１のタッチパネル１４０７，１４０９がこれに該当する。
加速度検出部１０４は、図１の３軸加速度センサ１４２２が該当する。

撮像部１１０は、撮影対象からの光を受光して電気信号に変換し、デジタル画像データを生成し、処理部２００へ出力する。例えば、レンズ、メカシャッター、シャッタードライバ、ＣＣＤイメージセンサモジュールやＣＭＯＳイメージセンサモジュールといった光電変換素子、光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ）、ＩＣメモリなどで実現される。図１ではイメージセンサモジュール１４３０がこれに該当する。

処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＡＳＩＣ（特定用途向け集積回路）、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や記憶部５００を含む携帯型ゲーム装置１４００の各機能部との間でデータの入出力を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号に基づいて各種の演算処理を実行して、携帯型ゲーム装置１４００の動作を制御する。図１では制御ユニット１４５０がこれに該当する。そして本実施形態における処理部２００は、ゲーム演算部２１０と、音生成部２５０と、画像生成部２６０と、通信制御部２７０とを備える。

ゲーム演算部２１０は、ゲームの準備及び進行に関する各種処理を実行する。本実施形態では画像取得部２１２と、容顔像抽出部２１４と、顔種類判定部２３０と、顔輪郭線提示制御部２３２と、キャラクタ生成部２３４とを含む。容顔像抽出部２１４は更に、同色領域抽出部２１６と、パーツ候補特異部分選別部２１８と、顔パーツ選択部２２０と、強制顔輪郭生成部２２２とを含む。

画像取得部２１２は、キャラクタ４の頭部に適用する顔テクスチャデータ５３２を取得する素材となるオリジナル２次元画像の取得に関する処理を実行する。本実施形態では、撮影操作画面Ｗ２（図２参照）を画像表示部３６０に表示させてプレーヤに撮影を促すとともに、操作入力部１００にシャッター操作を割り当てる。そして、シャッター操作のタイミングで撮像部１１０で受光したイメージの画像データをオリジナル２次元画像として取得し、記憶部５００に撮影画像データ５２０として記憶させる。

尚、本実施形態では撮像部１１０による撮影で画像を取得する構成としているが、通信部３７０を介して外部装置から既存の画像データをダウンロードする機能を実現するとしても良い。或いは、記憶部５００に予め記憶されている既存の画像データを読み出し、プレーヤに選択させる機能を実現するとしても良い。

容顔像抽出部２１４は、画像取得部２１２で取得した画像から、人の顔ではないが人の顔に見える部分（容顔像部分）を抽出し、顔テクスチャデータ５３２を生成する。
そのために先ず、同色領域抽出部２１６が、画像取得部２１２で取得した画像から類似色が連続する部分を同色領域として抽出する。どこまでの色情報の差を同色とするかは、ゲーム制作者サイドで事前テストをふまえて適宜設定すると良い。本実施形態では、色画像取得部２１２で取得した画像の色数を強制的に下げ（例えば、３２ビットの色情報を８ビット程度に強制的に下げ）て、微細に色が違う部分を個別の小さな領域に分けてしまうことがないようにする。そして、抽出された同色領域を囲む閉輪郭線を算出し、記憶部５００の同色領域登録データ５２２として、同色領域を指定する情報と閉輪郭線の情報とを対応づけて記憶する。

パーツ候補特異部分選別部２１８は、同色領域から画面の全体サイズに対して顔のパーツとしては認識しにくいと判断される極端に小さい領域や大きい領域を除いたものを抽出し、それらの識別情報を記憶部５００のパーツ候補特異部分登録データ５２４として記憶する。

更にパーツ候補特異部分選別部２１８は、登録されたパーツ候補特異部分の中から、所定の入れ子構造条件を満たして配置されたパーツ候補特異部分を抽出して、入れ子構造内側に配置された方の特異部分の登録を解除する。ここで言う入れ子構造とは、ガラス窓の中に嵌るガラス部分、パイプを断面方向から見た場合のパイプの外側の輪郭線と内側の輪郭線の関係のように、両方のパーツ候補特異部分の輪郭線が両者を一纏まりのパーツとして（例えば、白目の中に黒目がある目のように）認識できる程度に近接していている状態を言う。輪郭線の近接を判定する基準値は、事前テストをふまえて適宜決定するものとする。

また、パーツ候補特異部分選別部２１８は、内側に他のパーツ候補特異部分を内包する輪郭線を有するパーツ候補特異部分であって、最外郭の輪郭線を有するパーツ候補特異部分を抽出する。そして、それらは目や口のパーツと言うより顔の輪郭線と見なすのが適当と判断して登録を解除する。更に、略同サイズ、且つ略同形状で３つ以上横並びのパーツ候補特異部分を抽出し、三眼以上の所謂複眼顔にならないようにそれらの登録を解除する。

顔パーツ選択部２２０は、パーツ候補特異部分選別部２１８によって選別され残ったパーツ候補特異部分の中から、シミュラクラ現象を誘発し得ると判断できる３つのパーツ候補特異部分を選択する。
そのためには、各パーツ候補特異部分毎に、大きさや形状、周囲の色との明度差などに基づいて、当該パーツ候補特異部分が目や口のパーツとして認識されやすいかを示す優先順位を設定する。そして、この優先順位を元にして順次３つのパーツ候補特異部分の組み合わせを生成する。各組合せそれぞれについて、当該組合せに含まれる３つのパーツ候補特異部分の代表点がシミュラクラ現象を誘発し得る逆三角形の相対位置関係を成しているかを判定し、成している場合には、それらの代表点に対応するパーツ候補特異部分を左目／右目のパーツ、口パーツとして認識し、記憶部５００の顔パーツ登録データ５３０に識別情報等を格納して登録する。

また、顔パーツ選択部２２０は、左目／右目のパーツ及び口パーツが選択されたならば、それらが形成する逆三角形の領域内に代表点が存在するパーツ候補特異部分を抽出し、それを鼻パーツとして認識し、顔パーツ登録データ５３０に登録する。該当するパーツ候補特異部分が複数有る場合には、先に設定した優先順位の高いものを選択する。

また、顔パーツ選択部２２０は、同色領域抽出部２１６によって抽出された同色領域の閉輪郭線の中から、選択された左目／右目のパーツ及び口パーツを内包する単独の閉輪郭線が抽出される場合に、これを記憶部５００の顔パーツ登録データ５３０の顔輪郭線データ５３０ｅとして登録する。或いは、左目／右目のパーツを内包するが口パーツを内包しない第１の閉輪郭線と、左目／右目のパーツを内包しないが口パーツを内包する第２の閉輪郭線とが輪郭線を接して隣接する場合に、それらを統合して顔輪郭線データ５３０ｅとして登録する。ここで言う統合とは、第１の閉輪郭線に囲まれる同色領域と、第２の閉領域に囲まれる同色領域を合わせた領域の外周を囲む閉輪郭線を生成すること、或いはこれに準ずることを言う。

強制顔輪郭生成部２２２は、同色領域抽出部２１６によって抽出された同色領域の閉輪郭線の中から、選択された左目／右目のパーツ及び口パーツを内包する単独の閉輪郭線が無い場合、及び輪郭線を接して隣接する第１の閉輪郭線と第２の閉輪郭線とが存在しない場合に（つまり顔の輪郭線になるような閉輪郭線が無い場合に）、左目／右目のパーツ及び口パーツを内包する閉輪郭線を強制的に生成し、これを顔パーツ登録データ５３０の顔輪郭線データ５３０ｅとして登録する。

顔種類判定部２３０は、左目／右目のパーツ、口パーツ、鼻パーツ、及び顔輪郭線で構成される今回の顔が記憶部５００の顔辞書データライブラリ５１０で定義されている複数の顔種類のどれにどの程度似ているか類似度を算出する。

顔輪郭線提示制御部２３２は、顔パーツ選択部２２０で選択された顔輪郭線、或いは強制顔輪郭生成部２２２で生成された顔輪郭線を、画像取得部２１２で取得した画像上に表示させて、プレーヤに「ここが顔に見えるよ」と提示する。

キャラクタ生成部２３４は、記憶部５００に予め記憶されているキャラクタベースモデルデータ５１４に、容顔像抽出部２１４によってオリジナル２次元画像から生成された顔テクスチャデータ５３２を適用してキャラクタ４を生成する。

音生成部２５０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、音声合成ＩＣなどのプロセッサや、音声ファイル再生可能なオーディオコーデックによって実現され、ゲーム演算部２１０による処理結果に基づいてゲームに係る効果音やＢＧＭ、各種操作音の音信号を生成し、音出力部３５０に出力する。

音出力部３５０は、音生成部２５０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図１ではスピーカ１４１０がこれに該当する。

画像生成部２６０は、例えば、ＧＰＵ（Graphics Processing Unit）、デジタルシグナルプロセッサ（ＤＳＰ）などのプロセッサ、ビデオ信号ＩＣ、ビデオコーデックなどのプログラム、フレームバッファ等の描画フレーム用ＩＣメモリ等によって実現される。画像生成部２６０は、ゲーム演算部２１０による処理結果に基づいて１フレーム時間（例えば１／６０秒）で１枚のゲーム画像を生成し、生成したゲーム画像の画像信号を画像表示部３６０に出力する。

画像表示部３６０は、画像生成部２６０から入力される画像信号に基づいて各種ゲーム画像を表示する。例えば、フラットパネルディスプレイ、ブラウン管（ＣＲＴ）、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。図１では第１液晶ディスプレイ１４０６及び第２液晶ディスプレイ１４０８がこれに該当する。

通信制御部２７０は、データ通信に係るデータ処理を実行し、通信部３７０を介して外部装置とのデータのやりとりを実現する。

通信部３７０は、通信回線１と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図１の無線通信モジュール１４１２がこれに該当する。

記憶部５００は、処理部２００に携帯型ゲーム装置１４００を統合的に制御させるための諸機能を実現するためのシステムプログラムや、ゲームを実行させるために必要なゲームプログラム、各種データ等を記憶する。また、処理部２００の作業領域として用いられ、処理部２００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図１では制御ユニット１４５０が搭載するＩＣメモリやメモリカード１４４０がこれに該当する。

本実施形態では、記憶部５００はシステムプログラム５０１と、ゲームプログラム５０２とを記憶している。システムプログラム５０１は、携帯型ゲーム装置１４００の基本機能を実現するいわゆる組込システムを実現するためのプログラムであり、各機能部をアプリケーションソフト側で呼び出して利用可能な各種ファームウェアを含む。例えば、撮像部１１０を利用したデジタルカメラ機能などが実現される。ゲームプログラム５０２は、処理部２００が読み出して実行することによってゲーム演算部２１０としての機能を実現させるためのアプリケーションソフトである。

また、記憶部５００には、予め用意されるデータとして、顔辞書データライブラリ５１０と、キャラクタベースモデルデータ５１４と、会話シナリオデータライブラリ５１６と、が記憶されている。
更にゲームの準備や進行に伴って随時生成や更新が行われるデータとして、撮影画像データ５２０と、同色領域登録データ５２２と、パーツ候補特異部分登録データ５２４と、顔パーツ登録データ５３０と、顔テクスチャデータ５３２とを記憶する。
また、ゲームの進行に係る処理を実行するにあたり必要となるデータ（例えば、タイマー値やカウンタ）なども適宜記憶されるものとする。

顔辞書データライブラリ５１０は、複数の顔種類について顔のパーツとなる特異部分の配置構成を定義する顔パーツ配置構成基準に関する情報を格納する。
例えば図１０に示すように、顔辞書データライブラリ５１０は、顔種類別に用意された複数の顔辞書データ５１０ａを含む。１つの顔辞書データ５１０ａには、顔種類５１０ｂと、評語５１０ｃと、顔パーツ配置構成条件５１０ｄと、が含まれる。
顔パーツ配置構成条件５１０ｄには、シミュラクラ現象の元になる特異部分の逆三角形配置を示す基準逆三角形５１０ｆ（より具体的は、例えば図形や３つの頂点データ）や、顔種類判定部２３０で算出される特徴値と比較される基準特徴値５１０ｇといった情報が含まれる。画像パターンマッチングによる判定のテンプレートとなる基準画像５１０ｈを含む構成としても良い。

キャラクタベースモデルデータ５１４は、キャラクタ４のポリゴンモデル、頭部を除くその他の部位のテクスチャデータ、モーションデータなどを含む。尚、本実施形態では、キャラクタベースモデルデータ５１４は１つのみであるが、顔種類に対応づけて複数の異なるデザインのモデルを用意する構成としても良いのは勿論である。

会話シナリオデータライブラリ５１６は、顔種類別に用意された複数の会話シナリオデータ５１６ａを含む。１つの会話シナリオデータ５１６ａは、適用される顔種類を定義する適用顔種類５１６ｂと、台詞ＩＤ５１６ｃと対応づけられたキャラクタ台詞５１６ｄ（キャラクタ４の話す台詞に相当）と、会話選択肢ＩＤ５１６ｅと対応づけられた会話選択肢台詞５１６ｆ（プレーヤが選択する選択肢の台詞に相当）と、会話分岐設定データ５１６ｇとを含む。

会話分岐設定データ５１６ｇには、吹き出し表示６（図３参照）で表示されるキャラクタ台詞の台詞ＩＤ５１６ｃと、その時に操作入力画面Ｗ８の選択肢１２で表示される会話選択肢台詞の会話選択肢ＩＤ５１６ｅとの対応付け情報が含まれている。そして、会話選択肢台詞ＩＤ５１６ｅには、それがプレーヤに選択されたときに次に表示される台詞ＩＤ５１６ｃとの対応付け情報が格納されている。

［処理の流れの説明］
次に、本実施形態における処理の流れについて説明する。ここで説明する一連の処理の流れは、処理部２００がゲームプログラム５０２を読み出して実行することによって実現される。

図１２は、主たる処理の流れを説明するためのフローチャートである。処理部２００は先ず、オリジナル２次元画像を取得するために、第１液晶ディスプレイ１４０６にイメージセンサモジュール１４３０で撮影中のライブビュー画像Ｗ４を表示させるとともに、第２液晶ディスプレイ１４０８に操作画面Ｗ２を表示させてプレーヤに撮影を要求する（ステップＳ２；図２参照）。そして、プレーヤが所定の撮影手順に従って撮影操作したのを検知したならば、処理部２００は撮影処理を実行し、撮影した画像を記憶部５００に撮影画像データ５２０として記憶させる（ステップＳ４）。

尚、通信部３７０を介して外部装置から既存の画像データを取得する構成とする場合には、ステップＳ２〜Ｓ４に代えて、所定の外部装置との接続ステップと、同外部装置に記憶されている既存の画像データの中からプレーヤに取得する画像を選択させるステップと、選択された画像をダウンロードして撮影画像データ５２０として記憶するステップに置き換えれば良い。或いは、そもそも記憶部５００に撮影画像データ５２０が記憶されているならば、それらの中からプレーヤに取得する画像を選択させるステップに置き換えれば良い

さて、本実施形態において撮影処理を実行したならば、処理部２００は容顔像抽出処理を実行する（ステップＳ６）。
図１３〜図１４は、容顔像抽出処理の流れを説明するためのフローチャートである。同処理では先ず、処理部２００は撮影画像データ５２０のオリジナル２次元画像を読み出し、色情報のビット数を現状より下げた画像を生成し（ステップＳ５０）、生成した画像から同色領域を抽出し（ステップＳ５２）、抽出した同色領域毎に当該領域を囲繞する閉輪郭線を算出して、記憶部５００に同色領域登録データ５２２を記憶する（ステップＳ５４）。

次いで、処理部２００はパーツ候補特異部分選別処理を実行する（ステップＳ６０）
図１５は、パーツ候補特異部分選別処理の流れを説明するためのフローチャートである。同処理では先ず、処理部２００はステップＳ５２で抽出した同色領域毎に面積と代表点（例えば重心）座標とを求める（ステップＳ６２）。そして、画面の全体サイズ対して所定の顔パーツサイズ条件を満たす同色領域を抽出し、それらを記憶部５００のパーツ候補特異部分登録データ５２４に登録する（ステップＳ６４）。顔パーツサイズ条件によって、シミュラクラ現象を成す顔のパーツとしては画面に対して小さ過ぎたり大き過ぎるものを除外することができる。

次に処理部２００は、所定の入れ子構造条件を満たして配置されたパーツ候補特異部分を抽出し（ステップＳ６６）、当該入れ子構造内側のパーツ候補特異部分の登録を解除して、入れ子構造外側のパーツ候補特異部分を残す（ステップＳ６８）。

次いで処理部２００は、領域内に他のパーツ候補特異部分を内包する閉輪郭線で、最も外側の輪郭線（最外郭輪郭線）を有するパーツ候補特異部分を抽出し、これを顔輪郭線候補とみなして登録を解除する（ステップＳ７０）。

更に次いで処理部２００は、略同サイズ且つ同形状で３つ以上が横並びしているパーツ候補特異部分を抽出し、それらの登録を解除して、三眼以上の複眼と見えてしまう要素を除外して（ステップＳ７２）、パーツ候補特異部分選別処理を終了する。

図１３のフローチャートに戻って、処理部２００は次に優先順位設定処理を実行する（ステップＳ９０）。
図１６は、優先順位設定処理の流れを説明するためのフローチャートである。同処理では先ず、処理部２００はパーツ候補特異部分をそのサイズ順にソートし（ステップＳ９２）、サイズが大きい方から順に高得点となるようにサイズポイントを付与する（ステップＳ９４）。

次に、パーツ候補特異部分毎に形状を判定し（ステップＳ９６）、その形状に応じて所定順に高得点となるように形状ポイントを付与する（ステップＳ９８）。例えば、本実施形態では、円、楕円、角丸長方形、半円、５角形以上の多角形（円・楕円等を除く）、矩形、三角形、その他の８区分に形状を判定し、円、楕円・角丸長方形、半円、多角形、矩形、三角形、その他の順に、高得点となるように形状ポイントを付与する。勿論、判定される形状種類は適宜設定することができる。また、形状判定処理は、公知技術を適宜利用可能である。

次に処理部２００は、パーツ候補特異部分毎に、当該部分の色情報に基づいて明度と周囲の明度との明度差を算出し（ステップＳ１００）、算出した明度差が大きい程高得点となるように明度差ポイントをそれぞれに付与する（ステップＳ１０２）。これによって、周囲と似たような色をした特異部分よりも、周囲から浮き立つように目立つ色の特異部分の方が、顔のパーツとして認識されやすいといった状態を優先順に反映させることができる。

そして、処理部２００は各種のポイントをそれぞれ所定の重み付けをして合算し、合算値が大きい方から優先度が高くなる優先順位を決定し（ステップＳ１０４）、優先順設定処理を終了する。

尚、優先順設定に係るポイントの設定はこれらに限らす、適宜追加・省略することができる。例えば特異部分の色情報に基づくポイントとしては、明度差に限らず、周囲との色相関係に応じて対象色ほど高得点となるように色相ポイントを追加付与する構成とすることができる。また、略同サイズ・同形状の他のパーツ候補特異部分が存在する場合には、それらは左右の目のパーツとして認識され易くなるので、特別にポイントを追加するとしても良い。

優先順位設定処理を実行したならば、図１３のフローチャートに戻って、処理部２００はループＡの処理を実行して、シミュラクラ現象を誘発する３つのパーツ候補特異部分を選択する（ステップＳ１２０〜Ｓ１３４）。

具体的には、優先順設定処理で設定された優先順位上位から順にパーツ候補特異部分の代表点を第１頂点候補として選択する（ステップＳ１２０）。第１頂点候補は、シミュラクラ現象を誘発する逆三角形配置の上部２頂点の内の一方を想定している。
次いで、第１頂点候補としたパーツ候補特異部分とは別に、優先順位上位のパーツ候補特異部分の代表点を第２頂点候補（シミュラクラ現象を誘発する逆三角形配置の上部２頂点の内の他方を想定）として選択する（ステップＳ１２２）。更に第１頂点候補及び第２頂点候補とした二つのパーツ候補特異部分とは別で、それらよりも下方に位置して優先順位上位のパーツ候補特異部分の代表点を第３頂点候補として選択して（ステップＳ１２４）、判定対象とする３つのパーツ候補特異部分の判定組を決定する。

そして、顔辞書データライブラリ５１０の顔辞書データ５１０ａを参照して、第１頂点候補〜第３頂点候補の相対位置と、各顔辞書データ５１０ａで定義される基準逆三角形５１０ｆとの類似度を算出し（ステップＳ１２６）、算出された類似度の内最大類似度と所定の閾値を比較する（ステップＳ１２８）。

閾値を超えている場合には（ステップＳ１２８のＹＥＳ）、当該の判定組の３つの頂点候補は、シミュラクラ現象を誘発する画面下向きに凸の逆三角形配置を形成していると判断できる。尚、ここで言う「逆三角形」は底辺が所定基準より傾かず（望むらくはできるだけ水平に近い底辺）、且つ内角が鈍角を含まない形状とする。

もし、判定対象とする３つのパーツ候補特異部分の組の第１頂点候補〜第３頂点候補の相対位置が逆三角形を形成していなくて（ステップＳ１２８のＮＯ）、且つ、第１頂点候補及び第２頂点候補とした二つのパーツ候補特異部分以外のパーツ候補特異部分を全て第３頂点候補として選択済みでなければ（ステップＳ１３０のＮＯ）、ステップＳ１２４に戻って、第３頂点候補として未選択のパーツ候補特異部分の中からを優先順が次位の新たな第３頂点候補のパーツ候補特異部分を選択して、判定対象とする３つのパーツ候補特異部分の組を変更する。

もし、第１頂点候補及び第２頂点候補とした２つのパーツ候補特異部分以外のパーツ候補特異部分を全て第３頂点候補として選択済みで有るが（ステップＳ１３０のＹＥＳ）、第１頂点候補としたパーツ候補特異部分を除いた全てのパーツ候補特異部分が、既に第２頂点候補として選択されていなければ（ステップＳ１３２のＮＯ）、ステップＳ１２２に戻って、第２頂点候補として未選択のパーツ候補特異部分の中から優先順位が次位のパーツ候補特異部分を新たな第２頂点候補として選択する。

つまり、ループＡによって、優先順位の高い方から３つのパーツ候補特異部分の組を順々に作成し、逆三角形の相対位置関係を成しているかを次々に判定する。
逆三角形の相対位置関係を成しているパーツ候補特異部分の組が選択されなければ、処理部２００はそのまま容顔像抽出処理を終了する。

一方、シミュラクラ現象を引き起こし得る逆三角形の相対位置関係を成しているパーツ候補特異部分の判定組が選択されれば途中でもループＡを抜け（ステップＳ１２８のＹＥＳ）、処理部２００は逆三角形の上部２頂点に当る第１頂点候補及び第２頂点候補のパーツ候補特異部分を右目パーツデータ５３０ａ、左目パーツデータ５３０ｂとして登録し（図１４；ステップＳ１３６）、逆三角形の下部頂点に当る第３頂点候補のパーツ候補特異部分を口パーツデータ５３０ｄとして登録する（ステップＳ１３８）。

そして次に、処理部２００は同色領域登録データ５２２を参照して、左目／右目パーツ及び口パーツを内包する単一の閉輪郭線を探索し、該当する閉輪郭線が存在すれば（ステップＳ１４０のＹＥＳ）、当該閉輪郭線を顔輪郭線データ５３０ｅとして登録する（ステップＳ１４４）。

左目／右目パーツ及び口パーツを内包する単一の閉輪郭線は存在しないが、左目／右目パーツを内包するが口パーツは内包しない第１の閉輪郭線と、左目／右目パーツを内包しないが口パーツは内包する第２の閉輪郭線とが存在する場合には（ステップＳ１４２のＹＥＳ）、これらを統合して顔輪郭線データ５３０ｅとして登録する（ステップＳ１４４）。

左目／右目パーツ及び口パーツを内包する単一の閉輪郭線も、第１の閉輪郭線及び第２の閉輪郭線に相当する閉輪郭線も探索されない場合には（ステップＳ１４２のＮＯ）、処理部２００は左目／右目パーツ及び口パーツを内包する閉輪郭線を自動生成し（ステップＳ１４６）、この生成した閉輪郭線を顔輪郭線データ５３０ｅとして登録する（ステップＳ１４８）。

顔輪郭線の登録ができたならば、処理部２００は次に、左目／右目パーツ及び口パーツの代表点を頂点とする逆三角形領域内に代表点が存在するパーツ候補特異部分を探索する。そして、該当する特異部分が存在すれば（ステップＳ１５０のＹＥＳ）、該当するパーツ候補特異部分の内、最も優先順位の高いパーツ候補特異部分を選択して鼻パーツデータ５３０ｃとして登録する（ステップＳ１５２）。そして、オリジナル２次元画像から顔輪郭線登録データ５３０ｅに登録されている顔輪郭線内の画像部分を切り出して顔テクスチャデータ５３２を生成し記憶部５００に記憶させ（ステップＳ１５４）、容顔像抽出処理を終了する。

容顔像抽出処理を終了したならば、図１２のフローチャートに戻って、処理部２００は次に左目／右目パーツ及び口パーツの登録を参照する（ステップＳ８）。左目／右目パーツ及び口パーツに該当するパーツ候補特異部分が登録されていなければ（ステップＳ８のＮＯ）、処理部２００は、第１液晶ディスプレイ１４０６に、無言会話のゲーム画面を表示させ（ステップＳ１０）、一連の処理を終了する。

ここで言う「無言会話のゲーム画面」とは、例えば顔テクスチャが適用されていないキャラクタベースモデル状態のままのキャクタ４を画面下手から登場させ、吹き出し表示６に「・・・・（無言の意）」のテキストを表示させることを言う。つまり、キャラクタ４の顔がのっぺらぼうで、キャラクタ４からは何も話しかけてこない、会話能力が「０」であるようにゲーム演出する。そして、プレーヤが何らかのゲーム進行操作をするとそのままゲーム終了とする。こうしたゲーム演出及び進行制御によって、撮影された画像からは顔に見える容顔像が発見できない旨を間接的にプレーヤに通知する。

一方、左目／右目パーツ及び口パーツに該当するパーツ候補特異部分が無事登録されているならば（ステップＳ８のＹＥＳ）、処理部２００は第１液晶ディスプレイ１４０６に顔輪郭線を強調表示したオリジナル２次元画像を一定時間表示させて、容顔像部分をプレーヤに提示する（ステップＳ１２；図５（３）参照）。そして、第１液晶ディスプレイ１４０６にゲーム画面Ｗ６の背景画像を表示する（ステップＳ１４）。

次いで、処理部２００は顔パーツ登録データ５３０を参照して顔種類を判定するための特徴値を算出し（ステップＳ１６）、算出した特徴値を顔辞書データ５１０ａと比較して顔種類別に類似度（或いは適合度）を算出し、上位３種類の類似度に対応する顔種類を選択する（ステップＳ１８）。そして、選択された顔種類の顔辞書データ５１０ａを参照して、第１液晶ディスプレイ１４０６に評語８と成分表示１０を表示させる（ステップＳ２０；図３参照）。尚、ステップＳ１８で新たに類似度を算出せず、ステップＳ１２６で算出された類似度を一時的に記憶部５００に記憶しておいて、それを参照する構成としても良い。

次に、処理部２００は容顔像抽出処理で生成された顔テクスチャデータ５３２を頭部に適用したキャラクタ４をゲーム画面Ｗ６内に登場させる（ステップＳ２２；図３参照）。例えば、画面下手より歩きながら登場するとしても良い。
そして、処理部２００は類似度が最も高い顔種類に対応する会話シナリオデータ５１６ａを選択して（ステップＳ２４）、選択した会話シナリオデータ５１６ａに基づいて会話ゲームを実行する（ステップＳ２６）。

以上、本実施形態によれば、プレーヤが「これは顔に見えないかな？」と思って撮影した本来人の顔が写っていない画像から顔に見える容顔像を抽出し、容顔像部分をプレーヤに向けて提示することで「確かにここに顔が見えますよ」と同意することができる。プレーヤにとってみれば、自分の楽しい錯覚をあたかも他人にも認めてもらえたような嬉しさを感じることができる。

そして、抽出された容顔像を頭部のテクスチャとして適用したキャラクタを登場させるゲームを実現することができる。しかも、ゲームに登場するキャラクタは容顔像を顔のテクスチャとするだけでなく、顔の感じ（顔種類）に応じた能力（本実施形態では会話能力）を有するように構成されている。

プレーヤは、携帯型ゲーム装置１４００を持って街に出て、なにげなく見つけた「顔にみえる何か」を撮影し、キャラクタにして遊んでみると顔の見た感じに応じた会話を楽しめる。それはあたかも街に潜む精霊を見つけて会話を楽しむような従来に無い感覚である。

〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明の適用可能な実施形態がこの構成に限定されるものではなく、適宜、構成要素の追加・省略・変更を施すことができる。

例えば、ゲームを実行する電子機器は、“ゲーム装置”として販売されている電子機器に限らず、アプリケーションソフトが実行可能な携帯電話機やコンパクトデジタルカメラ、音楽プレーヤ、パソコンと言った電子機器も、ゲームプログラムを実行することでゲーム装置として機能するため、本発明を実現する電子機器とすることができる。

例えば、図１７に示す電子機器は、アプリケーションソフトを実行可能な携帯電話機１４００Ｂである。携帯電話機１４００Ｂは、スピーカ１４１０と、マイクロフォン１４１１と、通話開始ボタン１４６２と、通話終了ボタン１４６４と、ダイヤルキー群１４６６と、無線通信アンテナ１４６８と、十字方向入力と決定操作入力が可能なマルチファンクションキー１４７０とを備える。携帯電話機１４００Ｂは、それ自体で無線通信を利用した無線電話として機能するとともに、メモリカード読取り装置１４１８によって着脱自在なメモリカード１４４０に記憶されているアプリケーションソフトを読み出して、電話機能とは別に実行することができる。上述した実施形態のゲームプログラム５０２の他、ゲームに必要なプログラム及びデータをアプリケーションソフトとして供給し実行させることで、上述した実施形態と同様の効果を奏することができる。

また、上記実施形態ではプレーヤに自由に撮影をさせているが、例えば図１８に示すように、ライブビュー画面Ｗ４に、画面に逆三角形を成すように配置された３つの領域を形成するガイド表示９０を表示させ、プレーヤが顔と感じる部分の目パーツ、口パーツがガイド表示９０で示された領域にそれぞれ入るように案内する構成としても良い。この場合、パーツ候補特異部分の元になる部分をゲーム制作者サイドが想定するサイズで撮影させることができるので、パーツ候補特異部分の選別や顔パーツの選択に関する処理において、本来プレーヤが感じていた顔のパーツが対象から外される可能性を低くすることができる。

また、上記実施形態では、パーツ候補特異部分の中から優先順位の上位から順に３つのパーツ候補特異部分の判定組を生成し、最初にシミュラクラ現象を引き起こし得る逆三角形の相対位置関係に適合した判定組が検知されたならば、容顔像有りと判断し、当該判定組を構成するパーツ候補特異部分を顔パーツと認定する構成としたが、容顔像の判定及び抽出方法これに限らない。

例えば、図１３〜１４の容顔像抽出処理に代えて、図１９に示す容顔像抽出処理Ｂを実行する構成に変更できる。容顔像抽出処理Ｂでは、処理部２００は、ステップＳ６０の後に優先順位を設定するステップを省略し、ステップＳ６０で選別されたパーツ候補特異部分から３つを選択した全ての組み合わせ（判定組）を生成し（ステップＳ１１０）、生成された全ての判定組と各顔辞書データで定義される顔種類毎の類似度を算出する（ステップＳ１１２）。そして、最大類似度が所定の容顔像判定閾値を超える場合には（ステップＳ１１４のＹＥＳ）、容顔像が有ると判断して、最大類似度を得た判定組のパーツ候補特異部分のうち、相対的に左上のものを右目パーツ、右上のモノを左目パーツ、最も下のものを口パーツとして登録する（ステップＳ１１６）。
この構成の場合、優先順位設定に関する処理負荷を軽減できる。また、予め用意した顔に最も類似する配置構成を成す容顔像を抽出できる。よって、特定人物の実写画像から生成した辞書データを対象に類似度を算出することで、特定人物似の容顔像を抽出することも可能となる。

また、図１３のステップＳ１２０〜Ｓ１３４にて先に両目のパーツと口パーツとを特定してから、図１４のステップＳ１５０〜Ｓ１５２にて鼻パーツを選択する構成としているがこれに限らない。
例えば、図１３のステップＳ１２４の口パーツを想定した第３頂点候補を選択する際に、第３頂点上方にあって、第１及び第２頂点候補より下方にある第４頂点候補（鼻パーツ想定）を選択するように処理を実行し、当該判定組が逆三角形の相対関係を成すと判定された場合に第４頂点候補を鼻パーツとして登録する構成としても良い。

また、上記実施形態では会話ゲームを実行する例を示したが、ゲームの種類は適宜設定することができる。また、ゲームの内容に応じて顔種類毎に決定される能力を適宜設定することができる。例えば、キャラクタ４を使用する格闘対戦ゲームやＲＰＧを実行するならば、技の種類・ヒットポイント・攻撃力・素早さなどを顔種類に応じて決定すると好ましい。勿論、育成ゲームやシューティングゲーム、アクションゲームなどでも良い。

４ キャラクタ
４ａ 顔テクスチャ
４ｂ ベースモデル
６ 吹き出し表示
８ 評語
１０ 成分表示
１２ 選択肢
１００ 操作入力部
１１０ 撮像部
２００ 処理部
２１０ ゲーム演算部
２１２ 画像取得部
２１４ 容顔像抽出部
２１６ 同色領域抽出部
２１８ パーツ候補特異部分選別部
２２０ 顔パーツ選択部
２２２ 強制顔輪郭生成部
５００ 記憶部
５０２ ゲームプログラム
５１０ 顔辞書データライブラリ
５１４ キャラクタベースモデルデータ
５１６ 会話シナリオデータライブラリ
５２０ 撮影画像データ
５２２ 同色領域登録データ
５２４ パーツ候補特異部分登録データ
５３０ 顔パーツ登録データ
５３２ 顔テクスチャデータ
１４００ 携帯型ゲーム装置
１４０１ 装置本体
１４０４ ボタンスイッチ
１４０６ 第１液晶ディスプレイ
１４０７ タッチパネル
１４０８ 第２液晶ディスプレイ
１４０９ タッチパネル
１４３０ イメージセンサモジュール
１４５０ 制御ユニット

Claims (10)

1. デジタル式の撮影部を備えたコンピュータに、撮影画像の中から顔とみなせる像である容顔像が写っているか否かを判定させ、その判定結果を興趣の１つとして楽しむゲームを実行させるためのプログラムであって、
   撮影画像の中から特異部分を抽出する抽出手段、
   前記特異部分の配置構成が所定の顔パーツ配置構成条件を満たすかを判定する判定手段、
   前記判定手段により満たすと判定された場合に、前記撮影画像の中に容顔像が写っている旨を提示する提示手段、
   として前記コンピュータを機能させるためのプログラム。
2. 前記提示手段が、前記判定手段により満たすと判定された場合に、前記容顔像の輪郭を前記撮影画像中に表示制御する輪郭表示制御手段を有するように前記コンピュータを機能させるための請求項１に記載のプログラム。
3. 前記判定手段が、
   前記抽出手段により抽出された特異部分の中から、顔パーツとする特異部分の組合せを選出する組合せ選出手段と、
   前記選出手段により選出された各組合せについて、当該組合せの特異部分の配置構成と所定の顔パーツ配置構成基準との類似度を算出する類似度算出手段と、
   を有し、前記類似度算出手段により算出された類似度が所定の閾値条件を満たす組合せを、前記顔パーツ配置構成条件を満たすと判定するように前記コンピュータを機能させるための請求項１又は２に記載のプログラム。
4. 前記組合せ選出手段が、
   前記抽出手段により抽出された特異部分の中から、目パーツとする特異部分を選択する第１選択手段と、
   前記第１選択手段により選択された目パーツとする特異部分との位置関係から、鼻パーツ及び／又は口パーツとする特異部分を選択する第２選択手段と、
   を有し、前記第１選択手段及び前記第２選択手段により選択された特異部分を１つの組合せとするように前記コンピュータを機能させるための請求項３に記載のプログラム。
5. 前記顔パーツ配置構成基準には複数種類の基準が含まれ、
   前記類似度算出手段が、当該組合せの特異部分の配置構成と、前記複数種類の顔パーツ配置構成基準それぞれとの類似度を算出するように前記コンピュータを機能させ、
   前記類似度算出手段により算出された前記複数種類の顔パーツ配置構成基準それぞれに対する類似度に基づいて、前記撮影画像の中に写っている容顔像を評価する容顔像評価手段として前記コンピュータを機能させ、
   前記提示手段が、前記容顔像評価手段による評価結果を提示するように前記コンピュータを機能させる、
   ための請求項３又は４に記載のプログラム。
6. 前記顔パーツ配置構成基準には、顔パーツの配置、大きさ、形状及び色のうちの少なくとも配置の基準が含まれており、
   前記容顔像評価手段が、前記複数種類の顔パーツ配置構成基準それぞれに対する類似度に基づいて、各顔パーツ配置構成基準に対応付けられている評語の中から所定数の評語を選択することで容顔像を評価する評語選択手段を有する、
   ように前記コンピュータを機能させるための請求項５に記載のプログラム。
7. 前記判定手段により満たすと判定された場合に、前記容顔像の部分を顔とするキャラクタモデルを生成するキャラクタ生成手段として前記コンピュータを機能させるための請求項１〜６の何れか一項に記載のプログラム。
8. 前記判定手段により満たすと判定された場合に、前記容顔像の部分を顔とするキャラクタモデルを生成するキャラクタ生成手段、
   前記キャラクタモデルの所定のパラメータ値を、前記類似度算出手段により算出された類似度に基づいて設定するパラメータ値設定手段、
   として前記コンピュータを機能させるための請求項３〜６の何れか一項に記載のプログラム。
9. 請求項１〜８の何れか一項に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
10. デジタル式の撮影部を備え、撮影画像の中から顔とみなせる像である容顔像が写っているか否かを判定して、その判定結果を興趣の１つとして楽しむゲームを実行可能な電子機器であって、
    撮影画像の中から特異部分を抽出する抽出手段と、
    前記特異部分の配置構成が所定の顔パーツ配置構成条件を満たすかを判定する判定手段と、
    前記判定手段により満たすと判定された場合に、前記撮影画像の中に容顔像が写っている旨を提示する提示手段と、
    を備えた電子機器。

Images