JP2020123277A - 仮想キャラクタを含む画像を提供するための方法 - Google Patents

Abstract

【課題】写真中の人物に基づいて仮想キャラクタが変化する仮想キャラクタを含む、より楽しいＶＲ画像を提供することができる方法及び装置を提供する。【解決手段】シーンの写真を撮るための写真機能Ｓ１０１と、シーン内の人物を識別するための識別機能Ｓ１０２と、識別された人物の情報に基づいて仮想キャラクタを生成するための仮想キャラクタ生成機能Ｓ１０３と、シーン内の仮想キャラクタを含む仮想画像を生成するための仮想画像生成機能Ｓ１０４と、を備える。【選択図】図１

Description

本発明は、仮想現実、ＶＲに関する装置に関し、より詳細には、画像中の人物に基づいて仮想キャラクタが選択される、仮想キャラクタを含む画像を提供するための装置に関する。

米国特許第７０４６９２７号明細書は仮想現実写真システムを開示している。このシステムでは、ユーザが撮った写真を含む対話型三次元（３Ｄ）仮想現実フォトギャラリがデジタルカメラのディスプレイに表示される。ユーザは、カメラボタンを使用してギャラリを移動する。次いで、カメラは仮想現実の画像によって画像を生成する。

米国特許第７０４６９２７号明細書

従来のＶＲカメラは、単に画像の中に仮想キャラクタを提供する。本明細書の１つの目的は、より楽しいＶＲ画像を提供することである。

本明細書に開示されている本発明の一態様は、仮想キャラクタを含む画像を提供するための装置に関する。

装置は、
シーンの写真を撮るための写真装置と、
シーン内の人物を識別するための識別装置と、
識別された人物の情報に基づいて仮想キャラクタを生成するための仮想キャラクタ生成装置であって、仮想キャラクタがビデオゲームで利用可能である、仮想キャラクタ生成装置と、
シーン内の仮想キャラクタを含む仮想画像を生成するための仮想画像生成装置と
を備える。

本発明の上記の態様の好ましい実施形態は、仮想キャラクタ生成装置が、識別された人物に基づいてシーン内に仮想キャラクタがどのように示されるかを制御することである。

本発明の上記の態様の好ましい実施形態は、仮想キャラクタ生成装置が、シーン内の識別された人物のサイズに基づいてシーン内に示される仮想キャラクタのサイズを制御することである。

本発明の上記の態様の好ましい実施形態は、仮想キャラクタ生成装置が、シーン内の識別された人物の「ポーズ」および「位置」の両方または一方に基づいてシーン内に示される仮想キャラクタのポーズを制御することである。

本発明の上記の態様の好ましい実施形態は、装置が画像撮影中の音を識別する音識別装置を備え、仮想キャラクタ生成装置が、音に基づいてシーン内に示される仮想キャラクタのポーズを制御することである。

本発明の上記の態様の好ましい実施形態は、装置がカメラまたは人物の位置情報を取得するためのロケータをさらに備え、ロケータが、位置情報に基づいて仮想キャラクタの選択を制御することである。

本発明の上記の態様の好ましい実施形態は、装置が店舗情報を含むビーコンを受信するためのビーコン受信機をさらに備え、仮想キャラクタ生成装置が、店舗情報に基づいて仮想キャラクタの選択を制御することである。

本発明の上記の態様の好ましい実施形態は、装置が人物の表情を分析するための表情分析器をさらに備え、仮想キャラクタ生成装置が、人物の表情に基づいて仮想キャラクタの表情を制御することである。

本明細書に開示される本発明の他の態様は、仮想キャラクタを含む画像を提供するための方法に関する。この方法は、画像内の人物に基づいて仮想キャラクタが変化する、仮想キャラクタを含む画像を提供することができる。

方法は、画像、すなわちＶＲ画像を提供するために以下のステップを含む。
ユーザは、カメラでシーンの写真を撮る。カメラによって撮影されたシーンは、カメラのメモリに記憶され得る。カメラは、シーン内の人物を識別する。カメラは、識別された人物の情報に基づいてビデオゲームで利用可能な仮想キャラクタを生成する。カメラは、シーン内の仮想キャラクタを含む仮想画像を生成する。

本発明の上記の態様の好ましい実施形態は、カメラが、識別された人物に基づいて画像のシーン内に仮想キャラクタがどのように示されるかを制御することである。

本発明の上記の態様の好ましい実施形態は、カメラが、シーン内の識別された人物のサイズに基づいて、画像のシーン内に示される仮想キャラクタのサイズを制御することである。

本発明の上記の態様の好ましい実施形態は、カメラが、シーン内の識別された人物の「ポーズ」および「位置」の両方または一方に基づいて画像のシーン内に示される仮想キャラクタのポーズを制御することである。

本発明の上記の態様の好ましい実施形態は、方法が画像撮影中に音を識別するステップをさらに含むことである。カメラは、音に基づいて画像のシーンに示される仮想キャラクタのポーズを制御する。

本発明の上記の態様の好ましい実施形態は、方法がカメラまたは人物の位置情報を取得するステップをさらに含むことである。カメラは、位置情報に基づいて仮想キャラクタの選択を制御する。

本発明の上記の態様の好ましい実施形態は、方法が店舗情報を含むビーコンを受信するステップをさらに含むことである。カメラは、店舗情報に基づいて仮想キャラクタの選択を制御する。

本発明の上記の態様の好ましい実施形態は、方法が人物の表情を分析するステップをさらに含むことである。カメラは、人物の表情に基づいて仮想キャラクタの表情を制御する。

本発明の他の態様は、上記で説明した装置を含むか、またはデジタルカメラを上記の装置として機能させるコンピュータシステムに関する。コンピュータは、装置の上記の装置または要素を実現する複数の手段を有することができる。

本発明の他の態様は、コンピュータ内で実行され、コンピュータまたはカメラを上記の装置として機能させ、または上記の方法を実行させることができるプログラムに関する。

本発明の他の態様は、上記プログラムを記憶するコンピュータ読み取り可能媒体に関する。

本明細書は、写真の中の人物に基づいて仮想キャラクタが変化する仮想キャラクタを含む画像を提供することができるので、楽しいＶＲ画像を提供することができるカメラ、装置を提供することができる。

本発明の原理による例示的な方法を示す図である。 仮想画像を提供するためのシステムの概略図である。 現実のシーンの一例を示す図である。 仮想シーン内の仮想キャラクタを含む仮想画像の一例である。

本発明の実施形態の様々な特徴および利点は、添付の図面と併せて以下の詳細な説明を参照することによって、より容易に理解されることが可能であり、図面の中では同じ参照符号は同じ構造要素を示す。

［実施形態１］
本明細書に開示されている本発明の一態様は、仮想キャラクタを含む画像を提供するための装置に関する。装置は、シーンの写真を撮るための写真装置を有する。装置は、カメラの形態であり得る。カメラはデジタルカメラとすることができ、それは写真を撮ることができる。デジタルカメラ内の写真装置は当該技術分野において周知である。カメラは、デジタル写真を撮るためのデジタルカメラ、または音の有無にかかわらず連続写真を撮るためのビデオカメラであり得る。カメラは、ニンテンドー（Ｎｉｎｔｅｎｄｏ）（商標）３ＤＳなどのカメラを含むゲーム装置であり得る。カメラは、Ｉ−ｐｈｏｎｅ（商標）およびＩ−ｐａｄ（商標）などのカメラを含む携帯電話またはタブレットであり得る。カメラはコンピュータを含むことができ、あるいはコンピュータまたはサーバと接続され得る。コンピュータの一例は、制御ユニット、プロセッサ、メモリ、およびＩ／Ｏ（入出力）装置を備える。これらの要素は、バスによって接続され得る。コンピュータに情報が入力される場合、制御ユニットはメモリからプログラムを読み出す。制御ユニットは、プログラムの順序に従ってメモリから情報を読み出し、入力された情報および読み出した情報を用いてプロセッサに処理を行わせ得る。得られた結果は、メモリに記憶され、Ｉ／Ｏ装置から出力され得る。

装置は画像、仮想画像を提供する。図１は、本発明の原理による例示的な方法を示す。図２は、仮想画像を提供するためのシステムの概略図である。図２に示すように、そのシステムの一例は、デジタルカメラ１、画像メモリ３、ＩＤプロセッサ５、ＩＤメモリ７、キャラクタメモリ９、ＶＲプロセッサ１１、およびディスプレイ１３を含む。

カメラ１は、デジタルカメラまたはビデオカメラであり得る。カメラは、ＧＰＳシステムを有することができる。画像メモリ３は、カメラ１によって撮影され、またはカメラ１を介して入力され得る画像を記憶するように構成されている。ＩＤプロセッサ５は、画像中の人物を識別または認識するように構成されている装置または要素である。装置は、シーン内の人物を識別するための識別装置を有する。ＩＤプロセッサは、識別装置として機能し得る。ＩＤメモリ７は、人物の個人情報を記憶するように構成されている装置または要素である。個人情報の例は、顔の特徴点、個人ＩＤ番号、人物の性別、人物の年齢、各人物がプレイしたゲームの履歴、キャラクタメモリ９内に記憶されているゲームキャラクタのＩＤ番号、およびゲーム内に使用される情報のグループから選択される１つまたは複数の特徴である。キャラクタメモリ９は、１つまたは複数のゲーム内の１つまたは複数のキャラクタを記憶するように構成されている装置または要素である。ゲーム内のキャラクタは、ゲームキャラクタと呼ばれる。ＶＲプロセッサ１１は、キャラクタメモリ９内に記憶されているキャラクタを選択または決定するように構成された装置または要素である。ディスプレイ１３は、デジタルカメラ１を備え付けるディスプレイであり得る。ゲームキャラクタは、１つまたは複数のゲーム内のキャラクタである。そのようなゲームの例は、ドラゴンクエスト（商標）（Ｄｒａｇｏｎ ｗｏｒｒｉｅｒ）（商標）シリーズ、ファイナルファンタジー（商標）シリーズ、ロマンシングサガ（商標）シリーズなどから選択されるゲームである。

ユーザは、デジタルカメラ１によりシーンの写真を撮影することができる（Ｓ１０１）。図３は、現実のシーンの例である。シーンは、自動的に撮影され得る。現実のシーン２１内には、複数の物体２３および１人の人物２５が存在する。カメラによって撮影されたシーン２１は、シーンの情報としてカメラの画像メモリ３に記憶され得る。シーンには、カメラが認識できる１つまたは複数のコードを含む物体が存在し得る。人物２５は、カメラが認識できる任意のコードを含むことができる。

カメラは、シーン内の人物を識別する（Ｓ１０２）。カメラ１は、コンピュータを有することができる。カメラは、そのアンテナまたは他の出力装置を介して画像情報をコンピュータまたはサーバに送信することができる。以下の説明では、カメラはコンピュータを有すると説明されている。しかしながら、カメラはそのようなカメラに限定されない。

コンピュータは、シーン内の人物を識別するプログラムを有する。人物を識別する方法の一例は、その人物の顔を使用することである。米国特許第８２９０２２０号明細書および米国特許第９９５９４５４号明細書に開示されているように、顔認証装置、顔認証方法およびプログラムは周知である。

ＩＤプロセッサ５は、画像中の人物を識別または認識するように構成されている。ＩＤプロセッサ５は、上述した顔認証装置またはプログラムによって実行され得る。ＩＤプロセッサは、写真のシーンを分析し、人物２５を含む領域を見つけることができる。この場合、ＩＤメモリ７は、メモリ内の人物の顔の特徴点および他の人物の情報を含む。ＩＤプロセッサ５は、人物２５の顔を解析し、画像中の人物の顔の特徴点を取得する。ＩＤプロセッサ５は、ＩＤメモリ７に記憶されている特徴点と、画像中の人物の顔の取得された特徴点とのマッチングを実行する。次いで、ＩＤプロセッサ５は、人物を識別し、人物２５の個人ＩＤ番号を取得することができる。ＩＤプロセッサ５は、人物がコードを含んでいる場合、そのコードを読み取り、人物を識別することができる。

人物を識別するための他の方法は、シーンを通してシーン内の人間の部分、人間の性別、人間のサイズ、人間のポーズなどを分析することである。

カメラ１は、識別された人物の情報に基づいて、ビデオゲームにおいて利用可能な仮想キャラクタを生成する（Ｓ１０３）。キャラクタメモリ９の一例は、１つまたは複数のゲーム内の１つまたは複数のキャラクタをそれらのキャラクタＩＤ番号と共に記憶する。ＩＤメモリ７は、個人ＩＤ番号に関する１つまたは複数のキャラクタＩＤ番号を記憶する。上記の例では、ＩＤプロセッサ５は、ＩＤメモリ７に記憶されている人物２５の個人ＩＤ番号を取得する。ＶＲプロセッサ１１は人物２５の個人ＩＤ番号を受信し、この個人ＩＤ番号を用いて、ＶＲプロセッサ１１はＩＤメモリ７からキャラクタＩＤ番号の情報を取得することができる。次いで、ＶＲプロセッサ１１は、キャラクタメモリ９からゲーム内のキャラクタを選択することができる。人物２５の個人ＩＤ番号に関連して、複数のキャラクタが記憶されている場合、ＶＲプロセッサ１１は、どのキャラクタをランダムに、または他の適切なアルゴリズムによって選択すべきかを決定することができる。現実のシーン２１内にはゲームキャラクタが存在しないので、ゲーム内のキャラクタは仮想キャラクタ２７である。装置は仮想キャラクタ生成装置を有し、ＶＲプロセッサ１１は仮想キャラクタ生成装置として機能することができる。

実施形態の一例は、シーン内の識別された人物２５のサイズに基づいて、画像のシーン２９内に示される仮想キャラクタ２７のサイズを制御することができる。ＶＲプロセッサ１１は、シーン２１内の人物２５のサイズを認識する。ＶＲプロセッサ１１は、シーン２１内の人物２５の位置をさらに認識することができる。キャラクタメモリ９は、各仮想キャラクタ２７の標準サイズを記憶することができる。サイズは、人物２５に対する仮想キャラクタ２７の比率であることができる。比率が０．８である場合、画像内の仮想シーン２９内の仮想キャラクタ２７の身長は、シーン２９内の人物２５の身長の０．８倍に配置され得る。（シーン２９では仮想キャラクタ２７が、人物２５よりも小さく表示されている）。他の例は、キャラクタメモリ９が仮想キャラクタ２７のサイズを記憶し、ＶＲプロセッサ１１が人物２５の身長を推定または計算することである。次いで、ＶＲプロセッサ１１は、画像のシーン２９内の人物２５の身長と、人物２５のサイズとを考慮して、シーン２９内の仮想キャラクタ２７のサイズを取得する。次いで、仮想キャラクタ２７を自然で魅力的な方法で表示することが可能となる。

ＶＲプロセッサ１１の一実施形態は、シーン２９内の人物２５の位置を考慮して、シーン２９内の仮想キャラクタ２７の位置を決定することができる。位置を決定する１つの方法は、仮想キャラクタ２７が人物２５と同じ高さに置かれ、仮想キャラクタ２７が人物２５に間隔を空けて隣接することである。この間隔は、シーン２９内の人物２５のサイズを考慮して、ＶＲプロセッサ１１によって予め決定されるか、または計算され得る。

ＶＲプロセッサ１１は、現実のシーン２１内の人物２５の位置および任意の１つの物体２３の位置を考慮して、仮想キャラクタ２７の位置を決定することができる。そのようなプロセッサの一例は、ＶＲプロセッサ１１がシーン２１内の主要な物体２３を選択し、人物２５および主要な物体２３と重ならないように仮想キャラクタ２７の位置を決定することである。

カメラは、シーン（Ｓ１０４）内の仮想キャラクタを含む仮想画像を生成する。カメラは、それ自体で仮想画像を生成することができる。サーバは仮想画像を生成することができ、仮想画像に関するデータをカメラに送信することができる。カメラがデータを受信する場合、カメラはデータを生成して仮想画像を表示することができる。図４は、仮想シーン２９内に仮想キャラクタ２７を含む仮想画像の一例である。同図では、現実のシーン２１には存在しない仮想キャラクタ２７が、人物２５と適当な間隔を空けて隣接して存在している。画像は、デジタルカメラ１のディスプレイ１３に表示され得る。仮想シーン２９の情報は、デジタルカメラ１のメモリに記憶され、出力され得る。

他の例は、カメラが、ＩＤメモリ７から、ゲーム情報、例えばドラゴンクエスト（商標）Ｘのようなゲームタイトルに関連するコードを取得し、キャラクタメモリ９からドラゴンクエスト（商標）Ｘのゲームキャラクタを選択することである。次いで、選択されたゲームキャラクタは仮想シーン２９内に仮想キャラクタ２７として示され、選択されたゲームキャラクタは、人物２５がゲームをプレイする場合に、ゲーム、ドラゴンクエスト（商標）Ｘの中で利用可能になる。

他の例は、ゲームで利用可能なキャラクタは、ユーザが、ゲーム内であるが、そのキャラクタ、例えばガチャ（Ｇａｃｈａ）を取得したことである。カメラ１は、カメラを内蔵し、ゲーム用のアプリケーションを記憶するスマートフォンであり得る。カメラは、プレイステーション（商標）、ニンテンドーＷｉｉ（商標）、ニンテンドー３ＤＳ（商標）などのゲーム装置とサーバを介してゲーム情報を共有することができる。ユーザはスマートフォンのディスプレイに表示されているアイコンをタップすることでアプリケーションを起動することができる。ゲームにおいて、ユーザは、ゲームに関連するプログラムによってゲーム内で利用可能なキャラクタを取得することができる。ユーザがゲーム開始後に新しいキャラクタを取得することを決定する場合、ユーザは新しいキャラクタ、ガチャを入手することに関連するアイコンをタップする。次いで、ユーザは新しいゲームキャラクタを入手することができる。カメラの一例としては、カメラ１に記憶されたゲームにおいてユーザがゲームキャラクタを入手した後に、カメラが仮想キャラクタ２７として新たなキャラクタを選択することが可能となることである。ユーザがゲームを開始し、ゲームをアクティブに保った後、ユーザはカメラ１によって写真を撮り、次いで、そのキャラクタは仮想キャラクタ２７として選択されることができ、選択された仮想キャラクタはＶＲシーン２９内に示され得る。他の例は、ユーザが所定の条件を満たした後、そのときカメラはゲームキャラクタを仮想キャラクタとして選択することができるということである。このような所定の条件の一例は、ゲームキャラクタがゲーム内で閾値レベルに到達したことである。次いで、カメラは仮想キャラクタとしてゲームキャラクタを選択できる。他の条件は、カメラがキャラクタを使用した回数または時間である。ユーザが所定数以上のキャラクタを使用すると、そのときカメラが仮想キャラクタとしてゲームキャラクタを選択することが可能になる。他の条件は、ユーザがゲーム内のゲームイベントをクリアしたことである。そのようなゲームイベントの例は、ゲームで一般的なクエストである。ゲーム中、ユーザはクエストの情報を受信することができる。ユーザがクエストの条件を達成した後、そのときカメラは仮想キャラクタとしてゲームキャラクタを選択することができる。

本発明の他の態様は、上記に説明されるカメラを含むコンピュータシステムに関する。コンピュータは、デジタルカメラ１、画像メモリ３、ＩＤプロセッサ５、ＩＤメモリ７、キャラクタメモリ９、ＶＲプロセッサ１１、ディスプレイ１３、および通常のコンピュータが含む他の要素を有することができる。

本発明の他の態様は、コンピュータ内で実行され、コンピュータを上記のカメラとして機能させることができるプログラムに関する。

本発明の他の態様は、上記プログラムを記憶するコンピュータ読み取り可能媒体に関する。

本明細書は、写真の中の人物に基づいて仮想キャラクタが変化する、仮想キャラクタを含む画像を提供することができるので、楽しいＶＲ画像を提供することができるカメラを提供することができる。

本発明の実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェア要素およびソフトウェア要素の両方を含む実施形態の形を取ることができる。好ましい実施形態では、本発明は、ファームウェア、常駐ソフトウェア、およびマイクロコードを含むが、これらに限定されないソフトウェア内で実施される。

さらに、本発明は、コンピュータまたは任意の命令実行システムによって、またはそれらに関連して使用するためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態を取ることができる。この説明の目的のために、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって使用される、またはそれらに関連して使用するためのプログラムを含み、記憶し、通信し、伝播し、または移送することができる任意の装置であり得る。媒体は、電子的、磁気的、光学的、電磁気的、赤外線、または半導体のシステム（あるいは装置またはデバイス）または伝播媒体であり得る。コンピュータ可読媒体の例には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、硬質磁気ディスクおよび光ディスクが含まれる。光ディスクの現在の例には、コンパクトディスク−リードオンリメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）およびＤＶＤが含まれる。

プログラムコードを記憶および／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的または間接的に連結された少なくとも１つのプロセッサを含み得る。メモリ要素は、プログラムコードの実際の実行中に採用されるローカルメモリ、大容量記憶装置、および実行中にコードが大容量記憶装置から検索される回数を減らすために、少なくともいくつかのプログラムコードの一時的記憶を提供するキャッシュメモリを含み得る。入力／出力またはＩ／Ｏデバイス（キーボード、ディスプレイ、ポインティングデバイスなどを含むがこれらに限定されない）は、直接的に、または介在するＩ／Ｏコントローラを介してシステムに連結され得る。

ネットワークアダプタをシステムに連結して、介在するプライベートネットワークまたはパブリックネットワークを介して、データ処理システムを他のデータ処理システムまたはリモートプリンタまたは記憶装置に連結させることもできる。モデム、ケーブルモデム、およびイーサネットカードは、現在利用可能なタイプのネットワークアダプタのほんの一部である。
観察装置は、携帯電話、携帯情報端末、特別に設計された走査装置または他の適切な装置のようなハードウェア装置を含み得る。装置は、ソフトウェアを記憶し、実行するためのメモリを含む１つまたは複数の集積回路チップを含むことができる。チップ設計は、グラフィカルコンピュータプログラミング言語で作成され、コンピュータ記憶媒体（ディスク、テープ、物理的ハードドライブ、またはストレージアクセスネットワーク内などの仮想ハードドライブなど）に記憶され得る。設計者が、チップ、またはチップを製造するために使用されるフォトリソグラフィマスクを製造しない場合、設計者は、物理的手段によって（例えば、設計を記憶する記憶媒体のコピーを提供することによって）または電子的に（例えばインターネットを通じて）、結果として得られる設計をそのような実体に直接的または間接的に送信する。次いで、記憶された設計は、フォトリソグラフィマスクの製造に適したフォーマットに変換され、これは通常、ウェハ上に形成されるべき問題のチップ設計の複数のコピーを含む。フォトリソグラフィマスクは、エッチングまたは他の方法で処理されるウェハ（および／またはその上の層）の領域を画定するために利用される。

［実施形態２］
本発明の第２の実施形態は、カメラが、シーン内の識別された人物の「ポーズ」および「位置」の両方または一方に基づいて画像のシーン内に示される仮想キャラクタのポーズを制御することである。カメラの基本的な工程および必要な構成は、第１の実施形態とほぼ同じである。

この実施形態では、例えば、キャラクタメモリ９または他のメモリは、対応するポーズの情報を含む。対応するポーズは、仮想シーン２９内のゲームキャラクタ２７のポーズである。メモリは、シーン内の人物のポーズに関連する対応するポーズを含むルックアップテーブルの形態であり得る。ＶＲプロセッサ１１が、人物２５のポーズが、その人物がピースサイン、またはＶサインを示していることを認識する場合、ＶＲプロセッサ１１はメモリから対応するポーズとしてピースサインを取得する。ＶＲプロセッサ１１は、選択されたキャラクタおよびポーズ情報を考慮して、ゲームキャラクタのポーズを配置する。キャラクタのポーズを変更する方法は当分野で周知であり、ＶＲプロセッサ１１はそのような従来の方法に基づいて実現可能である。他の例は、人物２５が現実のシーン内で彼の腕を組むことであり、仮想キャラクタ２７もまたＶＲシーン内でその腕を組むことである。他の例は、現実のシーン内で人物２５がハイファイブのポーズを取る場合、仮想キャラクタ２７は、ＶＲシーン２９でその人物２５とハイファイブをすることである。ＶＲプロセッサ１１は、現実のシーン内の人物の運動または動作を認識し、人物の運動または動作を考慮して仮想キャラクタのポーズを変更することができる。一例は、ＶＲプロセッサ１１が、人物２５がプレゼントを与える動作をしていることを認識する場合、仮想キャラクタはメモリから楽しいポーズの情報を取得し、仮想キャラクタのポーズを楽しいポーズとして配置することである。現実のシーン内の位置情報の使用は、第１の実施形態の項で説明されている。

［実施形態３］
本発明の第３の実施形態は、装置が、画像撮影中の音を識別する音識別装置を備え、カメラが、音に基づいてシーン内に示される仮想キャラクタのポーズを制御することである。カメラの基本的な工程および必要な構成は、第１の実施形態とほぼ同じである。本実施形態では、カメラ１は、マイクなどの集音器３１と、音を記憶するように構成された音メモリ３３と、音を分析するように構成されたサウンドプロセッサ３５とをさらに備える。

この実施形態では、カメラ１はビデオカメラであり得る。カメラがシーンの写真またはビデオを撮る場合、集音器３１は集音器３１に入力される音を集める。集音器３１は、集めた音情報をデジタル音情報に変換する。カメラは、デジタル音情報を受信し、音メモリ３３に記憶する。サウンドプロセッサ３５は、音メモリ３３からデジタル音情報を読み出し、デジタル音情報を分析する。サウンドプロセッサ３５が分析する一例は、デジタル音情報のリズムである。集音器３１、音メモリ３３、およびサウンドプロセッサ３５が、音識別装置として機能することができる。この例では、ＶＲプロセッサ１１は、デジタル音情報のリズムに従って仮想キャラクタ２７の動作を制御する。仮想キャラクタ２７は、デジタル音情報のリズムに従って踊ることができる。

［実施形態４］
本発明の第４の実施形態は、装置がカメラまたは人物の位置情報を取得するロケータを備えることである。カメラ１は、位置情報に基づいて仮想キャラクタを制御する。この実施形態では、カメラ１は、例えば全地球測位システム用の装置、ＧＰＳ３７を備える。そのようなカメラの一例は、位置情報に基づいて仮想キャラクタの選択を変更する。このようなカメラの他の例は、仮想キャラクタのアイテムを変更する。アイテムの例は、衣服、衣装、刀、盾、靴、アクセサリー、およびゲームで使用される他の道具である。全地球測位システム用の装置、ＧＰＳ３７はロケータとして機能することができる。

サーバは、位置情報に基づいてキャラクタを設定する。位置情報の例は、塔、建物、橋、商店、学校、ポスト、交通標識などのような不動産である。位置情報の他の例は、村、町、都市、緯度および経度、湖、池、川、丘ならびに山である。

カメラ１が現実のシーン２１の写真を撮る場合、ＧＰＳ３７用装置はＧＰＳサーバから位置情報を受信する。ＶＲプロセッサ１１は、カメラが北海道に位置するなど、位置情報に基づいてアイテムを選択する。次いで、ＶＲプロセッサ１１は、位置情報に基づいて、アイテム、例えば雪のサインを含む盾を用いて仮想キャラクタを調整することができる。

この実施形態の他の例は、ＶＲプロセッサ１１がシーン内の物体２３を分析することによって位置情報を認識するということである。そのような場合、カメラ１は、建物の特徴点などの位置情報用のメモリを含み、画像メモリ内に記憶されている画像情報に基づいて位置情報を取得する。

［実施形態５］
本発明の第５の実施形態は、装置が店舗情報を含むビーコンを受信するためのビーコン受信機を備えることである。カメラは、店舗情報に基づいて仮想キャラクタの選択を制御する。

この実施形態では、サーバは店舗情報を含むビーコンを送信する。そのようなビーコンの例は、バーガー店舗情報である。カメラ１が現実のシーン２１の写真を撮る場合、カメラはサーバからビーコンを受信する。ＶＲプロセッサ１１は、ハンバーガーおよびバーガーショップ用の映像キャラクタなど、ビーコンに基づいてアイテムを選択する。次いで、ＶＲプロセッサ１１は、アイテムを用いて仮想キャラクタを調整し、または仮想キャラクタとしてアイテムを選択することができる。

［実施形態６］
本発明の第６の実施の形態は、装置が人物の表情を分析するための表情分析器を備え、仮想キャラクタ生成装置は、人物の表情に基づいて仮想キャラクタの表情を制御することである。そのような表情分析器は、当技術分野において周知である。例えば、米国特許第１０１５８８２９号明細書（Ｂ２）には、表情分析器の一例が開示されている。カメラまたはサーバは、画像中の人物の表情を分析するためにそのような周知の表情分析器を実施することができる。表情分析器は、画像中の人物の目、鼻、口の位置情報を分析することができる。次いで、分析装置はそれらの角度または位置のパターンを分析し、人物の表情を決定する。その人物の表情の例は、笑顔、怒り、普段の表情、および泣き顔である。表情分析器は、人物の表情を分析し、カメラは、笑顔などの結果をメモリに記憶することができる。キャラクタメモリ９は、各キャラクタを複数の表情で記憶することができる。カメラは、笑顔などの分析された結果を読み出し、その結果に基づいてＶＲキャラクタの表情を選択することができる。次いで、例えば、笑顔のあるＶＲキャラクタが生成され、カメラによって表示される。

カメラ１は、カメラまたはゲーム装置に使用される他の従来の装置または要素３９を有することができる。

本発明は、カメラ業界、モバイル業界、アプリケーション業界、およびアミューズメント業界において使用され得る。

１ カメラ
３ 画像メモリ
５ ＩＤプロセッサ
７ ＩＤメモリ
９ キャラクタメモリ
１１ ＶＲプロセッサ
１３ ディスプレイ

Claims (8)

1. 仮想キャラクタを含む画像を提供するための装置であって、
   シーンの写真を撮るための写真装置と、
   前記シーン内の人物を識別するための識別装置と、
   前記識別された人物の情報に基づいて仮想キャラクタを生成するための仮想キャラクタ生成装置であって、前記仮想キャラクタがビデオゲームで利用可能である、仮想キャラクタ生成装置と、
   前記シーン内の前記仮想キャラクタを含む仮想画像を生成するための仮想画像生成装置と
   を備える装置。
2. 前記仮想キャラクタ生成装置が、前記識別された人物に基づいて前記シーン内に前記仮想キャラクタがどのように示されるかを制御する、
   請求項１に記載の装置。
3. 前記仮想キャラクタ生成装置が、前記シーン内の前記識別された人物のサイズに基づいて前記シーン内に示される前記仮想キャラクタのサイズを制御する、
   請求項１に記載の装置。
4. 前記仮想キャラクタ生成装置が、前記シーン内の前記識別された人物の「ポーズ」および「位置」の両方または一方に基づいて前記シーン内に示される前記仮想キャラクタのポーズを制御する、
   請求項１に記載の装置。
5. 前記写真撮影中の音を識別する音識別装置をさらに備え、
   前記仮想キャラクタ生成装置が、前記音に基づいて前記シーン内に示される前記仮想キャラクタのポーズを制御する、
   請求項１に記載の装置。
6. 前記カメラまたは前記人物の位置情報を取得するためのロケータをさらに備え、
   前記ロケータが、前記位置情報に基づいて前記仮想キャラクタの選択を制御する、
   請求項１に記載の装置。
7. 店舗情報を含むビーコンを受信するためのビーコン受信機をさらに備え、
   前記仮想キャラクタ生成装置が、前記店舗情報に基づいて前記仮想キャラクタの選択を制御する、
   請求項１に記載の装置。
8. 前記人物の表情を分析するための表情分析器をさらに備え、
   前記仮想キャラクタ生成装置が、前記人物の前記表情に基づいて前記仮想キャラクタの表情を制御する、
   請求項１に記載の装置。

Images