JP2017176673A - 表示制御装置およびプログラム - Google Patents

Abstract

【課題】マーカ等の検出部材の追加や処理負荷の増加をすることなく、歌唱者に相当する仮想人物を適正な姿勢で表示させることが可能な表示制御装置を提供する。【解決手段】三次元空間に存在するユーザＵＳの姿勢に対応した仮想人物ＰＧを示す画像を表示させる場合に、仮想人物ＰＧの所定の部位と対応するユーザＵＳの対応部位と、所定の部位の姿勢の変更を行うか否かの判断に用いられるユーザＵＳの少なくとも一つの判断部位と、判断部位の位置を示す所定の条件と、ユーザＵＳの対応部位と対応する仮想人物ＰＧの所定の部位の適正姿勢を示す目標姿勢と、を関連付けて記憶する。ユーザＵＳの身体の部位の三次元空間での位置の検出結果に基づいて、少なくとも１つの判断部位の位置が所定の条件を満たすか否かを判定し、少なくとも１つの判断部位の位置が条件を満たす場合に、仮想人物ＰＧの所定の部位の姿勢を目標姿勢に変更して表示させる。【選択図】図１

Description

本発明は、表示制御装置およびプログラムの技術分野に属する。より詳細には、対象者の姿勢に対応した姿勢をする仮想人物の画像を表示面に表示させる表示制御装置および表示制御装置用のプログラムの技術分野に属する。

近年、たとえばカラオケの歌唱者の動作をカメラで検出し、その検出結果に基づいて、その者と同じ動きをする仮想人物またはキャラクタを表示して楽しむカラオケ装置が開発されている（たとえば、特許文献１）。この特許文献１に記載の技術では、歌唱者の身体表面に設けられたマーカを検知して歌唱者の身体の部位を推定し、その推定結果に基づいてコンピュータグラフィックの手法により仮想人物の画像を生成してモニタに表示させる構成とされている。

特開２０００−２０００８８号公報

しかしながら、特許文献１に記載の技術のように、ユーザの身体の部位を検出する場合、検出結果に誤差があるため、その検出結果を用いて表示される画像における仮想人物の身体の一部の部位の状態や姿勢が、実際に人物が取り得る状態や姿勢とは異なる誤った状態や姿勢で表示されてしまう場合がある。そして検出精度を上げるようとすると、上記マーカやセンサ或いはカメラなどの検出部材の台数を増やすことが必要となり、更には検出部材の台数が増えることにより、それらの検出結果を用いた画像処理の負荷も増加するという問題点があった。

そこで本発明は、以上の各問題点に鑑みて為されたものであり、マーカやカメラ等の検出部材の追加や処理負荷の増加をすることなく、歌唱者に相当する仮想人物を人物が取り得る適正な姿勢で表示させることを可能とする表示制御装置およびプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、三次元空間に存在する対象者の姿勢に対応した姿勢をする仮想人物を示す画像を表示させる表示制御装置であって、前記画像により示される前記仮想人物の所定の部位と対応する前記対象者の身体の部位を示す対応部位と、前記所定の部位の姿勢の変更を行うか否かの判断に用いられる前記対象者の身体の部位を示す少なくとも１つの判断部位と、前記対象者の姿勢における前記判断部位の位置を示す所定の条件と、前記対応部位と対応する前記仮想人物の前記所定の部位の適正姿勢として予め設定された姿勢を示す目標姿勢データと、を関連付けて記憶する記憶手段と、前記対象者の身体の部位の三次元空間での位置の検出結果を取得する取得手段と、前記取得手段により取得された前記検出結果に基づいて、前記判断部位の位置が前記条件を満たすか否かを判定する判定手段と、少なくとも１つの前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記対応部位に対応する前記仮想人物の前記所定の部位の姿勢を、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更する変更手段と、前記取得手段により取得された前記検出結果における前記位置に基づいて、前記変更手段により変更された姿勢を含む前記仮想人物の前記画像を表示させる表示制御手段と、を備えることを特徴とする。

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の表示制御装置において、前記記憶手段は、前記判断部位として、前記所定の部位の姿勢の変更を行うか否かの判断に用いられる前記対象者の身体の複数の部位を示す複数の前記判断部位を記憶し、さらに、前記条件として、前記対象者の姿勢における複数の前記判断部位の位置関係を示す関係条件を記憶するものであり、前記判定手段は、前記取得手段により取得された前記検出結果に基づいて、複数の前記判断部位の位置関係が前記関係条件を満たすか否かを判定し、前記変更手段は、複数の前記判断部位の位置関係が前記関係条件を満たすと前記判定手段により判定された場合に、前記対応部位に対応する前記仮想人物の前記所定の部位の姿勢を、満たされた前記関係条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする。

上記の課題を解決するために、請求項３に記載の発明は、請求項１または請求項２に記載の表示制御装置において、前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記変更手段は、前記仮想人物の前記所定の部位の姿勢を、前記取得手段により取得された前記検出結果の位置に基づく前記対象部位の姿勢に対応する前記所定の部位の姿勢から回転させることにより、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする。

上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の表示制御装置において、前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記変更手段は、前記仮想人物の手首および手を前記所定の部位として、前記仮想人物の前記手首および前記手の姿勢を、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする。

上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項３のいずれか一項に記載の表示制御装置において、前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記変更手段は、前記仮想人物の手首および肘を前記所定の部位として、前記仮想人物の肘の姿勢を前記肘に対応し且つ満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更し、さらに、前記仮想人物の前記肘の姿勢が前記肘に対応する前記目的姿勢データが示す姿勢に変更された前記仮想人物の姿勢に対し、前記仮想人物における手首の姿勢を、前記手首に対応し且つ満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする。

上記の課題を解決するために、請求項６に記載の発明は、請求項１から請求項５のいずれか一項に記載の表示制御装置において、前記対象者はカラオケ曲を歌唱する者であり、前記変更手段は、前記カラオケ曲の内容に基づいて前記対象者が歌唱すると判断された場合に、前記仮想人物の前記所定の部位として、手首および手の姿勢を、マイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢にそれぞれ変更し、前記表示制御手段は、前記カラオケ曲の内容に基づいて前記対象者が歌唱すると判断され、前記変更手段によりマイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢へ前記仮想人物の前記手首および前記手の姿勢が変更されたとき、変更された前記姿勢の前記仮想人物の前記画像を表示させることを特徴とする。

上記の課題を解決するために、請求項７に記載の発明は、請求項１から請求項５のいずれか一項に記載の表示制御装置において、前記対象者はカラオケ曲を歌唱する者であり、前記変更手段は、前記取得手段により取得された前記検出結果に基づいて前記対象者が歌唱すると判断された場合に、前記仮想人物の前記所定の部位として、手首および手の姿勢を、マイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢にそれぞれ変更し、前記表示制御手段は、前記取得手段により取得された前記検出結果に基づいて前記対象者が歌唱すると判断され、前記変更手段によりマイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢へ前記仮想人物の前記手首および前記手の姿勢が変更されたとき、変更された前記姿勢の前記仮想人物の前記画像を表示させることを特徴とする。

上記の課題を解決するために、請求項８に記載の発明は、三次元空間に存在する対象者の姿勢に対応した姿勢をする仮想人物を示す画像を表示させる表示制御装置であって、前記画像により示される前記仮想人物の所定の部位と対応する前記対象者の身体の部位を示す対応部位と、前記所定の部位の姿勢の変更を行うか否かの判断に用いられる前記対象者の身体の部位を示す少なくとも１つの判断部位と、前記対象者の姿勢における前記判断部位の位置を示す所定の条件と、前記対応部位と対応する前記仮想人物の前記所定の部位の適正姿勢として予め設定された姿勢を示す目標姿勢データと、を関連付けて記憶する記憶手段を備える表示制御装置に含まれるコンピュータに、前記対象者の身体の部位の三次元空間での位置の検出結果を取得する取得ステップと、前記取得ステップにおいて取得された前記検出結果に基づいて、前記判断部位の位置が前記条件を満たすか否かを判定する判定ステップと、少なくとも１つの前記判断部位の位置が前記条件を満たすと前記判定ステップにおいて判定された場合に、前記対応部位に対応する前記仮想人物の前記所定の部位の姿勢を、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更する変更ステップと、前記取得ステップにおいて取得された前記検出結果における前記位置に基づいて、前記変更ステップにおいて変更された姿勢を含む前記仮想人物の前記画像を表示させる表示制御ステップと、を実行させることを特徴とする。

請求項１または請求項８に記載の発明によれば、他の構成部材の追加や処理負荷の増加をすることなく、対象者が取り得る適正な姿勢の仮想人物の画像を表示させることができる。

請求項２に記載の発明によれば、複数の判断部位の位置関係を示す条件で、対象者の部位の位置状態を適切に判断し、対象者が取り得る適正な姿勢の仮想人物の画像を表示させることができる。

請求項３に記載の発明によれば、仮想人物の姿勢における変更部位を回転により正しい姿勢へと変更することができる。

請求項４に記載の発明によれば、空間的な位置検出において誤差が出易い手等の部位についても、正しい姿勢として仮想人物の画像を表示させることができる。

請求項５に記載の発明によれば、手首および肘それぞれについて違和感がない姿勢の仮想人物を表示させることができる。

請求項６または請求項７に記載の発明によれば、カラオケを歌唱する対象者の仮想人物を、より歌唱時の実際の状態に近い形で表示させることができる。

本実施形態の投影システムの概要構成例を示す図である。 （ａ）は本実施形態の姿勢変更用情報データベースの内容を例示する図である。（ｂ）は本実施形態の部位別基準ベクトルデータベースの内容を例示する図である。（ｃ）は本実施形態の変更条件データベースの内容を例示する図である。（ｄ）は本実施形態の特定部位姿勢変更処理データベースの内容を例示するである。（ｅ）は本実施形態の演奏状態データベースの内容を例示する図である。 （ａ）は本実施形態の映像表示処理を示すフローチャートである。（ｂ）は本実施形態のキャラクタ姿勢計算処理を示すフローチャートである。 （ａ）は第１実施例の特定部位姿勢変更処理を示すフローチャートである。（ｂ）は第１実施例のElbow姿勢変更情報計算処理を示すフローチャートである。 （ａ）は本実施形態の基準ベクトル等を説明するための図（Ｉ）である。（ｂ）は本実施形態の基準ベクトル等を説明するための図（II）である。（ｃ）は本実施形態の基準ベクトル等を説明するための図（III）である。 （ａ）は第１実施例の特定部位姿勢変更処理を実行する前の仮想人物の画像を例示する図である。（ｂ）は第１実施例の特定部位姿勢変更処理を実行した後の仮想人物の画像を例示する図である。 （ａ）は第２実施例の特定部位姿勢変更処理を示すフローチャートである。（ｂ）は第２実施例のWrist姿勢変更情報計算処理を示すフローチャートである。 （ａ）は第２実施例の特定部位姿勢変更処理を実行する前の仮想人物の画像を例示する図である。（ｂ）は第２実施例の特定部位姿勢変更処理を実行した後の仮想人物の画像を例示する図である。

以下、本発明の実施形態を図面に基づいて説明する。

１．投影システムの構成および動作概要
はじめに、図１および図２を参照して、本実施形態の投影システムの構成および動作概要について説明する。本実施形態の投影システムＳは、図１に示すように、楽曲データベース１０が接続されたカラオケ演奏装置１、再生制御装置２、センサ３およびプロジェクタＰ等を備えて構成される。図１等において、「データベース」は単に「ＤＢ」と示されている。ここで、再生制御装置２は本発明の表示制御装置の一例である。投影システムＳは、たとえばカラオケ店舗等のアミューズメント施設における部屋で、カラオケ曲を歌唱するユーザＵＳに利用される。ユーザＵＳは本発明の対象者の一例である。プロジェクタＰ、カラオケ演奏装置１及びセンサ３はそれぞれ、有線または無線を介して再生制御装置２と接続される。また、カラオケ演奏装置１と再生制御装置２の少なくとも何れか一方には、有線または無線を介して、マイクＭおよび図示しないスピーカ並びに操作指示用の図示しない操作デバイスが接続される。

カラオケ演奏装置１は、カラオケ曲等の楽曲を再生する装置である。カラオケ演奏装置１に接続されている楽曲データベース１０は、複数の楽曲ファイルを、カラオケ演奏装置１から読み出し可能に記憶する。楽曲ファイルは、楽曲の楽曲データと、その楽曲をカラオケ曲として歌唱する際に表示される画像の画像データと、を関連付けて格納する。楽曲ファイルには、楽曲の歌詞に相当する歌詞データが合わせて格納されていてもよい。各楽曲ファイルには、たとえば、楽曲の楽曲ＩＤが対応付けられる。カラオケ演奏装置１は、上記操作デバイスにおいて指定された楽曲の楽曲ＩＤおよび再生指示をその操作デバイスから受信すると、再生指示された楽曲の楽曲データを楽曲データベース１０から読み出して再生し、そのオーディオ信号を上記スピーカへ出力する。またカラオケ演奏装置１は、再生指示された楽曲の楽曲ファイルから画像データを読み出し、再生制御装置２へ送信する。再生制御装置２は、カラオケ演奏装置１から送信された画像データを、プロジェクタＰを介して、投影画像Ｇとして予め設けられている投影面に投影する。この投影画像Ｇには図１に例示するように、上記歌詞データとして含まれていたその楽曲の歌詞が含まれていてもよい。ユーザＵＳは、カラオケ演奏装置１による楽曲の再生中に、投影面に投影された投影画像Ｇ中の歌詞を見ながら、マイクＭを持って、その楽曲をカラオケ曲として歌唱する。この場合にカラオケ演奏装置１は、楽曲のオーディオ信号と、マイクＭにより集音されたユーザＵＳの歌唱音声信号とをミキシングして上記スピーカへ出力して放音させる。このとき投影画像Ｇには図１に示すように、上記画像データに相当する画像および歌詞に加えて、本実施形態のキャラクタＣＨや本実施形態の仮想人物ＰＧが含まれている。

本実施形態のキャラクタＣＨは、楽曲に対応して再生制御装置２内の後述するキャラクタデータベース２６に予め記憶されていた人物様のキャラクタに相当する画像が、プロジェクタＰを介して投影画像Ｇ内に含まれて投影されるものである。また本実施形態の仮想人物ＰＧは、カラオケを歌唱するユーザＵＳの歌唱時の三次元空間における動きをセンサ３で検出して得られた後述の検出結果に基づいて、投影画像Ｇ内でカラオケの歌唱に合わせてユーザＵＳの動きと同じ動きをする仮想的な人物の画像である。これによりユーザＵＳは、自分と同じ動きをする仮想人物ＰＧが上記キャラクタＣＨと共にカラオケ曲を楽しんでいるかのような体験を得ることができる。ここで上記「ユーザＵＳの動き」とは、たとえば、マイクＭを持った手Ｈ等を動かしながらカラオケ曲を歌唱する際の動き、カラオケ曲の歌唱に合わせて振られる手Ｈの動き、または、カラオケ曲の歌唱に合わせたユーザＵＳの身体全体の動き等が該当する。

本実施形態のセンサ３には、たとえば、ＲＧＢ（Red Green Blue）カメラおよび深度カメラが用いられる。センサ３は、ＲＧＢカメラにより、ユーザＵＳを含み且つその画角に収まる撮像範囲を連続的に撮像することで、ＲＧＢカメラの画角内にいるユーザＵＳのＲＧＢ画像を連続的に取得する。深度カメラは、赤外線レーザなどによる深度センサである。センサ３は、深度カメラにより上記撮像範囲を連続的に撮像することで、いわゆるデプス画像を連続的に取得する。デプス画像には、センサ３の撮像範囲内の三次元空間における投影面上の各位置の三次元位置座標（Ｘ，Ｙ，Ｚ）を示す。たとえば図１の場合、センサ３の撮像範囲内の三次元空間にはカラオケ曲を歌唱するユーザＵＳが存在するので、デプス画像は、センサ３の撮像範囲内の三次元空間にいるユーザＵＳの表面上の各位置の三次元位置座標、およびユーザＵＳのたとえば背景にある壁面等上の各位置の三次元位置座標を含む。また図１の例の場合、センサ３は、取得したデプス画像からユーザＵＳを検出（認識）し、検出したユーザＵＳの輪郭や骨格を形成する各部位の位置を示す部位情報を取得する。センサ３は、上記取得したＲＧＢ画像、上記取得したデプス画像、および上記検出したユーザＵＳの部位情報を連続的に再生制御装置２へ送信する。センサ３は、少なくとも検出したユーザＵＳの部位情報を連続的に再生制御装置２へ送信するものであってもよい。なお、再生制御装置２が、デプス画像からユーザＵＳを検出し、検出したユーザＵＳの部位情報を取得してもよい。

ここでユーザＵＳの部位情報は、たとえば、ユーザＵＳの輪郭や骨格を形成する部位毎に、三次元位置座標（Ｘ，Ｙ，Ｚ）が対応付けられた情報であり、デプス画像に示される各位置までの深度から特定することが可能である。具体的には、深度カメラにより取得された各位置までの深度を、ユーザＵＳの輪郭や骨格を形成する各部位の位置を判断するための人物位置パターンデータと比較することにより、人物の輪郭や骨格を形成する各部位が特定される。上記人物位置パターンデータは、たとえば、予め所定のデータベース等に記憶された多数の種類の人物位置パターンから、デプス画像に示される各位置の深度に応じた所定のパターンデータを読み出して用いられる。ここで特定されるユーザＵＳの上記各部位の例としては、頭部、左肩部、右肩部、左肘部、右肘部、左手部、右手部、首部、胴部、腰部、左尻部、右尻部、左膝部、右膝部、左足部、および右足部等が挙げられる。このような部位情報には、部位の回転角Θが含まれる。部位の回転角Θとは、その部位に連結される他の部位を基準とする所定位置に対する角度を示す回転角Θである。もしくは、部位の回転角Θとは、その部位と間接的に連結される特定の部位の位置を基準とした回転角Θであってもよい。たとえば、頭部の回転角Θは、頭部に連結される首部を基準とする回転角Θである。首部の回転角Θは、首部に連結される胴部を基準とする回転角Θである。右手部または左手部の回転角Θは、右手部または左手部に連結される右肘部または左肘部を基準とする回転角Θである。回転角Θを含む部位情報は（Ｘ，Ｙ，Ｚ，Θ）というように表される。なお、人物の頭部の部位情報は、人物の頭を球体としたときの中心座標を示してもよいし、人物の頭の表面上にある複数の部位それぞれの位置座標を示してもよい。

プロジェクタＰは、投影対象の映像を再生する装置である。プロジェクタＰは、再生制御装置２から送信された画像データおよび投影指示を受信すると、投影指示された映像を再生し、その画像信号に応じた投影光を発光部から発することにより映像を出力する。これによりプロジェクタＰは、その投影角に収まる投影範囲の投影面に上記投影映像Ｇを投影する。

再生制御装置２は、楽曲の再生制御および映像の投影制御等を行うと共に、本実施形態の映像表示処理を行う装置である。再生制御装置２は図１に示すように、インターフェース２０、インターフェース２１およびインターフェース２２、制御部２３および記憶部２４を備える。インターフェース２０、インターフェース２１およびインターフェース２２、制御部２３および記憶部２４は、バス２７に接続されている。記憶部２４は本発明の記憶手段の一例であり、インターフェース２２は本発明の取得手段の一例である。インターフェース２０は、プロジェクタＰと再生制御装置２との間のインターフェースである。インターフェース２１は、カラオケ演奏装置１と再生制御装置２との間のインターフェースである。インターフェース２２は、センサ３と再生制御装置２との間のインターフェースである。記憶部２４は、たとえばハードディスクドライブにより構成される。記憶部２４には、ＯＳ（Operating System）、本実施形態の姿勢変更情報データベース２５およびキャラクタデータベース２６並びに本実施形態のプログラム等が記憶される。本実施形態のプログラムは、後述する映像表示処理をＣＰＵに実行させるプログラムである。

ここで本実施形態の映像表示処理において制御部２３は、仮想人物ＰＧの画像における所定の部位の姿勢を、その所定の部位についての適正姿勢として姿勢変更情報データベース２５に予め記憶されている情報により示される予め設定された姿勢に変更する。具体的にたとえば、仮想人物ＰＧにおいてその頭部より上に上げて振られているその左手部または右手部の姿勢が、センサ３から取得された左手部または右手部の姿勢に拘わらず、その手の平を正面に向けた適正姿勢に変更される。また、仮想人物ＰＧにおいてマイクＭを持って歌唱している際のその左手部および左肘部または右手部および右肘部の姿勢が、センサ３から取得された左手部および左肘部または右手部および右肘部の姿勢に拘わらず、マイクＭを正しく口元に向けた適正姿勢に変更される。このため記憶部２４には、キャラクタデータベース２６に加えて、本実施形態の映像表示処理としての上記姿勢の変更のための姿勢変更情報データベース２５が記憶されている。

制御部２３は、コンピュータとしてのＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等により構成される。制御部２３は、本発明の判定手段、変更手段および表示制御手段の一例である。制御部２３は、本発明のプログラムに従って映像表示処理を実行する。具体的には制御部２３は、ユーザＵＳの頭部等の位置および姿勢等を所定の三次元空間において特定する。ここで所定の三次元空間は、制御部２３により認識される仮想的な三次元空間であり、センサ３から取得されたデプス画像が示す三次元位置座標から特定される。換言すると、この三次元空間は、ユーザＵＳの動きに対応した仮想人物ＰＧが投影された投影画像Ｇを観察可能な範囲の三次元空間である。ユーザＵＳの頭部の位置は、センサ３から取得された「ユーザＵＳの頭部の部位情報」が示す三次元位置座標により特定される。またユーザＵＳの左肘部の位置は、センサ３から取得された「ユーザＵＳの左肘部の部位情報」が示す三次元位置座標により特定される。以下同様に、ユーザＵＳの各部位の位置は、センサ３から取得された「その部位の部位情報」が示す三次元位置座標により特定される。

記憶部２４に記憶されているキャラクタデータベース２６には、上記仮想人物ＰＧやキャラクタＣＨを投影画像Ｇとして投影するための各部位の画像データ等が、相互に識別されつつ記憶されている。

次に、記憶部２４に姿勢制御情報データベース２５として記憶されている各データベース等について、図２を用いて説明する。

図２に示すように、本実施形態の姿勢制御情報データベース２５には、姿勢変更用情報データベース２５０と、部位別基準ベクトルデータベース２５１と、変更条件データベース２５２と、特定部位姿勢変更処理データベース２５３と、演奏状態データベース２５４と、が記憶されている。

姿勢変更用情報データベース２５０には図２（ａ）に例示するように、「変更用情報ＩＤ」と、「目標姿勢」と、「第１判断用部位」と、「第２判断用部位」と、「変更条件ＩＤ」と、「第１変更部位」と、「第２変更部位」と、「第３変更部位」と、「特定部位姿勢変更処理ＩＤ」と、「優先順位」と、が、関連付けられた本実施形態の姿勢変更用情報が記憶されている。このとき変更用情報ＩＤは、一つの目標姿勢に関連付けられている姿勢変更用情報を他の目標姿勢に関連付けられている姿勢変更用情報から識別するための識別情報である。目標姿勢は、本実施形態の映像表示処理により適正姿勢とされるユーザＵＳの姿勢を示す情報である。たとえば、仮想人物ＰＧにおいてその頭部より上に上げて振られているその左手部または右手部の姿勢は、その手の平を正面に向けた姿勢が適正姿勢（目標姿勢）である。また、仮想人物ＰＧにおいてマイクＭを持って歌唱している際のその左手部および左肘部または右手部および右肘部の姿勢は、マイクＭを正しく口元に向けた姿勢が適正姿勢（目標姿勢）である。第１判断用部位は、適正姿勢とするために仮想人物ＰＧの画像において姿勢を変更するか否かの判断の基準とされるユーザＵＳの身体の部位である。第２判断用部位は、適正姿勢とするために仮想人物ＰＧの画像において姿勢を変更するか否かの判断の対象とされるユーザＵＳの身体の部位である。すなわち第１判断用部位および第２判断用部位は、適正姿勢とするために仮想人物ＰＧの画像において姿勢を変更するか否かの判断に用いられるユーザＵＳの身体の部位である。これら第１判断用部位および第２判断用部位が本発明の判断部位の一例である。なお、第１判断用部位および第２判断用部位のうち、本発明の判断部位の一例である第２判断用部位のみが記憶されていてもよい。変更条件ＩＤは、適正姿勢とするために仮想人物ＰＧの画像において姿勢を変更すると判定される場合に第１判断用部位と第２判断用部位とが備えるべき三次元空間内の位置関係を示す変更条件を他の変更条件から識別するための識別情報である。第１変更部位ないし第３変更部位は、適正姿勢とするために姿勢が変更される仮想人物ＰＧの部位に対応するユーザＵＳの部位である。この第１変更部位ないし第３変更部位が本発明の対応部位の一例である。第１変更部位ないし第３変更部位のうち、いずれか１つの変更部位が定められるものであってもよい。特定部位姿勢変更処理ＩＤは、適正姿勢とするために仮想人物ＰＧの画像において姿勢を変更する際の具体的な処理内容を他の処理内容から識別するための識別情報である。優先順位は、変更用情報ＩＤにより識別される姿勢変更用情報が複数ある場合に、それらを適用する優先順位を示す情報である。たとえば図２（ａ）に例示する場合、ユーザＵＳが頭より上に手を上げて左右に振る「手振り姿勢」を仮想人物ＰＧにおいて適正姿勢として投影させるための姿勢変更用情報が、「Ｉ１」なる変更用情報ＩＤにより他と区別して記憶されている。そして、変更用情報ＩＤ「Ｉ１」の姿勢変更用情報としては、第１判断用部位としての肘（以下、「Elbow」と称する）と第２判断用部位としての手部（以下、「Wrist」と称する）とが「Ｃ１」なる変更条件ＩＤにより識別される上記位置関係等にあるとき、第１変更部位としてのElbowの姿勢が「Ｐ１」なる特定部位姿勢変更処理ＩＤにより識別される処理内容により変更されることが記述されている。また同様に、歌唱中のユーザＵＳが口元に向けてマイクＭを持つ「マイク姿勢」を仮想人物ＰＧにおいて適正姿勢として投影させるための姿勢変更用情報が、「Ｉ２」なる変更用情報ＩＤにより他と区別して記憶されている。変更用情報ＩＤ「Ｉ２」の姿勢変更用情報としては、第１判断用部位としてのWristと第２判断用部位としての頭部（以下、「Head」と称する）とが「Ｃ２」なる変更条件ＩＤにより識別される上記位置関係にあるとき、第１変更部位としてのWristの姿勢、第２変更部位としてのElbowの姿勢および第３変更部位としての手の形（以下、「Fingers」と称する）が「Ｐ２」なる特定部位姿勢変更処理ＩＤにより識別される処理内容により変更されることが記述されている。また、変更用情報ＩＤ「Ｉ１」の姿勢変更用情報の適用の優先度が、変更用情報ＩＤ「Ｉ２」の姿勢変更用情報の適用の優先度より低いことが、優先順位として記述されている。

次に部位別基準ベクトルデータベース２５１には図２（ｂ）に例示するように、ユーザＵＳの部位ごとの本実施形態の基準ベクトルが、上記三次元位置座標を用いてそれぞれ記述されている。ここで本実施形態の基準ベクトルとは、仮想人物ＰＧの画像において両手Ｈを手の平を正面に向けて水平且つ左右に拡げ、両脚を揃えて直立し、更に頭部を正面に向けた姿勢（いわゆる「Ｔポーズ」）を取った場合の各部位の姿勢を定義する、上記三次元位置座標で表されたベクトルである。図２に例示する場合には、本実施形態の基準ベクトルが、WristおよびElbow共に（０、−１、０）であることが部位別基準ベクトルデータベース２５１として記述されている。この基準ベクトルについては、後ほど詳述する。

次に変更条件データベース２５２には図２（ｃ）に例示するように、上記変更条件ＩＤ（上記「Ｃ１」等）およびサブＩＤごとに、変更条件としての上記位置関係等が、その種別と共に上記三次元位置座標を用いて記述されている。ここで、一つの変更条件ＩＤに複数のサブＩＤが関連付けられている場合、その各サブＩＤにより識別される条件種別および条件が全て満たされた場合に、その変更条件ＩＤにより識別される位置関係が満たされていることになる。

次に特定部位姿勢変更処理データベース２５３には図２（ｄ）に例示するように、上記特定部位姿勢変更処理ＩＤ（上記「Ｐ１等」）および特定部位姿勢変更処理サブＩＤごとに、仮想人物ＰＧの画像において姿勢を変更する際の具体的な処理内容が、変更されるユーザＵＳの部位と共に記述されている。ここで、一つの特定部位姿勢変更処理ＩＤに複数の特定部位姿勢変更処理サブＩＤが関連付けられている場合、その各特定部位姿勢変更処理サブＩＤにより識別される変更部位および処理の内容が、特定部位姿勢変更処理ＩＤにより識別される処理として実行される。なお、図２（ｄ）における「目標ベクトル」についても、上記基準ベクトルと共に後ほど詳述する。

最後に演奏状態データベース２５４には図２（ｅ）に例示するように、上記変更情報データベース２５２を構成する条件として記述されるカラオケ曲の演奏状態が、状態ＩＤにより識別されつつ記述されている。ここで、図２（ｅ）に例示する場合、「非演奏状態」とはカラオケ演奏装置１によるカラオケ曲の演奏がされていない状態をいう。「歌唱状態」とはカラオケ曲の演奏と共にユーザＵＳが実際に歌唱をしている状態をいう。「間奏状態」とはカラオケ曲は演奏されているがユーザＵＳは歌唱していない状態をいい、カラオケ曲として前奏である状態および後奏である状態を含む。

以上それぞれ説明した姿勢変更情報データベース２５に基づいて制御部２３は、後述するように本実施形態の映像表示処理を行う。

２．本実施形態の映像表示処理
次に、制御部２３を中心として実行される本実施形態の映像表示処理について、具体的に図３ないし図８を用いて説明する。本実施形態の映像表示処理は、たとえば、再生制御装置２の電源スイッチをオンとしたタイミングから開始される。図３（ａ）に示すように、本実施形態の映像表示処理において制御部２３は、はじめにセンサ３を起動し（ステップＳ１）、従来と同様の手法により、投影画像Ｇに含める仮想人物ＰＧ、キャラクタＣＨおよびその他のオブジェクト（たとえば背景画像やマイクＭの画像等）を暫定的に生成する（ステップＳ２）。このステップＳ２において制御部２３は、キャラクタデータベース２６に記憶されている画像データ等を読み出して、必要な仮想人物ＰＧおよびキャラクタＣＨ等を生成する。またステップＳ２では、仮想人物ＰＧ等の実際の描画および投影までは行わない。

次に制御部２３は、センサ３の撮像範囲内にユーザＵＳが検出されたか否かを判定する（ステップＳ３）。ステップＳ３の判定においてユーザＵＳが検出されない場合（ステップＳ３：ＮＯ）、制御部２３は後述するステップＳ６に移行する。一方ステップＳ３の判定において、センサ３の撮像範囲内にユーザＵＳが検出された場合（ステップＳ３：ＹＥＳ）、制御部２３はセンサ３からユーザＵＳにおける各部位についての上記三次元位置座標を関節情報としてそれぞれ取得する（ステップＳ４）。すなわち制御部２３は、ユーザＵＳの身体の部位の三次元空間での位置の検出結果を取得する。次に制御部２３は、上記適正姿勢とするための仮想人物ＰＧの姿勢計算処理を行う（ステップＳ５）。このステップＳ５については、後ほど詳述する。

次に制御部２３は、ステップＳ５の姿勢計算結果を用いて仮想人物ＰＧ等を含む投影画像Ｇの描画処理、並びにプロジェクタＰを介した投影処理を実行する（ステップＳ６）。すなわち制御部２３は、ステップＳ５の姿勢計算結果による姿勢を含む仮想人物ＰＧ等の画像を作成し、プロジェクタＰを介して投影させる。

そして制御部２３は、上記図示しない操作デバイスから本実施形態の映像表示処理を終了する指示があったか否かを判定する（ステップＳ７）。ステップＳ７の判定において終了指示がない場合（ステップＳ７：ＮＯ）、制御部２３は上記ステップＳ３に戻ってそれ以降の処理を繰り返す。一方ステップＳ７の判定において終了指示があった場合（ステップＳ７：ＹＥＳ）、制御部２３はそのまま本実施形態の映像表示処理を終了する。

次に、図３（ａ）ステップＳ５の姿勢計算処理について、図３（ｂ）を用いて更に説明する。

上記ステップＳ５において制御部２３は、ステップＳ４で取得した関節情報に基づいて、仮想人物ＰＧの画像における各部位の姿勢を暫定的に計算する（ステップＳ５０）。このステップＳ５０の処理自体は、従来の仮想人物ＰＧにおける姿勢の計算処理と同様の処理である。

次に制御部２３は、図２（ａ）に例示する姿勢変更用情報における優先順位を示すパラメータｉを「１」として初期化し（ステップＳ５１）、次にｉ番目の姿勢変更用情報を姿勢変更用情報データベース２５０から取得する（ステップＳ５２）。このステップＳ５２としては、たとえば再生制御装置２の電源スイッチを入れて最初に本実施形態の映像表示処理を実行する場合、変更用情報ＩＤが「Ｉ２」である姿勢変更用情報を姿勢変更用情報データベース２５０から取得する。次に制御部２３は、図３（ａ）ステップＳ４で取得した関節情報により示される各判断用部位の位置関係やカラオケ曲のその時点での演奏状態が、ステップＳ５２で取得した姿勢変更用情報に記述されている変更条件ＩＤにより識別される位置関係等に合致しているか否かを判定する（ステップＳ５３）。すなわち制御部２３は、図３（ａ）ステップＳ４で取得した関節情報により示される各判断用部位の位置関係等に基づいて、各判断用部位の位置関係が変更条件ＩＤにより識別される位置関係等を満たすか否かを判定する。ここで、演奏状態データベース２５４として記述されている演奏条件は、たとえば、カラオケ曲自体の内容に基づいてユーザＵＳの歌唱状態等が判定される。歌唱状態は、具体的には歌唱中の有無の状態である。またこの場合、ユーザＵＳの姿勢等の検出結果を示す部位情報に基づいてユーザＵＳの歌唱状態を判定してもよい。ステップＳ５３の判定において、図３（ａ）ステップＳ４で取得した関節情報により示される各判断用部位の位置関係等が変更条件ＩＤにより識別される位置関係等に合致していない場合（ステップＳ５３：ＮＯ）、制御部２３はパラメータｉを「１」だけインクリメントする（ステップＳ５５）。その後処理部２３は、上記ステップＳ５２に戻る。ステップＳ５３の判定において、図３（ａ）ステップＳ４で取得した関節情報により示される各判断用部位の位置関係等が変更条件ＩＤにより識別される位置関係等に合致している場合（ステップＳ５３：ＹＥＳ）、制御部２３は、その姿勢変更用情報に含まれている処理を実行して仮想人物ＰＧの画像における必要な部位の姿勢を適正姿勢に変更する（ステップＳ５４）。すなわち制御部２３は、各判断用部位の位置関係が変更条件ＩＤにより識別される位置関係等を満たすと判定された場合に、仮想人物ＰＧの所定の部位の姿勢を、満たされた条件に関連付けられている目標姿勢に変更する。その後制御部２３は、図３（ａ）ステップＳ６に移行する。

次に、図３（ｂ）ステップＳ５４の姿勢変更処理について、仮想人物ＰＧの画像における手の平の姿勢を図２（ａ）に例示する「手振り姿勢」としての適正姿勢とする場合の処理を第１実施例として更に説明する。また、仮想人物ＰＧの画像におけるマイクＭを持つ姿勢を図２（ａ）に例示する「マイク姿勢」としての適正姿勢とする場合の処理を第２実施例として更に説明する。

（Ｉ）第１実施例（手振り姿勢の適正化）
第１実施例としてのステップＳ５４では、制御部２３は先ず、図３（ｂ）ステップＳ５０で暫定的に計算されたWristの姿勢を示すWrist姿勢変更情報を、Wristの姿勢を上記Ｔポーズに対応した初期姿勢とするために取得する（ステップＳ５４０）。ここで上記初期姿勢とは、ＴポーズにおけるElbowに対するWristの姿勢をいう。次に制御部２３は、仮想人物ＰＧの画像における前方方向のベクトルを、Elbowの姿勢変更のための目標ベクトルに設定し（ステップＳ５４１）、第１実施例のElbow姿勢変更情報計算処理を実行する（ステップＳ５４２）。その後制御部２３は、ステップＳ５４２の計算結果としての適正姿勢を仮想人物ＰＧの画像におけるElbowに適用して（ステップＳ５４３）、図３（ａ）ステップＳ６に移行する。

次に、ステップＳ５４２のElbow姿勢変更情報計算処理について、図４（ｂ）および図５を用いて説明する。なお、図５（ａ）および図５（ｂ）は、三次元位置座標において上から見た図である。

上記ステップＳ５４２において制御部２３は、はじめに、図３（ａ）ステップＳ４で取得した関節情報に基づいて、Elbowの位置からWristの位置に向かう前腕ベクトルを計算する（ステップＳ５４２０）。ここで図５（ａ）左に例示する三次元位置座標系において、図５（ａ）右に示す前腕ＨＧに対応したElbowの位置ＰＳ１の三次元位置座標が（−０．３、１．５、０）であり、Wristの位置ＰＳ２の三次元位置座標が（−０．６、１．８、−０．２）であったとする。この場合に制御部２３は上記ステップＳ５４２０として、位置ＰＳ１から位置ＰＳ２に向かう前腕ベクトルＡＶを（−０．３、０．３、−０．２）と計算し、その大きさ（長さ）を「０．４７」と計算する。次に制御部２３は、現在のElbow基準ベクトルＳＶを計算する（ステップＳ５４２１）。ここで、Elbow基準ベクトルの初期値は上述したように（０、−１、０）で表されるが、ステップＳ５４２０で計算された前腕ベクトルＡＶの現在のElbow基準ベクトルＳＶが（−０．２８、−０．９６、０）で表され、主として−ｙ方向を向いているとする。このとき、一般にベクトルａとベクトルｂとの内積がそれらの為す角をθとして「┃ａ┃×┃ｂ┃×cosθ」で表されることから、前腕ベクトルＡＶとElbow基準ベクトルＳＶとの内積は「−０．２０」となる。

次に制御部２３は、垂直Elbow基準ベクトルＶＳＶを計算する（ステップＳ５４２２）。この垂直Elbow基準ベクトルＶＳＶとは、前腕ベクトルＡＶに対する上記Elbow基準ベクトルＳＶの垂直成分である。ここで、前腕ベクトルＡＶ（以下の式において単に「ＡＶ」とする）に対するElbow基準ベクトルＳＶ（以下の式において単に「ＳＶ」とする）の水平成分ｈは、Elbow基準ベクトルＳＶと前腕ベクトルＡＶとの為す角をθとし、Elbow基準ベクトルＳＶと前腕ベクトルＡＶとの内積を「（ＡＶ・ＳＶ）」と表すとすると、以下の式で算出される。

ｈ＝┃ｈ┃×ＡＶ／┃ＡＶ┃
＝┃ＳＶ┃×cosθ×ＡＶ／┃ＡＶ┃
＝｛（ＡＶ・ＳＶ）／┃ＡＶ┃｝×ＡＶ／┃ＡＶ┃
＝｛（ＡＶ・ＳＶ）／┃ＡＶ┃^２｝×ＡＶ
＝（０．２８、−０．２８、０．１９）
よって、上記垂直Elbow基準ベクトルＶＳＶは、以下の式で算出される。

垂直Elbow基準ベクトルＶＳＶ＝ＳＶ−ｈ
＝ＳＶ−｛（ＡＶ・ＳＶ）／┃ＡＶ┃^２｝×ＡＶ
＝（−０．５６、−０．６８、−０．１９）
なおこのとき、垂直Elbow基準ベクトルＶＳＶの大きさは「０．９０」となる。

次に制御部２３は、図５（ｂ）に示すように、手の平を前に向けた目標姿勢に対応する目標ベクトルＯＶを取得する（ステップＳ５４２３）。この場合の目標ベクトルＯＶは、手の平を前に向けた姿勢に相当することから、（０、０、−１）で表されるベクトルとなる。次に制御部２３は、ステップＳ５４２３で取得した目標ベクトルＯＶに基づいて、上記垂直Elbow基準ベクトルＶＳＶの場合と同様にして、目標ベクトルＯＶと前腕ベクトルＡＶとの間の内積および目標ベクトルＯＶの前腕ベクトルＡＶに対する水平成分を求める。そして制御部２３は、これらを用いて、目標ベクトルＯＶの前腕ベクトルＡＶに対する垂直成分である垂直目標ベクトルＶＯＶを計算する（ステップＳ５４２４）。

その後制御部２３は、図５（ｃ）に例示するように、垂直Elbow基準ベクトルＶＳＶと垂直目標ベクトルＶＯＶとの間の角度である変更角度を計算する（ステップＳ５４２５）。なお図５（ｃ）は、前腕ベクトルＡＶに垂直な面から且つユーザＵＳの頭側から見た図である。この変更角度が、ステップＳ５０で計算されたElbowの姿勢（すなわち手の平の向き）から回転させてElbowの適正姿勢とするための角度となる。上述した垂直Elbow基準ベクトルＶＳＶと垂直目標ベクトルＶＯＶの場合は、その間の余弦の値が「０．２３」となることから、上記変更角度は「７６．８度」となる。このとき制御部２３は、Elbowを回転させる方向を、前腕ベクトルＡＶと、垂直Elbow基準ベクトルＶＳＶと垂直目標ベクトルＶＯＶとの外積の向きと、から算出する。次に制御部２３は、前腕ベクトルＡＶとステップＳ５４２５で計算された変更角度から、Elbowの回転に関する姿勢変更クォータニオン（四元数）を計算する（ステップＳ５４２６）。

ここで、姿勢変更クォータニオンの計算に際し、いわゆる正規化軸ベクトルを（ｘ、ｙ、ｚ）とし、上記変更角度（回転させる角度）をθとすると、回転を表すクォータニオンＱは、以下の式で計算される。

Ｑ＝（cos（θ/2）；ｘ×sin（θ/2）、ｙ×sin（θ/2）、ｚ×sin（θ/2））
そして、Elbowの回転姿勢を表すクォータニオンをＬ、変形後のElbowの回転姿勢を表すクォータニオンをＬ’とすると、
Ｌ’＝Ｑ×Ｌ
となる。

その後制御部２３は、ステップＳ５０で計算されたElbowの姿勢と上記姿勢変更クォータニオンとに基づいて、Elbowとしての変更姿勢を計算する（ステップＳ５４２７）。その後制御部２３は、図４（ａ）ステップＳ５４３に移行する。

以上説明した第１実施例によると、投影画像Ｇ中の仮想人物ＰＧの手Ｈは、図６（ａ）に例示する誤った方向から、図６（ｂ）に例示するように手Ｈとしての適正姿勢である前方を向くことになる。

（II）第２実施例（マイク姿勢の適正化）
第２実施例としてのステップＳ５４では、マイクＭが正しく口元に向いた仮想人物ＰＧの画像となるように、Wrist、ElbowおよびFingersの姿勢をそれぞれ変更する。すなわち制御部２３は、第２実施例としてのステップＳ５４では先ず、図７（ａ）に示すように、図３（ｂ）ステップＳ５０で暫定的に計算されたWristの姿勢を正しく変更するためのWrist姿勢変更情報計算処理を行う（ステップＳ５５０）。このステップＳ５５０については、後ほど詳述する。

次に制御部２３は、ステップＳ５５０の計算結果に対応した姿勢変更後のWrist基準ベクトルを、Elbowの目標ベクトルとして設定する（ステップＳ５５１）。このときの基準ベクトルおよび目標ベクトルそれぞれの定義は、第１実施例の場合と同様である。次に制御部２３は、図４（ｂ）および図５を用いて説明したElbow姿勢変更情報計算処理（図４（ｂ）参照）と同様のElbow姿勢変更情報計算処理を、ステップＳ５５１で設定したElbowの目標ベクトルを用いて実行する（ステップＳ５５２）。次に制御部２３は、ステップＳ５５２に対応するFingersの形をマイクＭを握る形に変更するためのFingers姿勢変更情報を、たとえばキャラクタデータベース２６から取得する（ステップＳ５５３）。次に制御部２３は、ステップＳ５５０、ステップＳ５５２およびステップＳ５５３の各計算結果としての適正姿勢を仮想人物ＰＧの画像におけるWrist、ElbowおよびFingersに適用する（ステップＳ５５４）。そして制御部２３は、マイクＭに対応したマイクオブジェクトを適正姿勢となったFingersにおける親指側にマイクの頭が向くように生成し（ステップＳ５５５）、図３（ａ）ステップＳ６に移行する。なおこの場合のマイクオブジェクトは、適正姿勢となったFingersに関連付けられて、仮想人物ＰＧの口元側を向くことになる。

次に、ステップＳ５５０のWrist姿勢変更情報計算処理について、図７（ｂ）を用いて説明する。

上記ステップＳ５５０において制御部２３は、はじめに、予め設定された初期姿勢から手を縦向きにした姿勢である第１目標姿勢を取得し（ステップＳ５５０１）、その第１目標姿勢におけるWrist基準ベクトルを計算する（ステップＳ５５０２）。ステップＳ５５０２におけるWrist基準ベクトルの計算方法は、図４（ｂ）に示す場合と同様である。次に制御部２３は、WristからHeadに向かうベクトルとして目標ベクトルを計算する（ステップＳ５５０３）。この目標ベクトル自体の意味は第１実施例の場合と同様である。次に制御部２３は、ステップＳ５５０２で計算されたWrist基準ベクトルとステップＳ５５０３で計算された目標ベクトルを用いて、仮想人物ＰＧの画像におけるWristの姿勢を適正姿勢とするための姿勢変更クォータニオンを計算する（ステップＳ５５０４）。このステップＳ５５０４における姿勢変更クォータニオンの計算方法も、図４（ｂ）に示す場合と同様である。

その後制御部２３は、ステップＳ５５０１で取得した第１目標姿勢とステップ５５０４で計算した姿勢変更クォータニオンに基づいて、Wristとしての変更姿勢を計算する（ステップＳ５５０５）。その後制御部２３は、図７（ａ）ステップＳ５５１に移行する。

以上説明した第２実施例によると、投影画像Ｇ中の仮想人物ＰＧのマイクＭに対応するマイクオブジェクトＭＯは、図８（ａ）に例示する誤った位置および方向から、図８（ｂ）に例示するように、マイクオブジェクトＭＯとしての適正姿勢である口元を向くことになる。第２実施例によれば、ユーザＵＳがカラオケを歌唱する者である場合に、そのカラオケの原曲の歌手における感情表現等を正しく再現することができる。

以上説明したように、上記実施形態によれば、ユーザＵＳの身体の部位の三次元的な位置の検出結果に基づき、各判断用部位の位置関係が既定の条件を満たすか否かを判定する。そして、各判断用部位の位置関係が既定の条件を満たすと判定された場合に、仮想人物ＰＧの画像における所定部位の姿勢を、上記既定の条件に関連付けられている目標姿勢に変更し、その変更後の姿勢を含む仮想人物ＰＧの画像を投影する。よって、他の構成部材の追加や処理負荷の増加をすることなく、正しい姿勢の仮想人物ＰＧの画像を表示させることができる。

なお上述した実施形態では、仮想人物ＰＧの画像における必要な部位の姿勢を変更するか否かの判定のために２つの判断用部位の位置を用いたが、３つ以上の判断用部位の位置を検出して、仮想人物ＰＧの画像の姿勢を変更するか否かの判定を行ってもよい。たとえば、ユーザＵＳの両方のElbowの位置とHeadの位置を検出して仮想人物ＰＧの画像における特定の部位の姿勢を変更するか否かを判定する場合、判断用部位の数は３となる。また、両手の形を検出して仮想人物ＰＧの画像における特定の部位の姿勢を変更するか否かの判定をする場合、判断用部位の数は、両方の肩部、両方のElbowおよび両方のWristの、合計６つとなる。さらに、ユーザＵＳの全身の判断用部位の位置を検出して、仮想人物ＰＧの画像における特定の部位の姿勢を変更するか否かの判定に用いる場合も考えられる。

さらにまた、１つの判断用部位のみの位置と、他の判断用部位の位置以外の予め設定された基準との関係を用いて、仮想人物ＰＧの画像における必要な部位の姿勢を変更するか否かの判定を行ってもよい。この場合の「予め設定された基準」とは、たとえば、「手（Wrist）の位置が、仮想人物ＰＧの立っている面から１．５メートル以上の位置にある」といった基準となる。

また上記実施形態においては、投影画像ＧにはユーザＵＳに相当する仮想人物ＰＧまたはキャラクタＣＨと表示する場合を例にとって説明したが、これら以外の、人以外の物等に相当する画像を投影画像Ｇに表示する場合に適用することができる。

１ カラオケ演奏装置
２ 再生制御装置
３ センサ
１０ 楽曲データベース
２０、２１、２２ インターフェース
２３ 制御部
２４ 記憶部
２５ 姿勢変更情報データベース
２６ キャラクタデータベース
２５０ 姿勢変更用情報データベース
２５１ 部位別基準ベクトルデータベース
２５２ 変更条件データベース
２５３ 特定部位姿勢変更処理データベース
２５４ 演奏状態データベース
Ｓ 投影システム
Ｐ プロジェクタ
Ｍ マイク
Ｇ 投影画像
ＵＳ ユーザ
ＣＨ キャラクタ
ＰＧ 仮想人物
Ｈ 手
ＨＧ 前腕
ＰＳ１、ＰＳ２ 位置
ＡＶ 前腕ベクトル
ＳＶ Elbow基準ベクトル
ＶＳＶ 垂直Elbow基準ベクトル
ＯＶ 目標ベクトル
ＶＯＶ 垂直目標ベクトル
ＭＯ マイクオブジェクト

Claims (8)

1. 三次元空間に存在する対象者の姿勢に対応した姿勢をする仮想人物を示す画像を表示させる表示制御装置であって、
   前記画像により示される前記仮想人物の所定の部位と対応する前記対象者の身体の部位を示す対応部位と、前記所定の部位の姿勢の変更を行うか否かの判断に用いられる前記対象者の身体の部位を示す少なくとも１つの判断部位と、前記対象者の姿勢における前記判断部位の位置を示す所定の条件と、前記対応部位と対応する前記仮想人物の前記所定の部位の適正姿勢として予め設定された姿勢を示す目標姿勢データと、を関連付けて記憶する記憶手段と、
   前記対象者の身体の部位の三次元空間での位置の検出結果を取得する取得手段と、
   前記取得手段により取得された前記検出結果に基づいて、前記判断部位の位置が前記条件を満たすか否かを判定する判定手段と、
   少なくとも１つの前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記対応部位に対応する前記仮想人物の前記所定の部位の姿勢を、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更する変更手段と、
   前記取得手段により取得された前記検出結果における前記位置に基づいて、前記変更手段により変更された姿勢を含む前記仮想人物の前記画像を表示させる表示制御手段と、
   を備えることを特徴とする表示制御装置。
2. 請求項１に記載の表示制御装置において、
   前記記憶手段は、前記判断部位として、前記所定の部位の姿勢の変更を行うか否かの判断に用いられる前記対象者の身体の複数の部位を示す複数の前記判断部位を記憶し、さらに、前記条件として、前記対象者の姿勢における複数の前記判断部位の位置関係を示す関係条件を記憶するものであり、
   前記判定手段は、前記取得手段により取得された前記検出結果に基づいて、複数の前記判断部位の位置関係が前記関係条件を満たすか否かを判定し、
   前記変更手段は、複数の前記判断部位の位置関係が前記関係条件を満たすと前記判定手段により判定された場合に、前記対応部位に対応する前記仮想人物の前記所定の部位の姿勢を、満たされた前記関係条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする表示制御装置。
3. 請求項１または請求項２に記載の表示制御装置において、
   前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記変更手段は、前記仮想人物の前記所定の部位の姿勢を、前記取得手段により取得された前記検出結果の位置に基づく前記対象部位の姿勢に対応する前記所定の部位の姿勢から回転させることにより、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする表示制御装置。
4. 請求項１から請求項３のいずれか一項に記載の表示制御装置において、
   前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記変更手段は、前記仮想人物の手首および手を前記所定の部位として、前記仮想人物の前記手首および前記手の姿勢を、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする表示制御装置。
5. 請求項１から請求項３のいずれか一項に記載の表示制御装置において、
   前記判断部位の位置が前記条件を満たすと前記判定手段により判定された場合に、前記変更手段は、前記仮想人物の手首および肘を前記所定の部位として、前記仮想人物の肘の姿勢を前記肘に対応し且つ満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更し、さらに、前記仮想人物の前記肘の姿勢が前記肘に対応する前記目的姿勢データが示す姿勢に変更された前記仮想人物の姿勢に対し、前記仮想人物における手首の姿勢を、前記手首に対応し且つ満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更することを特徴とする表示制御装置。
6. 請求項１から請求項５のいずれか一項に記載の表示制御装置において、
   前記対象者はカラオケ曲を歌唱する者であり、
   前記変更手段は、前記カラオケ曲の内容に基づいて前記対象者が歌唱すると判断された場合に、前記仮想人物の前記所定の部位として、手首および手の姿勢を、マイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢にそれぞれ変更し、
   前記表示制御手段は、前記カラオケ曲の内容に基づいて前記対象者が歌唱すると判断され、前記変更手段によりマイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢へ前記仮想人物の前記手首および前記手の姿勢が変更されたとき、変更された前記姿勢の前記仮想人物の前記画像を表示させることを特徴とする表示制御装置。
7. 請求項１から請求項５のいずれか一項に記載の表示制御装置において、
   前記対象者はカラオケ曲を歌唱する者であり、
   前記変更手段は、前記取得手段により取得された前記検出結果に基づいて前記対象者が歌唱すると判断された場合に、前記仮想人物の前記所定の部位として、手首および手の姿勢を、マイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢にそれぞれ変更し、
   前記表示制御手段は、前記取得手段により取得された前記検出結果に基づいて前記対象者が歌唱すると判断され、前記変更手段によりマイクを前記仮想人物の口元に向けて所持する前記目標姿勢データが示す姿勢へ前記仮想人物の前記手首および前記手の姿勢が変更されたとき、変更された前記姿勢の前記仮想人物の前記画像を表示させることを特徴とする表示制御装置。
8. 三次元空間に存在する対象者の姿勢に対応した姿勢をする仮想人物を示す画像を表示させる表示制御装置であって、前記画像により示される前記仮想人物の所定の部位と対応する前記対象者の身体の部位を示す対応部位と、前記所定の部位の姿勢の変更を行うか否かの判断に用いられる前記対象者の身体の部位を示す少なくとも１つの判断部位と、前記対象者の姿勢における前記判断部位の位置を示す所定の条件と、前記対応部位と対応する前記仮想人物の前記所定の部位の適正姿勢として予め設定された姿勢を示す目標姿勢データと、を関連付けて記憶する記憶手段を備える表示制御装置に含まれるコンピュータに、
   前記対象者の身体の部位の三次元空間での位置の検出結果を取得する取得ステップと、
   前記取得ステップにおいて取得された前記検出結果に基づいて、前記判断部位の位置が前記条件を満たすか否かを判定する判定ステップと、
   少なくとも１つの前記判断部位の位置が前記条件を満たすと前記判定ステップにおいて判定された場合に、前記対応部位に対応する前記仮想人物の前記所定の部位の姿勢を、満たされた前記条件に関連付けられている前記目標姿勢データが示す姿勢に変更する変更ステップと、
   前記取得ステップにおいて取得された前記検出結果における前記位置に基づいて、前記変更ステップにおいて変更された姿勢を含む前記仮想人物の前記画像を表示させる表示制御ステップと、
   を実行させることを特徴とするプログラム。