JP2007072194A - 人型映像制御装置 - Google Patents

Abstract

【課題】 可及的簡単なセンサを用いて利用者の動作を写実的に人型映像に反映する人型映像制御装置を提供する。
【解決手段】 利用者６８の立つ床面７０に対して垂直を成す第１の方向に関して頭６８ｈの位置を検出する第１の検出手段７８と、前記第１の方向と、床面７０に対して平行を成す第２の方向とに関して手６８ｍの位置を検出する第２の検出手段８０と、前記第２の方向と、前記第１の方向及び第２の方向に対して垂直を成す第３の方向に関して足６８ｆの位置を検出する第３の検出手段８２と、第１乃至第３の検出手段７８、８０、８２による検出結果に基づいて利用者６８の体の各部位の位置を算出する位置算出手段８４と、その位置算出手段８４による算出結果をアバタ１０２に反映する制御を行う人型映像制御手段１００とを、有することから、最小限の情報取得により前記アバタ１０２に利用者６８の動作を反映する自然な３次元の動きをつけることができる。
【選択図】 図４

Description

本発明は、簡易的な人型映像の表示を制御する人型映像制御装置の改良に関し、特に、可及的簡単なセンサを用いて利用者の動作を写実的に人型映像に反映する技術に関する。

近年、アバタ（avatar）と呼ばれる簡易的な人型映像が各種分野において実用されている。このアバタとは、例えば、インターネットにおけるチャット等に際して利用者の分身的な意味合いで表示されるキャラクタであり、そのチャットにおける会話の流れに応じてその表情を変化させること等により、利用者の心象を視覚的に相手に伝えるコミュニケーションの補助ツールとして用いられるものである。また、斯かる態様のみならず、上記アバタは種々のエンターテイメント分野において利用されると共に、新たな利用形態が模索されている。

斯かるアバタの一形態として、所定のセンサ装置により利用者の動作を検出し、その動作をアバタに反映する技術が提案されている。例えば、特許文献１に記載されたアバタ表示装置がそれである。この技術によれば、頭、手、及び足等の部分毎にアバタのアニメーション適用条件を予め定めたアバタ属性定義テーブルを参照することで、キーボード、マウス、及び撮像装置等の入力装置からの入力に応じて３次元的なアバタのアニメーションを実現できるとされている。

特開２００１−１６０１５４号公報

しかし、前記従来の技術のように、キーボード、マウス、及び撮像装置等の入力装置からの入力に応じてアバタの動作を制御する技術では、利用者の動作を十分写実的にアバタに反映することができなかった。一方、前記アバタの制御に類する技術として、利用者の動作をセンサにより検出してその動作を３次元的な映像に反映する所謂バーチャルリアリティ技術があるが、従来のバーチャルリアリティ技術は、一般的に精度の高い仮想現実空間の現出を目的とするものであり、センサをはじめとする装置に高価なものが求められるため、エンターテイメント分野におけるアバタの制御には適さなかった。このため、可及的簡単なセンサを用いて利用者の動作を写実的に人型映像に反映する人型映像制御装置の開発が求められていた。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、可及的簡単なセンサを用いて利用者の動作を写実的に人型映像に反映する人型映像制御装置を提供することにある。

斯かる目的を達成するために、本発明の要旨とするところは、映像表示装置に表示される簡易的な人型映像を制御する人型映像制御装置であって、利用者の立つ床面に対して垂直を成す第１の方向に関してその利用者の頭の位置を検出する第１の検出手段と、前記第１の方向と、前記床面に対して平行を成す第２の方向とに関して前記利用者の手の位置を検出する第２の検出手段と、前記第２の方向と、前記第１の方向及び第２の方向に対して垂直を成す第３の方向に関して前記利用者の足の位置を検出する第３の検出手段と、前記第１の検出手段、第２の検出手段、及び第３の検出手段による検出結果に基づいて前記利用者の体の各部位の位置を算出する位置算出手段と、その位置算出手段による算出結果に応じて前記利用者の動作を前記人型映像に反映する制御を行う人型映像制御手段とを、有することを特徴とするものである。

このようにすれば、利用者の立つ床面に対して垂直を成す第１の方向に関してその利用者の頭の位置を検出する第１の検出手段と、前記第１の方向と、前記床面に対して平行を成す第２の方向とに関して前記利用者の手の位置を検出する第２の検出手段と、前記第２の方向と、前記第１の方向及び第２の方向に対して垂直を成す第３の方向に関して前記利用者の足の位置を検出する第３の検出手段と、前記第１の検出手段、第２の検出手段、及び第３の検出手段による検出結果に基づいて前記利用者の体の各部位の位置を算出する位置算出手段と、その位置算出手段による算出結果に応じて前記利用者の動作を前記人型映像に反映する制御を行う人型映像制御手段とを、有することから、前記利用者の動作に関する最小限の情報を取得することで、前記人型映像にその動作を反映する少なくともエンターテイメント分野においては十分に自然な３次元の動きをつけることができる。すなわち、可及的簡単なセンサを用いて利用者の動作を写実的に人型映像に反映する人型映像制御装置を提供することができる。

ここで、好適には、前記第１の検出手段及び第２の検出手段は、前記床面に対して位置固定に設けられた撮像装置により撮像される前記利用者の映像に基づいてその利用者の頭及び手の位置を検出するものである。このようにすれば、比較的安価且つ実用的な装置を用いて前記利用者の頭及び手の位置を検出することができるという利点がある。

また、好適には、前記第３の検出手段は、前記床面に敷かれたマット状の圧力センサから供給される情報に基づいて前記利用者の足の位置を検出するものである。このようにすれば、比較的安価且つ実用的な装置を用いて前記利用者の足の位置を検出することができるという利点がある。

また、好適には、前記位置算出手段は、前記第１の検出手段及び第３の検出手段による検出結果に基づいて前記利用者の足の位置を算出する足位置算出手段と、前記第１の検出手段による検出結果に基づいて前記利用者の頭の位置を算出する頭位置算出手段と、前記第１の検出手段による検出結果に基づいて前記利用者の尻の位置を算出する尻位置算出手段と、前記第１の検出手段及び第３の検出手段による検出結果に基づいて前記利用者の脚関節の位置を算出する脚関節位置算出手段と、前記第１の検出手段による検出結果に基づいて前記利用者の肩の位置を算出する肩位置算出手段と、前記第１の検出手段及び第２の検出手段による検出結果に基づいて前記利用者の手の位置を算出する手位置算出手段と、前記第１の検出手段及び第２の検出手段による検出結果に基づいて前記利用者の肘の位置を算出する肘位置算出手段とを、含むものである。このようにすれば、前記第１の検出手段、第２の検出手段、及び第３の検出手段による検出結果に基づいて前記利用者の体の各部位の位置を詳細に算出することができ、その利用者の動作を更に写実的に前記人型映像に反映できるという利点がある。

また、好適には、前記人型映像制御装置は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その出力と同期してその演奏曲の歌詞文字映像を表示させる映像表示装置を備えたカラオケ装置において、その映像表示装置に表示される前記人型映像を制御するものである。このようにすれば、カラオケボックス等で用いられるカラオケ装置の映像表示装置に、演奏者の動作を反映する人型映像を前記演奏曲の歌詞文字映像と共に表示できるという利点がある。

また、好適には、前記第２の検出手段は、前記カラオケ装置に備えられて前記利用者の手に把持されて用いられる音声入力装置の位置を検出するものである。このようにすれば、特徴的な形状を有する音声入力装置の位置を検出することで、その音声入力装置を把持する前記利用者の手の位置を好適に検出できるという利点がある。

また、好適には、前記音声入力装置は、赤外線を介して前記カラオケ装置へ音声情報を送信するワイヤレス式装置であり、前記第２の検出手段は、その音声入力装置の赤外線発信部の位置を検出するものである。このようにすれば、ＣＣＤカメラ等を介して容易に検出し得る音声入力装置の赤外線発信部の位置を検出することで、その音声入力装置を把持する前記利用者の手の位置を好適に検出できるという利点がある。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明の人型映像制御装置が好適に適用されるカラオケ装置１６を備えたカラオケシステム１０を説明する概略図である。この図１に示すように、上記カラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６のうち、マスターコマンダである所定のカラオケ装置１６ａは、公衆電話回線等による通信回線１８を介してカラオケサービス提供会社のセンタ装置２０に接続されており、そのセンタ装置２０と上記カラオケ装置１６ａの相互間で情報の通信が可能とされている。このセンタ装置２０は、カラオケ情報、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理等の基本的な制御を行うサーバであり、上記通信回線１８を介してマスターコマンダであるカラオケ装置１６ａに定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６ａからの要求に応じて所定のコンテンツや機能制御プログラム等を送信するものである。また、上記カラオケシステム１０は、複数の電子早見本装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２２と称する）を備えており、上記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台ずつの電子早見本装置２２が貸与され、各個室１４において後述するように上記カラオケ装置１６の遠隔操作装置として用いられるようになっている。上記店舗１２内には上記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、上記電子早見本装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。

図２は、上記カラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、上記カラオケ装置１６は、ＣＲＴ（Cathode-ray Tube）等の映像表示装置３０と、映像情報デコーダ３２と、ビデオミキサ３４と、アンプミキサ３６と、スピーカ３８と、音声入力装置であるワイヤレス式マイクロフォン４０と、操作パネル４２と、中央演算処理装置であるＣＰＵ４４と、ＲＯＭ４６と、ＲＡＭ４８と、記憶装置であるハードディスク５０と、モデム５２と、ＬＡＮポート５４と、映像制御装置であるＣＲＴコントローラ５６と、上記操作パネル４２等からの入力信号を処理する入出力インターフェイス５８と、音源であるシンセサイザ６０と、上記電子早見本装置２２やリモコン装置２８等の入力装置及びマイクロフォン４０からの信号（赤外線）を受信するための赤外線受信部６２と、撮像装置であるＣＣＤ（charge coupled device）カメラ６４と、マット状の圧力センサ６６とを、備えて構成されている。

上記ＣＰＵ４４は、上記ＲＡＭ４８の一時記憶機能を利用しつつ上記ＲＯＭ４６に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂コンピュータであり、上記電子早見本装置２２やリモコン装置２８等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を上記ＲＡＭ４８に設けられた予約曲リストに登録したり、その予約曲リストの演奏順に従って上記ハードディスク５０から上記ＲＡＭ４８に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ４８から上記シンセサイザ６０へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して上記ＣＲＴコントローラ５６へ送ったり、選曲時には曲名文字映像を生成して上記ＣＲＴコントローラ５６へ送ったり、上記映像情報デコーダ３２を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線１８を介した前記センタ装置２０との間の情報通信制御等の基本的な制御に加えて、後述する人型映像（アバタ：avatar）の表示制御を実行する。

前記操作パネル４２は、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記カラオケ装置１６には、前記操作パネル４２の一部機能を遠隔で実行するための入力装置として機能するリモコン装置２８が備えられており、前記赤外線受信部６２は、そのリモコン装置２８から送信される赤外線信号（リモコン信号）を受信して前記ＣＰＵ４４へ供給する。また、前記カラオケ装置１６と電子早見本装置２２との対応付け（くくりつけ）処理も前記赤外線受信部６２を介して行われ、そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２２も同様に入力装置として機能する。

前記映像情報デコーダ３２は、利用者が歌詞を参照しながら歌を歌う際に前記ハードディスク５０に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、そのＭＰＥＧデータに基づいて前記映像情報デコーダ３２により再生された背景映像は、前記ビデオミキサへ送られる。また、前記ＣＲＴコントローラ５６は、前記ＣＰＵ４４において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置であり、前記ビデオミキサ３４は、前記ＣＰＵ４４において生成され且つ前記ＣＲＴコントローラ５６から出力される文字映像と、前記映像情報デコーダ３２により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。なお、このＣＲＴコントローラ５６は、後述する人型映像の表示制御における映像制御装置として機能する。

前記シンセサイザ６０は、前記ハードディスク５０から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいて前記シンセサイザ６０により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ３６へ送られる。また、前記マイクロフォン４０は、カラオケ演奏に際して利用者の手に把持されて用いられるワイヤレス式の音声入力装置であり、入力された音声情報を赤外線信号として送信するための赤外線発信部４０ｓ（図３を参照）を備えている。前記アンプミキサ３６では、このマイクロフォン４０から前記赤外線受信部６２を介して入力される利用者の音声（歌声）と、前記シンセサイザ６０から送られてくる音楽信号とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ３８から出力される。

前記モデム５２は、前記カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置であり、前記ＣＰＵ４４から出力されるディジタル信号をアナログ信号に変換して前記通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換して前記ＣＰＵ４４に供給する処理を行う。なお、このモデム５２は、マスターコマンダとして機能するカラオケ装置１６ａには必要とされるが、前記センタ装置２０との間で情報の通信を行わない他のカラオケ装置１６には必ずしも設けられなくともよい。

前記ＬＡＮポート５４は、前記カラオケ装置１６をＬＡＮ２４を介して他のカラオケ装置１６や電子早見本装置２２等の他の機器に接続するための接続器であり、前記カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子早見本装置２２等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６により受け付けられる前記電子早見本装置２２からの選曲入力を受け付けたり、前記カラオケ装置１６から電子早見本装置２２へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２２との間における相互の情報のやりとりが実行される。

前記ハードディスク５０には、カラオケ演奏曲を出力させるための多数のカラオケ情報を記憶するカラオケデータベース７２や人型映像を表示させるための情報を記憶する人型映像データベース７４等の各種データベースが設けられている。この人型映像データベース７４に記憶される情報は、前記映像表示装置３０に後述する図９に示すような簡易的な人型映像であるアバタ１０２を表示させると共に、前記ＣＣＤカメラ６４及び圧力センサ６６から供給される情報に応じて前記利用者６８の動作を模してそのアバタ１０２に３次元的な動きをつけるために必要とされる種々の情報である。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうちマスターコマンダとして機能するカラオケ装置１６ａは、前記モデム５２を介して前記通信回線１８に接続されており、前記複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、或いは所定の人型映像が表示可能とされるように、随時新たなカラオケ情報や人型映像を表示させるために必要な情報等が前記センタ装置２０から前記通信回線１８を介して配信され、前記ハードディスク５０のカラオケデータベース７２及び人型映像データベース７４等に記憶される。また、そのようにして前記センタ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間で前記ＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク５０に記憶される情報が共有され、カラオケデータベース７２及び人型映像データベース７４等の内容が等価なものとされる。

図３は、前記カラオケ装置１６により利用者６８がカラオケ演奏を行う様子を模式的に説明する図である。この図３に示すように、前記マイクロフォン４０は、カラオケ演奏に際して利用者６８の少なくとも一方の手（手部）６８ｍに把持されて用いられ、そのマイクロフォン４０により入力された音声情報は赤外線発信部４０ｓから前記カラオケ装置１６へ送信される。また、前記ＣＣＤカメラ６４は、前記個室１４の床面７０上に設置された前記カラオケ装置１６の上面等に固設されること等により、その床面７０に対して位置固定に設けられ、少なくともカラオケ演奏を行う利用者６８の頭（頭部）６８ｈ及びマイクロフォン４０（手６８ｍ）を撮像する。また、前記圧力センサ７０は、前記カラオケ装置１６と有線又は無線（図３では有線）により接続されると共に上記床面７０上に位置固定に敷かれた状態で用いられ、上記利用者６８は足（足部）６８ｆを前記圧力センサ７０の表面に間接又は直接に接触させ、その圧力センサ７０の上に立ってカラオケ演奏を行う。なお、上記利用者６８が片足で立っている場合、前記圧力センサ７０はその利用者６８の片方の足６８の位置しか検出できないが、基本的には両足の位置に関する情報を取得し得るものである。

図４は、前記カラオケ装置１６のＣＰＵ４４に備えられた制御機能を説明する機能ブロック線図であり、本発明の好適な実施例である人型映像制御装置７６を例示している。この図４に示す第１の検出手段７８は、撮像装置である前記ＣＣＤカメラ６４により撮像される前記利用者６８の映像に基づいてその利用者６８の立つ床面７０に対して垂直を成す第１の方向すなわち図３に示すｚ軸方向に関してその利用者６８の頭６８ｈの位置（高さ）ｚ_hを検出する。この頭６８ｈの位置については、その頭６８ｈに備えられた目や口を特徴点として検出することで比較的容易にその全体的な位置を検出することができる。

第２の検出手段８０は、前記ＣＣＤカメラ６４により撮像される前記利用者６８の映像に基づいて上記第１の方向すなわち図３に示すｚ方向と、前記床面７０に対して平行を成す方向であって前記利用者６８が前記カラオケ装置１６に向かって立ったときの左右方向である第２の方向すなわち図３に示すｘ方向とに関して前記利用者６８の少なくとも一方の手６８ｍの位置ｘ_m、ｚ_mを検出する。好適には、上記第１の方向及び第２の方向に関して前記マイクロフォン４０の位置を検出することで、そのマイクロフォン４０の位置を前記利用者６８の手６８ｍの位置ｘ_m、ｚ_mとして検出する。前記マイクロフォン４０は、一般に特徴的な形状を有しているため、比較的容易にその位置を検出することができる。また、好適には、上記第１の方向及び第２の方向に関して前記マイクロフォン４０の赤外線発信部４０ｓの位置を検出する。一般にＣＣＤカメラは赤外線に対して敏感であり明るい光として写りこむため、比較的容易にその位置を検出することができる。

第３の検出手段８２は、前記床面７０に敷かれた圧力センサ６６から供給される情報に基づいて上記第２の方向すなわち図３に示すｘ方向と、前記第１の方向及び第２の方向に対して垂直を成す方向であって前記利用者６８が前記カラオケ装置１６に向かって立ったときの前後方向である第３の方向すなわち図３に示すｙ方向に関して前記利用者６８の足６８ｆの位置を検出する。前記利用者６８は、通常、両足で立ってカラオケ演奏を行うため、好適には、上記第２の方向及び第３の方向に関して前記利用者６８の右足の位置ｘ_fr、ｙ_frと、左足の位置ｘ_fl、ｙ_flとを共に検出する。

図５は、以上のようにして検出される前記利用者６８の頭６８ｈ、左右の足６８ｆ、及びマイクロフォン４０（マイクロフォン４０を把持する手６８ｍ）の各位置（座標）を示している。図４に示す位置算出手段８４は、斯かる検出結果に基づいて前記利用者６８の体の各部位の位置を算出する。前記映像表示装置３０に前記利用者６８の動作を反映する３次元的な人型映像を表示するためには、例えば図７に示すように左右の肩の座標、左右の脚の付け根の座標、左右の膝の座標、肘の座標等が必要とされる。また、前記第１の検出手段７８により前記利用者６８の頭６８ｈの前記第１の方向に関する高さの座標ｚ_hは得られるが、第２の方向及び第３の方向に関する座標は計算により求める必要がある。また、前記第２の検出手段８０により前記利用者６８の手６８ｍの前記第１の方向及び第２の方向に関する座標ｘ_m、ｚ_mは得られるが、第３の方向に関する座標は計算により求める必要がある。また、前記第３の検出手段８２により前記利用者６８の足６８ｆの前記第２の方向及び第３の方向に関する座標ｘ_fr、ｙ_fr及びｘ_fl、ｙ_flは得られるが、片方乃至は両方の足があがっている場合等には前記第１の方向に関する座標を計算により求める必要がある。上記位置算出手段８４は、好適には、足位置算出手段８６、頭位置算出手段８８、尻位置算出手段９０、脚関節位置算出手段９２、肩位置算出手段９４、手位置算出手段９６、及び肘位置算出手段９８を含んでおり、それら各算出手段により、図６に示すように、前記利用者６８の頭６８ｈ、左右の脚付け根６８ｃ、左右の肩６８ｓ、左右の膝６８ｎ、マイクロフォン４０を把持する手６８ｍ（マイクロフォン４０）、及びその手６８ｍに対応する肘６８ｅ等の各座標を算出する。以下、これらの座標を算出する具体的な処理について詳細に分説する。

上記位置算出手段８４は、先ず、前記利用者６８の体の各部位の座標計算を容易にするために、その利用者６８が前記カラオケ装置１６に対して正面を向くようにとり、且つ両足の位置を結ぶ直線の真中を原点とする座標系Ｏ′を用意する。元の座標系をＯとし、その座標系Ｏにおける任意の点ＸをＯ′へ写像した点をＸ′とすると、ＸとＸ′との関係は次の（１）式のように表される。この（１）式におけるＰは平行移動を示しており、次の（２）式のように表される。また、（１）式におけるＲは回転移動を示しており、次の（３）式のように表される。以下の説明において、座標系Ｏ′における座標は符号「′」を付して区別するものとする。なお、座標系ＯからＯ′への変換ではｚ方向に関する変換は行われず、ｚ′＝ｚである。

足位置算出手段８６は、前記第１の検出手段７８及び第３の検出手段８２による検出結果に基づいて前記利用者６８の左右の足６８ｆ（図３を参照）の座標を算出する。座標系Ｏ′は、前記利用者６８の両足の位置を結ぶ真中を原点としてその利用者６８が正面を向くようにとられていることから、各足が前記床面７０（圧力センサ６６）に付いている際の座標のうちｙ′_fr(l)、ｚ′_fr(l)は共に零となる。ここで、ｘ′_fr(l)については両足間の距離ｌｅｎ_fの１／２とする。従って、接地している場合の右足の座標は次の（４）式のように、左足の座標は次の（５）式のようにそれぞれ算出される。なお、両足間の距離ｌｅｎ_fは元の座標系Ｏから次の（６）式に示すように簡単に求められる。また、片足乃至は両足が接地していない場合について考えると、前記利用者６８の足６８ｆが前記圧力センサ６６に接触していなければその位置は検出されないため、最後に検出された位置のｘｙ方向に関する座標をそのまま用い、ｚ方向に関しては後述する尻位置算出手段９０により算出される尻の高さｚ_bの１／２とする。このようにして、接地していない場合の右足の座標は次の（７）式に示すように、左足の座標は次の（８）式のようにそれぞれ算出される。

頭位置算出手段８８は、前記第１の検出手段７８による検出結果に基づいて前記利用者６８の頭６８ｈ（図３を参照）の座標を算出する。この頭６８ｈの座標のうちｚ方向の高さであるｚ_hは前記第１の検出手段７８により得られている。ここで、前記利用者６８の全く体の関節を曲げていない直立状態での身長をＴ_max、普通に座り込んで頭６８ｈの高さが最も低くなる身長をＴ_minとし、その頭６８ｈの高さによって上半身の傾きφ（図８を参照）を決定する態様を考える。前記利用者６８が直立している場合の傾きφを零とし、普通に座り込んだ場合の傾きφをφ_maxとすると、そのφ_maxは次の（９）式で表される。この（９）式におけるａは次の（１０）式で表される。この角度φ_maxをもとに頭６８ｈの位置を考えると、前記利用者６８は座標系Ｏ′において正面を向いているため、ｘ′方向の座標は零となる。また、上述したようにｚ方向の座標は検出値からｚ_hとされる。また、ｙ方向の座標の算出では、人間がスクワット運動をする際に尻の位置と足の位置が水平面の座標で略同じ位置となること（図８を参照）等を勘案して、前記利用者６８の尻６８ｂの座標を零と置く。従って、前記頭６８ｈのｙ方向の座標は、前記利用者６８が上半身を傾けることによる尻６８ｂの座標からの離隔距離を算出することで求められ、そのｙ′座標は次の（１１）式のように表される。この（１１）式におけるＬ_upperは前記利用者６８の上半身すなわち頭６８ｈから尻６８ｂまでの長さ（図８を参照）を示す定数である。このようにして、前記頭６８ｈの座標は次の（１２）式のように算出される。

尻位置算出手段９０は、前記第１の検出手段７８による検出結果に基づいて前記利用者６８の尻６８ｂ（図３を参照）の座標を算出する。この尻６８ｂのｘ′座標及びｙ′座標は前述した座標系Ｏ′の前提より共に零であり、ｚ方向の高さｚ_bのみを算出する。この座標ｚ_bは前述した頭位置算出手段８８により算出される頭６８ｈの座標ｚ_hとの関係から次の（１３）式のように表される。このようにして、前記尻６８ｂの座標は次の（１４）式のように算出される。

脚関節位置算出手段９２は、前記第１の検出手段７８及び第３の検出手段８２による検出結果に基づいて前記利用者６８の脚関節すなわち左右の脚付け根６８ｃ及び膝６８ｎ（図３を参照）の座標を算出する。この脚付け根６８ｃの座標のうちｚ方向の高さは擬似的に前記尻６８ｂの座標ｚ_bと等しいものとし、ｘ′方向に関しては腰の幅の定数Ｗ_b（図７を参照）の１／２とする。また、ｙ′方向の座標は零である。このようにして、右脚付け根の座標は次の（１５）式のように、左脚付け根の座標は次の（１６）式のようにそれぞれ算出される。また、前記膝６８ｎの座標のうちｚ方向の高さは足６８ｆのｚ_fr(l)の１／２とする。従って、相似な三角形の辺の比の関係から膝６８ｎのｘ′_kr(l)は脚付け根６８ｃのｘ′座標と足６８ｆのｘ′座標との差の１／２となり、右膝のｘ座標ｘ′_krは次の（１７）式のように、左膝のｘ座標ｘ′_klは次の（１８）式のようにそれぞれ表される。また、前記膝６８ｎの座標のうちｚ方向の高さに関して、前記足６８ｆが接地している場合には前記尻６８ｂまでの高さの１／２とし、接地していない場合には３／４とする。これは、前記足６８ｆの高さを尻６８ｂまでの高さの１／２と置いていることから、更に半分にして１／２＋１／４＝３／４としたものである。従って、右膝のｚ座標ｚ_krは次の（１９）式のように、左膝のｚ座標ｚ_klは次の（２０）式のようにそれぞれ表される。これらの式に示すＣは、前記足６８ｆが接地しているときは２、接地していないとき（上げたとき）は４とされる値である（以下の説明において同じ）。また、ｚ方向に関して脚の長さＬ_leg（＝Ｔ_max−Ｌ_upper）の１／２が膝６８ｎの位置とすると、ｘ′方向の視点において前記足６８ｆと尻６８ｂとを線で結んだときに二等辺三角形を成すことから、前記膝６８のｙ′座標ｙ′_kr(l)は次の（２１）式のように容易に求めることができる。このようにして、右膝の座標は次の（２２）式のように、左膝の座標は次の（２３）式のようにそれぞれ算出される。

肩位置算出手段９４は、前記第１の検出手段７８による検出結果に基づいて前記マイクロフォン４０を把持している手６８ｍに対応する（同じ腕に属する）肩６８ｓ（図３を参照）の座標を算出する。この肩６８ｓの座標のうちｚ方向の高さは、前記利用者６８がまっすぐ直立したときの頭６８ｈの位置から定数Ｌ_sだけ下がった位置とする。前記頭６８ｈを基準として肩６８ｓの位置を考えると、その頭６８ｈからＬ_sｓｉｎφだけｙ′方向にずらした位置が肩６８ｓのｙ′座標となる。同様に、ｚ方向に関しては頭６８ｈからＬ_sｃｏｓφだけ下がった位置が肩６８ｓのｚ座標となる。この肩６８ｓの幅は定数Ｗ_s（図７を参照）として与えられており、ｘ′方向に関してはこの半分が右肩の座標となる。このようにして、前記肩（右肩）６８ｓの座標は次の（２４）式のように算出される。なお、前記マイクロフォン４０を把持していない方の手、肩、及び腕の座標に関しては、本実施例では算出を行わないものとする。

以上のようにして算出されたＯ′座標系における各点の座標Ｘは、次の（２５）式のような変換により元の座標に戻される。この（２５）式に示すＲ^-1は（３）式で示した変換行列Ｒの逆行列である。なお、この座標変換によって得られるそれぞれの具体的な値は省略する。以下の説明における計算は元の座標系Ｏで行うものとする。

手位置算出手段９６は、前記第１の検出手段７８及び第２の検出手段８０による検出結果に基づいて前記マイクロフォン４０を把持する手６８ｍ（図３を参照）の座標を算出する。一般に人間は両目の視差で奥行きを感知するため、奥行きの変化や距離感に対して鈍感である。本実施例の人型映像制御装置７６では、前記利用者６８の視線方向に対応するｙ方向に関して前記手６８ｍ（マイクロフォン４０）の位置を検出する手段を持たない前提であることから、そのｙ方向に関しては前記手６８ｍの位置をそれらしく適当に定める。具体的には、前記第２の検出手段８０により検出されたｘｚ座標へ腕を伸ばして接するｙ座標の１／２とする。このとき腕の長さを定数Ｌ_aで与えると、次の（２６）式が成立する。なお、前記利用者６８は前記マイクロフォン４０を右手で把持しているものとする。ここで、（２６）式に示すｘ_m、ｚ_mは前記第２の検出手段８０により検出された値であり、前記肩６８ｓの座標については（２４）式に示すように算出されるため、未定な値であるｙ_mのみが算出される。上記（２６）式を変形することで、このｙ_mは次の（２７）式のように表される。ここで、ｙ方向に関して前記手６８ｍは肩６８ｓより前方（カラオケ装置１６側）に来るのが好ましいため、ｙ_mは次の（２８）式のように求められる。このｙ_mの１／２が前記手６８ｍ（マイクロフォン４０）の座標とされる。このようにして、前記手（右手）６８ｍの座標は次の（２９）式のように算出される。

肘位置算出手段９８は、前記第１の検出手段７８及び第２の検出手段８０による検出結果に基づいて前記マイクロフォン４０を把持している手６８ｍに対応する（同じ腕に属する）肘６８ｅ（図３を参照）の座標を算出する。この肘６８ｅの位置は腕の長さＬ_aの１／２の位置とする。また、この肘６８ｅは前記手６８ｍと肩６８ｓとを結ぶ直線の下方に位置するものとする。従って、ｙ方向に関する前記肘６８ｅの座標ｙ_eは前記手６８ｍのｙ座標ｙ_mと肩６８ｓのｙ座標ｙ_srの中点（ｙ_sr＋ｙ_ｍ）／２とされる。また、前記肘６８ｅのｘｚ座標の算出に関しては次の（３０）式、（３１）式、及び（３２）式により与えられる座標系Ｏ″を用いる。この座標系Ｏ″は前記肩６８ｓの座標を原点として前記手６８ｍの座標と肩６８ｓの座標とを結ぶ直線がｘ″軸と重なるように回転させた系であり、その手６８ｍと肩６８ｓとを結ぶ直線を底辺とした二等辺三角形ができるので、ｘ″方向、ｚ″方向に関する前記肘６８ｅの座標ｘ″_e、ｚ″_eは次の（３３）式、（３４）式のように容易に求められる。ここで、（３３）式に示すｌ_aは前記手６８ｍと肩６８ｓとを結ぶ直線の長さであり、元の座標系Ｏを用いて次の（３５）式のように表される。このようにして得られた値を次の（３６）式に示すように元の座標系Ｏに変換することで前記肘（右肘）６８ｅの座標が算出される。なお、この座標変換によって得られるそれぞれの具体的な値は省略する。

図４に戻って、人型映像制御手段１００は、前記ハードディスク５０の人型映像データベース７４に記憶された情報を用い、映像制御装置である前記ＣＲＴコントローラ５６及び映像合成装置である前記ビデオミキサ３４等を介して前記映像表示装置３０に例えば図９に例示するような簡易的な人型映像すなわちアバタ（avatar）１０２を表示させると共に、前記位置算出手段８４による算出結果に応じて前記利用者６８の動作をそのアバタ１０２に反映する制御を行う。具体的には、前記第１の検出手段７８、第２の検出手段８０、及び第３の検出手段８２による検出結果、及びそれらの検出結果に基づいて前記位置算出手段８４により算出された算出結果に基づいて、前記利用者６８の体の各部位の位置すなわち頭６８ｈ、左右の足６８ｆ、尻６８ｂ、左右の脚付け根６８ｃ、左右の膝６８ｎ、肩（右肩）６８ｓ、手（右手）６８ｍ、及び肘（右肘）６８ｅの相対位置関係を、前記映像表示装置３０に表示されるアバタ１０２の体の各部位の位置すなわち頭１０２ｈ、左右の足１０２ｆ、尻１０２ｂ、左右の脚付け根１０２ｃ、左右の膝１０２ｎ、肩（右肩）１０２ｓ、手（右手）１０２ｍ、及び肘（右肘）１０２ｅに三次元的に反映させる。斯かる制御により、前記映像表示装置３０に表示されるアバタ１０２は、前記利用者６８の動作を模して３次元的（立体的）に動作する。また、前記位置算出手段９０により算出される各座標は前記アバタ１０２の動作を定めるものであるため、その位置算出手段９０は、上記アバタ１０２の体の各部位の位置を算出するものと言い換えることもできる。なお、このアバタ１０２に関して、前述した処理で座標検出及び算出の対象とならなかった左肩乃至左腕については、予め定められたプログラムに基づいてそれらしく適当に動作させられる。

本実施例のカラオケ装置１６によるカラオケ演奏では、前述した処理により演奏者である利用者６８の体の各部位の動作に関する情報が前記ＣＣＤカメラ６４及び圧力センサ６６を介して取り込まれる。そして、図９に示すように、前記利用者６８の動作を反映するアバタ１０２が演奏曲の歌詞文字映像１０４と共に前記映像表示装置３０に表示され、その利用者６８が体を動かす毎にそのアバタ１０２も同じように体を動かす。このようにして、単にカラオケ演奏を行うのみならず、様々な振り付けを行いながら歌う自分の姿を視覚的に楽しむことができるという新しい娯楽の要素を前記カラオケ装置１６に付与することができる。また、本実施例において、前記第１の検出手段７８、第２の検出手段８０、及び第３の検出手段８２による検出結果は、３２ビットのシステムであれば７×４＝２８バイトと小さいものであり、その処理乃至はその検出結果を用いた前記計算が簡単であることに加え、比較的低速の通信環境においても前記カラオケ装置１６相互間で前記アバタ１０２を制御するための情報を好適に送受信することができる。これにより、例えば前記ＬＡＮ２４を介して複数（好適には２台）のカラオケ装置１６相互間でそれぞれ他方（通信相手先のカラオケ装置１６）の演奏者の振り付けを視覚的に楽しみながら行う遠隔デュエットカラオケ演奏が実現される。このように、前記人型映像制御装置７６が備えられていることで、前記カラオケ装置１６によるカラオケ演奏に種々の新たな娯楽的機能を付与することが可能となる。

このように、本実施例によれば、利用者６８の立つ床面７０に対して垂直を成す第１の方向に関してその利用者６８の頭６８ｈの位置を検出する第１の検出手段７８と、前記第１の方向と、前記床面７０に対して平行を成す第２の方向とに関して前記利用者６８の手６８ｍの位置を検出する第２の検出手段８０と、前記第２の方向と、前記第１の方向及び第２の方向に対して垂直を成す第３の方向に関して前記利用者６８の足６８ｆの位置を検出する第３の検出手段８２と、前記第１の検出手段７８、第２の検出手段８０、及び第３の検出手段８２による検出結果に基づいて前記利用者６８の体の各部位の位置を算出する位置算出手段８４と、その位置算出手段８４による算出結果に応じて前記利用者６８の動作を人型映像であるアバタ１０２に反映する制御を行う人型映像制御手段１００とを、有することから、前記利用者６８の動作に関する最小限の情報を取得することで、前記アバタ１０２にその動作を反映する少なくともエンターテイメント分野においては十分に自然な３次元の動きをつけることができる。すなわち、可及的簡単なセンサを用いて利用者の動作を写実的に人型映像に反映する人型映像制御装置７６を提供することができる。

また、前記第１の検出手段７８及び第２の検出手段８０は、前記床面７０に対して位置固定に設けられた撮像装置であるＣＣＤカメラ６４により撮像される前記利用者６８の映像に基づいてその利用者６８の頭６８ｈ及び手６８ｍの位置を検出するものであるため、比較的安価且つ実用的な装置を用いて前記利用者６８の頭６８ｈ及び手６８ｍの位置を検出することができるという利点がある。

また、前記第３の検出手段８２は、前記床面７０に敷かれたマット状の圧力センサ６６から供給される情報に基づいて前記利用者６８の足６８ｆの位置を検出するものであるため、比較的安価且つ実用的な装置を用いて前記利用者６８の足６８ｆの位置を検出することができるという利点がある。

また、前記位置算出手段８４は、前記第１の検出手段７８及び第３の検出手段８２による検出結果に基づいて前記利用者６８の足６８ｆの位置を算出する足位置算出手段８６と、前記第１の検出手段７８による検出結果に基づいて前記利用者６８の頭６８ｈの位置を算出する頭位置算出手段８６と、前記第１の検出手段７８による検出結果に基づいて前記利用者６８の尻６８ｂの位置を算出する尻位置算出手段９０と、前記第１の検出手段７８及び第３の検出手段８２による検出結果に基づいて前記利用者６８の脚関節すなわち脚付け根６８ｃ及び膝６８ｎの位置を算出する脚関節位置算出手段９２と、前記第１の検出手段７８による検出結果に基づいて前記利用者６８の肩６８ｓの位置を算出する肩位置算出手段９４と、前記第１の検出手段７８及び第２の検出手段８０による検出結果に基づいて前記利用者６８の手６８ｍの位置を算出する手位置算出手段９６と、前記第１の検出手段７８及び第２の検出手段８０による検出結果に基づいて前記利用者６８の肘６８ｅの位置を算出する肘位置算出手段９８とを、含むものであるため、前記第１の検出手段７８、第２の検出手段８０、及び第３の検出手段８２による検出結果に基づいて前記利用者６８の体の各部位の位置を詳細に算出することができ、その利用者６８の動作を更に写実的に前記アバタ１０２に反映できるという利点がある。

また、前記人型映像制御装置７６は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その出力と同期してその演奏曲の歌詞文字映像１０４を表示させる映像表示装置３０を備えたカラオケ装置１６において、その映像表示装置３０に表示される前記アバタ１０２を制御するものであるため、カラオケボックス等で用いられるカラオケ装置１６の映像表示装置３０に、演奏者の動作を反映するアバタ１０２を前記演奏曲の歌詞文字映像１０４と共に表示できるという利点がある。

また、前記第２の検出手段８０は、前記カラオケ装置１６に備えられて前記利用者６８の手６８ｍに把持されて用いられる音声入力装置であるマイクロフォン４０の位置を検出するものであるため、特徴的な形状を有するマイクロフォン４０の位置を検出することで、そのマイクロフォン４０を把持する前記利用者６８の手６８ｍの位置を好適に検出できるという利点がある。

また、前記マイクロフォン４０は、赤外線を介して前記カラオケ装置１６へ音声情報を送信するワイヤレス式装置であり、前記第２の検出手段８０は、そのマイクロフォン４０の赤外線発信部４０ｓの位置を検出するものであるため、前記ＣＣＤカメラ６４を介して容易に検出し得るマイクロフォン４０の赤外線発信部４０ｓの位置を検出することで、そのマイクロフォン４０を把持する前記利用者６８の手６８ｍの位置を好適に検出できるという利点がある。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例において、前記人型映像制御装置７６は、前記カラオケ装置１６に組み込まれてそのカラオケ装置１６の映像表示装置３０に表示されるアバタ１０２を制御するものであったが、本発明はこれに限定されるものではなく、例えば、一般的なパーソナルコンピュータによるチャットや、遠隔地間で撮像装置を用いて行われるテレビ会議等、様々な目的で用いられ得るものである。すなわち、カラオケ装置以外の装置に適用されるものであっても構わない。

また、前述の実施例では、前記利用者６８の右肩乃至右腕の動作を検出乃至算出して前記アバタ１０２に反映させる態様を説明したが、前記マイクロフォン４０を把持する手６８ｍは右手には限られないため、そのマイクロフォン４０を把持する手を処理開始時に選択し得るようにしてもよい。この処理開始時の設定において左手が選択された場合、前記人型映像制御装置７６は、左肩乃至左腕の動作を検出乃至算出して前記アバタ１０２に反映する。また、処理開始時に前記ＣＣＤカメラ６４から取り込まれる情報に基づいて前記マイクロフォン４０を把持する側の手６８ｍを自動的に認識するようにしてもよい。

また、前述の実施例では、前記位置算出手段８４により前記利用者６８の体に関して計１１箇所の位置を算出し、その算出結果を前記アバタ１０２に反映させるものであったが、これはあくまで一例であり、前記１１箇所以上の位置を算出するものであってもよいし、前記１１箇所未満の位置を算出するものであってもよい。例えば、前記脚付け根１０２ｃが尻１０２ｂと略一緒の位置とされるアバタ１０２については、何れか一方の位置の算出を省略しても構わない。

また、前述の実施例では、前記ＣＣＤカメラ６４により撮像された利用者６８の映像に基づいてその利用者の頭６８ｈの位置を検出するものであったが、例えば光学式センサによりその頭６８ｈの位置（高さ）を検出するものであってもよい。また、前記マクロフォン４０に重力センサを内蔵させ、その重力センサから供給される情報に応じてそのマイクロフォン４０乃至は利用者６８の手６８ｍの位置を検出するものであってもよい。

また、前述の実施例では、人間を模したアバタ１０２を図９に例示したが、前記人型映像制御装置７６の制御対象は、必ずしも人間を模したアバタに限られず、ロボット、後脚で直立する犬、二足歩行する恐竜等、人型の映像としてのアバタを広く制御対象とするものであることは言うまでもない。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

本発明の人型映像制御装置が好適に適用されるカラオケ装置を備えたカラオケシステムを説明する概略図である。 本発明の人型映像制御装置が好適に適用されるカラオケ装置の構成を例示するブロック線図である。 図２のカラオケ装置により利用者がカラオケ演奏を行う様子を模式的に説明する図である。 図２のカラオケ装置のＣＰＵに備えられた制御機能を説明する機能ブロック線図であり、本発明の好適な実施例である人型映像制御装置を例示している。 図４の人型映像制御装置により検出される利用者の頭、足、及び手の各座標を示している。 図５の座標に基づいて図４の人型映像制御装置により算出される利用者の頭、脚付け根、肩、膝、手、及び肘の各座標を示している。 図４の人型映像制御装置により検出乃至算出される各座標に対応する人型映像の骨格を３次元的に示す図である。 図４の人型映像制御装置により検出乃至算出される各座標に対応する人型映像の骨格のｙｚ平面への投影図である。 図４の人型映像制御装置により図２のカラオケ装置に備えられた映像表示装置に表示される人型映像を例示する図である。

符号の説明

１６：カラオケ装置
３０：映像表示装置
４０：マイクロフォン（音声入力装置）
４０ｓ：赤外線発信部
６４：ＣＣＤカメラ（撮像装置）
６６：圧力センサ
６８：利用者
６８ｂ：利用者の尻
６８ｃ：利用者の脚付け根（脚関節）
６８ｅ：利用者の肘
６８ｆ：利用者の足
６８ｈ：利用者の頭
６８ｍ：利用者の手
６８ｎ：利用者の膝（脚関節）
６８ｓ：利用者の肩
７０：床面
７６：人型映像制御装置
７８：第１の検出手段
８０：第２の検出手段
８２：第３の検出手段
８４：位置算出手段
８６：足位置算出手段
８８：頭位置算出手段
９０：尻位置算出手段
９２：脚関節位置算出手段
９４：肩位置算出手段
９６：手位置算出手段
９８：肘位置算出手段
１００：人型映像制御手段
１０２：アバタ（人型映像）
１０４：歌詞文字映像

Claims (7)

1. 映像表示装置に表示される簡易的な人型映像を制御する人型映像制御装置であって、
   利用者の立つ床面に対して垂直を成す第１の方向に関して該利用者の頭の位置を検出する第１の検出手段と、
   前記第１の方向と、前記床面に対して平行を成す第２の方向とに関して前記利用者の手の位置を検出する第２の検出手段と、
   前記第２の方向と、前記第１の方向及び第２の方向に対して垂直を成す第３の方向に関して前記利用者の足の位置を検出する第３の検出手段と、
   前記第１の検出手段、第２の検出手段、及び第３の検出手段による検出結果に基づいて前記利用者の体の各部位の位置を算出する位置算出手段と、
   該位置算出手段による算出結果に応じて前記利用者の動作を前記人型映像に反映する制御を行う人型映像制御手段と
   を、有することを特徴とする人型映像制御装置。
2. 前記第１の検出手段及び第２の検出手段は、前記床面に対して位置固定に設けられた撮像装置により撮像される前記利用者の映像に基づいて該利用者の頭及び手の位置を検出するものである請求項１の人型映像制御装置。
3. 前記第３の検出手段は、前記床面に敷かれたマット状の圧力センサから供給される情報に基づいて前記利用者の足の位置を検出するものである請求項１又は２の人型映像制御装置。
4. 前記位置算出手段は、
   前記第１の検出手段及び第３の検出手段による検出結果に基づいて前記利用者の足の位置を算出する足位置算出手段と、
   前記第１の検出手段による検出結果に基づいて前記利用者の頭の位置を算出する頭位置算出手段と、
   前記第１の検出手段による検出結果に基づいて前記利用者の尻の位置を算出する尻位置算出手段と、
   前記第１の検出手段及び第３の検出手段による検出結果に基づいて前記利用者の脚関節の位置を算出する脚関節位置算出手段と、
   前記第１の検出手段による検出結果に基づいて前記利用者の肩の位置を算出する肩位置算出手段と、
   前記第１の検出手段及び第２の検出手段による検出結果に基づいて前記利用者の手の位置を算出する手位置算出手段と、
   前記第１の検出手段及び第２の検出手段による検出結果に基づいて前記利用者の肘の位置を算出する肘位置算出手段と
   を、含むものである請求項１から３の何れかの人型映像制御装置。
5. 前記人型映像制御装置は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その出力と同期して該演奏曲の歌詞文字映像を表示させる映像表示装置を備えたカラオケ装置において、該映像表示装置に表示される前記人型映像を制御するものである請求項１から４の何れかの人型映像制御装置。
6. 前記第２の検出手段は、前記カラオケ装置に備えられて前記利用者の手に把持されて用いられる音声入力装置の位置を検出するものである請求項５の人型映像制御装置。
7. 前記音声入力装置は、赤外線を介して前記カラオケ装置へ音声情報を送信するワイヤレス式装置であり、前記第２の検出手段は、該音声入力装置の赤外線発信部の位置を検出するものである請求項６の人型映像制御装置。

Images