JP2006215497A - カラオケ端末装置 - Google Patents

Abstract

【課題】 カラオケ端末装置において、特定の背景に限定されること無く任意の背景と合成処理をした画像を即時に提供して、歌唱者の興趣向上を図る。
【解決手段】 カラオケ端末装置１は、基準画像と合成前画像の各画素を数値化し、画素の差分から抽出対象領域を認識する抽出対象部分認識手段２５と、抽出対象部分を抽出する対象部分抽出手段２６と、合成処理を行う合成手段４０と、合成画像と音声情報収集手段３２で収集した歌唱者の音声情報とを出力する出力手段５０と、を含む。
【選択図】 図１

Description

本発明は、背景に限定されずに、合成画像を動画像として、その場で出力するカラオケ端末装置に関するものである。

従来、カラオケ端末装置は、利用者の歌唱中に、歌詞と共にあらかじめ撮影された、かつ決められた画像を一定の周期で繰り返し表示するカラオケ端末装置が知られている。

また、クロマキーと呼ばれる手法を利用して、歌唱者を任意の背景と共に合成して表示するカラオケ端末装置がある。クロマキーの手法を用いれば、映像画面から特定色(青色が用いられることが多いが、グリーンを用いることもある)を抜き取って、マスク画像を作成し、そのマスク画像と任意の背景とを合成することができる。
特開２００４‐３３４０４９号公報

しかしながら、上述した撮影済み背景を一定の周期で表示するカラオケ端末装置において、どのような機種であっても機能等により差別化できるものではなく、ワンパターンとなってしまう。また、長時間の利用や回数を重ねて利用した場合には、繰り返し同じ画像が表示されることになり、利用者を飽きさせることとなる。

また、前述のクロマキー手法のように利用者の歌唱中の画像と背景を合成して表示する方法も知られているが、画像の抽出にクロマキーを使用するため、背景色がクロマキーブルー等の限られた色に背景が限定されてしまう。その結果、歌唱者は、例えばクロマキーブルー一色を背景に歌唱することになり、利用者の興趣をそぐことになる。さらに、あらかじめ決められた透明領域をもったフレーム画像を撮影画像の上に合成する場合でも、撮影画像の背景がそのまま合成画像にも写されてしまうため、合成画像の品質としては低いものになる。

本発明は、上述したような課題に鑑みてなされたものであり、背景にとらわれることなく歌唱者を撮影し、任意の背景画像との合成画像を動画像として合成してその場で出力することができるカラオケ端末装置を提供することを目的とする。

そこで、撮影する背景に関係なく合成画像を出力するには、対象となる歌唱者である動体を認識し、透明領域を持つマスク画像を作成して任意の背景画像と合成する必要がある。ここで、任意の動画像において、抽出対象部分を特定する方法としては、動きベクトルを利用する方法や、動的輪郭モデルを利用するもの、輪郭の特徴点の変化を追跡するもの等が挙げられる。

動きベクトルを利用した方法は、入力画像を予め定めた大きさのブロックに分割し、現画像において似たブロックの位置との差分を「動きベクトル」として計算する。この方法では、演算量が非常に大きくなり、即時性が要求されるカラオケ装置には使用できない。またブロックの解像度を上げたとしても、ブロック単位での解像度にすぎず、画素単位の輪郭データを正確に求めることはできない。

動的輪郭モデルを利用した方法は、輪郭の形状に応じて与えられる内部エネルギーと、画像の性質に応じて与えられる画像エネルギー、及び外部から与えられる外部エネルギーの総和が最小になるように輪郭を変形させていき、エネルギーが最小のときに画像上の対象物の輪郭が抽出できる。しかし、動的輪郭モデルはエネルギーのバランスを調節するパラメータによって検出できる輪郭が変化するため、目的の輪郭を検出するためのパラメータを決定するのが非常に困難であり、また、対象物が凹型の場合にはうまく輪郭を抽出できないという問題がある。したがって、この方法も初期設定が困難で、即時性かつ対象を歌唱者のみに限定しないことが要求されるカラオケ端末装置に使用することは困難である。

以上のような課題を解決するために、本発明は、以下のようカラオケ端末装置を提供する。

（１）少なくとも伴奏音を含む伴奏情報を発生する伴奏音発生手段と、カラオケに関する情報を制御するカラオケ情報制御手段と、を有するカラオケ端末装置であって、歌唱者の音声及び前記伴奏情報を保存する音声情報保存領域と、基準画像を保存する基準画像保存領域と、合成前画像を保存する合成前画像保存領域と、抽出対象部分を保存する抽出対象部分保存領域と、前記歌唱者が選択可能な撮影済み背景画像を保存する背景画像保存領域と、を備え、前記カラオケ情報制御手段は、前記歌唱者の音声及び前記伴奏情報を収集して前記音声情報保存領域に保存する音声情報収集手段と、基準画像を収集して前記基準画像保存領域に保存する基準画像収集手段と、合成前画像を収集して前記合成前画像保存領域に保存する合成前画像収集手段と、前記基準画像保存領域に保存した基準画像及び前記合成前画像保存領域に保存した合成前画像をそれぞれの画素毎において色を数値化して比較し、差のある画素を抽出対象部分として認識する抽出対象部分認識手段と、前記抽出対象部分認識手段によって認識された抽出対象部分を抽出して前記対象部分保存領域に保存する対象部分抽出手段と、前記背景画像保存領域に保存した背景画像の上に、前記対象部分保存領域に保存した抽出画像を重ねて合成する合成手段と、前記合成手段によって合成した合成画像を前記音声情報保存部分に保存した音声情報と共に出力する出力手段と、を含むカラオケ端末装置。

（１）に記載の発明によれば、基準画像を基準画像保存領域に保存し、抽出部分認識手段は、収集した合成前画像のフレーム毎に基準画像と比較し、色に差がある部分を抽出して、マスク画像を作成し、合成手段は、利用者が任意に選択した背景画像を合成することができ、背景にとらわれない合成画像を出力することができる。

（２）前記基準画像収集手段及び前記合成前画像収集手段は、複眼カメラにより構成されている（１）に記載のカラオケ端末装置。

（３）前記基準画像収集手段は、一連の動画像を収集する際に、あらかじめ背景のいずれかに記された基準点に基づいて、複眼の各カメラの向きを調整した上で、複眼カメラの一方が前記一連の動画像の収集時間に含まれるある時点の合成前画像を収集して、前記合成前画像保存領域に保存し、他方が当該ある時点の基準画像を収集して前記基準画像保存領域に保存する、（２）に記載のカラオケ端末装置。

（２）又は（３）に記載の発明によれば、予め複眼の各カメラの向きを基準点にあわせた複眼カメラを使用して画像を収集することにより、収集した複眼画像を照合したときに色が一致しない部分が生じる。その部分が前記基準画像にない新規な部分として認識できる。初期設定することなく、また複雑な演算を行わずに歌唱者の抽出が可能になる。

（４）前記基準画像は、一連の動画像を収集する前に予め収集された画像であり、前記合成前画像は、前記一連の動画像の収集時間に含まれるある時点に収集された画像である、（１）に記載のカラオケ端末装置。

（４）の発明によれば、予め収集された前記合成前画像と前記基準画像との色調の差がある画素を抽出対象部として認識することにより、前記基準画像との差分が抽出対象部となる。その結果、複雑な演算を必要とせず、単純な比較プログラムによりマスク画像の作成を行うことができる。また、クロマキーのように背景の限定無く合成画像を出力することができ、カラオケの利用者の興趣をそぐことも無い。また、前記合成前画像と、予め収集された前記基準画像とを比較するため、抽出対象部分がほとんど変動しない場合でも、抽出対象部分を特定することができる。

（５）前記カラオケ情報制御手段は、動画像の収集時間に含まれる所定の期間の照明を制御する制御信号情報を出力し、前記基準画像収集手段は、前記一連の動画像を収集する前に予め基準画像を収集して、前記制御信号情報と共に前記基準画像保存領域に保存し、前記合成前画像収集手段は、前記所定の期間に含まれるある時点の合成前画像を収集して、前記制御信号情報と共に合成前画像保存領域に保存し、前記抽出部分認識手段は、前記基準画像と前記合成前画像とを前記制御信号情報に基づいて同期させて比較する（４）に記載のカラオケ端末装置。

（５）の発明によれば、前記基準画像を収集する際に、照明の制御情報と共に一定の時間に含まれる一連の画像として前記基準画像保存領域に保存しておくことにより、前記合成画像を収集する際に一連の基準画像とフレーム単位で時間軸を合わせ、同一の時間軸にあるフレームとを比較して動体を認識することにより、照明の変化にも対応した合成画像を提供することができる。

（６）前記基準画像は、前記一連の動画像の収集時間に含まれるある時点の１フレーム前に収集された画像であり、前記合成前画像は、前記ある時点に収集された画像である、（１）に記載のカラオケ端末装置。

（６）の発明によれば、前記基準画像は、ある時点における前記合成前画像の１フレーム前となるため、カラオケ部屋の環境が大きく変化する場合でも、抽出対象部分を特定することができる。

（７）前記抽出対象部分認識手段は、前記抽出対象部分の認識において、前記抽出対象部分の輪郭を捉えてその動きを追跡し、前記対象部分抽出手段は、前記輪郭に囲まれた画素を抽出対象部分として抽出する、（１）から（６）のいずれかに記載のカラオケ端末装置。

（７）の発明によれば輪郭データのみに基づいて、前記抽出対象部分を認識することにより、より演算量を減少させ、装置の負担を軽くすることができる。その結果、簡便に合成画像を出力できる。

（８）少なくとも伴奏音を含む伴奏情報を発生する伴奏音発生手段と、カラオケに関する情報を制御するカラオケ情報制御手段と、を有するカラオケ端末装置であって、歌唱者の音声及び前記伴奏情報を保存する音声情報保存領域と、前記歌唱者が選択可能な撮影済み背景画像を保存する背景画像保存領域と、を備え、前記カラオケ情報制御手段は、前記歌唱者の音声及び前記伴奏情報を収集して前記音声情報保存領域に保存する音声情報収集手段と、一連の動画像を収集して前記合成前画像保存領域に保存する画像収集手段と、前記一連の動画像の上に前記背景画像保存領域に保存した背景画像を重ねて合成する合成手段と、前記合成手段によって合成した合成画像を前記音声情報保存部分に保存した音声情報と共に出力する出力手段と、を含み、
前記背景画像は、あらかじめ前記抽出画像の上から重ねて合成するための透明部分が設定されており、透明部分のエッジの透明度は除々に変化する、カラオケ端末装置。

（８）に記載の発明によれば、前記背景画像に予め透明部分を設定しておくことにより、合成処理の演算量を低減させつつエッジの部分をぼかして合成し、より簡便に品質の高い合成処理を行うことができる。

（９）前記合成前画像は、画像の出力に必要な出力対象画素領域の周囲にブレ補償領域に相当する画素を含み、前記抽出部分認識手段は、前記ある時点において、前記合成前画像保存領域に保存した合成前画像について、画素毎に色を数値化した後に、前記基準画像保存領域に保存した基準画像を上下左右に１画素毎にシフトをして比較し、前記出力対象画素領域全体の各画素毎の前記色の数値の差分の総和が最も小さくなる場合の、前記シフトの量だけ前記合成前画像をシフトして、前記合成前画像保存領域に保存する（１）から（７）のいずれかに記載のカラオケ端末装置。

（９）に記載の発明によれば、出力対象領域の周りにブレ補償領域に相当する画素を合成前画像に含めて撮影しておくことにより、振動等によるブレがあった場合にその分画像をシフトさせて合成前画像として保存することができる。その結果、ブレの影響を受けることなく、合成処理を行い、より品質の高い画像を提供することができる。

（１０）前記カラオケ端末装置は、ネットワーク上のサーバと通信可能であり、前記出力手段は、歌唱者の操作に基づいて合成画像データを前記サーバに送信する（１）から（９）のいずれかに記載のカラオケ端末装置。

（１０）に記載の発明によれば、ネットワーク上のサーバに合成画像データを送信することにより、カラオケ部屋という枠に限られること無く、実際に歌唱した結果である歌唱情報を合成画像と共に外部に公開することができ、多くの人に聞いてもらう機会を提供し、歌唱者の意欲を触発することができる。これにより、歌唱者の興趣向上を図ることができる。

この発明によれば、カラオケ端末装置において、特定の背景に限定されること無く任意の背景と合成処理をした画像を即時に提供することができ、歌唱者の興趣向上を図る事ができる。

［カラオケ端末装置の構成］
以下に、本発明の好適な実施形態を図面に基づいて説明する。

カラオケ端末装置は、図１のブロック図に示すように、伴奏音発生手段１０と、カラオケ情報制御手段２０から構成される。

伴奏音発生手段１０は既存の伴奏情報が歌唱者に選択された結果に応じて、伴奏情報に含まれる画像を表示部に表示し、伴奏情報に含まれる伴奏音を発生させる機能を有する。既存の伴奏情報には、伴奏音が含まれている。尚、伴奏情報には少なくとも伴奏音を含むものであればよい。

カラオケ情報制御手段２０は、図１に示すように、合成前画像収集手段２１、基準画像収集手段２２、抽出対象部分認識手段２５、対象部分抽出手段２６、合成手段４０、出力手段５０、音声情報収集手段３２を少なくとも含む。このカラオケ情報制御手段２０は、収集した一連の動画像の一部分を抽出し、事前に選択された背景と合成して出力する。

図１に示される合成前画像収集手段２１は、合成前画像を収集するためのものである。合成前画像収集手段２１は、ビデオカメラ２３２Ａで構成されるが、カメラの台数は1台とは限定されない。そして収集した合成画像を合成前画像保存領域に保存する。

図１に示される基準画像収集手段２２は、基準画像を収集するものである。基準画像収集手段２２はビデオカメラ２３２Ａで構成されるが、上記合成前画像収集手段２１を構成するビデオカメラ２３２Ａを兼用してもよい。兼用する場合は、合成前画像を収集する前に、基準画像を収集しておく必要がある。そして、収集した基準画像を、基準画像保存領域に保存する。

図１に示される抽出対象部分認識手段２５は、合成処理を行う際に、合成前画像から週出すべき抽出対象部分を認識する。抽出対象部分の認識については、後の図９から図１４において説明するように1つの方法に限定されない。

図１に示される対象部分抽出手段２６は、抽出対象部分認識手段２５において認識した抽出対象部分を、合成前画像から抽出して、マスク画像を作成し、背景画像と合成するために、対象部分抽出領域に保存する。

図１に示される合成手段４０は、対象部分保存領域２７に保存したマスク画像を予め選択された背景画像と合成する。

図１に示される出力手段５０は、合成手段４０において作成された音声情報と合成画像を出力する。出力場所は、表示部２１０を構成するディスプレイやミキシングアンプ２１８に出力してもよく、また、ネットワーク上のサーバに送信してもよい。

[カラオケ端末装置の電気的構成]
カラオケ端末装置の電気的構成を図２によって、説明する。

図２に示すように、カラオケ端末装置２０においては、データＢＵＳに、制御部であるＣＰＵ２０２、メモリ２０４、通信インターフェイス（以降、通信Ｉ／Ｆ２０６と称する。）、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）等で構成された記憶部２０８、液晶表示パネルやＣＲＴ等で構成された表示部２１０、リモコンやキーボード等からなる操作部２１２、音声データから音声を発生させるためのシンセサイザ２１６、音声を編集し、増幅させるためのミキシングアンプ２１８、画像及び音声を編集するためのＡＶデータ処理部２２０が接続されている。

また、制御手段としてのミキシングアンプ２１８には、歌唱者の発する音声を収集するマイク、音声を発生するスピーカ２１４等が接続されている。この歌唱者とは、カラオケの伴奏情報に対して歌唱する者を示す。また、利用者とは、カラオケの伴奏情報に対する歌唱者のみならず、歌唱をしていなくても、カラオケ部屋においてカラオケ端末装置を利用する者を示す。

ミキシングアンプ２１８は、ＣＰＵ２０２から供給されるコマンドに応じて、接続されているマイク、スピーカ２１４の制御を行う機能を有する。ミキシングアンプ２１８は、ＣＰＵ２０２から供給されるコマンドに応じて、マイクから入力された歌唱者の音声を収集する機能を有する。ミキシングアンプ２１８は、ＣＰＵ２０２から供給されるコマンドに応じて、集音マイクから入力された利用者の音声を収集する機能を有する。ミキシングアンプ２１８は、ＣＰＵ２０２から供給されるコマンドに応じて、収集された音声をスピーカ２１４から発生させる機能を有する。ミキシングアンプ２１８は、ＣＰＵ２０２から供給されるコマンドに応じて、収集された音声をＡＶデータ処理部２２０に供給する機能を有する。このため、ＣＰＵ２０２は、ミキシングアンプ２１８に対して、各種のコマンドを送信することにより、各種の機能を実行させることとなる。

また、制御手段としてのＡＶデータ処理部２２０には、ビデオカメラ２３２Ａ、２３２Ｂ、…等が接続されている。歌唱者の動画像を撮影するビデオカメラ２３２Ａは１台に限定されない。

ＡＶデータ処理部２２０は、ＣＰＵ２０２から供給されるコマンドに応じて、ビデオカメラ２３２Ａ、２３２Ｂ、…から供給される利用者の画像及び歌唱者の画像を収集する機能を有する。ＡＶデータ処理部２２０は、ＣＰＵ２０２から供給されるコマンドに応じて、ミキシングアンプ２１８から供給される音声を記憶する機能を有する。ＡＶデータ処理部２２０は、ＣＰＵ２０２から供給されるコマンドに応じて、収集した画像及び供給された音声を編集する機能、予め記憶されている特殊合成画像を用いて、画像を編集する機能を有する。また、ＡＶデータ処理部２２０は、収集手段の一部に相当する。更には、ＡＶデータ処理部２２０は、収集された画像情報を編集する編集手段の一部に相当する。このため、ＣＰＵ２０２は、ＡＶデータ処理部２２０に対して、各種のコマンドを送信することにより、各種の機能を実行させることとなる。

ＣＰＵ２０２は、記憶部２０８に記憶されたプログラムに従って、各種の処理を実行する機能を有する。また、ＣＰＵ２０２は、記憶部２０８に保存されたプログラムを読み出して実行することにより、上記ハードウェアと協働して後述する各種の手段を実現している。

また、記憶部２０８には、伴奏音及び画像を含む伴奏情報、ＣＰＵ２０２によりカラオケ情報制御サーバの動作を制御するためのプログラム等が記憶されている。伴奏情報とは、カラオケの伴奏音とその伴奏音に対して同期して表示部２１０に表示される画像を含むものであり、選曲番号を含む選曲情報と対応付けられている。具体的なプログラムについては後述する。

尚、本実施形態においては、プログラム等を記憶する媒体として記憶部２０８を用いるように構成したが、本発明はこれに限らず、コンピュータにより読み取り可能な記憶媒体であれば別態様であってもよく、例えば、ＲＯＭ、ＣＤ−ＲＯＭ及びＤＶＤ等の記憶媒体に記録されていてもよい。また、これらのプログラムは、予め記録されているものでなくとも、電源投入後にメモリ２０４等に記録されるものでもよい。更にまた、プログラムの各々が別々の記憶媒体に記録されていてもよい。

メモリ２０４は、ＣＰＵ２０２の一時記憶領域として種々のフラグや変数の値を記憶する機能を有する。メモリ２０４に記憶されるデータの具体例としては、以下のようなものがある。

伴奏発生中であるか否かを判定するための伴奏中フラグ、選曲した曲情報を示す選曲情報、歌唱者の画像及び音声を収集するか否かを判定するための歌唱記憶フラグ、カラオケ端末装置の稼動状態に異常があるか否かを判定するための稼動フラグ等がメモリ２０４に記憶されている。また、選曲情報は、実行中である選曲情報と実行待機中である選曲情報とを含む。

尚、本実施形態においては、ＣＰＵ２０２の一時記憶領域としてメモリ２０４を用いているが、本発明はこれに限らず、読み書き可能な記憶媒体であればよい。

図３に示されるカラオケ端末装置２０の正面には、表示部２１０が備えられている。この表示部２１０は、複数の表示領域２１０ａ、２１０ｂ、２１０ｃ、２１０ｄ、を有している。メイン表示領域である表示領域２１０ａには、後述するように、選択された画像が表示される。表示領域２１０ｂ、表示領域２１０ｃには、伴奏情報に含まれる画像が表示される。表示領域２１０ｄには、歌唱者の画像が表示される。この歌唱者の画像は、カラオケの伴奏情報に対する歌唱者の画像であり、後述する歌唱情報に含まれている。また、この歌唱情報は、歌唱者の画像及び音声、伴奏情報を含むものである。

尚、本実施形態においては、表示部２１０を１つの表示装置として構成したが、本発明はこれに限らず、複数の表示装置として構成してもよい。

表示部２１０の下方には、カラオケ演奏装置１０２と、画像合成装置１０４と、が備えられている。

画像合成装置１０４は、特殊合成画像を生成する機能、集音マイクから周辺の音声を収集する機能、を有する。画像合成装置１０４は、収集手段の一部に相当する。また、画像合成装置１０４は、収集された歌唱情報を編集する編集手段の一部に相当する。

画像合成装置１０４の側方には、メイン画面切換スイッチ１０６が備えられている。このメイン画面切換スイッチ１０６は、メイン表示領域である表示領域２１０ａに表示させる画面を操作に応じて切り換える機能を有する。

また、このカラオケ端末装置２０には、リモコン１０８、無線キーボード１１０が備えられている。リモコン１０８、無線キーボード１１０の操作に応じて、各種の機能が実行される。リモコン１０８、無線キーボード１１０は、後述する操作部２１２（図３参照）の一部に相当する。

尚、本実施形態においては、カラオケ演奏装置１０２と、画像合成装置１０４と、を備える構成としたが、本発明はこれに限らず、カラオケ演奏装置１０２と、画像合成装置１０４等の各種の装置を省略してもよく、この場合には、それらの有している機能を他の装置に備える構成とすることが好適である。もちろん、このカラオケ演奏装置１０２は、一体であっても別体であってもよい。

[カラオケ情報制御手段の動作]
上述したように構成されたカラオケ情報制御手段２０の動作について図４を用いて説明する。

図４に示すように、ステップＳ１１においては、選曲処理を実行する。この処理において、ＣＰＵ２０２は、各種の入力操作等に応じて、選曲に応じた伴奏を発生させるべく、伴奏を発生するための選曲情報の処理を行う。詳しくは、図５を用いて後述する。この処理が終了した場合には、ステップＳ１２に処理を移す。

ステップＳ１２において、ＣＰＵ２０２は、合成モード選択処理を実行する。この処理において、ＣＰＵ２０２は、合成処理を行うか否かの判別を行い、合成処理を行うと判別した場合は、基準画像を収集し、基準画像保存領域に保存する。さらに、利用者が選択した背景画像データを背景画像保存領域２８に渡す。詳しくは、図６を用いて後述する。この処理が終了した場合には、ステップＳ１３に処理を移す。

ステップＳ１３において、ＣＰＵ２０２は伴奏発生処理を実行する。この処理において、ＣＰＵ２０２は、伴奏データをＡＶデータ処理部２２０に渡す。ＡＶデータ処理部は、受け取った伴奏データに基づいて、スピーカ２１４を通じて伴奏を発生する。この処理が終了した場合には、ステップＳ１４に処理を移す。

ステップＳ１４において、ＣＰＵ２０２は、撮影開始処理を実行する。この処理において、ＣＰＵ２０２は、ステップＳ１２で基準画像を収集済みである場合は、合成前画像を収集して合成前画像保存領域２３に保存する。また、ステップＳ１３において、基準画像を収集していない場合は、基準画像及び合成前画像を収集する。詳しくは図７から図８で後述する。この処理が終了した場合には、ステップＳ１５に処理を移す。

ステップＳ１５において、ＣＰＵ２０２は、抽出対象部分認識処理を行う。この処理において、ＣＰＵ２０２は、合成前画像保存領域２３から合成前画像を読み出し、背景画像保存領域２８に保存された背景に合成する部分を抽出する。この、抽出対象部分認識処理は、いくつかのバリエーションがあり、詳しくは、後述の図９から図１４において後述する。この処理が終了した場合には、ステップＳ１６に処理を移す。

ステップＳ１６において、ＣＰＵ２０２は、対象部分抽出処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１５の抽出対象部分認識処理において抽出された抽出対象部分を合成前画像から抽出する処理を行う。ＣＰＵ２０２は、抽出対象部分についてのマスク画像を作成し、合成前画像と重ね合わせ、抽出対象部分のみを合成前画像から抜き出す。そしてＣＰＵ２０２は、合成前画像から抜き出した抽出対象部分を対象部分保存領域２７に保存する。この処理が終了した場合には、ステップＳ１７に処理を移す。

ステップＳ１７において、ＣＰＵ２０２は、合成処理を行う。この処理において、ＣＰＵ２０２は、対象部分保存領域２７から抽出画像を読み込み、かつ背景画像保存領域２８から、事前に選択済みの背景画像と重ねあわせて合成画像を作成する。この処理が終了した場合には、ステップＳ１８に処理を移す。

ステップＳ１８において、ＣＰＵ２０２は、出力処理を行う。この処理において、ＣＰＵ２０２は、音声情報保存領域３４に保存された音声情報と合成画像を同期させて、合成画像を表示部２１０に、音声情報をＡＶデータ処理装置に渡す。すなわち、表示部２１０に合成画像を表示するためのデータを供給し、ミキシングアンプ２１８に音声情報を供給する。また、図６のステップＳ６２で合成処理を行わないと選択した場合には、ＣＰＵ２０２は、合成処理を行わない伴奏用デモ画面のデータを供給する。これにより、表示部２１０は合成画像又は伴奏用デモ画面を表示し、スピーカ２１４は音声情報を再生することとなる。この処理が終了した場合には、ステップＳ１９に処理を移す。

ステップＳ１９において、ＣＰＵ２０２は、伴奏が終了するか否かを判断する。この処理において、ＣＰＵ２０２は、伴奏終了と判断した場合には、ステップＳ２０に処理を移す。また、伴奏終了で無いと判断した場合には、ステップＳ１４に処理を移す。すなわち、ＣＰＵ２０２は、撮影開始処理から始まる画像合成処理を繰り返すことになる。

ステップＳ２０において、ＣＰＵ２０２は、伴奏終了処理を行う。この処理において、ＣＰＵ２０２は、ＡＶデータ処理部に伴奏データを渡すのを終了する。これにより、スピーカ２１４は音声情報の再生を終了する。また、ＣＰＵ２０２は、音声情報の収集も終了する。この処理が終了した場合には、ステップＳ２１に処理を移す。

ステップＳ２１において、ＣＰＵ２０２は、撮影終了処理を行う。この処理において、ＣＰＵ２０２は、合成前画像及び基準画像の収集を終了する。また、ＣＰＵ２０２は、合成画像を表示するためのデータを供給するのを終了する。この処理が終了した場合には、ステップＳ１１に処理を移す。すなわち、伴奏発生準備に戻り、これまでの処理を繰り返すことになる。

[選曲処理]
図４のステップＳ１１において実行されるサブルーチンについて、図５を用いて説明する。

ステップＳ３１においては、曲番号の入力操作の有無を判別する。この処理において、ＣＰＵ２０２は、リモコン１０８、無線キーボード１１０等の操作部２１２の操作に応じて、曲番号入力操作があったか否かを判断することとなる。ＣＰＵ２０２は、曲番号入力操作があったと判別した場合には、ステップＳ３２に処理を移す。一方、ＣＰＵ２０２は、曲番号入力操作があったとは判別しなかった場合には、ステップＳ３３に処理を移す。

ステップＳ３１の処理により曲番号入力操作があったと判別された場合には、選曲情報記憶処理を実行する（ステップＳ３２）。この処理において、ＣＰＵ２０２は、入力操作に応じた選曲情報を実行待機中の選曲情報として記憶する。この処理が終了した場合には、ステップＳ３３に処理を移す。

ステップＳ３３においては、伴奏中であるか否かの判断を行う。この処理において、ＣＰＵ２０２は、伴奏発生手段が伴奏を発生させているか否かにより、伴奏中であるか否かを判断する。ＣＰＵ２０２は、伴奏中であると判別した場合には、本サブルーチンを終了する。一方、ＣＰＵ２０２は、伴奏中であるとは判別しなかった場合には、ステップＳ３４に処理を移す。

ステップＳ３３の処理により伴奏終了中であると判別された場合には、選曲情報があるか否かの判断を行う（ステップＳ３４）。この処理において、ＣＰＵ２０２は、実行待機中である選曲情報を読み出し、実行待機中である選曲情報が全て空情報であるか否かを判定することにより、選曲情報があるか否かを判断することとなる。ＣＰＵ２０２は、選曲情報があると判別した場合には、本サブルーチンを終了する。一方、ＣＰＵ２０２は、選曲情報があるとは判別しなかった場合には、ステップＳ３５に処理を移す。

ステップＳ３４の処理により選曲情報がないと判別された場合には、選曲情報に基づく選曲処理を実行する（ステップＳ３５）。この処理において、ＣＰＵ２０２は、実行順序に従って、実行待機中である選曲情報の一つを実行中である選曲情報として記憶する。この処理が終了した場合には、本サブルーチンを終了する。

[合成モード選択処理]
図４のステップＳ１２において実行されるサブルーチンについて、図６を用いて説明する。

ステップＳ６１において、ＣＰＵ２０２は、合成モード選択画面表示処理を行う。この処理において、ＣＰＵ２０２は、表示部２１０に、利用者に合成モードを選択させる画面のデータを供給する。この処理が終了した場合には、ステップＳ６２に処理を移す。

ステップＳ６２において、ＣＰＵ２０２は、合成処理を行うか否かを判別する。この処理において、ＣＰＵ２０２は、ステップＳ６１でリモコン１０８や無線キーボード１１０から入力されたデータにより、合成処理を行うか否かを判別する。ＣＰＵ２０２は、合成処理を行うと判別した場合には、ステップＳ６３に処理を移す。また、合成処理を行わないと判別した場合には、本サブルーチンを終了する。

ステップＳ６３において、ＣＰＵ２０２は、基準画像を事前に撮影するか否かを判別する。この処理において、ＣＰＵ２０２は、ビデオカメラ２３２Ａ、２３２Ｂの構成情報や、後に行う抽出対象部分認識処理において、どのようなバリエーションを選択したかにより、基準画像を事前に撮影するか否かを判別する。基準画像を事前に撮影すると判別した場合には、ステップＳ６４にその処理を移す。また、基準画像を事前に撮影すると判別しなかった場合には、本サブルーチンを終了する。

ステップＳ６４において、ＣＰＵ２０２は、基準画像収集処理を行う。この処理において、ＣＰＵ２０２は基準画像収集手段２２により、基準画像を収集する。この処理が終了した場合には、ステップＳ６５に処理を移す。

ステップＳ６５において、ＣＰＵ２０２は、基準画像保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ６４で収集した基準画像を、基準画像保存領域２４に保存する。この処理が終了した場合には、ステップＳ６６に処理を移す。

ステップＳ６６において、ＣＰＵ２０２は、背景画像指定処理を行う。この処理において、ＣＰＵ２０２は、任意の背景画像を記憶部２０８から読み出す。この背景画像は、利用者により、選択できてもよい。

ステップＳ６７において、ＣＰＵ２０２は、基準画像をセットする。この処理においてＣＰＵ２０２は、基準画像保存領域２４に保存した基準画像をメモリ２０４に読み込む。この処理が終了した場合には、ステップＳ６８に処理を移す。

ステップＳ６８において、ＣＰＵ２０２は、基準画像セットフラグを有効の値として保存する。この処理が終了した場合には、本サブルーチンは終了する。

[撮影開始処理]
図４のステップＳ１４において実行されるサブルーチンについて、図７から図８を用いて説明する。撮影開始処理については、いくつかのバリエーションがあり、状況に応じてカラオケ端末装置の構成にふさわしい処理を選択できる。

[撮影開始処理（背景差分）]
図７のステップＳ７１において、ＣＰＵ２０２は、基準画像セットフラグが有効であるか否かの判断を行う。この処理において、ＣＰＵ２０２は、基準画像セットフラグを読み出し、有効であるか否かを判断する。ＣＰＵ２０２は、基準画像セットフラグが有効であると判別した場合には、ステップＳ７２に処理を移す。一方、ＣＰＵ２０２は、基準画像フラグが有効であると判別しなかった場合には、図４のステップＳ１２に処理を移す。

ステップＳ７２において、ＣＰＵ２０２は、合成前画像収集処理を行う。この処理において、ＣＰＵ２０２は合成前画像収集手段２１により、合成前画像を収集する。この処理が終了した場合には、ステップＳ７３に処理を移す。

ステップＳ７３において、ＣＰＵ２０２は、合成前画像保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ７２で収集した合成前画像を、合成前画像保存領域２３に保存する。この処理が終了した場合には、本サブルーチンを終了する。また、背景差分を使用するときとなっているが、これは、事前に基準画像を収集し、保存する必要のある他の方法に使用してもよい。

[撮影開始処理（フレーム間差分）]
図８のステップＳ８１において、ＣＰＵ２０２は、基準画像収集処理を行う。この処理において、ＣＰＵ２０２は基準画像収集手段２２により、基準画像を収集する。この処理が終了した場合には、ステップＳ８２に処理を移す。

ステップＳ８２において、ＣＰＵ２０２は、基準画像保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ８１で収集した基準画像を、基準画像保存領域２４に保存する。この処理が終了した場合には、ステップＳ８３に処理を移す。

ステップＳ８３において、ＣＰＵ２０２は、合成前画像収集処理を行う。この処理において、ＣＰＵ２０２は合成前画像収集手段２１により、合成前画像を収集する。この処理が終了した場合には、ステップＳ８４に処理を移す。

ステップＳ８４において、ＣＰＵ２０２は、合成前画像保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ８３で収集した合成前画像を、合成前画像保存領域２３に保存する。この処理が終了した場合には、本サブルーチンを終了する。また、フレーム間差分を使用するときとなっているが、これは、事前に基準画像を収集する必要が無く、基準画像と同時に収集し、保存する他の方法に使用してもよい。

[抽出対象部分認識処理]
図４のステップＳ１５において実行されるサブルーチンについて、図９から図１４を用いて説明する。抽出対象部分認識処理については、いくつかのバリエーションがあり、状況に応じてカラオケ端末装置の構成にふさわしい処理を選択できる。

[抽出対象部分認識処理１]
図９を用いて、抽出対象部分認識処理のバリエーションの１つ目を説明する。

ステップＳ１１１において、ＣＰＵ２０２は、基準画像保存領域２４から基準画像を読み出し、各画素の数値化を行う。そして、ＣＰＵ２０２は、基準画像数値を記憶する。この処理が終了した場合には、ステップＳ１１２に処理を移す。

ステップＳ１１２において、ＣＰＵ２０２は、合成前画像保存領域２３から合成前画像を読み出し、各画素の数値化を行う。そして、ＣＰＵ２０２は、合成前画像数値を記憶する。この処理が終了した場合には、ステップＳ１１３に処理を移す。

ステップＳ１１３において、ＣＰＵ２０２は、差分処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１１２で求めた合成前画像数値から、ステップＳ１１１で求めた基準画像数値の差分を計算する。この処理が終了した場合には、ステップＳ１１４に処理を移す。

ステップＳ１１４において、ＣＰＵ２０２は、差分値の保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１１３で求めた差分値を記憶する。この処理が終了した場合には、本サブルーチンを終了する。

上述のステップＳ１１１からステップＳ１１４までの処理により、基準画像と合成前画像との差分のある部分を抽出対象部分として認識する。

[抽出対象部分認識処理２]
図１０を用いて、抽出対象部分認識処理のバリエーションの２つ目を説明する。この抽出対象部分認識処理の２つ目については、ＣＰＵ２０２は特に、複眼カメラにより動画像を収集する場合に、選択する。また、この処理を選択する場合には、複眼カメラの一方のカメラから収集する画像を基準画像として保存するため、基準画像を予め収集し、保存する必要はない。

また、複眼カメラを使用する場合は、複眼カメラのいずれか一方のカメラ２４１ａを撮影対象２４３に焦点を合わせてセットする（図１１）。その際マーク２４５が、必ず画面のいずれかに撮影されるようにする必要がある（画像２５７）。また、他方のカメラ２４１ｂは、カメラ２４１ａの左右どちらかに設置し、その際、マーク２４５の位置が、カメラ２４１aで撮影したときと同じ位置に来るように焦点をあわせる（画像２５９）。これにより、カメラ２４１ａで撮影した画像２５７とカメラ２４１ｂで撮影した画像２５９の背景が、画像２５７と画像２５９を重ね合わせたとき一致するようになる。その一方で撮影対象２４３のみが、画像２５７と画像２５９を重ね合わせたときにずれて表示される。

ステップＳ１２１において、ＣＰＵ２０２は、基準画像数値情報保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１２１において取得した基準画像の各画素の数値化を行う。そして、ＣＰＵ２０２は、基準画像数値を記憶する。この処理が終了した場合には、ステップＳ１２２に処理を移す。

ステップＳ１２２において、ＣＰＵ２０２は、合成前画像の数値情報保存処理を行う。この処理において、ＣＰＵ２０２は、合成前画像の各画素の数値化を行う。そして、ＣＰＵ２０２は、合成前画像数値として記憶する。この処理が終了した場合には、ステップＳ１２３に処理を移す。

ステップＳ１２３において、ＣＰＵ２０２は、差分処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１２２で求めた合成前画像数値から、ステップＳ１２３で求めた基準画像数値の差分を計算する。この処理が終了した場合には、ステップＳ１２４に処理を移す。

ステップＳ１２４において、ＣＰＵ２０２は、シフト値補正処理を行う。この処理において、ＣＰＵ２０２は、予め複眼カメラ２４１ａ、２４１ｂの視差をシフト値として記憶しており、そのシフト値を用いてステップＳ１２３で求めた画素の差分値に対し、視差を補正する。この処理を行うことにより、視差のずれのない抽出対処領域を認識できる。この処理が終了した場合には、ステップＳ１２５に処理を移す。

ステップＳ１２５において、ＣＰＵ２０２は、補正済み差分値保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１２３で求めた補正済み差分値を記憶する。この処理が終了した場合には、本サブルーチンを終了する。

[抽出対象部分認識処理３]
図１２を用いて、抽出対象部分認識処理のバリエーションの３つ目を説明する。

ステップＳ１３１において、ＣＰＵ２０２は、基準画像保存領域２４から基準画像を読み出し、各画素の数値化を行う。そして、ＣＰＵ２０２は、基準画像数値を記憶する。この処理が終了した場合には、ステップＳ１３２に処理を移す。

ステップＳ１３２において、ＣＰＵ２０２は、合成前画像の数値情報保存処理を行う。この処理において、ＣＰＵ２０２は、合成前画像の各画素の数値化を行う。そして、ＣＰＵ２０２は、合成前画像数値を記憶する。この処理が終了した場合には、ステップＳ１３３に処理を移す。

ステップＳ１３３において、ＣＰＵ２０２は、差分処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１３２で求めた合成前画像数値から、ステップＳ１３１で求めた基準画像数値の差分を計算する。この処理が終了した場合には、ステップＳ１３４に処理を移す。

ステップＳ１３４において、ＣＰＵ２０２は、差分値の保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１３３で求めた差分値を記憶する。この処理が終了した場合には、ステップＳ１３５に処理を移す。

ステップＳ１３５において、ＣＰＵ２０２は、二値化処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１３４で保存した差分値について、予め設定したしきい値を使用して二値化処理を行う。この処理が終了した場合には、ステップＳ１３６に処理を移す。

ステップＳ１３６において、ＣＰＵ２０２は、細線化処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１３５で二値化処理をした画像の画素値の０と１の境界線を認識し、細線化処理を行う。そして、ＣＰＵ２０２は、細線化処理の結果、抽出対象部分の輪郭を抽出する。この処理が終了した場合には、本サブルーチンを終了する。

[抽出対象部分認識処理４]
図１３を用いて、抽出対象部分認識処理のバリエーションの４つ目を説明する。

ステップＳ１４１において、ＣＰＵ２０２は、基準画像保存領域２４から制御信号情報を読み出す。そして、ＣＰＵ２０２は、制御信号情報と基準画像と同期する。

ステップＳ１４２において、ＣＰＵ２０２は、基準画像の数値情報保存処理を行う。この処理において、ＣＰＵ２０２は、基準画像画像保存領域２３から、基準画像を読み出し、基準画像の各画素の数値化を行う。そして、ＣＰＵ２０２は、基準画像数値を記憶する。この処理が終了した場合には、ステップＳ１４３に処理を移す

ステップＳ１４３において、ＣＰＵ２０２は、合成前画像の数値情報保存処理を行う。この処理において、ＣＰＵ２０２は、合成前画像保存領域２３から、合成前画像を読み出し、合成前画像の各画素の数値化を行う。そして、ＣＰＵ２０２は、合成前画像数値を記憶する。この処理が終了した場合には、ステップＳ１４４に処理を移す。

ステップＳ１４４において、ＣＰＵ２０２は、差分処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１４３で求めた合成前画像数値から、ステップＳ１４２で求めた基準画像数値の差分を計算する。この処理が終了した場合には、ステップＳ１４５に処理を移す。

ステップＳ１４５において、ＣＰＵ２０２は、差分値の保存処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１４４で求めた差分値を記憶する。この処理が終了した場合には、本サブルーチンを終了する。

[抽出対象部分認識処理５]
図１４を用いて、抽出対象部分認識処理のバリエーションの４つ目を説明する。

ステップＳ１５１において、ＣＰＵ２０２は、合成前画像の数値情報保存処理を行う。この処理において、ＣＰＵ２０２は、合成前画像保存領域２３から、合成前画像を読み出し、合成前画像の各画素の数値化を行う。そして、ＣＰＵ２０２は、合成前画像数値を記憶する。この処理が終了した場合には、ステップＳ１５２に処理を移す。

ステップＳ１５２において、ＣＰＵ２０２は、基準画像のシフト比較処理を行う。この処理において、ＣＰＵ２０２は、基準画像保存領域２４から基準画像を読みこみ、その基準画像をブレ補償領域について上下左右に１画素づつシフトさせる。その際、基準画像の各画素を数値化しておき、基準画像と、出力対象領域全体との画素の差の総和が最も小さくなる場所を計算する。そして、画素の差の総和が最小になる場所と元の基準画像との距離と向きを求め、その値をシフト値としてＣＰＵ２０２は記憶する。この処理が終了した場合には、ステップＳ１５３に処理を移す。

ステップＳ１５３において、ＣＰＵ２０２は、合成前画像のシフト処理を行う。この処理において、ＣＰＵ２０２は、ステップＳ１５２において求めたシフト値を使用して、合成前画像の位置を補正する。この処理が終了した場合には、ステップＳ１５４に処理を移す。

ステップＳ１５４において、ＣＰＵ２０３は、シフト値により位置を補正した合成前画像を合成前画像保存領域に保存する。この処理が終了した場合には、本サブルーチンを終了する。

尚、この５つ目の抽出対象部分認識処理は、この処理を行ったあと、さらに他の抽出対象部分認識処理を行ってもよい。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定しない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載された効果に限定されない。

本発明の実施例である、カラオケ端末装置の構成を示すブロック図である。 本発明の実施例である、カラオケ端末装置のハードウェア構成を示す図である。 本発明の実施例である、カラオケ端末装置の表示部２１０の画面イメージである。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が複眼カメラで動画を収集するときの概念図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例であるカラオケ端末装置が実行する動作を示すフローチャート図である。 本発明の実施例である、カラオケ端末装置が実行する動作を示すフローチャート図である。

符号の説明

１ カラオケ端末装置
１０ 伴奏音発生手段
２０ カラオケ情報制御手段
２１ 合成前画像収集手段
２２ 基準画像収集手段
２５ 抽出対象部分認識手段
２６ 対象部分抽出手段
３２ 音声情報収集手段
４０ 合成手段
５０ 出力手段

Claims (10)

1. 少なくとも伴奏音を含む伴奏情報を発生する伴奏音発生手段と、
   カラオケに関する情報を制御するカラオケ情報制御手段と、を有するカラオケ端末装置であって、
   歌唱者の音声及び前記伴奏情報を保存する音声情報保存領域と、
   基準画像を保存する基準画像保存領域と、
   合成前画像を保存する合成前画像保存領域と、
   抽出対象部分を保存する抽出対象部分保存領域と、
   前記歌唱者が選択可能な撮影済み背景画像を保存する背景画像保存領域と、を備え、
   前記カラオケ情報制御手段は、
   前記歌唱者の音声及び前記伴奏情報を収集して前記音声情報保存領域に保存する音声情報収集手段と、
   基準画像を収集して前記基準画像保存領域に保存する基準画像収集手段と、
   合成前画像を収集して前記合成前画像保存領域に保存する合成前画像収集手段と、
   前記基準画像保存領域に保存した基準画像及び前記合成前画像保存領域に保存した合成前画像をそれぞれの画素毎において色を数値化して比較し、差のある画素を抽出対象部分として認識する抽出対象部分認識手段と、
   前記抽出対象部分認識手段によって認識された抽出対象部分を抽出して前記対象部分保存領域に保存する対象部分抽出手段と、
   前記背景画像保存領域に保存した背景画像の上に、前記対象部分保存領域に保存した抽出画像を重ねて合成する合成手段と、
   前記合成手段によって合成した合成画像を前記音声情報保存部分に保存した音声情報と共に出力する出力手段と、を備えるカラオケ端末装置。
2. 前記基準画像収集手段及び前記合成前画像収集手段は、複眼カメラにより構成されている請求項１に記載のカラオケ端末装置。
3. 前記基準画像収集手段は、一連の動画像を収集する際に、あらかじめ背景のいずれかに記された基準点に基づいて、複眼の各カメラの向きを調整した上で、複眼カメラの一方が前記一連の動画像の収集時間に含まれるある時点の合成前画像を収集して、前記合成前画像保存領域に保存し、他方が当該ある時点の基準画像を収集して前記基準画像保存領域に保存する、請求項２に記載のカラオケ端末装置。
4. 前記基準画像は、一連の動画像を収集する前に予め収集された画像であり、
   前記合成前画像は、前記一連の動画像の収集時間に含まれるある時点に収集された画像である、請求項１に記載のカラオケ端末装置。
5. 前記カラオケ情報制御部は、動画像の収集時間に含まれる所定の期間の照明を制御する制御信号情報を出力し、
   前記基準画像収集手段は、前記一連の動画像を収集する前に予め基準画像を収集して、前記制御信号情報と共に前記基準画像保存領域に保存し、
   前記合成前画像収集手段は、前記所定の期間に含まれるある時点の合成前画像を収集して、前記制御信号情報と共に合成前画像保存領域に保存し、
   前記抽出部分認識手段は、前記基準画像と前記合成前画像とを前記制御信号情報に基づいて同期させて比較する請求項４に記載のカラオケ端末装置。
6. 前記基準画像は、前記一連の動画像の収集時間に含まれるある時点の１フレーム前に収集された画像であり、
   前記合成前画像は、前記ある時点に収集された画像である、請求項１に記載のカラオケ端末装置。
7. 前記抽出対象部分認識手段は、前記抽出対象部分の認識において、前記抽出対象部分の輪郭を捉えてその動きを追跡し、
   前記対象部分抽出手段は、前記輪郭に囲まれた画素を抽出対象部分として抽出する、請求項１から６のいずれかに記載のカラオケ端末装置。
8. 少なくとも伴奏音を含む伴奏情報を発生する伴奏音発生手段と、
   カラオケに関する情報を制御するカラオケ情報制御手段と、を有するカラオケ端末装置であって、
   歌唱者の音声及び前記伴奏情報を保存する音声情報保存領域と、
   前記歌唱者が選択可能な撮影済み背景画像を保存する背景画像保存領域と、を備え、
   前記カラオケ情報制御手段は、前記歌唱者の音声及び前記伴奏情報を収集して前記音声情報保存領域に保存する音声情報収集手段と、
   一連の動画像を収集して前記合成前画像保存領域に保存する画像収集手段と、
   前記一連の動画像の上に前記背景画像保存領域に保存した背景画像を重ねて合成する合成手段と、
   前記合成手段によって合成した合成画像を前記音声情報保存部分に保存した音声情報と共に出力する出力手段と、を含み、
   前記背景画像は、あらかじめ前記抽出画像の上から重ねて合成するための透明部分が設定されており、透明部分のエッジの透明度は除々に変化する、カラオケ端末装置。
9. 前記合成前画像は、画像の出力に必要な出力対象画素領域の周囲にブレ補償領域に相当する画素を含み、前記抽出部分認識手段は、前記ある時点において、前記合成前画像保存領域に保存した合成前画像について、画素毎に色を数値化した後に、前記基準画像保存領域に保存した基準画像を上下左右に１画素毎にシフトをして比較し、前記出力対象画素領域全体の各画素毎の前記色の数値の差分の総和が最も小さくなる場合の、前記シフトの量だけ前記合成前画像をシフトして、前記合成前画像保存領域に保存する、請求項１から７のいずれかに記載のカラオケ端末装置。
10. 前記カラオケ端末装置は、ネットワーク上のサーバと通信可能であり、
    前記出力手段は、歌唱者の操作に基づいて合成画像データを前記サーバに送信する請求項１から９のいずれかに記載のカラオケ端末装置。
    

Images