JP2017032725A - カラオケシステム - Google Patents

Abstract

【課題】歌唱者の歌唱映像を録画する機能を備えるカラオケシステムにおいて、歌唱者のライブ的な歌唱感覚を反映させ、視聴者に違和感のない録画映像を提供する。【解決手段】複数の楽曲データ、歌唱者が装着するヘッドマウントディスプレイに表示される実際のライブステージ上からのステージ視点映像及び当該ステージ上の光景を観客席から眺望した観客席視点映像を記憶しておき、歌唱映像生成手段３３において歌唱者がカラオケ演奏に合わせて歌唱する姿態を撮像部が撮影して記録歌唱映像として記録し、歌唱映像編集手段３４において歌唱後に記録歌唱映像を読み出し、当該記録歌唱映像に観客席視点映像を組み込んで編集する。【選択図】図３

Description

本発明は、歌唱者の歌唱映像を録画する機能を備えるカラオケシステムに関する。

特にカラオケルームやナイト店など複数の利用客が利用するカラオケ装置には、場を盛り上げるためのエンターテインメント性が求められ、そのニーズに応えるための技術が種々提案されている。カラオケ演奏と共にディスプレイ等に背景映像を表示する技術もその一つであり、特に、近年では記憶装置の大容量化に伴い、楽曲それぞれに対応した背景映像を制作、記憶することも可能になっている。例えば、楽曲を歌唱するアーティストのライブ映像を収録しておき、歌唱者（カラオケルームの利用客）が当該楽曲を歌唱する際に背景映像として再生するというサービスがあり、歌唱者はライブの臨場感を味わいながら気持ちよく歌唱することができる。一方で、歌唱者の歌唱を録画するサービスも一般化し、より利用者へのサービス向上を図るために歌唱者のライブ的な歌唱感覚を反映させた録画を提供することも望まれる。

従来、カラオケ装置の利用者へのサービス機能の一つとして、例えば、ヘッドマウントディスプレイ（以下、「ＨＤＭ」と称する）をカラオケ装置と接続して歌詞を表示させることにより、歌唱者の位置の自由度を高めるとともに、障害物などにより歌詞が見えなくなってしまうという問題を解消する技術が知られている（特許文献１）。これに加えて、ＨＭＤ及びステレオヘッドホンにより全方位の映像及び音響を再現することができる技術も知られている（特許文献２）。

一方、カラオケルームで提供されている他のサービスとして、歌唱映像を録画するサービスが普及している。例えば、歌唱者の歌唱を録画してサーバにアップロードし、閲覧可能に公開する技術も知られている（特許文献３）。

特開２００１−０２２３６２号公報 特開２００２−１７１４６０号公報 特開２０１１−０５９６１９号公報 特開２０１２−００８４５１号公報 特開２０１４−０８５７９６号公報

ところで、上記特許文献１〜３に記載されているような従来技術を用いることにより、歌唱者が歌唱する際にアーティスト視線のライブ映像をＨＭＤに表示し、さらにその歌唱者の姿態を歌唱映像として録画することができるが、歌唱時にはＨＭＤ表示によりライブの臨場感を味わえたにもかかわらず、録画して閲覧できる歌唱映像は単にカラオケルームで歌唱している映像であり、せっかく得られた満足感を再現することができないという問題がある。

一方、特許文献４などには、カラオケルームにおける歌唱映像を他の背景映像と合成する技術が開示されており、ステージ画像を背景映像とし、そこに歌唱映像を嵌めこむことが考えられるが、歌唱時に歌唱者のＨＭＤに表示させた映像と無関係なステージ画像に歌唱映像を嵌め込んでも、体裁は良くなっても観客の反応が楽曲の進行と連動しないなど、結局は興趣を欠いてしまうという問題があると共に、歌唱者がＨＭＤを装着しながら歌唱している映像であるため、視聴者に違和感を与えるという問題がある。

そこで、本発明は上記課題に鑑みなされたもので、歌唱者のライブ的な歌唱感覚を反映させ、視聴者に違和感のない録画映像を提供するカラオケシステムを提供することを目的とする。

上記課題を解決するために、請求項１の発明では、歌唱者の歌唱している映像を提供するカラオケシステムであって、カラオケ演奏のための複数の楽曲データを記憶する楽曲データ記憶手段と、カラオケ演奏に合わせて歌唱する歌唱者が装着するヘッドマウントディスプレイに表示される映像であり、実際のライブステージ上で楽曲が歌唱された際の眺望に基づくステージ視点映像を、前記楽曲の楽曲データと紐付けられて記憶されるステージ視点映像記憶手段と、ステージ視点映像と同一の時間及び空間を共有する映像であり、前記ステージ上の光景を観客席から眺望した観客席視点映像を、前記ステージ視点映像と紐付けられて記憶される観客席視点映像記憶手段と、少なくとも、カラオケ演奏に合わせて前記ステージ視点映像を前記ヘッドマウントディスプレイに表示させる映像表示制御手段と、歌唱者がカラオケ演奏に合わせて歌唱する姿態を撮影し、記録歌唱映像として記録する歌唱映像記録手段と、前記歌唱映像記録手段により記録された記録歌唱映像を読み出し、当該記録歌唱映像に前記観客席視点映像を組み込んで編集する歌唱映像編集手段と、を有する構成とする。

請求項２，３の発明では、「歌唱者の顔の画像データを記憶する顔画像データ記憶手段をさらに備え、前記歌唱映像編集手段は、前記記録歌唱映像の歌唱者が装着するヘッドマウントディスプレイを含む画像領域を、少なくとも顔の画像データを用いて補正する」構成とし、
「歌唱者が頭部に装着する装飾品の画像データを記憶する装飾品画像データ記憶手段をさらに備え、前記歌唱映像編集手段は、前記記録歌唱映像の歌唱者が装着するヘッドマウントディスプレイを含む画像領域を、少なくとも装飾品の画像データを用いて補正する」構成とする。

請求項４，５の発明では、「前記楽曲のカラオケ演奏に合わせて歌唱されて予め記憶されていた歌唱者の歌唱映像を取得する歌唱映像取得手段と、前記歌唱映像取得手段により取得した前記楽曲の歌唱映像に基づき当該楽曲の前記ステージ視点映像を編集するステージ視点映像編集手段と、をさらに備え、前記映像表示制御手段は、前記ステージ視点映像編集手段により編集されたステージ視点映像を、カラオケ演奏に合わせて歌唱する歌唱者の装着する前記ヘッドマウントディスプレイに表示する」構成とし、
「前記歌唱映像編集手段は、前記歌唱映像記録手段で記録された記録歌唱映像を読み出し、当該記録歌唱映像に前記歌唱映像取得手段で取得された歌唱映像及び前記観客席視点映像を組み込んで編集する」構成とする。

請求項１の発明によれば、複数の楽曲データ、歌唱者が装着するヘッドマウントディスプレイに表示される実際のライブステージ上からのステージ視点映像、当該ステージ上の構成を観客席から眺望した観客席視点映像を記憶しておき、歌唱者がカラオケ演奏に合わせて歌唱する姿態を撮影して記録歌唱映像として記録し、歌唱後に読み出された記録歌唱映像に観客席視点映像を組み込んで編集する構成とすることにより、歌唱の際にＨＭＤに表示された歌唱ライブの光景が、記録された記録歌唱映像にも観客席からの光景が組み込まれることとなり、記録歌唱映像の再生時にも歌唱時に味わったライブの臨場感を再現することができ、歌唱者のライブ的な歌唱感覚を反映させ、視聴者に違和感のない録画映像を提供することができるものである。

請求項２，３の発明によれば、歌唱者の顔の画像データを記憶しておき、歌唱映像編集手段において記録歌唱映像の歌唱者が装着するヘッドマウントディスプレイを含む画像領域を、少なくとも顔の画像データを用いて補正し、また、記録歌唱映像の歌唱者が頭部に装着する装飾品の画像データを記憶しておき、歌唱映像編集手段において歌唱者が装着するヘッドマウントディスプレイを含む画像領域を、少なくとも装飾品の画像データを用いて補正する構成とすることにより、記録された記録歌唱映像の中のＨＭＤを歌唱者本人の顔画像やサングラスなどの装飾品の画像で置き換えて補正することから、歌唱者がＨＭＤを装着してステージ上で歌唱しているという違和感を解消することができるものである。

請求項４，５の発明によれば、加えて、楽曲のカラオケ演奏に合わせて歌唱された歌唱者の歌唱映像を予め記憶しておき、当該楽曲のカラオケ演奏に際して当該歌唱映像を取得して当該歌唱映像に基づき当該楽曲のステージ視点映像を編集し、当該編集されたステージ視点映像を、カラオケ演奏に合わせて歌唱する歌唱者の装着するヘッドマウントディスプレイに表示し、また、歌唱後に記録歌唱映像を読み出し、当該記録歌唱映像に取得された歌唱映像及び観客席視点映像を組み込んで編集する構成とすることにより、本人、他人に拘わらず複数歌唱に対してＨＭＤへの表示や記録映像を編集させることができるものである。

本発明に係るカラオケシステムにおける第１実施形態のブロック構成図である。 図１のサーバの構成説明図である。 図１の映像表示制御手段、歌唱映像生成手段及び歌唱映像編集手段の各ブロック構成図である。 図１の映像表示制御手段の処理フローチャートである。 図１の歌唱映像生成手段の処理フローチャートである。 図１の歌唱映像編集手段の処理フローチャートである。 本発明に係るカラオケシステムにおける第２実施形態の一部ブロック図である。 本発明に係るカラオケシステムの第２実施形態におけるサーバの構成説明図である。 図７のステージ視点映像編集手段の処理フローチャートである。

以下、本発明の実施形態を図により説明する。
図１に本発明に係るカラオケシステムにおける第１実施形態のブロック構成図を示すと共に、図２に図１のサーバの構成説明図を示す。図１において、カラオケ端末１１は、主要装置としてのカラオケ本体１２に、有線又は無線で外部接続されるものとして、表示部１３、ミキシングアンプ１４、マイク１５、スピーカ１６、遠隔入出力装置１７、ヘッドマウントディスプレイ（ＨＭＤ）１８及び撮像手段としての撮像部１９が接続されることで構成される。

上記表示部１３は、通常の楽曲選曲表示やカラオケ演奏時の歌詞や背景映像等を表示するもので、例えば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）、その他種々のディスプレイを採用することができる。上記ミキシングアンプ１４は、カラオケ本体１２より送られてくる音楽演奏信号に、マイク１５から有線又は無線で入力される音声信号をミキシングし、増幅してスピーカ１６より出力する。

上記遠隔入出力装置１７は、図示しない端末送受信部により、カラオケ本体１２に対して有線方式ないし無線方式（ＩＲ方式やブルートゥース（登録商標）機構のピコネット接続方式など）を利用してデータ授受を行うためのもので、少なくともログイン・ログアウト処理手段１７Ａ及び楽曲検索手段である選曲楽曲登録手段１７Ｂを適宜備える。

上記ログイン・ログアウト処理手段１７Ａは、利用者によるログイン操作に応じて当該利用者より利用者名や識別情報である利用者ＩＤを取得してログイン処理を行い、ログアウト操作に応じて利用終了の処理を行うプログラムである。

上記選曲楽曲登録手段１７Ｂは、図示しないリモコン表示部のＧＵＩ機能により、楽曲ＩＤや曲名、アーティスト名、歌唱パート情報などのデータからなるテーブルに基づいて利用者が所望する楽曲を検索させ、選曲の際に、歌唱映像を記録するか否かを設定させ（ここでは歌唱映像を記録する設定を行うものとする）、当該選曲された楽曲の楽曲ＩＤを利用者ＩＤに付帯させてカラオケ本体１２に送信するプログラムである。送信された楽曲ＩＤは、カラオケ本体１２におけるＲＡＭ２３の予約待ち行列４１に登録される。

上記ＨＭＤ１８は、歌唱者が装着するものとして用意され、後述の映像表示制御手段２４からの映像（後述する）を表示する液晶ディスプレイ（ＬＣＤ）であって、装着者に臨場感を視認させる公知のものである。当該ＨＭＤ１８は、ヘッドトラッキング機能が備わっており、例えば正面、右、左、背面などに応じたヘッドトラッキング信号がカラオケ本体１２のヘッドトラッキング信号入力手段３２に入力される。なお、歌唱者にＨＭＤ１８と共にヘッドホンを装着させることとしてもよく、当該ヘッドホンへの音響入力は上記ミキシングアンプ１４より有線若しくは無線で接続させればよい。

上記撮像部１９は、撮像素子を備えたデジタルビデオカメラであり、歌唱者がカラオケ演奏に合わせて歌唱する姿態を撮影し、映像データをカラオケ本体１２の歌唱映像生成手段３３に出力する。映像データのフォーマット形式は、例えば汎用のビデオカメラで採用されている形式を適用することができ、編集の対象とすることから後述する観客席視点映像のデータと同じフォーマットとすることが好ましい。当該撮像部１９と後述の歌唱映像生成手段３３により歌唱映像記録手段を構成する。なお、歌唱者の撮影、記録に関しては特許文献３記載の技術を用いることができる。

上記カラオケ本体１２は、バス２０、中央制御部２１、ＲＯＭ２２、ＲＡＭ２３、映像表示制御手段２４、再生手段２５、音声信号入力手段２６、送受信部２７Ａ，２７Ｂ、記憶部２８、利用者情報取得手段３１、ヘッドトラッキング信号入力手段３２、歌唱映像生成手段３３及び歌唱映像編集手段３４を備える。

上記ＲＡＭ２３には予約待ち行列４１、利用者情報４２及び記録歌唱映像４３の記憶領域が形成される。また、記憶部２８には、楽曲データベース（楽曲ＤＢ）５１、背景映像データベース（背景映像ＤＢ）５２、視点別映像データベース（視点別映像ＤＢ）５３及び装飾品画像データ記憶手段である装飾品画像データベース（装飾品画像ＤＢ）５４が記憶される。上記視点別映像ＤＢ５３はステージ視点映像記憶手段及び観客席視点映像記憶手段を構成し、ステージ視点映像５３Ａ及び観客席視点映像５３Ｂが記憶される（後述する）。

なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケシステムにおいても大部分が適用可能であることを示すために、構成要素の全体を説明する。

上記中央制御部２１は、このシステムを統括的に処理制御する物理的なＣＰＵであり、ＲＯＭ２２に記憶されているプログラムに基づくアルゴリズム処理を行う。上記ＲＡＭ２３は、予約待ち行列４１、利用者情報４２及び記録歌唱映像４３の記憶領域が形成される他に、上記種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。

上記映像表示制御手段２４は、演奏時に、背景映像ＤＢ５２より抽出された背景映像及び楽曲ＤＢ５１より抽出された楽曲の歌詞データに基づく歌詞表示データを表示部１３に出力すると共に、ＨＭＤ１８に対してステージ視点映像５３Ａ及び上記歌詞表示データを出力するプログラム乃至電子回路である。詳細を図３及び図４で説明する。

上記再生手段２５は、カラオケ楽曲に対しては例えばシーケンスプログラム及び音源（シンセサイザ）を備え、楽曲データの音符データに従って音源（シンセサイザ）を駆動して演奏信号としてミキシングアンプ１４に出力する。すなわち、中央制御部２１の指令に基づきＲＡＭ２３の予約待ち行列４１に登録された楽曲（楽曲ＩＤ）の楽曲データを楽曲ＤＢ５１より抽出して再生する。

上記音声信号入力手段２６は、マイク１５から入力される音声信号をＡ／Ｄ変換する電子回路であり、Ａ／Ｄ変換した音声信号は後述の歌唱映像生成手段３３に対して音声信号として供される。

上記送受信部２７Ａは、遠隔入出力装置１７との間で有線方式ないし無線方式（ＩＲ方式やブルートゥース（登録商標）機構のピコネット接続方式など）を利用してデータ授受を行うためのもので、そのための電子回路及びプログラムである。上記送受信部２７Ｂは、カラオケ本体１２とサーバ６２とが通信ネットワーク６１を介してデータ授受を行うための物理的な通信用回路やプラットフォーム等のソフトウエアにより構成されるものである。

上記記憶部２８に記憶されている楽曲ＤＢ５１は、楽曲毎に、音符データ、歌唱歌詞データ（色変え情報を含む）などを格納する。演奏に関して、具体的には、楽曲ＩＤ、曲名及びアーティストＩＤ（アーチスト名）が関連付けられた楽曲テーブルを有し、楽曲毎に、楽曲ＩＤで管理される所定データ形式のカラオケ楽曲の演奏データ（例えば、ＭＩＤＩ（登録商標）形式の旋律パートの音符ごとの楽譜データ）等で構成される楽曲データ（ファイル）について当該楽曲ＩＤをファイル名としてそれぞれ格納したデータベースである。上記記憶部２８に記憶されている背景映像ＤＢ５２は、楽曲毎に応じた背景映像データについて楽曲ＩＤをファイル名としてそれぞれ格納したデータベースである。ここでの背景映像は、原曲アーティストが歌唱している当該アーティストを含むライブ映像（観客席から観た映像）である。

上記記憶部２８に記憶されている視点別映像ＤＢ５３は、ステージ視点映像５３Ａ及び観客席視点映像５３Ｂを備える。当該ステージ視点映像５３Ａは、カラオケ演奏に合わせて歌唱する歌唱者が装着するＨＭＤ１８に表示される映像であり、実際のライブステージ上で楽曲が歌唱された際の眺望に基づくステージ視点映像を、楽曲の楽曲データ（楽曲ＩＤ）と紐付けられた映像データである。具体的には、所定の楽曲について原曲アーティストがライブ歌唱した際の、アーティスト視線の全周（平面的な全角度）の映像である。なお、全周映像の収録及びＨＭＤ１８への表示に関しては特許文献２記載の技術を用いることができる。また、ＨＭＤ１８に表示するステージ視点映像５３Ａの全周映像は必ずしもアーティスト視線の映像に限られず、ステージ上の適正な視点の映像であればよいが、その場合には歌唱するアーティスト本人が映っていないことが望ましい。

上記観客視点映像５３Ｂは、上記ステージ視点映像５３Ａと同一の時間及び空間を共有する映像であり、実際のライブステージ上の光景を観客席から眺望した観客席視点映像が、当該ステージ視点映像５３Ａと紐付けられて記憶される。当該観客席視点映像５３Ｂは、背景映像ＤＢに記憶されている当該楽曲の背景映像の原曲アーティストが映っていないだけの同様の映像である。

上記記憶部２８に記憶されている装飾品画像ＤＢ５４は、歌唱者が顔面に身に着ける装飾品や顔面以外に身に着ける服装などの画像であり、例えば、顔面に身に着ける装飾品として所定種類のメガネ、所定種類のサングラスや所定種類の帽子などがある。

上記利用者情報取得手段３１は、上記ログイン処理で取得した利用者ＩＤに基づいて後述するサーバ６２より年齢、性別等の利用者情報及び利用者顔画像（図２で説明する）を取得して後述のＲＡＭ２３に当該利用者ＩＤに付帯させて利用者情報４２として記憶させるプログラムである。

上記ヘッドトラッキング信号入力手段３２は、ＨＭＤ１８を装着した歌唱者の顔の向き角度に応じて当該ＨＭＤ１８より送出されてくるヘッドトラッキング信号を入力し、映像表示制御手段２４及び歌唱映像生成手段３３に供する電子回路乃至プログラムである。

上記歌唱映像生成手段３３は、歌唱者がカラオケ演奏に合わせて歌唱する姿態を撮影した撮像部１９の映像を取得して記録歌唱映像として記録するプログラムであり、当該記録歌唱映像はＲＡＭ２３に記録歌唱映像４３として記憶させる。なお、歌唱者の撮影、記録に関しては特許文献３記載の技術を用いることができる。詳細は図３及び図５で説明する。

上記歌唱映像編集手段３４は、歌唱映像生成手段３３で記録されてＲＡＭ２３に記憶された記録歌唱映像４３を読み出し、当該記録歌唱映像に記憶部２８の視点別映像ＤＢ５３に記憶されている当該楽曲の観客席視点映像５３Ｂを組み込んで、当該観客席視点映像中に当該歌唱者が歌唱している映像に編集するプログラムである。加えて、歌唱映像編集手段３４は、歌唱者が装着するＨＭＤ１８を含む画像領域を予め歌唱者となる利用者より取得しておいた当該利用者に関連する画像を用いて補正するプログラムを備える。

例えば、利用者より顔の全部または一部（ここでは一部とする）の画像データを後述するように記憶しておいて当該画像データを用いて補正する。また、歌唱者が装着するＨＭＤ１８を含む画像領域を、装飾品の画像データ（装飾品を含む画像データでもよい）を用いて補正する。なお、歌唱者が装着するＨＭＤ１８を含む画像領域を装飾品に画像データで補正してもよく、また、歌唱者が装着するＨＭＤ１８を含む画像領域を顔の画像データに補正した後にさらに顔領域を装飾品の画像データで補正してもよい。この実施形態では、後者の補正として詳細を図３及び図６で説明する。

一方、図２（Ａ）において、サーバ６２は、インターネットなどの通信ネットワーク６１を介して端末としての所定数のカラオケ端末１１（１１Ａ〜１１Ｎ）を管理し、当該各カラオケ端末１１に対する楽曲データの配信や各種データを送受すると共に、少なくとも何れかのカラオケ端末１１からの要求に応じて利用者の顔画像データを送信し、またアップロード歌唱映像を送受信する装置である。

サーバ６２は、利用者が任意の楽曲をカラオケ歌唱した際に録画した歌唱映像をダウンロード可能に公開する機能を備えるものであるが、図２（Ｂ）に示すように、基本構成として少なくとも制御部７１、ネットワーク送受信部７２、利用者情報抽出手段７３、アップロード映像送受信手段７４及び記憶手段としての利用者データベース（利用者ＤＢ）７５、顔画像記憶手段である利用者顔画像データベース（利用者顔画像ＤＢ）７６、アップロード歌唱映像データベース（アップロード歌唱映像ＤＢ）７７を備える。

なお、利用者ＤＢ７５は従前の構成と同様であり説明を省略する。また、アップロード歌唱映像ＤＢ７７においても公開用アップロードやダウンロードさせるための処理手段については従前の公開用サーバの構成と同様であり、構成及び説明を省略する。

上記制御部７１は、当該サーバ６２を統括的に制御する物理的なＣＰＵであり、図示しないＲＯＭに格納されているプログラムを実行処理して統括的な処理を行う。上記ネットワーク送受信部７２は、各カラオケ端末１１（１１Ａ〜１１Ｎ）との通信（データ授受）を行うために、通信ネットワーク６１の通信方式と整合性をとるための例えば物理的な通信用回路やプラットフォーム等のソフトウエアにより構成される。

上記利用者情報抽出手段７３は、所定のカラオケ端末１１より利用者ＩＤに基づいて当該利用者の情報要求があった時に、利用者ＤＢ７５より上記書誌的な各種情報を抽出し、また、利用者顔画像ＤＢ７６より当該利用者ＩＤに基づく利用者の顔画像データを抽出して上記利用者情報の一部として対応のカラオケ端末１１に送信するプログラムである。

上記アップロード映像送受信手段７４は、所定のカラオケ端末１１よりアップロード用の歌唱映像の選択、ダウンロード要求があった場合に、アップロード歌唱映像ＤＢ７７より当該歌唱映像を抽出して対応のカラオケ端末１１に送信するプログラムである。

上記利用者顔画像ＤＢ７６は、図２（Ｃ）に示すように、利用者ＩＤに関連付けて当該利用者の顔画像データを予め記憶しておくもので、一例として、当該利用者の右斜め後ろ４５度、右、右斜め前４５度、正面、左斜め前４５度、右、右斜め後ろ４５度、背面の各静止画像データであって、例えば頭部の１／５位の部分を顔画像データとして記憶しておくものである。

そこで、図３に図１の映像表示制御手段、歌唱映像生成手段及び歌唱映像編集手段の各ブロック構成図を示すと共に、図４に図３の映像表示制御手段の処理フローチャートを示し、図５に図３の歌唱映像生成手段の処理フローチャートを示し、図６に図３の歌唱映像編集手段の処理フローチャートを示す。

図３（Ａ）において、上記映像表示制御手段２４は、歌詞表示制御部８１、背景映像表示制御部８２及びＨＭＤ映像表示制御部８３を備える。上記歌詞表示制御部８１は、演奏対象の楽曲について楽曲ＤＢ５１より歌詞データを取得し、演奏に沿って色変え表示を行って歌詞表示データとするプログラムである。上記背景映像表示制御部８２は、演奏対象の楽曲の楽曲ＩＤに基づいて背景映像ＤＢ５２より背景映像（原曲アーティストが歌唱している観客席視点の歌唱映像）を取得し、当該背景映像に歌詞表示制御部８１で生成された歌詞表示データを付加して表示部１３に背景映像として演奏に沿って出力するプログラムである。

上記ＨＭＤ映像表示制御部８３は、演奏対象の楽曲の楽曲ＩＤに基づいて視点別映像ＤＢ５３より対象のステージ視点映像５３Ａを取得し、また、歌唱中にＨＭＤ１８よりヘッドトラッキング信号を取得し、ステージ視点映像５３Ａ中の当該ヘッドトラッキング信号に応じた歌唱者の視点方向の映像部分に上記歌詞表示データを付加してＨＭＤ１８に演奏に沿って出力するプログラムである。

すなわち、図４に示すように、再生楽曲について、楽曲ＤＢ５１より歌詞データを取得すると共に、背景映像ＤＢ５２より背景映像データを取得し、視点別映像ＤＢ５３よりステージ視点映像５３Ａ、ＨＭＤ１８からのヘッドトラッキング信号をヘッドトラッキング信号入力手段３２より取得する（ステップ１（Ｓ１））。

楽曲が再生されると、歌詞表示制御部８１が順次歌詞表示データを生成していき、当該楽曲の再生に同期して、背景映像表示制御部８２が背景映像に歌詞表示データを付加して表示部１３に出力し、ＨＭＤ映像表示制御８３がステージ視点映像データ５３Ａに基づいてヘッドトラッキング信号に応じた視点角度のステージ視点映像に歌詞表示データを付加してＨＭＤ１８に出力する（Ｓ２）。例えば、ＨＭＤ１８を装着した歌唱者が正面を向けば観客席が表示され、右を向けばステージ上のベーシストが、左を向けばギタリストが表示される。そして、当該楽曲の再生が終了するまで続けられる（Ｓ３）。

図３（Ｂ）において、上記歌唱映像生成手段３３は、撮像データ入力部９１及び歌唱映像同期部９２を備える。当該撮像データ入力部９１は、撮像部１９より例えばカラオケルーム内のステージ上で歌唱している歌唱者を撮像した撮像データを入力するプログラムである。上記歌唱映像同期部９２は、撮像部１９より入力した撮像データに音声信号入力手段２６より取得した歌唱者の歌唱音声信号を同期させると共に、上記ヘッドトラッキング信号を同期させた付帯情報を付帯させた記録歌唱映像を生成してＲＡＭ２３に記録歌唱映像４３として記憶するプログラムである。なお、記録歌唱映像にヘッドトラッキング信号を付帯させるのは、後に歌唱者を観客席視点映像に合成する際に、歌唱に沿って歌唱者の視点方向（顔方向）を特定するためである。

すなわち、図５に示すように、再生楽曲について、撮像部１９より撮像データを撮像データ入力部９１おいて取得すると共に、歌唱映像同期部９２が音声歌唱信号を音声信号入力手段２６より取得し、ＨＭＤ１８からのヘッドトラッキング信号をヘッドトラッキング信号入力手段３２より取得する（Ｓ１１）。

歌唱映像同期部９２が、取得した撮像データに歌唱音声信号を同期させると共に、取得したヘッドトラッキング信号を同期させて付属情報として順次記録する（Ｓ１２）。そして、楽曲再生が終了すると（Ｓ１３）、記録した歌唱映像をＲＡＭ２３に記録歌唱映像４３として記憶するものである（Ｓ１４）。

図３（Ｃ）において、歌唱映像編集手段３４は、合成部１０１、ＨＭＤ認識部１０２、顔面角度特定部１０３、置換部１０４、両目認識部１０５及び加工部１０６を備える。上記合成部１０１は、ＲＡＭ２３より記録歌唱映像４３を取得すると共に、視点別映像ＤＢ５３より再生対象楽曲の観客席視点映像５３Ｂを取得し、記録歌唱映像４３の少なくとも歌唱者以外の領域に観客席視点映像５３Ｂを合成するプログラムである。

上記ＨＭＤ認識部１０２は、上記合成した映像中の歌唱者が装着しているＨＭＤ１８の画像領域を認識するプログラムである。上記顔面角度特定部１０３は、合成した映像中における歌唱者の顔面角度を記録歌唱映像４３に付帯されたヘッドトラッキング信号に基づいて特定するプログラムであり、例えば取得する歌唱者の視点方向（顔の向いた方向）を顔画像データの角度に対応させて特定する。

上記置換部１０４は、ＲＡＭ２３の利用者情報４２中に含まれる顔画像データを読み出し、上記ＨＭＤ認識部１０２が認識した歌唱者の頭部に位置するＨＭＤ１８の画像領域を消去し、顔面角度認識手段１０３が認識した歌唱者の視点角度対応の顔画像データ及び周囲の背景画像を置き換えて補正するプログラムである。

上記両目認識部１０５は、上記置換部１０４で補正した歌唱者の顔画像データ中の両目領域を認識するプログラムである。上記加工部１０６は、装飾品画像ＤＢ５４より所望の装飾品画像データを取得し、両目認識部１０５が認識した両目領域に当該取得した装飾品の画像データを組み込んで補正するプログラムである。なお、歌唱映像編集手段３４における処理における合成に関しては特許文献４記載の技術を適用することができ、画像領域の検出や、他のデータへの置換、補正に関しては、特許文献５記載の技術を用いることができるものである。

すなわち、図６に示すように、再生楽曲の終了後に、再生された楽曲について、ＲＡＭ２３より記録歌唱映像４３及び歌唱者の利用者情報４２における当該歌唱者の顔画像データを取得すると共に、視点別映像ＤＢ５３より観客席視点映像５３Ｂを取得し、装飾品画像ＤＢ５４より所望の装飾品画像データ（例えば、サングラスの画像データ）を取得する（Ｓ２１）。

合成部１０１において、観客席視点映像５３Ｂに歌唱者の記録歌唱映像４３を合成する（Ｓ２２）。続いて、当該合成映像に基づいて、ＨＭＤ認識部１０２がＨＭＤ画像領域を検出すると共に、顔面角度特定部１０３が順次顔面角度を特定し、置換部１０４が検出したＨＭＤ画像領域を消去して歌唱者における特定された顔面角度に応じた顔画像データを組み込み、周囲の背景映像を補正する（Ｓ２３）。

また、両目認識部１０５が組み込んだ顔面画像の両目領域を認識し、加工部１０６が当該両目領域上に取得した装飾品画像データ（例えばサングラスの装飾品画像データ）を付加した歌唱映像を生成する（Ｓ２４）。そして、当該歌唱映像をアップロード用歌唱映像としてサーバ６２に送信する（Ｓ２５）。サーバ６２では、図２（Ｂ）に示すアップロード映像送受信部７４が受信してアップロード歌唱映像ＤＢ７７に格納するものである。

このように、歌唱の際にＨＭＤ１８に表示された歌唱ライブの光景が、記録された記録歌唱映像４３にも観客席からの光景が組み込まれることとなり、記録歌唱映像（アップロード歌唱映像）の再生時にも歌唱時に味わったライブの臨場感を再現することができるものである。また、歌唱者のライブ的な歌唱感覚を反映させて記録された記録歌唱映像４３の中のＨＭＤ１８を歌唱者本人の顔画像やサングラスなどの装飾品の画像で置き換えて補正することから、歌唱者がＨＭＤ１８を装着して仮想ライブステージ上で歌唱しているという違和感を解消することができるものである。

次に、図７に本発明に係るカラオケシステムにおける第２実施形態の一部ブロック図を示すと共に、図８に本発明に係るカラオケシステムの第２実施形態におけるサーバの構成説明図を示す。本発明に係る第２実施形態は、図７（Ａ）に示すように、図１の遠隔入出力装置１７に歌唱映像取得手段としてのデュエット対象映像選択取得手段１７Ｃを備えさせたものである。デュエット対象の映像は複数歌唱の一形態である。

上記デュエット対象映像選択取得手段１７Ｃは、楽曲のカラオケ演奏に合わせて歌唱されて予め記憶されていた歌唱者の歌唱映像を取得するものであり、具体的には、利用者により、例えば楽曲選曲に際して、サーバ６２の後述するデュエット楽曲アップロード映像抽出手段（７８）に対し、アップロード歌唱映像ＤＢ７７より所望のデュエット対象映像を検索、選択し、サーバ６２より対応のデュエット対象映像をダウンロードして図７（Ｂ）に示すＲＡＭ２３にデュエット対象映像４４として記憶するプログラムである。なお、デュエット対象映像は、他人によらず以前にアップロードした利用者本人の歌唱映像でもよい（例えば、一人時間差デュエットとなる）。

また、カラオケ本体１２では、ステージ視点映像編集手段３５を備え、ＲＡＭ２３にデュエットＨＭＤ表示映像４５の記憶領域が設けられる。当該ステージ視点映像編集手段３５は、サーバ６２より取得してＲＡＭ２３に記憶した楽曲のデュエット対象映像４４に基づき当該楽曲のステージ視点映像５３Ａを編集するプログラムであり、具体的には、図７（Ｃ）に示すように、ステージ視点映像取得部１１１、デュエット対象映像取得部１１２及び合成部１１３を備える。

上記ステージ視点映像取得部１１１は、視点別映像ＤＢ５３より対応楽曲のステージ視点映像５３Ａを取得するプログラムである。上記デュエット対象映像取得部１１２は、ＲＡＭ２３より記憶されたデュエット対象映像４４を取得するプログラムである。そして、合成部１１３は、ステージ視点映像５３Ａにデュエット対象映像４４を合成し、デュエットＨＭＤ表示映像４５として記憶するプログラムである。

一方、図８（Ａ）において、サーバ６２には、新たにデュエット楽曲アップロード映像抽出手段７８を備える。当該デュエット楽曲アップロード映像抽出手段７８は、上述のように所定のカラオケ端末１１の利用者よりの要求に応じてアップロード歌唱映像ＤＢ７７より所望のデュエット対象映像を検索させ、選択されたデュエット対象映像を対応のカラオケ端末に送信するプログラムである。例えば、図８（Ｂ）に示すような選択対象のデュエット対象のアップロード映像を抽出し、選択された歌唱映像ＩＤに基づく歌唱映像がアップロード歌唱映像ＤＢ７７より抽出されて対応のカラオケ端末１１に送信される。

そこで、図９に、図７のステージ視点映像編集手段の処理フローチャートを示す。ステージ視点映像編集手段３５による処理は、利用者が選曲した楽曲がＲＡＭ２３の予約待ち行列４１に登録された直後でもよく、当該楽曲が再生される直前でもよい。すなわち、図９において、再生される楽曲について、ステージ視点映像取得手段１１１が視点別映像ＤＢ５３よりステージ視点映像５３Ａを取得すると共に、デュエット対象映像取得部１１２がＲＡＭ２３よりデュエット対象映像４４を読み出して取得する（Ｓ３１）。

合成部１１３において、ステージ視点映像５３Ａにデュエット対象映像４４を合成する（Ｓ３２）。例えば、全周のステージ視点映像において、正面を向けば観客席が表示され、右を向けばステージ上のデュエット相手の歌唱者が、左を向けばギタリストが表示される。なお、デュエット対象の歌唱者の映像は基本的に正面映像であることから右を向いた時の歌唱者も正対したイメージとなってしまうが、例えば、正面以外に左側面映像も撮影すれば解決することができる。

そして、合成映像をデュエットＨＭＤ表示映像４５としてＲＡＭ２３に記憶される（Ｓ３３）。映像表示制御手段２４では、編集されたステージ視点映像（デュエットＨＭＤ表示映像４５）を、カラオケ演奏に合わせて歌唱する歌唱者の装着するＨＭＤ１８に表示することとなる。

一方、歌唱後は、歌唱映像編集手段３４が、ＲＡＭ２３に記憶された記録歌唱映像４３を読み出し、当該記録歌唱映像４３に歌唱映像取得手段である遠隔入出力装置１７のデュエット対象映像選択取得手段１７Ｃで取得されてＲＡＭ２３に記憶されたデュエット対象映像４４及び視点別映像ＤＢ５３より取得した観客席視点映像５３Ｂを組み込んで編集し、また顔画像データの置き換え、装飾品画像データの加工を行い、アップロード用歌唱映像としてサーバ６２に送信するものである。

このように、本人、他人に拘わらず複数歌唱に対してＨＭＤ１８への表示や記録映像を編集させることができるものである。より具体的には、他の歌唱者の歌唱映像に合わせて歌唱し新たな歌唱映像を作成する「コラボ歌唱映像（特許文献３参照）」についても、ライブの臨場感を味わいながらデュエット歌唱し、再生時にもライブでのデュエット歌唱の臨場感を再現することができるものである。

本発明のカラオケシステムは、カラオケの基本的機能を備えた装置の製造、使用、販売等の産業に利用可能である。

１１ カラオケ端末
１２ カラオケ本体
１３ 表示部
１７ 遠隔入出力装置
１８ ヘッドマウントディスプレイ（ＨＭＤ）
１９ 撮像部
２４ 映像表示制御手段
２６ 音声信号入力手段
２８ 記憶部
３１ 利用者情報取得手段
３２ ヘッドトラッキング信号入力手段
３３ 歌唱映像生成手段
３４ 歌唱映像編集手段
３５ ステージ視点映像編集手段
４２ 利用者情報
４３ 記録歌唱映像
４４ デュエット対象映像
４５ デュエット楽曲ＨＭＤ表示映像
５３ 視点別映像データベース（視点別映像ＤＢ）
５４ 装飾品画像データベース（装飾品画像ＤＢ）
６２ サーバ
７３ 利用者情報抽出手段
７４ アップロード映像送受信手段
７５ 利用者データベース（利用者ＤＢ）
７６ 利用者顔画像データベース（利用者顔画像ＤＢ）
７７ アップロード歌唱映像データベース（アップロード歌唱映像ＤＢ）
７８ デュエット楽曲アップロード映像抽出手段
８１ 歌詞表示制御部
８３ ＨＭＤ映像表示制御部
９１ 撮像データ入力部
９２ 歌唱映像同期部
１０１ 合成部
１０２ ＨＭＤ認識部
１０３ 顔面角度特定部
１０４ 置換部
１０５ 両目認識部
１０６ 加工部
１１１ ステージ視点映像取得部
１１２ デュエット対象映像取得部
１１３ 合成部

Claims (5)

1. 歌唱者の歌唱している映像を提供するカラオケシステムであって、
   カラオケ演奏のための複数の楽曲データを記憶する楽曲データ記憶手段と、
   カラオケ演奏に合わせて歌唱する歌唱者が装着するヘッドマウントディスプレイに表示される映像であり、実際のライブステージ上で楽曲が歌唱された際の眺望に基づくステージ視点映像を、前記楽曲の楽曲データと紐付けられて記憶されるステージ視点映像記憶手段と、
   ステージ視点映像と同一の時間及び空間を共有する映像であり、前記ステージ上の光景を観客席から眺望した観客席視点映像を、前記ステージ視点映像と紐付けられて記憶される観客席視点映像記憶手段と、
   少なくとも、カラオケ演奏に合わせて前記ステージ視点映像を前記ヘッドマウントディスプレイに表示させる映像表示制御手段と、
   歌唱者がカラオケ演奏に合わせて歌唱する姿態を撮影し、記録歌唱映像として記録する歌唱映像記録手段と、
   前記歌唱映像記録手段により記録された記録歌唱映像を読み出し、当該記録歌唱映像に前記観客席視点映像を組み込んで編集する歌唱映像編集手段と、
   を有することを特徴とするカラオケシステム。
2. 請求項１記載のカラオケシステムであって、
   歌唱者の顔の画像データを記憶する顔画像データ記憶手段をさらに備え、
   前記歌唱映像編集手段は、前記記録歌唱映像の歌唱者が装着するヘッドマウントディスプレイを含む画像領域を、少なくとも顔の画像データを用いて補正することを特徴とするカラオケシステム。
3. 請求項１又は２記載のカラオケシステムであって、
   歌唱者が頭部に装着する装飾品の画像データを記憶する装飾品画像データ記憶手段をさらに備え、
   前記歌唱映像編集手段は、前記記録歌唱映像の歌唱者が装着するヘッドマウントディスプレイを含む画像領域を、少なくとも装飾品の画像データを用いて補正することを特徴とするカラオケシステム。
4. 請求項１〜３の少なくとも何れかに記載のカラオケシステムであって、
   前記楽曲のカラオケ演奏に合わせて歌唱されて予め記憶されていた歌唱者の歌唱映像を取得する歌唱映像取得手段と、
   前記歌唱映像取得手段により取得した前記楽曲の歌唱映像に基づき当該楽曲の前記ステージ視点映像を編集するステージ視点映像編集手段と、をさらに備え、
   前記映像表示制御手段は、前記ステージ視点映像編集手段により編集されたステージ視点映像を、カラオケ演奏に合わせて歌唱する歌唱者の装着する前記ヘッドマウントディスプレイに表示することを特徴とするカラオケシステム。
5. 請求項４記載のカラオケシステムであって、
   前記歌唱映像編集手段は、前記歌唱映像記録手段で記録された記録歌唱映像を読み出し、当該記録歌唱映像に前記歌唱映像取得手段で取得された歌唱映像及び前記観客席視点映像を組み込んで編集することを特徴とするカラオケシステム。

Images