JP2021039141A - カラオケ装置 - Google Patents

Abstract

【課題】カラオケ歌唱中において、歌唱者がカラオケ歌唱を楽しむことができ、且つ、歌唱者以外の利用者がカラオケ映像を見て楽しむことができる。【解決手段】複数の表示部と、複数の表示部のそれぞれに対応付けて設けられて各表示部の表示方向の被写体を撮影する複数の撮影部と、が接続されているカラオケ装置３は、複数の撮影部から出力される撮影画像データから検出した顔画像データから、歌唱者の顔特徴データと一致する歌唱者の顔画像データを抽出する。そして、カラオケ装置３は、抽出した顔画像データから検出した歌唱者の顔方向に基づいて、複数の撮影部から出力される撮影画像データから歌唱者の顔方向がより正面に近い撮影画像データを選択する。さらに、カラオケ装置３は、選択した撮影画像データを出力した撮影部に対応付けられている表示部に歌詞テロップを表示し、該表示部以外の表示部には歌詞テロップを表示しない。【選択図】図２

Description

本発明は、カラオケ装置に関する。

従来、カラオケ装置には複数の映像出力端子が設けられており、複数台のディスプレイを接続可能となっている。このようなカラオケ装置をカラオケボックスやナイト店などのカラオケ店舗に導入する場合、利用者がカラオケルーム内のどこに居ても何れかのディスプレイを視認できるように、各ディスプレイが配置される。そして、これら全てのディスプレイに歌詞テロップを表示することで、歌唱者は何れかのディスプレイに表示される歌詞を見ながら歌唱することが可能となる。

また、近年ではディスプレイが大画面化したことにより、カラオケ事業者はアーティストのライブ映像といった高精細なカラオケ映像を提供するようになってきている。それに伴い、そのような高精細なカラオケ映像をじっくり見て楽しみたいという利用者が増えている。このようにカラオケ映像をじっくり楽しみたい利用者にとってみれば、上記のように全てのディスプレイに歌詞テロップが表示されることは、ライブ映像を楽しむ上でかえって邪魔になる可能性がある。

そこで、歌詞テロップを表示させるディスプレイと歌詞テロップを表示させないディスプレイとを切り替える技術が提案されている（特許文献１，２参照）。特許文献１には、カラオケ演奏中に利用者がリモコン装置を使用して、各ディスプレイの表示モードを、歌詞テロップを表示する歌詞表示モードと、演奏曲リストなどの情報を表示する情報表示モードとに手動で切り替える技術が記載されている。特許文献２には、各モニタにリモコン受光部を設け、楽曲の予約信号を受信したリモコン受光部に対応するモニタにその楽曲のカラオケ映像を表示させ、それ以外のモニタには任意の映像を表示させることで、表示モードを自動で切り替える技術が記載されている。

特開平９−１１４４７７号公報 特開平１１−１２６０８５号公報

しかし、カラオケ店舗の利用者は、時間の経過や飲酒量の増加によって場が盛り上がってくると、着席しての歌唱に物足りず、席を立って動いたり踊ったりしながら歌唱する場合がある。したがって、特許文献２に記載の技術のように、歌詞テロップを表示するディスプレイが固定されてしまうと、歌唱者は、そのディスプレイを注視しなければならず、自由に動くことができなくなり、歌唱を楽しむことができなくなる。一方、特許文献１に記載の技術を用いて歌詞テロップを表示するディスプレイを切り替えることはできるが、歌唱者が歌唱中にディスプレイを切り替えることは煩わしい。また、歌唱者が歌唱しながらリモコン装置を操作してディスプレイを確実に切り替えることは困難である。

本発明は例えば上述したような問題に鑑みなされたものであり、本発明の課題は、カラオケ歌唱中において、歌唱者がカラオケ歌唱を楽しむことができ、且つ、歌唱者以外の利用者がカラオケ映像を見て楽しむことが可能なカラオケ装置を提供することにある。

上記課題を解決するために、本発明のカラオケ装置は、複数の表示部と、前記複数の表示部のそれぞれに対応付けて設けられて各表示部の表示方向の被写体を撮影する複数の撮影部と、が接続されているカラオケ装置において、歌唱者により選曲された楽曲の演奏データに基づいて前記楽曲を演奏する演奏制御部と、前記楽曲の演奏に伴って背景映像と歌詞テロップとを表示部に表示する表示制御部と、予め登録された、顔特徴を示す顔特徴データの中から、前記歌唱者の前記顔特徴データを取得する顔特徴データ取得部と、前記複数の撮影部から出力される撮影画像データから、顔画像を示す顔画像データを検出する顔画像データ検出部と、前記顔画像データ検出部により検出された前記顔画像データの中から、前記歌唱者の前記顔特徴データと一致する前記顔画像データを抽出する顔画像データ抽出部と、前記顔画像データ抽出部により抽出された前記顔画像データから、前記歌唱者の顔方向を検出する顔方向検出部と、前記顔方向検出部の検出結果に基づいて、前記複数の撮影部から出力される撮影画像データの中から、前記歌唱者の顔方向がより正面に近い撮影画像データを選択する撮影画像データ選択部と、を有し、前記表示制御部は、前記撮影画像データ選択部で選択された撮影画像データを出力した撮影部に対応付けられている表示部に歌詞テロップを表示し、該表示部以外の表示部には歌詞テロップを表示しない制御を行うことを特徴とする。

本発明によれば、カラオケ歌唱中において、歌唱者がカラオケ歌唱を楽しむことができ、且つ、歌唱者以外の利用者がカラオケ映像を見て楽しむことができる。

第１実施形態に係るカラオケ装置を備えるカラオケシステムの構成図である。 第１実施形態に係るカラオケ装置の構成を示すブロック図である。 第１実施形態に係るカラオケ装置の映像入出力部の構成を示すブロック図である。 第１実施形態に係るカラオケ装置を備えるカラオケシステムの動作を示すシーケンス図である。 第１実施形態に係る楽曲予約画面の一例を示す図である。 第１実施形態に係るカラオケ装置のカラオケ演奏時の動作を示すフローチャートである。 第１実施形態に係る各カメラから出力される撮影画像データによって示される撮影画像の一例を示す図である。 第２実施形態に係る楽曲予約画面の一例を示す図である。 第２実施形態に係るカラオケ装置のカラオケ演奏時の動作を示すフローチャートである。 第２実施形態に係る各カメラから出力される撮影画像データによって示される撮影画像の一例を示す図である。

＜第１実施形態＞
図１、図２、及び図３を参照して、第１実施形態に係るカラオケ装置について説明する。図１は、第１実施形態に係るカラオケ装置３を備えるカラオケシステム１の構成図である。図２は、第１実施形態に係るカラオケ装置３の構成を示すブロック図である。図３は、第１実施形態に係るカラオケ装置３の映像入出力部３３の構成を示すブロック図である。

図１に示すように、カラオケシステム１は、サーバ装置２、複数のカラオケ装置３、複数のリモコン装置４を備えていて、それぞれ相互に情報通信を行うことができる。また、図１に示すように、カラオケ装置３とリモコン装置４とで無線ＬＡＮ（ローカルエリアネットワーク）５が構築されていて、無線ＬＡＮ５はルータとモデム（いずれも図示なし）を介してインターネット６に接続されている。また、サーバ装置２は、ルータとモデム（いずれも図示なし）を介してインターネット６に接続されている。なお、図１では、１台のカラオケ装置３に１台のリモコン装置４が接続されているが、１台のカラオケ装置３に複数台のリモコン装置４が接続されていてもよい。

図２に示すように、サーバ装置２は、カラオケシステム１を利用する利用者の識別情報（以下、利用者ＩＤと呼ぶ。）をログインパスワード、顔特徴データ、歌唱履歴等と対応付けて格納する、利用者データベース２１を有する。顔特徴データとは、利用者の顔の特徴を示すデータであり、少なくとも顔の輪郭及び、目、鼻、口の位置を特定可能な情報である。例えば、顔特徴データは、利用者の顔を撮影して得られる画像データである。

カラオケ装置３は、記憶部３１と、通信回路３２と、映像入出力部３３と、カラオケ装置３における各種処理を制御するＣＰＵ（中央演算処理装置）等の制御部３４と、音響処理部３５とを有する。

記憶部３１は、例えばフラッシュメモリ等の半導体記憶装置、または例えばハードディスク等の磁気記憶装置を有している。記憶部３１は、後述するログイン利用者管理テーブルや予約楽曲管理テーブルを格納する。また、記憶部３１は、後述する演奏データを格納する。通信回路３２は、ルータ及びインターネット６を介して他の装置（本実施形態では、サーバ装置２）と通信を行うための回路を有している。また、通信回路３２は、他の装置（本実施形態では、リモコン装置４）と無線ＬＡＮを構築するための回路を有している。

映像入出力部３３は、複数の映像出力端子と複数の映像入力端子とを有し、一つの映像出力端子に対して、一つの映像入力端子が対応付けられている。本実施形態では、映像入出力部３３は、図３に示すように、３つの映像出力端子３３１ａ，３３１ｂ，３３１ｃと３つの映像入力端子３３２ａ，３３２ｂ，３３２ｃとを有する。そして、映像出力端子３３１ａと映像入力端子３３２ａが、映像出力端子３３１ｂと映像入力端子３３２ｂが、映像出力端子３３１ｃと映像入力端子３３２ｃがそれぞれ対応付けられている。

映像出力端子３３１ａ，３３１ｂ，３３１ｃには複数の表示部（ディスプレイ）が接続されている。具体的には、映像出力端子３３１ａにディスプレイ１０ａが、映像出力端子３３１ｂにディスプレイ１０ｂが、映像出力端子３３１ｃにディスプレイ１０ｃが接続されている。ディスプレイ１０ａ，１０ｂ，１０ｃは、カラオケ装置３が設置されるカラオケルームのレイアウトに応じて、利用者がカラオケルーム内のどこに居ても何れかのディスプレイを視認できるように、カラオケルーム内に配置される。

映像入力端子３３２ａ，３３２ｂ，３３２ｃには複数の撮影部であるカメラが接続されている。具体的には、映像入力端子３３２ａにカメラ１１ａが、映像入力端子３３２ｂにカメラ１１ｂが、映像入力端子３３２ｃにカメラ１１ｃが接続されている。

カメラ１１ａ，１１ｂ，１１ｃは、ディスプレイ１０ａ，１０ｂ，１０ｃの表示方向を撮影可能なように配置される。本実施形態では、カメラ１１ａがディスプレイ１０ａの表示方向の被写体を撮影し、カメラ１１ｂがディスプレイ１０ｂの表示方向の被写体を撮影し、カメラ１１ｃがディスプレイ１０ｃの表示方向の被写体を撮影する。ここで、ディスプレイの表示方向とは、ディスプレイの画面に対面する方向であり、ディスプレイの前方である。

また、カメラ１１ａ，１１ｂ，１１ｃは、撮影して得られた撮影画像データをカラオケ装置３の映像入力端子３３２ａ，３３２ｂ，３３２ｃに出力する。具体的には、カメラ１１ａが、ディスプレイ１０ａの表示方向の撮影画像データＣＤ１を映像入力端子３３２ａに出力する。カメラ１１ｂが、ディスプレイ１０ｂの表示方向の撮影画像データＣＤ２を映像入力端子３３２ｂに出力する。カメラ１１ｃが、ディスプレイ１０ｃの表示方向の撮影画像データＣＤ３を映像入力端子３３２ｃに出力する。

制御部３４は、例えば記憶部３１に記憶されたコンピュータプログラムを読み取って実行することにより、後述する機能ブロック３４１〜３４７として機能する。

演奏制御部３４１は、利用者（歌唱者）により選曲された楽曲の演奏データに基づいて楽曲を演奏する。表示制御部３４２は、楽曲の演奏に伴って、背景映像及び歌詞テロップをディスプレイ１０ａ，１０ｂ，１０ｃに表示する制御を行う。顔特徴データ取得部３４３は、歌唱者の顔特徴データを取得する。

顔画像データ検出部３４４は、カメラ１１ａ，１１ｂ，１１ｃから入力される撮影画像データＣＤ１，ＣＤ２，ＣＤ３から、顔画像データを検出する。顔画像データ抽出部３４５は、顔特徴データ取得部３４３により取得された歌唱者の顔特徴データに基づいて、顔画像データ検出部３４４により検出された顔画像データから、歌唱者の顔画像データを抽出する。顔方向検出部３４６は、顔画像データ抽出部３４５により抽出された歌唱者の顔画像データに基づいて、歌唱者の顔方向を検出する。撮影画像データ選択部３４７は、顔方向検出部３４６により検出された歌唱者の顔方向に基づいて、カメラ１１ａ，１１ｂ，１１ｃから入力される撮影画像データから、歌唱者の顔方向がより正面に近い撮影画像データを選択する。

音響処理部３５は、演奏制御部３４１の制御に基づき、楽曲に対する演奏の制御およびマイク（マイクロフォン）８を通じて入力された歌唱音声信号の処理を行う。音響処理部３５は、たとえばＭＩＤＩ音源、Ａ／Ｄコンバータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を含むミキサ、Ｄ／Ａコンバータ、アンプ（いずれも図示なし）を含む。演奏制御部３４１は、予約された楽曲の演奏データを、テンポクロック信号に基づいて記憶部３１から順次読み出し、ＭＩＤＩ音源に入力する。ＭＩＤＩ音源は、入力された演奏データに基づいて楽音信号を生成する。Ａ／Ｄコンバータは、マイク８から入力される歌唱音声信号をデジタル音声データに変換し、ミキサ（ＤＳＰ）に入力する。ミキサは、上記楽音信号および上記デジタル音声データを適当な比率でミキシングする。Ｄ/Ａコンバータはミキシング信号をアナログ音声信号に変換し、アンプは、Ｄ/Ａコンバータからのアナログ音声信号を増幅し、放音信号としてスピーカ９へ出力する。これにより、スピーカ９からは放音信号に基づくカラオケ演奏音およびマイク８からの歌唱音声が放音される。

リモコン装置４は、タッチパネル４１と、記憶部４２と、通信回路４３と、ＣＰＵ（中央演算処理装置）等の制御部４４とを有する。

タッチパネル４１は、各種情報を表示する表示部として機能するとともに、ユーザの入力操作を受け付ける入力部として機能する。記憶部４２は、例えばフラッシュメモリ等の半導体記憶装置を有している。通信回路４３は、カラオケ装置３と無線ＬＡＮ５を構築するための回路を有している。

制御部４４は、例えば記憶部４２に記憶されたコンピュータプログラムを読み取って実行することにより、リモコン装置４における各種処理を制御する。本実施形態では、制御部４４は、楽曲の検索メニューや楽曲の検索結果などの各種情報を示す画面（後述する楽曲検索画面や楽曲予約画面など）をタッチパネル４１に表示する。また、制御部４４は、ユーザがタッチパネル４１介して入力した情報を、通信回路４３を介してカラオケ装置３やサーバ装置２に送信する。

続いて、図４及び図５を参照して、利用者が楽曲予約をする際のカラオケシステム１の動作を説明する。

図４は、利用者が楽曲予約をする際のカラオケシステム１の動作を示すシーケンス図である。図５は、第１実施形態に係る楽曲予約画面の一例を示す図である。まず、利用者はリモコン装置４を使用して利用者ＩＤとパスワードとの入力によるログイン操作を行う。リモコン装置４の制御部４４は、ログイン操作により入力された利用者ＩＤとパスワードの組み合わせをサーバ装置２に送信する（ステップＳ４０１）。

サーバ装置２は、リモコン装置４から受信した利用者ＩＤとパスワードの組み合わせに対応する、歌唱履歴や顔特徴データを、リモコン装置４に送信する（ステップＳ４０２）。リモコン装置４の制御部４４は、サーバ装置２から受信した顔特徴データを利用者ＩＤと共に、ログイン利用者情報としてカラオケ装置３に送信する（ステップＳ４０３）。

カラオケ装置３の制御部３４は、通信回路３２を介して、リモコン装置４から送信されたログイン利用者情報を受信する。そして、制御部３４は、受信したログイン利用者情報をログイン利用者管理テーブルに登録する（ステップＳ４０４）。ログイン利用者管理テーブルは、利用者の利用者ＩＤと顔特徴データとを対応づけて格納するテーブルである。

次いで、利用者は、リモコン装置４を操作して、リモコン装置４のタッチパネル４１に楽曲検索画面（図示なし）を表示させる。そして、利用者は、楽曲検索画面から予約候補の楽曲（歌唱を希望する楽曲）を検索し、検索結果から予約候補の楽曲を決定する。すると、リモコン装置４の制御部４４は、タッチパネル４１に、図５に示す楽曲予約画面５０を表示させる。その際、制御部４４は、楽曲予約画面５０に利用者アイコン（カラオケ装置３にログインしている利用者のアイコン）の一覧５１を表示する。利用者は、楽曲予約画面５０に表示されている、利用者アイコンの一覧５１から、自身の利用者アイコンを選択する。図５に示す例では、３人の利用者の利用者アイコン５２〜５４が表示されていて、利用者アイコン５３が選択されている様子が示されている。なお、利用者が他の利用者の予約操作を代行して行う場合には、該他の利用者の利用者アイコンを選択すればよい。また、利用者アイコンは、利用者毎のログイン操作時にリモコン装置４がサーバ装置２から受信し、当該利用者の利用者ＩＤと対応付けられている。

利用者が楽曲予約画面上の転送ボタン５５を押下すると、リモコン装置４の制御部４４は、予約候補として決定された楽曲の識別情報（以下、楽曲ＩＤと呼ぶ。）と利用者ＩＤとを予約楽曲情報としてカラオケ装置３に送信する（ステップＳ４１１）。なお、ここで送信される利用者ＩＤは、予約操作において選択された利用者アイコンに対応する利用者の利用者ＩＤである。カラオケ装置３の制御部３４は、リモコン装置４から受信した予約楽曲情報を予約楽曲管理テーブルに登録する（ステップＳ４１２）。

図６及び図７を参照して、第１実施形態に係るカラオケ装置３のカラオケ演奏時の動作について説明する。図６は、第１実施形態に係るカラオケ装置３のカラオケ演奏時の動作を示すフローチャートである。まず、カラオケ装置３の制御部３４は、予約楽曲管理テーブルに登録された予約楽曲情報を読み出す（ステップＳ６０１）。なお、予約楽曲情報は、登録順に従って１つずつ（一曲ずつ）読み出されるものとする。また、読み出された予約楽曲情報は、予約楽曲管理テーブルから削除されるものとする。次いで、制御部３４は、読み出した予約楽曲情報に含まれる楽曲ＩＤに対応する楽曲データ、歌詞テロップデータ、及び背景映像データを記憶部３１から読み出す（ステップＳ６０２）。さらに、制御部３４（より具体的には顔特徴データ取得部３４３）は、予約楽曲情報に含まれる利用者ＩＤに対応する顔特徴データをログイン利用者管理テーブルから読み出す（ステップＳ６０３）。

制御部３４は、読み出した楽曲データ、歌詞テロップデータ、及び背景映像データに基づいて、カラオケ演奏（楽曲の演奏）と、各ディスプレイに対する背景映像の表示と歌詞テロップの表示とを開始する（ステップＳ６０４）。制御部３４は、カラオケ演奏が終了するまで、ステップＳ６０６〜Ｓ６１０の処理を所定時間毎に繰り返す（ステップＳ６０５）。

まず、制御部３４（より具体的には顔画像データ検出部３４４）は、カメラ１１ａ，１１ｂ，１１ｃから継続的に入力される撮影画像データＣＤ１，ＣＤ２，ＣＤ３に基づいて、利用者の顔画像データを検出する（ステップＳ６０６）。顔画像データの検出方法としては、例えば、特開２０００−２８３３号公報に記載の方法がある。この方法では、エッジ検出により各撮影画像データが示す視野内の画像の輪郭を抽出し、輪郭で囲まれた領域のうち、所定以上の大きさの面積を有する領域を顔画像領域として検出する。さらに、顔画像データ検出部３４４は、検出した顔画像領域の輪郭や顔画像領域内における目、鼻、及び口の位置を利用して、利用者の顔画像の特徴を認識することにより、各撮影画像データから顔画像データを検出する。図７は、各カメラから入力される撮影画像データによって示される撮影画像の一例を示す図である。なお、図７における破線の枠は、顔画像データとして検出された領域を模式的に示している。ここでは、図７に示すように、撮影画像データＣＤ１から２名の利用者の顔画像データが検出されたとする。また、撮影画像データＣＤ２から３名の利用者の顔画像データが検出されたとする。さらに、撮影画像データＣＤ３から１名の利用者の顔画像データが検出されたとする。

次いで、顔画像データ抽出部３４５は、ステップＳ６０６で検出された各顔画像データの中から、ログイン利用者管理テーブルから読み出した歌唱者の顔特徴データと一致する顔画像データ、すなわち歌唱者の顔画像データを抽出する（ステップＳ６０７）。顔画像データ抽出部３４５は、例えば、特開２０１０−２６２０７２号公報の段落００４６に記載の方法を用いて、顔特徴データと各撮影画像データの顔画像データとにおいて、顔の輪郭及び、目、鼻、口の位置を比較してその一致度を数値化する。そして、顔画像データ抽出部３４５は、一致度が所定の閾値以下であれば、両者は一致していないと判断し、一致度が所定の閾値を超えていれば、両者は一致していると判断する。このようにして、顔画像データ抽出部３４５は、各撮影画像データから検出された顔画像データの中から、歌唱者の顔画像データを抽出する。ここでは、図７に示すように、撮影画像データＣＤ１から検出された顔画像データの中から、歌唱者の顔特徴データと一致すると判断された顔画像データＦＤ１が抽出されたとする。また、撮影画像データＣＤ２から検出された顔画像データの中から、歌唱者の顔特徴データと一致すると判断された顔画像データＦＤ２が抽出されたとする。さらに、撮影画像データＣＤ３から検出された顔画像データの中から、歌唱者の顔特徴データと一致すると判断された顔画像データＦＤ３が抽出されたとする。

次いで、制御部３４（より具体的には顔方向検出部３４６）は、歌唱者の顔特徴データと一致するとして抽出された全ての顔画像データ（顔画像データＦＤ１，ＦＤ２，ＦＤ３）について、顔の向き（以下、顔方向と呼ぶ。）を検出する（ステップＳ６０８）。顔方向の検出方法としては、例えば、特開２０１５−１０９６１４号公報の段落００１８〜００２２に記載の方法がある。この方法では、顔画像データから目、鼻等の特徴点である水平ラインと垂直ラインを検出し、その検出結果から顔の回転角度を判断する。そして、顔の回転角度に基づいて歌唱者の顔方向を検出する。顔方向検出部３４６は、このような方法を用いて、歌唱者の顔画像データから歌唱者の顔方向を検出する。ここでは、顔画像データＦＤ１によって示される歌唱者の顔方向が正面向き（図７における手前方向）として検出され、顔画像データＦＤ２によって示される歌唱者の顔方向が右向き（図７における左方向）として検出され、顔画像データＦＤ３によって示される歌唱者の顔方向が左向き（図７における右方向）として検出されたとする。

次いで、制御部３４（より具体的には撮影画像データ選択部３４７）は、ステップＳ６０８の検出結果に基づき、歌唱者の顔方向がより正面に近い顔画像データを含む撮影画像データを選択する（ステップＳ６０９）。顔画像データが示す歌唱者の顔方向が正面に近いということは、その顔画像データを含む撮影画像データを出力するカメラの方を歌唱者が注視していることになる。図７に示す例では、顔方向が正面向きである顔画像データＦＤ１を含む撮影画像データＣＤ１が選択される。

最後に、制御部３４（より具体的には表示制御部３４２）は、歌詞テロップの表示と非表示の制御を行う（ステップＳ６１０）。その際、表示制御部３４２は、ステップＳ６０９で選択された撮影画像データＣＤ１を出力するカメラ１１ａが接続された映像入力端子３３２ａに対応する映像出力端子３３１ａに接続されたディスプレイ１０ａを、歌唱者が注視するディスプレイとして特定する。そして、表示制御部３４２は、特定したディスプレイ１０ａに歌詞テロップを表示し、ディスプレイ１０ｂ及びディスプレイ１０ｃには歌詞テロップを表示しないように制御する。なお、表示制御部３４２は、歌詞テロップの表示区間でのみ歌詞テロップの表示と非表示の制御を行うこととし、前奏や間奏といった歌詞テロップの非表示区間においては、歌唱者が注視するディスプレイが特定されたとしても、歌詞テロップの表示と非表示の制御は行わないこととしてもよい。

制御部３４は、ステップＳ６０６〜Ｓ６１０の処理をカラオケ演奏が終了するまで所定時間毎に繰り返し、カラオケ演奏が終了すると処理を終了する。なお、予約楽曲管理テーブルに予約楽曲情報が残っている場合には、制御部３４は、それらの予約楽曲情報に対してステップＳ６０１〜Ｓ６１０の処理を繰り返し実行する。なお、所定時間は、例えば歌唱者が、あるディスプレイから他のディスプレイに顔の向きを９０度変える場合に、顔方向を３０度ずつ検出できる程度の短い時間が望ましい。この場合、歌唱者の顔の向きが６０度変わった時点で、他のディスプレイが歌唱者の注視するディスプレイとして特定されて歌詞テロップが表示されるため、歌唱者に歌詞表示の遅れによる違和感を与えることがない。

以上、第１実施形態によれば、歌唱者は、体の向きや姿勢、場所に応じて自分が見やすいディスプレイを注視することで、そのディスプレイのみに歌詞テロップを表示させることができる。また、歌唱者以外の利用者は、歌詞テロップが表示されているディスプレイ以外の何れかのディスプレイを見ることで、カラオケ映像を楽しむことができる。

＜第２実施形態＞
次に、第２実施形態に係るカラオケシステム１について説明する。第２実施形態に係るカラオケシステム１は、利用者が楽曲検索画面にてデュエット楽曲を選曲した場合に、楽曲予約画面にてデュエット楽曲の歌唱パート毎に利用者に利用者アイコンを指定させて、歌唱パートと歌唱者とを対応付けする。

なお、第２実施形態のカラオケシステム１の構成は、第１実施形態と同様である。したがって、第２実施形態については第１実施形態と同様な構成については説明を省略する。また、第２実施形態に係るカラオケシステム１においては、第１実施形態と同一の名称には同一の符号を付して説明する。

また、利用者が楽曲予約をする際の第２実施形態に係るカラオケシステム１の動作は、図４に示す第１実施形態に係るカラオケシステム１の動作と同様である。ただし、利用者が、楽曲検索画面にてデュエット楽曲を予約候補の楽曲として決定した場合には、リモコン装置４の制御部４４は、タッチパネル４１に、図８に示す楽曲予約画面８０を表示させる。

図８は、第２実施形態に係る楽曲予約画面の一例を示す図である。図８に示すように、楽曲予約画面８０には、歌唱パート毎に利用者アイコンの一覧８１が表示され、歌唱パート毎に歌唱者を指定することが可能となっている。なお、本実施形態では、説明を簡単にするため、第１歌唱パートと第２歌唱パートの２つの歌唱パートを含むデュエット楽曲が予約された場合を例にする。

例えば、利用者Ｘ，Ｙが、楽曲予約画面８０にて、予約候補のデュエット楽曲の第１歌唱パートに利用者Ｘの利用者アイコン８３を指定し、第２歌唱パートに利用者Ｙの利用者アイコン８２を指定したとする。その状態で楽曲予約画面の転送ボタン８５が押下されると、ステップＳ４１１にて、予約候補の楽曲ＩＤ、第１歌唱パートのＩＤ、利用者Ｘの利用者ＩＤ、第２歌唱パートのＩＤ、及び利用者Ｙの利用者ＩＤが予約楽曲情報としてカラオケ装置３に送信される。歌唱パートのＩＤは、歌唱パートを特定可能な識別情報であり、例えば歌唱パートのパートナンバーである。なお、このような歌唱パートのＩＤと利用者ＩＤを含む予約楽曲情報が送信された際には、カラオケ装置３では、第１歌唱パートのＩＤと利用者Ｘの利用者ＩＤが対応付けられ、第２歌唱パートのＩＤと利用者Ｙの利用者ＩＤが対応付けられる。

図９は、第２実施形態に係るカラオケ装置３のカラオケ演奏時の動作を示すフローチャートである。なお、ステップＳ９０１，Ｓ９０２，Ｓ９０４の処理は、ステップＳ６０１，Ｓ６０２，Ｓ６０４の処理と同様であるが、ステップＳ９０３では、制御部３４（より具体的には顔特徴データ取得部３４３）は、予約楽曲情報に含まれる第１歌唱パートのＩＤに対応付けられた利用者ＩＤに対応する利用者Ｘの顔特徴データと、第２歌唱パートのＩＤに対応付けられた利用者ＩＤに対応する利用者Ｙの顔特徴データを、ログイン利用者管理テーブルから読み出す。

ステップＳ９０４の後、制御部３４は、カラオケ演奏が終了するまで、ステップＳ９０６〜Ｓ９１０の処理を所定時間毎に各歌唱パートに対して交互に繰り返す（ステップＳ９０５）。

まず、第１歌唱パートに対して行われるステップＳ９０６〜Ｓ９１０の処理を説明する。制御部３４（より具体的には顔画像データ検出部３４４）は、各カメラから継続的に入力される撮影画像データに基づいて、利用者の顔画像データを検出する（ステップＳ９０６）。顔画像データの検出方法は、ステップＳ６０６の処理と同様である。なお、ここでは、カメラ１１ａ，１１ｂ，１１ｃから図１０に示す撮影画像データＣＤ１，ＣＤ２，ＣＤ３が入力されたものとする。

次いで、顔画像データ抽出部３４５は、ステップＳ９０６で検出した各顔画像データの中から、ログイン利用者管理テーブルから読み出した利用者Ｘの顔特徴データと一致する顔画像データを抽出する（ステップＳ９０７）。ここでは、図１０に示すように、撮影画像データＣＤ１の顔画像データの中から、利用者Ｘの顔特徴データと一致する顔画像データとして顔画像データＦＤ４が抽出されたとする。また、撮影画像データＣＤ２の顔画像データの中から、利用者Ｘの顔特徴データと一致する顔画像データとして顔画像データＦＤ５が抽出されたとする。

次いで、制御部３４（より具体的には顔方向検出部３４６）は、利用者Ｘ（第１歌唱パートの歌唱者）の顔特徴データと一致するとして抽出された全ての顔画像データ（顔画像データＦＤ４，ＦＤ５）について顔方向を検出する（ステップＳ９０８）。顔方向の検出方法は、ステップＳ６０８と同様である。ここでは、顔画像データＦＤ４によって示される利用者Ｘの顔方向が左向き（図１０における右方向）として検出され、顔画像データＦＤ５によって示される利用者Ｘの顔方向が正面向き（図１０における手前方向）として検出される。

次いで、制御部３４（より具体的には撮影画像データ選択部３４７）は、ステップＳ９０８の検出結果に基づき、利用者Ｘの顔方向がより正面に近い顔画像データを含む撮影画像データを選択する（ステップＳ９０９）。ここでは、顔方向が正面向きである顔画像データＦＤ５を含む撮影画像データＣＤ２が選択される。

最後に、制御部３４（より具体的には表示制御部３４２）は、第１歌唱パートの歌詞テロップの表示と非表示を制御する（ステップＳ９１０）。その際、表示制御部３４２は、ステップＳ９０９で選択された撮影画像データＣＤ２を出力するカメラ１１ｂが接続された映像入力端子３３２ｂに対応する映像出力端子３３１ｂに接続されたディスプレイ１０ｂを、利用者Ｘが注視するディスプレイとして特定する。そして、表示制御部３４２は、特定されたディスプレイ１０ｂに第１歌唱パートの歌詞テロップを表示し、ディスプレイ１０ａ及びディスプレイ１０ｃに第１歌唱パートの歌詞テロップを表示しないように制御する。なお、表示制御部３４２は、第１歌唱パートの歌詞テロップの表示区間でのみ第１歌唱パートの歌詞テロップの表示と非表示の制御を行うこととし、第１歌唱パートの歌詞テロップの非表示区間においては、第１歌唱パートの歌唱者が注視するディスプレイが特定されたとしても、第１歌唱パートの歌詞テロップの表示と非表示の制御は行わないこととしてもよい。

制御部３４は、ステップＳ９０６〜Ｓ９１０の処理を第１歌唱パートの演奏に対して行う。そして、第１歌唱パートに対する処理が終了すると、制御部３４は、第２歌唱パートに対してステップＳ９０６〜Ｓ９１０の処理を開始する。

次いで、第２歌唱パートに対して行われるステップＳ９０６〜Ｓ９１０の処理を説明する。制御部３４（より具体的には顔画像データ検出部３４４）は、各カメラから継続的に入力される撮影画像データに基づいて、利用者の顔画像データを検出する（ステップＳ９０６）。なお、ここでは、カメラ１１ａ，１１ｂ，１１ｃから、図１０に示す撮影画像データＣＤ１，ＣＤ２，ＣＤ３が入力されたものとする。

次いで、顔画像データ抽出部３４５は、ステップＳ９０６で検出した各顔画像データの中から、ログイン管理テーブルから読み出した利用者Ｙの顔特徴データと一致する顔画像データを抽出する（ステップＳ９０７）。ここでは、撮影画像データＣＤ１の顔画像データの中から、利用者Ｙの顔特徴データと一致する顔画像データとして顔画像データＦＤ６が抽出されたとする。また、撮影画像データＣＤ２の顔画像データの中から、利用者Ｙの顔特徴データと一致する顔画像データとして顔画像データＦＤ７が抽出されたとする。

次いで、制御部３４（より具体的には顔方向検出部３４６）は、利用者Ｙ（第２歌唱パートの歌唱者）の顔特徴データと一致するとして抽出された全ての顔画像データ（顔画像データＦＤ６，ＦＤ７）について顔方向を検出する（ステップＳ９０８）。ここでは、顔画像データＦＤ６によって示される利用者Ｙの顔方向が左向き（図１０における右方向）であると検出され、顔画像データＦＤ７によって示される利用者Ｙの顔方向が正面向き（図１０における手前方向）であると検出されたとする。

次いで、制御部３４（より具体的には撮影画像データ選択部３４７）は、ステップＳ９０８の検出結果に基づき、利用者Ｙの顔方向がより正面に近い顔画像データを含む撮影画像データを選択する（ステップＳ９０９）。ここでは、顔方向が正面向きである顔画像データＦＤ７を含む撮影画像データＣＤ２が選択されたとする。

最後に、制御部３４（より具体的には表示制御部３４２）は、第２歌唱パートの歌詞テロップの表示と非表示を制御する（ステップＳ９１０）。具体的には、表示制御部３４２は、選択された撮影画像データＣＤ２を出力するカメラ１１ｂが接続された映像入力端子３３２ｂに対応する映像出力端子３３１ｂに接続されたディスプレイ１０ｂを、利用者Ｙが注視するディスプレイとして特定する。そして、表示制御部３４２は、特定したディスプレイ１０ｂに第２歌唱パートの歌詞テロップを表示し、ディスプレイ１０ａ及びディスプレイ１０ｃに第２歌唱パートの歌詞テロップを表示しないように制御する。なお、表示制御部３４２は、第２歌唱パートの歌詞テロップの表示区間でのみ第２歌唱パートの歌詞テロップの表示と非表示の制御を行うこととし、第２歌唱パートの歌詞テロップの非表示区間においては、第２歌唱パートの歌唱者が注視するディスプレイが特定されたとしても、第２歌唱パートの歌詞テロップの表示と非表示の制御は行わないこととしてもよい。

制御部３４は、ステップＳ９０６〜Ｓ９１０の処理を第２歌唱パートに対して行う。そして、第２歌唱パートに対する処理が終了すると、制御部３４は、第１歌唱パートに対する処理に戻る。制御部３４は、ステップＳ９０６〜Ｓ９１０の処理をカラオケ演奏が終了するまで所定時間毎に各歌唱パートに対して交互に繰り返し、カラオケ演奏が終了すると処理を終了する。なお、予約楽曲管理テーブルに予約楽曲情報が残っている場合には、制御部３４は、それらの予約楽曲情報に対してステップＳ９０１〜Ｓ９１０の処理を繰り返し実行する。また、第２実施形態では、第１歌唱パートと第２歌唱パートそれぞれに対してステップＳ９０６〜Ｓ９１０の処理を交互に繰り返したが、一つの撮影画像データの中から各歌唱パートの歌唱者の顔特長データと一致する顔画像データを同時に抽出し、抽出された顔画像データによって示される各歌唱パートの歌唱者の顔方向を同時に検出し、この検出結果に基づいて、各歌唱パートの歌唱者の顔方向が正面向きである顔画像データを同時に抽出することで、ステップＳ９０６〜Ｓ９１０の処理を各歌唱パートに対して一度に行ってもよい。

以上、第２実施形態によれば、利用者が複数の歌唱パートで構成されたデュエット楽曲などを歌唱パート毎に歌唱者を決めて歌唱する場合においても、第１実施形態と同様の効果を得ることができる。つまり、各歌唱パートの歌唱者は、歌唱中に体の向きや姿勢、場所に応じて自分が見やすいディスプレイを注視することで、そのディスプレイのみに自分が担当する歌唱パートの歌詞テロップを表示させることができる。また、歌唱者以外の利用者は、歌詞テロップが表示されているディスプレイ以外の何れかのディスプレイを見ることで、カラオケ映像を楽しむことが可能となる。

＜変形例１＞
第１、第２実施形態では、各カメラから出力される撮影画像データから、歌唱者の顔方向が正面に近い顔画像データを含む撮影画像データを１つ選択する構成を例にしたが、この構成に限定されない。例えば、歌唱者の顔方向が正面に近い顔画像データを含む撮影画像データが複数選択され、それらの顔画像データに基づく歌唱者の顔方向が同じ程度に正面に近い場合も想定される。したがって、そのような場合には、ステップＳ６０９やステップＳ９０９で選択された各撮影画像データの出力元であるカメラに対応付けられている各ディスプレイに表示する歌詞テロップの透過率を、選択された撮影画像データの個数に応じて変更しても良い。例えば、選択された撮影画像データが２つである場合には、各ディスプレイに表示する歌詞テロップの透過率を５０％に設定してもよい。また例えば、選択された撮影画像データが３つである場合には、各ディスプレイに表示する歌詞テロップの透過率を６７％にしてもよい。これにより、例えば歌唱者が動いたり踊ったりしながら歌唱した場合に、歌唱者の視線付近にあるディスプレイに歌詞テロップを表示させることが可能となる。また、選択された撮影画像データの個数が増えるに従って歌詞テロップの透過率を上げるようにしているので、歌詞テロップを表示するディスプレイ台数が増えた場合でも、歌唱者以外の利用者はカラオケ映像を楽しむことが可能となる。

なお、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴うカラオケ装置およびカラオケシステムもまた本発明の技術思想に含まれる。

３ カラオケ装置
１０ａ，１０ｂ，１０ｃ ディスプレイ（表示部）
１１ａ，１１ｂ，１１ｃ カメラ（撮影部）
３４１ 演奏制御部
３４２ 表示制御部
３４３ 顔特徴データ取得部
３４４ 顔画像データ検出部
３４５ 顔画像データ抽出部
３４６ 顔方向検出部
３４７ 撮影画像データ選択部

Claims (3)

1. 複数の表示部と、前記複数の表示部のそれぞれに対応付けて設けられて各表示部の表示方向の被写体を撮影する複数の撮影部と、が接続されているカラオケ装置において、
   歌唱者により選曲された楽曲の演奏データに基づいて前記楽曲を演奏する演奏制御部と、
   前記楽曲の演奏に伴って背景映像と歌詞テロップとを表示部に表示する表示制御部と、
   予め登録された、顔特徴を示す顔特徴データの中から、前記歌唱者の前記顔特徴データを取得する顔特徴データ取得部と、
   前記複数の撮影部から出力される撮影画像データから、顔画像を示す顔画像データを検出する顔画像データ検出部と、
   前記顔画像データ検出部により検出された前記顔画像データの中から、前記歌唱者の前記顔特徴データと一致する前記顔画像データを抽出する顔画像データ抽出部と、
   前記顔画像データ抽出部により抽出された前記顔画像データから、前記歌唱者の顔方向を検出する顔方向検出部と、
   前記顔方向検出部の検出結果に基づいて、前記複数の撮影部から出力される撮影画像データの中から、前記歌唱者の顔方向がより正面に近い撮影画像データを選択する撮影画像データ選択部と、を有し、
   前記表示制御部は、前記撮影画像データ選択部で選択された撮影画像データを出力した撮影部に対応付けられている表示部に歌詞テロップを表示し、該表示部以外の表示部には歌詞テロップを表示しない制御を行うことを特徴とするカラオケ装置。
2. 前記顔特徴データ取得部は、前記演奏制御部にて演奏される前記楽曲がデュエット楽曲である場合、予め登録された前記顔特徴データの中から歌唱者の顔特徴データを前記楽曲の歌唱パート毎に取得し、
   前記顔画像データ抽出部は、前記顔画像データ検出部により検出された前記顔画像データの中から、前記顔特徴データ取得部により取得された前記顔特徴データと一致する前記顔画像データを前記歌唱パート毎に、抽出し、
   前記顔方向検出部は、前記顔画像データ抽出部により抽出された前記顔画像データから、前記歌唱パート毎に歌唱者の顔方向を検出し、
   前記撮影画像データ選択部は、前記顔方向検出部の検出結果に基づいて、前記複数の撮影部から送信される撮影画像データの中から、歌唱者の顔方向がより正面に近い撮影画像データを前記歌唱パート毎に選択し、
   前記表示制御部は、前記撮影画像データ選択部で選択された撮影画像データを送信した撮影部と対応付けられている表示部に歌詞テロップを表示し、該表示部以外の表示部には歌詞テロップを表示しない制御を前記歌唱パート毎に行うことを特徴とする請求項１に記載のカラオケ装置。
3. 前記表示制御部は、前記撮影画像データ選択部で複数の撮影画像データが選択された場合に、前記撮影画像データ選択部で選択された撮影画像データの個数が増えるに従って、表示部に表示する歌詞テロップの透過率を上げる制御を行うことを特徴とする請求項１または請求項２に記載のカラオケ装置。

Images