JP2020106610A

JP2020106610A - カラオケシステム

Info

Publication number: JP2020106610A
Application number: JP2018243377A
Authority: JP
Inventors: 政之鎌田; Masayuki Kamata
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2018-12-26
Filing date: 2018-12-26
Publication date: 2020-07-09
Anticipated expiration: 2038-12-26
Also published as: JP7117236B2

Abstract

【課題】カラオケ歌唱を妨げることなく、携帯発光装置を使用可能とするカラオケシステムを提供する。【解決手段】顔画像と利用者識別情報とを紐付けて記憶する利用者情報記憶部、カラオケ装置に対する利用者のログインを行うログイン処理部、装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置とをペアリングさせるペアリング部、聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する特定部、特定した聴衆の顔画像に基づいて取得した利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部を有するカラオケシステム。【選択図】図４

Description

本発明はカラオケシステムに関する。

アーティストのライブコンサートや各種イベント等においては、観客参加型の演出方法が採用されることがある。たとえば、楽曲の演奏や演出に合わせて観客が携帯発光装置（たとえば、ペンライトや腕時計型の発光体）を動かすことで演出効果を高める方法がある。

特許文献１には、複数色を発光可能なペンライトを利用した演出用発光装置が開示されている。特許文献１に開示された演出用発光装置は、複数の携帯発光装置（ペンライト）の発光色を、無線接続された一台の発光状態制御装置によって制御することで、観客席において任意の光の文字、画像、模様を表現することができる。

特開２００３−０３６９８１号公報

ここで、カラオケルームにおいてカラオケ歌唱を行う際、複数の利用者それぞれが携帯発光装置を使用することがある。この場合、各利用者は、それぞれが自由に携帯発光装置を動かすため、全体として動きがバラバラとなり、統一感に欠ける。その結果、歌唱者にとって、携帯発光装置の動きが目障りとなったり、カラオケ歌唱のリズムに悪影響を及ぼす可能性もある。

本発明の目的は、カラオケ歌唱を妨げることなく、携帯発光装置を使用可能とするカラオケステムを提供することにある。

上記目的を達成するための一の発明は、カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部と、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行うログイン処理部と、記憶された前記装置識別情報に対応する携帯発光装置と前記利用者がログインしたカラオケ装置とをペアリングさせるペアリング部と、撮影手段により、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部と、前記聴衆映像から、所定の条件を満たす前記動作関連情報を示した前記携帯発光装置を使用する聴衆の顔画像を特定する特定部と、特定した前記聴衆の顔画像に基づいて前記利用者情報記憶部から利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、カラオケ歌唱を妨げることなく、携帯発光装置を使用できる。

実施形態に係るカラオケシステムの概略を示す図である。実施形態に係るサーバ装置の構成例を示す図である。実施形態に係るカラオケ装置の構成例を示す図である。実施形態に係るカラオケシステムの処理を示すフローチャートである。

＜実施形態＞
図１〜図４を参照して、実施形態に係るカラオケシステムについて説明する。

＝＝カラオケシステム＝＝
図１に示すように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓ及びカラオケ装置Ｋを備える。サーバ装置Ｓとカラオケ装置Ｋとは、ネットワークＮを介して通信可能となっている。ネットワークＮは、たとえば公衆電話回線網やインターネット回線等の伝送路である。

サーバ装置Ｓは、各種情報を管理するコンピュータである。カラオケ装置Ｋは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。カラオケ装置Ｋは、利用者の歌唱音声を集音するマイク、カラオケ演奏音を放音するスピーカ、歌詞テロップ等を表示させるモニタ、カラオケ装置Ｋに対する各種操作入力を行うリモコン装置（いずれも図示なし）等を備える。カラオケ装置Ｋは、カラオケ装置Ｋにおいてカラオケ演奏を行うための複数の楽曲（楽曲データ）を記憶する。楽曲データは、個々の楽曲を特定するための楽曲ＩＤが付与されている。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは所定の演奏区間が設定されている。演奏区間は、前奏、１番のＡメロ、２番のサビ等、カラオケ演奏が行われる区間である。各演奏区間のカラオケ演奏は、所定の演奏時間で実行される。

また、本実施形態に係るカラオケ装置Ｋは、撮影手段Ｃを有する。撮影手段Ｃは、カラオケ装置Ｋが設置されている部屋内に在席する利用者等を撮影し、映像を取得する。

図１に示した利用者Ｕ１〜利用者Ｕ４は、カラオケ装置Ｋを一緒に利用する利用者である。各利用者は、それぞれ携帯発光装置（携帯発光装置Ｐ１〜Ｐ４）を所持している。本実施形態に係る携帯発光装置は、ペンライト型の装置である。携帯発光装置は、たとえばカラオケ店舗のフロントで貸し出される。各利用者は、カラオケ歌唱の場を盛り上げるため、カラオケ演奏に合わせて携帯発光装置を左右や上下に振る動作を繰り返し行う。

携帯発光装置は、光を発光する発光素子、発光素子の輝度を調整するための制御回路、通信用のインターフェース、電源ＯＮ／ＯＦＦ用のスイッチ等（いずれも図示なし）を含む。携帯発光装置は、それぞれ基準となる輝度の値が設定されている。本実施形態において、携帯発光装置Ｐ１〜Ｐ４の基準となる輝度の値はいずれも同じであり、電源をＯＮした場合には当該値に応じて発光する。

各携帯発光装置とカラオケ装置Ｋは、ペアリングされることで互いに通信可能となる。ペアリングの詳細については後述する。なお、本実施形態においては、少なくともカラオケ装置Ｋが携帯発光装置を制御できるようにペアリングされていればよい。すなわち、カラオケ装置Ｋから携帯発光装置への一方向の通信ができればよい。

＝＝サーバ装置＝＝
図２はサーバ装置Ｓのハードウェア構成例を示す図である。サーバ装置Ｓは、記憶部１０、通信部２０、及び制御部３０を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

記憶部１０は、各種のデータを記憶する大容量の記憶装置である。本実施形態に係る記憶部１０の記憶領域の一部は、利用者情報記憶部１０ａとして機能する。

利用者情報記憶部１０ａは、カラオケ装置を利用する利用者の顔画像と、利用者識別情報とを紐付けて記憶する。

顔画像は、利用者の顔を撮影して得られる画像である。利用者識別情報は、利用者を識別するための利用者ＩＤのような、各利用者に固有の情報である。

顔画像及び利用者識別情報は、各利用者がカラオケシステム１を利用する前に予め取得しておく。たとえば、利用者Ｕ１が初めてカラオケシステム１を利用する際、カラオケ装置Ｋのリモコン装置を介して自己の利用者ＩＤを任意に設定し、カラオケ装置Ｋの撮影手段Ｃにより顔の撮影を行う。カラオケ装置Ｋは、利用者Ｕ１が設定した利用者ＩＤと撮影により得られた利用者Ｕ１の顔画像とを紐付けてサーバ装置Ｓに送信する。利用者情報記憶部１０ａは、利用者Ｕ１の顔画像を利用者ＩＤと紐付けて記憶する。

通信部２０は、サーバ装置Ｓとカラオケ装置Ｋとを接続するためのインターフェースを提供する。制御部３０は、サーバ装置Ｓにおける各種の制御を行う。

＝＝カラオケ装置＝＝
図３に示すように、カラオケ装置Ｋは、ログイン処理部１００、ペアリング部２００、抽出部３００、特定部４００、及び輝度制御部５００を有する。

（ログイン処理部）
ログイン処理部１００は、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行う。

装置識別情報は、携帯発光装置を識別するための装置ＩＤのような、各携帯発光装置に固有の情報である。

図１の例において、各利用者は、カラオケ装置Ｋを利用するに当たり、カラオケ装置Ｋにログインするための操作を行う。具体的に、各利用者は、カラオケ装置Ｋのリモコン装置を介し、自己の利用者ＩＤと、カラオケ店舗のフロントで貸し出された携帯発光装置の装置ＩＤとを入力する。装置ＩＤの入力は、携帯発光装置に付された装置ＩＤを手入力してもよいし、携帯発光装置に付された二次元コードをリモコン装置に設けられている専用カメラ（リーダー）で読み取ることでもよい。

ログイン処理部１００は、入力された利用者ＩＤと装置ＩＤとを紐付けて記憶部（図示なし）に記憶させることにより、カラオケ装置Ｋに対する各利用者のログインを完了する。図１の例であれば、ログイン処理部１００は、利用者Ｕ１の利用者ＩＤと携帯発光装置Ｐ１の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ１のログインを完了し、利用者Ｕ２の利用者ＩＤと携帯発光装置Ｐ２の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ２のログインを完了し、利用者Ｕ３の利用者ＩＤと携帯発光装置Ｐ３の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ３のログインを完了し、利用者Ｕ４の利用者ＩＤと携帯発光装置Ｐ４の装置ＩＤとを紐付けて記憶させることで、利用者Ｕ４のログインを完了する。

（ペアリング部）
ペアリング部２００は、記憶された装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置とをペアリングさせる。

ペアリング部２００は、ログインするための操作時に入力された装置ＩＤに基づいて、ログインした利用者が使用する携帯発光装置を特定し、特定した携帯発光装置とカラオケ装置Ｋとをペアリングさせる。カラオケ装置Ｋは、ペアリングされた携帯発光装置に対して制御信号を送信し、携帯発光装置の発光素子が発する光の輝度を個別に調整することができる（詳細は後述）。

（抽出部）
抽出部３００は、撮影手段Ｃにより、複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、動作関連情報を抽出する。

聴衆は、カラオケ歌唱を行う利用者以外の利用者である。たとえば、図１の例において、利用者Ｕ１が楽曲Ｘのカラオケ歌唱を行うとする。この場合、利用者Ｕ１は「歌唱者」に相当し、利用者Ｕ２〜利用者Ｕ４は「聴衆」に相当する。

利用者Ｕ２〜利用者Ｕ４は、楽曲Ｘのカラオケ演奏に合わせて、携帯発光装置Ｐ２〜Ｐ４を動かす。この場合、撮影手段Ｃは、楽曲Ｘのカラオケ演奏に合わせて、利用者Ｕ２〜利用者Ｕ４自身、及び各利用者が使用している携帯発光装置Ｐ２〜Ｐ４を撮影し、聴衆映像を取得する。撮影手段Ｃは、楽曲Ｘのカラオケ演奏開始からカラオケ演奏終了まで聴衆映像を取得する。すなわち、聴衆映像は動画像として取得される。撮影手段Ｃは、取得した聴衆映像を順次、抽出部３００に出力する。

抽出部３００は、聴衆映像から動作関連情報を抽出する。動作関連情報は、携帯発光装置の動きに関連する情報である。本実施形態における動作関連情報は、携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間である。映像から動作関連情報を抽出する方法は、公知の手法を用いることができる。

たとえば、聴衆映像において、楽曲Ｘのカラオケ演奏に合わせて利用者Ｕ２〜利用者Ｕ４が携帯発光装置Ｐ２〜携帯発光装置Ｐ４をそれぞれ左右に振る動作を繰り返し行っているとする。この場合、抽出部３００は、聴衆映像から、楽曲Ｘのカラオケ演奏の所定の演奏区間において、各携帯発光装置の往復時間（左→右→左の移動に要する時間）を抽出する。たとえば、所定の演奏区間が、楽曲Ｘの最初のサビの一小節目である場合、抽出部３００は、当該演奏区間に対応する聴衆映像を解析し、各携帯発光装置の往復時間を抽出する。

なお、利用者Ｕ１がカラオケ歌唱中に携帯発光装置Ｐ１を使用することはないので、聴衆映像の中に、歌唱者である利用者Ｕ１及び利用者Ｕ１に貸し出された携帯発光装置Ｐ１は含まれないものとする。従って、抽出部３００は、携帯発光装置Ｐ１について動作関連情報を抽出することはない。

（特定部）
特定部４００は、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する。

所定の条件は、聴衆の顔画像を特定するかどうかを判断するための値である。所定の条件は、動作関連情報の種類に応じて予め設定されている。たとえば、動作関連情報が往復時間の場合、所定の条件は「往復時間がある基準値（時間）未満であること」として設定できる。

本実施形態に係る特定部４００は、カラオケ演奏の所定の演奏区間において抽出した往復時間と、当該所定の演奏区間の演奏時間とを比較することで一致度を算出し、当該一致度が所定値未満となる携帯発光装置がある場合に、当該携帯発光装置を使用する聴衆の顔画像を特定する。所定の演奏区間の演奏時間は、カラオケ演奏されている楽曲の楽曲データを参照することで取得できる。

たとえば、抽出部３００は、利用者Ｕ１が選曲した楽曲Ｘの最初のサビの１小節目において往復時間を抽出した結果、顔画像αの聴衆が持つ携帯発光装置Ｐαの往復時間が２，１００ｓｅｃ、顔画像βの聴衆が持つ携帯発光装置Ｐβの往復時間が１，７５０ｓｅｃ、顔画像γの聴衆が持つ携帯発光装置Ｐγの往復時間が１，９５０ｓｅｃであったとする。

この場合、特定部４００は、各往復時間と楽曲Ｘの最初のサビの１小節目の演奏時間（この例では２，０００ｓｅｃ）との一致度を算出する。この場合、携帯発光装置Ｐαにおける一致度は９５％であり、携帯発光装置Ｐβにおける一致度は８７．５％であり、携帯発光装置Ｐγにおける一致度は９７．５％となる。

特定部４００は、このうち、一致度が所定値未満となる携帯発光装置があるかどうかを判定する。この例では所定値が９０％であるとする。この場合、特定部４００は、携帯発光装置Ｐβを特定する。

特定部４００は、聴衆映像から携帯発光装置Ｐβを使用している聴衆の顔画像を抽出する。顔画像の抽出方法は、公知の手法を用いることができる。たとえば、特定部４００は、聴衆映像を解析し、顔の部分に相当する画素をトリミングすることで複数の顔画像を抽出する。そして、特定部４００は、抽出した顔画像のうち、特定された携帯発光装置Ｐβの画像に最も近い位置にある顔画像を、携帯発光装置Ｐβを使用する聴衆の顔画像（顔画像β）として特定する。或いは、携帯発光装置Ｐβから携帯発光装置Ｐβを把持する手、さらに腕、肘、肩、胴部、首、頭部といった繋がりに基づいて顔画像βを特定してもよい。

なお、上記例では、所定の演奏区間において、携帯発光装置が一往復するものとして一致度を算出したが、これに限られない。たとえば、所定の演奏区間が４拍である場合に、当該所定の演奏区間において携帯発光装置が二往復したとする。この場合、特定部４００は、往復時間（一往復の時間）と２拍の時間との一致度を算出してもよい。このようにして一致度を求めることにより、テンポの遅い楽曲に対する携帯発光装置の動きを考慮することができる。

（輝度制御部）
輝度制御部５００は、特定した聴衆の顔画像に基づいて利用者情報記憶部１０ａから利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する。具体的に、輝度制御部５００は、ある携帯発光装置の輝度が、他の携帯発光装置の輝度よりも低くなるよう制御する。

上記例において、特定部４００は、特定した聴衆の顔画像βをサーバ装置Ｓに送信する。サーバ装置Ｓは、受信した顔画像βと、利用者情報記憶部１０ａに記憶されている顔画像とを認証し、一致する顔画像があるかどうかを判断する。一致する顔画像がある場合、サーバ装置Ｓは、一致する顔画像に紐付けられている利用者ＩＤを読み出し、カラオケ装置Ｋに送信する。

輝度制御部５００は、記憶部に記憶されている利用者ＩＤ及び装置ＩＤを参照し、サーバ装置Ｓから受信した利用者ＩＤに紐付けられた装置ＩＤを特定する。そして、輝度制御部５００は、特定した装置ＩＤに基づいて、輝度を制御すべき携帯発光装置を制御する。具体的には、輝度制御部５００は、サーバ装置Ｓから受信した利用者Ｕ３の利用者ＩＤに紐付けられた携帯発光装置Ｐ３の装置ＩＤを記憶部において特定し、輝度の制御信号を生成し、携帯発光装置Ｐ３に送信する。

ところで、上記例において、携帯発光装置Ｐ３は、他の携帯発光装置Ｐ２及び携帯発光装置Ｐ４に比べ、往復時間が短い。つまり、携帯発光装置Ｐ３の動きは、他の携帯発光装置の動きとズレが生じている。そのため、カラオケ歌唱を行う利用者Ｕ１にとって、携帯発光装置Ｐ３の動きが目障りとなる可能性がある。

このような場合、輝度制御部５００は、携帯発光装置Ｐ３の輝度が、他の携帯発光装置の輝度よりも低くなるよう（たとえば、基準の輝度の５０％になるよう）な制御信号を生成し、携帯発光装置Ｐ３に送信する。制御信号を受信した携帯発光装置Ｐ３の制御回路は、発光素子の輝度が基準値の５０％になるよう調整する。

なお、輝度の調整は、一致度に基づいて行ってもよい。輝度制御部５００は、たとえば、一致度が低いほど、輝度が小さくなるような制御信号を生成してもよい。この場合、一致度に応じた、より細かい輝度の制御が可能となる。

＝＝カラオケシステムにおける処理について＝＝
次に、図４を参照して本実施形態に係るカラオケシステム１における処理の具体例について述べる。図４は、カラオケシステム１における処理例を示すフローチャートである。この例では、利用者Ｕ１がカラオケ歌唱を行い、利用者Ｕ２〜利用者Ｕ４がそのカラオケ歌唱を聴くとする。また、サーバ装置Ｓの利用者情報記憶部１０ａは、利用者Ｕ１〜利用者Ｕ４の顔画像と、当該利用者を識別するための利用者ＩＤとを紐付けて記憶しているとする。

カラオケ装置Ｋの利用にあたり、各利用者は、カラオケ装置Ｋにログインする操作を行う。各利用者は、カラオケ装置Ｋのリモコン装置を介し、自己の利用者ＩＤと、自己が使用する携帯発光装置を識別するための装置ＩＤを入力する。

ログイン処理部１００は、利用者からの操作入力に基づき、利用者ＩＤと装置ＩＤとを紐付けて記憶させることにより、カラオケ装置Ｋに対する利用者のログインを行う（利用者のログイン。ステップ１０）。

ペアリング部２００は、ステップ１０で記憶された装置ＩＤに対応する携帯発光装置と利用者がログインしたカラオケ装置Ｋとをペアリングさせる（携帯発光装置とカラオケ装置とのペアリング。ステップ１１）。

その後、カラオケ装置Ｋは、利用者Ｕ１が選曲した楽曲Ｘのカラオケ演奏を開始する（カラオケ演奏の開始。ステップ１２）。利用者Ｕ１は、カラオケ演奏に合わせてカラオケ歌唱を行う。また、利用者Ｕ２〜利用者Ｕ４それぞれは、カラオケ演奏に合わせて、携帯発光装置Ｐ２〜携帯発光装置Ｐ４を使用する。

撮影手段Ｃは、利用者Ｕ２〜利用者Ｕ４、及び各利用者により使用されている複数の携帯発光装置を撮影し、聴衆映像を取得する（聴衆映像の取得。ステップ１３）。

抽出部３００は、ステップ１３で取得された聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する（動作関連情報の抽出。ステップ１４）。

特定部４００は、ステップ１４で抽出した動作関連情報について、所定の条件を満たす動作関連情報があるかどうかを判定する。

所定の条件を満たす動作関連情報がある場合（ステップ１５でＹの場合）、特定部４００は、ステップ１３で取得された聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する（聴衆の顔画像の特定。ステップ１６）。特定部４００は、ステップ１６で特定した顔画像をサーバ装置Ｓに送信する（顔画像の送信。ステップ１７）。

サーバ装置Ｓは、受信した顔画像と、利用者情報記憶部１０ａに記憶されている顔画像とを認証し、一致する顔画像があるかどうかを判断する。この例では、一致する顔画像が記憶されているとする。この場合、サーバ装置Ｓは、一致する顔画像に紐付けられている利用者ＩＤを読み出し、カラオケ装置Ｋに送信する（利用者ＩＤの送信。ステップ１８）。

輝度制御部５００は、受信した利用者ＩＤに紐付けられている装置ＩＤに基づいて携帯発光装置の輝度を制御する（装置ＩＤに基づいて携帯発光装置の輝度を制御。ステップ１９）。輝度制御部５００は、輝度の制御信号を生成し、携帯発光装置に送信する（輝度の制御信号を送信。ステップ２０）。

カラオケシステム１は、楽曲Ｘのカラオケ演奏が終了するまで（ステップ２１でＹの場合）、ステップ１３〜ステップ２０の処理を繰り返し行う。

このように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓとカラオケ装置Ｋとが通信可能に接続されている。サーバ装置Ｓは、カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部１０ａを有する。カラオケ装置Ｋは、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置Ｋに対する当該利用者のログインを行うログイン処理部１００と、記憶された装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置Ｋとをペアリングさせるペアリング部２００と、撮影手段Ｃにより、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部３００と、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する特定部４００と、特定した聴衆の顔画像に基づいて利用者情報記憶部１０ａから利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部５００と、を有する。また、輝度制御部５００は、ある携帯発光装置の輝度が、他の携帯発光装置の輝度よりも低くなるよう制御することが好ましい。

このようなカラオケシステム１によれば、ある携帯発光装置の動きが所定の条件を満たす場合には、その携帯発光装置の輝度を調整することができる。よって、たとえば、一の携帯発光装置の輝度を他の携帯発光装置の輝度よりも低く抑えることにより、一の携帯発光装置の動きが目立たなくなるため、歌唱者にとって目障りになることが無い。すなわち、本実施形態に係るカラオケシステム１によれば、カラオケ歌唱を妨げることなく、携帯発光装置を使用できる。

また、本実施形態における動作関連情報は、携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間であり、特定部４００は、カラオケ演奏の所定の演奏区間において抽出した往復時間と、当該所定の演奏区間の演奏時間とを比較することで一致度を算出し、当該一致度が所定値未満となる携帯発光装置がある場合に、当該携帯発光装置を使用する聴衆の顔画像を特定する。

このように動作関連情報として、携帯発光装置の往復時間を用いることにより、カラオケ演奏に合わない動きをしている携帯発光装置の輝度を調整することができる。

＜変形例＞
上記実施形態では、動作関連情報として携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間を例に説明した。一方、動作関連情報は、これに限られない。たとえば、動作関連情報は、カラオケ演奏の所定の演奏区間において携帯発光装置が動いた軌跡（すなわち、携帯発光装置が発する光の軌跡）であってもよい。

この場合、特定部４００は、少なくとも３つの携帯発光装置について抽出した軌跡を２つずつ比較することで一致度を複数算出し、算出した全ての一致度に基づいて他の携帯発光装置の軌跡との差が大きい軌跡を描いた携帯発光装置を使用する聴衆の顔画像を特定する。

たとえば、抽出部３００は、利用者Ｕ１が選曲した楽曲Ｘの最初のサビの１小節目に対応する聴衆映像を解析し、顔画像αの聴衆が持つ携帯発光装置Ｐαの軌跡Ｔα、顔画像βの聴衆が持つ携帯発光装置Ｐβの軌跡Ｔβ、及び顔画像γの聴衆が持つ携帯発光装置Ｐγの軌跡Ｔγを抽出したとする。なお、ある映像に含まれる携帯発光装置の軌跡を抽出する方法は、公知の手法を用いることができる。

この場合、特定部４００は、抽出された全ての軌跡を２つずつ比較することで一致度を複数算出する。上記例において、特定部４００は、軌跡Ｔαと軌跡Ｔβの一致度Ｍ１、軌跡Ｔαと軌跡Ｔγの一致度Ｍ２、及び軌跡Ｔβと軌跡Ｔγの一致度Ｍ３を算出する。２つの軌跡の一致度を算出する方法は、機械学習等の公知の手法を用いることができる。この例では、一致度Ｍ１が４０％であり、一致度Ｍ２が９０％であり、一致度Ｍ３が３０％であったとする。

特定部４００は、他の携帯発光装置の軌跡との差が大きい携帯発光装置を特定する。上記例の場合、特定部４００は、携帯発光装置Ｐβの関わる一致度Ｍ１及びＭ３の値に対し、携帯発光装置Ｐβの関わらない一致度Ｍ２の値だけが大きく異なることから、携帯発光装置Ｐβの軌跡と他の携帯発光装置の軌跡との差が大きいと判定する。従って、特定部４００は、携帯発光装置Ｐβを特定する。

特定部４００は、聴衆映像から携帯発光装置Ｐβを使用している聴衆の顔画像を抽出する。

このように、本変形例における動作関連情報は、カラオケ演奏の所定の演奏区間において携帯発光装置が動いた軌跡であり、特定部４００は、少なくとも３つの携帯発光装置について抽出した軌跡を２つずつ比較することで一致度を複数算出し、算出した全ての一致度に基づいて他の携帯発光装置の軌跡との差が大きい軌跡を描いた携帯発光装置を使用する聴衆の顔画像を特定する。

このように動作関連情報として、携帯発光装置の軌跡を用いることにより、他の携帯発光装置と異なる動きをしている一の携帯発光装置の輝度を調整することができる。

なお、本変形例のように携帯発光装置の軌跡全体を比較するのではなく、抽出した軌跡から、携帯発光装置の移動する方向のみを特定し、特定した方向同士を比較することでもよい。この場合、一致度を算出する処理を簡素化することができる。

＜その他＞
上記実施形態におけるカラオケシステム１をカラオケ装置Ｋのみで構成することも可能である。

このようなカラオケ装置Ｋは、カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部と、利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行うログイン処理部と、記憶された装置識別情報に対応する携帯発光装置と利用者がログインしたカラオケ装置とをペアリングさせるペアリング部と、撮影手段により、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部と、聴衆映像から、所定の条件を満たす動作関連情報を示した携帯発光装置を使用する聴衆の顔画像を特定する特定部と、特定した聴衆の顔画像に基づいて利用者情報記憶部から利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部と、を有する。このようなカラオケ装置Ｋによっても、カラオケ歌唱を妨げることなく、携帯発光装置を使用できる。

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１カラオケシステム
１０ａ利用者情報記憶部
１００ログイン処理部
２００ペアリング部
３００抽出部
４００特定部
５００輝度制御部
Ｋカラオケ装置
Ｐ１〜Ｐ４携帯発光装置
Ｓサーバ装置

Claims

カラオケ装置を利用する利用者の顔画像と、当該利用者を識別するための利用者識別情報とを紐付けて記憶する利用者情報記憶部と、
利用者からの操作入力に基づき、当該利用者の利用者識別情報と、当該利用者が使用する携帯発光装置を識別するための装置識別情報とを紐付けて記憶させることにより、カラオケ装置に対する当該利用者のログインを行うログイン処理部と、
記憶された前記装置識別情報に対応する携帯発光装置と前記利用者がログインしたカラオケ装置とをペアリングさせるペアリング部と、
撮影手段により、カラオケ歌唱を行う利用者以外の利用者である複数の聴衆、及び当該カラオケ歌唱の際に各聴衆により使用されている複数の携帯発光装置を撮影して得られた聴衆映像から、携帯発光装置の動きに関連する動作関連情報を抽出する抽出部と、
前記聴衆映像から、所定の条件を満たす前記動作関連情報を示した前記携帯発光装置を使用する聴衆の顔画像を特定する特定部と、
特定した前記聴衆の顔画像に基づいて前記利用者情報記憶部から利用者識別情報を取得し、取得した当該利用者識別情報に紐付けられている装置識別情報に基づいて携帯発光装置の輝度を制御する輝度制御部と、
を有するカラオケシステム。
前記動作関連情報は、前記携帯発光装置を繰り返し振る際の一往復の移動に要する往復時間であり、
前記特定部は、カラオケ演奏の所定の演奏区間において抽出した前記往復時間と、当該所定の演奏区間の演奏時間とを比較することで一致度を算出し、当該一致度が所定値未満となる携帯発光装置がある場合に、当該携帯発光装置を使用する前記聴衆の顔画像を特定することを特徴とする請求項１記載のカラオケシステム。
前記動作関連情報は、カラオケ演奏の所定の演奏区間において前記携帯発光装置が動いた軌跡であり、
前記特定部は、少なくとも３つの携帯発光装置について抽出した前記軌跡を２つずつ比較することで一致度を複数算出し、算出した全ての一致度に基づいて他の携帯発光装置の軌跡との差が大きい軌跡を描いた携帯発光装置を使用する前記聴衆の顔画像を特定することを特徴とする請求項１に記載のカラオケシステム。
前記輝度制御部は、前記ある携帯発光装置の輝度が、他の携帯発光装置の輝度よりも低くなるよう制御することを特徴とする請求項１〜３のいずれか一つに記載のカラオケシステム。