JP2020020891A - カラオケ装置 - Google Patents

Abstract

【課題】カラオケ歌唱を行った利用者に気づかれることなく、当該カラオケ歌唱の採点結果を補正可能なカラオケ装置を提供する。【解決手段】所定範囲内に居る全ての利用者を含む全景映像から、各利用者の顔画像データを抽出する抽出部と、全景映像に基づいて各利用者の序列を決定し、当該序列の情報を当該各利用者の顔画像データと紐付けて記憶させる決定部、ある利用者がカラオケ歌唱を行った場合、当該ある利用者の歌唱映像から抽出された顔認証用データと一致する顔画像データを特定し、特定された顔画像データに紐付けられている序列の情報に基づいて、当該ある利用者のカラオケ歌唱の採点結果を補正する補正部を有するカラオケ装置。【選択図】図８

Description

本発明はカラオケ装置に関する。

カラオケ装置は、利用者によるカラオケ歌唱を評価し、採点結果を提示する採点機能を有する。カラオケ歌唱の評価は、マイクにより入力された歌唱音声から抽出した歌唱音声データと、カラオケ演奏された楽曲の主旋律を示すリファレンスデータとを比較することにより行う。採点機能を利用することで、利用者同士で採点結果を競い合ったり、カラオケ歌唱の練習成果を確認したりすることができる。

或いは、接待や職場の飲み会のような場においても、場を盛り上げるために採点機能を利用することがある。しかし、従来の採点機能では客観的かつ機械的な採点が行われるため、たとえ接待相手や会社の上司であってもカラオケ歌唱が上手くない場合には、低い採点結果が提示される。そのため、場の雰囲気が悪くなる可能性があった。

そこで、特許文献１には、歌唱者に気づかれることなく操作して採点結果を割り増しする機能を有するカラオケ装置が開示されている。

特開２００２−１０８３６８号公報

しかし、特許文献１のカラオケ装置によれば、利用者がカラオケ歌唱を行う都度、割り増し採点コマンドを入力する必要があるため、利用者が採点値の割り増しに気づく可能性があった。

本発明の目的は、カラオケ歌唱を行った利用者に気づかれることなく、当該カラオケ歌唱の採点結果を補正可能なカラオケ装置を提供することにある。

上記目的を達成するための主たる発明は、利用者によるカラオケ歌唱を評価し、採点結果を提示する採点機能を有するカラオケ装置であって、所定範囲内に居る全ての利用者を含む全景映像から、各利用者の顔画像データを抽出する抽出部と、前記全景映像に基づいて各利用者の序列を決定し、当該序列の情報を当該各利用者の顔画像データと紐付けて記憶させる決定部と、ある利用者がカラオケ歌唱を行った場合、当該ある利用者の歌唱映像から抽出された顔認証用データと一致する前記顔画像データを特定し、特定された顔画像データに紐付けられている前記序列の情報に基づいて、当該ある利用者のカラオケ歌唱の採点結果を補正する補正部と、を有するカラオケ装置である。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。

本発明によれば、カラオケ歌唱を行った利用者に気づかれることなく、当該カラオケ歌唱の採点結果を補正できる。

第１実施形態に係るカラオケ装置が設置されているカラオケルームを示す図である。 第１実施形態に係るカラオケ装置を示す図である。 第１実施形態に係るカラオケ本体のハードウェア構成例を示す図である。 第１実施形態に係るテーブル記憶部に記憶されているテーブルデータの例を示す図である。 第１実施形態に係るテーブル記憶部に記憶されているテーブルデータの例を示す図である。 第１実施形態に係るテーブル記憶部に記憶されているテーブルデータの例を示す図である。 第１実施形態に係る序列の例を示す図である。 第１実施形態に係るカラオケ装置の処理を示すフローチャートである。 第２実施形態に係る序列の例を示す図である。 第２実施形態に係るカラオケ装置の処理を示すフローチャートである。

＜第１実施形態＞
図１〜図８を参照して、第１実施形態に係るカラオケ装置について説明する。

＝＝カラオケ装置＝＝
カラオケ装置１は、カラオケ演奏及び利用者がカラオケ歌唱を行うための装置である。カラオケ装置１は、利用者によるカラオケ歌唱を評価し、採点結果を提示する採点機能を有する（詳細は後述）。

カラオケ装置１は、たとえばカラオケ店舗の各部屋（カラオケルーム）に設置される。図１は、カラオケ装置１が設置されたカラオケルームＲ内を示した図である。カラオケルームＲは、所謂、「ＶＩＰルーム」であり、接待等、特別な場面での利用に適した部屋である。カラオケルームＲ内には、カラオケ装置１と共に、５つの座席（座席Ｓ１〜Ｓ５）、２つのテーブル（テーブルＴ１、Ｔ２）、及び１つのディスプレイＤが設置されている。

図２に示すように、カラオケ装置１は、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影部６０を備える。

カラオケ本体１０は、選曲されたカラオケ楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を画面に表示するための構成である。図１の例において、表示装置３０は、カラオケルームＲの壁に設置されたディスプレイＤに相当する。マイク４０は利用者の歌唱音声をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。

撮影部６０は、カラオケルームＲの天井やカラオケ装置１自体に設けられたカメラである。

本実施形態において、撮影部６０は、所定範囲内を撮影し、全景映像を取得する。カラオケルームＲ内は、「所定範囲内」の一例である。撮影部６０は、カラオケ歌唱が開始される前に、カラオケルームＲ内を撮影し、カラオケルームＲ内及びカラオケルームＲ内に居る全ての利用者が映った映像（全景映像）を取得する。

また、撮影部６０は、ある利用者がカラオケ歌唱を行った場合、当該ある利用者の顔を撮影し、歌唱映像を取得する。カラオケ歌唱を行う利用者の撮影は、当該カラオケ歌唱が終了するまでに行えばよい。

撮影部６０は、取得した映像をカラオケ本体１０に出力する。なお、撮影部６０はカラオケ装置１と別に設けられていてもよい。また、撮影部６０は、カラオケルームＲ内に複数設けられていてもよい。撮影部６０が複数設けられている場合、全景映像の取得用と歌唱映像の取得用で異なる撮影部６０（たとえば全景映像の取得用には広角レンズを有するカメラ）を設けてもよい。

＝＝カラオケ本体１０＝＝
図３に示すように、本実施形態に係るカラオケ本体１０は、記憶部１０ａ、通信部１０ｂ、入力部１０ｃ、及び制御部１０ｄを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。

［記憶部］
記憶部１０ａは、カラオケ演奏を行うための楽曲データ等、各種のデータを記憶する大容量の記憶装置である。本実施形態における記憶部１０ａの記憶領域の一部は、テーブル記憶部１００として機能する。

（テーブル記憶部）
テーブル記憶部１００は、カラオケ装置１を利用する各利用者の序列を決定する（詳細は後述）ために使用する各種のテーブルデータを記憶している。本実施形態における「序列」は、役職及び立場に起因するものである。たとえば、序列が高い利用者は、役職がより高い者であったり、接待される側（接待相手）であったりする。

本実施形態に係るテーブル記憶部１００は、着席順序スコアテーブルを記憶する第１のテーブル記憶部１００ａ、着席位置スコアテーブルを記憶する第２のテーブル記憶部１００ｂ、及び年齢スコアテーブルを記憶する第３のテーブル記憶部１００ｃを含む。スコアは、序列を決定する際に用いる値である。

着席順序スコアテーブルは、所定範囲内における利用者の着席順序と所定のスコアとを対応付けたテーブル（データ）である。

着席順序スコアテーブルは、所定範囲毎に設けられている。図４は、カラオケルームＲにおける着席順序スコアテーブルを示している。一般的なビジネスマナーにおいては、序列が高い者から順に着席することが好ましいとされている。そこで、着席順（１番、２番、３番、４番以降）にスコアが高く（１５点、１０点、５点、０点の順）なるようにテーブルを構成している。

着席位置スコアテーブルは、所定範囲内における利用者の着席位置と所定のスコアとを対応付けたテーブル（データ）である。

着席位置スコアテーブルは、所定範囲毎に設けられている。図５は、カラオケルームＲにおける着席位置スコアテーブルを示している。図１に示したように、カラオケルームＲについては、座席Ｓ１〜Ｓ５が設置されている。ここで、一般的なビジネスマナーにおいては、部屋の入り口から遠い席に序列の高い者が座ることが好ましいとされている。そこで、カラオケルームＲの入り口から遠い座席から順（座席Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５の順）にスコアが高く（４０点、３０点、２０点、１０点、０点の順）なるようにテーブルを構成している。

年齢スコアテーブルは、利用者の年齢と所定のスコアとを対応付けたテーブル（データ）である。

年齢スコアテーブルは、所定範囲毎に限らず、共通のテーブルとして設けられている。図６は、本実施形態に係る年齢スコアテーブルを示している。ここで、一般的に、年齢が高い者ほど序列が上である可能性が高いと考えられる。そこで、年齢が高い順（５０代以上、４０代、３０代、３０代未満の順）にスコアが高く（２０点、１５点、１０点、０点の順）なるようにテーブルを構成している。

なお、テーブル記憶部１００は、上記３つのテーブルデータのうち、少なくとも一つを記憶していればよい。すなわち、テーブル記憶部１００は、第１のテーブル記憶部１００ａ、第２のテーブル記憶部１００ｂ、及び第３のテーブル記憶部１００ｃのうち、少なくとも一つを含んでいればよい。また、各テーブルにおけるスコアは一例である。たとえば、図４及び図５の例では、着席順序スコアテーブルのスコアの方が着席位置スコアテーブルのスコアより全体的に低く設定されているが、逆に着席順序スコアテーブルのスコアの方を高く設定してもよい。

［通信部、入力部］
通信部１０ｂは、カラオケ本体１０とカラオケ装置１の他の構成との通信を行うためのインターフェースを提供する。入力部１０ｃは、利用者が各種の指示入力を行うための構成である。なお、表示装置３０やリモコン装置５０の表示画面に表示された各種アイコンを選択することで、各種の指示入力を行うことも可能である。この場合、表示装置３０やリモコン装置５０が入力部１０ｃとして機能する。

［制御部］
制御部１０ｄは、カラオケ装置１における各種の制御を行う。制御部１０ｄは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御部１０ｄは、抽出部２００、決定部３００、採点部４００、補正部５００、及び提示部６００として機能する。

（抽出部）
抽出部２００は、所定範囲内（カラオケルームＲ内）に居る全ての利用者を含む全景映像から、各利用者の顔画像データを抽出する。

たとえば、株式会社ＸのＡ部長とＢ社員（役職無し）が、取引先であるＹ株式会社のＣ部長とＤ課長を接待することになり、二次会でカラオケルームＲに入室したとする。この場合、Ａ部長、Ｂ社員、Ｃ部長、Ｄ課長は、カラオケ装置１の利用者に相当する。

撮影部６０は、各利用者がカラオケルームＲに入室する時点から、各利用者が着席するまで、カラオケルームＲ内の撮影を行い、全景映像を取得する。

各利用者が着席した後、撮影部６０は、全景映像を抽出部２００に出力する。抽出部２００は、全景映像の中から各利用者の顔画像（顔画像データ）を抽出する。ある映像中に含まれる利用者の顔画像を抽出する処理については、一般的に用いられている画像からの顔認識処理等、公知の技術を利用することができる。

（決定部）
決定部３００は、全景映像に基づいて各利用者の序列を決定し、当該序列の情報を当該各利用者の顔画像データと紐付けて記憶させる。

本実施形態において、決定部３００は、全景映像から取得した各利用者の着席情報や年齢情報に基づいて序列を決定する。着席情報は、各利用者がカラオケルームＲに入室後、任意の座席に着席したときまでに撮影された全景映像から得られる情報である。具体的に、着席情報は、着席位置や着席順序である。年齢情報は、利用者の推定年齢を示す情報である。

決定部３００は、全景映像から取得した利用者の着席順序と、着席順序スコアテーブルとに基づいて、序列を決定することができる。また、決定部３００は、全景映像から取得した利用者の着席位置と、着席位置スコアテーブルとに基づいて、序列を決定することができる。更に、決定部３００は、顔画像データから取得した利用者の年齢情報と、年齢スコアテーブルとに基づいて序列を決定することができる。

以下の説明においては、着席順序、着席位置、及び年齢情報の３つを用いて序列を決定する例について説明する。

まず、決定部３００は、Ａ部長、Ｂ社員、Ｃ部長、Ｄ課長がカラオケルームＲに入室する時点から、各利用者が着席するまでを撮影した全景映像を解析し、各利用者の着席順序を求める。この例では、Ｃ部長、Ｄ課長、Ａ部長、Ｂ社員の順で着席したとする。決定部３００は、求めた着席順序を第１のテーブル記憶部１００ａに記憶されている着席順序スコアテーブル（図４参照）に当てはめることで各利用者のスコアを判定する。この例では、Ｃ部長のスコアが「１５点」、Ｄ課長のスコアが「１０点」、Ａ部長のスコアが「５点」、Ｂ社員スコアが「０点」となる。

また、決定部３００は、各利用者が着席した状態の全景映像を解析し、各利用者の着席位置を求める。この例では、座席Ｓ２にＣ部長、座席Ｓ３にＤ課長、座席Ｓ４にＡ部長、座席Ｓ５にＢ社員が着席したとする。決定部３００は、求めた着席位置を第２のテーブル記憶部１００ｂに記憶されている着席位置スコアテーブル（図５参照）に当てはめることで各利用者のスコアを判定する。この例では、Ｃ部長のスコアが「３０点」、Ｄ課長のスコアが「２０点」、Ａ部長のスコアが「１０点」、Ｂ社員スコアが「０点」となる。

なお、利用者を含む映像から、各利用者の着席順序や着席位置を解析する技術は、公知の手法を応用することができる。公知の手法としては、たとえば、動画の各フレームから特徴点を検出して移動する人物を自動検出する手法（ HYPERLINK "https://www.jstage.jst.go.jp/article/jceeek/2013/0/2013#323/#pdf/-char/ja" https://www.jstage.jst.go.jp/article/jceeek/2013/0/2013#323/#pdf/-char/ja）や、一定間隔で撮影された静止画を分析してある動作を検出する手法（https://japan.zdnet.com/article/35120641/）を利用することができる。

また、各利用者の年齢については、抽出部２００によって抽出された各利用者の顔画像（顔画像データ）を用いて求めることができる。決定部３００は、抽出された顔画像データを解析し、利用者の年齢を求める。この例では、Ｃ部長が５２歳、Ｄ課長が３６歳、Ａ部長が４８歳、Ｂ社員が２６歳であったとする。決定部３００は、求めた年齢情報を第３のテーブル記憶部１００ｃに記憶されている年齢スコアテーブル（図６参照）に当てはめることで各利用者のスコアを判定する。この例では、Ｃ部長のスコアが「２０点」、Ｄ課長のスコアが「１０点」、Ａ部長のスコアが「１５点」、Ｂ社員スコアが「０点」となる。なお、利用者の顔画像から年齢を求める技術については、顔画像認識等、公知の手法を利用することができる。

決定部３００は、着席順序、着席位置、年齢情報から求めた各スコアに応じて各利用者の序列を決定する。

具体的に、決定部３００は、利用者毎に各スコアを合計し、スコアの高い順から序列を決定する。上記例において、Ａ部長のスコアは「着席順序（５点）＋着席位置（１０点）＋年齢情報（１５点）＝３０点」であり、Ｂ社員のスコアは「着席順序（０点）＋着席位置（０点）＋年齢情報（０点）＝０点」であり、Ｃ部長のスコアは「着席順序（１５点）＋着席位置（３０点）＋年齢情報（２０点）＝６５点」であり、Ｄ課長のスコアは「着席順序（１０点）＋着席位置（２０点）＋年齢情報（１０点）＝４０点」である。

この場合、決定部３００は、Ｃ部長（１位）、Ｄ課長（２位）、Ａ部長（３位）、Ｂ社員（４位）という序列を決定する（図７参照）。

決定部３００は、決定した序列の情報を各利用者の顔画像データと紐付けて記憶部１０ａに記憶させる。上記例において、決定部３００は、Ｃ部長の顔画像データに序列「１位」を紐付け、Ｄ課長の顔画像データに序列「２位」を紐付け、Ａ部長の顔画像データに序列「３位」を紐付け、Ｂ社員の顔画像データに序列「４位」を紐付けて記憶部１０ａに記憶させる。なお、スコアは、具体的な数値で無くともよい。たとえば、スコアをＡ〜Ｅの５段階で示し、Ａの数が多い順に序列を決めることでもよい。

（採点部）
採点部４００は、利用者によるカラオケ歌唱を評価し、採点結果を得る。具体的に、採点部４００は、利用者の歌唱音声から抽出した歌唱音声データを、音高、音量及び歌唱技法の少なくとも一つに基づいて採点を行う。採点結果は、たとえば具体的な数値（１００点を満点とする数値）として求めることができる。

カラオケ歌唱の評価は、公知の技術を利用することができる。たとえば、採点部４００は、マイク４０から入力された歌唱音声信号から、ピッチ（音高）データ、音量データ等の歌唱音声データを抽出し、カラオケ歌唱を行った楽曲のリファレンスデータと比較することにより、採点値を得ることができる。採点部４００は、得られた採点結果を補正部５００に出力する。

（補正部）
補正部５００は、ある利用者がカラオケ歌唱を行った場合、当該ある利用者の歌唱映像から抽出された顔認証用データと一致する顔画像データを特定し、特定された顔画像データに紐付けられている序列の情報に基づいて、当該ある利用者のカラオケ歌唱の採点結果を補正する。

顔認証用データは、カラオケ歌唱を行う利用者の歌唱映像から抽出した顔画像データである。たとえば、上記例において、Ａ部長、Ｂ社員、Ｃ部長、Ｄ課長がカラオケルームＲに入室した後、順番にカラオケ歌唱を行ったとする。撮影部６０は、たとえば、カラオケ楽曲の演奏開始に伴ってカラオケ歌唱を行う利用者のみを撮影し歌唱映像を取得する。抽出部２００は、歌唱映像を解析することにより、利用者の顔画像データを顔認証用データとして抽出する。

採点結果の補正は、予め設定され記憶部１０ａに記憶されている補正情報に基づいて行う。補正情報は、たとえば、「序列１位の利用者の採点結果に対して１０点をプラスする」といった具体的な数値を示すものや、「序列１位の利用者の採点結果を１０％アップする」といったものでもよい。但し、採点結果の上限値（たとえば１００点）がある場合、当該上限値を越えないように調整することが好ましい。また、序列１位の利用者の採点結果に対してのみの補正ではなく、序列に応じて加点に差を付けたり、序列によっては減点する補正を行ってもよい。たとえば、「序列１位は＋１０点、序列２位は＋５点、序列３位は±０点、序列４位は−５点」といった補正情報であってもよい。なお、採点結果を減点する場合、実際のカラオケ歌唱が上手く聞こえるにも関わらず、採点結果が低くなることがありうる。このような状況が生じると、採点結果に疑念を持たれる可能性（採点結果が操作されていることを知られてしまう可能性）がある。よって、採点部４００による採点値が一定値以上の場合（たとえば、９０点以上）、仮に減点対象となる序列であっても減点しないことが好ましい。

補正部５００は、記憶部１０ａに記憶されている顔画像データの中から、顔認証用データと一致する顔画像データを特定する。

たとえば、Ｂ社員がカラオケ歌唱を行ったとする。この場合、補正部５００は、Ｂ社員の顔認証用データに基づいて記憶部１０ａの中からＢ社員の顔画像データを特定する。Ｂ社員がカラオケ歌唱を終了し、採点部４００は、Ｂ社員のカラオケ歌唱の採点結果として「８０点」を算出したとする。補正部５００は、採点結果「８０点」に対し、Ｂ社員の顔画像データに紐付けられている序列の情報に基づいて、採点結果の補正を行う。ここで、補正情報が「序列１位の利用者の採点結果に対して１０点をプラスする」となっていた場合、Ｂ社員の序列は１位ではない。よって、補正部５００は、採点結果「８０点」の補正を行うことなく、そのまま、提示部６００に出力する。

一方、たとえば、Ｃ部長がカラオケ歌唱を行ったとする。この場合、補正部５００は、Ｃ部長の顔認証用データに基づいて記憶部１０ａの中からＣ部長の顔画像データを特定する。Ｃ部長がカラオケ歌唱を終了し、採点部４００は、Ｃ部長のカラオケ歌唱の採点結果として「８５点」を算出したとする。補正部５００は、採点結果「８５点」に対し、Ｃ部長の顔画像データに紐付けられている序列の情報に基づいて、採点結果の補正を行う。ここで、補正情報が「序列１位の利用者の採点結果に対して１０点をプラスする」となっていた場合、Ｃ部長の序列は１位である。よって、補正部５００は、採点結果「８５点」に「１０点」を加えた「９５点」をＣ部長の採点結果とし、提示部６００に出力する。

［提示部］
提示部６００は、採点部３００で得られた採点結果、或いは補正部５００で補正された採点結果を利用者に対して提示する。

採点結果の提示方法は様々な手法が可能である。たとえば、提示部６００は、採点結果を表示装置３０の表示画面に表示させることができる。或いは、提示部６００は、スピーカ２０を介して採点結果を放音させることができる。

＝＝カラオケ装置における処理について＝＝
次に、図８を参照して本実施形態に係るカラオケ装置１における処理の具体例について述べる。図８は、カラオケ装置１における処理例を示すフローチャートである。この例では、第１のテーブル記憶部１００ａが着席順序スコアテーブルを記憶し、第２のテーブル記憶部１００ｂが着席位置スコアテーブルを記憶し、第３のテーブル記憶部１００ｃが年齢スコアテーブルを記憶しているとする。

利用者がカラオケルームＲに入室した後、撮影部６０は、カラオケルームＲ内に居る全ての利用者を含む全景映像を取得する（全景映像の取得。ステップ１０）。

抽出部２００は、ステップ１０で取得した全景映像から、各利用者の顔画像データを抽出する（顔画像データの抽出。ステップ１１）。

決定部３００は、ステップ１０で取得した全景映像から取得した利用者の着席位置と、着席位置スコアテーブルとに基づいて、スコアを求める。また、決定部３００は、ステップ１０で取得した全景映像から取得した利用者の着席順序と、着席順序スコアテーブルとに基づいて、スコアを求める。また、決定部３００は、ステップ１１で抽出された顔画像データから取得した利用者の年齢情報と、年齢スコアテーブルとに基づいて、スコアを求める（着席順序、着席位置、年齢情報からスコアを決定。ステップ１２）。

決定部３００は、ステップ１２で得られたスコアを合計することにより、各利用者の序列を決定する（序列の決定。ステップ１３）。

決定部３００は、ステップ１３で決定した序列の情報を、ステップ１１で抽出された各利用者の顔画像データと紐付けて記憶部１０ａに記憶させる（序列の情報及び顔画像データの記憶。ステップ１４）。

ここで、ある利用者がカラオケ歌唱を行った場合（ステップ１５でＹの場合）、撮影部６０は、当該ある利用者の撮影を行い、歌唱映像を取得する（歌唱映像の取得。ステップ１６）。抽出部２００は、歌唱映像からある利用者の顔画像データ（顔認証用データ）を抽出する（顔認証用データの抽出。ステップ１７）。

補正部５００は、ステップ１７で抽出された顔認証用データと一致する顔画像データを、ステップ１４で記憶された顔画像データの中から特定する（顔画像データの特定。ステップ１８）。

採点部４００は、ある利用者のカラオケ歌唱の評価を行い、採点結果を得る（カラオケ歌唱の採点。ステップ１９）。

補正部５００は、ステップ１８で特定された顔画像データに紐付けられている序列の情報に基づいて、ステップ１９で得られた、ある利用者のカラオケ歌唱の採点結果を補正する（採点結果の補正。ステップ２０）。

提示部６００は、ステップ２０で補正された採点結果を提示する（採点結果の提示。ステップ２１）。

このように、本実施形態に係るカラオケ装置１は、利用者によるカラオケ歌唱を評価し、採点結果を提示する採点機能を有するカラオケ装置である。カラオケ装置１は、所定範囲内に居る全ての利用者を含む全景映像から、各利用者の顔画像データを抽出する抽出部２００と、全景映像に基づいて各利用者の序列を決定し、当該序列の情報を当該各利用者の顔画像データと紐付けて記憶させる決定部３００と、ある利用者がカラオケ歌唱を行った場合、当該ある利用者の歌唱映像から抽出された顔認証用データと一致する顔画像データを特定し、特定された顔画像データに紐付けられている序列の情報に基づいて、当該ある利用者のカラオケ歌唱の採点結果を補正する補正部５００と、を有する。

このようなカラオケ装置１によれば、ある利用者がカラオケ歌唱を行った場合、自動的に決定された利用者の序列に応じて採点結果を補正することができる。この場合、序列の高い相手（たとえば接待相手）の方が良い採点結果が得られる傾向にあるため、採点機能を利用して場を盛り上げることができる。すなわち、本実施形態に係るカラオケ装置１によれば、カラオケ歌唱を行った利用者に気づかれることなく、当該カラオケ歌唱の採点結果を補正できる。

また、本実施形態に係る決定部３００は、全景映像から取得した各利用者の着席情報に基づいて序列を決定する。より具体的には、所定範囲内における利用者の着席順序と所定のスコアとを対応付けた着席順序スコアテーブルを記憶する第１のテーブル記憶部１００ａを有し、決定部３００は、全景映像から取得した利用者の着席順序と、着席順序スコアテーブルとに基づいて、序列を決定することができる。或いは、所定範囲内における利用者の着席位置と所定のスコアとを対応付けた着席位置スコアテーブルを記憶する第２のテーブル記憶部１００ｂを有し、決定部３００は、全景映像から取得した利用者の着席位置と、着席位置スコアテーブルとに基づいて、序列を決定することができる。一般的なビジネスマナーとして、利用者の着席位置や着席順序は、利用者間の序列によりルールが決まっている。よって、そのような着席情報を利用して序列を決定することにより、より正確に利用者間の序列を決定できる。

更に、本実施形態において、第３のテーブル記憶部１００ｃは、利用者の年齢と所定のスコアとを対応付けた年齢スコアテーブルを記憶し、決定部３００は、顔画像データから取得した利用者の年齢情報と、年齢スコアテーブルとに基づいて序列を決定することが可能である。一般に、年齢が高くなるほどと利用者の序列が高くなる傾向にある。よって、年齢情報を利用して序列を決定することにより、より正確に利用者間の序列を決定できる。

なお、顔画像データと利用者は一対一に対応するため、本実施形態では顔画像データと各利用者とを対応付けて説明した。一方、カラオケ装置１自体は、抽出された顔画像データが誰の顔画像データであるかを認識できるわけでは無い。

＜第２実施形態＞
次に、図９及び図１０を参照して、第２実施形態に係るカラオケ装置について説明する。本実施形態では、各利用者の動作に基づいて序列を決定する例について説明する。なお、第１実施形態と同様の構成については詳細な説明を省略する。

（決定部）
本実施形態に係る決定部３００は、全景映像から取得した利用者の動作情報に基づいて序列を決定する。

カラオケスナックのように、飲食や会話を楽しみながら、その合間にカラオケ歌唱も可能な場が存在する。このような場では、序列が下の者は、序列が上の者に対して飲食物を手渡したり、序列が上の者の話に頷く等、序列に関係する特有の動作を行うことがある。本実施形態では、このような特有の動作を元に序列を決定する。

具体例として、Ａ部長がＢ社員を連れて、Ｙ会社の接待の反省会と称して、行きつけのカラオケスナックを訪れたとする。カラオケスナックの各テーブルには、撮影部６０が設置されており、それぞれカラオケ本体１０と通信可能となっている。撮影部６０は、テーブル近傍の撮影を行い、全景映像を取得する。本実施形態における各テーブル近傍は、「所定範囲内」の一例である。なお、本実施形態において、全景映像は、利用者の所定動作を検出できるものである必要がある。そこで、撮影部６０としては、Ｋｉｎｅｃｔセンサー等、利用者の動作を検出することができる公知の技術を搭載したものを用いる。

決定部３００は、全景映像に含まれる各利用者の映像を解析し、所定動作の回数を利用者毎に検出する。所定動作は、予めいくつかの動作が決定されている。この例では、「頭を下げる」及び「（飲食物の）手渡し」の動作が決定されているとする。

決定部３００は、たとえば、利用者が着席した後からカラオケ演奏が始まるまでの全景映像から利用者毎に所定動作を検出し、それに基づいて序列を決定する。たとえば、全景映像を解析した結果、Ａ部長は、「頭を下げる」動作が１回、「手渡し」動作が２回であったとする。一方、Ｂ社員は、「頭を下げる」動作が６回、「手渡し」動作が３回であったとする。決定部３００は、利用者毎に所定動作の回数を合計し、合計値が低いほど、序列が高いと判定する。たとえば、上記例において、Ａ部長の合計値は「３回」である一方、Ｂ社員の合計値は「９回」である。よって、決定部３００は、Ａ部長の序列を「１位」、Ｂ社員の序列を「２位」として決定する（図９参照）。

なお、所定動作は、所定範囲によって変えることが好ましい。たとえば、カラオケルームＲの場合、「拍手」、「リモコン操作」等を所定動作とすることができる。また、上記例では、所定動作の回数をそのまま加算して合計値としたが、所定動作毎に重み付けをして加算してもよい。たとえば、「頭を下げる」動作については、その回数を１．５倍して合計値を算出してもよい。また、所定動作の回数では無く、時間的な長さの合計値に基づいて、序列を決定してもよい。

＝＝カラオケ装置における処理について＝＝
次に、図１０を参照して本実施形態に係るカラオケ装置１における処理の具体例について述べる。図１０は、カラオケ装置１における処理例を示すフローチャートである。

利用者がカラオケスナックに入店し、所定のテーブル着席した後、撮影部６０は、テーブル近傍に居る全ての利用者を含む全景映像を取得する（全景映像の取得。ステップ３０）。

抽出部２００は、ステップ３０で取得した全景映像から、各利用者の顔画像データを抽出する（顔画像データの抽出。ステップ３１）。

決定部３００は、ステップ３０で取得した全景映像から取得した利用者の動作情報に基づいて、所定動作の回数の合計値を求める（動作情報から合計値を決定。ステップ３２）。

決定部３００は、ステップ３２で得られた合計値から、各利用者の序列を決定する（序列の決定。ステップ３３）。

ステップ３４以降の処理は、第１実施形態におけるステップ１４以降の処理と同様であるため詳細な説明を省略する。

このように、本実施形態に係る決定部３００は、全景映像から取得した利用者の動作情報に基づいて序列を決定することができる。このように利用者の動作情報を利用することにより、より確実に序列を決定することができる。

＜その他＞
第１実施形態と第２実施形態は、適宜組み合わせて実施することが可能である。たとえば、決定部３００は、各利用者がカラオケルームＲへ入室した時点においては、着席情報（着席順序、着席位置）と年齢情報に基づいて序列を決定する。その後、飲食物が提供された場合、決定部３００は、利用者の動作情報に基づいて、改めて序列を決定することでもよい。

序列は、スコアを利用せずに着席情報等から直接決定してもよい。たとえば、決定部３００は、全景映像から着席位置を求め、優先度が高い位置に座った順に利用者の序列を決定してもよい。

決定部３００は、顔画像データから性別情報を取得し、着席情報や年齢情報と併せて序列を決定してもよい。たとえば、ある利用者が比較的年齢の若い異性の利用者の隣席に着席している場合、当該ある利用者はコンパニオンの接客を受けており、接待される側すなわち序列の高い利用者であるとみなすことができる。

また、撮影された映像中に飲食物を提供する店員等が映り込む可能性もある。この場合、抽出部２００は、利用者の着用する衣類を解析し、店舗の制服を着用していると判断された場合には、当該利用者を店員であるとして顔画像データの抽出対象から除外する。

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ カラオケ装置
１００ テーブル記憶部
１００ａ 第１のテーブル記憶部
１００ｂ 第２のテーブル記憶部
１００ｃ 第３のテーブル記憶部
２００ 抽出部
３００ 決定部
４００ 採点部
５００ 補正部
６００ 提示部

Claims (6)

1. 利用者によるカラオケ歌唱を評価し、採点結果を提示する採点機能を有するカラオケ装置であって、
   所定範囲内に居る全ての利用者を含む全景映像から、各利用者の顔画像データを抽出する抽出部と、
   前記全景映像に基づいて各利用者の序列を決定し、当該序列の情報を当該各利用者の顔画像データと紐付けて記憶させる決定部と、
   ある利用者がカラオケ歌唱を行った場合、当該ある利用者の歌唱映像から抽出された顔認証用データと一致する前記顔画像データを特定し、特定された顔画像データに紐付けられている前記序列の情報に基づいて、当該ある利用者のカラオケ歌唱の採点結果を補正する補正部と、
   を有するカラオケ装置。
2. 前記決定部は、前記全景映像から取得した各利用者の着席情報に基づいて前記序列を決定することを特徴とする請求項１記載のカラオケ装置。
3. 前記所定範囲内における利用者の着席順序と所定のスコアとを対応付けた着席順序スコアテーブルを記憶する第１のテーブル記憶部を有し、
   前記決定部は、前記全景映像から取得した利用者の着席順序と、前記着席順序スコアテーブルとに基づいて、前記序列を決定することを特徴とする請求項２記載のカラオケ装置。
4. 前記所定範囲内における利用者の着席位置と所定のスコアとを対応付けた着席位置スコアテーブルを記憶する第２のテーブル記憶部を有し、
   前記決定部は、前記全景映像から取得した利用者の着席位置と、前記着席位置スコアテーブルとに基づいて、前記序列を決定することを特徴とする請求項２または３記載のカラオケ装置。
5. 利用者の年齢と所定のスコアとを対応付けた年齢スコアテーブルを記憶する第３のテーブル記憶部を有し、
   前記決定部は、前記顔画像データから取得した利用者の年齢情報と、前記年齢スコアテーブルとに基づいて序列を決定することを特徴とする請求項１から４のいずれか一つに記載のカラオケ装置。
6. 前記決定部は、前記全景映像から取得した利用者の動作情報に基づいて序列を決定することを特徴とする請求項１から５のいずれか一つに記載のカラオケ装置。

Images