JP2021085959A

JP2021085959A - Karaoke system

Info

Publication number: JP2021085959A
Application number: JP2019213986A
Authority: JP
Inventors: 政之鎌田; Masayuki Kamata
Original assignee: Daiichikosho Co Ltd
Current assignee: Daiichikosho Co Ltd
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2021-06-03
Anticipated expiration: 2039-11-27
Also published as: JP7308133B2

Abstract

To provide a Karaoke system capable of recommending a proper beverage to a user.SOLUTION: A Karaoke system comprises: a data storage part in which user identification information, face image data and beverage history data are linked and stored; an extraction part which transmits face image data and beverage history data on a certain user to a Karaoke device; a log-in processing part that allows the certain user to log in and transmits the input user identification information to a server; a recommendation part which recommends a beverage to the certain user based upon the beverage history data on the certain user; a generation part which generates a record of a new beverage of the certain user; and a processing part which updates the beverage history data on the certain user stored in the data storage part based upon the record of the new beverage after the user logs out.SELECTED DRAWING: Figure 9

Description

本発明はカラオケシステムに関する。 The present invention relates to a karaoke system.

カラオケ店舗は、カラオケ装置が設置されているカラオケルームに飲食物を提供するサービスを実施している。カラオケルームの利用者は、カラオケルームから所望の飲食物を注文し、カラオケ歌唱と併せて飲食を楽しむことができる。 Karaoke stores provide food and drink services to karaoke rooms where karaoke equipment is installed. The user of the karaoke room can order desired food and drink from the karaoke room and enjoy eating and drinking together with karaoke singing.

ここで、特許文献１には、飲食店などにおいて、注文者を識別して注文情報を管理し、注文端末へ提示する情報を用いて商品やサービスの販売を促進することができる技術が開示されている。 Here, Patent Document 1 discloses a technique capable of identifying an orderer, managing order information, and promoting sales of goods and services by using the information presented to an order terminal in a restaurant or the like. ing.

国際公開番号ＷＯ２００３／０６９５２８International Publication No. WO2003 / 069528

ところで、一のカラオケルームを複数の利用者で使用する際、一の利用者（代表者）が全員分の飲食物をまとめて注文することが多い。 By the way, when one karaoke room is used by a plurality of users, one user (representative) often orders food and drink for all of them at once.

このような場合、特許文献１の技術では注文を行った代表者に対し、全員分の飲食物が注文情報として管理される。すなわち、他の利用者が飲食する飲食物についても代表者が注文したものとして管理される。 In such a case, in the technique of Patent Document 1, food and drink for all the representatives who placed the order are managed as order information. That is, foods and drinks eaten and eaten by other users are also managed as ordered by the representative.

従って、代表者の注文情報を用いて当該代表者に飲食物をレコメンドする場合、他の利用者が飲食した飲食物についてもレコメンドされる。このように、特許文献１の技術をカラオケ分野に応用した場合には、利用者に対して適切な飲食物をレコメンドすることは困難であった。 Therefore, when recommending food and drink to the representative using the order information of the representative, the food and drink eaten and eaten by other users are also recommended. As described above, when the technique of Patent Document 1 is applied to the karaoke field, it is difficult to recommend appropriate foods and drinks to the user.

本発明の目的は、利用者に対して適切な飲食物をレコメンドすることが可能なカラオケシステムを提供することにある。 An object of the present invention is to provide a karaoke system capable of recommending appropriate foods and drinks to a user.

上記目的を達成するための一の発明は、サーバ装置と、カラオケ店舗の部屋に設置されたカラオケ装置とが通信可能に接続されたカラオケシステムであって、前記サーバ装置は、利用者を識別するための利用者識別情報、当該利用者の顔画像データ、及び当該利用者がカラオケ店舗で行った飲食に関する飲食履歴を示す飲食履歴データを紐付けて記憶するデータ記憶部と、前記カラオケ装置からある利用者の利用者識別情報を受信した場合、当該ある利用者の顔画像データ及び飲食履歴データを前記データ記憶部から抽出し、当該カラオケ装置に送信する抽出部と、を有し、前記カラオケ装置は、前記ある利用者による利用者識別情報の入力に応じて、前記カラオケシステムに対する当該ある利用者のログインを行い、入力された利用者識別情報を前記サーバ装置に送信するログイン処理部と、前記サーバ装置から受信した前記ある利用者の飲食履歴データに基づいて、当該ある利用者に対して飲食物をレコメンドするレコメンド部と、前記サーバ装置から受信した前記ある利用者の顔画像データ、及び前記カラオケ店舗の部屋において提供された飲食物を飲食する当該ある利用者を撮影して得られる映像に基づいて、当該ある利用者について新たな飲食の記録を生成する生成部と、前記ある利用者が前記カラオケシステムからログアウトした場合、前記新たな飲食の記録に基づいて、前記データ記憶部が記憶する当該ある利用者の飲食履歴データを更新させる処理部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。 One invention for achieving the above object is a karaoke system in which a server device and a karaoke device installed in a room of a karaoke store are communicably connected, and the server device identifies a user. A data storage unit that stores user identification information for the purpose, face image data of the user, and food and drink history data indicating the food and drink history of the user at a karaoke store, and the karaoke device. When the user identification information of the user is received, the karaoke device has an extraction unit that extracts the face image data and the eating and drinking history data of the user from the data storage unit and transmits the data to the karaoke device. Is a login processing unit that logs the user to the karaoke system in response to the input of the user identification information by the user and transmits the input user identification information to the server device, and the above. Based on the food and drink history data of the user received from the server device, the recommendation unit that recommends food and drink to the user, the face image data of the user received from the server device, and the above-mentioned Based on the image obtained by shooting the user who eats and drinks the food and drink provided in the room of the karaoke store, the generation unit that generates a new record of food and drink for the user and the user It is a karaoke system having a processing unit that updates the food and drink history data of the user stored in the data storage unit based on the new food and drink record when logged out from the karaoke system.
Other features of the present invention will be clarified by the description of the description and drawings described later.

本発明によれば、利用者に対して適切な飲食物をレコメンドすることができる。 According to the present invention, it is possible to recommend appropriate foods and drinks to the user.

実施形態に係るカラオケシステムを示す図である。It is a figure which shows the karaoke system which concerns on embodiment. 実施形態に係るサーバ装置を示す図である。It is a figure which shows the server apparatus which concerns on embodiment. 実施形態に係る飲食履歴を示す図である。It is a figure which shows the eating and drinking history which concerns on embodiment. 実施形態に係るカラオケ装置を示す図である。It is a figure which shows the karaoke apparatus which concerns on embodiment. 実施形態に係るカラオケ本体を示す図である。It is a figure which shows the karaoke main body which concerns on embodiment. 実施形態に係る飲食した割合の合計値を示す図である。It is a figure which shows the total value of the eating and drinking ratio which concerns on embodiment. 実施形態に係る撮影手段により撮影されたカラオケルーム内の映像を示す図である。It is a figure which shows the image in the karaoke room photographed by the photographing means which concerns on embodiment. 実施形態に係る新たな飲食の記録を示す図である。It is a figure which shows the record of the new eating and drinking which concerns on embodiment. 実施形態に係るカラオケシステムの処理を示すフローチャートである。It is a flowchart which shows the process of the karaoke system which concerns on embodiment.

図１〜図９を参照して、実施形態に係るカラオケシステムについて説明する。 The karaoke system according to the embodiment will be described with reference to FIGS. 1 to 9.

＝＝カラオケシステム＝＝
図１に示すように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓ及びカラオケ装置Ｋを備える。サーバ装置Ｓ及びカラオケ装置Ｋは、ネットワークＮを介して通信可能に接続されている。ネットワークＮは、たとえば公衆電話回線網やインターネット回線等の伝送路である。カラオケ装置Ｋは、カラオケ店舗の部屋Ｒに設置されている。なお、図１では一の部屋Ｒのみを示しているが、一のカラオケ店舗には複数の部屋（カラオケルーム）が設けられていることが一般的である。また、図１では一のカラオケ装置Ｋのみを示しているが、サーバ装置Ｓは、ネットワークＮを介して複数のカラオケ装置と通信可能となっている。 == Karaoke system ==
As shown in FIG. 1, the karaoke system 1 according to the present embodiment includes a server device S and a karaoke device K. The server device S and the karaoke device K are communicably connected via the network N. The network N is, for example, a transmission line such as a public telephone line network or an Internet line. The karaoke device K is installed in the room R of the karaoke store. Although only one room R is shown in FIG. 1, a plurality of rooms (karaoke rooms) are generally provided in one karaoke store. Further, although FIG. 1 shows only one karaoke device K, the server device S can communicate with a plurality of karaoke devices via the network N.

＝＝サーバ装置＝＝
サーバ装置Ｓは、各種情報の管理や処理を実行するコンピュータである。図２はサーバ装置Ｓの構成を示す図である。サーバ装置Ｓは、記憶手段１０、通信手段２０、及び制御手段３０を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。 == Server device ==
The server device S is a computer that manages and processes various types of information. FIG. 2 is a diagram showing a configuration of the server device S. The server device S includes a storage means 10, a communication means 20, and a control means 30. Each configuration is connected to bus B via an interface (not shown).

［記憶手段］
記憶手段１０は、各種のデータを記憶する大容量の記憶装置である。本実施形態において、記憶手段１０の記憶領域の一部は、データ記憶部１０ａとして機能する。 [Memory means]
The storage means 10 is a large-capacity storage device that stores various types of data. In the present embodiment, a part of the storage area of the storage means 10 functions as a data storage unit 10a.

（データ記憶部）
データ記憶部１０ａは、利用者を識別するための利用者識別情報、当該利用者の顔画像データ、及び飲食履歴データを紐付けて記憶する。 (Data storage)
The data storage unit 10a stores the user identification information for identifying the user, the face image data of the user, and the eating and drinking history data in association with each other.

利用者識別情報は、たとえば利用者ＩＤのような、各利用者に固有の情報である。利用者識別情報は、たとえばカラオケシステム１を初めて利用する際に、利用者が任意に設定することができる。 The user identification information is information unique to each user, such as a user ID. The user identification information can be arbitrarily set by the user when, for example, the karaoke system 1 is used for the first time.

顔画像データは、利用者の顔を撮影して得られた画像に対応するデータである。顔の撮影は、たとえばカラオケシステム１を初めて利用する際に、カラオケ装置Ｋの撮影手段９０（図４参照）により行う。 The face image data is data corresponding to an image obtained by photographing the user's face. The face is photographed by the photographing means 90 (see FIG. 4) of the karaoke device K, for example, when the karaoke system 1 is used for the first time.

飲食履歴データは、利用者がカラオケ店舗で行った飲食に関する飲食履歴を示すデータである。飲食履歴は、少なくとも一の飲食の記録から構成されている。飲食の記録は、利用者が、飲食した飲食物の名称、飲食物を飲食した割合等を含む。また、飲食履歴は、利用者が飲食した日付を示す日付情報を含んでいてもよい。 The eating and drinking history data is data showing the eating and drinking history related to the eating and drinking performed by the user at the karaoke store. The eating and drinking history consists of at least one record of eating and drinking. The record of eating and drinking includes the name of the food and drink that the user has eaten, the ratio of eating and drinking, and the like. In addition, the eating and drinking history may include date information indicating the date when the user eats and drinks.

図３は、利用者Ｕ１（利用者識別情報「ＩＤ＊＊＊０１」）の飲食履歴を示したものである。なお、図３に示したフードやドリンクの種類は一例である。 FIG. 3 shows the eating and drinking history of the user U1 (user identification information “ID *** 01”). The types of foods and drinks shown in FIG. 3 are examples.

たとえば、利用者Ｕ１は、２０１９年１月１日にカラオケ店舗を訪れ、フードＦ４とドリンクＤ１の飲食を行っている。また、フードＦ４及びドリンクＤ１とも飲食した割合は１００％である。すなわち、利用者Ｕ１はフードＦ４及びドリンクＤ１を一人で飲食している。 For example, user U1 visits a karaoke store on January 1, 2019, and eats and drinks food F4 and drink D1. Moreover, the ratio of eating and drinking of both food F4 and drink D1 is 100%. That is, the user U1 eats and drinks the food F4 and the drink D1 by himself.

一方、利用者Ｕ１は、２０１９年２月２日にカラオケ店舗を訪れ、フードＦ１、フードＦ３、及びドリンクＤ３の飲食を行っている。また、フードＦ１を飲食した割合は３０％であり、フードＦ３を飲食した割合は２０％であり、ドリンクＤ３を飲食した割合は２００％である。すなわち、利用者Ｕ１は、フードＦ１、及びフードＦ３について複数の利用者で分けて飲食し（或いは、フードＦ１、及びフードＦ３について全て飲食せずに一部を残し）、ドリンクＤ３については２名分を飲食している。 On the other hand, the user U1 visits a karaoke store on February 2, 2019, and eats and drinks food F1, food F3, and drink D3. The ratio of eating and drinking food F1 is 30%, the ratio of eating and drinking food F3 is 20%, and the ratio of eating and drinking drink D3 is 200%. That is, the user U1 eats and drinks the food F1 and the food F3 separately by a plurality of users (or leaves a part of the food F1 and the food F3 without eating and drinking), and two people for the drink D3. I'm eating and drinking minutes.

なお、図３に示した飲食履歴において、飲食を行ったカラオケ店舗は特定されていない。一方、飲食履歴データとして、飲食を行ったカラオケ店舗を識別するための店舗識別情報を含んでいてもよい。 In the eating and drinking history shown in FIG. 3, the karaoke store where eating and drinking was performed is not specified. On the other hand, the food and drink history data may include store identification information for identifying the karaoke store where the food and drink was eaten.

［通信手段］
通信手段２０は、カラオケ装置Ｋとの通信を行うためのインターフェースを提供する。 [Communication means]
The communication means 20 provides an interface for communicating with the karaoke device K.

［制御手段］
制御手段３０は、サーバ装置Ｓにおける各種の制御を行う。制御手段３０は、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段３０は、抽出部３０ａとして機能する。 [Control means]
The control means 30 performs various controls on the server device S. The control means 30 includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory. In the present embodiment, the control means 30 functions as the extraction unit 30a by executing the program stored in the memory by the CPU.

（抽出部）
抽出部３０ａは、カラオケ装置からある利用者の利用者識別情報を受信した場合、当該ある利用者の顔画像データ及び飲食履歴データをデータ記憶部１０ａから抽出し、当該カラオケ装置に送信する。 (Extractor)
When the extraction unit 30a receives the user identification information of a certain user from the karaoke device, the extraction unit 30a extracts the face image data and the eating and drinking history data of the certain user from the data storage unit 10a and transmits the data to the karaoke device.

たとえば、カラオケ装置Ｋから利用者Ｕ１の利用者識別情報「ＩＤ＊＊＊０１」を受信したとする。抽出部３０ａは、データ記憶部１０ａに記憶されている利用者識別情報の中から、受信した利用者Ｕ１の利用者識別情報と一致する利用者識別情報を特定する。そして、抽出部３０ａは、特定した利用者識別情報に紐付けられている顔画像データ及び飲食履歴データ（すなわち、利用者Ｕ１の顔画像データ及び飲食履歴データ）を抽出し、カラオケ装置Ｋに送信する。以下、利用者Ｕ１の飲食履歴データが示す飲食履歴は、図３に示した飲食履歴であるとして説明する。 For example, it is assumed that the user identification information "ID *** 01" of the user U1 is received from the karaoke device K. The extraction unit 30a identifies the user identification information that matches the user identification information of the received user U1 from the user identification information stored in the data storage unit 10a. Then, the extraction unit 30a extracts the face image data and the eating and drinking history data (that is, the face image data and the eating and drinking history data of the user U1) associated with the specified user identification information and transmits them to the karaoke device K. To do. Hereinafter, the eating and drinking history indicated by the eating and drinking history data of the user U1 will be described as being the eating and drinking history shown in FIG.

＝＝カラオケ装置＝＝
カラオケ装置Ｋは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。図４に示すように、カラオケ装置Ｋは、カラオケ本体４０、スピーカ５０、表示装置６０、マイク７０、リモコン装置８０、及び撮影手段９０を備える。 == Karaoke device ==
The karaoke device K is a device for performing karaoke of music and for the user to sing karaoke. As shown in FIG. 4, the karaoke device K includes a karaoke body 40, a speaker 50, a display device 60, a microphone 70, a remote control device 80, and a photographing means 90.

カラオケ本体４０は、選曲された楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク７０を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ５０はカラオケ本体４０からの放音信号に基づいて放音するための構成である。表示装置６０はカラオケ本体４０からの信号に基づいて映像や画像を画面に表示するための構成である。マイク７０はカラオケ歌唱の歌唱音声をアナログの歌唱音声信号に変換してカラオケ本体４０に入力するための構成である。リモコン装置８０は、カラオケ本体４０に対する各種操作をおこなうための装置である。撮影手段９０は、部屋Ｒ内や利用者を撮影するためのカメラである。なお、撮影手段９０は、部屋Ｒ内に複数設けられていてもよい。 The karaoke main unit 40 performs various controls related to karaoke performance and karaoke singing, such as performance control of selected songs, display control of lyrics and background images, and processing of audio signals input through a microphone 70. The speaker 50 is configured to emit sound based on the sound emitted signal from the karaoke main body 40. The display device 60 is configured to display an image or an image on the screen based on the signal from the karaoke main body 40. The microphone 70 is configured to convert the singing voice of karaoke singing into an analog singing voice signal and input it to the karaoke main body 40. The remote control device 80 is a device for performing various operations on the karaoke main body 40. The photographing means 90 is a camera for photographing the inside of the room R and the user. A plurality of photographing means 90 may be provided in the room R.

図５に示すように、本実施形態に係るカラオケ本体４０は、記憶手段４０ａ、通信手段４０ｂ、入力手段４０ｃ、及び制御手段４０ｄを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。 As shown in FIG. 5, the karaoke main body 40 according to the present embodiment includes a storage means 40a, a communication means 40b, an input means 40c, and a control means 40d. Each configuration is connected to bus B via an interface (not shown).

［記憶手段・通信手段・入力手段］
記憶手段４０ａは、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶手段４０ａは、たとえばカラオケ装置Ｋによりカラオケ演奏を行うための複数の楽曲データを記憶する。通信手段４０ｂは、サーバ装置Ｓやリモコン装置８０との通信を行うためのインターフェースを提供する。入力手段４０ｃは、利用者が各種の指示入力を行うための構成である。入力手段４０ｃは、カラオケ本体４０に設けられたボタン等である。或いは、リモコン装置８０が入力手段４０ｃとして機能してもよい。たとえば、カラオケ装置Ｋが設置されている部屋Ｒに複数の利用者がいる場合に、代表者がリモコン装置８０を介して適当な飲食物の注文を行う。カラオケ店舗の店員は、注文に応じた飲食物を準備し、部屋Ｒの利用者に提供する。 [Storage means / communication means / input means]
The storage means 40a is a large-capacity storage device that stores various types of data, such as a hard disk drive. The storage means 40a stores a plurality of music data for performing karaoke performance by, for example, the karaoke device K. The communication means 40b provides an interface for communicating with the server device S and the remote control device 80. The input means 40c is configured for the user to input various instructions. The input means 40c is a button or the like provided on the karaoke body 40. Alternatively, the remote control device 80 may function as the input means 40c. For example, when there are a plurality of users in the room R in which the karaoke device K is installed, the representative orders appropriate food and drink via the remote control device 80. The karaoke store clerk prepares food and drink according to the order and provides it to the user of room R.

［制御手段］
制御手段４０ｄは、カラオケ装置Ｋにおける各種の制御を行う。制御手段４０ｄは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。 [Control means]
The control means 40d performs various controls on the karaoke device K. The control means 40d includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory.

本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段４０ｄは、ログイン処理部１００、レコメンド部２００、生成部３００、及び処理部４００として機能する。 In the present embodiment, the control means 40d functions as a login processing unit 100, a recommendation unit 200, a generation unit 300, and a processing unit 400 by executing a program stored in the memory by the CPU.

（ログイン処理部）
ログイン処理部１００は、ある利用者による利用者識別情報の入力に応じて、カラオケシステム１に対する当該ある利用者のログインを行い、入力された利用者識別情報をサーバ装置Ｓに送信する。 (Login processing department)
The login processing unit 100 logs in to the karaoke system 1 of the user in response to the input of the user identification information by the user, and transmits the input user identification information to the server device S.

たとえば、利用者Ｕ１がカラオケシステム１を利用するとする。この場合、利用者Ｕ１は、入力手段４０ｃを介して、自己の利用者識別情報「ＩＤ＊＊＊０１」を入力する。ログイン処理部１００は、利用者Ｕ１の利用者識別情報「ＩＤ＊＊＊０１」を記憶手段４０ａに一時的に記憶させることでカラオケシステム１に対する利用者Ｕ１のログインを完了する。また、ログイン処理部１００は、ログインした利用者Ｕ１の利用者識別情報「ＩＤ＊＊＊０１」をサーバ装置Ｓに送信する。撮影手段９０は、利用者Ｕ１がカラオケシステム１にログインした後、撮影を開始する。 For example, assume that the user U1 uses the karaoke system 1. In this case, the user U1 inputs his / her own user identification information "ID *** 01" via the input means 40c. The login processing unit 100 completes the login of the user U1 to the karaoke system 1 by temporarily storing the user identification information "ID *** 01" of the user U1 in the storage means 40a. Further, the login processing unit 100 transmits the user identification information "ID *** 01" of the logged-in user U1 to the server device S. The shooting means 90 starts shooting after the user U1 logs in to the karaoke system 1.

ここで上述の通り、サーバ装置Ｓは、カラオケ装置Ｋから利用者Ｕ１の利用者識別情報「ＩＤ＊＊＊０１」を受信した場合、当該利用者識別情報に紐付けられている顔画像データ及び飲食履歴データを抽出し、カラオケ装置Ｋに送信する。ログイン処理部１００は、受信した顔画像データ及び飲食履歴データを利用者ＩＤ「ＩＤ＊＊＊０１」と対応付けて、記憶手段４０ａに一時的に記憶させる。 Here, as described above, when the server device S receives the user identification information "ID *** 01" of the user U1 from the karaoke device K, the face image data associated with the user identification information and the face image data Eating and drinking history data is extracted and transmitted to the karaoke device K. The login processing unit 100 associates the received face image data and eating and drinking history data with the user ID “ID *** 01” and temporarily stores them in the storage means 40a.

なお、複数の利用者がいる場合、利用者それぞれが利用者識別情報の入力を行う。ログイン処理部１００は、各利用者の利用者識別情報を記憶手段４０ａに一時的に記憶させることでカラオケシステム１に対する利用者それぞれのログインを完了する。撮影手段９０は、一人目の利用者のログインが完了した後、撮影を開始する。 When there are a plurality of users, each user inputs the user identification information. The login processing unit 100 completes each user's login to the karaoke system 1 by temporarily storing the user identification information of each user in the storage means 40a. The shooting means 90 starts shooting after the login of the first user is completed.

（レコメンド部）
レコメンド部２００は、サーバ装置Ｓから受信したある利用者の飲食履歴データに基づいて、当該ある利用者に対して飲食物をレコメンドする。 (Recommendation section)
The recommendation unit 200 recommends food and drink to the user based on the food and drink history data of the user received from the server device S.

飲食物のレコメンドは、様々な方法により行うことができる。たとえば、レコメンド部２００は、レコメンドする飲食物の名称を示すアイコンをリモコン装置８０の表示画面に表示させる。利用者は、表示されたアイコンの中から所望の飲食物を示すアイコンを選択することにより、飲食物を注文することができる。 Food and drink recommendations can be made in a variety of ways. For example, the recommendation unit 200 displays an icon indicating the name of the food or drink to be recommended on the display screen of the remote controller device 80. The user can order food and drink by selecting an icon indicating a desired food and drink from the displayed icons.

複数の利用者が居る場合、レコメンド部２００は、利用者毎に飲食物のレコメンドを行う。たとえば、レコメンド部２００は、飲食物のアイコンと当該飲食物をレコメンドする利用者の利用者ＩＤとを関連付けて、リモコン装置８０の表示画面に表示させる。 When there are a plurality of users, the recommendation unit 200 recommends food and drink for each user. For example, the recommendation unit 200 associates the food and drink icon with the user ID of the user who recommends the food and drink, and displays the food and drink on the display screen of the remote controller 80.

また、レコメンドする飲食物の特定は様々な方法により行うことができる。たとえば、レコメンド部２００は、ある利用者の飲食履歴データに含まれる全ての飲食物をレコメンドする飲食物として特定することができる。 In addition, the food and drink to be recommended can be specified by various methods. For example, the recommendation unit 200 can specify all the foods and drinks included in the food and drink history data of a certain user as the foods and drinks to be recommended.

或いは、飲食履歴データに含まれる全ての飲食物の中から一部の飲食物のみをレコメンドする飲食物として特定することもできる。 Alternatively, it is also possible to specify only a part of the foods and drinks included in the food and drink history data as the foods and drinks to be recommended.

たとえば、レコメンド部２００は、所定期間における飲食履歴に含まれる飲食物毎に飲食した割合の合計値を算出し、当該合計値が所定条件を満たす飲食物をレコメンドすることができる。 For example, the recommendation unit 200 can calculate the total value of the ratio of eating and drinking for each food and drink included in the eating and drinking history in a predetermined period, and recommend the food and drink for which the total value satisfies the predetermined condition.

所定期間は、１か月、１年等、予め設定されている任意の期間である。図６は、２０１９年１月１日から２０１９年１０月３１日の１０か月間に利用者Ｕ１が飲食した飲食物毎の割合の合計値を示している。 The predetermined period is an arbitrary period set in advance, such as one month or one year. FIG. 6 shows the total value of the ratio of each food and drink eaten by the user U1 during the 10 months from January 1, 2019 to October 31, 2019.

所定条件は、レコメンドする飲食物を特定するための条件であり、予め任意の条件を設定することができる。所定条件は、たとえば「合計値が●●以上の飲食物」、「フード及びドリンクそれぞれについて、合計値が最も高いもの」といった条件である。なお、ある飲食物の合計値が高いということは、利用者がある飲食物を多く飲食したことを示す。すなわち、利用者が好みの飲食物である可能性が高い。 The predetermined condition is a condition for specifying the food or drink to be recommended, and an arbitrary condition can be set in advance. The predetermined conditions are, for example, "food and drink with a total value of ●● or more" and "the highest total value for each of food and drink". A high total value of a certain food or drink indicates that the user has eaten or eaten a large amount of a certain food or drink. That is, there is a high possibility that the food and drink the user likes.

たとえば、利用者Ｕ１の飲食履歴に基づいて図６に示すような合計値が得られたとする。また、所定条件が「フード及びドリンクそれぞれについて、合計値が最も高いもの」であったとする。 For example, it is assumed that the total value as shown in FIG. 6 is obtained based on the eating and drinking history of the user U1. Further, it is assumed that the predetermined condition is "the highest total value for each of food and drink".

この場合、レコメンド部２００は、合計値が最も高いフードＦ３及びドリンクＤ１をレコメンドする飲食物として特定し、利用者Ｕ１に対してレコメンドする。 In this case, the recommendation unit 200 specifies the food F3 and the drink D1 having the highest total value as the foods and drinks to be recommended, and recommends the user U1.

その他、レコメンド部２００は、飲食履歴データに基づいて、過去に良く飲食していたが最近は飲食していない飲食物をレコメンドすることもできる。また、レコメンド部２００は、合計値が高い飲食物と食材等が類似する飲食物（たとえば季節の限定メニュー）をレコメンドしてもよい。 In addition, the recommendation unit 200 can also recommend foods and drinks that have been eaten well in the past but have not been eaten recently based on the food and drink history data. In addition, the recommendation unit 200 may recommend foods and drinks having a high total value and foods and drinks having similar ingredients (for example, seasonal limited menus).

（生成部）
生成部３００は、サーバ装置Ｓから受信したある利用者の顔画像データ、及びカラオケ店舗の部屋において提供された飲食物を飲食する当該ある利用者を撮影して得られる映像に基づいて、当該ある利用者について新たな飲食の記録を生成する。 (Generator)
The generation unit 300 is based on the face image data of a user received from the server device S and the image obtained by photographing the user who eats and drinks the food and drink provided in the room of the karaoke store. Generate a new record of eating and drinking for the user.

ここで、図７を参照して、新たな飲食の記録を生成する具体例について説明する。図７は、撮影手段９０により撮影された部屋Ｒ内の映像である。この映像によれば、部屋Ｒには、カラオケシステム１にログインしている利用者Ｕ１〜利用者Ｕ３が在席しており、中央に置かれたテーブルＴには、注文した飲食物であるフードＦ１〜Ｆ３、ドリンクＤ１〜Ｄ３、及びフードを取り分けるための取り皿Ｐ１〜Ｐ３が置かれた状態となっている。なお、記憶手段４０ａには、カラオケ店舗で提供される飲食物の画像が記憶されている。また、生成部３００は、飲食物と同様に空の取り皿やグラスの種類を認識できるものとする。 Here, with reference to FIG. 7, a specific example of generating a new record of eating and drinking will be described. FIG. 7 is an image in the room R photographed by the photographing means 90. According to this video, users U1 to U3 who are logged in to the karaoke system 1 are present in room R, and the table T placed in the center is the food that is the ordered food and drink. F1 to F3, drinks D1 to D3, and plates P1 to P3 for separating food are placed. The storage means 40a stores images of food and drink provided at the karaoke store. Further, the generation unit 300 can recognize the types of empty plates and glasses as well as food and drink.

生成部３００は、撮影手段９０により撮影された映像から、利用者の顔画像を抽出する。映像から利用者の顔画像を抽出する手法は、公知の画像認識処理の手法を利用することができる。 The generation unit 300 extracts a user's face image from the image captured by the photographing means 90. As a method for extracting a user's face image from a video, a known image recognition processing method can be used.

生成部３００は、ログイン処理部１００がサーバ装置Ｓから受信した利用者Ｕ１〜利用者Ｕ３の顔画像データが示す画像と抽出した顔画像とを比較することで、映像中における利用者を特定する。 The generation unit 300 identifies the user in the video by comparing the image indicated by the face image data of the users U1 to the user U3 received from the server device S by the login processing unit 100 with the extracted face image. ..

そして、生成部３００は、映像に含まれる利用者の動きに基づいて、当該利用者の利用者識別情報に対応する新たな飲食の記録を生成する。 Then, the generation unit 300 generates a new record of eating and drinking corresponding to the user identification information of the user based on the movement of the user included in the video.

たとえば、利用者Ｕ１がフードＦ１に手を伸ばして飲食する一方、利用者Ｕ２がフードＦ１を取り皿Ｐ２に取り分けた映像が撮影されたとする。以下、飲食だけでなく、取り皿への取り分けを含めて「飲食」とする。なお、一の利用者が他の利用者の取り皿へ取り分けた場合には、取り分け後に当該取り皿が置かれた位置に最も近い利用者が飲食したものとする。 For example, suppose that a user U1 reaches for food F1 to eat and drink, while a user U2 takes a picture of food F1 on a plate P2. Hereinafter, not only eating and drinking, but also including sharing on a plate will be referred to as "food and drink". In addition, when one user divides into another user's plate, it is assumed that the user closest to the position where the plate is placed eats and drinks after the arrangement.

生成部３００は、利用者Ｕ１の動きを解析し、利用者Ｕ１が手を伸ばした先にあるフードの画像と、予め記憶手段４０ａに記憶されている画像とを比較することにより、利用者Ｕ１が飲食したフードがフードＦ１であることを特定する。 The generation unit 300 analyzes the movement of the user U1 and compares the image of the hood at which the user U1 reaches out with the image stored in the storage means 40a in advance. Identify that the food eaten or eaten by is food F1.

一方、生成部３００は、カラオケ店舗で提供された飲食物毎にある利用者が飲食した割合を特定し、特定した割合に基づいて新たな飲食の記録を生成する。 On the other hand, the generation unit 300 specifies the ratio of food and drink provided by a user for each food and drink provided at the karaoke store, and generates a new record of food and drink based on the specified ratio.

上記例において、生成部３００は、利用者Ｕ１の動きを解析し、特定したフードＦ１について、利用者Ｕ１が飲食した割合を算出する。このような割合の算出は、公知の手法を用いて映像を解析することにより行うことができる。また、飲食物の種類に応じて、利用者が飲食した後に残っている割合から逆算してもよい。 In the above example, the generation unit 300 analyzes the movement of the user U1 and calculates the ratio of the user U1 eating and drinking with respect to the specified food F1. The calculation of such a ratio can be performed by analyzing the video using a known method. Further, depending on the type of food and drink, it may be calculated back from the ratio remaining after the user eats and drinks.

なお、飲食した割合は、たとえば、「焼きそば」や「ピラフ」のようなフードの場合には、飲食した体積を、予め記憶した当該フードの模範的な元の体積で除すことにより、割合を算出することができる。また、「ポテトフライ」や「枝豆」のように複数の飲食物が多数まとまって提供される場合には、利用者が飲食した数を、予め所定の総重量と１個あたりの平均的な重量に基づいて記憶した平均的な総数で除すことにより、割合を算出することができる。また、「唐揚げ」や均等に切り分けられて提供される「ピザ」のように一皿当たりの個数が比較的少ない飲食物の場合、利用者が飲食した数を求め、予め記憶した所定の元の数で除することにより、割合を算出することができる。 For example, in the case of foods such as "yakisoba" and "pilaf", the ratio of eating and drinking is calculated by dividing the volume of eating and drinking by the model original volume of the food stored in advance. Can be calculated. In addition, when a large number of foods and drinks such as "potato fries" and "edamame" are provided together, the number of foods and drinks eaten by the user is calculated in advance as the predetermined total weight and the average weight per piece. The ratio can be calculated by dividing by the average total number stored based on. In addition, in the case of foods and drinks with a relatively small number of dishes per plate, such as "fried chicken" and "pizza" that is served evenly divided, the number of foods and drinks eaten by the user is calculated, and a predetermined source stored in advance is stored. The ratio can be calculated by dividing by the number of.

上記例において、生成部３００は、利用者Ｕ１がフードＦ１を飲食した割合を６０％と算出し、利用者Ｕ２がフードＦ１を飲食した割合を４０％と算出したとする。一方、利用者Ｕ３はフードＦ１を飲食しなかったとする。この場合、生成部３００は、利用者Ｕ３がフードＦ１を飲食した割合を０％と算出する。 In the above example, it is assumed that the generation unit 300 calculates the ratio of the user U1 eating and drinking the food F1 to be 60%, and the ratio of the user U2 eating and drinking the food F1 to be 40%. On the other hand, it is assumed that the user U3 does not eat or drink the food F1. In this case, the generation unit 300 calculates that the ratio of the user U3 eating and drinking the food F1 is 0%.

生成部３００は、フードＦ１に対し、利用者Ｕ１が飲食した割合６０％を紐付け、利用者Ｕ１に関する新たな飲食の記録を生成する。また、生成部３００は、フードＦ１に対し、利用者Ｕ２が飲食した割合４０％を紐付け、利用者Ｕ２に関する新たな飲食の記録を生成する。更に、生成部３００は、フードＦ１に対し、利用者Ｕ３が飲食した割合０％を紐付け、利用者Ｕ３に関する新たな飲食の記録を生成する。生成部３００は、生成したこれらの新たな飲食の記録を処理部４００に出力する。 The generation unit 300 associates 60% of the food and drink of the user U1 with the food F1 to generate a new record of food and drink related to the user U1. In addition, the generation unit 300 associates 40% of the food and drink of the user U2 with the food F1 to generate a new record of food and drink related to the user U2. Further, the generation unit 300 associates the food F1 with the ratio of eating and drinking by the user U3 to 0%, and generates a new record of eating and drinking related to the user U3. The generation unit 300 outputs the generated records of these new foods and drinks to the processing unit 400.

図８は、利用者Ｕ１に関する新たな飲食の記録である。図８の例によれば、２０１９年１１月１１日にカラオケシステム１を利用した利用者Ｕ１は、フードＦ１及びフードＦ２を６０％飲食し、フードＦ３を３０％飲食し、ドリンクＤ１を１００％飲食している。 FIG. 8 is a new record of eating and drinking for the user U1. According to the example of FIG. 8, the user U1 who used the karaoke system 1 on November 11, 2019 eats and drinks 60% of food F1 and food F2, 30% of food F3, and 100% of drink D1. I'm eating and drinking.

なお、一の利用者が同じ飲食物を複数回に分けて飲食する場合もありうる。この場合、生成部３００は、利用者が飲食する映像が得られる都度、当該利用者が飲食した割合を特定し、特定した割合を合計することにより新たな飲食の記録を生成する。 In addition, one user may eat and drink the same food and drink in a plurality of times. In this case, the generation unit 300 specifies the ratio of eating and drinking by the user each time a video of eating and drinking by the user is obtained, and generates a new record of eating and drinking by summing the specified ratio.

また、カラオケ装置Ｋの利用時間が終了した時点で飲食物の食べ残しがない場合、生成部３００は、利用者の飲食した割合の合計が１００％になるように適宜調整する。一方、食べ残しがある場合、生成部３００は、食べ残しを含めて１００％になるように適宜調整する。 Further, when there is no leftover food or drink at the end of the usage time of the karaoke device K, the generation unit 300 appropriately adjusts so that the total of the food and drink ratios of the users is 100%. On the other hand, when there is leftover food, the generation unit 300 appropriately adjusts the amount to 100% including the leftover food.

或いは、飲食物毎に飲食した割合を求めることが煩雑な場合もありうる。このような場合、生成部３００は、映像に基づいて、飲食した利用者の数で均等に割合を特定することにより、新たな飲食の記録を生成してもよい。たとえば、フードＦ１を飲食した利用者が、利用者Ｕ１及び利用者Ｕ３の２名いる場合、生成部３００は、飲食した割合によらず、利用者Ｕ１及び利用者Ｕ３の割合をそれぞれ５０％として新たな飲食の記録を生成する。 Alternatively, it may be complicated to obtain the ratio of eating and drinking for each food and drink. In such a case, the generation unit 300 may generate a new record of eating and drinking by evenly specifying the ratio by the number of users who eat and drink based on the video. For example, when there are two users who eat and drink the food F1, the user U1 and the user U3, the generation unit 300 sets the ratio of the user U1 and the user U3 to 50% regardless of the ratio of eating and drinking. Generate new food and drink records.

（処理部）
処理部４００は、ある利用者がカラオケシステム１からログアウトした場合、新たな飲食の記録に基づいて、前記データ記憶部が記憶する当該ある利用者の飲食履歴データを更新させる。 (Processing unit)
When a user logs out of the karaoke system 1, the processing unit 400 updates the food and drink history data of the user stored in the data storage unit based on the new food and drink record.

具体的に、処理部４００は、サーバ装置Ｓから受信した飲食履歴データが示す飲食履歴に新たな飲食の記録を含めることで、飲食履歴データの変更を行う。 Specifically, the processing unit 400 changes the food and drink history data by including a new food and drink record in the food and drink history indicated by the food and drink history data received from the server device S.

たとえば、カラオケシステム１にログインした利用者Ｕ１がカラオケ歌唱及び飲食を行った結果、図８に示す新たな飲食の記録が生成されたとする。 For example, it is assumed that as a result of the user U1 who has logged in to the karaoke system 1 singing karaoke and eating and drinking, a new record of eating and drinking shown in FIG. 8 is generated.

その後、利用者Ｕ１は、リモコン装置８０を介してログアウトの指示入力を行う。ログイン処理部１００は、利用者Ｕ１の利用者識別情報を記憶手段４０ａから消去することでカラオケシステム１からのログアウトを完了させる。 After that, the user U1 inputs a logout instruction via the remote controller 80. The login processing unit 100 completes the logout from the karaoke system 1 by erasing the user identification information of the user U1 from the storage means 40a.

処理部４００は、利用者Ｕ１のログアウトに伴い、サーバ装置Ｓから受信した利用者Ｕ１の飲食履歴データが示す飲食履歴（図３参照）に新たな飲食の記録（図８参照）を追加することで、飲食履歴データの変更を行う。 The processing unit 400 adds a new food and drink record (see FIG. 8) to the food and drink history (see FIG. 3) indicated by the food and drink history data of the user U1 received from the server device S when the user U1 logs out. Then, change the food and drink history data.

処理部４００は、変更した飲食履歴データを、利用者Ｕ１の利用者ＩＤと併せてサーバ装置Ｓに送信する。サーバ装置Ｓは、データ記憶部１０ａに記憶されている利用者Ｕ１の飲食履歴データを、変更された飲食履歴データ（図８に示した新たな飲食の記録を含むデータ）で上書きすることにより、利用者Ｕ１の飲食履歴データの更新を行う。 The processing unit 400 transmits the changed food and drink history data to the server device S together with the user ID of the user U1. The server device S overwrites the food and drink history data of the user U1 stored in the data storage unit 10a with the changed food and drink history data (data including the new food and drink record shown in FIG. 8). Update the food and drink history data of user U1.

なお、処理部４００は、新たな飲食の記録のみをサーバ装置Ｓに送信し、サーバ装置Ｓ側で新たな飲食の記録をある利用者の飲食履歴に追加することで飲食履歴データの更新を行ってもよい。 The processing unit 400 updates the food and drink history data by transmitting only the new food and drink record to the server device S and adding the new food and drink record to the food and drink history of a certain user on the server device S side. You may.

＝＝カラオケシステムにおける処理について＝＝
次に、図９を参照して本実施形態に係るカラオケシステム１における処理について述べる。図９は、カラオケシステム１における処理を示すフローチャートである。この例では、サーバ装置Ｓのデータ記憶部１０ａが、利用者を識別するための利用者識別情報、当該利用者の顔画像データ、及び当該利用者がカラオケ店舗で行った飲食に関する飲食履歴を示す飲食履歴データを紐付けて記憶している。 == Processing in the karaoke system ==
Next, the process in the karaoke system 1 according to the present embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing processing in the karaoke system 1. In this example, the data storage unit 10a of the server device S shows the user identification information for identifying the user, the face image data of the user, and the eating and drinking history related to the eating and drinking performed by the user at the karaoke store. Eating and drinking history data is linked and stored.

カラオケ装置Ｋのログイン処理部１００は、ある利用者による利用者ＩＤの入力に応じて、カラオケシステム１に対する当該ある利用者のログインを行う（利用者のログイン。ステップ１０）。そして、ログイン処理部１００は、入力された利用者ＩＤをサーバ装置Ｓに送信する（利用者ＩＤの送信。ステップ１１）。 The login processing unit 100 of the karaoke device K logs in the karaoke system 1 of the user in response to the input of the user ID by the user (login of the user, step 10). Then, the login processing unit 100 transmits the input user ID to the server device S (transmission of the user ID. Step 11).

サーバ装置Ｓの抽出部３０ａは、ステップ１１で送信された利用者ＩＤに基づいて、ある利用者の顔画像データ及び飲食履歴データをデータ記憶部１０ａから抽出し、カラオケ装置Ｋに送信する（顔画像データ及び飲食履歴データの送信。ステップ１２）。 The extraction unit 30a of the server device S extracts the face image data and the eating and drinking history data of a certain user from the data storage unit 10a based on the user ID transmitted in step 11, and transmits the face image data to the karaoke device K (face). Transmission of image data and food and drink history data. Step 12).

カラオケ装置Ｋのレコメンド部２００は、ステップ１２で送信された飲食履歴データに基づいて、ある利用者に対して飲食物をレコメンドする（飲食物をレコメンド。ステップ１３）。 The recommendation unit 200 of the karaoke device K recommends food and drink to a certain user based on the food and drink history data transmitted in step 12 (food and drink is recommended. Step 13).

ある利用者は、リモコン装置８０を介してレコメンドされた飲食物やその他の飲食物を注文することで、カラオケ歌唱と併せて飲食を楽しむことができる。 A user can enjoy eating and drinking together with karaoke singing by ordering recommended food and drink and other food and drink via the remote control device 80.

生成部３００は、ステップ１２で送信されたある利用者の顔画像データ、及びカラオケ店舗の部屋において提供された飲食物を飲食する当該ある利用者を撮影して得られる映像に基づいて、当該ある利用者について新たな飲食の記録を生成する（新たな飲食の記録を生成。ステップ１４）。 The generation unit 300 is based on the face image data of a certain user transmitted in step 12 and the image obtained by photographing the user eating and drinking the food and drink provided in the room of the karaoke store. Generate a new food and drink record for the user (generate a new food and drink record. Step 14).

ある利用者がカラオケシステム１からログアウトした場合（ステップ１５でＹの場合）、処理部４００は、ステップ１４で生成した新たな飲食の記録をある利用者の飲食履歴に含めることで飲食履歴データの変更を行う（飲食履歴データの変更。ステップ１６）。 When a user logs out of the karaoke system 1 (in the case of Y in step 15), the processing unit 400 includes the new food and drink record generated in step 14 in the food and drink history of the user to obtain the food and drink history data. Make changes (change food and drink history data. Step 16).

処理部４００は、ステップ１６で変更した飲食履歴データをサーバ装置Ｓに送信する（変更した飲食履歴データの送信。ステップ１７）。 The processing unit 400 transmits the food and drink history data changed in step 16 to the server device S (transmission of the changed food and drink history data. Step 17).

サーバ装置Ｓは、データ記憶部１０ａに記憶されている、ある利用者の飲食履歴データを、ステップ１７で送信された飲食履歴データで上書きすることにより飲食履歴データの更新を行う（飲食履歴データの更新。ステップ１８）。 The server device S updates the food and drink history data by overwriting the food and drink history data of a certain user stored in the data storage unit 10a with the food and drink history data transmitted in step 17 (food and drink history data). Update. Step 18).

以上から明らかなように、本実施形態に係るカラオケシステム１は、サーバ装置Ｓと、カラオケ店舗の部屋に設置されたカラオケ装置Ｋとが通信可能に接続されている。サーバ装置Ｓは、利用者を識別するための利用者識別情報、当該利用者の顔画像データ、及び当該利用者がカラオケ店舗で行った飲食に関する飲食履歴を示す飲食履歴データを紐付けて記憶するデータ記憶部１０ａと、カラオケ装置Ｋからある利用者の利用者識別情報を受信した場合、当該ある利用者の顔画像データ及び飲食履歴データをデータ記憶部１０ａから抽出し、カラオケ装置Ｋに送信する抽出部３０ａと、を有する。カラオケ装置Ｋは、ある利用者による利用者識別情報の入力に応じて、カラオケシステム１に対する当該ある利用者のログインを行い、入力された利用者識別情報をサーバ装置Ｓに送信するログイン処理部１００と、サーバ装置Ｓから受信したある利用者の飲食履歴データに基づいて、当該ある利用者に対して飲食物をレコメンドするレコメンド部２００と、サーバ装置Ｓから受信したある利用者の顔画像データ、及びカラオケ店舗の部屋において提供された飲食物を飲食する当該ある利用者を撮影して得られる映像に基づいて、当該ある利用者について新たな飲食の記録を生成する生成部３００と、ある利用者がカラオケシステム１からログアウトした場合、新たな飲食の記録に基づいて、データ記憶部１０ａが記憶する当該ある利用者の飲食履歴データを更新させる処理部４００と、を有する。 As is clear from the above, in the karaoke system 1 according to the present embodiment, the server device S and the karaoke device K installed in the room of the karaoke store are communicably connected to each other. The server device S stores the user identification information for identifying the user, the face image data of the user, and the food and drink history data indicating the food and drink history related to the food and drink performed by the user at the karaoke store in association with each other. When the user identification information of a certain user is received from the data storage unit 10a and the karaoke device K, the face image data and the eating and drinking history data of the certain user are extracted from the data storage unit 10a and transmitted to the karaoke device K. It has an extraction unit 30a and. The karaoke device K logs in to the karaoke system 1 of the user in response to the input of the user identification information by the user, and transmits the input user identification information to the server device S. The recommendation unit 200 that recommends food and drink to the user based on the food and drink history data of the user received from the server device S, and the face image data of the user received from the server device S. And the generation unit 300 that generates a new record of eating and drinking for the user based on the image obtained by photographing the user who eats and drinks the food and drink provided in the room of the karaoke store, and the user. Has a processing unit 400 that updates the food and drink history data of the user stored by the data storage unit 10a based on the new food and drink record when the user logs out from the karaoke system 1.

このようなカラオケシステム１によれば、利用者毎の飲食履歴データに基づいて、利用者毎に飲食物をレコメンドすることができる。ここで、ある利用者の飲食履歴データには、当該ある利用者が過去に実際に飲食した飲食物が含まれている。よって、飲食履歴データを用いることにより、利用者が好みの飲食物やよく飲食を行う飲食物をレコメンドできる可能性が高くなる。すなわち、本実施形態に係るカラオケシステム１によれば、利用者に対して適切な飲食物をレコメンドすることができる。また、このようなカラオケシステム１によれば、カラオケシステム１の利用時における飲食に伴って新たな飲食の記録を生成し、飲食履歴に反映することができる。 According to such a karaoke system 1, food and drink can be recommended for each user based on the food and drink history data for each user. Here, the food and drink history data of a certain user includes the food and drink actually eaten and eaten by the user in the past. Therefore, by using the food and drink history data, there is a high possibility that the user can recommend the food and drink that he / she likes and the food / drink that he / she often eats and drinks. That is, according to the karaoke system 1 according to the present embodiment, it is possible to recommend appropriate foods and drinks to the user. Further, according to such a karaoke system 1, a new record of eating and drinking can be generated along with eating and drinking when the karaoke system 1 is used, and can be reflected in the eating and drinking history.

また、本実施形態に係る生成部３００は、カラオケ店舗で提供された飲食物毎にある利用者が飲食した割合を特定し、特定した割合に基づいて新たな飲食の記録を生成することができる。このように飲食した割合を飲食の記録とすることで、利用者の飲食物の好みをより把握しやすくなる。 In addition, the generation unit 300 according to the present embodiment can specify the ratio of eating and drinking by a user for each food and drink provided at the karaoke store, and can generate a new record of eating and drinking based on the specified ratio. .. By recording the ratio of eating and drinking in this way, it becomes easier to grasp the user's preference for eating and drinking.

また、飲食履歴は、利用者が飲食した日付を示す日付情報を含み、レコメンド部２００は、所定期間における飲食履歴に含まれる飲食物毎に飲食した割合の合計値を算出し、当該合計値が所定条件を満たす飲食物をレコメンドすることができる。このような合計値を用いることにより、利用者に対して適切な飲食物をより確実にレコメンドすることができる。 Further, the eating and drinking history includes date information indicating the date when the user eats and drinks, and the recommendation unit 200 calculates the total value of the eating and drinking ratio for each food and drink included in the eating and drinking history in the predetermined period, and the total value is calculated. It is possible to recommend foods and drinks that meet certain conditions. By using such a total value, it is possible to more reliably recommend appropriate foods and drinks to the user.

＜変形例１＞
カラオケ店舗が提供する様々な飲食物の中には、同じ飲食物であってもサイズの異なるものがある。この場合、レコメンド部２００は、所定期間における飲食履歴に含まれる飲食物の飲食一回あたりの割合に応じて、レコメンドする飲食物のサイズを決定してもよい。なお、「サイズ」とは、飲食物の大きさ（たとえばピザのＳサイズ、Ｍサイズ、Ｌサイズ）、量（たとえばパスタの大盛り、中盛り、小盛り。生ビールのピッチャー、ジョッキ、グラス）、個数（たとえば唐揚げの１人用、パーティー用）等である。 <Modification example 1>
Among the various foods and drinks offered by karaoke stores, some of the same foods and drinks are of different sizes. In this case, the recommendation unit 200 may determine the size of the food or drink to be recommended according to the ratio of the food or drink included in the food or drink history in the predetermined period. The "size" refers to the size of food and drink (for example, S size, M size, and L size of pizza), the amount (for example, large, medium, and small pasta. (For example, fried chicken for one person, for parties) and so on.

たとえば、上記実施形態におけるフードＦ３について、標準サイズ、ミニサイズ、メガサイズの３種類があるとする。また、完食した場合の割合を、標準サイズ「１００％」、ミニサイズ「７０％」、メガサイズ「１５０％」とする。なお、一の飲食物の種類は３種類に限られない。 For example, it is assumed that there are three types of hood F3 in the above embodiment: standard size, mini size, and mega size. In addition, the ratio when the meal is completed is set to the standard size "100%", the mini size "70%", and the mega size "150%". The types of food and drink are not limited to three.

ここで、利用者Ｕ１の所定期間における飲食履歴に含まれる飲食物のうち、フードＦ３の合計値「１１００」が最も高く、その飲食回数が７回であったとする。 Here, it is assumed that among the foods and drinks included in the food and drink history of the user U1 in the predetermined period, the total value "1100" of the food F3 is the highest, and the number of times of eating and drinking is 7 times.

この場合、レコメンド部２００は、所定期間におけるフードＦ３の飲食１回あたりの割合「１５７」（＝１１００／７）を算出する。 In this case, the recommendation unit 200 calculates the ratio "157" (= 1100/7) of the food F3 per eating and drinking in a predetermined period.

そして、レコメンド部２００は、算出した割合「１５７」と、種類の異なるフードＦ３を完食した場合の割合との比較を行い、最も割合が近いメガサイズをレコメンドするフードＦ３のサイズとして決定する。 Then, the recommendation unit 200 compares the calculated ratio "157" with the ratio when different types of food F3 are completely eaten, and determines the mega size having the closest ratio as the size of the recommended food F3.

＜変形例２＞
カラオケ店舗が提供する様々な飲食物の中には、２以上の異なる飲食物で構成されるもの（以下、「セット飲食物」）も存在する。セット飲食物は、たとえば、「唐揚げ」と「ポテトフライ」を含む「チキンバスケット」や複数のスナックを含む「スナックプレート」がある。 <Modification 2>
Among the various foods and drinks offered by karaoke stores, there are also foods and drinks composed of two or more different foods and drinks (hereinafter, "set foods and drinks"). Set foods and drinks include, for example, a "chicken basket" containing "fried chicken" and "potato fries" and a "snack plate" containing a plurality of snacks.

ここで、たとえばレコメンド部２００が、利用者Ｕ１に対して「唐揚げ」及び「ポテトフライ」をレコメンドするとする。この場合、「チキンバスケット」をレコメンドすることによっても、利用者Ｕ１にとって適切な飲食物のレコメンドがなされることとなる。 Here, for example, it is assumed that the recommendation unit 200 recommends "fried chicken" and "potato fries" to the user U1. In this case, by recommending the "chicken basket", the food and drink appropriate for the user U1 can be recommended.

そこで、レコメンド部２００は、２以上の異なる飲食物をレコメンドする場合、当該異なる飲食物で構成されるセット飲食物をレコメンドしてもよい。上記例によれば、レコメンド部２００は、利用者Ｕ１に対し、「チキンバスケット」をレコメンドする。 Therefore, when the recommendation unit 200 recommends two or more different foods and drinks, the recommendation unit 200 may recommend a set food and drink composed of the different foods and drinks. According to the above example, the recommendation unit 200 recommends the "chicken basket" to the user U1.

なお、セット飲食物に含まれる各飲食物についてサイズを選択できる場合もありうる。この場合、レコメンド部２００は、変形例１の例に基づいて各利用者に適した飲食物のサイズを決定し、それらのサイズを組み合わせたセット飲食物をレコメンドすることができる。 In some cases, the size of each food or drink included in the set food or drink can be selected. In this case, the recommendation unit 200 can determine the size of food and drink suitable for each user based on the example of the first modification, and recommend a set food and drink that combines these sizes.

たとえば、「チキンバスケット」に含まれる「唐揚げ」と「ポテトフライ」それぞれについて、「ミニ」、「標準」「メガ」の３つのサイズを選択できるとする。また、利用者Ｕ１に適した「唐揚げ」のサイズが「標準サイズ」であり、「ポテトフライ」のサイズが「メガサイズ」であると決定されたとする。この場合、レコメンド部２００は、利用者Ｕ１に対し、「標準サイズの唐揚げ」と「メガサイズのポテトフライ」を組み合わせた「チキンバスケット」をレコメンドする。 For example, suppose that you can select three sizes, "mini", "standard", and "mega" for each of "fried chicken" and "potato fries" included in the "chicken basket". Further, it is assumed that the size of "fried chicken" suitable for user U1 is "standard size" and the size of "potato fries" is "mega size". In this case, the recommendation unit 200 recommends to the user U1 a “chicken basket” that is a combination of “standard size fried chicken” and “mega size potato fries”.

また、レコメンド部２００が、利用者Ｕ１に対して「唐揚げ」をレコメンドし、利用者Ｕ２に対して「ポテトフライ」をレコメンドするとする。この場合、レコメンド部２００は。利用者Ｕ１及び利用者Ｕ２に対し、「チキンバスケット」をレコメンドすることができる。 Further, it is assumed that the recommendation unit 200 recommends "fried chicken" to the user U1 and recommends "potato fries" to the user U2. In this case, the recommendation unit 200 is. A "chicken basket" can be recommended to the user U1 and the user U2.

＜その他＞
生成部３００は、映像に含まれる利用者の動きではなく、映像に含まれる飲食物の状態に基づいて、新たな飲食の記録を生成してもよい。 <Others>
The generation unit 300 may generate a new record of eating and drinking based on the state of food and drink included in the video instead of the movement of the user included in the video.

たとえば、映像において、フードＦ１の一部が減ったとする。この場合、生成部３００は、一部が減っているフードの画像と、予め記憶手段１０ａに記憶されている画像とを比較することにより、飲食されたフードがフードＦ１であることを特定する。また、生成部３００は、前後の映像からフードＦ１を飲食した利用者を特定する。 For example, in the video, it is assumed that a part of the hood F1 is reduced. In this case, the generation unit 300 identifies that the food eaten or eaten is the food F1 by comparing the image of the food whose part is reduced with the image stored in the storage means 10a in advance. In addition, the generation unit 300 identifies the user who eats and drinks the food F1 from the images before and after.

生成部３００は、提供された飲食物毎に利用者が飲食した割合を特定し、特定した割合を飲食の記録として生成する。 The generation unit 300 specifies the ratio of eating and drinking by the user for each of the provided foods and drinks, and generates the specified ratio as a record of eating and drinking.

上記例において、生成部３００は、特定したフードＦ１について、飲食した後に残っている割合を算出する。生成部３００は、算出した割合を特定した利用者の顔画像と紐付け飲食の記録として生成する。 In the above example, the generation unit 300 calculates the ratio remaining after eating and drinking with respect to the specified food F1. The generation unit 300 generates the calculated ratio as a record of eating and drinking associated with the face image of the specified user.

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiment is presented as an example and does not limit the scope of the invention. The above configurations can be implemented in appropriate combinations, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.

１カラオケシステム
１０ａデータ記憶部
３０ａ抽出部
１００ログイン処理部
２００レコメンド部
３００生成部
４００処理部
Ｋカラオケ装置
Ｓサーバ装置 1 Karaoke system 10a Data storage unit 30a Extraction unit 100 Login processing unit 200 Recommendation unit 300 Generation unit 400 Processing unit K Karaoke device S Server device

Claims

It is a karaoke system in which the server device and the karaoke device installed in the room of the karaoke store are connected so as to be able to communicate.
The server device
A data storage unit that stores user identification information for identifying a user, face image data of the user, and food and drink history data indicating the food and drink history of the user at a karaoke store in association with each other.
When the user identification information of a certain user is received from the karaoke device, the extraction unit that extracts the face image data and the eating and drinking history data of the certain user from the data storage unit and transmits the user identification information to the karaoke device.
Have,
The karaoke device
A login processing unit that logs in to the karaoke system in response to the input of the user identification information by the user and transmits the input user identification information to the server device.
A recommendation unit that recommends food and drink to the user based on the food and drink history data of the user received from the server device.
About the user based on the face image data of the user received from the server device and the image obtained by photographing the user who eats and drinks the food and drink provided in the room of the karaoke store. A generator that generates new food and drink records,
When the user logs out of the karaoke system, a processing unit that updates the food and drink history data of the user stored by the data storage unit based on the new food and drink record, and a processing unit.
Karaoke system with.

The claim is characterized in that the generation unit specifies the ratio of food and drink provided by the user for each food and drink provided at the karaoke store, and generates a new record of food and drink based on the specified ratio. 1 The karaoke system described.

The eating and drinking history includes date information indicating the date when the user eats and drinks.
The second aspect of claim 2, wherein the recommendation unit calculates a total value of the ratio of eating and drinking for each food and drink included in the eating and drinking history in a predetermined period, and recommends foods and drinks for which the total value satisfies a predetermined condition. Karaoke system.

The karaoke system according to claim 3, wherein the recommendation unit determines the size of the food or drink to be recommended according to the ratio of the food or drink included in the food or drink history in the predetermined period.

The karaoke system according to any one of claims 1 to 4, wherein when the recommendation unit recommends two or more different foods and drinks, it recommends a set food and drink composed of the different foods and drinks. ..