JP2021085985A - Karaoke system - Google Patents

Karaoke system Download PDF

Info

Publication number
JP2021085985A
JP2021085985A JP2019214555A JP2019214555A JP2021085985A JP 2021085985 A JP2021085985 A JP 2021085985A JP 2019214555 A JP2019214555 A JP 2019214555A JP 2019214555 A JP2019214555 A JP 2019214555A JP 2021085985 A JP2021085985 A JP 2021085985A
Authority
JP
Japan
Prior art keywords
keyword
karaoke
song
image data
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019214555A
Other languages
Japanese (ja)
Other versions
JP7308135B2 (en
Inventor
潤 有馬
Jun Arima
潤 有馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2019214555A priority Critical patent/JP7308135B2/en
Publication of JP2021085985A publication Critical patent/JP2021085985A/en
Application granted granted Critical
Publication of JP7308135B2 publication Critical patent/JP7308135B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

To use an image stored in a user terminal as a background image of a Karaoke performance of a recommended song.SOLUTION: In a Karaoke system, a user terminal has a determination unit which determines a keyword corresponding to a content of an image, a first transmission processing unit which transmits keyword information to a Karaoke device, and a second transmission processing unit which identifies image data based on keyword identification information received from the Karaoke device, and transmits them to the Karaoke device. A control unit of a Karaoke main unit 20 has an identification unit which identifies a candidate song, a detection unit which detects keywords related to words in the lyrics of the candidate song, a setting unit which sets a candidate song in which the number of detected keywords satisfies a predetermined condition as a recommended song, an image data receiving unit which receives the image data identified based on the keyword identification information, and a display control unit which displays a background image, using the identified image data, when a lyrics telop to be displayed contains words in the lyrics related to the detected keyword.SELECTED DRAWING: Figure 5

Description

本発明はカラオケシステムに関する。 The present invention relates to a karaoke system.

カラオケシステムに登録されている楽曲の数は膨大である。従って、利用者は歌唱する楽曲を選択するのに時間を要し、スムーズなカラオケ歌唱ができない場合がある。 The number of songs registered in the karaoke system is enormous. Therefore, it takes time for the user to select a song to be sung, and smooth karaoke singing may not be possible.

そこで、特定の楽曲を推奨(レコメンド)する機能が搭載されたカラオケシステムが存在する。たとえば、特許文献1には、利用者の歌唱履歴を用いて、ある利用者と選曲傾向が似ている他の利用者が歌唱した楽曲をレコメンドする技術が開示されている。 Therefore, there is a karaoke system equipped with a function of recommending (recommending) a specific song. For example, Patent Document 1 discloses a technique for recommending a song sung by another user who has a similar tendency to select a song to a certain user by using the singing history of the user.

また、カラオケシステムで提供されるサービスとして、利用者が所有するスマートフォン等で撮影した画像をカラオケ装置に送信し、カラオケ歌唱を行う際の背景映像として表示させるものがある(非特許文献1参照)。 In addition, as a service provided by the karaoke system, there is a service in which an image taken by a smartphone or the like owned by a user is transmitted to a karaoke device and displayed as a background image when singing karaoke (see Non-Patent Document 1). ..

特開2015−11080号公報JP 2015-11080

「スマホの写真がカラオケに!」、株式会社第一興商、[令和1年11月24日検索]、インターネット、<URL:https://www.clubdam.com/denmokuapp/index.html>"Smartphone photos for karaoke!", Daiichi Kosho Co., Ltd., [Searched on November 24, 1st year of Reiwa], Internet, <URL: https://www.clubdam.com/denmokuapp/index.html>

ところで、特許文献1の技術によりレコメンドされた楽曲のカラオケ演奏を行う際、非特許文献1のサービスを利用して利用者がスマートフォンで撮影した画像を背景映像として表示させることが考えられる。しかしながら、カラオケ演奏される楽曲の歌詞の内容と背景映像との関連性が無いため、利用者は違和感を持つこととなる。 By the way, when performing a karaoke performance of a music recommended by the technique of Patent Document 1, it is conceivable to display an image taken by a user with a smartphone as a background image by using the service of Non-Patent Document 1. However, since there is no relationship between the content of the lyrics of the music played in karaoke and the background image, the user feels uncomfortable.

本発明の目的は、レコメンドされた楽曲のカラオケ演奏の背景映像として利用者端末に記憶されている画像を利用する際、当該レコメンドされた楽曲の歌詞と関連性の高い画像を表示可能なカラオケシステムを提供することにある。 An object of the present invention is a karaoke system capable of displaying an image highly related to the lyrics of the recommended music when using an image stored in the user terminal as a background image of a karaoke performance of the recommended music. Is to provide.

上記目的を達成するための一の発明は、カラオケ装置と、当該カラオケ装置の利用者が所有する利用者端末とが通信可能に接続されたカラオケシステムであって、前記利用者端末は、記憶手段に記憶されている画像データに対して画像の内容に対応するキーワードを決定し、決定したキーワードを当該画像データと紐付ける決定部と、前記決定したキーワード、及び当該キーワードを識別するためのキーワード識別情報を含むキーワード情報を前記カラオケ装置に送信する第1の送信処理部と、前記カラオケ装置から受信したキーワード識別情報に基づいて画像データを特定し、当該カラオケ装置に送信する第2の送信処理部と、を有し、前記カラオケ装置は、カラオケ演奏が可能な楽曲の中から、利用者に対してカラオケ歌唱を推奨するレコメンド曲の候補となる候補曲を特定する特定部と、前記利用者端末から送信されたキーワード情報に含まれるキーワードと、候補曲毎の歌詞テロップデータとに基づいて、候補曲の歌詞中の単語に関連するキーワードを検出する検出部と、検出したキーワードの数が所定条件を満たす前記候補曲をレコメンド曲として設定し、検出したキーワードのキーワード識別情報及び歌詞中の単語を、レコメンド曲の楽曲識別情報と紐付ける設定部と、設定した前記レコメンド曲の楽曲識別情報に紐付けられたキーワード識別情報を前記利用者端末に送信し、当該キーワード識別情報に基づいて特定された画像データを受信する画像データ受信部と、楽曲のカラオケ演奏に同期して、歌詞テロップデータに基づく歌詞テロップを背景映像に重畳して表示手段に表示させる表示制御部であって、表示させる歌詞テロップ中に、検出した前記キーワードに関連する歌詞中の単語が含まれる場合、当該キーワードのキーワード識別情報に基づいて特定した画像データを用いて背景映像を表示させる表示制御部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
One invention for achieving the above object is a karaoke system in which a karaoke device and a user terminal owned by a user of the karaoke device are communicably connected, and the user terminal is a storage means. A determination unit that determines a keyword corresponding to the content of the image with respect to the image data stored in the image data and associates the determined keyword with the image data, the determined keyword, and keyword identification for identifying the keyword. A first transmission processing unit that transmits keyword information including information to the karaoke device, and a second transmission processing unit that identifies image data based on the keyword identification information received from the karaoke device and transmits the image data to the karaoke device. The karaoke device has a specific unit that identifies a candidate song that is a candidate for a recommended song that recommends karaoke singing to the user from among the songs that can be played in karaoke, and the user terminal. Based on the keywords included in the keyword information sent from and the lyrics telop data for each candidate song, the detection unit that detects the keywords related to the words in the lyrics of the candidate song and the number of detected keywords are predetermined conditions. The candidate song that satisfies the above conditions is set as a recommended song, and the keyword identification information of the detected keyword and the word in the lyrics are linked to the song identification information of the recommended song and the song identification information of the set recommended song. Based on the lyrics telop data in synchronization with the image data receiver that sends the attached keyword identification information to the user terminal and receives the image data specified based on the keyword identification information, and the karaoke performance of the song. It is a display control unit that superimposes the lyrics karaoke on the background image and displays it on the display means, and when the displayed lyrics karaoke contains a word in the lyrics related to the detected keyword, the keyword identification information of the keyword. It is a karaoke system having a display control unit for displaying a background image using image data specified based on the above.
Other features of the present invention will be clarified by the description of the description and drawings described later.

本発明によれば、レコメンドされた楽曲のカラオケ演奏の背景映像として利用者端末に記憶されている画像を利用する際、当該レコメンドされた楽曲の歌詞と関連性の高い画像を表示できる。 According to the present invention, when an image stored in a user terminal is used as a background image of a karaoke performance of a recommended song, an image highly related to the lyrics of the recommended song can be displayed.

実施形態に係るカラオケシステムの概略を示す図である。It is a figure which shows the outline of the karaoke system which concerns on embodiment. 実施形態に係る利用者端末を示す図である。It is a figure which shows the user terminal which concerns on embodiment. 実施形態に係る画像データ、キーワード、及びキーワードIDのテーブルを示す図である。It is a figure which shows the table of the image data, the keyword, and the keyword ID which concerns on embodiment. 実施形態に係るカラオケ装置を示す図である。It is a figure which shows the karaoke apparatus which concerns on embodiment. 実施形態に係るカラオケ本体を示す図である。It is a figure which shows the karaoke main body which concerns on embodiment. 実施形態に係るキーワード及び歌詞中の単語の関係を示す図である。It is a figure which shows the relationship between the keyword which concerns on embodiment, and the word in the lyrics. 実施形態に係る楽曲ID、キーワードID、及び歌詞中の単語の関係を示す図である。It is a figure which shows the relationship of the music ID, the keyword ID, and the word in the lyrics which concerns on embodiment. 実施形態に係る画像データ、キーワードID、及び歌詞中の単語の関係を示す図である。It is a figure which shows the relationship of the image data which concerns on embodiment, a keyword ID, and a word in a lyrics. 実施形態に係るカラオケシステムの処理を示すフローチャートである。It is a flowchart which shows the process of the karaoke system which concerns on embodiment. 実施形態に係るカラオケシステムの処理を示すフローチャートである。It is a flowchart which shows the process of the karaoke system which concerns on embodiment.

図1〜図9Bを参照して、実施形態に係るカラオケシステムについて説明する。 The karaoke system according to the embodiment will be described with reference to FIGS. 1 to 9B.

==カラオケシステム==
図1に示すように、本実施形態におけるカラオケシステム1は、カラオケ装置K、及び利用者端末Mを有する。
== Karaoke system ==
As shown in FIG. 1, the karaoke system 1 in the present embodiment includes a karaoke device K and a user terminal M.

カラオケ装置Kは、カラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。 The karaoke device K is a device for performing karaoke and for the user to sing karaoke.

利用者端末は、利用者が所有するスマートフォン等である。図1の例において、利用者端末Mは利用者Uが所有している。本実施形態における利用者端末には、カラオケ装置Kに対して各種操作入力を行うための専用アプリケーションソフトウェア(以下、「カラオケアプリ」)がインストールされている。カラオケアプリは、利用者に対し、たとえば、楽曲検索やカラオケ演奏のボリューム調整等、カラオケシステム1で利用可能な様々なメニューを提供する。カラオケアプリは、サーバ装置(図示無し)や、サーバ装置が提供するWebサイトからダウンロードすることで入手できる。 The user terminal is a smartphone or the like owned by the user. In the example of FIG. 1, the user terminal M is owned by the user U. Dedicated application software (hereinafter, "Karaoke application") for inputting various operations to the karaoke device K is installed in the user terminal in the present embodiment. The karaoke application provides the user with various menus that can be used in the karaoke system 1, such as music search and volume adjustment of karaoke performance. The karaoke application can be obtained by downloading from a server device (not shown) or a website provided by the server device.

利用者が利用者端末においてカラオケアプリを起動させると、カラオケ装置Kとのペアリングが行われる。ペアリングされたカラオケ装置Kと利用者端末とは、たとえば、カラオケ装置Kが設置されている店舗内のLANを介して通信可能に接続される。 When the user activates the karaoke application on the user terminal, pairing with the karaoke device K is performed. The paired karaoke device K and the user terminal are connected so as to be able to communicate with each other via, for example, a LAN in the store where the karaoke device K is installed.

==利用者端末==
図2を参照して、利用者端末Mの構成について説明する。図2に示すように、利用者端末Mは、記憶手段10、通信手段11、表示手段12、入力手段13、及び制御手段14を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
== User terminal ==
The configuration of the user terminal M will be described with reference to FIG. As shown in FIG. 2, the user terminal M includes a storage means 10, a communication means 11, a display means 12, an input means 13, and a control means 14. Each configuration is connected to bus B via an interface (not shown).

[記憶手段]
記憶手段10は、各種のデータを記憶する大容量の記憶装置である。本実施形態において、記憶手段10は、画像データを記憶している。画像データは、利用者が利用者端末Mの撮影機能を利用して撮影した画像に対応するデータや、利用者が利用者端末Mを介してWebサイトからダウンロードした画像に対応するデータであり、一般的なファイルネームにより識別可能である。以下、「画像データ」はデータそのものを指す場合とファイルネームを指す場合の両方を含むものとする。なお、画像データの形式は特に限定されない。また、記憶手段10は、カラオケ装置Kでカラオケ演奏が可能な楽曲の楽曲名や歌手名を、各楽曲の楽曲識別情報と紐付けて記憶している。楽曲識別情報は、楽曲を識別するための楽曲ID等、各楽曲に固有の情報である。
[Memory means]
The storage means 10 is a large-capacity storage device that stores various types of data. In the present embodiment, the storage means 10 stores image data. The image data is data corresponding to an image taken by the user using the shooting function of the user terminal M, or data corresponding to an image downloaded by the user from the website via the user terminal M. It can be identified by a general file name. Hereinafter, "image data" shall include both the case of referring to the data itself and the case of referring to the file name. The format of the image data is not particularly limited. Further, the storage means 10 stores the music name and the singer name of the music that can be played by the karaoke device K in association with the music identification information of each music. The music identification information is information unique to each music, such as a music ID for identifying the music.

[通信手段、表示手段、入力手段]
通信手段11は、カラオケ装置Kとの通信を行うためのインターフェースを提供する。表示手段12は、各種情報を表示させるディスプレイである。入力手段13は、利用者Uが各種指示入力を行うための構成である。なお、一般的なスマートフォンでは、表示手段12がタッチパネル形式で構成されており、入力手段13として機能する。
[Communication means, display means, input means]
The communication means 11 provides an interface for communicating with the karaoke device K. The display means 12 is a display for displaying various information. The input means 13 is configured for the user U to input various instructions. In a general smartphone, the display means 12 is configured in a touch panel format and functions as an input means 13.

[制御手段]
制御手段14は、利用者端末Mにおける各種の制御を行う。制御手段14は、CPUおよびメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
[Control means]
The control means 14 performs various controls on the user terminal M. The control means 14 includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory.

本実施形態において、利用者端末Mでカラオケアプリを起動した場合、制御手段14は、決定部14a、第1の送信処理部14b、第2の送信処理部14c、報知部14d、及び予約処理部14eとして機能する。 In the present embodiment, when the karaoke application is started on the user terminal M, the control means 14 is a determination unit 14a, a first transmission processing unit 14b, a second transmission processing unit 14c, a notification unit 14d, and a reservation processing unit. Functions as 14e.

(決定部)
決定部14aは、記憶手段10に記憶されている画像データから画像の内容に対応するキーワードを決定し、決定したキーワードを当該画像データと紐付ける。決定部14aは、たとえば利用者端末Mでカラオケアプリが起動されたことを契機として、キーワードの決定を行う。
(Decision part)
The determination unit 14a determines a keyword corresponding to the content of the image from the image data stored in the storage means 10, and associates the determined keyword with the image data. The determination unit 14a determines the keyword, for example, when the karaoke application is started on the user terminal M.

画像データからキーワードを決定する方法は公知の手法を用いることができる。たとえば、決定部14aは、機械学習モデルを利用し、画像に所定のラベルを割り当てることにより、事前定義済みのキーワードに画像を分類することで、当該画像の内容に対応するキーワードを決定することができる(「Google Cloud Vison API」参照)。或いは、決定部14aは、画像データから検出した輪郭パターンや色度/彩度に配置パターン等の特徴情報と、予め記憶されている画像データの特徴情報とを照合し、類似する画像データの付帯情報(画像データのタイトル等)をキーワードとして決定してもよい(特開2007−172195号公報参照)。 A known method can be used as a method for determining a keyword from image data. For example, the determination unit 14a can determine a keyword corresponding to the content of the image by classifying the image into predefined keywords by assigning a predetermined label to the image using a machine learning model. Yes (see "Google Cloud Vision API"). Alternatively, the determination unit 14a collates the feature information such as the contour pattern and the chromaticity / saturation and the arrangement pattern detected from the image data with the feature information of the image data stored in advance, and attaches similar image data. Information (title of image data, etc.) may be determined as a keyword (see JP-A-2007-172195).

決定部14aは、決定したキーワードに対してキーワード識別情報を付与し、画像データと紐付けて記憶手段10に記憶させる。キーワード識別情報は、キーワードを識別するためのキーワードID等、各キーワードに固有の情報である。 The determination unit 14a adds keyword identification information to the determined keyword, associates it with the image data, and stores it in the storage means 10. The keyword identification information is information unique to each keyword, such as a keyword ID for identifying the keyword.

図3は、利用者端末Mに記憶されている画像データ、画像データから決定されたキーワード、及びキーワードIDを示したテーブルである。 FIG. 3 is a table showing image data stored in the user terminal M, keywords determined from the image data, and keyword IDs.

なお、一の画像データから複数のキーワードが決定される場合もありうる。この場合、一の画像データに対して複数のキーワードが紐付けられる。また、各キーワードに対してキーワード識別情報が付与される。 In addition, a plurality of keywords may be determined from one image data. In this case, a plurality of keywords are associated with one image data. In addition, keyword identification information is given to each keyword.

(第1の送信処理部)
第1の送信処理部14bは、キーワード情報をカラオケ装置Kに送信する。
(First transmission processing unit)
The first transmission processing unit 14b transmits the keyword information to the karaoke device K.

具体的に、決定部14aがキーワードを決定した後、第1の送信処理部14bは、キーワード情報をペアリングされているカラオケ装置Kに送信する。キーワード情報は、決定したキーワード、及び当該キーワードを識別するためのキーワード識別情報を含む。記憶手段10に図3に示すテーブルが記憶されている場合、第1の送信処理部14bは、キーワードID「ID***0001」〜「ID***0010」、及びそれぞれに紐付けられているキーワードを記憶手段10から読み出し、カラオケ装置Kに送信する。 Specifically, after the determination unit 14a determines the keyword, the first transmission processing unit 14b transmits the keyword information to the paired karaoke device K. The keyword information includes the determined keyword and the keyword identification information for identifying the keyword. When the table shown in FIG. 3 is stored in the storage means 10, the first transmission processing unit 14b is associated with the keyword IDs "ID *** 0001" to "ID *** 0010" and each of them. The keyword is read from the storage means 10 and transmitted to the karaoke device K.

(第2の送信処理部)
第2の送信処理部14cは、カラオケ装置Kから受信したキーワード識別情報に基づいて画像データを特定し、カラオケ装置Kに送信する。第2の送信処理部14cの詳細は後述する。
(Second transmission processing unit)
The second transmission processing unit 14c identifies the image data based on the keyword identification information received from the karaoke device K and transmits it to the karaoke device K. Details of the second transmission processing unit 14c will be described later.

(報知部)
報知部14dは、受信したレコメンド曲の楽曲識別情報に基づいてレコメンド曲を利用者に報知する。
(Notification unit)
The notification unit 14d notifies the user of the recommended song based on the music identification information of the received recommended song.

レコメンド曲は、カラオケ装置Kが利用者に対してカラオケ歌唱を推奨する楽曲である。レコメンド曲の楽曲識別情報は、カラオケ装置Kから送信される(詳細は後述)。報知部14dは、レコメンド曲の楽曲識別情報に基づいて、たとえば表示手段12にレコメンド曲の曲名や歌手名を表示させることで、利用者に対してレコメンド曲を報知する。 The recommended song is a song in which the karaoke device K recommends the user to sing karaoke. The music identification information of the recommended song is transmitted from the karaoke device K (details will be described later). The notification unit 14d notifies the user of the recommended song by displaying the song name or singer name of the recommended song on the display means 12, for example, based on the song identification information of the recommended song.

(予約処理部)
予約処理部14eは、報知したレコメンド曲を利用者が選曲した場合、当該レコメンド曲の楽曲識別情報をカラオケ装置Kに送信し、楽曲の予約を行わせる。
(Reservation processing department)
When the user selects the notified recommended song, the reservation processing unit 14e transmits the song identification information of the recommended song to the karaoke device K to make a reservation for the song.

たとえば、上記例において利用者が入力手段13を介してレコメンド曲を選曲したとする。この場合、予約処理部14eは、レコメンド曲の楽曲IDをカラオケ装置Kに送信する。カラオケ装置Kは、受信した楽曲IDを予約待ち行列に登録することで楽曲の予約を行う。 For example, in the above example, it is assumed that the user selects a recommended song via the input means 13. In this case, the reservation processing unit 14e transmits the music ID of the recommended song to the karaoke device K. The karaoke device K reserves a song by registering the received song ID in the reservation queue.

==カラオケ装置==
カラオケ装置Kは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。図4に示すように、カラオケ装置Kは、カラオケ本体20、スピーカ30、表示装置40、マイク50、及びリモコン装置60を備える。
== Karaoke device ==
The karaoke device K is a device for performing karaoke of music and for the user to sing karaoke. As shown in FIG. 4, the karaoke device K includes a karaoke body 20, a speaker 30, a display device 40, a microphone 50, and a remote control device 60.

カラオケ本体20は、選曲された楽曲の演奏制御、歌詞や背景映像等の表示制御、マイク50を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ30はカラオケ本体20からの放音信号に基づいて放音するための構成である。表示装置40はカラオケ本体20からの信号に基づいて映像や画像を画面に表示するための構成である。表示装置40は「表示手段」の一例である。マイク50はカラオケ歌唱の歌唱音声をアナログの歌唱音声信号に変換してカラオケ本体20に入力するための構成である。リモコン装置60は、カラオケ本体20に対する各種操作をおこなうための装置である。 The karaoke main body 20 performs various controls related to karaoke performance and karaoke singing, such as performance control of selected songs, display control of lyrics and background images, and processing of audio signals input through a microphone 50. The speaker 30 is configured to emit sound based on the sound emitted signal from the karaoke main body 20. The display device 40 is configured to display an image or an image on the screen based on the signal from the karaoke main body 20. The display device 40 is an example of "display means". The microphone 50 is configured to convert the singing voice of karaoke singing into an analog singing voice signal and input it to the karaoke main body 20. The remote control device 60 is a device for performing various operations on the karaoke main body 20.

図5に示すように、本実施形態に係るカラオケ本体20は、記憶手段20a、通信手段20b、入力手段20c、及び制御手段20dを備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。 As shown in FIG. 5, the karaoke main body 20 according to the present embodiment includes a storage means 20a, a communication means 20b, an input means 20c, and a control means 20d. Each configuration is connected to bus B via an interface (not shown).

[記憶手段]
記憶手段20aは、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶手段20aは、たとえばカラオケ装置Kによりカラオケ演奏を行うための複数の楽曲データを楽曲識別情報と紐付けて記憶する。
[Memory means]
The storage means 20a is a large-capacity storage device that stores various types of data, such as a hard disk drive. The storage means 20a stores, for example, a plurality of music data for performing a karaoke performance by the karaoke device K in association with the music identification information.

楽曲データは、演奏データ、リファレンスデータ等を含む。演奏データは、カラオケ演奏音の元となるMIDI形式のデータである。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準として用いられるデータである。 The music data includes performance data, reference data, and the like. The performance data is MIDI format data that is the source of the karaoke performance sound. The reference data is data used as a reference when scoring a karaoke song by a user.

また、楽曲データは、楽曲のカラオケ演奏に合わせて歌詞テロップを表示装置30等に表示させるための歌詞テロップデータ、カラオケ演奏時に表示装置30等に表示される背景画像に対応する背景画像データ等を含む。歌詞テロップは、楽曲の歌詞を構成する複数の単語を含む。以下、このような単語を「歌詞中の単語」という場合がある。 Further, the music data includes lyrics telop data for displaying the lyrics telop on the display device 30 or the like according to the karaoke performance of the music, background image data corresponding to the background image displayed on the display device 30 or the like during the karaoke performance, and the like. Including. A lyrics telop contains a plurality of words that make up the lyrics of a song. Hereinafter, such a word may be referred to as a "word in the lyrics".

[通信手段・入力手段]
通信手段20bは、利用者端末Mやリモコン装置60との通信を行うためのインターフェースを提供する。入力手段20cは、利用者が各種の指示入力を行うための構成である。入力手段20cは、カラオケ本体20に設けられたボタン等である。或いは、リモコン装置60が入力手段20cとして機能してもよい。本実施形態においては、利用者が利用者端末Mにおいてカラオケアプリを起動させ、カラオケ装置Kとのペアリングが行われた後に、当該利用者端末が入力手段20cとして機能する。
[Communication means / input means]
The communication means 20b provides an interface for communicating with the user terminal M and the remote controller device 60. The input means 20c is configured for the user to input various instructions. The input means 20c is a button or the like provided on the karaoke body 20. Alternatively, the remote control device 60 may function as the input means 20c. In the present embodiment, after the user activates the karaoke application on the user terminal M and pairing with the karaoke device K, the user terminal functions as the input means 20c.

[制御手段]
制御手段20dは、カラオケ装置Kにおける各種の制御を行う。制御手段20dは、CPUおよびメモリ(いずれも図示無し)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
[Control means]
The control means 20d performs various controls on the karaoke device K. The control means 20d includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory.

本実施形態においてはCPUがメモリに記憶されるプログラムを実行することにより、制御手段20dは、特定部100、検出部200、設定部300、画像データ受信部400、及び表示制御部500として機能する。 In the present embodiment, the control means 20d functions as a specific unit 100, a detection unit 200, a setting unit 300, an image data reception unit 400, and a display control unit 500 by executing a program stored in the memory by the CPU. ..

(特定部)
特定部100は、カラオケ演奏が可能な楽曲の中から候補曲を特定する。候補曲は、利用者に対してカラオケ歌唱を推奨するレコメンド曲の候補となる楽曲である。
(Specific part)
The specific unit 100 identifies a candidate song from the songs that can be played in karaoke. The candidate song is a song that is a candidate for a recommended song that recommends karaoke singing to the user.

特定部100は、たとえばカラオケ装置Kを利用する利用者Uがカラオケ装置Kにログインした場合に候補曲の特定を行う。 The identification unit 100 identifies a candidate song when, for example, a user U who uses the karaoke device K logs in to the karaoke device K.

利用者Uは、利用者端末Mを介して、自己の利用者識別情報を入力する。利用者識別情報は、利用者を識別するための利用者ID等、各利用者に固有の情報である。カラオケ装置Kは、利用者Uの利用者識別情報を記憶手段20aに一時的に記憶させることでカラオケ装置Kに対する利用者U1のログインを完了する。カラオケ装置Kは、ログインした利用者Uの利用者識別情報をサーバ装置(図示なし)に送信する。サーバ装置は、利用者Uの歌唱履歴をカラオケ装置Kに送信する。歌唱履歴は、利用者がカラオケ歌唱を行った日時、楽曲名、採点結果等を記録したものである。 The user U inputs his / her own user identification information via the user terminal M. The user identification information is information unique to each user, such as a user ID for identifying the user. The karaoke device K completes the login of the user U1 to the karaoke device K by temporarily storing the user identification information of the user U in the storage means 20a. The karaoke device K transmits the user identification information of the logged-in user U to the server device (not shown). The server device transmits the singing history of the user U to the karaoke device K. The singing history records the date and time when the user sang karaoke, the title of the song, the scoring result, and the like.

特定部100は、受信した歌唱履歴に基づいて、候補曲を特定する。候補曲の特定は、様々な方法で行うことができる。たとえば、特定部100は、予め所定の回数を設定しておき、歌唱履歴に含まれる楽曲毎に歌唱された回数を求める。特定部100は、求めた回数が所定の回数以上である楽曲を候補曲として特定する。また、特定部100は、求めた回数が多い方から順に所定数の曲を候補曲として特定してもよい。或いは、ログインしている利用者が複数いる場合、特定部100は、各利用者の歌唱履歴に共通する楽曲を候補曲として特定してもよい。 The identification unit 100 identifies a candidate song based on the received singing history. The candidate song can be identified by various methods. For example, the specific unit 100 sets a predetermined number of times in advance, and obtains the number of times sung for each song included in the singing history. The specific unit 100 specifies as a candidate song a song for which the number of times obtained is equal to or greater than a predetermined number of times. Further, the specifying unit 100 may specify a predetermined number of songs as candidate songs in order from the one with the largest number of requests. Alternatively, when there are a plurality of logged-in users, the specific unit 100 may specify a song common to each user's singing history as a candidate song.

(検出部)
検出部200は、利用者端末から送信されたキーワード情報に含まれるキーワードと、候補曲毎の歌詞テロップデータとに基づいて、候補曲の歌詞中の単語に関連するキーワードを検出する。
(Detection unit)
The detection unit 200 detects a keyword related to a word in the lyrics of the candidate song based on the keyword included in the keyword information transmitted from the user terminal and the lyrics telop data for each candidate song.

たとえば、利用者Uの利用者端末Mから図3に示した10のキーワードが送信されたとする。また、候補曲として楽曲X1〜楽曲X10が特定されたとする。 For example, it is assumed that the 10 keywords shown in FIG. 3 are transmitted from the user terminal M of the user U. Further, it is assumed that songs X1 to X10 are specified as candidate songs.

この場合、検出部200は、楽曲X1〜X10それぞれの歌詞テロップデータを記憶手段20aから読み出す。そして、検出部200は、受信した10のキーワードが歌詞に含まれるかどうかを楽曲毎に確認する。たとえば、検出部200は、歌詞の中にキーワードと完全一致または部分一致する単語がある場合、当該キーワードを歌詞中の単語に関連するキーワードとして検出する。キーワードの検出は、たとえば特開2001−22361号公報に記載の技術を利用することができる。 In this case, the detection unit 200 reads the lyrics telop data of each of the songs X1 to X10 from the storage means 20a. Then, the detection unit 200 confirms for each song whether or not the received 10 keywords are included in the lyrics. For example, when the detection unit 200 has a word that completely matches or partially matches a keyword in the lyrics, the detection unit 200 detects the keyword as a keyword related to the word in the lyrics. For the detection of the keyword, for example, the technique described in JP-A-2001-22361 can be used.

一方、キーワードと歌詞中の単語が一致しない場合であっても、キーワードと単語に関連性がある場合もありうる(たとえば、キーワード「運動会」に対して単語「こどもたち」)。そこで、予め、機械学習を用いて一のキーワードに対して関連性のある単語を複数紐付けることによりデータベースを構築する。そして、検出部200は、当該データベースを利用してキーワードの検出を行ってもよい。或いは、外部のサーバを利用してキーワードと単語との関連性を検出してもよい。 On the other hand, even if the keyword and the word in the lyrics do not match, the keyword and the word may be related (for example, the word "children" as opposed to the keyword "athletic meet"). Therefore, a database is constructed in advance by associating a plurality of related words with one keyword using machine learning. Then, the detection unit 200 may detect the keyword by using the database. Alternatively, an external server may be used to detect the relationship between the keyword and the word.

図6は、楽曲X1の歌詞中の単語と、利用者端末Mから送信されたキーワード情報に含まれる10のキーワードとの関係を示した図である。この例によれば、楽曲X1の歌詞中の単語に関連するキーワードは6つ検出される。 FIG. 6 is a diagram showing the relationship between the words in the lyrics of the music X1 and the 10 keywords included in the keyword information transmitted from the user terminal M. According to this example, six keywords related to the word in the lyrics of the song X1 are detected.

(設定部)
設定部300は、検出したキーワードの数が所定条件を満たす候補曲をレコメンド曲として設定し、検出したキーワードのキーワード識別情報及び歌詞中の単語を、レコメンド曲の楽曲識別情報と紐付ける。
(Setting part)
The setting unit 300 sets a candidate song in which the number of detected keywords satisfies a predetermined condition as a recommended song, and associates the keyword identification information of the detected keyword and the word in the lyrics with the song identification information of the recommended song.

所定条件は、たとえば、「キーワードの数が●個以上」のようにレコメンド曲を設定するための条件であり、予め設定されている。 The predetermined condition is a condition for setting a recommended song, such as "the number of keywords is ● or more", and is set in advance.

ここで、検出部200が検出した楽曲X1〜楽曲X10のキーワードの数について、所定条件を満たすものが楽曲X1のみであったとする。この場合、設定部300は、楽曲X1をレコメンド曲として設定する。 Here, it is assumed that only the music X1 satisfies a predetermined condition with respect to the number of keywords of the music X1 to the music X10 detected by the detection unit 200. In this case, the setting unit 300 sets the music X1 as the recommended music.

設定部300は、楽曲X1について検出した6つのキーワードのキーワードID及びキーワードに対応する歌詞中の単語を、楽曲X1の楽曲IDと紐付ける(図7参照)。 The setting unit 300 associates the keyword IDs of the six keywords detected for the music X1 and the words in the lyrics corresponding to the keywords with the music ID of the music X1 (see FIG. 7).

(画像データ受信部)
画像データ受信部400は、設定したレコメンド曲の楽曲識別情報に紐付けられたキーワード識別情報を利用者端末に送信し、当該キーワード識別情報に基づいて特定された画像データを受信する。
(Image data receiver)
The image data receiving unit 400 transmits the keyword identification information associated with the music identification information of the set recommended song to the user terminal, and receives the image data specified based on the keyword identification information.

設定部300がレコメンド曲を設定した後、画像データ受信部400は、設定したレコメンド曲の楽曲IDに紐付けられたキーワードIDを利用者端末Mに送信する。 After the setting unit 300 sets the recommended song, the image data receiving unit 400 transmits the keyword ID associated with the song ID of the set recommended song to the user terminal M.

利用者端末Mの第2の送信処理部14cは、記憶手段10aに記憶されている画像データの中から、カラオケ装置Kから受信したキーワードIDに対応する画像データを特定する。第2の送信処理部14cは、特定した画像データをカラオケ装置Kに送信する。 The second transmission processing unit 14c of the user terminal M identifies the image data corresponding to the keyword ID received from the karaoke device K from the image data stored in the storage means 10a. The second transmission processing unit 14c transmits the specified image data to the karaoke device K.

なお、第2の送信処理部14cが特定した画像データを送信するタイミングは、レコメンド曲の予約がなされた場合等、レコメンド曲のカラオケ演奏が開始されるまでであればいつでもよい。 The timing of transmitting the image data specified by the second transmission processing unit 14c may be any time until the karaoke performance of the recommended song is started, such as when the recommended song is reserved.

たとえば、レコメンド曲として楽曲X1が設定された場合、画像データ受信部400は、キーワードID「ID***0002」、「ID***0003」、「ID***0004」、「ID***0008」、「ID***0009」、及び「ID***0010」を利用者端末Mに送信する。 For example, when the song X1 is set as the recommended song, the image data receiving unit 400 uses the keyword IDs "ID *** 0002", "ID *** 0003", "ID *** 0004", and "ID **". "* 0008", "ID *** 0009", and "ID *** 0010" are transmitted to the user terminal M.

第2の送信処理部14cは、記憶手段10に記憶されているテーブル(図3参照)を参照し、受信したキーワードIDに対応する6つの画像データ「IMG002.jpg」、「IMG003.jpg」、「IMG004.jpg」、「IMG008.jpg」、「IMG009.jpg」、及び「IMG010.jpg」を特定する。 The second transmission processing unit 14c refers to the table (see FIG. 3) stored in the storage means 10, and refers to the six image data “IMG002.jpg”, “IMG003.jpg”, which correspond to the received keyword IDs. Identify "IMG004.jpg", "IMG008.jpg", "IMG009.jpg", and "IMG010.jpg".

その後、利用者Uが利用者端末Mまたはカラオケ装置Kを介して楽曲X1を選曲したとする。この場合、第2の送信処理部14cは、特定した6つの画像データを記憶手段10から読み出し、キーワードIDと併せてカラオケ装置Kに送信する。 After that, it is assumed that the user U selects the music X1 via the user terminal M or the karaoke device K. In this case, the second transmission processing unit 14c reads the specified six image data from the storage means 10 and transmits the specified six image data together with the keyword ID to the karaoke device K.

画像データ受信部400は、受信した画像データをキーワードIDに基づいて歌詞中の単語と紐付けを行う(図8参照)。 The image data receiving unit 400 associates the received image data with a word in the lyrics based on the keyword ID (see FIG. 8).

なお、本実施形態において、画像データ受信部400は、キーワード識別情報と併せて、設定したレコメンド曲の楽曲識別情報を利用者端末に送信する。 In the present embodiment, the image data receiving unit 400 transmits the music identification information of the set recommended song to the user terminal together with the keyword identification information.

たとえば、レコメンド曲として楽曲X1が設定された場合、画像データ受信部400は、楽曲X1の楽曲ID「ID****X1」を利用者端末Mに送信する。この場合、利用者端末Mの報知部14dは、楽曲X1をレコメンド曲として利用者に報知することができる。 For example, when the music X1 is set as the recommended music, the image data receiving unit 400 transmits the music ID "ID *** X1" of the music X1 to the user terminal M. In this case, the notification unit 14d of the user terminal M can notify the user of the music X1 as a recommended music.

その後、利用者Uが入力手段13を介して楽曲X1を選曲したとする。予約処理部14eは、楽曲X1の楽曲IDをカラオケ装置Kに送信する。この際、第2の送信処理部14cは、特定した6つの画像データを記憶手段10から読み出し、キーワードIDと併せてカラオケ装置Kに送信する。 After that, it is assumed that the user U selects the music X1 via the input means 13. The reservation processing unit 14e transmits the music ID of the music X1 to the karaoke device K. At this time, the second transmission processing unit 14c reads out the specified six image data from the storage means 10 and transmits the specified six image data together with the keyword ID to the karaoke device K.

(表示制御部)
表示制御部500は、楽曲のカラオケ演奏に同期して、歌詞テロップデータに基づく歌詞テロップを背景映像に重畳して表示手段に表示させる。
(Display control unit)
The display control unit 500 superimposes the lyrics telop based on the lyrics telop data on the background image and displays it on the display means in synchronization with the karaoke performance of the music.

たとえば、カラオケ装置Kは、利用者端末Mから受信した楽曲X1の楽曲IDを予約待ち行列に登録することで楽曲X1の予約を行う。 For example, the karaoke device K reserves the music X1 by registering the music ID of the music X1 received from the user terminal M in the reservation queue.

その後、利用者Uが利用者端末Mまたはカラオケ装置Kのリモコン装置60を介して楽曲X1のカラオケ演奏を指示したとする。この場合、カラオケ装置Kは、楽曲X1の楽曲データを記憶手段20aから読み出し、伴奏データに基づいてカラオケ演奏を開始する。またカラオケ装置Kは、カラオケ演奏に同期して、歌詞テロップデータに基づく歌詞テロップを、背景映像データに基づく背景映像に重畳して表示装置40に表示させる。 After that, it is assumed that the user U instructs the karaoke performance of the music X1 via the user terminal M or the remote control device 60 of the karaoke device K. In this case, the karaoke device K reads the music data of the music X1 from the storage means 20a and starts the karaoke performance based on the accompaniment data. Further, the karaoke device K superimposes the lyrics telop based on the lyrics telop data on the background image based on the background image data and displays it on the display device 40 in synchronization with the karaoke performance.

ここで、本実施形態において、表示制御部500は、表示させる歌詞テロップ中に、検出したキーワードに関連する歌詞中の単語が含まれる場合、当該キーワードのキーワード識別情報に基づいて特定した画像データを用いて背景映像を表示させる。 Here, in the present embodiment, when the display control unit 500 includes a word in the lyrics related to the detected keyword in the lyrics telop to be displayed, the display control unit 500 selects the image data specified based on the keyword identification information of the keyword. Use to display the background image.

具体的に、表示制御部500は、歌詞テロップを表示させる際、表示させる歌詞テロップ中に、検出したキーワードに関連する単語が含まれているかどうかを確認する。 Specifically, when displaying the lyrics telop, the display control unit 500 confirms whether or not the word related to the detected keyword is included in the displayed lyrics telop.

たとえば、上記例において、楽曲X1について一の歌詞テロップT1を表示させる場合、歌詞テロップT1に含まれる単語の中に、検出されたキーワードに関連する単語「友」、「日本海」、「旅路」、「ドライブ」、「こどもたち」、「ウエディング」が含まれているかどうかを確認する。 For example, in the above example, when displaying one lyric telop T1 for the music X1, the words "friend", "Japan Sea", and "journey" related to the detected keyword among the words included in the lyric telop T1. , "Drive", "Children", "Wedding" are included.

ここで、歌詞テロップT1に検出したキーワードに関連する単語「友」が含まれていたとする。この場合、表示制御部500は、単語「友」に紐付けられている画像データ「IMG0002.jpg」を読み出し、画像データ「IMG0002.jpg」に基づく画像を背景映像として表示させる。 Here, it is assumed that the word "friend" related to the detected keyword is included in the lyrics telop T1. In this case, the display control unit 500 reads out the image data "IMG0002.jpg" associated with the word "friend" and displays an image based on the image data "IMG0002.jpg" as a background image.

一方、たとえば、歌詞テロップT1の次の歌詞テロップT2に検出したキーワードに関連する単語がいずれも含まれていなかったとする。この場合、表示制御部500は、歌詞テロップT2を表示させる際には、記憶手段20aに記憶されている楽曲X1の背景映像データに基づく背景映像を表示させる。 On the other hand, for example, it is assumed that none of the words related to the detected keyword is included in the lyrics telop T2 following the lyrics telop T1. In this case, when displaying the lyrics telop T2, the display control unit 500 displays a background image based on the background image data of the music X1 stored in the storage means 20a.

表示制御部500は、歌詞テロップを切り替える毎に同様の処理を行う。 The display control unit 500 performs the same processing every time the lyrics telop is switched.

なお、表示制御部500は、ある歌詞テロップに検出したキーワードに関連する単語が含まれていない場合、先の歌詞テロップの表示の際に用いた画像データに基づく画像をそのまま表示させてもよい。上記例において、表示制御部500は、歌詞テロップT2を表示させる際、画像データ「IMG0002.jpg」に基づく画像を引き続き背景映像として表示させてもよい。 If the display control unit 500 does not include a word related to the detected keyword in a certain lyrics telop, the display control unit 500 may display the image based on the image data used in displaying the previous lyrics telop as it is. In the above example, when displaying the lyrics telop T2, the display control unit 500 may continue to display the image based on the image data “IMG0002.jpg” as the background image.

或いは、一の歌詞テロップの中に複数の単語が含まれている場合もありうる。この場合、表示制御部500は、いずれか一の単語に紐付けられている画像データに基づく画像を表示させてもよいし、複数の単語に紐付けられている複数の画像データに基づく複数の画像を切り替えて表示させることでもよい。 Alternatively, one lyric telop may contain multiple words. In this case, the display control unit 500 may display an image based on the image data associated with any one word, or may display a plurality of images based on the plurality of image data associated with the plurality of words. The images may be switched and displayed.

==カラオケシステムにおける処理について==
次に、図9A及び図9Bを参照して本実施形態に係るカラオケシステム1における処理について述べる。図9A及び図9Bは、カラオケシステム1における処理を示すフローチャートである。この例では、利用者Uの所有する利用者端末Mではカラオケアプリが実行されているとする。
== Processing in the karaoke system ==
Next, the processing in the karaoke system 1 according to the present embodiment will be described with reference to FIGS. 9A and 9B. 9A and 9B are flowcharts showing the processing in the karaoke system 1. In this example, it is assumed that the karaoke application is executed on the user terminal M owned by the user U.

利用者端末Mの決定部14aは、記憶手段10に記憶されている画像データに対して画像の内容に対応するキーワードを決定する(キーワードを決定。ステップ10)。決定部14aは、決定したキーワードを画像データと紐付ける。 The determination unit 14a of the user terminal M determines a keyword corresponding to the content of the image with respect to the image data stored in the storage means 10 (determines the keyword. Step 10). The determination unit 14a associates the determined keyword with the image data.

第1の送信処理部14bは、ステップ10で決定したキーワード、及び当該キーワードを識別するためのキーワードIDを含むキーワード情報をカラオケ装置Kに送信する(キーワード情報を送信。ステップ11)。 The first transmission processing unit 14b transmits the keyword determined in step 10 and the keyword information including the keyword ID for identifying the keyword to the karaoke device K (transmitting the keyword information. Step 11).

カラオケ装置Kの特定部100は、カラオケ演奏が可能な楽曲の中から、利用者に対してカラオケ歌唱を推奨するレコメンド曲の候補となる候補曲を特定する(候補曲を特定。ステップ12)。 The identification unit 100 of the karaoke device K identifies a candidate song that is a candidate for a recommended song that recommends karaoke singing to the user from among the songs that can be played in karaoke (specify the candidate song. Step 12).

検出部200は、ステップ11で利用者端末Mから送信されたキーワード情報に含まれるキーワードと、ステップ12で特定された候補曲毎の歌詞テロップデータとに基づいて、候補曲の歌詞中の単語に関連するキーワードを検出する(キーワードを検出。ステップ13)。 The detection unit 200 sets the word in the lyrics of the candidate song based on the keyword included in the keyword information transmitted from the user terminal M in step 11 and the lyrics telop data for each candidate song specified in step 12. Detect related keywords (keyword detection, step 13).

設定部300は、ステップ14で検出したキーワードの数が所定条件を満たす候補曲をレコメンド曲として設定する(レコメンド曲を設定。ステップ14)。設定部300は、検出したキーワードのキーワードID及び歌詞中の単語を、レコメンド曲の楽曲IDと紐付ける。 The setting unit 300 sets a candidate song in which the number of keywords detected in step 14 satisfies a predetermined condition as a recommended song (sets a recommended song. Step 14). The setting unit 300 associates the keyword ID of the detected keyword and the word in the lyrics with the song ID of the recommended song.

画像データ受信部400は、ステップ13で設定したレコメンド曲の楽曲IDに紐付けられたキーワードID、及び設定したレコメンド曲の楽曲IDを利用者端末Mに送信する(キーワードID及びレコメンド曲の楽曲IDを送信。ステップ15)。 The image data receiving unit 400 transmits the keyword ID associated with the song ID of the recommended song set in step 13 and the song ID of the set recommended song to the user terminal M (keyword ID and song ID of the recommended song). Is sent. Step 15).

利用者端末Mの報知部14dは、受信したレコメンド曲の楽曲IDに基づいてレコメンド曲を利用者に報知する(レコメンド曲を報知。ステップ16)。 The notification unit 14d of the user terminal M notifies the user of the recommended song based on the received song ID of the recommended song (notifies the recommended song. Step 16).

予約処理部14eは、ステップ16で報知したレコメンド曲を利用者Uが選曲した場合、当該レコメンド曲の楽曲IDをカラオケ装置Kに送信し、楽曲の予約を行わせる(楽曲の予約を指示。ステップ17)。カラオケ装置Kは、ステップ17の指示に基づいて楽曲の予約を行う(楽曲の予約。ステップ18)。 When the user U selects the recommended song notified in step 16, the reservation processing unit 14e transmits the song ID of the recommended song to the karaoke device K to make a reservation for the song (instruct the reservation of the song, step). 17). The karaoke device K reserves a musical piece based on the instruction in step 17 (musical piece reservation. Step 18).

また、この場合、利用者端末Mの第2の送信処理部14cは、カラオケ装置Kから受信したキーワードIDに基づいて画像データを特定し、カラオケ装置Kに送信する(特定した画像データを送信。ステップ19)。画像データ受信部400は、キーワードIDに基づいて特定された画像データを受信する(画像データを受信。ステップ20)。 Further, in this case, the second transmission processing unit 14c of the user terminal M identifies the image data based on the keyword ID received from the karaoke device K and transmits it to the karaoke device K (transmits the specified image data. Step 19). The image data receiving unit 400 receives the image data specified based on the keyword ID (receives the image data. Step 20).

その後、カラオケ装置Kは、予約した楽曲のカラオケ演奏を行う(カラオケ演奏を開始。ステップ21)。 After that, the karaoke device K performs a karaoke performance of the reserved music (starts the karaoke performance. Step 21).

表示制御部500は、楽曲のカラオケ演奏に同期して、歌詞テロップデータに基づく歌詞テロップを背景映像に重畳して表示手段に表示させる(歌詞テロップ及び背景映像を表示。ステップ22)。この際、表示制御部500は、表示させる歌詞テロップ中に、検出したキーワードに関連する歌詞中の単語が含まれるかどうかを確認する。検出したキーワードに関連する歌詞中の単語が含まれる場合(ステップ23でYの場合)、表示制御部500は、当該キーワードのキーワードIDに基づいて特定した画像データを用いて背景映像を表示させる(特定した画像データを用いて背景映像を表示。ステップ24)。 The display control unit 500 superimposes the lyrics telop based on the lyrics telop data on the background image and displays it on the display means in synchronization with the karaoke performance of the music (displays the lyrics telop and the background image. Step 22). At this time, the display control unit 500 confirms whether or not the words in the lyrics related to the detected keyword are included in the displayed lyrics telop. When a word in the lyrics related to the detected keyword is included (in the case of Y in step 23), the display control unit 500 displays the background image using the image data specified based on the keyword ID of the keyword (in the case of Y in step 23). A background image is displayed using the specified image data. Step 24).

カラオケ装置Kは、予約した楽曲のカラオケ演奏が終了するまで(ステップ25でYの場合)、ステップ22〜ステップ24の処理を繰り返し行う。 The karaoke device K repeats the processes of steps 22 to 24 until the karaoke performance of the reserved music is completed (in the case of Y in step 25).

以上から明らかなように、本実施形態に係るカラオケシステム1は、カラオケ装置Kと、カラオケ装置Kの利用者Uが所有する利用者端末Mとが通信可能に接続されたものである。利用者端末Mは、記憶手段10に記憶されている画像データに対して画像の内容に対応するキーワードを決定し、決定したキーワードを当該画像データと紐付ける決定部14aと、決定したキーワード、及び当該キーワードを識別するためのキーワード識別情報を含むキーワード情報をカラオケ装置Kに送信する第1の送信処理部14bと、カラオケ装置Kから受信したキーワード識別情報に基づいて画像データを特定し、カラオケ装置Kに送信する第2の送信処理部14cと、を有する。カラオケ装置Kは、カラオケ演奏が可能な楽曲の中から、利用者に対してカラオケ歌唱を推奨するレコメンド曲の候補となる候補曲を特定する特定部100と、利用者端末Mから送信されたキーワード情報に含まれるキーワードと、候補曲毎の歌詞テロップデータとに基づいて、候補曲の歌詞中の単語に関連するキーワードを検出する検出部200と、検出したキーワードの数が所定条件を満たす候補曲をレコメンド曲として設定し、検出したキーワードのキーワード識別情報及び歌詞中の単語を、レコメンド曲の楽曲識別情報と紐付ける設定部300と、設定したレコメンド曲の楽曲識別情報に紐付けられたキーワード識別情報を利用者端末Mに送信し、当該キーワード識別情報に基づいて特定された画像データを受信する画像データ受信部400と、楽曲のカラオケ演奏に同期して、歌詞テロップデータに基づく歌詞テロップを背景映像に重畳して表示装置40に表示させる表示制御部500であって、表示させる歌詞テロップ中に、検出したキーワードに関連する歌詞中の単語が含まれる場合、当該キーワードのキーワード識別情報に基づいて特定した画像データを用いて背景映像を表示させる表示制御部500と、を有する。 As is clear from the above, in the karaoke system 1 according to the present embodiment, the karaoke device K and the user terminal M owned by the user U of the karaoke device K are communicably connected to each other. The user terminal M determines a keyword corresponding to the content of the image with respect to the image data stored in the storage means 10, a determination unit 14a that associates the determined keyword with the image data, the determined keyword, and the determined keyword. The image data is specified based on the first transmission processing unit 14b that transmits the keyword information including the keyword identification information for identifying the keyword to the karaoke device K and the keyword identification information received from the karaoke device K, and the karaoke device. It has a second transmission processing unit 14c for transmitting to K. The karaoke device K has a specific unit 100 that identifies a candidate song that is a candidate for a recommended song that recommends karaoke singing to the user from among the songs that can be played in karaoke, and a keyword transmitted from the user terminal M. A detection unit 200 that detects keywords related to words in the lyrics of the candidate song based on the keywords included in the information and the lyrics telop data for each candidate song, and a candidate song in which the number of detected keywords satisfies a predetermined condition. Is set as a recommended song, and the keyword identification information of the detected keyword and the word in the lyrics are associated with the song identification information of the recommended song. The image data receiving unit 400 that transmits information to the user terminal M and receives the image data specified based on the keyword identification information, and the lyrics telop based on the lyrics telop data in synchronization with the karaoke performance of the song. In the display control unit 500 that superimposes on the image and displays it on the display device 40, if the lyrics telop to be displayed contains a word in the lyrics related to the detected keyword, it is based on the keyword identification information of the keyword. It has a display control unit 500 that displays a background image using the specified image data.

このようなカラオケシステム1によれば、利用者端末に記憶されている画像データに基づいてレコメンド曲を決定することができる。また、レコメンド曲の歌詞中の単語に対応する画像データを用いて背景映像を表示することができる。よって、カラオケ演奏される楽曲の歌詞の内容と背景映像とに関連性を持たせることができるため、背景映像を見た利用者が違和感を持つ可能性が少なくなる。すなわち、本実施形態に係るカラオケシステム1によれば、レコメンドされた楽曲のカラオケ演奏の背景映像として利用者端末に記憶されている画像を利用する際、当該レコメンドされた楽曲の歌詞と関連性の高い画像を表示できる。 According to such a karaoke system 1, the recommended song can be determined based on the image data stored in the user terminal. In addition, the background image can be displayed using the image data corresponding to the words in the lyrics of the recommended song. Therefore, since the content of the lyrics of the music to be played in karaoke and the background image can be related to each other, it is less likely that the user who sees the background image feels uncomfortable. That is, according to the karaoke system 1 according to the present embodiment, when the image stored in the user terminal is used as the background image of the karaoke performance of the recommended music, it is related to the lyrics of the recommended music. Can display high images.

また、画像データ受信部400は、キーワード識別情報と併せて、設定したレコメンド曲の楽曲識別情報を利用者端末に送信する。そして、利用者端末Mは、受信したレコメンド曲の楽曲識別情報に基づいてレコメンド曲を利用者に報知する報知部14dと、報知したレコメンド曲を利用者が選曲した場合、当該レコメンド曲の楽曲識別情報をカラオケ装置Kに送信し、楽曲の予約を行わせる予約処理部14eを有していてもよい。このようなカラオケシステム1によれば、利用者は利用者端末を介してレコメンド曲の予約が可能となる。 Further, the image data receiving unit 400 transmits the music identification information of the set recommended song to the user terminal together with the keyword identification information. Then, the user terminal M has a notification unit 14d that notifies the user of the recommended song based on the received song identification information of the recommended song, and when the user selects the notified recommended song, the song identification of the recommended song. It may have a reservation processing unit 14e that transmits information to the karaoke device K and makes a reservation for a song. According to such a karaoke system 1, the user can reserve a recommended song via the user terminal.

<その他>
上記実施形態では、利用者端末側でレコメンド曲を報知する例について述べた。一方、カラオケ装置側でレコメンド曲を報知してもよい。
<Others>
In the above embodiment, an example of notifying the recommended song on the user terminal side has been described. On the other hand, the recommended song may be notified on the karaoke device side.

たとえば、レコメンド曲として楽曲X1が設定された場合、カラオケ装置Kは、楽曲X1の曲名や歌手名を表示装置40またはリモコン装置60に表示させる。 For example, when the song X1 is set as the recommended song, the karaoke device K causes the display device 40 or the remote control device 60 to display the song name and the singer name of the song X1.

利用者がリモコン装置60を介して楽曲X1を選曲したとする。この場合、カラオケ装置Kは、楽曲X1の楽曲IDを予約待ち行列に登録することで楽曲X1の予約を行う。 It is assumed that the user selects the music X1 via the remote control device 60. In this case, the karaoke device K reserves the music X1 by registering the music ID of the music X1 in the reservation queue.

また、画像データ受信部400は、楽曲X1の楽曲IDに紐付けられたキーワードIDを利用者端末Mに送信し、当該キーワードIDに基づいて特定された画像データを受信する。以降の処理は実施形態における処理と同様である。 Further, the image data receiving unit 400 transmits the keyword ID associated with the music ID of the music X1 to the user terminal M, and receives the image data specified based on the keyword ID. Subsequent processing is the same as the processing in the embodiment.

このような構成を採用することにより、利用者端末は報知部14d及び予約処理部14eを備える必要が無い。 By adopting such a configuration, the user terminal does not need to include the notification unit 14d and the reservation processing unit 14e.

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiment is presented as an example and does not limit the scope of the invention. The above configurations can be implemented in appropriate combinations, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.

1 カラオケシステム
14a 決定部
14b 第1の送信処理部
14c 第2の送信処理部
14d 報知部
14e 予約処理部
100 特定部
200 検出部
300 設定部
400 画像データ受信部
500 表示制御部
K カラオケ装置
M 利用者端末
1 Karaoke system 14a Determination unit 14b First transmission processing unit 14c Second transmission processing unit 14d Notification unit 14e Reservation processing unit 100 Specific unit 200 Detection unit 300 Setting unit 400 Image data reception unit 500 Display control unit K Karaoke device M Person terminal

Claims (2)

カラオケ装置と、当該カラオケ装置の利用者が所有する利用者端末とが通信可能に接続されたカラオケシステムであって、
前記利用者端末は、
記憶手段に記憶されている画像データに対して画像の内容に対応するキーワードを決定し、決定したキーワードを当該画像データと紐付ける決定部と、
前記決定したキーワード、及び当該キーワードを識別するためのキーワード識別情報を含むキーワード情報を前記カラオケ装置に送信する第1の送信処理部と、
前記カラオケ装置から受信したキーワード識別情報に基づいて画像データを特定し、当該カラオケ装置に送信する第2の送信処理部と、
を有し、
前記カラオケ装置は、
カラオケ演奏が可能な楽曲の中から、利用者に対してカラオケ歌唱を推奨するレコメンド曲の候補となる候補曲を特定する特定部と、
前記利用者端末から送信されたキーワード情報に含まれるキーワードと、候補曲毎の歌詞テロップデータとに基づいて、候補曲の歌詞中の単語に関連するキーワードを検出する検出部と、
検出したキーワードの数が所定条件を満たす前記候補曲をレコメンド曲として設定し、検出したキーワードのキーワード識別情報及び歌詞中の単語を、レコメンド曲の楽曲識別情報と紐付ける設定部と、
設定した前記レコメンド曲の楽曲識別情報に紐付けられたキーワード識別情報を前記利用者端末に送信し、当該キーワード識別情報に基づいて特定された画像データを受信する画像データ受信部と、
楽曲のカラオケ演奏に同期して、歌詞テロップデータに基づく歌詞テロップを背景映像に重畳して表示手段に表示させる表示制御部であって、表示させる歌詞テロップ中に、検出した前記キーワードに関連する歌詞中の単語が含まれる場合、当該キーワードのキーワード識別情報に基づいて特定した画像データを用いて背景映像を表示させる表示制御部と、
を有するカラオケシステム。
A karaoke system in which a karaoke device and a user terminal owned by the user of the karaoke device are connected so as to be able to communicate with each other.
The user terminal is
A determination unit that determines a keyword corresponding to the content of the image with respect to the image data stored in the storage means and associates the determined keyword with the image data.
A first transmission processing unit that transmits the determined keyword and keyword information including the keyword identification information for identifying the keyword to the karaoke device.
A second transmission processing unit that identifies image data based on the keyword identification information received from the karaoke device and transmits the image data to the karaoke device.
Have,
The karaoke device
From the songs that can be played in karaoke, a specific part that identifies candidate songs that are candidates for recommended songs that recommend karaoke singing to users, and
A detection unit that detects keywords related to words in the lyrics of the candidate song based on the keywords included in the keyword information transmitted from the user terminal and the lyrics telop data for each candidate song.
The candidate song in which the number of detected keywords satisfies a predetermined condition is set as a recommended song, and the keyword identification information of the detected keyword and the word in the lyrics are associated with the song identification information of the recommended song.
An image data receiving unit that transmits the keyword identification information associated with the set music identification information of the recommended song to the user terminal and receives the image data specified based on the keyword identification information.
It is a display control unit that superimposes the lyrics telop based on the lyrics telop data on the background image and displays it on the display means in synchronization with the karaoke performance of the music. When the word inside is included, a display control unit that displays a background image using image data specified based on the keyword identification information of the keyword, and a display control unit.
Karaoke system with.
前記画像データ受信部は、前記キーワード識別情報と併せて、設定した前記レコメンド曲の楽曲識別情報を前記利用者端末に送信し、
前記利用者端末は、
受信した前記レコメンド曲の楽曲識別情報に基づいてレコメンド曲を利用者に報知する報知部と、
報知したレコメンド曲を利用者が選曲した場合、当該レコメンド曲の楽曲識別情報をカラオケ装置に送信し、楽曲の予約を行わせる予約処理部を有することを特徴とする請求項1記載のカラオケシステム。
The image data receiving unit transmits the music identification information of the set recommended song together with the keyword identification information to the user terminal.
The user terminal is
A notification unit that notifies the user of the recommended song based on the received music identification information of the recommended song, and
The karaoke system according to claim 1, wherein when the user selects the notified recommended song, the karaoke system has a reservation processing unit that transmits the song identification information of the recommended song to the karaoke device and makes a reservation for the song.
JP2019214555A 2019-11-27 2019-11-27 karaoke system Active JP7308135B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019214555A JP7308135B2 (en) 2019-11-27 2019-11-27 karaoke system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019214555A JP7308135B2 (en) 2019-11-27 2019-11-27 karaoke system

Publications (2)

Publication Number Publication Date
JP2021085985A true JP2021085985A (en) 2021-06-03
JP7308135B2 JP7308135B2 (en) 2023-07-13

Family

ID=76087502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019214555A Active JP7308135B2 (en) 2019-11-27 2019-11-27 karaoke system

Country Status (1)

Country Link
JP (1) JP7308135B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246075A (en) * 2003-02-13 2004-09-02 Xing Inc Background video supply system of music playback device, music playback device and server
JP2012220582A (en) * 2011-04-05 2012-11-12 Sony Corp Music playback device, music playback method, program, and data creation device
JP2015197553A (en) * 2014-03-31 2015-11-09 株式会社エクシング Communication terminal device, server device, program, data providing method, and karaoke system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246075A (en) * 2003-02-13 2004-09-02 Xing Inc Background video supply system of music playback device, music playback device and server
JP2012220582A (en) * 2011-04-05 2012-11-12 Sony Corp Music playback device, music playback method, program, and data creation device
JP2015197553A (en) * 2014-03-31 2015-11-09 株式会社エクシング Communication terminal device, server device, program, data providing method, and karaoke system

Also Published As

Publication number Publication date
JP7308135B2 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
JP6708537B2 (en) Karaoke system
JP7117113B2 (en) Server equipment, recommendation system
JP7141929B2 (en) karaoke system
KR101713242B1 (en) Apparatus for providing search service based musical score and method using the same
JP6937675B2 (en) Karaoke equipment
JP2018173444A (en) Music selection device, karaoke system and music selection program
JP7308135B2 (en) karaoke system
JP2017201337A (en) Karaoke system, recommended musical piece presentation program
JP7117228B2 (en) karaoke system, karaoke machine
JP2012189731A (en) Musical piece selection device and musical piece selection program
JP6765980B2 (en) Karaoke system
JP6045069B2 (en) Operation terminal, karaoke system, and karaoke program
JP2022098723A (en) Karaoke device
JP6590593B2 (en) Music search system
JP6594144B2 (en) Music search system
JP2023124662A (en) karaoke device
JP4936986B2 (en) Karaoke system with song selection display function
JP7117216B2 (en) karaoke system
JP6604194B2 (en) Music selection support device, music selection support program, and music selection support method
JP7082549B2 (en) Karaoke equipment
JP7079650B2 (en) Karaoke system
JP6308988B2 (en) Karaoke input device and program
JP6577810B2 (en) Karaoke input device and program
JP6749201B2 (en) Karaoke system
JP6667332B2 (en) Karaoke system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R150 Certificate of patent or registration of utility model

Ref document number: 7308135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150