JP7117228B2 - karaoke system, karaoke machine - Google Patents
karaoke system, karaoke machine Download PDFInfo
- Publication number
- JP7117228B2 JP7117228B2 JP2018219997A JP2018219997A JP7117228B2 JP 7117228 B2 JP7117228 B2 JP 7117228B2 JP 2018219997 A JP2018219997 A JP 2018219997A JP 2018219997 A JP2018219997 A JP 2018219997A JP 7117228 B2 JP7117228 B2 JP 7117228B2
- Authority
- JP
- Japan
- Prior art keywords
- karaoke
- user
- data
- language
- singing voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明はカラオケシステム、及びカラオケ装置に関する。 The present invention relates to karaoke systems and karaoke machines.
母国語が異なる利用者同士でカラオケ装置を利用することがある。このような場合に、たとえば、日本人の利用者が日本語でカラオケ歌唱を行うと、母国語が異なる外国人は歌詞の内容を理解することができない。 Users with different mother tongues sometimes use a karaoke machine. In such a case, for example, if a Japanese user sings karaoke in Japanese, foreigners whose mother tongue is different cannot understand the contents of the lyrics.
そこで、特許文献1には、利用者の母国語に応じた翻訳歌詞をサブモニタに表示する技術が開示されている。 Therefore, Patent Literature 1 discloses a technique for displaying translated lyrics in the user's native language on a sub-monitor.
特許文献1のように翻訳歌詞(たとえば英語)をサブモニタに表示したとしても、実際のカラオケ歌唱は翻訳前の歌詞(たとえば日本語)に基づいて行われる。従って、母国語が異なる利用者は、カラオケ演奏に合わせて翻訳歌詞を参照したとしても、歌を楽しむことができない。 Even if the translated lyrics (for example, English) are displayed on the sub-monitor as in Patent Document 1, actual karaoke singing is performed based on the lyrics (for example, Japanese) before translation. Therefore, users whose mother tongue is different cannot enjoy the song even if they refer to the translated lyrics along with the karaoke performance.
本発明の目的は、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことが可能なカラオケステムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a karaoke stem that enables even users whose mother tongue is different from that of users who sing karaoke songs to enjoy singing along with karaoke performances.
上記目的を達成するための一の発明は、サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、前記サーバ装置は、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶する利用者情報記憶部を有し、前記カラオケ装置は、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、前記カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記ある楽曲の第2の歌詞データ、及び前記カラオケ歌唱を行う利用者の利用者識別情報に応じて前記サーバ装置から取得した前記声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
One invention for achieving the above object is a karaoke system in which a server device and a karaoke device are communicably connected, wherein the server device uses a voice quality parameter indicating the voice quality of a user to identify the user. The karaoke device has a user information storage unit for storing in association with user identification information for identification, wherein the karaoke device stores performance data for karaoke performance, first lyric data in a first language, and the first lyrics data in a first language. A song data storage unit that stores second lyric data in a second language different from the first language for each song, and according to a login operation performed via a portable terminal owned by a user of the karaoke machine. a login processing unit that acquires the user identification information of the user; An extraction unit for extracting singing voice data including pitch data and volume data from voice, the extracted singing voice data, the second lyric data of the song read in accordance with the karaoke performance, and the karaoke singing a creation unit that creates a synthesized singing voice signal based on the voice quality parameter acquired from the server device in accordance with the user identification information of the user who performs the login operation; A karaoke system comprising a transmission processing unit for transmitting the generated synthesized singing voice signal to a mobile terminal owned by an audience member who is a user other than a karaoke singing user.
Other features of the present invention will be clarified by the description of the specification and drawings described later.
本発明によれば、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことができる。 According to the present invention, even a user whose mother tongue is different from that of a user who sings karaoke can enjoy singing along with the karaoke performance.
<第1実施形態>
図1~図5を参照して、第1実施形態に係るカラオケシステムについて説明する。
<First Embodiment>
A karaoke system according to the first embodiment will be described with reference to FIGS. 1 to 5. FIG.
==カラオケシステム==
図1に示すように、本実施形態に係るカラオケシステム1は、サーバ装置S及びカラオケ装置Kを備える。サーバ装置Sとカラオケ装置Kとは、ネットワークNを介して通信可能となっている。ネットワークNは、たとえば公衆電話回線網やインターネット回線等の伝送路である。また、カラオケ装置Kは、利用者が所有する携帯端末と通信可能となっている。
== Karaoke System ==
As shown in FIG. 1, the karaoke system 1 according to this embodiment includes a server device S and a karaoke device K. As shown in FIG. The server device S and the karaoke device K can communicate with each other via the network N. The network N is, for example, a transmission line such as a public telephone line network or Internet line. Also, the karaoke machine K can communicate with a portable terminal owned by a user.
利用者U1~利用者U3は、カラオケ装置Kを一緒に利用する利用者である。以下、利用者U1及び利用者U2は日本人(母国語:日本語)であり、利用者U3は米国人(母国語:英語)であるとして説明する。 User U1 to user U3 are users who use the karaoke machine K together. In the following description, users U1 and U2 are Japanese (native language: Japanese), and user U3 is American (native language: English).
各利用者は、携帯端末(携帯端末M1~携帯端末M3)を所有している。携帯端末は、一般的なスマートフォンやタブレット端末である。携帯端末には、カラオケ装置Kを利用する際に使用する専用アプリケーションソフトウェア(以下、「カラオケアプリ」)がインストールされている。カラオケアプリは、サーバ装置Sや、サーバ装置Sが提供するWebサイトからダウンロードすることで入手できる。 Each user owns a mobile terminal (mobile terminal M1 to mobile terminal M3). A mobile terminal is a general smart phone or a tablet terminal. Dedicated application software (hereinafter referred to as "karaoke application") used when using the karaoke device K is installed in the portable terminal. The karaoke application can be obtained by downloading from the server device S or a website provided by the server device S.
携帯端末とカラオケ装置Kは、ペアリングされることで互いに通信可能となる。ペアリングは公知の手法を利用することができる。ペアリングは、たとえば、カラオケ装置Kが設置されたカラオケルームへの入室後、カラオケアプリを起動させた場合に実行される。ペアリングされた後、利用者は、カラオケアプリを利用して、たとえばカラオケ装置Kに対してログイン操作を行ったり、カラオケ装置Kに付属するリモコン装置と同様の操作(楽曲の予約等)を行うことができる。 The portable terminal and the karaoke machine K can communicate with each other by being paired. Pairing can utilize a well-known method. Pairing is performed, for example, when a karaoke application is started after entering a karaoke room in which the karaoke device K is installed. After being paired, the user uses the karaoke application to perform, for example, a login operation to the karaoke device K, or perform the same operation as the remote control device attached to the karaoke device K (reservation of music, etc.). be able to.
==サーバ装置==
サーバ装置Sは、カラオケ装置Kに関する各種情報を管理するコンピュータである。図2はサーバ装置Sのハードウェア構成例を示す図である。サーバ装置Sは、記憶部10、通信部20、及び制御部30を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
== server device ==
The server device S is a computer that manages various information regarding the karaoke device K. FIG. FIG. 2 is a diagram showing a hardware configuration example of the server device S. As shown in FIG. The server device S includes a
記憶部10は、各種のデータを記憶する大容量の記憶装置である。本実施形態に係る記憶部10の記憶領域の一部は、利用者情報記憶部10aとして機能する。
The
利用者情報記憶部10aは、声質パラメータを利用者識別情報と関連付けて記憶する。
The user
声質パラメータは、利用者の声質を示すパラメータである。利用者の声質は、声の周波数特性に基づいて決定される。声質パラメータは、たとえば利用者の歌唱音声から公知の技術(特開2014-048472号公報等)を用いて抽出することができる。利用者識別情報は、利用者を識別するための利用者IDのような、各利用者に固有の情報である。 A voice quality parameter is a parameter that indicates the voice quality of the user. A user's voice quality is determined based on the frequency characteristics of the voice. The voice quality parameter can be extracted, for example, from the user's singing voice using a known technique (Japanese Patent Application Laid-Open No. 2014-048472, etc.). User identification information is information unique to each user, such as a user ID for identifying the user.
声質パラメータは、カラオケ装置Kを利用する前に予め取得しておくことができる。たとえば、過去にあるカラオケ装置を利用して利用者U1がカラオケ歌唱を行った場合、当該あるカラオケ装置は、利用者U1の歌唱音声から声質パラメータを抽出し、利用者U1の利用者識別情報(利用者ID)と関連付けてサーバ装置Sに送信する。利用者情報記憶部10aは、利用者U1の声質パラメータを利用者IDと関連付けて記憶する。
The voice quality parameter can be obtained in advance before using the karaoke machine K. For example, when the user U1 sings karaoke using a karaoke machine in the past, the karaoke machine extracts voice quality parameters from the singing voice of the user U1, and uses the user identification information ( (user ID) and transmitted to the server device S. The user
なお、声質パラメータには、年齢や性別に関する属性情報が含まれていてもよい。 Note that the voice quality parameter may include attribute information regarding age and gender.
通信部20は、サーバ装置Sとカラオケ装置Kとを接続するためのインターフェースを提供する。制御部30は、サーバ装置Sにおける各種の制御を行う。制御部30は、CPUおよびメモリ(いずれも図示なし)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。 The communication unit 20 provides an interface for connecting the server device S and the karaoke device K. FIG. The control unit 30 performs various controls in the server device S. FIG. The control unit 30 includes a CPU and memory (both not shown). The CPU implements various functions by executing programs stored in the memory.
==カラオケ装置==
[ハードウェア構成]
カラオケ装置Kは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。
==Karaoke Device==
[Hardware configuration]
The karaoke device K is a device for performing karaoke music and for users to sing karaoke songs.
図3に示すように、カラオケ装置Kは、カラオケ本体40、スピーカ50、表示装置60、マイク70、及びリモコン装置80を備える。
As shown in FIG. 3, the karaoke machine K includes a karaoke
スピーカ50はカラオケ本体40からの放音信号に基づいて放音するための構成である。表示装置60はカラオケ本体40からの信号に基づいて映像や画像を画面に表示するための構成である。マイク70は利用者の歌唱音声(マイク70への入力音声)をアナログの音声信号に変換してカラオケ本体40に入力するための構成である。リモコン装置80は、カラオケ本体40に対する各種操作をおこなうための装置である。利用者はリモコン装置80を用いてカラオケ歌唱を希望する楽曲の検索や選曲(予約)等を行うことができる。リモコン装置80の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。
The
カラオケ本体40は、選曲された楽曲のカラオケ演奏制御、歌詞等の表示制御、マイク70を通じて入力された音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図3に示すように、カラオケ本体40は、制御部41、通信部42、記憶部43、音響処理部44、表示処理部45、及び操作部46を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
The karaoke
制御部41は、CPUおよびメモリ(いずれも図示なし)を備える。CPUは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、CPUに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。
The
通信部42は、ルーター(図示なし)を介してカラオケ本体40を通信回線に接続するためのインターフェースを提供する。
The
記憶部43は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。
The
音響処理部44は、制御部41の制御に基づき、楽曲に対するカラオケ演奏の制御およびマイク70を通じて入力された歌唱音声信号の処理を行う。表示処理部45は、制御部41の制御に基づき、表示装置60やリモコン装置80における各種表示に関する処理を行う。たとえば、表示処理部45は、カラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置60に表示させる。或いは、表示処理部45は、リモコン装置80の表示画面に操作入力用の各種アイコンを表示させる。
Under the control of the
操作部46は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置Kのパネルスイッチあるいはリモコン装置80の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部41に対して出力する。制御部41は、操作部46からの操作信号を検出し、対応する処理を実行する。
The
[ソフトウェア構成]
図4はカラオケ本体40のソフトウェア構成例を示す図である。カラオケ本体40は、楽曲データ記憶部100、ログイン処理部200、抽出部300、作成部400、及び送信処理部500を備える。楽曲データ記憶部100は、記憶部43の記憶領域の一部として構成される。ログイン処理部200、抽出部300、作成部400、及び送信処理部500は、制御部41のCPUがメモリに記憶されるプログラムを実行することにより実現される。
[Software configuration]
FIG. 4 is a diagram showing an example of the software configuration of the karaoke
(楽曲データ記憶部)
楽曲データ記憶部100は、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する。各楽曲には、個々の楽曲を特定するための楽曲IDが付与されている。
(music data storage unit)
The song
演奏データはカラオケ演奏音の元となるデータである。音響処理部44は、演奏データに基づいてカラオケ演奏を行う。
Performance data is data that is the source of karaoke performance sounds. The
第1の歌詞データ及び第2の歌詞データは、楽曲に対応する歌詞テロップを表示装置60等に表示させるためのデータである。第1の歌詞データは、第1の言語により構成されている。第2の歌詞データは、第1の言語とは異なる第2の言語により構成されている。たとえば、第1の言語が「日本語」の場合、第2の言語は日本語以外の言語(たとえば「英語」)である。第1の歌詞データ及び第2の歌詞データが示す歌詞は、それぞれの言語に応じて、カラオケ演奏と合うように分節されている。
The first lyric data and the second lyric data are data for displaying the lyric telop corresponding to the music on the
(ログイン処理部)
ログイン処理部200は、カラオケ装置Kを利用する利用者が所有する携帯端末からのログイン操作に応じて、当該利用者の利用者識別情報を取得する。
(Login processing part)
The
利用者は、カラオケ装置Kの利用にあたって、最初にログイン操作(自己の利用者IDやパスワードの入力)を行なう。具体的に、利用者は、自己の携帯端末でカラオケアプリを起動させてペアリングが完了した後、利用者ID及びパスワードを入力する。携帯端末は、入力された利用者ID及びパスワードを、携帯端末を識別するための情報(端末ID)と併せてカラオケ装置Kに送信する。ログイン処理部200は、利用者ID等を取得し、当該利用者ID等に基づいて利用者がカラオケ装置Kにログインする処理を行う。ログイン処理を行うことにより、カラオケ装置Kは、現在の利用者(及び利用者が所有する携帯端末)を特定することができる。複数の利用者でカラオケ装置Kを利用する場合、利用者毎にログイン操作を行う。
When using the karaoke machine K, the user first performs a login operation (entering his/her own user ID and password). Specifically, the user activates the karaoke application on his/her own mobile terminal and inputs the user ID and password after the pairing is completed. The mobile terminal transmits the inputted user ID and password to the karaoke machine K together with information (terminal ID) for identifying the mobile terminal. The
ここで、図1の例において、利用者U1~利用者U3が自己の携帯端末を介してカラオケ装置Kにログインした後、利用者U1が携帯端末M1を介して楽曲Xの予約を行うとする。また、楽曲Xには、日本人アーティストが歌唱するオリジナルバージョン(日本語)と、米国人アーティストが歌唱するカバーバージョン(英語)があるとする。この場合、楽曲データ記憶部100には、楽曲Xの演奏データ、日本語による歌詞データ、及び英語による歌詞データが記憶されている。
Here, in the example of FIG. 1, after users U1 to U3 have logged into the karaoke machine K via their mobile terminals, user U1 reserves music X via mobile terminal M1. . It is also assumed that the song X has an original version (Japanese) sung by a Japanese artist and a cover version (English) sung by an American artist. In this case, the music
利用者U1は、楽曲Xの予約にあたり、オリジナルバージョンとカバーバージョンのいずれのカラオケ歌唱を行うかを選択する。利用者U1は日本人であるため、オリジナルバージョンを選択したとする。この場合、第1の言語は「日本語」であり、第2の言語は「英語」となる。携帯端末M1は、楽曲Xの楽曲ID、利用者が選択したバージョンを示すバージョン情報、及び利用者U1の利用者IDをカラオケ装置Kに送信する。 The user U1 selects which karaoke version, the original version or the cover version, is to be sung when reserving the song X. - 特許庁Since the user U1 is Japanese, it is assumed that the original version is selected. In this case, the first language is "Japanese" and the second language is "English". The portable terminal M1 transmits the music ID of the music X, version information indicating the version selected by the user, and the user ID of the user U1 to the karaoke machine K. FIG.
制御部41は、受信した楽曲IDに基づいて楽曲データ記憶部100から楽曲Xの演奏データを読み出し、音響処理部44を制御して、楽曲Xのカラオケ演奏を行う。また、制御部41は、受信したバージョン情報に基づいて楽曲データ記憶部100から楽曲Xの日本語による歌詞データを読み出し、表示処理部45を制御して、当該歌詞データに基づく歌詞テロップ(日本語の歌詞テロップ)を表示装置60やリモコン装置80に表示する。この例において、日本語による歌詞データは「第1の歌詞データ」に相当する。
The
(抽出部)
抽出部300は、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する。
(Extraction part)
The
音高データや音量データの抽出は、公知の手法(たとえば、特開2011-215292号公報)を用いることができる。 A known technique (for example, JP-A-2011-215292) can be used to extract pitch data and volume data.
上記例において楽曲Xの予約を行った利用者U1は、楽曲Xのカラオケ演奏に合わせて、日本語の歌詞テロップを参照しながら楽曲Xのカラオケ歌唱を行う。 In the above example, the user U1 who has made a reservation for the song X performs karaoke singing of the song X while referring to Japanese telops of the lyrics.
抽出部300は、楽曲Xのカラオケ演奏に合わせて利用者U1が日本語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する。
The
(作成部)
作成部400は、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第2の歌詞データ、及びカラオケ歌唱を行う利用者の利用者識別情報に応じてサーバ装置Sから取得した声質パラメータに基づいて、合成歌唱音声信号を作成する。
(creation department)
The creating
合成歌唱音声信号の作成は、公知の手法(たとえば、特開2007-240564号公報)を用いて行うことができる。たとえば、作成部400は、第2の歌詞データに基づいて歌唱音声信号の元となる音声波形を合成し、歌唱音声データに含まれる音高データ及び音量データを、合成した音声波形に適用して音高変化及び音量変化を付与した歌唱音声信号を生成する。作成部400は、生成した歌唱音声信号に、声質パラメータに基づいたイコライジング処理やフォルマント・フィルタ処理などを施すことにより、合成歌唱音声信号を作成する。
A synthesized singing voice signal can be created using a known technique (eg, Japanese Patent Application Laid-Open No. 2007-240564). For example, the creating
声質パラメータは利用者の声そのものを規定し、歌唱音声データは利用者の歌い方を規定する。従って、これらに基づいて作成した合成歌唱音声信号に基づく音声は、利用者がある楽曲を第2の言語でカラオケ歌唱した場合の音声と類似する。 The voice quality parameter defines the user's voice itself, and the singing voice data defines how the user sings. Therefore, the voice based on the synthesized singing voice signal created based on these is similar to the voice when the user sings a song in karaoke in the second language.
上述のように利用者U1が楽曲Xのカラオケ歌唱を日本語で行った場合、作成部400は、抽出部300により抽出された歌唱音声データを取得する。また、作成部400は、楽曲Xのカラオケ演奏に合わせて楽曲データ記憶部100から楽曲Xの英語の歌詞データを取得する。この例において、英語の歌詞データは「第2の歌詞データ」に相当する。更に、作成部400は、利用者U1の利用者IDに基づいて、サーバ装置Sから利用者U1の声質パラメータを取得する。作成部400は、取得した各データ及びパラメータに基づいて、合成歌唱音声信号を作成する。
As described above, when the user U1 sings the karaoke song X in Japanese, the creating
(送信処理部)
送信処理部500は、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する。
(Transmission processing unit)
The
上述のように利用者U1~利用者U3がログイン操作を行った後、利用者U1が楽曲Xのカラオケ歌唱を行う場合、利用者U2及び利用者U3は聴衆にあたる。送信処理部500は、利用者U2が所有する携帯端末M2、及び利用者U3が所有する携帯端末M3に対し、作成した合成歌唱音声信号を送信する。
After the users U1 to U3 perform the login operations as described above, when the user U1 sings the song X in karaoke, the users U2 and U3 are the audience. The
合成歌唱音声信号を受信した携帯端末は、当該携帯端末が備えるスピーカを介して、合成歌唱音声信号に基づく音声を放音する。 The mobile terminal that has received the synthesized singing voice signal emits a sound based on the synthesized singing voice signal through a speaker included in the mobile terminal.
==カラオケシステムにおける処理について==
次に、図5を参照して本実施形態に係るカラオケシステム1における処理の具体例について述べる。図5は、カラオケシステム1における処理例を示すフローチャートである。この例では、利用者U1~利用者U3がカラオケ装置Kを利用する。また、サーバ装置Sの利用者情報記憶部10aは、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶しているとする。また、楽曲Xは、日本語のバージョンと英語のバージョンがあるとする。更に、カラオケ装置Kの楽曲データ記憶部100は、楽曲Xについて、カラオケ演奏を行うための演奏データ、日本語による歌詞データ、及び英語による歌詞データを記憶しているとする。
==About the processing in the karaoke system==
Next, a specific example of processing in the karaoke system 1 according to this embodiment will be described with reference to FIG. FIG. 5 is a flow chart showing an example of processing in the karaoke system 1. As shown in FIG. In this example, the karaoke machine K is used by users U1 to U3. It is also assumed that the user
各利用者は、自己の携帯端末においてカラオケアプリを起動させ、カラオケ装置Kに対してログイン操作を行う。 Each user activates a karaoke application on his/her mobile terminal and performs a login operation to the karaoke apparatus K.
ログイン処理部200は、各携帯端末を介して行われたログイン操作に応じて、各利用者の利用者IDを取得する(ログイン処理。ステップ10)。
The
その後、利用者U1が、楽曲Xについて日本語のバージョンでの歌唱予約を行ったとする。カラオケ装置Kは、楽曲Xの演奏データを楽曲データ記憶部100から読み出し、楽曲Xのカラオケ演奏を開始する(カラオケ演奏の開始。ステップ11)。
After that, assume that the user U1 makes a singing reservation for the Japanese version of the song X. The karaoke apparatus K reads the performance data of the music piece X from the music piece
利用者U1がカラオケ歌唱を開始する前(楽曲Xの前奏中)に、作成部400は、利用者U1の利用者IDをサーバ装置Sに送信する(利用者IDの送信。ステップ12)。
Before the user U1 starts singing karaoke (during the prelude of the music piece X), the
サーバ装置Sは、ステップ12で送信された利用者IDに関連付けられた声質パラメータを利用者情報記憶部10aから読み出し、カラオケ装置Kに送信する(声質パラメータの送信。ステップ13)。
The server device S reads the voice quality parameter associated with the user ID transmitted in step 12 from the user
その後、楽曲Xの前奏が終了し、歌唱区間(カラオケ歌唱を行うための歌詞が付与されている区間)のカラオケ演奏が開始される。カラオケ装置Kは、表示装置60に、日本語による歌詞データに基づく歌詞テロップを表示させる。利用者U1は、歌詞テロップを参照しながら、楽曲Xのカラオケ演奏に合わせて、日本語でカラオケ歌唱を行う(カラオケ歌唱の開始。ステップ14)。
After that, the prelude of the song X ends, and the karaoke performance of the singing section (the section in which the lyrics for singing karaoke are given) is started. The karaoke machine K causes the
抽出部300は、利用者U1の歌唱音声から、歌唱音声データを抽出する(歌唱音声データの抽出。ステップ15)。
The
作成部400は、ステップ15で抽出した歌唱音声データ、カラオケ演奏に合わせて読み出した楽曲Xの英語による歌詞データ、及びステップ13で送信された利用者U1の声質パラメータに基づいて、合成歌唱音声信号を作成する(合成歌唱音声信号の作成。ステップ16)。
The creating
送信処理部500は、ステップ10でログイン操作を行った複数の利用者のうち、利用者U1のカラオケ歌唱を聴いている利用者U2及び利用者U3が所有する携帯端末それぞれに対し、ステップ16で作成した合成歌唱音声信号を送信する(合成歌唱音声信号の送信。ステップ17)。各携帯端末は、合成歌唱音声信号に基づく音声(利用者U1が楽曲Xを英語でカラオケ歌唱した場合の音声と類似する音声)を放音する。各利用者は、楽曲Xのカラオケ演奏に合わせて、合成歌唱音声信号に基づく音声を聴くことができる。
In step 16, the
カラオケ装置Kは、楽曲Xのカラオケ歌唱が終了するまで(ステップ18でYの場合)、ステップ15~ステップ17の処理を繰り返し行う。 The karaoke machine K repeats the processing of steps 15 to 17 until the karaoke singing of the song X is completed (in the case of Y in step 18).
このように、本実施形態に係るカラオケシステム1は、サーバ装置Sとカラオケ装置Kとが通信可能に接続されている。サーバ装置Sは、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者IDと関連付けて記憶する利用者情報記憶部10aを有する。カラオケ装置Kは、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部100と、カラオケ装置Kを利用する利用者が所有する携帯端末からのログイン操作に応じて、当該利用者の利用者IDを取得するログイン処理部200と、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部300と、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第2の歌詞データ、及びカラオケ歌唱を行う利用者の利用者IDに応じてサーバ装置Sから取得した声質パラメータに基づいて、合成歌唱音声信号を作成する作成部400と、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部500と、を有する。
Thus, in the karaoke system 1 according to this embodiment, the server device S and the karaoke device K are connected so as to be able to communicate with each other. The server device S has a user
このようなカラオケシステム1によれば、たとえば利用者U1が楽曲Xについて第1の言語によりカラオケ歌唱を行う際に、利用者U2及び利用者U3は、自己の携帯端末を介して、利用者U1が楽曲Xについて第2の言語によりカラオケ歌唱を行った場合と類似する音声を聴くことができる。従って、第2の言語を母国語とする利用者は、楽曲Xのカラオケ演奏と当該音声を合わせて歌として聴くことができる。また、第2の言語による歌詞が音声として放音されるため、第2の言語を母国語とする利用者は、聴覚的に歌詞の内容を理解できる。すなわち、本実施形態に係るカラオケシステム1によれば、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことができる。 According to such a karaoke system 1, for example, when user U1 sings karaoke for song X in the first language, user U2 and user U3, via their own portable terminals, sing karaoke to user U1. can hear sounds similar to those of singing karaoke for song X in the second language. Therefore, a user whose native language is the second language can listen to the karaoke performance of the song X and the corresponding voice together as a song. In addition, since the lyrics in the second language are emitted as voice, users whose native language is the second language can understand the content of the lyrics aurally. That is, according to the karaoke system 1 according to the present embodiment, even users whose mother tongue is different from that of users who sing karaoke can enjoy singing along with karaoke performances.
なお、上記実施形態において、送信処理部500は、合成歌唱音声信号と併せて第2の歌詞データを送信してもよい。この場合、携帯端末は、当該携帯端末が備える表示画面に、第2の歌詞データに基づく歌詞テロップを表示できる。従って、聴衆はカラオケ歌唱を視覚的にも楽しむことができる。
In addition, in the above embodiment, the
また、楽曲データ記憶部100は、楽曲毎に、第2の言語によるカラオケ歌唱を評価するためのリファレンスデータを記憶することができる。この場合、抽出部300は、抽出した歌唱音声データを、リファレンスデータに基づいて補正して出力することができる。
The song
リファレンスデータは、楽曲の主旋律等を示す音高データである。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準として用いられる。 The reference data is pitch data indicating the main melody of a piece of music. The reference data are used as criteria for scoring karaoke singing by users.
たとえば、上記実施形態の例において、利用者U1の歌唱音声から抽出された音高データは、日本語でカラオケ歌唱を行った場合の音高に基づく。ところで、ある歌詞を日本語で歌唱した場合の音高と英語で歌唱した場合の音高を比べたときに、先頭の音高が一致している場合であっても音節としてみると音高のずれが生じている場合もありうる。 For example, in the example of the above-described embodiment, the pitch data extracted from the singing voice of user U1 is based on the pitch when karaoke is sung in Japanese. By the way, when comparing the pitch of a certain lyric sung in Japanese and the pitch of the song sung in English, even if the pitch at the beginning of the song is the same, the pitch is different when viewed as a syllable. There may be deviations.
そこで、抽出部300は、抽出した音高データのうち、第1の言語と第2の言語で音高が異なる部分については、第2の言語のリファレンスデータが示す音高で置き換える。
Therefore, the extracting
作成部400は、補正された歌唱音声データを用いて合成歌唱音声信号を作成する。このような合成歌唱音声信号に基づく音声は、第2の言語を母国語とする利用者がカラオケ歌唱した場合に近い音声である。従って、たとえば第2の言語が英語の場合、聴衆は、英語としてより自然な音声として聴くことができる。
The
<第2実施形態>
次に、第2実施形態に係るカラオケシステムについて説明する。本実施形態では、カラオケ歌唱を行っている利用者と母国語が異なる利用者に対してのみ合成歌唱音声信号を送信する例について述べる。第1実施形態と同様の構成については詳細な説明を省略する。
<Second embodiment>
Next, a karaoke system according to the second embodiment will be described. In this embodiment, an example will be described in which a synthesized singing voice signal is transmitted only to users whose mother tongue is different from that of users singing karaoke. A detailed description of the configuration similar to that of the first embodiment will be omitted.
本実施形態に係る利用者情報記憶部10aは、利用者の母国語を示す母国語情報を、利用者識別情報と関連付けて記憶する。
The user
たとえば、図1に示した利用者U1及び利用者U2の母国語情報は「日本語」である。一方、利用者U3の母国語情報は「英語」である。母国語情報の記憶は、たとえば声質データを記憶する際に併せて行うことができる。 For example, the native language information of user U1 and user U2 shown in FIG. 1 is "Japanese". On the other hand, user U3's native language information is "English". The native language information can be stored together with voice quality data, for example.
本実施形態に係る送信処理部500は、聴衆の母国語情報に基づいて、第2の言語を母国語とする聴衆のみに合成歌唱音声信号を送信する。
The
たとえば、第1実施形態と同様、利用者U1が楽曲Xのカラオケ歌唱を日本語で行ったとする。 For example, as in the first embodiment, assume that user U1 sings song X in karaoke in Japanese.
この場合、カラオケ装置Kは、サーバ装置Sに対して聴衆である利用者U2及び利用者U3の利用者IDを送信する。サーバ装置Sは、利用者U2及び利用者U3の利用者IDに基づいて、各利用者の母国語情報を利用者情報記憶部10aから読み出し、カラオケ装置Kに送信する。
In this case, the karaoke machine K transmits the user IDs of the audience members U2 and U3 to the server device S. FIG. The server device S reads the native language information of each user from the user
その後、作成部400は、利用者U1のカラオケ歌唱に伴って合成歌唱音声信号を作成する。
After that, the creating
送信処理部500は、作成された合成歌唱音声信号を送信する際に、当該信号の作成に用いた第2の歌詞データに対応する第2の言語を特定する。送信処理部500は、特定した第2の言語と、サーバ装置Sから受信した母国語情報に対応する言語とを比較する。送信処理部500は、第2の言語と母国語情報に対応する言語が一致する利用者に対してのみ合成歌唱音声信号を送信する。
The
上述の通り、利用者U1は楽曲Xのカラオケ歌唱を日本語で行っている。よって、送信処理部500は、楽曲Xの第2の言語(英語)と、母国語情報に対応する言語が一致する利用者U3(母国語が英語)について合成歌唱音声信号を送信する。一方、送信処理部500は、楽曲Xの第2の言語(英語)と、母国語情報に対応する言語が一致しない利用者U2(母国語が日本語)については合成歌唱音声信号を送信しない。
As described above, the user U1 sings the song X in karaoke in Japanese. Therefore, the
このように、本実施形態に係るカラオケシステム1における利用者情報記憶部10aは、利用者の母国語を示す母国語情報を、利用者識別情報と関連付けて記憶する。また、送信処理部500は、聴衆の母国語情報に基づいて、第2の言語を母国語とする聴衆のみに前記合成歌唱音声信号を送信する。
Thus, the user
このように、第2の言語と同じ母国語である利用者に対してのみ合成歌唱音声信号を送信することにより、当該利用者はカラオケ演奏に合わせて歌を楽しむことができる。一方、カラオケシステム1は、第2の言語を母国語としない利用者(たとえば、カラオケ歌唱されている第1の言語を母国語とする利用者)の携帯端末に対して、合成歌唱音声信号を送信する処理を省略できる。 In this way, by transmitting the synthesized singing voice signal only to the users whose native language is the same as the second language, the users can enjoy singing along with the karaoke performance. On the other hand, the karaoke system 1 transmits a synthesized singing voice signal to the mobile terminal of a user whose mother tongue is not the second language (for example, a user whose mother tongue is the first language being sung in karaoke). You can omit the sending process.
<その他>
上記実施形態におけるカラオケシステム1をカラオケ装置Kのみで構成することも可能である。
<Others>
It is also possible to configure the karaoke system 1 in the above embodiment only with the karaoke machine K. FIG.
このようなカラオケ装置Kは、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部100と、カラオケ装置Kの利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部200と、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部300と、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出した第2の歌詞データ、及びカラオケ歌唱を行う利用者の声質を示す声質パラメータに基づいて、合成歌唱音声信号を作成する作成部400と、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部500と、を有する。
Such a karaoke apparatus K converts performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language into music. and a
この例において、声質パラメータは、たとえばサーバ装置Sから取得することができる。また、サーバ装置Sが備える利用者情報記憶部10aに相当する構成をカラオケ装置K側に設けてもよい。この場合、カラオケ装置Kが備える記憶部43の記憶領域の一部が利用者情報記憶部10aとして機能する。或いは、声質パラメータは、カラオケ装置Kを利用する際に都度、取得してもよい。
In this example, the voice quality parameters can be obtained from the server device S, for example. Also, a configuration corresponding to the user
上記実施形態では、一の楽曲について異なる言語による歌詞データが2つ(第1の歌詞データ及び第2の歌詞データ)記憶されていた。一方、一の楽曲について、異なる言語による歌詞データが3つ以上(たとえば、日本語による歌詞データ、英語による歌詞データ、及び中国語による歌詞データ)が記憶されていてもよい。 In the above embodiment, two sets of lyric data (first lyric data and second lyric data) in different languages are stored for one piece of music. On the other hand, three or more pieces of lyric data in different languages (for example, lyric data in Japanese, lyric data in English, and lyric data in Chinese) may be stored for one song.
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiments are presented as examples and are not intended to limit the scope of the invention. The above configurations can be implemented in combination as appropriate, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The above-described embodiments and modifications thereof are included in the scope and spirit of the invention as well as the scope of the invention described in the claims and their equivalents.
1 カラオケシステム
10a 利用者情報記憶部
100 楽曲データ記憶部
200 ログイン処理部
300 抽出部
400 作成部
500 送信処理部
K カラオケ装置
S サーバ装置
1
Claims (5)
前記サーバ装置は、
利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶する利用者情報記憶部を有し、
前記カラオケ装置は、
カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、
前記カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、
ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、
抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記ある楽曲の第2の歌詞データ、及び前記カラオケ歌唱を行う利用者の利用者識別情報に応じて前記サーバ装置から取得した前記声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、
前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、
を有するカラオケシステム。 A karaoke system in which a server device and a karaoke device are communicably connected,
The server device
a user information storage unit that stores a voice quality parameter indicating the voice quality of the user in association with user identification information for identifying the user;
The karaoke device is
A song data storage unit that stores, for each song, performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language. When,
A login processing unit that acquires user identification information of the user in response to a login operation performed via a mobile terminal owned by a user of the karaoke device;
Extracting singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on the performance data of a certain song. Department and
The extracted singing voice data, the second lyric data of the certain song read in accordance with the karaoke performance, and the voice quality parameter acquired from the server device according to the user identification information of the user who sings the karaoke. a creating unit that creates a synthesized singing voice signal based on
A transmission processing unit that transmits the created synthetic singing voice signal to a mobile terminal owned by an audience member who is a user other than the karaoke singing user among the plurality of users who have performed the login operation;
karaoke system.
前記抽出部は、抽出した前記歌唱音声データを、前記リファレンスデータに基づいて補正して出力することを特徴とする請求項1または2記載のカラオケシステム。 The song data storage unit stores reference data for evaluating karaoke singing in the second language for each song,
3. The karaoke system according to claim 1, wherein the extracting unit corrects the extracted singing voice data based on the reference data and outputs the corrected singing voice data.
前記送信処理部は、前記聴衆の母国語情報に基づいて、前記第2の言語を母国語とする聴衆のみに前記合成歌唱音声信号を送信することを特徴とする請求項1~3のいずれか一つに記載のカラオケシステム。 The user information storage unit stores native language information indicating the native language of the user in association with the user identification information,
4. The transmission processing unit according to any one of claims 1 to 3, wherein the transmission processing unit transmits the synthesized singing voice signal only to the audience whose native language is the second language based on the native language information of the audience. A karaoke system according to one.
カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、
ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、
抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記第2の歌詞データ、及び前記カラオケ歌唱を行う利用者の声質を示す声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、
前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、
を有するカラオケ装置。 A song data storage unit that stores, for each song, performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language. When,
A login processing unit that acquires user identification information of a user of the karaoke machine in response to a login operation performed via a mobile terminal owned by the user;
Extracting singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on the performance data of a certain song. Department and
a creation unit for creating a synthesized singing voice signal based on the extracted singing voice data, the second lyric data read in accordance with the karaoke performance, and a voice quality parameter indicating the voice quality of the user singing karaoke; ,
A transmission processing unit that transmits the created synthetic singing voice signal to a mobile terminal owned by an audience member who is a user other than the karaoke singing user among the plurality of users who have performed the login operation;
A karaoke device having
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018219997A JP7117228B2 (en) | 2018-11-26 | 2018-11-26 | karaoke system, karaoke machine |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018219997A JP7117228B2 (en) | 2018-11-26 | 2018-11-26 | karaoke system, karaoke machine |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020086113A JP2020086113A (en) | 2020-06-04 |
JP7117228B2 true JP7117228B2 (en) | 2022-08-12 |
Family
ID=70907875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018219997A Active JP7117228B2 (en) | 2018-11-26 | 2018-11-26 | karaoke system, karaoke machine |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7117228B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112331234A (en) * | 2020-10-27 | 2021-02-05 | 北京百度网讯科技有限公司 | Song multimedia synthesis method and device, electronic equipment and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009244789A (en) | 2008-03-31 | 2009-10-22 | Daiichikosho Co Ltd | Karaoke system with guide vocal creation function |
WO2015060340A1 (en) | 2013-10-23 | 2015-04-30 | ヤマハ株式会社 | Singing voice synthesis |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3890692B2 (en) * | 1997-08-29 | 2007-03-07 | ソニー株式会社 | Information processing apparatus and information distribution system |
-
2018
- 2018-11-26 JP JP2018219997A patent/JP7117228B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009244789A (en) | 2008-03-31 | 2009-10-22 | Daiichikosho Co Ltd | Karaoke system with guide vocal creation function |
WO2015060340A1 (en) | 2013-10-23 | 2015-04-30 | ヤマハ株式会社 | Singing voice synthesis |
Also Published As
Publication number | Publication date |
---|---|
JP2020086113A (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10229669B2 (en) | Apparatus, process, and program for combining speech and audio data | |
JP2006195385A (en) | Device and program for music reproduction | |
JP6457326B2 (en) | Karaoke system that supports transmission delay of singing voice | |
JP6452229B2 (en) | Karaoke sound effect setting system | |
JP7117228B2 (en) | karaoke system, karaoke machine | |
WO2013089202A1 (en) | Language teaching material customization system, language teaching material customization method, and storage medium | |
JP2010140278A (en) | Voice information visualization device and program | |
JP6114634B2 (en) | User-specific singing history update system | |
JP4327165B2 (en) | Music playback device | |
CN114783408A (en) | Audio data processing method and device, computer equipment and medium | |
JP7331645B2 (en) | Information provision method and communication system | |
JP6596903B2 (en) | Information providing system and information providing method | |
JP6587459B2 (en) | Song introduction system in karaoke intro | |
JP6144593B2 (en) | Singing scoring system | |
JP7281386B2 (en) | karaoke device | |
JP7308135B2 (en) | karaoke system | |
JP7299810B2 (en) | karaoke device | |
JP6492754B2 (en) | Musical instruments and musical instrument systems | |
JP6832253B2 (en) | Artificial laryngeal device | |
JP2015191162A (en) | Karaoke device, information processing apparatus and program | |
KR101694365B1 (en) | Method of helping piano performance and apparatus performing the same | |
CN113703882A (en) | Song processing method, device, equipment and computer readable storage medium | |
JP6508567B2 (en) | Karaoke apparatus, program for karaoke apparatus, and karaoke system | |
JP6337723B2 (en) | Karaoke device and method for controlling karaoke device | |
KR101512500B1 (en) | Method for Providing Music Chatting Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |