JP2022120188A - Music reproduction system, method and program for controlling the same - Google Patents

Music reproduction system, method and program for controlling the same Download PDF

Info

Publication number
JP2022120188A
JP2022120188A JP2022098691A JP2022098691A JP2022120188A JP 2022120188 A JP2022120188 A JP 2022120188A JP 2022098691 A JP2022098691 A JP 2022098691A JP 2022098691 A JP2022098691 A JP 2022098691A JP 2022120188 A JP2022120188 A JP 2022120188A
Authority
JP
Japan
Prior art keywords
voice
music
input
input voice
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022098691A
Other languages
Japanese (ja)
Other versions
JP7355165B2 (en
Inventor
秀樹 高野
Hideki Takano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of JP2022120188A publication Critical patent/JP2022120188A/en
Application granted granted Critical
Publication of JP7355165B2 publication Critical patent/JP7355165B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Abstract

PROBLEM TO BE SOLVED: To diversify a method of voice input.
SOLUTION: A music reproduction system includes: a determination unit for determining whether input sound is singing sound or instruction sound other than the singing sound; and an operation control unit for instructing first operation regarding reproduction of music corresponding to the input sound to a reproduction control unit for controlling reproduction of the music when the input sound is determined to be the singing sound and instructing second operation represented by the input sound to the reproduction control unit when the input sound is determined to be the instruction sound.
SELECTED DRAWING: Figure 1
COPYRIGHT: (C)2022,JPO&INPIT

Description

本開示は、楽曲を再生する技術に関する。 The present disclosure relates to technology for reproducing music.

利用者からの入力に応じて楽曲を再生する技術が従来から提案されている。例えば、特許文献１には、利用者がマイクに対して入力する音声に応じて動作するカラオケ装置が開示されている。利用者は、動作の内容を表す音声（例えば「エンソウオンヲオオキク」または「オンカイヲアゲル」等）をマイクに対して発話する。 Techniques for reproducing music in response to user input have been proposed in the past. For example, Patent Literature 1 discloses a karaoke machine that operates in response to voice input by a user into a microphone. The user speaks into the microphone a voice representing the content of the action (for example, "play on" or "play on").

特開平１１－２９６１８２号公報JP-A-11-296182

特許文献１の技術では、利用者がカラオケ装置に動作を指示するための音声は、その動作を直接的に表す音声に限定される。以上の事情を考慮して、本開示は、音声入力の方法を多様化することを目的とする。 In the technique of Patent Document 1, the voice for the user to instruct the karaoke machine to perform is limited to the voice that directly expresses the motion. In consideration of the above circumstances, the present disclosure aims to diversify voice input methods.

以上の課題を解決するために、本開示の好適な態様に係る楽曲再生システムは、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第２動作を前記再生制御部に対して指示する動作制御部とを具備する。 In order to solve the above problems, a music reproduction system according to a preferred aspect of the present disclosure includes a determination unit that determines whether an input voice is a singing voice or an instruction voice other than the singing voice; When it is determined that the input voice is singing voice, instructing a playback control unit that controls the playback of the music to perform a first operation related to playback of the music corresponding to the input voice, and determining that the input voice is the instruction voice. and an operation control unit that instructs the reproduction control unit to perform a second operation represented by the input voice when the determination is made.

本開示の好適な態様に係る楽曲再生システムの制御方法は、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第２動作を前記再生制御部に対して指示する。 A control method for a music reproduction system according to a preferred aspect of the present disclosure determines whether input voice is singing voice or instruction voice other than singing voice, and if the input voice is determined to be singing voice and instructing a reproduction control unit that controls the reproduction of the music to perform a first operation relating to reproduction of the music corresponding to the input sound, and if the input sound is determined to be the instruction sound, the input sound instructs the reproduction control unit to perform the second operation represented by .

本開示の他の態様に係る楽曲再生の制御方法は、楽曲の再生を指示する第１入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、当該提示された楽曲名の楽曲が所望の楽曲であることを表す第２入力音声を受け付けた場合に、前記第１入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。 A music reproduction control method according to another aspect of the present disclosure provides a reproduction control unit with an instruction to present a music name corresponding to a first input voice for instructing reproduction of a music, is the desired music, the reproduction control unit is instructed to reproduce the music corresponding to the first input sound.

本開示の他の態様に係る楽曲再生の制御方法は、入力音声が、楽曲の再生を制御する再生制御部による再生中の楽曲の歌唱音声であるか、当該再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。 In a music playback control method according to another aspect of the present disclosure, the input voice is singing voice of a song being played by a playback control unit that controls playback of the song, or a song other than the song being played by the playback control unit. If it is determined that the input voice is the singing voice of the song being reproduced by the playback control unit, the singing evaluation unit instructs the singing evaluation unit to evaluate the input voice When the input voice is determined to be singing voice of a song other than the song being played by the playback control unit, the playback control unit performs an operation to play back the song corresponding to the input voice. give instructions to

第１実施形態に係る楽曲再生システムの構成を例示するブロック図である。1 is a block diagram illustrating the configuration of a music reproduction system according to a first embodiment; FIG. 動作テーブルの模式図である。4 is a schematic diagram of an operation table; FIG. 端末装置が実行する処理を例示するフローチャートである。4 is a flowchart illustrating processing executed by a terminal device; 歌唱音声であるか否かを判別する処理を例示するフローチャートである。4 is a flowchart illustrating processing for determining whether or not the voice is singing voice; 第２実施形態に係る楽曲再生システムの構成を例示するブロック図である。FIG. 11 is a block diagram illustrating the configuration of a music reproduction system according to a second embodiment; FIG. 端末装置が実行する処理を例示するフローチャートである。4 is a flowchart illustrating processing executed by a terminal device; 第３実施形態に係る楽曲再生システムの構成を例示するブロック図である。FIG. 12 is a block diagram illustrating the configuration of a music reproduction system according to a third embodiment; FIG. 端末装置の構成を例示するブロック図である。It is a block diagram which illustrates the structure of a terminal device. 端末装置の構成を例示するブロック図である。It is a block diagram which illustrates the structure of a terminal device. 処理装置の構成を例示するブロック図である。It is a block diagram which illustrates the structure of a processing apparatus. 変形例に係る制御装置の処理のフローチャートである。It is a flow chart of processing of a control device concerning a modification.

＜第１実施形態＞
図１は、第１実施形態に係る楽曲再生システム１０の構成を例示するブロック図である。第１実施形態に係る楽曲再生システム１０は、利用者Ｕの操作に応じて楽曲を再生するコンピュータシステムである。伴奏音を含む楽曲（すなわちカラオケ曲）が楽曲再生システム１０により再生され、利用者Ｕが当該楽曲に合わせて歌唱する。例えば利用者Ｕが運転する自動車の車内に楽曲再生システム１０が設置される。したがって、複数の操作子を利用した手入力により利用者Ｕが楽曲再生システム１０に各種の動作を指示することが困難である。そこで、楽曲再生システム１０は、利用者Ｕによる音声入力により動作の指示を受け付ける。すなわち、車の運転を妨げずに楽曲再生システム１０の操作が可能になる。例えば携帯電話機およびスマートフォン等の情報端末が楽曲再生システム１０として利用される。 <First Embodiment>
FIG. 1 is a block diagram illustrating the configuration of a music reproduction system 10 according to the first embodiment. A music reproduction system 10 according to the first embodiment is a computer system that reproduces music according to a user's U operation. A piece of music including accompaniment sounds (that is, a karaoke piece) is reproduced by the music reproduction system 10, and the user U sings along with the piece of music. For example, the music reproduction system 10 is installed in the car which the user U drives. Therefore, it is difficult for the user U to instruct various operations to the music reproduction system 10 by manual input using a plurality of operators. Therefore, the music reproduction system 10 accepts an operation instruction from the user U's voice input. That is, it becomes possible to operate the music reproduction system 10 without disturbing the driving of the car. For example, information terminals such as mobile phones and smart phones are used as the music reproduction system 10 .

図１に例示される通り、楽曲再生システム１０は、収音装置１１と制御装置１２と記憶装置１３と再生装置１４とを具備する。収音装置１１は、周囲の音を収音する音響機器（マイクロホン）である。第１実施形態の収音装置１１は、利用者Ｕが発音する音声（すなわち入力音声Ｖ）を受け付ける。収音装置１１が受け付けた入力音声Ｖにより楽曲再生システム１０が動作する。具体的には、歌唱音声と歌唱音声以外の指示音声とが入力音声Ｖとして例示される。歌唱音声は、利用者Ｕが任意の楽曲を歌唱する音声である。複数の音符で構成される旋律を伴う音声が歌唱音声である。他方、指示音声は、旋律を伴わない音声である。具体的には、指示音声は、楽曲再生システム１０に各種の動作を指示する音声である。例えば、楽曲の再生、停止、キーの変更、または、音量の変更等の動作を指示する指示音声が想定される。収音装置１１は、利用者Ｕからの入力音声Ｖを受け付けて、当該入力音声Ｖの波形を表す音響信号Ｘを生成する。すなわち、歌唱音声または指示音声を表す音響信号Ｘが生成される。なお、実際には、歌唱音声および指示音声とは異なる音声（以下「発話音声」という）も収音装置１１により収音される。発話音声は、例えば会話による音声などである。 As illustrated in FIG. 1, the music reproduction system 10 includes a sound collection device 11, a control device 12, a storage device 13, and a reproduction device . The sound pickup device 11 is an acoustic device (microphone) that picks up ambient sounds. The sound collecting device 11 of the first embodiment receives a voice pronounced by the user U (that is, the input voice V). The music reproduction system 10 operates according to the input sound V received by the sound collection device 11 . Specifically, a singing voice and an instruction voice other than the singing voice are exemplified as the input voice V. FIG. The singing voice is the voice of the user U singing an arbitrary piece of music. A singing voice is a voice accompanied by a melody composed of a plurality of notes. On the other hand, the instruction voice is a voice without a melody. Specifically, the instruction sound is a sound that instructs the music reproduction system 10 to perform various operations. For example, an instruction voice for instructing an operation such as playing or stopping music, changing keys, or changing volume is assumed. The sound collection device 11 receives an input voice V from a user U and generates an acoustic signal X representing the waveform of the input voice V. FIG. That is, an acoustic signal X representing singing voice or instruction voice is generated. In practice, the sound pickup device 11 also picks up sounds (hereinafter referred to as “speech sounds”) that are different from the singing voices and instruction sounds. Spoken voice is, for example, voice of conversation.

制御装置１２（コンピュータの例示）は、例えばＣＰＵ（Central Processing Unit）等の処理回路で構成され、楽曲再生システム１０の各要素を統括的に制御する。制御装置１２は、記憶装置１３に記憶されたプログラムを実行することで複数の機能（判別部１２１、動作制御部１２３および再生制御部１２５）を実現する。なお、制御装置１２の一部の機能を専用の電子回路で実現してもよい。また、制御装置１２の機能を複数の装置に搭載してもよい。 The control device 12 (an example of a computer) is composed of a processing circuit such as a CPU (Central Processing Unit), and controls each element of the music reproduction system 10 in an integrated manner. The control device 12 implements a plurality of functions (the discrimination section 121, the operation control section 123, and the reproduction control section 125) by executing the programs stored in the storage device 13. FIG. A part of the functions of the control device 12 may be realized by a dedicated electronic circuit. Also, the functions of the control device 12 may be installed in a plurality of devices.

記憶装置１３は、制御装置１２が実行するプログラムと、制御装置１２が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置１３として任意に採用される。図１に例示される通り、相異なる複数の楽曲をそれぞれ表す複数の楽曲データＭと、動作テーブルとが記憶装置１３に記憶される。例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のファイル（ＳＭＦ：Standard MIDI File）が楽曲データＭとして好適である。なお、楽曲の演奏音の波形を表わすオーディオファイルを楽曲データＭとして利用してもよい。第１実施形態の楽曲データＭは、楽曲名と演奏データと参照データとを含む。演奏データは、複数の演奏パートの各々について音符列（演奏内容）を指定する時系列データである。参照データは、歌唱パートの音符列（ガイドメロディ）を指定する時系列データである。演奏データと参照データとは、同一の楽曲データＭ内の相異なるチャンネルのデータである。なお、楽曲再生システム１０と通信可能なウェブサーバに複数の楽曲データＭを記憶してもよい。 The storage device 13 stores programs executed by the control device 12 and various data used by the control device 12 . For example, a known recording medium such as a semiconductor recording medium and a magnetic recording medium, or a combination of a plurality of types of recording media can be arbitrarily adopted as the storage device 13 . As illustrated in FIG. 1, the storage device 13 stores a plurality of music data M each representing a plurality of different music and an operation table. For example, a file (SMF: Standard MIDI File) conforming to the MIDI (Musical Instrument Digital Interface) standard is suitable as the music data M. Note that an audio file representing the waveform of the performance sound of a piece of music may be used as the piece of music data M. FIG. The music data M of the first embodiment includes music titles, performance data, and reference data. Performance data is time-series data that designates a string of notes (performance content) for each of a plurality of performance parts. The reference data is time-series data that specifies the note string (guide melody) of the singing part. The performance data and the reference data are data of different channels within the same music data M. FIG. A plurality of pieces of music data M may be stored in a web server that can communicate with the music reproduction system 10 .

再生装置１４は、制御装置１２（再生制御部１２５）による制御のもとで、各種の楽曲を再生する再生機器である。具体的には、再生装置１４は、記憶装置１３に記憶される楽曲データＭが表す楽曲を放音する放音装置（スピーカ）を含む。なお、再生装置１４が表示装置を含んでもよい。 The playback device 14 is a playback device that plays back various songs under the control of the control device 12 (playback control unit 125). Specifically, the playback device 14 includes a sound emitting device (speaker) that emits the music represented by the music data M stored in the storage device 13 . Note that the playback device 14 may include a display device.

図２は、動作テーブルの模式図である。動作テーブルは、楽曲再生システム１０の複数の相異なる動作が登録されたデータテーブルである。図２に例示される通り、各動作には、当該動作を表す文字列（以下「登録文字列」という）が対応付けられる。具体的には、利用者Ｕによる発音が想定される指示音声を表す文字列に対応（例えば類似または一致）する登録文字列が登録される。例えば楽曲の再生の停止を指示する指示音声（例えば文字列「停止して」を発音する指示音声）に対応する登録文字列「停止」が例示される。 FIG. 2 is a schematic diagram of an operation table. The action table is a data table in which a plurality of different actions of the music reproduction system 10 are registered. As illustrated in FIG. 2, each action is associated with a character string representing the action (hereinafter referred to as "registered character string"). Specifically, a registered character string corresponding to (for example, similar to or matching with) a character string representing an instruction voice expected to be pronounced by the user U is registered. For example, a registered character string "stop" corresponding to an instruction voice instructing to stop playing a music piece (for example, an instruction voice pronouncing the character string "stop") is exemplified.

図１の判別部１２１は、収音装置１１が生成した音響信号Ｘから、利用者Ｕによる入力音声Ｖが歌唱音声であるか指示音声であるかを判別する。動作制御部１２３は、楽曲の再生に関する各種の動作（例えば楽曲の再生、停止またはキーの変更）を再生制御部１２５に対して指示する。第１実施形態の動作制御部１２３は、判別部１２１による判別結果に応じた動作を再生制御部１２５に指示する。 The discrimination unit 121 in FIG. 1 discriminates, from the sound signal X generated by the sound collection device 11, whether the input voice V by the user U is a singing voice or an instruction voice. The operation control unit 123 instructs the reproduction control unit 125 to perform various operations related to music reproduction (for example, music reproduction, stop, or key change). The operation control unit 123 of the first embodiment instructs the reproduction control unit 125 to operate according to the determination result of the determination unit 121 .

再生制御部１２５は、楽曲の再生を制御する。具体的には、再生制御部１２５は、動作制御部１２３からの指示を実行することで、楽曲を再生する再生装置１４を制御する。第１実施形態の再生制御部１２５は、データ処理部と音源部とを具備する。データ処理部は、楽曲データＭに含まれる演奏データに基づいて楽曲の各音符の発音または消音を指示する。音源部は、データ処理部からの指示に応じて楽曲の演奏音を表す音響信号を生成して再生装置１４に供給する。再生装置１４は、再生制御部１２５から供給される音響信号を再生する。 The reproduction control unit 125 controls reproduction of music. Specifically, the reproduction control unit 125 executes the instruction from the operation control unit 123 to control the reproduction device 14 that reproduces the music. The reproduction control section 125 of the first embodiment includes a data processing section and a sound source section. Based on the performance data included in the music data M, the data processing unit instructs the sounding or muting of each note of the music. The sound source unit generates an acoustic signal representing the performance sound of a piece of music according to an instruction from the data processing unit, and supplies the acoustic signal to the playback device 14 . The reproduction device 14 reproduces the acoustic signal supplied from the reproduction control section 125 .

図３は、制御装置１２が実行する処理を例示するフローチャートである。以下の説明では、楽曲が再生されていない状態（以下「待機状態」という）を前提として、音声入力により楽曲再生システム１０に動作を指示する場合を想定する。第１実施形態では、利用者Ｕが所望する楽曲の再生を楽曲再生システム１０に指示する。利用者Ｕは、所望する楽曲の歌唱音声、または、当該楽曲の再生を指示する指示音声を発音することで、楽曲の再生を指示することが可能である。楽曲名または楽曲を識別する識別情報（例えば番号）を含む文字列を発話する音声が指示音声として好適である。例えば楽曲「ＡＢＣ」の再生を指示する場合には、当該楽曲「ＡＢＣ」を歌唱する歌唱音声、または、例えば文字列「［ＡＢＣ］を再生」を発音した指示音声が入力音声Ｖとして例示される。すなわち、第１実施形態では、歌唱音声および指示音声の各々は、利用者Ｕが所望する楽曲「ＡＢＣ」を指定する音声であるとも換言できる。 FIG. 3 is a flowchart illustrating processing executed by the control device 12 . In the following description, it is assumed that music is not being reproduced (hereinafter referred to as "standby state"), and that an operation is instructed to the music reproduction system 10 by voice input. In the first embodiment, the user U instructs the music reproduction system 10 to reproduce the desired music. The user U can give an instruction to play back a song by uttering a singing voice of a desired song or an instruction voice for instructing playback of the song. A voice that utters a character string including a song title or identification information (for example, a number) for identifying a song is suitable as the instruction voice. For example, when instructing the reproduction of the song "ABC", the singing voice singing the song "ABC" or the instruction voice pronounced, for example, the character string "play [ABC]" is exemplified as the input voice V. . That is, in the first embodiment, it can be said that each of the singing voice and the instruction voice is a voice that designates the song "ABC" that the user U desires.

例えば収音装置１１が入力音声Ｖを受け付けると、図３の処理が実行される。図３の処理を開始すると、判別部１２１は、入力音声Ｖが歌唱音声であるか歌唱音声以外の音声（すなわち指示音声または発話音声）であるかを判別する（Ｓa1）。 For example, when the sound collection device 11 receives an input voice V, the processing in FIG. 3 is executed. When the process of FIG. 3 is started, the discrimination unit 121 discriminates whether the input voice V is singing voice or voice other than singing voice (that is, instruction voice or utterance voice) (Sa1).

図４は、ステップＳa1の処理を例示するフローチャートである。判別部１２１は、記憶装置１３に記憶された複数の参照データの各々について、当該参照データと音響信号Ｘとの類似の度合を表す指標（以下「類似指標」という）を算出する（Ｓa11）。例えば参照データが音符毎に指定するピッチと音響信号Ｘから検出される各ピッチとの類似の度合を表す指標が類似指標として利用される。例えば、参照データと音響信号Ｘとの音符毎のピッチの差分を音符列について合算した値が類似指標として利用される。音響信号Ｘのピッチの検出には、公知のピッチ検出技術が採用される。判別部１２１は、複数の参照データのそれぞれについて算出された複数の類似指標のうちの最大値が、所定の閾値を上回るか否かを判定する（Ｓa12）。判別部１２１は、当該最大値が所定の閾値を上回る場合（Ｓa12：YES）、入力音声Ｖが、当該最大値に対応する参照データが表す楽曲の歌唱音声であると判別する（Ｓa13）。すなわち、ステップＳa13により、利用者Ｕが歌唱する楽曲の参照データが特定される。類似指標の算出には、動的時間伸縮法（ＤＴＷ：Dynamic Time Warping）、鼻歌検索（Query by Singing/Humming）等の公知の技術が任意に採用される。なお、動的時間伸縮法により類似指標を算出する構成によれば、音響信号Ｘと参照データとのテンポおよびキーの相違も推定することが可能になる。 FIG. 4 is a flowchart illustrating the processing of step Sa1. For each of the plurality of reference data stored in the storage device 13, the determination unit 121 calculates an index (hereinafter referred to as "similarity index") representing the degree of similarity between the reference data and the acoustic signal X (Sa11). For example, an index representing the degree of similarity between the pitch specified by the reference data for each note and each pitch detected from the acoustic signal X is used as the similarity index. For example, a value obtained by summing the pitch differences for each note between the reference data and the acoustic signal X for each note string is used as the similarity index. A known pitch detection technique is used to detect the pitch of the acoustic signal X. FIG. The determination unit 121 determines whether or not the maximum value among the plurality of similarity indices calculated for each of the plurality of reference data exceeds a predetermined threshold (Sa12). When the maximum value exceeds the predetermined threshold value (Sa12: YES), the determination unit 121 determines that the input voice V is the singing voice of the music represented by the reference data corresponding to the maximum value (Sa13). That is, at step Sa13, the reference data of the music sung by the user U is specified. Known techniques such as dynamic time warping (DTW), humming search (Query by Singing/Humming), and the like are arbitrarily adopted to calculate the similarity index. In addition, according to the configuration for calculating the similarity index by the dynamic time warping method, it is possible to estimate the difference in tempo and key between the sound signal X and the reference data.

他方、判別部１２１は、当該最大値が所定の閾値を下回る場合（Ｓa12：NO）、入力音声Ｖが歌唱音声以外の音声であると判別する（Ｓa14）。以上の説明から理解される通り、ステップＳa1では、入力音声Ｖが歌唱音声であるか否かが判別されるとともに、入力音声Ｖが歌唱音声であると判別された場合には当該入力音声Ｖに対応する楽曲（つまり利用者Ｕが歌唱している楽曲）が特定される。 On the other hand, when the maximum value is less than the predetermined threshold (Sa12: NO), the determination unit 121 determines that the input voice V is voice other than singing voice (Sa14). As can be understood from the above description, in step Sa1, it is determined whether or not the input voice V is singing voice, and if it is determined that the input voice V is singing voice, the input voice V is A corresponding piece of music (that is, a piece of music sung by the user U) is specified.

動作制御部１２３は、入力音声Ｖが歌唱音声であると判別された場合（Ｓa1：YES）、再生制御部１２５に対して第１動作を指示する（Ｓa2）。第１動作は、入力音声Ｖ（歌唱音声）に対応する楽曲の再生に関する動作である。第１実施形態では、入力音声Ｖに対応する楽曲を再生する動作が第１動作として再生制御部１２５に指示される。具体的には、判別部１２１は、ステップＳa13により特定された参照データが表す楽曲（すなわち入力音声Ｖが表す楽曲）を再生する第１動作を再生制御部１２５に指示する。第１実施形態の第１動作は、入力音声Ｖに対応する楽曲を当該入力音声Ｖに対応する位置から再生する動作である。例えば、楽曲のうち利用者Ｕが歌唱した部分の直後から当該楽曲を再生する第１動作が指示される。すなわち、利用者Ｕは、楽曲の再生を指示するための歌唱音声に連続して当該楽曲を歌唱することができる。 When the input voice V is determined to be singing voice (Sa1: YES), the motion control section 123 instructs the reproduction control section 125 to perform the first motion (Sa2). The first operation is an operation related to reproduction of music corresponding to the input voice V (singing voice). In the first embodiment, the reproduction control unit 125 is instructed to reproduce music corresponding to the input voice V as the first operation. Specifically, the determination unit 121 instructs the reproduction control unit 125 to perform the first operation of reproducing the music represented by the reference data specified in step Sa13 (that is, the music represented by the input voice V). A first operation of the first embodiment is an operation of reproducing a piece of music corresponding to an input voice V from a position corresponding to the input voice V. FIG. For example, the first operation of reproducing the music immediately after the part of the music sung by the user U is instructed. That is, the user U can sing the song in succession to the singing voice for instructing reproduction of the song.

再生制御部１２５は、第１動作を実行する（Ｓa3）。具体的には、再生制御部１２５は、入力音声Ｖに対応する楽曲を再生装置１４に再生させる。具体的には、再生制御部１２５は、入力音声Ｖに対応する楽曲を当該入力音声Ｖに対応する位置から再生装置１４に再生させる。具体的には、再生制御部１２５は、入力音声Ｖに対応する楽曲の演奏データに応じた音響信号を、当該入力音声Ｖに対応する部分から時系列に再生装置１４に供給する。以上の説明から理解される通り、利用者Ｕが歌唱音声を発音した場合には、入力音声Ｖに対応する楽曲が特定され、当該楽曲が再生される。なお、前述の通り、動的時間伸縮法により入力音声Ｖに対応する楽曲を特定する構成によれば、音響信号Ｘと参照データとのテンポおよびキーの相違の推定が可能であるので、入力音声Ｖに応じたテンポおよびキーで楽曲を再生することが可能になる。 The reproduction control unit 125 executes the first operation (Sa3). Specifically, the reproduction control unit 125 causes the reproduction device 14 to reproduce the music corresponding to the input voice V. FIG. Specifically, the reproduction control unit 125 causes the reproduction device 14 to reproduce the piece of music corresponding to the input voice V from the position corresponding to the input voice V. FIG. Specifically, the reproduction control unit 125 supplies an acoustic signal corresponding to performance data of a piece of music corresponding to the input voice V to the reproduction device 14 in time series from the portion corresponding to the input voice V. FIG. As can be understood from the above description, when the user U pronounces the singing voice, the music corresponding to the input voice V is identified and played back. As described above, according to the configuration for specifying a piece of music corresponding to the input voice V by the dynamic time warping method, it is possible to estimate the difference in tempo and key between the acoustic signal X and the reference data. It becomes possible to reproduce music with a tempo and key corresponding to V.

他方、判別部１２１は、入力音声Ｖが歌唱音声以外の音声であると判別された場合（Ｓa1：NO）、入力音声Ｖが指示音声であるか指示音声以外の音声（すなわち発話音声）であるかを判別する（Ｓa4）。具体的には、判別部１２１は、入力音声Ｖを表す文字列（以下「入力文字列」という）に類似する登録文字列が動作テーブルに登録されている場合には、入力音声Ｖが指示音声であると判別し、入力文字列に類似する登録文字列が動作テーブルに登録されていない場合には、入力音声Ｖが指示音声以外の音声であると判別する。入力文字列と登録文字列との対比には、例えば編集距離等の公知の技術が任意に採用される。入力文字列は、例えば音響信号Ｘに対する音声認識により特定される。例えば、入力文字列「［ＡＢＣ］を再生」が特定された場合には、図２の動作テーブルの登録文字列「［楽曲名］を再生」が特定される。また、入力文字列の［楽曲名］に対応する参照データが特定される。例えば形態素解析等の自然言語処理を入力文字列に対して実行することで固有名詞（例えば［ＡＢＣ］）を抽出し、当該固有名詞と楽曲データＭの楽曲名との対比により、再生対象の楽曲が特定される。具体的には、複数の楽曲データＭの楽曲名のうち、入力文字列から抽出された固有名詞に類似する楽曲名がある場合には、当該楽曲名に対応する演奏データが特定される。なお、入力文字列の［楽曲名］に対応する演奏データが存在しない場合には、例えば［楽曲名］に対応する演奏データが存在しないことを利用者Ｕに知らせてもよい。例えば文字列「［楽曲名］はありません。」を表す音声または画像が再生される。以上の説明から理解される通り、ステップＳa4では、入力音声Ｖが指示音声であると判別された場合には、当該入力音声Ｖが表す楽曲の演奏データも特定される。なお、動作テーブルは、楽曲再生システム１０と通信可能なサーバ装置に記憶してもよい。以上の構成では、楽曲再生システム１０が入力音声Ｖまたは入力文字列をサーバ装置に送信し、サーバ装置で入力音声Ｖが指示音声であるか否かの判別がされる。 On the other hand, if the determination unit 121 determines that the input voice V is other than the singing voice (Sa1: NO), the input voice V is the command voice or the voice other than the command voice (that is, the utterance voice). (Sa4). Specifically, if a registered character string similar to a character string representing the input voice V (hereinafter referred to as an “input character string”) is registered in the operation table, the determination unit 121 determines that the input voice V is the instruction voice. , and if no registered character string similar to the input character string is registered in the action table, it is determined that the input voice V is a voice other than the instruction voice. For comparison between the input character string and the registered character string, a known technique such as edit distance is arbitrarily adopted. The input character string is identified by speech recognition of the acoustic signal X, for example. For example, when the input character string "play [ABC]" is specified, the registered character string "play [music name]" in the operation table of FIG. 2 is specified. Also, the reference data corresponding to the input character string [song name] is identified. For example, by executing natural language processing such as morphological analysis on the input character string, a proper noun (for example, [ABC]) is extracted. is identified. Specifically, if there is a song name similar to the proper noun extracted from the input character string among the song names of the plurality of song data M, the performance data corresponding to the song name is specified. If there is no performance data corresponding to the input character string [music title], the user U may be notified that there is no performance data corresponding to [music title], for example. For example, a sound or image representing the string "There is no [music name]" is played. As can be understood from the above description, in step Sa4, if the input voice V is determined to be the instruction voice, the performance data of the music represented by the input voice V is also specified. Note that the operation table may be stored in a server device that can communicate with the music reproduction system 10 . In the above configuration, the music reproduction system 10 transmits the input voice V or the input character string to the server device, and the server device determines whether or not the input voice V is the command voice.

動作制御部１２３は、入力音声Ｖが指示音声であると判定された場合（Ｓa4：YES）、当該入力音声Ｖが表す第２動作を再生制御部１２５に対して指示する（Ｓa5）。動作テーブルの複数の動作のうち、入力文字列に類似する登録文字列に対応する動作が第２動作として指示される。すなわち、入力音声Ｖ（指示音声）で指定された楽曲「ＡＢＣ」を再生する第２動作が指示される。第１実施形態の第２動作は、指示音声で指定された楽曲を先頭から再生する動作である。すなわち、第１動作は、歌唱音声による指示に基づく動作であるのに対して、第２動作は指示音声に基づく動作である。第１実施形態では、第１動作と第２動作とは相異なる動作である。再生制御部１２５は、第２動作を実行する（Ｓa6）。第１実施形態の再生制御部１２５は、指示音声で指定された楽曲を再生装置１４に再生させる。具体的には、再生制御部１２５は、指示音声で指定された楽曲に対応する演奏データに応じた音響信号を先頭から再生装置１４に供給する。具体的には、ステップＳa4で特定された演奏データが表わす楽曲が再生される。なお、再生制御部１２５は、演奏データおよび参照データに応じた音響信号を再生装置１４に供給してもよい。以上の説明から理解される通り、利用者Ｕが指示音声を発音した場合には、当該指示音声が指定する楽曲が特定され、当該楽曲が再生される。 When the input voice V is determined to be the instruction voice (Sa4: YES), the motion control unit 123 instructs the reproduction control unit 125 to perform the second motion indicated by the input voice V (Sa5). Among the plurality of actions in the action table, the action corresponding to the registered character string similar to the input character string is designated as the second action. That is, the second operation of reproducing the music "ABC" specified by the input voice V (instruction voice) is instructed. The second operation of the first embodiment is an operation of playing back the music designated by the instruction voice from the beginning. That is, the first action is an action based on an instruction by singing voice, while the second action is an action based on an instruction voice. In the first embodiment, the first action and the second action are different actions. The reproduction control unit 125 executes the second operation (Sa6). The reproduction control unit 125 of the first embodiment causes the reproduction device 14 to reproduce the music designated by the instruction voice. Specifically, the reproduction control unit 125 supplies the reproduction device 14 with an acoustic signal corresponding to the performance data corresponding to the music designated by the instruction voice from the beginning. Specifically, the piece of music represented by the performance data specified in step Sa4 is reproduced. Note that the reproduction control section 125 may supply the reproduction device 14 with an acoustic signal corresponding to the performance data and the reference data. As can be understood from the above description, when the user U pronounces the instruction voice, the song specified by the instruction voice is specified and played back.

他方、動作制御部１２３は、入力音声Ｖが指示音声以外の音声（すなわち会話音等の発話音声）であると判定された場合（Ｓa4：NO）、再生制御部１２５に対して何も指示しない（Ｓa7）。以上の説明から理解される通り、ステップＳa1とステップＳa4とで、入力音声Ｖが歌唱音声であるか指示音声であるかが判別される。また、ステップＳa1-Ｓa3の処理と、ステップＳa4-Ｓa6の処理との順番は逆でもよいし、双方の処理が並行して実行されてもよい。 On the other hand, if the input voice V is determined to be a voice other than the instruction voice (that is, an utterance voice such as a conversational sound) (Sa4: NO), the operation control unit 123 does not instruct the reproduction control unit 125 to do anything. (Sa7). As can be understood from the above description, it is determined in steps Sa1 and Sa4 whether the input voice V is a singing voice or an instruction voice. Further, the order of the processing of steps Sa1-Sa3 and the processing of steps Sa4-Sa6 may be reversed, or both processings may be executed in parallel.

以上の説明から理解される通り、第１実施形態では、入力音声Ｖが歌唱音声であると判別された場合には、入力音声Ｖに対応する楽曲の再生に関する第１動作が再生制御部１２５に指示される。一方で、入力音声Ｖが指示音声であると判別された場合には、当該入力音声Ｖが表す第２動作が再生制御部１２５に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。また、第１実施形態では、第１動作と第２動作とが相異なる動作であるから、入力音声Ｖの種類（歌唱音声／指示音声）を適宜に変更することで、所望する動作を再生制御部１２５に指示することが可能である。具体的には、歌唱音声が入力された場合には、当該歌唱音声（入力音声Ｖ）に対応する楽曲を当該歌唱音声に対応する位置から再生する第１動作が指示され、楽曲の再生を指示する指示音声が入力された場合には、当該指示音声（入力音声Ｖ）に対応する楽曲を先頭から再生する第２動作が指示される。 As can be understood from the above description, in the first embodiment, when the input voice V is determined to be singing voice, the playback control unit 125 instructs the playback control unit 125 to perform the first operation related to playback of the music piece corresponding to the input voice V. instructed. On the other hand, when the input voice V is determined to be the instruction voice, the reproduction control unit 125 is instructed to perform the second action indicated by the input voice V. FIG. In other words, it is possible to input a variety of voices using singing voices and command voices. In addition, in the first embodiment, since the first action and the second action are different actions, the type of the input voice V (singing voice/instruction voice) is appropriately changed to reproduce and control the desired action. 125 can be instructed. Specifically, when a singing voice is input, a first action of playing back a song corresponding to the singing voice (input voice V) from a position corresponding to the singing voice is instructed, and the playback of the song is instructed. When an instruction voice to play is input, a second operation of reproducing the music corresponding to the instruction voice (input voice V) from the beginning is instructed.

＜第２実施形態＞
本開示の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。 <Second embodiment>
A second embodiment of the present disclosure will be described. It should be noted that, in each of the following illustrations, the reference numerals used in the description of the first embodiment are used for the elements whose functions are the same as those of the first embodiment, and detailed description of each will be omitted as appropriate.

第１実施形態では、楽曲が再生されていない待機状態を前提としたが、第２実施形態では、既に楽曲が再生されている状態（以下「再生状態」という）を前提として、音声入力により楽曲再生システム１０に動作を指示する場面を想定する。 In the first embodiment, it is assumed that the music is in a standby state in which no music is being played. A scene is assumed in which an operation is instructed to the playback system 10 .

図５は、第２実施形態に係る楽曲再生システム１０の構成図である。図５に例示される通り、第２実施形態の楽曲再生システム１０は、第１実施形態の楽曲再生システム１０に、歌唱評価部１２７を追加した構成である。収音装置１１は、第１実施形態と同様に、利用者Ｕからの入力音声Ｖを受け付ける。判別部１２１は、第１実施形態と同様に、利用者Ｕによる入力音声Ｖが歌唱音声であるか指示音声であるかを判別する。 FIG. 5 is a configuration diagram of a music reproduction system 10 according to the second embodiment. As illustrated in FIG. 5, the music reproduction system 10 of the second embodiment has a configuration in which a song evaluation section 127 is added to the music reproduction system 10 of the first embodiment. The sound collection device 11 receives an input voice V from the user U, as in the first embodiment. As in the first embodiment, the determination unit 121 determines whether the input voice V by the user U is a singing voice or an instruction voice.

また、第２実施形態の判別部１２１は、入力音声Ｖが、再生制御部１２５による再生中の楽曲の歌唱音声であるか、再生制御部１２５による再生中の楽曲以外の歌唱音声であるかを判別する。歌唱評価部１２７は、利用者Ｕの歌唱音声を評価する。具体的には、歌唱評価部１２７は、利用者Ｕの歌唱音声と、当該歌唱音声（入力音声Ｖ）に対応する楽曲の参照データとを比較することで、歌唱音声に対する評価を表す評価値（例えば得点）を生成する。評価値の生成には、公知の任意の技術が採用される。歌唱評価部１２７より生成された評価値は、例えば再生装置１４により再生（放音または表示）される。 Further, the determination unit 121 of the second embodiment determines whether the input voice V is the singing voice of the song being played by the playback control unit 125 or the singing voice of the song other than the song being played by the playback control unit 125. discriminate. The song evaluation unit 127 evaluates the user U's singing voice. Specifically, the singing evaluation unit 127 compares the singing voice of the user U with the reference data of the music corresponding to the singing voice (input voice V), thereby obtaining an evaluation value ( score). Any known technique is employed to generate the evaluation value. The evaluation value generated by the song evaluation unit 127 is reproduced (generated or displayed) by the reproduction device 14, for example.

図６は、第２実施形態に係る制御装置１２が実行する処理を例示するフローチャートである。例えば収音装置１１が入力音声Ｖを受け付けると、図６の処理が実行される。図６のフローチャートは、図３で例示したステップＳa1-Ｓa7の処理に加えて、ステップＳa8-Ｓa10の処理を実行する。 FIG. 6 is a flowchart illustrating processing executed by the control device 12 according to the second embodiment. For example, when the sound collection device 11 receives the input sound V, the processing of FIG. 6 is executed. In the flowchart of FIG. 6, the processes of steps Sa8-Sa10 are executed in addition to the processes of steps Sa1-Sa7 illustrated in FIG.

図６の処理が開始されると、判別部１２１は、入力音声Ｖが歌唱音声であるか歌唱音声以外の音声であるかを判別する（Ｓa1）。第１実施形態と同様に、複数の参照データについて算定された類似指標の最大値と閾値との対比により、入力音声Ｖが歌唱音声であるか否かが判別される。 When the process of FIG. 6 is started, the determination unit 121 determines whether the input voice V is singing voice or voice other than singing voice (Sa1). As in the first embodiment, it is determined whether or not the input voice V is singing voice by comparing the maximum value of the similarity index calculated for a plurality of reference data and the threshold value.

判別部１２１は、入力音声Ｖが歌唱音声であると判別された場合（Ｓa1：YES）、当該入力音声Ｖが、再生制御部１２５による再生中の楽曲の歌唱音声であるか、再生制御部１２５による再生中の楽曲以外の楽曲の歌唱音声であるかを判別する（Ｓa8）。具体的には、図４のステップＳa13で特定された参照データ（すなわち、類似指標が最大値であり、かつ、当該最大値が閾値を超える参照データ）の楽曲が再生されている場合には、入力音声Ｖが再生中の楽曲の歌唱音声であると判別される。他方、図４のステップＳa13で特定された参照データの楽曲が再生されていない場合には、入力音声Ｖが再生中の楽曲以外の楽曲の歌唱音声であると判別される。 When the determination unit 121 determines that the input voice V is singing voice (Sa1: YES), the determining unit 121 determines whether the input voice V is the singing voice of the song being played by the playback control unit 125. (Sa8). Specifically, when the music of the reference data specified in step Sa13 of FIG. It is determined that the input voice V is the singing voice of the song being reproduced. On the other hand, when the music of the reference data identified in step Sa13 of FIG. 4 is not being reproduced, it is determined that the input voice V is singing voice of a music other than the music being reproduced.

動作制御部１２３は、入力音声Ｖが再生中の楽曲の歌唱音声であると判別された場合（Ｓa8：YES）、当該入力音声Ｖを評価する第３動作を歌唱評価部１２７に対して指示する（Ｓa9）。歌唱評価部１２７は、第３動作を実行する（Ｓa10）。具体的には、歌唱音声の評価値が生成される。他方、動作制御部１２３は、入力音声Ｖが再生中の楽曲以外の歌唱音声であると判別された場合（Ｓa8：NO）、第１動作を再生制御部１２５に対して指示する（Ｓa2）。第１動作は、第１実施形態と同様に、入力音声Ｖに対応する楽曲を再生する動作である。ただし、第２実施形態では、入力音声Ｖに対応する楽曲を再生中の楽曲の後に再生（すなわち予約再生）する動作を第１動作として例示する。なお、再生中の楽曲を停止して当該入力音声Ｖに対応する楽曲を再生（すなわち即時再生）する第１動作を指示してもよい。再生制御部１２５は、第１動作を実行する（Ｓa3）。第２実施形態の再生制御部１２５は、入力音声Ｖに対応する楽曲を再生中の楽曲の後に再生装置１４に再生させる。 When the operation control unit 123 determines that the input voice V is the singing voice of the song being reproduced (Sa8: YES), the operation control unit 123 instructs the singing evaluation unit 127 to perform the third operation of evaluating the input voice V. (Sa9). The song evaluation unit 127 performs a third action (Sa10). Specifically, an evaluation value of the singing voice is generated. On the other hand, when the input voice V is determined to be a singing voice other than the song being reproduced (Sa8: NO), the motion control section 123 instructs the playback control section 125 to perform the first motion (Sa2). The first operation is an operation of reproducing music corresponding to the input voice V, as in the first embodiment. However, in the second embodiment, the operation of playing back the song corresponding to the input voice V after the song being played back (that is, reserved playback) is exemplified as the first action. It is also possible to instruct the first operation of stopping the music being reproduced and reproducing the music corresponding to the input voice V (that is, immediate reproduction). The reproduction control unit 125 executes the first operation (Sa3). The reproduction control unit 125 of the second embodiment causes the reproduction device 14 to reproduce the music corresponding to the input voice V after the music being reproduced.

他方、判別部１２１は、第１実施形態と同様に、入力音声Ｖが歌唱音声以外の音声であると判別された場合（Ｓa1：NO）、入力音声Ｖが指示音声であるか指示音声以外の音声であるかを判別する（Ｓa4）。動作制御部１２３は、第１実施形態と同様に、入力音声Ｖが指示音声であると判定された場合（Ｓa4：YES）、当該入力音声Ｖが表す第２動作を再生制御部１２５に対して指示する（Ｓa5）。図２に例示される通り、例えば、再生中の楽曲を停止する動作、キーを変更する動作、または、音量を大きくする動作等の各種の動作が第２動作として例示される。なお、所望の楽曲の再生を指示する指示音声を利用者Ｕが発音した場合には、当該指示音声が指定する楽曲を再生（予約再生または即時再生）する第２動作が指示される。 On the other hand, as in the first embodiment, if the input voice V is determined to be a voice other than a singing voice (Sa1: NO), the determination unit 121 determines whether the input voice V is a command voice or a voice other than a command voice. It is determined whether it is voice (Sa4). As in the first embodiment, when the input voice V is determined to be an instruction voice (Sa4: YES), the motion control unit 123 notifies the reproduction control unit 125 of the second motion represented by the input voice V. instruct (Sa5). As exemplified in FIG. 2, various operations such as an operation of stopping the music being reproduced, an operation of changing the key, or an operation of increasing the volume are exemplified as the second operation. It should be noted that when the user U utters an instruction voice instructing reproduction of a desired song, a second action of playing back (reserved playback or immediate playback) the song specified by the instruction voice is instructed.

再生制御部１２５は、第１実施形態と同様に、第２動作を実行する（Ｓa6）。例えば、楽曲の再生を停止する第２動作が指示された場合には、楽曲の再生を停止させる。他方、動作制御部１２３は、入力音声Ｖが指示音声以外の音声であると判定された場合（Ｓa4：NO）、再生制御部１２５に対して指示しない（Ｓa7）。 The reproduction control unit 125 executes the second operation (Sa6), as in the first embodiment. For example, when the second action of stopping the reproduction of the music is instructed, the reproduction of the music is stopped. On the other hand, when the input voice V is determined to be voice other than the instruction voice (Sa4: NO), the operation control section 123 does not instruct the reproduction control section 125 (Sa7).

第２実施形態においても第１実施形態と同様の効果が実現される。第２実施形態では、入力音声Ｖが再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する第３動作が歌唱評価部１２７に指示され、入力音声Ｖが再生中の楽曲以外の歌唱音声である場合には、当該入力音声Ｖに対応する楽曲を再生する第１動作が再生制御部１２５に指示される。したがって、入力音声Ｖが再生中の楽曲の歌唱音声であるか否かに応じて、第１動作と第３動作との指示を変更することができる。なお、第２実施形態においても、待機状態では、第１実施形態で例示した処理が実行される。 The same effects as in the first embodiment are achieved in the second embodiment. In the second embodiment, when the input voice V is the singing voice of the song being played, the singing evaluation unit 127 is instructed to perform the third operation of evaluating the input voice, and the input voice V is the song other than the song being played. , the playback control unit 125 is instructed to perform the first operation of playing back the music corresponding to the input voice V. Therefore, it is possible to change the instruction between the first action and the third action depending on whether or not the input voice V is the singing voice of the song being reproduced. Also in the second embodiment, the process illustrated in the first embodiment is executed in the standby state.

第１実施形態および第２実施形態で説明した通り、入力音声Ｖ（歌唱音声）に対応する楽曲の再生に関する第１動作は、例えば入力音声Ｖに対応する楽曲を再生（即時再生／予約再生）する動作である。また、入力音声Ｖ（指示音声）が表す第２動作は、例えば、当該入力音声Ｖで指定される楽曲を再生（即時再生／予約再生）する動作、または、再生中の楽曲を制御（例えばキー、音量または再生速度の変更）する動作である。ただし、第１動作と第２動作との内容は、以上の例示に限定されない。また、待機状態と再生状態とで共通の楽曲を歌唱する歌唱音声を受け付けた場合に、待機状態と再生状態とで相異なる第１動作を指示する構成が好適である。待機状態では、入力音声Ｖに対応する楽曲を再生する第１動作が指示され、再生状態では、入力音声Ｖを評価する第３動作が指示される。ただし、待機状態と再生状態とで、共通の動作（例えば楽曲を再生する第１動作）が共通に指示されてもよい。 As described in the first embodiment and the second embodiment, the first operation related to reproduction of music corresponding to input voice V (singing voice) is, for example, reproduction of music corresponding to input voice V (immediate reproduction/reserved reproduction). It is an action to do. Further, the second action represented by the input voice V (instruction voice) is, for example, an action of playing back (immediate playback/reserved playback) the music specified by the input voice V, or an action of controlling the song being played back (for example, key , volume or playback speed). However, the contents of the first action and the second action are not limited to the above examples. Further, it is preferable to configure a configuration in which different first actions are instructed in the standby state and in the playback state when singing voices for singing a piece of music common to the standby state and the playback state are received. In the standby state, the first operation of reproducing the music corresponding to the input voice V is instructed, and in the reproducing state, the third operation of evaluating the input voice V is instructed. However, a common action (for example, the first action of playing music) may be commonly instructed in the standby state and the playback state.

＜第３実施形態＞
第１実施形態では、楽曲再生システム１０の機能を単体の端末装置で実現したが、第３実施形態では、楽曲再生システム１０の機能を複数の装置で実現する。図７は、第３実施形態に係る楽曲再生システム１０の構成を例示するブロック図である。図７に例示される通り、第３実施形態の楽曲再生システム１０は、端末装置２０と端末装置３０と処理装置４０とを具備する。 <Third Embodiment>
In the first embodiment, the functions of the music reproduction system 10 are realized by a single terminal device, but in the third embodiment, the functions of the music reproduction system 10 are realized by a plurality of devices. FIG. 7 is a block diagram illustrating the configuration of the music reproduction system 10 according to the third embodiment. As illustrated in FIG. 7, the music reproduction system 10 of the third embodiment includes a terminal device 20, a terminal device 30, and a processing device 40. FIG.

処理装置４０は、利用者Ｕが所望する楽曲を再生する再生機器である。例えば車内に搭載されるカーナビゲーション機器またはカーオーディオ機器等が処理装置４０として好適である。利用者Ｕは、端末装置２０および端末装置３０に対する音声入力により処理装置４０に対して動作の指示が可能である。端末装置２０および端末装置３０は、利用者Ｕからの入力音声Ｖを共通に受け付けて、当該入力音声Ｖに応じた指示を処理装置４０に送信する情報端末である。処理装置４０が搭載された車内に、端末装置２０および端末装置３０が設置される。端末装置２０は、歌唱音声を受け付けて第１動作の指示Ｐ1を処理装置４０に送信する。例えば携帯電話機およびスマートフォン等の情報端末が端末装置２０として好適である。他方、端末装置３０は、指示音声を受け付けて第２動作の指示Ｐ2を処理装置４０に送信する。例えば、スマートスピーカ等の音声対話装置が端末装置３０として好適である。端末装置２０および端末装置３０の各々は、処理装置４０と有線または無線により通信可能である。 The processing device 40 is a reproduction device that reproduces music that the user U desires. For example, a car navigation device or a car audio device mounted in a vehicle is suitable as the processing device 40 . The user U can give operation instructions to the processing device 40 by voice input to the terminal device 20 and the terminal device 30 . The terminal device 20 and the terminal device 30 are information terminals that commonly receive an input voice V from the user U and transmit an instruction according to the input voice V to the processing device 40 . The terminal device 20 and the terminal device 30 are installed in the vehicle in which the processing device 40 is mounted. The terminal device 20 receives the singing voice and transmits a first action instruction P1 to the processing device 40 . For example, information terminals such as mobile phones and smart phones are suitable as the terminal device 20 . On the other hand, the terminal device 30 receives the command voice and transmits the second action command P2 to the processing device 40 . For example, a voice interaction device such as a smart speaker is suitable as the terminal device 30 . Each of terminal device 20 and terminal device 30 can communicate with processing device 40 by wire or wirelessly.

図８は、端末装置２０の構成を例示するブロック図である。図８に例示される通り、端末装置２０は、収音装置２１と通信装置２２と制御装置２３と記憶装置２４とを具備する。収音装置２１は、周囲の音を収音する音響機器（マイクロホン）である。具体的には、収音装置２１は、利用者Ｕからの入力音声Ｖを受け付けて、当該入力音声Ｖを表す音響信号Ｘを生成する。 FIG. 8 is a block diagram illustrating the configuration of the terminal device 20. As shown in FIG. As illustrated in FIG. 8, the terminal device 20 includes a sound pickup device 21, a communication device 22, a control device 23, and a storage device 24. FIG. The sound pickup device 21 is an acoustic device (microphone) that picks up ambient sounds. Specifically, the sound collecting device 21 receives an input voice V from the user U and generates an acoustic signal X representing the input voice V. FIG.

制御装置２３（コンピュータの例示）は、例えばＣＰＵ等の処理回路で構成され、楽曲再生システム１０の各要素を統括的に制御する。制御装置２３は、記憶装置２４に記憶されたプログラムを実行することで複数の機能（第１処理部２３１および第１動作制御部２３３）を実現する。なお、制御装置２３の一部の機能を専用の電子回路で実現してもよい。また、制御装置２３の機能を複数の装置に搭載してもよい。 The control device 23 (exemplified as a computer) is composed of a processing circuit such as a CPU, for example, and controls each element of the music reproduction system 10 in an integrated manner. The control device 23 implements a plurality of functions (the first processing section 231 and the first operation control section 233) by executing programs stored in the storage device 24 . A part of the functions of the control device 23 may be realized by a dedicated electronic circuit. Also, the functions of the control device 23 may be installed in a plurality of devices.

記憶装置２４は、制御装置２３が実行するプログラムと、制御装置２３が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置２４として任意に採用され得る。図８に例示される通り、第３実施形態の記憶装置２４は、相異なる複数の楽曲にそれぞれ対応する複数の参照データを記憶する。 The storage device 24 stores programs executed by the control device 23 and various data used by the control device 23 . For example, a known recording medium such as a semiconductor recording medium and a magnetic recording medium, or a combination of multiple types of recording media can be arbitrarily adopted as the storage device 24 . As illustrated in FIG. 8, the storage device 24 of the third embodiment stores a plurality of pieces of reference data respectively corresponding to a plurality of different pieces of music.

第１処理部２３１は、収音装置２１が生成した音響信号Ｘから、利用者Ｕによる入力音声Ｖが歌唱音声であるか歌唱音声以外の音声（すなわち指示音声または発話音声）であるかを判別する。図３で例示したステップＳa1（図４のＳa11-Ｓa14）と同様の処理で、入力音声Ｖが歌唱音声であるか否かが判別される。具体的には、記憶装置２４に記憶された複数の参照データの各々と音響信号Ｘとの間で算出された類似指標が、入力音声Ｖが歌唱音声であるか否かの判別に利用される。 The first processing unit 231 determines from the acoustic signal X generated by the sound collection device 21 whether the input voice V by the user U is singing voice or voice other than singing voice (that is, instruction voice or utterance voice). do. By the same processing as step Sa1 (Sa11-Sa14 in FIG. 4) illustrated in FIG. 3, it is determined whether or not the input voice V is singing voice. Specifically, a similarity index calculated between each of the plurality of reference data stored in the storage device 24 and the acoustic signal X is used to determine whether the input voice V is singing voice. .

第１動作制御部２３３は、入力音声Ｖが歌唱音声であると判別された場合に、第１動作の指示Ｐ1を通信装置２２から処理装置４０に対して送信させる。第１動作の指示Ｐ1は、例えば、第１実施形態と同様に、入力音声Ｖに対応する楽曲を再生する動作である。通信装置２２は、第１動作制御部２３３の制御のもとで、第１動作の指示Ｐ1を処理装置４０に送信する。なお、入力音声Ｖが歌唱音声でないと判別（つまり歌唱音声以外の音声であると判別）された場合には、第１動作の指示Ｐ1は送信されない。処理装置４０は、端末装置２０から送信された指示Ｐ1を受信する。 The first motion control unit 233 causes the communication device 22 to transmit a first motion instruction P1 to the processing device 40 when the input voice V is determined to be a singing voice. The instruction P1 for the first action is, for example, the action of reproducing a piece of music corresponding to the input voice V, as in the first embodiment. The communication device 22 transmits a first motion instruction P1 to the processing device 40 under the control of the first motion control section 233 . If it is determined that the input voice V is not singing voice (that is, it is determined that it is voice other than singing voice), instruction P1 for the first action is not transmitted. The processing device 40 receives the instruction P1 transmitted from the terminal device 20 .

図９は、端末装置３０の構成を例示するブロック図である。図９に例示される通り、端末装置３０は、収音装置３１と通信装置３２と制御装置３３と記憶装置３４とを具備する。収音装置３１は、周囲の音を収音する音響機器（マイクロホン）である。具体的には、収音装置３１は、端末装置２０の収音装置２１と同様に、利用者Ｕからの入力音声Ｖを受け付けて、当該入力音声Ｖを表す音響信号Ｘを生成する。 FIG. 9 is a block diagram illustrating the configuration of the terminal device 30. As shown in FIG. As illustrated in FIG. 9, the terminal device 30 includes a sound pickup device 31, a communication device 32, a control device 33, and a storage device . The sound pickup device 31 is an acoustic device (microphone) that picks up ambient sounds. Specifically, the sound pickup device 31 receives an input speech V from the user U and generates an acoustic signal X representing the input speech V, like the sound pickup device 21 of the terminal device 20 .

制御装置３３（コンピュータの例示）は、例えばＣＰＵ等の処理回路で構成され、楽曲再生システム１０の各要素を統括的に制御する。制御装置３３は、記憶装置３４に記憶されたプログラムを実行することで複数の機能（第２処理部３３１および第２動作制御部３３３）を実現する。なお、制御装置３３の一部の機能を専用の電子回路で実現してもよい。また、制御装置３３の機能を複数の装置に搭載してもよい。 The control device 33 (an example of a computer) is composed of a processing circuit such as a CPU, for example, and controls each element of the music reproduction system 10 in an integrated manner. The control device 33 implements a plurality of functions (the second processing section 331 and the second operation control section 333) by executing programs stored in the storage device 34. FIG. A part of the functions of the control device 33 may be realized by a dedicated electronic circuit. Also, the functions of the control device 33 may be installed in a plurality of devices.

記憶装置３４は、制御装置３３が実行するプログラムと、制御装置３３が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置３４として任意に採用され得る。図９に例示される通り、第３実施形態の記憶装置３４は、第１実施形態と同様の動作テーブルと、複数の楽曲データＭにそれぞれ対応する複数の楽曲名とを記憶する。 The storage device 34 stores programs executed by the control device 33 and various data used by the control device 33 . For example, a known recording medium such as a semiconductor recording medium and a magnetic recording medium, or a combination of multiple types of recording media can be arbitrarily adopted as the storage device 34 . As illustrated in FIG. 9, the storage device 34 of the third embodiment stores an operation table similar to that of the first embodiment, and a plurality of song titles corresponding to the plurality of song data M, respectively.

第２処理部３３１は、収音装置３１が生成した音響信号Ｘから、利用者Ｕによる入力音声Ｖが指示音声であるか指示音声以外の音声（すなわち歌唱音声または発話音声）であるかを判別する。入力音声Ｖが指示音声であるか否かの判別には、第１実施形態と同様に、動作テーブルが利用される。また、指示音声が楽曲の再生を指示する場合には、記憶装置３４に記憶された複数の楽曲名のうち、指示音声が指定する楽曲名が特定される。楽曲名の特定には、第１実施形態と同様に、入力文字列に対する形態素解析等の自然言語処理が利用される。なお、第２処理部３３１での処理と第１処理部２３１での処理は、並行して実行される。 The second processing unit 331 determines from the acoustic signal X generated by the sound collection device 31 whether the input voice V by the user U is the command voice or a voice other than the command voice (that is, singing voice or utterance voice). do. An operation table is used to determine whether or not the input voice V is an instruction voice, as in the first embodiment. Further, when the instruction voice instructs reproduction of a song, the song name specified by the instruction voice is specified among the plurality of song names stored in the storage device 34 . As in the first embodiment, natural language processing such as morphological analysis of the input character string is used to identify the song title. The processing in the second processing unit 331 and the processing in the first processing unit 231 are executed in parallel.

第２動作制御部３３３は、入力音声Ｖが指示音声であると判別された場合に、第２動作の指示Ｐ2を通信装置３２から処理装置４０に対して送信させる。第２動作は、例えば、第１実施形態と同様に、指示音声が指定する楽曲を再生する動作である。具体的には、第２処理部３３１が特定した楽曲名に対応する演奏データを再生する第２動作の指示Ｐ2が送信される。通信装置３２は、第２動作制御部３３３の制御のもとで、第２動作の指示Ｐ2を処理装置４０に送信する。なお、入力音声Ｖが指示音声でないと判別（つまり指示音声以外の音声であると判別）された場合には、第２動作の指示Ｐ2は送信されない。処理装置４０は、端末装置３０から送信された第２動作の指示Ｐ2を受信する。 The second motion control unit 333 causes the communication device 32 to transmit a second motion command P2 to the processing device 40 when the input voice V is determined to be an instruction voice. The second action is, for example, the action of reproducing the music designated by the instruction voice, as in the first embodiment. Specifically, a second operation instruction P2 for reproducing performance data corresponding to the music name specified by the second processing unit 331 is transmitted. The communication device 32 transmits a second action instruction P2 to the processing device 40 under the control of the second action control section 333 . If it is determined that the input voice V is not the instruction voice (that is, it is determined to be a voice other than the instruction voice), the instruction P2 for the second action is not transmitted. The processing device 40 receives the second action instruction P2 transmitted from the terminal device 30 .

図１０は、処理装置４０の構成を例示するブロック図である。図１０に例示される通り、処理装置４０は、再生装置４１と通信装置４２と制御装置４３と記憶装置４４とを具備する。制御装置４３（コンピュータの例示）は、例えばＣＰＵ等の処理回路で構成され、楽曲再生システム１０の各要素を統括的に制御する。制御装置４３は、記憶装置４４に記憶されたプログラムを実行することで再生制御部４３１を実現する。なお、制御装置４３の一部の機能を専用の電子回路で実現してもよい。また、制御装置４３の機能を複数の装置に搭載してもよい。 FIG. 10 is a block diagram illustrating the configuration of the processing device 40. As shown in FIG. As illustrated in FIG. 10, the processing device 40 includes a playback device 41, a communication device 42, a control device 43, and a storage device 44. The control device 43 (an example of a computer) is composed of a processing circuit such as a CPU, and controls each element of the music reproduction system 10 in an integrated manner. The control device 43 implements the reproduction control section 431 by executing a program stored in the storage device 44 . Part of the functions of the control device 43 may be realized by a dedicated electronic circuit. Also, the functions of the control device 43 may be installed in a plurality of devices.

記憶装置４４は、制御装置４３が実行するプログラムと、制御装置４３が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せが、記憶装置４４として任意に採用され得る。図１０に例示される通り、第３実施形態の記憶装置４４は、第１実施形態と同様に、複数の楽曲データＭを記憶する。 The storage device 44 stores programs executed by the control device 43 and various data used by the control device 43 . For example, a known recording medium such as a semiconductor recording medium and a magnetic recording medium, or a combination of multiple types of recording media can be arbitrarily adopted as the storage device 44 . As illustrated in FIG. 10, the storage device 44 of the third embodiment stores a plurality of pieces of music data M, as in the first embodiment.

再生装置４１は、制御装置４３の指示のもとで楽曲を再生する再生機器である。通信装置４２は、端末装置２０から第１動作の指示Ｐ1を受信する。また、端末装置３０から第２動作の指示Ｐ2を受信する。 The playback device 41 is a playback device that plays back music under instructions from the control device 43 . The communication device 42 receives the first action instruction P1 from the terminal device 20 . Also, the instruction P2 for the second operation is received from the terminal device 30 .

再生制御部４３１は、通信装置４２が受信した指示Ｐ1または指示Ｐ2を実行することで、再生装置４１を制御する。すなわち、再生制御部４３１は、端末装置２０の第１動作制御部２３３から指示された第１動作、または、端末装置３０の第２動作制御部３３３から指示された第２動作を実行する。第３実施形態の再生制御部４３１は、第１実施形態と同様のデータ処理部と音源部とを含み、第１動作制御部２３３または第２動作制御部３３３の指示に応じて演奏データから生成した音響信号を、再生装置４１に供給する。再生装置４１は、再生制御部４３１から供給された音響信号に応じた楽曲を再生する。 The reproduction control unit 431 controls the reproduction device 41 by executing the instruction P1 or the instruction P2 received by the communication device 42 . That is, the reproduction control section 431 executes the first action instructed by the first action control section 233 of the terminal device 20 or the second action instructed by the second action control section 333 of the terminal device 30 . The reproduction control section 431 of the third embodiment includes the same data processing section and sound source section as those of the first embodiment, and is generated from performance data according to instructions from the first operation control section 233 or the second operation control section 333. The resulting acoustic signal is supplied to the reproducing device 41 . The reproduction device 41 reproduces music corresponding to the acoustic signal supplied from the reproduction control section 431 .

以上の説明から理解される通り、端末装置２０の第１処理部２３１と端末装置３０の第２処理部３３１とで、入力音声Ｖが歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部として機能する。すなわち、判別部の機能を複数の装置で実現してもよい。また、端末装置２０の第１動作制御部２３３と端末装置３０の第２動作制御部３３３とは、入力音声Ｖが歌唱音声であると判別された場合に、当該入力音声Ｖに対応する楽曲の再生に関する第１動作を再生制御部４３１に対して指示し、入力音声Ｖが指示音声であると判別された場合に、当該入力音声Ｖが表す第２動作を再生制御部４３１に対して指示する動作制御部として機能する。すなわち、動作制御部の機能を複数の装置で実現してもよい。 As can be understood from the above description, the first processing unit 231 of the terminal device 20 and the second processing unit 331 of the terminal device 30 determine whether the input voice V is singing voice or instruction voice other than singing voice. It functions as a discrimination unit that discriminates. That is, the function of the determination unit may be realized by a plurality of devices. Further, the first operation control unit 233 of the terminal device 20 and the second operation control unit 333 of the terminal device 30, when it is determined that the input voice V is a singing voice, play music corresponding to the input voice V. Instructs the reproduction control unit 431 to perform the first operation related to reproduction, and instructs the reproduction control unit 431 to perform the second operation represented by the input sound V when it is determined that the input sound V is the instruction sound. Functions as an operation control unit. That is, the functions of the operation control unit may be realized by a plurality of devices.

以上の説明から理解される通り、楽曲再生システム１０の機能を単一の装置で実現するか、複数の装置で実現するかは任意である。なお、複数の装置で実現する構成は、第３実施形態で例示した構成に限定されない。例えば、端末装置２０の第１処理部２３１および第１動作制御部２３３を、端末装置２０と通信可能なサーバ装置に搭載してもよい。具体的には、端末装置２０は、収音装置２１が生成した音響信号Ｘをサーバ装置に送信する。サーバ装置は、端末装置２０から受信した音響信号Ｘから第１動作を特定して、当該第１動作の指示Ｐ1を端末装置２０に送信する。そして、端末装置２０は、サーバ装置から送信された第１動作の指示Ｐ1を処理装置４０に送信する。また、端末装置３０の第２処理部３３１および第２動作制御部３３３の何れか一方をサーバ装置に搭載してもよい。なお、第３実施形態の構成を第２実施形態に適用してもよい。 As understood from the above description, it is arbitrary whether the functions of the music reproduction system 10 are realized by a single device or by a plurality of devices. Note that the configuration realized by a plurality of devices is not limited to the configuration illustrated in the third embodiment. For example, the first processing unit 231 and the first operation control unit 233 of the terminal device 20 may be installed in a server device capable of communicating with the terminal device 20 . Specifically, the terminal device 20 transmits the acoustic signal X generated by the sound pickup device 21 to the server device. The server device identifies the first action from the acoustic signal X received from the terminal device 20 and transmits an instruction P1 for the first action to the terminal device 20 . Then, the terminal device 20 transmits to the processing device 40 the instruction P1 for the first action transmitted from the server device. Either one of the second processing unit 331 and the second operation control unit 333 of the terminal device 30 may be installed in the server device. Note that the configuration of the third embodiment may be applied to the second embodiment.

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。 <Modification>
Specific modified aspects added to the above-exemplified aspects are illustrated below. A plurality of aspects arbitrarily selected from the following examples may be combined as appropriate within a mutually consistent range.

（１）前述の各形態では、楽曲再生システム１０の収音装置が入力音声Ｖを受け付けたが、楽曲再生システム１０とは別個の収音装置を入力音声Ｖの受け付けに利用してもよい。例えば、車内に設置された収音装置、または、着脱可能な収音装置が入力音声Ｖの受け付けに利用される。以上の説明から理解される通り、楽曲再生システム１０と収音装置との一体／別体は任意である。 (1) In each of the above embodiments, the sound pickup device of the music reproduction system 10 receives the input sound V, but a sound pickup device separate from the music reproduction system 10 may be used to receive the input sound V. FIG. For example, a sound pickup device installed in the vehicle or a detachable sound pickup device is used to receive the input voice V. FIG. As can be understood from the above description, integration/separation of the music reproduction system 10 and the sound collection device is optional.

（２）前述の各形態では、演奏データおよび参照データを含む楽曲データＭを例示したが、楽曲名、演奏データおよび参照データとは異なるデータを楽曲データＭが含んでもよい。例えば、歌詞を表す歌詞データを楽曲データＭが含んでもよい。例えば歌詞の提示に歌詞データが利用される。例えば表示により歌詞を提示してもよいし、歌詞を表す音響を放音することで歌詞を提示してもよい。 (2) In each of the above embodiments, the music data M including the performance data and the reference data was exemplified, but the music data M may include data different from the music name, the performance data and the reference data. For example, the song data M may include lyrics data representing lyrics. For example, lyrics data is used to present lyrics. For example, the lyrics may be presented by display, or may be presented by emitting sounds representing the lyrics.

（３）前述の各形態において、入力音声Ｖが歌唱音声であるか指示音声であるかを判別する具体的な処理の方法は任意である。例えば、歌詞データが楽曲データＭに含まれる場合には、入力音声Ｖが表す文字列を音声認識により特定して、当該文字列と各楽曲データＭの歌詞データとを比較することで入力音声Ｖが歌唱音声であるか否かを判別してもよい。また、入力音声Ｖに対する音声認識、または、機械学習により得られたニューラルネットワーク等の学習済モデル（人工知能）等の公知の技術を利用して入力音声Ｖが指示音声であるか否かを判別してもよい。以上の構成では、指示音声が表す指示の内容も特定される。以上の説明から理解される通り、入力音声Ｖが指示音声であるか否かの判別に動作テーブルは必須ではない。 (3) In each of the above embodiments, any specific processing method may be used to determine whether the input voice V is a singing voice or an instruction voice. For example, when lyric data is included in the music data M, the character string represented by the input voice V is specified by speech recognition, and the character string is compared with the lyric data of each music data M to obtain the input voice V. You may discriminate|determine whether is a singing voice. In addition, it is determined whether or not the input voice V is an instruction voice using known techniques such as voice recognition for the input voice V or a trained model (artificial intelligence) such as a neural network obtained by machine learning. You may With the above configuration, the content of the instruction represented by the instruction voice is also specified. As can be understood from the above description, the operation table is not essential for determining whether or not the input voice V is the command voice.

（４）前述の各形態において、楽曲を再生する第１動作または第２動作の指示により楽曲を再生する前に、当該楽曲を利用者Ｕに提示する処理（以下「楽曲提示処理」という）を楽曲再生システム１００が実行してもよい。楽曲提示処理では、例えば楽曲名を利用者Ｕに提示する。図１１は、楽曲提示処理のフローチャートである。楽曲の再生を指示する入力音声Ｖ（以下「第１入力音声」という）を収音装置１１が受け付けると、図１１の処理が開始される。第１入力音声は、歌唱音声でも指示音声でもよい。例えば楽曲「ＡＢＣ」の再生を指示する場合には、当該楽曲「ＡＢＣ」を歌唱する歌唱音声、または、例えば文字列「［ＡＢＣ］を再生」を発音した指示音声が第１入力音声として例示される。 (4) In each of the above-described forms, the process of presenting the music to the user U (hereinafter referred to as "music presentation process") before the music is reproduced by the instruction of the first or second operation for reproducing the music. The music reproduction system 100 may execute this. In the music presenting process, for example, the title of the music is presented to the user U. FIG. 11 is a flowchart of music presentation processing. When the sound collecting device 11 receives an input voice V (hereinafter referred to as a “first input voice”) that instructs reproduction of music, the processing in FIG. 11 is started. The first input voice may be singing voice or instruction voice. For example, when instructing the reproduction of the song "ABC", a singing voice singing the song "ABC" or an instruction voice pronouncing the character string "play [ABC]", for example, is exemplified as the first input voice. be.

制御装置１２は、第１入力音声に対応する楽曲名を特定する（Ｓb1）。すなわち第１入力音声により再生の指示がされた楽曲の楽曲名が特定される。動作制御部１２３は、第１入力音声に対応する楽曲名の提示の指示を再生制御部１２５に付与する（Ｓb2）。再生装置１４は、再生制御部１２５の指示により楽曲名を提示する。例えば、楽曲名を表す音（例えば「［楽曲名］ですか？」を表す音）が再生装置１４により放音される。なお、楽曲名を表す文字列を再生装置１４により表示してもよい。 The control device 12 identifies the music title corresponding to the first input voice (Sb1). That is, the music name of the music whose reproduction is instructed by the first input voice is specified. The operation control unit 123 instructs the reproduction control unit 125 to present the music title corresponding to the first input voice (Sb2). The playback device 14 presents the song title according to the instruction from the playback control unit 125 . For example, the playback device 14 emits a sound representing a song name (for example, a sound representing "Is it [music name]?"). Note that the character string representing the song title may be displayed by the playback device 14 .

利用者Ｕは、再生装置１４により再生された楽曲名の楽曲が所望の楽曲である場合には、当該楽曲名の楽曲が所望の楽曲であることを表す入力音声Ｖ（以下「第２入力音声」という）を発音する。第２入力音声は、例えば「はい」を発話した音声である。なお、利用者Ｕは、再生装置１４により再生された楽曲名の楽曲が所望の楽曲でない場合には、当該楽曲名の楽曲が所望の楽曲でないことを表す音声（例えば「いいえ」を発話した音声）を発音する。 When the song having the name of the song reproduced by the playback device 14 is the desired song, the user U inputs the input voice V (hereinafter referred to as "second input voice ). The second input voice is, for example, voice of uttering "yes". If the song having the name of the song played back by the playback device 14 is not the desired song, the user U may select a voice (for example, a voice of uttering "no") indicating that the song having the name of the song is not the desired song. ).

制御装置１２は、収音装置１１が第２入力音声を受け付けたか否かを判定する（Ｓb3）。第２入力音声を受け付けたと判定された場合（Ｓb3：YES）、動作制御部１２３は、第１入力音声に対応する楽曲を再生する動作を再生制御部１２５に対して指示する（Ｓb4）。すなわち、再生装置１４により再生された楽曲名の楽曲が再生される。 The control device 12 determines whether or not the sound collection device 11 has received the second input sound (Sb3). When it is determined that the second input voice has been received (Sb3: YES), the operation control section 123 instructs the reproduction control section 125 to reproduce the music corresponding to the first input sound (Sb4). That is, the music having the name of the music reproduced by the reproduction device 14 is reproduced.

他方、第２入力音声以外の入力音声Ｖを受け付けたと判定された場合（Ｓb3：ＮＯ）、第１入力音声に対応する楽曲は再生されない。なお、楽曲再生システム１０は、所望しない楽曲であることを表す入力Ｖ音声を受け付けた場合、再生する楽曲を特定しなおしてもよい。以上の説明から理解される通り、楽曲提示処理では、第１入力音声により特定された楽曲が所望する楽曲であるか否かを、楽曲の再生の前に利用者Ｕが確認できるという利点がある。 On the other hand, if it is determined that the input voice V other than the second input voice has been accepted (Sb3: NO), the music corresponding to the first input voice is not reproduced. Note that the music reproduction system 10 may re-specify the music to be reproduced when receiving an input V voice indicating that the music is an undesired music. As can be understood from the above description, the music presentation process has the advantage that the user U can confirm whether or not the music specified by the first input voice is the desired music before the music is played. .

（５）前述の各形態では、楽曲再生システム１０を車内で利用したが、楽曲再生システム１０を利用する場所は任意である。 (5) In each of the above embodiments, the music reproduction system 10 is used in the vehicle, but the music reproduction system 10 can be used anywhere.

（６）前述の各形態では、楽曲再生システム１０はカラオケ曲を再生したが、楽曲再生システム１０が再生する楽曲は以上の例示に限定されない。例えば、歌唱者による歌声を含む楽曲を再生してもよい。 (6) In each of the above embodiments, the music reproduction system 10 reproduces karaoke music, but the music reproduced by the music reproduction system 10 is not limited to the above examples. For example, a song containing a singer's singing voice may be reproduced.

（７）前述の各形態の楽曲再生システム１０は、複数の利用者Ｕでも利用される。複数の利用者Ｕにより利用される場合、収音装置は、複数の利用者Ｕのそれぞれが発音する複数の音声を含む入力音声Ｖを受け付ける。楽曲再生システム１０は、当該入力音声Ｖから各利用者Ｕの音声を分離し、当該分離後の各音声について歌唱音声であるか指示音声であるか判別する。すなわち、複数の利用者Ｕが同時に発音する場合でも、各利用者Ｕが発話した音声に対応する動作を楽曲再生システム１０に指示することが可能である。 (7) The music reproduction system 10 of each form described above is used by a plurality of users U as well. When used by a plurality of users U, the sound collecting device receives input speech V including a plurality of sounds pronounced by each of the plurality of users U. FIG. The music reproduction system 10 separates the voice of each user U from the input voice V, and determines whether each separated voice is a singing voice or an instruction voice. That is, even when a plurality of users U pronounce sounds at the same time, it is possible to instruct the music reproduction system 10 to perform operations corresponding to the voices uttered by the respective users U. FIG.

（８）第１実施形態では、第１動作と第１動作とは異なる第２動作と例示したが、第１動作と第２動作とが同じ動作であってもよい。ただし、第１動作と第２動作とが相異なる動作である構成によれば、利用者Ｕは入力音声Ｖの種類（歌唱音声／指示音声）を適宜に変更することで、所望する動作を再生制御部１２５に指示することが可能である。 (8) In the first embodiment, the first action and the second action different from the first action are exemplified, but the first action and the second action may be the same action. However, according to the configuration in which the first action and the second action are different actions, the user U can reproduce the desired action by appropriately changing the type of the input voice V (singing voice/instruction voice). It is possible to instruct the control unit 125 .

（９）前述の各形態では、入力音声Ｖに対応する楽曲を再生する動作を第１動作として例示したが、第１動作の内容は以上の例示に限定されない。例えば、入力音声Ｖ（歌唱音声）に応じて再生態様を変更する動作を第１動作としてもよい。例えば入力音声Ｖのテンポに応じて、再生中の楽曲または再生を開始させる楽曲のテンポを変更する第１動作、または、入力音声Ｖのキーに応じて、再生中の楽曲または再生を開始させる楽曲のキーを変更する第１動作が好適である。 (9) In each of the above-described forms, the operation of reproducing music corresponding to the input voice V was exemplified as the first operation, but the content of the first operation is not limited to the above examples. For example, the first action may be an action of changing the reproduction mode according to the input voice V (singing voice). For example, according to the tempo of the input voice V, the first operation of changing the tempo of the song being played or the song to start playing, or according to the key of the input voice V, the song being played or the song to start playing. is preferred.

（１０）第１実施形態では、楽曲のうち利用者Ｕが歌唱した部分の直後から当該楽曲を再生する動作を、入力音声Ｖに対応する位置から再生する第１動作として例示したが、入力音声Ｖに対応する位置から再生する第１動作は以上の例示に限定されない。例えば、入力音声Ｖに対応する楽曲を区分した複数の区間（以下「単位区間」という）のうち、当該入力音声Ｖが表す部分を含む単位区間の先頭から、当該楽曲を再生する動作を第１動作とする構成も採用される。以上の構成において、楽曲データＭは、単位区間を画定するための区間データを含む。区間データは、各単位区間の始点および終点を規定する。単位区間は、例えば、音楽的な表情のまとまりであるフレーズ、または、Ａメロ、Ｂメロおよびサビ等の構造区間である。なお、単位区間は以上の例示に限定されない。複数の単位区間のうち入力音声Ｖが表す部分を含む単位区間は、公知の楽曲解析技術により特定される。以上の構成では、複数の単位区間のうち入力音声Ｖが表す部分を含む単位区間の先頭から、当該楽曲が再生されるから、利用者は、楽曲のうち入力音声Ｖに対応する部分から当該楽曲を歌唱することができる。 (10) In the first embodiment, the operation of reproducing a piece of music from immediately after the part sung by the user U was exemplified as the first operation of reproducing from the position corresponding to the input voice V. The first operation of reproducing from the position corresponding to V is not limited to the above examples. For example, among a plurality of sections (hereinafter referred to as "unit sections") obtained by dividing a piece of music corresponding to input sound V, the operation of reproducing the piece of music from the beginning of the unit section containing the part represented by the input sound V is performed as the first operation. A working configuration is also adopted. In the above configuration, the music data M includes section data for defining unit sections. The section data defines the start point and end point of each unit section. A unit section is, for example, a phrase that is a collection of musical expressions, or a structural section such as an A melody, a B melody, and a chorus. Note that the unit interval is not limited to the above examples. Of the plurality of unit intervals, the unit interval including the portion represented by the input voice V is identified by a known music analysis technique. In the above configuration, the music is reproduced from the beginning of the unit interval including the portion represented by the input voice V among the plurality of unit intervals. can be sung.

また、入力音声Ｖに対応する楽曲を区分した複数の単位区間のうち、当該入力音声Ｖが表す部分を含む単位区間の直前または直後の単位区間の先頭から、当該楽曲を再生する動作を第１動作としてもよい。なお、楽曲の先頭から再生させる第１動作も好適である。以上の説明から理解される通り、第１動作では、入力音声Ｖ（歌唱音声）に対応する楽曲を再生させる位置は可変に設定される。 Further, among a plurality of unit intervals into which music corresponding to the input voice V is divided, the operation of reproducing the music from the beginning of the unit interval immediately before or after the unit interval including the portion represented by the input voice V is performed as the first operation. It may be an action. Note that the first operation of reproducing the music from the beginning is also suitable. As can be understood from the above description, in the first operation, the position at which the music corresponding to the input voice V (singing voice) is played is variably set.

（１１）第２実施形態では、入力音声Ｖが歌唱音声であるか指示音声であるかを判別する構成を前提として、入力音声Ｖが歌唱音声である場合に、当該入力音声Ｖが再生中の楽曲の歌唱音声であるか否かを判別した。ただし、第２実施形態において、入力音声Ｖが歌唱音声であるか指示音声であるかを判別する構成を前提せずに、入力音声Ｖが再生中の楽曲の歌唱音声であるか否かを判別してもよい。すなわち、入力音声Ｖが、再生制御部１２５による再生中の楽曲の歌唱音声であるか、再生制御部１２５による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、当該入力音声Ｖが再生制御部１２５による再生中の楽曲の歌唱音声であると判別された場合には、第３動作を歌唱評価部１２７に対して指示し、当該入力音声Ｖが再生制御部１２５による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、第１動作を再生制御部１２５に対して指示する構成は、入力音声Ｖが歌唱音声であるか指示音声であるかを判別する構成とは独立して成立する。 (11) In the second embodiment, on the premise of determining whether the input voice V is singing voice or instruction voice, when the input voice V is singing voice, It was determined whether or not it was the singing voice of a musical composition. However, in the second embodiment, it is determined whether or not the input voice V is the singing voice of the song being reproduced, without the premise of determining whether the input voice V is the singing voice or the instruction voice. You may That is, it is determined whether the input voice V is the singing voice of the song being played by the playback control unit 125 or the singing voice of a song other than the song being played by the playback control unit 125. When it is determined that the input voice V is the singing voice of the song being played by the playback control unit 125, the singing evaluation unit 127 is instructed to perform the third operation, and the input voice V is the song being played by the playback control unit 125. The configuration for instructing the reproduction control unit 125 to perform the first operation when it is determined to be the singing voice of a song other than the input voice V is the configuration for determining whether the input voice V is a singing voice or an instruction voice. established independently of

（１２）第３実施形態では、端末装置２０と端末装置３０とが独立して処理を実行したが、端末装置２０と端末装置３０とが連動して処理を実行してもよい。例えば端末装置３０は、利用者Ｕによる入力音声Ｖが指示音声以外の音声であると判別した場合に、端末装置２０に対して入力音声Ｖが歌唱音声であるか否かを判別する指示を送信してもよい。端末装置２０は、端末装置３０からの指示を受信すると、入力音声Ｖが歌唱音声であるか否かの判別をする。 (12) In the third embodiment, the terminal device 20 and the terminal device 30 independently performed processing, but the terminal device 20 and the terminal device 30 may perform processing in conjunction with each other. For example, when the terminal device 30 determines that the input voice V by the user U is a voice other than the instruction voice, the terminal device 30 transmits an instruction to determine whether the input voice V is a singing voice to the terminal device 20. You may Upon receiving the instruction from the terminal device 30, the terminal device 20 determines whether or not the input voice V is singing voice.

（１３）前述の各形態において、例えば歌唱音声または指示音声を受け付けた場合に、楽曲再生システム１０を起動する構成も好適である。 (13) In each of the above embodiments, it is also preferable to start the music reproduction system 10 when singing voice or instruction voice is received, for example.

（１４）前述の各形態に係る楽曲再生システム１０の機能は、各形態での例示の通り、ＣＰＵ等の処理回路とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。 (14) The functions of the music reproduction system 10 according to each of the above-described embodiments are realized by cooperation between a processing circuit such as a CPU and a program, as illustrated in each embodiment. The program according to each of the forms described above can be provided in a form stored in a computer-readable recording medium and installed in a computer. The recording medium is, for example, a non-transitory recording medium, and an optical recording medium (optical disc) such as a CD-ROM is a good example. Also included are recording media in the form of It should be noted that the non-transitory recording medium includes any recording medium other than transitory, propagating signals, and does not exclude volatile recording media. Alternatively, the program may be provided to the computer in the form of distribution via a communication network.

＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。 <Appendix>
For example, the following configurations can be grasped from the above-exemplified forms.

本開示の好適な態様（第１態様）に係る楽曲再生システムの制御方法は、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第２動作を前記再生制御部に対して指示する。以上の態様では、入力音声が歌唱音声であると判別された場合には、当該入力音声に対応する楽曲の再生に関する第１動作が再生制御部に指示され、入力音声が指示音声であると判別された場合には、当該入力音声が表す第２動作が再生制御部に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。例えば、前記第１動作と前記第２動作とは、相異なる動作である。以上の態様では、入力音声の種類（歌唱音声／指示音声）を適宜に変更することで、所望する動作を再生制御部に指示することが可能である。 A control method for a music reproduction system according to a preferred aspect (first aspect) of the present disclosure discriminates whether an input voice is a singing voice or an instruction voice other than the singing voice, and the input voice is the singing voice. When it is determined that the input voice is the command voice, the first operation related to the playback of the music corresponding to the input voice is instructed to the playback control unit that controls the playback of the music. Then, the second action indicated by the input voice is instructed to the reproduction control unit. In the above aspect, when the input voice is determined to be singing voice, the playback control unit is instructed to perform the first operation related to playback of the music corresponding to the input voice, and the input voice is determined to be the instruction voice. If so, the playback control unit is instructed to perform the second action represented by the input voice. In other words, it is possible to input a variety of voices using singing voices and command voices. For example, the first action and the second action are different actions. In the above aspect, by appropriately changing the type of input voice (singing voice/instruction voice), it is possible to instruct the reproduction control unit to perform a desired operation.

第１態様の好適例（第２態様）では、前記第１動作は、前記入力音声に対応する楽曲を当該歌唱音声に対応する位置から再生する動作であり、前記第２動作は、前記入力音声に対応する楽曲を先頭から再生する動作である。以上の態様では、入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作が第１動作であり、入力音声に対応する楽曲を先頭から再生する動作が第２動作である。したがって、利用者は、入力音声の種類（歌唱音声／指示音声）を適宜に変更することで、所望する再生方法により楽曲を再生させることが可能である。 In a preferred example of the first aspect (second aspect), the first action is an action of reproducing a piece of music corresponding to the input voice from a position corresponding to the singing voice, and the second action is the input voice. This is the operation of playing back the music piece corresponding to . In the above aspect, the operation of reproducing the music corresponding to the input sound from the position corresponding to the input sound is the first operation, and the operation of reproducing the music corresponding to the input sound from the beginning is the second operation. Therefore, the user can reproduce a piece of music by a desired reproduction method by appropriately changing the type of input sound (singing sound/instruction sound).

第２態様の好適例（第３態様）では、前記第１動作は、前記入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲を再生する動作である。以上の態様では、入力音声が歌唱音声である場合には、当該入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲が再生される。したがって、利用者は、楽曲のうち歌唱音声に対応する部分から当該楽曲を歌唱することができる。 In a preferred example of the second mode (third mode), the first action includes, from among a plurality of sections into which the music corresponding to the input voice is divided, the section containing the part represented by the input voice. is the action of playing In the above aspect, when the input voice is a singing voice, the music is reproduced from the beginning of the section including the part represented by the input voice among the plurality of sections into which the music corresponding to the input voice is divided. be. Therefore, the user can sing the song from the part corresponding to the singing voice of the song.

第１態様から第３態様の何れかの好適例（第４態様）では、前記入力音声が、前記再生制御部による再生中の楽曲の歌唱音声であるか、前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する第３動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記第１動作として前記再生制御部に対して指示する。以上の態様では、入力音声が再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する第３動作が歌唱評価部に指示され、入力音声が再生中の楽曲以外の楽曲の歌唱音声である場合には、当該入力音声に対応する楽曲を再生する第１動作が再生制御部に指示される。したがって、入力音声が再生中の楽曲の歌唱音声であるか否かに応じて、第１動作と第３動作との指示を変更することができる。 In a preferred example (fourth mode) of any one of the first to third modes, the input voice is the singing voice of the song being played by the playback control unit, or the song being played by the playback control unit. If it is determined that the input voice is the singing voice of the song being reproduced by the playback control unit, a third operation of evaluating the input voice is performed. When the evaluation unit is instructed to determine that the input voice is the singing voice of a song other than the song being played by the playback control unit, the operation of playing back the song corresponding to the input voice is performed. As the first operation, an instruction is given to the reproduction control section. In the above aspect, when the input voice is the singing voice of the song being reproduced, the third operation of evaluating the input voice is instructed to the singing evaluation unit, and the input voice is the singing voice of the song other than the song being played. If it is voice, the playback control unit is instructed to perform a first operation of playing back music corresponding to the input voice. Therefore, the instructions for the first action and the third action can be changed depending on whether the input voice is the singing voice of the song being reproduced.

本開示の他の態様（第５態様）に係る楽曲再生システムの制御方法は、楽曲の再生を指示する第１入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、前記提示された楽曲名の楽曲が所望の楽曲であることを表す第２入力音声を受け付けた場合に、前記第１入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。以上の態様では、楽曲の再生を指示する第１入力音声に対応する楽曲名の提示の指示を再生制御部に付与し、当該提示された楽曲名の楽曲が所望の楽曲であることを表す第２入力音声を受け付けた場合に、第１入力音声に対応する楽曲を再生する動作が再生制御部に対して指示される。すなわち、楽曲が再生される前に、当該楽曲が所望の楽曲であるか否かを楽曲名の提示により確認することができる。 A control method for a music reproduction system according to another aspect (fifth aspect) of the present disclosure provides a reproduction control unit with an instruction to present a music title corresponding to a first input voice for instructing reproduction of a music, When receiving a second input voice indicating that the song having the received song name is a desired song, the playback control unit is instructed to play back the song corresponding to the first input voice. In the above aspect, an instruction to present a music name corresponding to the first input voice for instructing reproduction of a music is given to the reproduction control unit, and the music having the presented music name is a desired music. When the second input voice is received, the playback control unit is instructed to play back the music corresponding to the first input voice. That is, before the music is reproduced, it is possible to confirm whether or not the music is the desired music by presenting the music name.

本開示の他の態様（第６態様）に係る楽曲再生システムの制御方法は、入力音声が、楽曲の再生を制御する再生制御部による再生中の楽曲の歌唱音声であるか、当該再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記再生制御部に対して指示する。以上の態様では、入力音声が再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する動作が歌唱評価部に指示され、入力音声が再生中の楽曲以外の楽曲の歌唱音声である場合には、当該入力音声に対応する楽曲を再生する動作が再生制御部に指示される。したがって、入力音声が再生中の楽曲の歌唱音声であるか否かに応じて、楽曲再生システムに異なる動作を指示することが可能になる。 In a control method for a music reproduction system according to another aspect (sixth aspect) of the present disclosure, the input voice is singing voice of a song being played by a playback control unit that controls playback of the song, or the playback control unit If it is determined that the input voice is the singing voice of the song being played by the playback control unit, the input voice is evaluated. When the input voice is determined to be the singing voice of a song other than the song being played by the playback control part, the song corresponding to the input voice is played back. An operation instruction is given to the reproduction control unit. In the above aspect, when the input voice is the singing voice of the song being played, the singing evaluation unit is instructed to evaluate the input voice, and the input voice is the singing voice of a song other than the song being played. In some cases, the reproduction control unit is instructed to reproduce music corresponding to the input voice. Therefore, it is possible to instruct the music reproduction system to perform different operations depending on whether the input sound is the singing voice of the music being reproduced.

本開示の好適な態様（第７態様）に係る楽曲再生システムは、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第２動作を前記再生制御部に対して指示する動作制御部とを具備する。以上の態様では、入力音声が歌唱音声であると判別された場合には、当該入力音声に対応する楽曲の再生に関する第１動作が再生制御部に指示され、入力音声が指示音声であると判別された場合には、当該入力音声が表す第２動作が再生制御部に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。 A music reproduction system according to a preferred aspect (seventh aspect) of the present disclosure includes a determination unit that determines whether an input voice is a singing voice or an instruction voice other than the singing voice; When it is determined that the input voice is the command voice, the first operation related to the playback of the music corresponding to the input voice is instructed to the playback control unit that controls the playback of the music. and an operation control unit that instructs the reproduction control unit to perform a second operation indicated by the input voice. In the above aspect, when the input voice is determined to be singing voice, the playback control unit is instructed to perform the first operation related to playback of the music corresponding to the input voice, and the input voice is determined to be the instruction voice. If so, the playback control unit is instructed to perform the second action represented by the input voice. In other words, it is possible to input a variety of voices using singing voices and command voices.

第７態様の好適例（第８態様）において、前記第１動作は、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作であり、前記第２動作は、前記入力音声に対応する楽曲を先頭から再生する動作である。以上の態様では、入力音声に対応する楽曲を当該入力音声に対応する位置から再生する動作が第１動作であり、入力音声に対応する楽曲を先頭から再生する動作が第２動作である。したがって、利用者は、入力音声の種類（歌唱音声／指示音声）を適宜に変更することで、所望する再生方法により楽曲を再生させることが可能である。 In a preferred example of the seventh aspect (eighth aspect), the first action is an action of playing back music corresponding to the input voice from a position corresponding to the input voice, and the second action is the input voice. This is the operation of playing back the music piece corresponding to . In the above aspect, the operation of reproducing the music corresponding to the input sound from the position corresponding to the input sound is the first operation, and the operation of reproducing the music corresponding to the input sound from the beginning is the second operation. Therefore, the user can reproduce a piece of music by a desired reproduction method by appropriately changing the type of input sound (singing sound/instruction sound).

第８態様の好適例（第９態様）において、前記第１動作は、前記入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲を再生する動作である。以上の態様では、入力音声が歌唱音声である場合には、当該入力音声に対応する楽曲を区分した複数の区間のうち、当該入力音声が表す部分を含む区間の先頭から、当該楽曲が再生される。したがって、利用者は、歌唱音声に連続して当該楽曲を歌唱することができる。 In a preferred example of the eighth aspect (ninth aspect), the first action includes, from among a plurality of sections into which music corresponding to the input speech is divided, starting from the beginning of a section including a part represented by the input speech, is the action of playing In the above aspect, when the input voice is a singing voice, the music is reproduced from the beginning of the section including the part represented by the input voice among the plurality of sections into which the music corresponding to the input voice is divided. be. Therefore, the user can sing the song in succession to the singing voice.

第７態様から第９態様の何れかの好適例（第１０態様）において、前記判別部は、前記入力音声が、前記再生制御部による再生中の楽曲の歌唱音声であるか、前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であるかを判別し、前記動作制御部は、前記入力音声が前記再生制御部による再生中の楽曲の歌唱音声であると判別された場合には、当該入力音声を評価する第３動作を歌唱評価部に対して指示し、前記入力音声が前記再生制御部による再生中の楽曲以外の楽曲の歌唱音声であると判別された場合には、当該入力音声に対応する楽曲を再生する動作を前記第１動作として前記再生制御部に対して指示する。以上の態様では、入力音声が再生中の楽曲の歌唱音声である場合には、当該入力音声を評価する第３動作が歌唱評価部に指示され、入力音声が再生中の楽曲以外の楽曲の歌唱音声である場合には、当該入力音声に対応する楽曲を再生する第１動作が再生制御部に指示される。したがって、入力音声が再生中の楽曲の歌唱音声であるか否かに応じて、第１動作と第３動作との指示を変更することができる。 In a preferred example of any one of the seventh to ninth aspects (tenth aspect), the determination unit determines whether the input voice is singing voice of a piece of music being played back by the playback control unit. If it is determined that the input voice is the singing voice of the song being played by the playback control unit, A third operation for evaluating the input voice is instructed to the song evaluation unit, and when the input voice is determined to be the singing voice of a song other than the song being played by the playback control unit, the input The reproduction controller is instructed to perform an operation of reproducing music corresponding to the voice as the first operation. In the above aspect, when the input voice is the singing voice of the song being reproduced, the third operation of evaluating the input voice is instructed to the singing evaluation unit, and the input voice is the singing voice of the song other than the song being played. If it is voice, the playback control unit is instructed to perform a first operation of playing back music corresponding to the input voice. Therefore, the instructions for the first action and the third action can be changed depending on whether the input voice is the singing voice of the song being reproduced.

本開示の好適な態様（第１１態様）に係るプログラムは、１または複数のプロセッサを、入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部、および、前記入力音声が歌唱音声であると判別された場合に、当該入力音声に対応する楽曲の再生に関する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、当該入力音声が表す第２動作を前記再生制御部に対して指示する動作制御部として機能させる。以上の態様では、入力音声が歌唱音声であると判別された場合には、当該入力音声に対応する楽曲の再生に関する第１動作が再生制御部に指示され、入力音声が指示音声であると判別された場合には、当該入力音声が表す第２動作が再生制御部に指示される。すなわち、歌唱音声および指示音声による多様な音声入力が可能である。 A program according to a preferred aspect (eleventh aspect) of the present disclosure comprises a determination unit that determines whether an input voice is a singing voice or an instruction voice other than the singing voice, and the input When the voice is determined to be singing voice, a first operation related to the playback of the music corresponding to the input voice is instructed to a playback control unit that controls the playback of the music, and the input voice is the instruction voice. When it is determined that there is, it functions as an operation control unit that instructs the reproduction control unit to perform the second operation represented by the input voice. In the above aspect, when the input voice is determined to be singing voice, the playback control unit is instructed to perform the first operation related to playback of the music corresponding to the input voice, and the input voice is determined to be the instruction voice. If so, the playback control unit is instructed to perform the second action represented by the input voice. In other words, it is possible to input a variety of voices using singing voices and command voices.

１０…楽曲再生システム、１１…収音装置、１２…制御装置、１２１…判別部、１２３…動作制御部、１２５…再生制御部、１２７…歌唱評価部、１３…記憶装置、１４…再生装置、２０…端末装置、２１…収音装置、２２…通信装置、２３…制御装置、２４…記憶装置、２７…動作制御部、２３１…第１処理部、２３３…第１制御部、３０…端末装置、３１…収音装置、３２…通信装置、３３…制御装置、３３１…第２処理部、３３３…第２動作制御部、３４…記憶装置、４０…処理装置、４１…再生装置、４２…通信装置、４３…制御装置、４３１…再生制御部、４４…記憶装置。 DESCRIPTION OF SYMBOLS 10... Music reproduction system, 11... Sound collection apparatus, 12... Control apparatus, 121... Discrimination part, 123... Operation control part, 125... Reproduction control part, 127... Song evaluation part, 13... Storage device, 14... Reproducing apparatus, 20 Terminal device 21 Sound collecting device 22 Communication device 23 Control device 24 Storage device 27 Operation control unit 231 First processing unit 233 First control unit 30 Terminal device , 31... Sound collecting device, 32... Communication device, 33... Control device, 331... Second processing unit, 333... Second operation control unit, 34... Storage device, 40... Processing device, 41... Reproducing device, 42... Communication Device, 43... Control device, 431... Reproduction control unit, 44... Storage device.

Claims (8)

入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別し、
前記入力音声が歌唱音声であると判別された場合に、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、前記入力音声が表す第２動作を前記再生制御部に対して指示する
コンピュータにより実現される楽曲再生システムの制御方法。 determining whether the input voice is singing voice or instruction voice other than singing voice,
When the input voice is determined to be a singing voice, a first operation of playing back the music corresponding to the input voice from the position corresponding to the input voice to a reproduction control unit that controls the reproduction of the music. A control method for a music reproduction system implemented by a computer, comprising: instructing a reproduction control unit to perform a second action represented by the input sound when the input sound is determined to be the instruction sound. 前記第２動作は、相異なる登録文字列に対応する複数の動作のうち、前記入力音声を表す入力文字列に類似する登録文字列に対応する動作である
請求項１の楽曲再生システムの制御方法。 2. The method of controlling a music reproduction system according to claim 1, wherein said second action is an action corresponding to a registered character string similar to an input character string representing said input voice among a plurality of actions corresponding to different registered character strings. . 前記第２動作は、前記入力音声により指定された楽曲を再生する動作である
請求項１または請求項２の楽曲再生システムの制御方法。 3. The method of controlling a music reproduction system according to claim 1, wherein said second action is an action of reproducing music specified by said input voice. 前記第２動作は、前記入力音声により指定された楽曲の再生を停止する動作である
請求項１または請求項２の楽曲再生システムの制御方法。 3. The method of controlling a music reproduction system according to claim 1, wherein said second action is an action of stopping reproduction of the music designated by said input voice. 前記第２動作は、前記入力音声により指定された楽曲のキーを変更する動作である
請求項１または請求項２の楽曲再生システムの制御方法。 3. The method of controlling a music reproduction system according to claim 1, wherein said second action is an action of changing the key of the music specified by said input voice. 前記第２動作は、前記入力音声により指定された楽曲の音量を変更する動作である
請求項１または請求項２の楽曲再生システムの制御方法。 3. The method of controlling a music reproduction system according to claim 1, wherein said second action is an action of changing the volume of the music specified by said input voice. 入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部と、
前記入力音声が歌唱音声であると判別された場合に、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、前記入力音声が表す第２動作を前記再生制御部に対して指示する動作制御部と
を具備する楽曲再生システム。 a discrimination unit that discriminates whether the input voice is singing voice or instruction voice other than singing voice;
When the input voice is determined to be a singing voice, a first operation of playing back the music corresponding to the input voice from the position corresponding to the input voice to a reproduction control unit that controls the reproduction of the music. and an operation control unit that instructs the reproduction control unit to perform a second operation represented by the input sound when the input sound is determined to be the instruction sound. １または複数のプロセッサを、
入力音声が歌唱音声であるか歌唱音声以外の指示音声であるかを判別する判別部、および、
前記入力音声が歌唱音声であると判別された場合に、前記入力音声に対応する楽曲を当該入力音声に対応する位置から再生する第１動作を、楽曲の再生を制御する再生制御部に対して指示し、前記入力音声が指示音声であると判別された場合に、前記入力音声が表す第２動作を前記再生制御部に対して指示する動作制御部
として機能させるプログラム。 one or more processors;
a discrimination unit that discriminates whether the input voice is singing voice or instruction voice other than singing voice;
When the input voice is determined to be a singing voice, a first operation of playing back the music corresponding to the input voice from the position corresponding to the input voice to a reproduction control unit that controls the reproduction of the music. A program that functions as an operation control unit that instructs the reproduction control unit to perform a second operation represented by the input sound when the input sound is determined to be the instruction sound.
JP2022098691A 2018-08-28 2022-06-20 Music playback system, control method and program for music playback system Active JP7355165B2 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018159451 2018-08-28
JP2018159451 2018-08-28
PCT/JP2019/033447 WO2020045398A1 (en) 2018-08-28 2019-08-27 Music reproduction system, control method for music reproduction system, and program
JP2020539475A JP7095742B2 (en) 2018-08-28 2019-08-27 Music playback system, control method and program of music playback system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020539475A Division JP7095742B2 (en) 2018-08-28 2019-08-27 Music playback system, control method and program of music playback system

Publications (2)

Publication Number Publication Date
JP2022120188A true JP2022120188A (en) 2022-08-17
JP7355165B2 JP7355165B2 (en) 2023-10-03

Family

ID=69645159

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020539475A Active JP7095742B2 (en) 2018-08-28 2019-08-27 Music playback system, control method and program of music playback system
JP2022098691A Active JP7355165B2 (en) 2018-08-28 2022-06-20 Music playback system, control method and program for music playback system

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020539475A Active JP7095742B2 (en) 2018-08-28 2019-08-27 Music playback system, control method and program of music playback system

Country Status (2)

Country Link
JP (2) JP7095742B2 (en)
WO (1) WO2020045398A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7403646B2 (en) * 2019-11-07 2023-12-22 アスク インダストリーズ ゲーエムベーハー In-vehicle audio signal output device
JP7335316B2 (en) 2021-12-27 2023-08-29 Ｌｉｎｅ株式会社 Program and information processing device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265190A (en) * 1998-03-18 1999-09-28 Ricoh Co Ltd Music playing device
JP2006276560A (en) 2005-03-30 2006-10-12 Kenwood Corp Music playback device and music playback method
JP4916005B2 (en) 2007-02-28 2012-04-11 株式会社第一興商 Karaoke system
JP2011180271A (en) 2010-02-26 2011-09-15 Daiichikosho Co Ltd Karaoke music selection reservation device connected to host system through cradle
CN104811777A (en) 2014-01-23 2015-07-29 阿里巴巴集团控股有限公司 Smart television voice processing method, smart television voice processing system and smart television

Also Published As

Publication number Publication date
WO2020045398A1 (en) 2020-03-05
JP7095742B2 (en) 2022-07-05
JP7355165B2 (en) 2023-10-03
JPWO2020045398A1 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
JP7355165B2 (en) Music playback system, control method and program for music playback system
JP5598516B2 (en) Voice synthesis system for karaoke and parameter extraction device
JP3567123B2 (en) Singing scoring system using lyrics characters
JP6809177B2 (en) Information processing system and information processing method
WO2023058173A1 (en) Sound control device, control method for same, electronic instrument, program
JP4171680B2 (en) Information setting device, information setting method, and information setting program for music playback device
JP6399715B1 (en) Singing support device and karaoke device
JP2006276560A (en) Music playback device and music playback method
JP7227788B2 (en) karaoke system
JP5193654B2 (en) Duet part singing system
JP6406182B2 (en) Karaoke device and karaoke system
JP4275510B2 (en) Karaoke device characterized by volume control of model vocals
JP6365483B2 (en) Karaoke device, karaoke system, and program
JP2001013976A (en) Karaoke device
JP2005201966A (en) Karaoke machine for automatically controlling background chorus sound volume
JP6252517B2 (en) Speech synthesizer and program
JP7158331B2 (en) karaoke device
JP2005107335A (en) Karaoke machine
JP6011506B2 (en) Information processing apparatus, data generation method, and program
WO2023058172A1 (en) Sound control device and control method therefor, electronic musical instrument, and program
JP2007233078A (en) Evaluation device, control method, and program
JP6365561B2 (en) Karaoke system, karaoke device, and program
JP2023033877A (en) karaoke device
JP6281447B2 (en) Speech synthesis apparatus and speech synthesis system
JP6260499B2 (en) Speech synthesis system and speech synthesizer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7355165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151