JP2020014716A

JP2020014716A - Singing support device for music therapy

Info

Publication number: JP2020014716A
Application number: JP2018140327A
Authority: JP
Inventors: 佐知子中務; Sachiko Nakamu; 未紗古磯; Misa Koiso
Original assignee: Faith Inc
Current assignee: Faith Inc
Priority date: 2018-07-26
Filing date: 2018-07-26
Publication date: 2020-01-30
Anticipated expiration: 2038-07-26
Also published as: JP2023025013A; JP7175120B2

Abstract

To provide a system suitable for music therapy that allows a singing support sound to be selected appropriately according to a singing state of a singing person.SOLUTION: Singing support sound transmission means 4 sequentially transmits singing support sounds of a plurality of pieces of music out of singing support sounds K1, K2...Kn to a terminal device 20 according to a reproduction list L. Reproduction means 22 of the terminal device 20 reproduces the received singing support sounds from a speaker 24. A singing person 30 sings a song to the singing support sounds output from the speaker 24. A camera 28 images the face of the singing person 30 who is singing. Singing state acquisition means 26 transmits the captured face image to a server device 10. Reproduction list correction means 6 of the server device 10 evaluates the expression of the face on the basis of the face image, and changes the singing support sound of music to be included in the reproduction list L accordingly.SELECTED DRAWING: Figure 1

Description

この発明は、音楽療法において伴奏などを再生する歌唱補助装置に関するものである。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a singing assistance device for playing back accompaniment and the like in music therapy.

音楽を聴いたり歌ったりすることで、音楽の生理的・心理的・社会的な効果を用いて、心身の健康の回復、向上を図ることが行われている。認知症患者に音楽を聴かせたり歌わせたりすることで、脳の働きを活性化させて、その進行を抑えるなどの効果が期待されている。 2. Description of the Related Art Listening and singing music have been used to recover and improve mental and physical health using the physiological, psychological and social effects of music. By making dementia patients listen to and sing music, they are expected to have the effect of activating the brain and suppressing its progress.

たとえば、複数の楽曲を患者に連続的に歌わせる音楽療法がある。このような音楽療法においては、楽曲を適切に選曲することが大切であるものの、その選曲基準は療法士各人の経験や勘によるところが多かった。また、歌っている時の患者の様子を観察して、次に用意する楽曲を選択することが好ましいが、これも各人の能力差が大きく、恣意的な要素が入り込まないように客観的な楽曲選択を行うことは難しかった。 For example, there is a music therapy in which a patient sings a plurality of songs continuously. In such music therapy, it is important to select music appropriately, but the selection criteria often depend on the experience and intuition of each therapist. In addition, it is preferable to observe the state of the patient when singing and select the next song to be prepared, but this also has a large difference in ability between each person and is objective so that arbitrary elements do not enter It was difficult to select songs.

一方、特許文献１に示すように、歌を歌っている時の歌唱者の顔や、ダンスを踊っている時の顔を撮像して、これを評価するシステムが提案されている。これによれば、歌を歌っている時やダンスをしている時の満足度などを判定することができる。 On the other hand, as shown in Patent Literature 1, a system has been proposed in which a singer's face when singing or a face while dancing is imaged and evaluated. According to this, it is possible to determine the degree of satisfaction when singing or dancing.

さらに、特許文献２には、ユーザが普段からよく聞いている曲をカラオケ曲としてリコメンドする装置が開示されている。これによれば、ユーザの好みに合致したカラオケ曲を示すことができる。 Further, Patent Literature 2 discloses an apparatus that recommends a song that a user frequently listens to as a karaoke song. According to this, it is possible to indicate a karaoke song that matches the user's preference.

特開２０１８−１０３０５JP 2018-10305 特開２０１７−２０１３３７JP-A-2017-201337

しかしながら、特許文献１の装置では、歌っている時の状態を顔から評価することはできたとしても、これを用いて、認知症などの治療に適した楽曲の選択にどのように反映すればいいのか明らかではなかった。 However, in the device of Patent Literature 1, even if the state of singing can be evaluated from the face, how to use this to reflect on selection of music suitable for treatment of dementia and the like It was not clear what was good.

また、特許文献２の装置では、ユーザがよく聞いている楽曲をカラオケ曲としてリコメンドするので、当該ユーザに合致したカラオケ曲を提案することはできる。しかし、音楽療法においては、好き嫌いだけで楽曲を選択することが治療のために必ずしも好ましいわけではなく、この装置によるリコメンドをそのまま音楽療法に用いることはできない。 Further, in the device of Patent Literature 2, since a song that a user listens to frequently is recommended as a karaoke song, a karaoke song matching the user can be proposed. However, in music therapy, it is not always preferable for the treatment to select music only by likes and dislikes, and the recommendation by this device cannot be used for music therapy as it is.

この発明は、上記のような問題点を解決して、音楽療法に適したシステムを提供することを目的とする。 An object of the present invention is to solve the above problems and to provide a system suitable for music therapy.

この発明の独立して適用可能な側面を以下に列挙する。 The independently applicable aspects of the invention are listed below.

(1)-(5)この発明に係る音楽療法システムは、
前記サーバ装置が、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段とを備え、
前記端末装置が、前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴としている。 (1)-(5) The music therapy system according to the present invention comprises:
The server device reads a singing auxiliary sound according to a play list from a recording unit that records singing auxiliary sounds of a plurality of songs, and a singing auxiliary sound transmitting unit that transmits the singing auxiliary sound to a terminal device by a communication unit; Playlist correction means for correcting whether to include a singing auxiliary sound of any song in the playlist based on the singing state of the singer or the evaluation of the singing state,
The terminal device acquires reproduction means for reproducing a singing auxiliary sound transmitted from the server device by a reproducing unit, and evaluation of a singing state or a singing state of a singer singing in accordance with the reproduced singing auxiliary sound. And a singing state acquiring means for transmitting to the server device by a communication unit.

したがって、歌唱者の歌唱状態に基づいて、再生する曲の再生リストを修正することができる。 Therefore, the playlist of the song to be reproduced can be modified based on the singing state of the singer.

(6)この発明に係るシステムは、端末装置は、歌唱者の歌唱状態を撮像して撮像画像を前記サーバ装置に送信し、サーバ装置は、当該撮像画像に基づいて歌唱状態の評価を取得することを特徴としている。 (6) In the system according to the present invention, the terminal device captures the singing state of the singer and transmits a captured image to the server device, and the server device obtains an evaluation of the singing state based on the captured image. It is characterized by:

したがって、端末装置の側において撮像画像に基づく歌唱状態の評価を行う必要がない。 Therefore, it is not necessary for the terminal device to evaluate the singing state based on the captured image.

(7)この発明に係るシステムは、サーバ装置が、歌唱者の顔画像に基づく歌唱状態の評価を取得することを特徴としている。 (7) The system according to the present invention is characterized in that the server device acquires a singing state evaluation based on a singer's face image.

したがって、歌唱者の表情などに基づいて歌唱状態の評価を行うことができる。 Therefore, the singing state can be evaluated based on the expression of the singer.

(8)この発明に係るシステムは、サーバ装置が、歌唱者の顔画像を評価サーバ装置に送信し、評価サーバ装置から評価を取得することを特徴としている。 (8) The system according to the present invention is characterized in that the server device transmits the singer's face image to the evaluation server device and acquires the evaluation from the evaluation server device.

したがって、サーバ装置において、顔画像に基づく評価を行う必要がない。 Therefore, the server device does not need to perform the evaluation based on the face image.

(9)この発明に係るシステムは、歌唱状態の評価が、当該楽曲について歌唱者の歌唱直前の顔画像の評価と歌唱直後の顔画像の評価との差に基づくことを特徴としている。 (9) The system according to the present invention is characterized in that the evaluation of the singing state is based on the difference between the evaluation of the face image of the singer immediately before singing and the evaluation of the face image immediately after singing.

したがって、歌唱による効果をより正確に評価することができる。 Therefore, the effect of singing can be more accurately evaluated.

(10)この発明に係るシステムは、顔画像の評価が楽曲に対して否定的であることが増加した場合であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴としている。 (10) The system according to the present invention is characterized in that even if the evaluation of a face image is negative for a song, the probability that the song is included in a playlist is increased.

したがって、歌唱による感情などの変化に基づいて、治療効果を高めることのできるシステムを提供できる。 Therefore, it is possible to provide a system that can enhance the therapeutic effect based on changes in emotions and the like caused by singing.

(11)この発明に係るシステムは、端末装置が、ユーザによる歌唱者の歌唱状態の入力を受けて、前記サーバ装置に送信することを特徴としている。 (11) The system according to the present invention is characterized in that a terminal device receives an input of a singing state of a singer by a user and transmits the input to the server device.

したがって、ユーザによる評価に基づいて再生リストの修正を行うことができる。 Therefore, the playlist can be modified based on the evaluation by the user.

(12)この発明に係るシステムは、顔画像の評価が楽曲に対して否定的であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴としている。 (12) The system according to the present invention is characterized in that even if the evaluation of a face image is negative for a song, the probability of including the song in a playlist is increased.

したがって、歌唱による感情に基づいて、治療効果を高めることのできるシステムを提供できる。 Therefore, it is possible to provide a system that can enhance the therapeutic effect based on the emotions of the singing.

(13)この発明に係るシステムは、再生リストの修正において、対象となる曲を歌唱した際の評価が同一であっても、当該歌唱者の疾病の種類に基づいて、当該楽曲の歌唱補助音を次回に再生する再生リストに含める確率を変化させることを特徴としている。 (13) In the system according to the present invention, in the correction of the playlist, even if the evaluation when singing the target song is the same, based on the type of disease of the singer, the singing auxiliary sound of the song Is included in the playlist to be reproduced next time.

したがって、疾病に応じた歌唱補助音の提供を行うことができる。 Therefore, it is possible to provide a singing auxiliary sound corresponding to the disease.

(14)この発明に係るシステムは、再生リストの修正において、対象となる曲を歌唱した際の評価として、嫌悪感が高いと判断されても、当該歌唱補助音を次回に再生する再生リストに含める確率をゼロにしないことを特徴としている。 (14) In the system according to the present invention, in the correction of the playlist, even if it is determined that the disgust is high as an evaluation when singing the target song, the playlist for playing the singing auxiliary sound next time The feature is that the probability of inclusion is not zero.

したがって、嫌悪間のある楽曲に対しても治療効果を見極めながら再生を行うことができる。 Therefore, it is possible to reproduce even a disliked music piece while checking the therapeutic effect.

(15)この発明に係るコンピュータを用いた音楽療法は、コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正することを特徴としている。 (15) In the music therapy using the computer according to the present invention, the computer reads the singing auxiliary sound according to the playlist from the recording unit that records the singing auxiliary sound of the plurality of music pieces, reproduces the singing auxiliary sound by the reproducing unit, and executes the computer. Acquiring a singing state or a singing state evaluation of a singer singing in accordance with the reproduced singing auxiliary sound, and based on the singing state of the singer or an evaluation of the singing state, It is characterized in that whether or not a singing auxiliary sound is included is modified.

(16)-(20)この発明に係る音楽療法システムは、
サーバ装置が、記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段とを備え、
端末装置が、前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴としている。 (16)-(20) The music therapy system according to the present invention comprises:
The server device, the singing auxiliary sound read from the recording unit, the singing auxiliary sound transmitting means for transmitting to the terminal device by the communication unit, based on the singing state or singing state evaluation of the singer received from the terminal device Singing assist sound selecting means for determining which singing assist sound is transmitted to the terminal device,
The terminal device acquires reproduction means for reproducing a singing auxiliary sound transmitted from the server device by a reproducing unit, and evaluation of a singing state or a singing state of a singer singing in accordance with the reproduced singing auxiliary sound. Singing state acquiring means for transmitting to the server device by a communication unit.

したがって、歌唱者の歌唱状態に基づいて、再生する曲を適切に選択することができる。 Therefore, the tune to be reproduced can be appropriately selected based on the singing state of the singer.

(21)この発明に係るコンピュータを用いた音楽療法は、コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定することを特徴としている。 (21) In the music therapy using the computer according to the present invention, the computer reads the singing auxiliary sound according to the playlist from the recording unit that records the singing auxiliary sound of the plurality of songs, reproduces the singing auxiliary sound by the reproducing unit, and executes the computer. Acquiring a singing state or a singing state evaluation of a singer who sings in accordance with the reproduced singing auxiliary sound, and based on the singing state or the singing state evaluation of the singer, assigns any singing auxiliary sound to the terminal device. It is characterized in that it is determined whether or not to transmit.

(22)(23)この発明に係る音楽療法のための歌唱補助装置は、楽曲の歌唱補助音を再生する歌唱補助音再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段とを備え、前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴としている。 (22) (23) A singing assistance device for music therapy according to the present invention includes a singing assistance sound reproducing means for reproducing a singing assistance sound of a musical composition, and a singer who sings in accordance with the reproduced singing assistance sound. Pulse information obtaining means for obtaining pulse information from a sensor for obtaining a pulse, wherein the singing auxiliary sound reproducing means changes the tempo of the singing auxiliary sound according to the pulse of the singer. .

したがって、歌唱者の脈拍に応じて再生のテンポを修正することができる。 Therefore, the reproduction tempo can be corrected according to the singer's pulse.

「歌唱補助音送信手段」は、実施形態においては、ステップＳ６２がこれに対応する。 In the embodiment, “singing auxiliary sound transmitting means” corresponds to step S62.

「再生リスト修正手段」は、実施形態においては、ステップＳ３３がこれに対応する。 In the embodiment, the "playlist correction means" corresponds to step S33.

「再生手段」は、実施形態においては、ステップＳ１３がこれに対応する。 In the embodiment, “reproduction means” corresponds to step S13.

「歌唱状態取得手段」は、実施形態においては、ステップＳ１５がこれに対応する。 In the embodiment, the “singing state acquiring means” corresponds to step S15.

「歌唱補助音選択手段」は、実施形態においては、ステップＳ７１がこれに対応する。 In the embodiment, “singing auxiliary sound selecting means” corresponds to step S71.

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。 The “program” is a concept that includes not only programs that can be directly executed by the CPU, but also source-format programs, compressed programs, encrypted programs, and the like.

第１の実施形態による音楽療法システムの機能ブロック図である。FIG. 2 is a functional block diagram of the music therapy system according to the first embodiment. システム構成である。It is a system configuration. 歌唱補助サーバ装置ＳＡのハードウエア構成である。It is a hardware configuration of the singing assistance server device SA. 端末装置Ｔのハードウエア構成である。3 is a hardware configuration of the terminal device T. ユーザ登録処理のフローチャートである。It is a flowchart of a user registration process. 初期再生リスト生成処理のフローチャートである。It is a flowchart of an initial play list generation process. 再生・撮像処理のフローチャートである。It is a flowchart of a reproduction / imaging process. 再生リスト修正処理のフローチャートである。It is a flowchart of a play list correction process. 再生リスト修正処理のフローチャートである。It is a flowchart of a play list correction process. 図８Ａ〜図８Ｄは、ユーザ登録画面例である。8A to 8D are examples of a user registration screen. 図８Ｅ、図８Ｆは、歌唱のための画面例である。8E and 8F are examples of screens for singing. 歌唱補助音６６のメタデータの例である。It is an example of the metadata of the singing auxiliary sound 66. 再生リストの例である。It is an example of a playlist. 顔画像による評価例である。It is an example of evaluation by a face image. 第２の実施形態による音楽療法システムの機能ブロック図である。It is a functional block diagram of a music therapy system by a 2nd embodiment. システム構成である。It is a system configuration. ユーザ登録処理のフローチャートである。It is a flowchart of a user registration process. 再生・撮像処理のフローチャートである。It is a flowchart of a reproduction / imaging process. 評価テーブルの例である。It is an example of an evaluation table.

１．第１の実施形態
1.1機能ブロック図
図１に、この発明の一実施形態による音楽療法システムの機能ブロック図を示す。このシステムは、サーバ装置１０と端末装置２０を備えている。サーバ装置１０の記録部２には、音楽療法として、歌唱者３０が歌唱する際の補助となる歌唱補助音（たとえば、カラオケ伴奏音など）Ｋ1、Ｋ2・・・Ｋnが記録されている。また、再生リストＬも記録されている。 1. First embodiment
1.1 Functional Block Diagram FIG. 1 shows a functional block diagram of a music therapy system according to an embodiment of the present invention. This system includes a server device 10 and a terminal device 20. In the recording unit 2 of the server device 10, singing assist sounds (for example, karaoke accompaniment sounds) K1, K2,..., Kn that assist the singer 30 singing are recorded as music therapy. Also, a play list L is recorded.

歌唱補助音送信手段４は、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から、再生リストＬの指定順にしたがって、複数の楽曲の歌唱補助音を順次、端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。 The singing auxiliary sound transmitting means 4 sequentially transmits the singing auxiliary sounds of a plurality of music pieces to the terminal device 20 from the singing auxiliary sounds K1, K2,. The reproduction means 22 of the terminal device 20 reproduces the received singing auxiliary sound from the speaker 24.

歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。 The singer 30 sings along with the singing auxiliary sound output from the speaker 24.

カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。 The camera 28 images the face of the singer 30 who is singing. The singing state acquisition unit 26 transmits the captured face image to the server device 10.

サーバ装置１０の再生リスト修正手段６は、この顔画像に基づいて、顔の表情を評価する。たとえば、当該表情によって怒り、嫌悪感、恐怖、喜び、中立、哀しみのいずれが示されているかを評価する。さらに、再生リスト修正手段６は、上記表情の評価に基づき、再生リストＬにいずれの楽曲の歌唱補助音を含めるかを変更する。 The playlist correction means 6 of the server device 10 evaluates the facial expression based on the face image. For example, it is evaluated whether the expression indicates anger, disgust, fear, joy, neutrality, or sadness. Further, the playlist correction means 6 changes which song's singing auxiliary sound is included in the playlist L based on the evaluation of the expression.

たとえば、喜びの表情と評価された場合には当該歌唱補助音の再生頻度を高くする。なお、認知症など歌唱者の疾病の種類によっては、怒りなどの否定的な表情と評価された場合であっても、再生頻度を低くしないようにする。疾病によっては、何らかの反応があること自体が、治療につながるからである。 For example, when the expression of joy is evaluated, the frequency of reproduction of the singing auxiliary sound is increased. Depending on the type of singer's disease such as dementia, the frequency of reproduction is not reduced even if the expression is evaluated as a negative expression such as anger. This is because, depending on the disease, the fact that there is some reaction leads to treatment.

あるいは、歌い始めと歌い終わりの表情の変化があれば当該補助音の再生頻度を高くするようにしてもよい。 Alternatively, if there is a change in the expression at the beginning and end of the singing, the frequency of reproduction of the auxiliary sound may be increased.

変更された再生リストＬは、当該歌唱者３０の次回の音楽療法の際に用いられる。
The changed playlist L is used at the time of the next music therapy of the singer 30.

1.2ハードウエア構成
図２に、音楽療法システムの構成図を示す。歌唱補助サーバ装置ＳＡには、歌唱補助音であるカラオケ演奏音が記録されている。表情評価サーバ装置ＳＢは、顔画像を受けて顔の評価を行い、その結果を返送するものである。これらは、インターネット上のサーバ装置として構築されている。この実施形態では、歌唱補助サーバ装置ＳＡは自ら表情を評価するのではなく、表情評価サーバ装置ＳＢから評価結果を取得するようにしている。 1.2 Hardware Configuration FIG. 2 shows a configuration diagram of the music therapy system. A karaoke performance sound, which is a singing auxiliary sound, is recorded in the singing auxiliary server device SA. The facial expression evaluation server SB receives the face image, evaluates the face, and returns the result. These are constructed as server devices on the Internet. In this embodiment, the singing assistance server device SA does not evaluate the facial expression by itself, but acquires the evaluation result from the facial expression evaluation server device SB.

これらサーバ装置ＳＡ、ＳＢと通信可能に、端末装置Ｔが設けられている。端末装置Ｔは、歌唱補助サーバ装置ＳＡからのカラオケ演奏データを受けてこれを再生する。端末装置Ｔは、歌唱中の歌唱者１２の顔画像を撮像して、歌唱補助サーバ装置ＳＡに送信する。歌唱補助サーバ装置ＳＡは、顔画像を表情評価サーバ装置ＳＢに送信し、評価結果を得る。歌唱補助サーバ装置ＳＡは、この評価結果に基づいて、再生リストに含める楽曲の歌唱補助音を変更する。 A terminal device T is provided so as to be able to communicate with these server devices SA and SB. The terminal device T receives and reproduces the karaoke performance data from the singing assistance server device SA. The terminal device T captures a face image of the singer 12 who is singing and transmits the image to the singing assistance server device SA. The singing assistance server device SA transmits the face image to the facial expression evaluation server device SB, and obtains an evaluation result. The singing assistance server device SA changes the singing assistance sound of the music included in the playlist based on the evaluation result.

図３に、歌唱補助サーバ装置ＳＡのハードウエア構成を示す。ＣＰＵ４０には、メモリ４２、ディスプレイ４４、ハードディスク４８、ＤＶＤ−ＲＯＭドライブ５０、通信回路５２が接続されている。 FIG. 3 shows a hardware configuration of the singing assistance server device SA. To the CPU 40, a memory 42, a display 44, a hard disk 48, a DVD-ROM drive 50, and a communication circuit 52 are connected.

通信回路５２は、インターネットと接続するためのものである。ハードディスク４８には、オペレーティングシステム６０、歌唱補助サーバプログラム６２、再生リスト６４、複数の楽曲の歌唱補助音６６が記録されている。歌唱補助サーバプログラム６２は、オペレーティングシステム６０と協働してその機能を発揮するものである。これらプログラムは、インターネット上のサーバ装置（たとえば、バージョン管理システム）に記録されていたものを、ハードディスク４８にインストールしたものである。 The communication circuit 52 is for connecting to the Internet. On the hard disk 48, an operating system 60, a singing assistance server program 62, a playback list 64, and singing assistance sounds 66 of a plurality of songs are recorded. The singing assistance server program 62 exhibits its function in cooperation with the operating system 60. These programs are installed on the hard disk 48 from those recorded on a server device (for example, a version control system) on the Internet.

図４に、端末装置Ｔのハードウエア構成を示す。この実施形態では、端末装置Ｔとしてスマートフォンを用いている。しかし、据え置き型のＰＣやカラオケ再生端末装置などを用いてもよい。 FIG. 4 shows a hardware configuration of the terminal device T. In this embodiment, a smartphone is used as the terminal device T. However, a stationary PC or a karaoke reproducing terminal device may be used.

ＣＰＵ７０には、メモリ７２、タッチディスプレイ７４、スピーカ７６、不揮発性メモリ７８、通信回路８０、カメラ８２、マイク８４が接続されている。 A memory 72, a touch display 74, a speaker 76, a nonvolatile memory 78, a communication circuit 80, a camera 82, and a microphone 84 are connected to the CPU 70.

通信回路８０は、インターネット接続するためのものである。不揮発性メモリ７８には、オペレーティングシステム９０、歌唱補助端末プログラム９２が記録されている。歌唱補助端末プログラム９２は、オペレーティングシステム９０と協働してその機能を発揮するものである。これらプログラムは、インターネットを介して、ダウンロードしたものである。
The communication circuit 80 is for connecting to the Internet. The non-volatile memory 78 stores an operating system 90 and a singing assistance terminal program 92. The singing assistant terminal program 92 exhibits its function in cooperation with the operating system 90. These programs are downloaded via the Internet.

1.3音楽療法処理
図５Ａ、図５Ｂ、図６、図７に、歌唱補助サーバプログラム６２、歌唱補助端末プログラム９２のフローチャートを示す。 1.3 Music Therapy Processing FIGS. 5A, 5B, 6, and 7 show flowcharts of the singing assistance server program 62 and the singing assistance terminal program 92.

図５Ａは、ユーザ登録処理のフローチャートである。音楽療法を受ける本人またはその家族など（ユーザ）が、端末装置Ｔを操作して歌唱補助サーバ装置ＳＡにアクセスし、ユーザ登録を行う。 FIG. 5A is a flowchart of the user registration process. The person who receives the music therapy or his or her family (user) operates the terminal device T to access the singing assistance server device SA and performs user registration.

ユーザは、端末装置ＴのＣＰＵ７０（以下端末装置Ｔと省略することがある）は、タッチディスプレイ７４を操作し、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１）。歌唱補助サーバ装置ＳＡのＣＰＵ４０（以下歌唱補助サーバ装置ＳＡと省略することがある）は、これを受けて登録画面を送信する（ステップＳ５１）。端末装置Ｔは、タッチディスプレイ７４にこの登録画面を表示する。 The user operates the touch display 74 to access the singing assistance server device SA (step S1). The CPU 70 of the terminal device T (hereinafter, may be abbreviated as the terminal device T). The CPU 40 of the singing assistance server device SA (hereinafter sometimes abbreviated as the singing assistance server device SA) transmits a registration screen in response to this (step S51). The terminal device T displays this registration screen on the touch display 74.

登録画面の例を、図８Ａ〜図８Ｄに示す。この実施形態では、性別、年齢（生年月日）、出身地、好きなジャンル、音楽経験（歌唱、カラオケ、楽器演奏などの経験の有無）、疾病の度合い（もの忘れの度合い）などを入力するようにしている。ユーザが入力を完了し送信ボタンを押すと、端末装置Ｔは、入力された情報を歌唱補助サーバ装置ＳＡに送信する（ステップＳ２）。 8A to 8D show examples of the registration screen. In this embodiment, gender, age (birth date), hometown, favorite genre, music experience (presence or absence of singing, karaoke, musical instrument performance, etc.), degree of illness (degree of forgetfulness), and the like are input. Like that. When the user completes the input and presses the transmission button, the terminal device T transmits the input information to the singing assistance server device SA (Step S2).

歌唱補助サーバ装置ＳＡは、ユーザに対してユーザＩＤを発行する（ステップＳ５２）。歌唱補助サーバ装置ＳＡは、発行したユーザＩＤに対応付けて、端末装置から送信されてきたユーザ情報を記録する（ステップＳ５３）。 The singing assistance server device SA issues a user ID to the user (step S52). The singing assistance server device SA records the user information transmitted from the terminal device in association with the issued user ID (step S53).

また、歌唱補助サーバ装置ＳＡは、発行したユーザＩＤを端末装置Ｔに送信する（ステップＳ５２）。端末装置Ｔは、受信したユーザＩＤを不揮発性メモリ７８に記録する（ステップＳ３）。 In addition, the singing assistance server device SA transmits the issued user ID to the terminal device T (step S52). The terminal device T records the received user ID in the nonvolatile memory 78 (Step S3).

次に、歌唱補助サーバ装置ＳＡは、ユーザ情報に基づいて再生リストを生成し、ユーザＩＤに対応付けて、ハードディスク４８に記録する（ステップＳ５４）。 Next, the singing assistance server device SA generates a playlist based on the user information, and records the playlist on the hard disk 48 in association with the user ID (step S54).

図５Ｂに、歌唱補助サーバ装置ＳＡにおける初期再生リスト生成処理のフローチャートを示す。図９に、ハードディスク４８に記録された歌唱補助音６６のデータを示す。各歌唱補助音６６には、メタデータとして、ジャンル、性別、世代、地域などのメタデータが記録されている。これらのメタデータは、再生リストの生成や修正に用いられる。なお、ユーザの疾病に合致した楽曲がいずれであるかをメタデータとして記録し、再生リスト生成などに用いてもよい。また、それぞれの歌唱補助音６６には、歌詞データ（文字テキストデータ）が付随して記録されている。この歌詞データには、歌唱補助音の再生時にその進行と合致するように表示色を変化させるためのタイミングデータも含まれている。 FIG. 5B shows a flowchart of the initial play list generation process in the singing assistance server device SA. FIG. 9 shows data of the singing auxiliary sound 66 recorded on the hard disk 48. In each of the singing assistance sounds 66, metadata such as genre, gender, generation, and region are recorded as metadata. These metadata are used for generating or modifying a playlist. It should be noted that it may be recorded as metadata which music is matched to the user's illness, and may be used for generating a playlist or the like. Further, lyrics data (character text data) is attached to each singing auxiliary sound 66 and recorded. The lyric data also includes timing data for changing the display color so as to match the progress of the singing auxiliary sound during reproduction.

まず、歌唱補助サーバ装置ＳＡは、当該ユーザのユーザ情報と、歌唱補助音６６のメタデータに基づいて、歌唱補助音６６を選択して初期再生リストを生成する。 First, the singing assistance server device SA selects the singing assistance sound 66 based on the user information of the user and the metadata of the singing assistance sound 66, and generates an initial play list.

歌唱補助サーバ装置ＳＡは、まず、ユーザの性別に基づいて、所定数の歌唱補助音６６を選択する（ステップＳ２１）。たとえば、ユーザが女性であれば、歌唱補助音６６のメタデータの「女性向け」に丸印が入っているものの中から、ランダムに所定数を選択する。ここで、再生リストに２０曲の歌唱補助音６６を含めるのであれば、その所定割合（たとえば１５％で３曲）の歌唱補助音６６を選択する。 The singing assistance server device SA first selects a predetermined number of singing assistance sounds 66 based on the gender of the user (step S21). For example, if the user is a woman, a predetermined number is randomly selected from among the metadata of the singing assistance sound 66 that have a circle for “for women”. Here, if the singing auxiliary sound 66 of 20 songs is included in the reproduction list, the singing auxiliary sound 66 of a predetermined ratio (for example, 3 songs at 15%) is selected.

同様にして、ユーザの年齢から３曲、ユーザの好みのジャンルから３曲、ユーザの出身地から３曲をランダムに選択する（ステップＳ２２〜Ｓ２４）。残りの８曲については、上記にて選択した歌唱補助音６６以外の歌唱補助音６６からランダムに選択する（ステップＳ２６）。 Similarly, three songs are randomly selected from the user's age, three from the user's favorite genre, and three from the user's hometown (steps S22 to S24). The remaining eight songs are selected at random from the singing auxiliary sounds 66 other than the singing auxiliary sounds 66 selected above (step S26).

歌唱補助サーバ装置ＳＡは、上記のようにして選択した２０曲の歌唱補助音６６をランダムに並び替えて、初期再生リストを生成し、ユーザＩＤと対応付けてハードディスク４８に記録する（ステップＳ２６）。 The singing assistance server apparatus SA randomly rearranges the 20 singing assistance sounds 66 selected as described above, generates an initial play list, and records it on the hard disk 48 in association with the user ID (step S26). .

このようにして生成された初期再生リストは、当該ユーザの最初の音楽療法の際に用いられることになる。図１０に、生成された初期再生リストの例を示す。 The initial playlist generated in this manner is used at the time of the user's first music therapy. FIG. 10 shows an example of the generated initial playlist.

図６に、音楽療法として歌唱補助音６６を再生し、カメラによって歌唱者を撮像する時のフローチャートを示す。 FIG. 6 shows a flowchart when the singing auxiliary sound 66 is reproduced as music therapy and the singer is imaged by the camera.

ユーザの操作により端末装置Ｔは、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１１）。この際、端末装置Ｔは、記録されているユーザＩＤを読み出して、歌唱補助サーバ装置ＳＡに送信する。なお、ユーザＩＤをユーザが入力するようにしてもよい。 The terminal device T accesses the singing assistance server device SA by a user's operation (step S11). At this time, the terminal device T reads out the recorded user ID and transmits it to the singing assistance server device SA. The user may input the user ID.

続いて、端末装置Ｔは、カメラ８２によるユーザ（歌唱者）の動画撮像を開始する（ステップＳ１２）。静止画を撮像するようにしてもよい。なお、端末装置Ｔのカメラ８２によってユーザが撮像できるように、端末装置Ｔを支持台（図示せず）などに固定するようにしてもよい。 Subsequently, the terminal device T starts capturing a moving image of the user (singer) by the camera 82 (step S12). Still images may be taken. Note that the terminal device T may be fixed to a support base (not shown) or the like so that the user can take an image with the camera 82 of the terminal device T.

歌唱補助サーバ装置ＳＡは、受信したユーザＩＤに基づいて、対応して記録されている再生リストを、ハードディスク４８から読み出す（ステップＳ６１）。さらに、歌唱補助サーバ装置ＳＡは、再生リストの最初に記述されている楽曲の歌唱補助音６６（歌詞データを含む）を読み出して、端末装置Ｔに送信する（ステップＳ６２）。図１０の例であれば、「青い山脈」の歌唱補助音６６（たとえばカラオケ演奏）を送信する。 The singing assistance server device SA reads a correspondingly recorded playlist from the hard disk 48 based on the received user ID (step S61). Further, the singing assistance server device SA reads out the singing assistance sound 66 (including the lyrics data) of the song described at the beginning of the play list and transmits it to the terminal device T (step S62). In the example of FIG. 10, the singing auxiliary sound 66 of “blue mountains” (for example, karaoke performance) is transmitted.

歌唱補助音６６を受信した端末装置Ｔは、これをスピーカ７６から再生する（ステップＳ１３）。同時に、歌詞をタッチディスプレイ７４に表示する。したがって、端末装置Ｔから歌唱補助音６６が出力され、タッチディスプレイ７４に歌詞が表示される（歌唱補助音の進行にあわせて歌うべき箇所の色が変化する）ので、これにあわせてユーザが歌を歌う。この時のユーザの顔は、カメラ８２によって撮像されている。 The terminal device T that has received the singing auxiliary sound 66 reproduces it from the speaker 76 (step S13). At the same time, the lyrics are displayed on the touch display 74. Therefore, the singing assistance sound 66 is output from the terminal device T, and the lyrics are displayed on the touch display 74 (the color of the part to be sung changes in accordance with the progress of the singing assistance sound). Sing The user's face at this time is imaged by the camera 82.

なお、この実施形態では、図８Ｅに示すように、画面に歌詞のみを表示するようにしている。画像などを表示しないことで、歌唱者が歌詞に集中できるようにするためである。なお、適用状況に応じて画像などを表示するようにしてもよい。 In this embodiment, as shown in FIG. 8E, only the lyrics are displayed on the screen. By not displaying an image or the like, the singer can concentrate on the lyrics. Note that an image or the like may be displayed according to the application status.

また、図８Ｅのように歌詞は画面最上部から表示してもよいが、図８Ｆに示すように、中央部分から表示するようにしてもよい。これは、歌唱者が高齢者である場合、眼瞼下垂により上方向が見えにくいことがあるからである。 The lyrics may be displayed from the top of the screen as shown in FIG. 8E, or may be displayed from the center as shown in FIG. 8F. This is because when the singer is an elderly person, it may be difficult to see the upward direction due to eyelid droop.

なお、画面最上部から歌詞を表示する場合であっても、歌詞の色を変化させる部分（歌うべき部分）は、中央部分付近に持ってくることが好ましい。 Even when the lyrics are displayed from the top of the screen, it is preferable to bring the part that changes the color of the lyrics (the part to be sung) near the center.

図８Ｅにおいて、ユーザがメロディボタン１５０を押すごとに、端末装置Ｔは歌唱補助音６６に含まれる主旋律の再生をオンにしたりオフにしたりする。ボーカルボタン１５２を押すごとに、ガイドボーカルの再生をオンにしたりオフにしたりする。さらに、先読みボタン１５４を押すごとに、歌詞データに基づいて、次に歌うべき歌詞を音声として先に出力する機能（歌詞の先読み機能）をオンにしたりオフにしたりする。歌詞が見づらい場合など、歌詞の先読み機能で歌唱を誘導することが可能となる。 8E, every time the user presses the melody button 150, the terminal device T turns on or off the reproduction of the main melody included in the singing auxiliary sound 66. Each time the vocal button 152 is pressed, the reproduction of the guide vocal is turned on or off. Further, every time the pre-reading button 154 is pressed, a function (a pre-reading function for lyrics) for outputting the lyrics to be sung next as voice based on the lyrics data is turned on or off. For example, when the lyrics are difficult to see, it is possible to guide the singing with the lyrics look-ahead function.

また、続きボタン１５６がクリックされると、端末装置Ｔは、１番が終了した後、その楽曲の２番の歌唱補助音６６を再生する。１番が終了するまでに、続きボタン１５６がクリックされなければ、端末装置Ｔは、当該楽曲について１番の終了で１曲が終了したものとして次の処理に進む。 When the continuation button 156 is clicked, the terminal device T reproduces the second singing auxiliary sound 66 of the music after the end of the first song. If the continuation button 156 is not clicked before the end of the first song, the terminal device T determines that one song has ended at the end of the first song and proceeds to the next process.

１曲の歌唱補助音６６の再生が終了すると、端末装置Ｔは、当該曲（ここでは青い山脈）の歌唱補助音６６の再生開始直前のユーザの顔画像と、再生終了直後のユーザの顔画像を、前記動画から抽出する。さらに、抽出した顔画像（静止画）を、歌唱補助サーバ装置ＳＡに送信する（ステップＳ１５）。 When the reproduction of the singing auxiliary sound 66 of one song ends, the terminal device T displays the user's face image immediately before the reproduction of the singing auxiliary sound 66 of the song (here, the blue mountains) and the user's face image immediately after the reproduction ends. Is extracted from the moving image. Further, the extracted face image (still image) is transmitted to the singing assistance server device SA (step S15).

歌唱補助サーバ装置ＳＡは、この顔画像を受信し、当該曲に対応付けて記録する。図１０の再生リストには、顔画像を記録する領域が設けられているので、ここに記録する。なお、顔画像１は再生開始直前のユーザの顔画像、顔画像２は再生終了直後のユーザの顔画像である。 The singing assistance server device SA receives this face image and records it in association with the song. In the reproduction list of FIG. 10, an area for recording a face image is provided, and is recorded here. The face image 1 is the face image of the user immediately before the start of the reproduction, and the face image 2 is the face image of the user immediately after the end of the reproduction.

歌唱補助サーバ装置ＳＡは、再生リストの次の楽曲の再生補助音６６を読み出して、端末装置に送信する（ステップＳ６２）。 The singing assistance server device SA reads the playback assistance sound 66 of the next song in the playlist and transmits it to the terminal device (step S62).

以後、上記と同様の処理を繰り返す。再生リストの全曲について再生補助音６６を再生し終わると（ステップＳ６５）、歌唱補助サーバ装置ＳＡは処理を終了する。端末装置Ｔは、再生を終了し、動画撮像を終了する（ステップＳ１７）。 Thereafter, the same processing as described above is repeated. When the reproduction auxiliary sound 66 has been reproduced for all the songs in the reproduction list (step S65), the singing auxiliary server device SA ends the processing. The terminal device T ends the reproduction and ends the moving image capturing (step S17).

以上のようにして、当該ユーザの再生リストの各楽曲につき、再生開始直前のユーザの顔画像、再生終了直後のユーザの顔画像が記録されることになる。 As described above, the face image of the user immediately before the start of the reproduction and the face image of the user immediately after the end of the reproduction are recorded for each song in the reproduction list of the user.

歌唱補助サーバ装置ＳＡは、上記の顔画像に基づいて、当該ユーザの再生リストに含まれる楽曲を修正する。図７Ａに、再生リスト修正処理のフローチャートを示す。この処理は、たとえば、夜間などにまとめて行うことが好ましい。 The singing assistance server device SA corrects the music included in the playlist of the user based on the face image. FIG. 7A shows a flowchart of the playlist correction processing. This processing is preferably performed collectively, for example, at night.

歌唱補助サーバ装置ＳＡは、各楽曲についての直前・直後の顔画像を読み出して、表情評価サーバ装置ＳＢに送信する（ステップＳ３１）。表情評価サーバ装置ＳＢとしては、マイクロソフト社のFace API（商標）などを利用することができる。 The singing assistance server device SA reads the immediately preceding and succeeding face images of each song and transmits them to the facial expression evaluation server device SB (step S31). As the expression evaluation server device SB, Microsoft's Face API (trademark) or the like can be used.

表情評価サーバ装置ＳＢは、送られてきた顔画像を評価し（ステップＳ７１）、その評価結果を歌唱補助サーバ装置ＳＡに返信する（ステップＳ７２）。この実施形態では、顔画像に含まれる「怒り」「軽蔑」「嫌悪」「恐怖」「喜び」「中立」「悲しみ」「驚き」の８つの要素の度合いを算出するようにしている。たとえば、図１１Ａに示すように、各要素について、その適合率を算出して送信する。 The facial expression evaluation server SB evaluates the sent face image (step S71), and returns the evaluation result to the singing assistance server SA (step S72). In this embodiment, the degrees of the eight elements of “anger”, “contempt”, “disgust”, “fear”, “joy”, “neutral”, “sadness”, and “surprise” included in the face image are calculated. For example, as shown in FIG. 11A, for each element, the matching rate is calculated and transmitted.

次に、端末装置Ｔは、楽曲ごとに、顔画像１と顔画像２の評価の差を算出する（ステップＳ３２）。端末装置Ｔは、楽曲ごとに、もっとも差分の絶対値の大きかった要素を一つ選択する。図１１Ａの例であれば、３５％の差がある喜びが選択されることになる。なお、この実施形態では、「中立」の要素は考慮しないようにしている。感情が表れていないからである。 Next, the terminal device T calculates the difference between the evaluations of the face image 1 and the face image 2 for each music (step S32). The terminal device T selects, for each music piece, one element having the largest absolute value of the difference. In the example of FIG. 11A, pleasure having a difference of 35% is selected. In this embodiment, the "neutral" element is not considered. This is because no emotion has appeared.

いずれの要素であっても、最大差が第１の所定割合（たとえば５０％）を超えていれば効果ありとし、第２の所定割合〜第１の所定割合（たとえば１５％以上５０％以下）であればどちらでもない、第２の所定割合（たとえば１５％）未満であれば効果なしとする。ここでは、効果あり、どちらでもない、効果なしの３段階としたが、２段階としたり、４段階以上としてもよい。ポジティブな要素（喜び）だけで無く、ネガティブな要素（悲しみ、怒りなど）についても差分が大きければ効果ありとしたのは、楽曲によって感情の変化がもたらされたと考えられるからである。したがって、例えば恐怖が減少した場合だけでなく、恐怖が増大したような場合も、それが第１の所定割合（たとえば５０％）を超えていれば効果ありと判断する。疾病によっては、何らかの反応があること自体が、治療につながるからである。 Regardless of which element, if the maximum difference exceeds a first predetermined ratio (for example, 50%), it is determined that there is an effect, and a second predetermined ratio to a first predetermined ratio (for example, 15% or more and 50% or less) If neither, it is neither. If less than a second predetermined ratio (for example, 15%), it is determined that there is no effect. Here, there are three stages with an effect, neither, or no effect. However, two stages or four or more stages may be used. If the difference is large not only for the positive element (joy) but also for the negative element (sadness, anger, etc.), the effect is considered to have been caused by a change in emotion due to the music. Therefore, for example, not only when the fear is reduced but also when the fear is increased, it is determined that the effect is effective if the fear exceeds the first predetermined ratio (for example, 50%). This is because, depending on the disease, the fact that there is some reaction leads to treatment.

端末装置Ｔは、上記のようにして算出した各曲の評価「効果あり」「どちらでもない」「効果無し」を、図１０に示すように記録する。図においては、○が効果あり、□がどちらでもない、×が効果無しである。次に、端末装置Ｔは、各曲の評価に基づいて、当該ユーザの再生リストの修正を行う（ステップＳ３３）。 The terminal device T records the evaluation “effective”, “neither”, or “no effect” of each song calculated as described above, as shown in FIG. In the figure, ○ indicates an effect, □ indicates neither, and X indicates no effect. Next, the terminal device T corrects the playlist of the user based on the evaluation of each song (step S33).

図７Ｂに、再生リスト修正処理の詳細を示す。まず、歌唱補助サーバ装置ＳＡは、過去の評価において、効果ありの評価回数が１位〜１０位の楽曲からランダムに５曲を選択する（ステップＳ４１）。なお、図１０においては、１回だけ再生した後の評価であるから、評価は１回だけ行われている。しかし、複数回音楽療法を繰り返すと、評価も複数回得られることになる。これら複数回の評価をまとめて各楽曲について効果ありが何回評価されたかを算出し、１位〜１０位までの楽曲の中からランダムに５曲（所定数の曲）を選択する。 FIG. 7B shows the details of the playlist correction processing. First, in the past evaluation, the singing assistance server apparatus SA randomly selects five songs from the first to tenth songs with the number of effective evaluations (step S41). In FIG. 10, since the evaluation is performed only once, the evaluation is performed only once. However, if music therapy is repeated a plurality of times, an evaluation will be obtained more than once. The plurality of evaluations are put together to calculate how many times each song has been evaluated as having an effect, and five songs (a predetermined number of songs) are randomly selected from the first to tenth songs.

次に、歌唱補助サーバ装置ＳＡは、効果ありの評価回数が１１位以下の楽曲の中からランダムに５曲を選択する（ステップＳ４２）。 Next, the singing assistance server apparatus SA randomly selects five songs from among the songs whose effect evaluation count is 11th or less (step S42).

以上の処理で１０曲選択できなければ、つまり、効果ありの評価を得た楽曲が１０曲に満たない場合には、ステップＳ４６以下を実行する（ステップＳ４３）。１０曲選択できた場合には、効果ありの評価回数１位〜１０位の楽曲から３曲を選択する（ステップＳ４４）。ただし、ステップＳ４１・Ｓ４２での選択曲は除く。さらに、効果ありの評価回数１１位以下の楽曲から３曲を選択する（ステップＳ４５）。ただし、ステップＳ４１・Ｓ４２・Ｓ４４での選択曲は除く。 If ten songs cannot be selected in the above processing, that is, if less than ten songs have been evaluated as having an effect, step S46 and subsequent steps are executed (step S43). If ten songs can be selected, three songs are selected from the first to tenth songs with the number of effective evaluations (step S44). However, the songs selected in steps S41 and S42 are excluded. Further, three tunes are selected from among the tunes having the effect evaluation number of 11th or less (step S45). However, the songs selected in steps S41, S42, and S44 are excluded.

以上のようにして、効果ありと評価された楽曲の歌唱補助音から所定数をリストに含ませるようにする。音楽療法の効果が見込まれる楽曲を優先したものである。ただし、効果ありの楽曲のみから選択すると、再生リストが固定化され、結果的に治療効果が低下する可能性がある。そこで、以下のように、どちらでもないや全ての楽曲（効果なし含む）からもランダムに選択して楽曲リストに含めるようにしている。 As described above, the list includes a predetermined number of the singing assist sounds of the songs evaluated to be effective. The priority is given to music that is expected to have the effect of music therapy. However, if only the songs that have an effect are selected, the playlist is fixed, and as a result, the therapeutic effect may be reduced. Therefore, as described below, either one or all songs (including no effect) are randomly selected and included in the song list.

ステップＳ４６において、歌唱補助サーバ装置ＳＡは、どちらでもないの評価回数１位〜１０位の楽曲からランダムに２曲を選択する。さらに、どちらでもないの評価回数１１以下の楽曲からランダムに１曲を選択する（ステップＳ４７）。 In step S46, the singing assistance server device SA selects two songs at random from the first to tenth ranked songs that are neither of them. Further, one song is randomly selected from the songs having the evaluation count of 11 or less, which is neither of them (step S47).

最後に、歌唱補助サーバ装置ＳＡは、再生リストに含める残りの曲を、全ての曲（上記にて選択された曲を除く）からランダムに選択する（ステップＳ４８）。全ての曲であるから、効果なしとされた楽曲も含んで全体から、ランダムに選択されることになる。 Finally, the singing assistance server device SA randomly selects the remaining songs to be included in the playlist from all the songs (excluding the song selected above) (step S48). Since the songs are all songs, the songs are randomly selected from the whole, including the songs for which no effect has been made.

以上のようにして、当該ユーザについての再生リストが修正されて、ハードディスク４８に記録されることになる。なお、この修正された再生リストは、当該ユーザの次の音楽療法の際に用いられる。
As described above, the playlist for the user is corrected and recorded on the hard disk 48. The modified playlist is used for the next music therapy of the user.

1.4その他
(1)上記実施形態では、事前と事後の顔画像に基づいて表情の評価を行い、その差に基づいて楽曲の評価を行うようにしている。しかし、歌唱中（例えばさび部分など）のユーザの顔画像に基づいて表情の評価を行って、楽曲の評価を行うようにしてもよい。 1.4 Other
(1) In the above embodiment, the expression is evaluated based on the face images before and after, and the music is evaluated based on the difference. However, the expression may be evaluated based on the face image of the user during singing (for example, a rust portion), and the music may be evaluated.

また、最も変化の大きかった要素を一つだけ選択して楽曲を評価しているが、変化の大きい方から複数個の要素を選択して楽曲を評価し、再生リスト修正に反映するようにしてもよい。 In addition, only one element with the largest change is selected to evaluate the music, but a plurality of elements with the largest change are selected to evaluate the music and reflected in the playlist correction. Is also good.

また、歌唱中の顔画像を所定回数（たとえば１０秒ごと）取得し、各回の顔画像を評価するようにしてもよい。この場合、前回の評価との差の絶対値を各回について求めて、各回の平均値または最大値に基づいて判断のための要素を決定することができる。たとえば、図１１Ｂに示すように４回の顔画像を評価した場合、図１１Ｃのように各回の差分の絶対値を算出する。要素ごとに平均値を求め、平均値が最も大きい要素を再生リスト修正のために用いる。図１１Ｃであれば、４０％の平均値の「喜び」が選択されることになる。また、最大値を用いる場合であれば、４３％の「怒り」が選択されることになる。なお、平均値を最大値の双方を用いるようにしてもよい。 Alternatively, a face image during singing may be acquired a predetermined number of times (for example, every 10 seconds), and the face image of each time may be evaluated. In this case, the absolute value of the difference from the previous evaluation is obtained for each time, and an element for determination can be determined based on the average value or the maximum value of each time. For example, when the face image is evaluated four times as shown in FIG. 11B, the absolute value of the difference of each time is calculated as shown in FIG. 11C. An average value is obtained for each element, and the element having the highest average value is used for modifying the playlist. In the case of FIG. 11C, “joy” having an average value of 40% is selected. If the maximum value is used, 43% of "anger" will be selected. Note that both the average value and the maximum value may be used.

(2)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、動画として評価を行うようにしてもよい。たとえば、マイクロソフト社のVideo Indexer（商標）などを用いることができる。 (2) In the above embodiment, the evaluation is performed based on the face image. However, you may make it evaluate as a moving image. For example, a Microsoft Video Indexer (trademark) or the like can be used.

また、ユーザの動画から判断できる動作に基づいて当該曲の評価を行うようにしてもよい。たとえば、身体全体でリズムをとっている、手拍子をしているなどの動作によって、当該曲の評価を行ってもよい。 Alternatively, the music may be evaluated based on an operation that can be determined from the moving image of the user. For example, the music may be evaluated by an action such as rhythmic or clapping the whole body.

(3)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、これに代えて、あるいはこれに加えて、歌唱者の音声（動画に含まれるものであってもよい）に基づいて評価を行うようにしてもよい。声が出ていれば（大きな声が出ていれば）効果ありとするなどである。 (3) In the above embodiment, the evaluation is performed based on the face image. However, instead of or in addition to this, the evaluation may be performed based on the voice of the singer (which may be included in the moving image). If there is a voice (if a loud voice is heard), it is said that there is an effect.

また、歌唱者の音声をマイクで収録してテキストデータ化し、本来の歌詞に対する正確性を評価するようにしてもよい。正確性が高いと効果ありとするなどである。 Alternatively, the voice of the singer may be recorded by a microphone and converted into text data, and the accuracy of the original lyrics may be evaluated. If the accuracy is high, it will be effective.

(4)上記実施形態では、歌唱補助サーバ装置ＳＡが顔画像を表情評価サーバ装置ＳＢに送信し、顔画像の評価を得るようにしている。しかし、端末装置Ｔから表情評価サーバ装置ＳＢに顔画像を送信して評価を得て、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。また、端末装置Ｔにおいて、顔画像を評価し、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。 (4) In the above embodiment, the singing assistance server device SA transmits the face image to the expression evaluation server device SB to obtain the evaluation of the face image. However, a facial image may be transmitted from the terminal device T to the facial expression evaluation server device SB to obtain an evaluation, and the evaluation may be transmitted from the terminal device T to the singing assistance server device SA. Further, the terminal device T may evaluate the face image and transmit the evaluation from the terminal device T to the singing assistance server device SA.

(5)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、各曲の歌唱終了後に、歌唱者もしくはその家族、治療者などによって、「効果あり」「どちらでもない」「効果無し」を、端末装置Ｔから入力して、歌唱補助サーバ装置ＳＡに送信するようにしてもよい。 (5) In the above embodiment, the evaluation is performed based on the face image. However, after the singing of each song, the singer or his / her family, therapist, or the like inputs “effective”, “neither”, or “no effect” from the terminal device T and transmits it to the singing assistance server device SA. You may make it.

この際、「効果あり」「どちらでもない」「効果無し」に代えて、「好き」「どちらでもない」「嫌い」を入力するようにしてもよい。 At this time, instead of “effective”, “neither”, or “no effect”, “like”, “neither”, or “dislike” may be input.

また、顔画像に基づく評価と、ユーザもしくは家族などによって入力された評価の双方を用いて、再生リストの修正を行うようにしてもよい。この場合、たとえば、いずれか一方において「効果あり」との評価が得られれば、その評価に基づいて、再生確率を変えるようにすればよい。 Further, the playlist may be corrected using both the evaluation based on the face image and the evaluation input by the user or the family. In this case, for example, if the evaluation of “effective” is obtained in any one of them, the reproduction probability may be changed based on the evaluation.

(6)上記実施形態では、「嫌悪」の変化が最も絶対値が大きく、しかも、「嫌悪」が直前よりも直後において増えている場合（上記変形例の「嫌い」の場合も同様である）であっても、「効果あり」との判定を行うようにしている。しかし、このような場合には、再生リストに当該曲を含めないようにしてもよい。ユーザによる「嫌悪」の感情が、音楽療法の妨げになる可能性があるからである。ただし、上記のような場合であっても、物忘れが大きいユーザ（重度認知症や中等度認知症）に対しては、当該曲を再生リストに含めるようにしてもよい。物忘れが大きいので、当該曲に対する「嫌悪」の感情を維持していないからである。ただし、「嫌悪」が所定回数以上続くようであれば、再生リストに含める確率を０％にしてもよい。 (6) In the above embodiment, the change of “disgust” has the largest absolute value, and the change of “disgust” increases immediately after immediately before (the same applies to the case of “dislike” in the above modification) Is determined to be “effective”. However, in such a case, the song may not be included in the playlist. This is because the feeling of “disgust” by the user may hinder the music therapy. However, even in the above case, the user may be allowed to include the song in the playlist for a user who has a large amount of forgetfulness (severe dementia or moderate dementia). This is because he does not maintain the feeling of "dislike" for the song because he is so forgetful. However, if “disgust” continues for a predetermined number of times or more, the probability of inclusion in the playlist may be 0%.

(7)上記実施形態では、端末装置Ｔ、サーバ装置ＳＡ、ＳＢによってシステムを構築している。しかし、端末装置Ｔおよびサーバ装置ＳＡまたはサーバ装置ＳＢまたはその双方の機能を、１台のＰＣ等によって実現するようにしてもよい。 (7) In the above embodiment, a system is constructed by the terminal device T, the server devices SA, and SB. However, the functions of the terminal device T and the server device SA or the server device SB or both may be realized by one PC or the like.

(8)上記実施形態に加えて、あるいはこれに代えて、歌唱者であるユーザの歌唱中の脈拍を取得するセンサを設け、当該脈拍に合致するように端末装置Ｔにて再生する歌唱補助音のテンポをリアルタイムで調整するようにしてもよい。これにより、歌唱者によって、テンポが取りやすく歌を歌いやすい環境を提供することができる。 (8) In addition to or in place of the above embodiment, a sensor for acquiring a pulse during singing of a user who is a singer is provided, and a singing auxiliary sound reproduced on the terminal device T so as to match the pulse. May be adjusted in real time. This provides an environment in which the singer can easily set the tempo and easily sing the song.

また、歌唱中の脈拍を取得し、その平均値や最大値に基づいて、再生リストの修正に反映するようにしてもよい。たとえば、当該歌唱者の平常時の脈拍よりも速ければ（遅ければ）、次の再生リストに含める曲としてテンポの遅い（速い）曲を選択する確率を高くするようにする。この場合、歌唱補助音に標準テンポをメタデータとして記録しておいてこれを元に選択するようにする。あるいは、標準テンポとは関係なく、再生時にテンポを調整するようにしてもよい。 Alternatively, a pulse during singing may be acquired and reflected in the modification of the playlist based on the average value or the maximum value. For example, if the pulse is faster (slower) than the singer's normal pulse, the probability of selecting a song with a slow tempo (fast) as a song to be included in the next play list is increased. In this case, the standard tempo is recorded as metadata in the singing auxiliary sound and is selected based on this. Alternatively, the tempo may be adjusted during reproduction regardless of the standard tempo.

なお、上記において、脈拍が速ければテンポの遅い曲を選択する確率を高めているのは、脈拍を落ち着かせたり、興奮状態から気持ちを落ち着かせるためである。 In the above, the reason why the probability of selecting a song with a slow tempo is increased if the pulse is fast is to calm the pulse or calm the emotion from the excited state.

(9)上記実施形態では、歌唱補助音としてカラオケ伴奏を用いている。しかし、ユーザの歌唱補助のために伴奏だけでなく歌（ガイドボーカルなど）を含めるようにしてもよい。また、歌唱補助になるのであれば、打楽器などによるリズムだけでもよい。 (9) In the above embodiment, karaoke accompaniment is used as the singing auxiliary sound. However, a song (such as a guide vocal) may be included in addition to the accompaniment to assist the user in singing. Also, if it is a singing aid, only the rhythm of a percussion instrument or the like may be used.

(10)上記実施形態では、再生リストに２０曲の歌唱補助音を含めるようにしている。しかし、１９曲以下、２１曲以上としてもよい。また、ユーザによって曲数を入力させて指定するようにしてもよい。 (10) In the above embodiment, the singing assistance sounds of 20 songs are included in the playlist. However, the number may be 19 or less, or 21 or more. Alternatively, the number of songs may be input and designated by the user.

(11)上記実施形態では、端末装置としてスマートフォンを用い、スマートフォン内蔵のスピーカを用いている。しかし、ブルーツース通信などによって、外部のスピーカ（スマートスピーカでもよい）を用いるようにしてもよい。 (11) In the above embodiment, a smartphone is used as the terminal device, and a speaker built into the smartphone is used. However, an external speaker (a smart speaker may be used) may be used by Bluetooth communication or the like.

また、端末装置として据え置き型のディスプレイとスピーカを備えた機器を用いてもよい。 Further, a device having a stationary display and a speaker may be used as the terminal device.

さらに、端末装置として、スマートスピーカとディスプレイ（テレビのディスプレイでもよい）を用いることができる。スマートスピーカに話しかけることにより（たとえば、「音楽療法をしたい」と話す）、スマートスピーカがネットワーク上にある本システムのサーバ装置１０にアクセスする。サーバ装置１０から画像（歌詞情報など）が送られてくるので、スマートスピーカは、近傍にあるテレビなどのディスプレイを立ち上げる。歌唱補助音は、スマートスピーカにて再生する。カメラはスマートスピーカに付属のもの、またはスマートフォンのものを用いる。 Furthermore, as the terminal device, a smart speaker and a display (or a display of a television) may be used. By speaking to the smart speaker (for example, saying "I want to do music therapy"), the smart speaker accesses the server device 10 of the present system on the network. Since an image (lyric information or the like) is sent from the server device 10, the smart speaker starts up a display such as a television in the vicinity. The singing auxiliary sound is reproduced by the smart speaker. Use a camera attached to a smart speaker or a smartphone.

(12)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態や変形例を組み合わせて実施可能である。
(12) The above embodiment and its modified examples can be implemented in combination with other embodiments and modified examples as long as they do not violate the essence.

２．第２の実施形態
2.1機能ブロック図
図１２に、この発明の第２の実施形態による音楽療法システムの機能ブロック図を示す。このシステムは、サーバ装置１０と端末装置２０を備えている。サーバ装置１０の記録部２には、音楽療法として、歌唱者３０が歌唱する際の補助となる歌唱補助音（たとえば、カラオケ伴奏音など）Ｋ1、Ｋ2・・・Ｋnが記録されている。 2. Second embodiment
2.1 Functional Block Diagram FIG. 12 shows a functional block diagram of a music therapy system according to the second embodiment of the present invention. This system includes a server device 10 and a terminal device 20. In the recording unit 2 of the server device 10, singing assist sounds (for example, karaoke accompaniment sounds) K1, K2,..., Kn that assist the singer 30 singing are recorded as music therapy.

歌唱補助音取得手段６は、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から歌唱補助音を選択する。歌唱補助音送信手段４は、選択された歌唱補助音を端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。 The singing auxiliary sound obtaining means 6 selects a singing auxiliary sound from the singing auxiliary sounds K1, K2,. The singing auxiliary sound transmitting means 4 transmits the selected singing auxiliary sound to the terminal device 20. The reproduction means 22 of the terminal device 20 reproduces the received singing auxiliary sound from the speaker 24.

サーバ装置１０の歌唱補助音取得手段６は、この顔画像に基づいて、顔の表情を評価する。たとえば、当該表情によって怒り、嫌悪感、恐怖、喜び、中立、哀しみのいずれが示されているかを評価する。さらに、歌唱補助音取得手段６は、上記表情の評価に基づき、記録部２に記録されている歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中からいずれを選択するかを決定する。 The singing assistance sound obtaining means 6 of the server device 10 evaluates the facial expression based on the face image. For example, it is evaluated whether the expression indicates anger, disgust, fear, joy, neutrality, or sadness. Further, the singing auxiliary sound obtaining means 6 determines which of the singing auxiliary sounds K1, K2,... Kn stored in the recording unit 2 to select based on the evaluation of the facial expression.

2.2ハードウエア構成
図１３に、システム構成を示す。インターネットを介して、端末装置Ｔと歌唱補助サーバ装置ＳＡが接続されている。これら装置のハードウエア構成は、第１の実施形態の図３、図４に示すものと同様である。
2.2 Hardware Configuration FIG. 13 shows the system configuration. The terminal device T and the singing assistance server device SA are connected via the Internet. The hardware configuration of these devices is the same as that shown in FIGS. 3 and 4 of the first embodiment.

2.3音楽療法処理
図１４、図１５に、歌唱補助サーバプログラム６２、歌唱補助端末プログラム９２のフローチャートを示す。 2.3 Music Therapy Processing FIGS. 14 and 15 show flowcharts of the singing assistance server program 62 and the singing assistance terminal program 92.

図１４は、ユーザ登録処理のフローチャートである。音楽療法を受ける本人またはその家族など（ユーザ）が、端末装置Ｔを操作して歌唱補助サーバ装置ＳＡにアクセスし、ユーザ登録を行う。 FIG. 14 is a flowchart of the user registration process. The person who receives the music therapy or his or her family (user) operates the terminal device T to access the singing assistance server device SA and performs user registration.

なお、ユーザ登録処理は、第１の実施形態と同様である。ただし、この実施形態では、歌唱補助サーバ装置ＳＡにおいて再生リストは生成されない。 Note that the user registration process is the same as in the first embodiment. However, in this embodiment, the playlist is not generated in the singing assistance server device SA.

図１５に、音楽療法として歌唱補助音６６を再生し、カメラによって歌唱者を撮像する時のフローチャートを示す。 FIG. 15 shows a flowchart when the singing auxiliary sound 66 is reproduced as music therapy and the singer is imaged by the camera.

続いて、端末装置Ｔは、カメラ８２によるユーザ（歌唱者）の動画撮像を開始する（ステップＳ１２）。なお、端末装置Ｔのカメラ８２によってユーザが撮像できるように、端末装置Ｔを支持台（図示せず）などに固定するようにしてもよい。 Subsequently, the terminal device T starts capturing a moving image of the user (singer) by the camera 82 (step S12). Note that the terminal device T may be fixed to a support base (not shown) or the like so that the user can take an image with the camera 82 of the terminal device T.

歌唱補助サーバ装置ＳＡは、受信したユーザＩＤに基づいて、対応して記録されている評価テーブルを、ハードディスク４８から読み出す。図１６に、評価テーブルの例を示す。評価テーブルには、当該ユーザがこれまでに歌唱した曲についての評価が記録されている。図１６では、１回目から５回目の歌唱についての評価が示されている。○は効果あり、□はどちらでもない、×は効果無しを示している。 The singing assistance server device SA reads the correspondingly recorded evaluation table from the hard disk 48 based on the received user ID. FIG. 16 shows an example of the evaluation table. The evaluation table records the evaluations of the songs that the user has sung so far. FIG. 16 shows the evaluation of the first to fifth singing.は indicates an effect, □ indicates neither, and × indicates no effect.

歌唱補助サーバ装置ＳＡは、この評価テーブルを参照して、端末装置Ｔに送信する歌唱補助音を選択する（ステップＳ８１）。選択処理は、以下のとおりである。 The singing assistance server device SA refers to the evaluation table and selects a singing assistance sound to be transmitted to the terminal device T (step S81). The selection process is as follows.

まず、各曲について、効果あり（○）の回数から効果無し（×）の回数を減算する。これを数値の大きい順に並べる。したがって、上位には効果ありと多数回評価された曲が入り、下位には効果なしと多数回評価された曲が入ることになる。 First, for each song, the number of effects (O) is subtracted from the number of effects (O). These are arranged in ascending numerical order. Therefore, songs that are evaluated many times as effective are included in the upper rank, and songs that are evaluated many times as not effective are included in the lower rank.

歌唱補助サーバ装置ＳＡは、上位半分から歌唱補助音を選択する確率を７０％とし、下位半分から歌唱補助音を選択する確率を２０％とし、その他の歌唱補助音から選択する確率を１０％として、ランダムに歌唱補助音を１曲選択する。 The singing assistance server device SA sets the probability of selecting a singing assistance sound from the upper half as 70%, the probability of selecting a singing assistance sound from the lower half as 20%, and the probability of selecting from the other singing assistance sounds as 10%. , One singing assist sound is selected at random.

歌唱補助サーバ装置ＳＡは、このようにして選択した歌唱補助音を、ハードディスク４８から読み出して、端末装置Ｔに送信する（ステップＳ８２）。 The singing assistance server device SA reads the singing assistance sound selected in this way from the hard disk 48 and transmits it to the terminal device T (step S82).

歌唱補助音６６を受信した端末装置Ｔは、これをスピーカ７６から再生する（ステップＳ１３）。したがって、端末装置Ｔから歌唱補助音６６が出力されるので、これにあわせてユーザが歌を歌う。この時のユーザの顔は、カメラ８２によって撮像されている。 The terminal device T that has received the singing auxiliary sound 66 reproduces it from the speaker 76 (step S13). Therefore, the singing assistance sound 66 is output from the terminal device T, and the user sings a song accordingly. The user's face at this time is imaged by the camera 82.

１曲の歌唱補助音６６の再生が終了すると、端末装置Ｔは、当該曲の歌唱補助音６６の再生開始直前のユーザの顔画像と、再生終了直後のユーザの顔画像を、前記動画から抽出する。さらに、抽出した顔画像（静止画）を、歌唱補助サーバ装置ＳＡに送信する（ステップＳ１５）。 When the reproduction of the singing auxiliary sound 66 of one song ends, the terminal device T extracts, from the moving image, the user's face image immediately before the reproduction of the singing auxiliary sound 66 of the song starts and the user's face image immediately after the reproduction ends. I do. Further, the extracted face image (still image) is transmitted to the singing assistance server device SA (step S15).

歌唱補助サーバ装置ＳＡは、この顔画像を受信し、当該曲に対応付けて記録する（ステップＳ８４）。さらに、歌唱補助サーバ装置ＳＡは、顔画像を評価して、当該曲に対する評価を行う。この評価は、第１の実施形態における評価と同じように、直前・直後の顔画像の評価の変化度合いに基づいて行う。 The singing assistance server device SA receives this face image and records it in association with the song (step S84). Further, the singing assistance server device SA evaluates the face image and evaluates the song. This evaluation is performed on the basis of the degree of change in the evaluation of the immediately preceding / immediate face image, similarly to the evaluation in the first embodiment.

端末装置Ｔは、上記のようにして算出した各曲の評価「効果あり」「どちらでもない」「効果無し」を、図１６に示す当該ユーザの評価テーブル中の、当該曲の評価に追加して記録する（ステップＳ８５）。 The terminal device T adds the evaluation “effective”, “neither”, or “no effect” of each song calculated as described above to the evaluation of the song in the user's evaluation table shown in FIG. (Step S85).

次に、歌唱補助サーバ装置ＳＡは、予め定められた曲数（たとえば２０曲）を送信したかどうかを判断する（ステップＳ８６）。所定曲数に達していなければ、ステップＳ８１に戻り、評価テーブルに基づいて歌唱補助音を選択して、端末装置Ｔに送信する処理を繰り返す。 Next, the singing assistance server SA determines whether a predetermined number of songs (for example, 20 songs) has been transmitted (step S86). If the predetermined number of songs has not been reached, the process returns to step S81, and the process of selecting a singing auxiliary sound based on the evaluation table and transmitting it to the terminal device T is repeated.

所定曲数の再生補助音６６を送信し終わると（ステップＳ８６）、歌唱補助サーバ装置ＳＡは処理を終了する。端末装置Ｔは、再生を終了し、動画撮像を終了する（ステップＳ１７）。 When transmission of the reproduction assistance sounds 66 of the predetermined number of songs is completed (step S86), the singing assistance server device SA ends the processing. The terminal device T ends the reproduction and ends the moving image capturing (step S17).

この実施形態によれば、リアルタイムに評価テーブルが修正され、次の歌唱補助音の選択に反映される。
According to this embodiment, the evaluation table is corrected in real time and is reflected in the selection of the next singing auxiliary sound.

2.4その他
(1)上記実施形態では、事前と事後の顔画像に基づいて表情の評価を行い、その差に基づいて楽曲の評価を行うようにしている。しかし、歌唱中（例えばさび部分など）のユーザの顔画像に基づいて表情の評価を行って、楽曲の評価を行うようにしてもよい。 2.4 Other
(1) In the above embodiment, the expression is evaluated based on the face images before and after, and the music is evaluated based on the difference. However, the expression may be evaluated based on the face image of the user during singing (for example, a rust portion), and the music may be evaluated.

(4)上記実施形態では、歌唱補助サーバ装置ＳＡにて顔画像を評価するようにしている。しかし、歌唱補助サーバ装置ＳＡが顔画像を表情評価サーバ装置ＳＢに送信し、顔画像の評価を得るようにしてもよい。また、端末装置Ｔにおいて、顔画像を評価し、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。 (4) In the above embodiment, the singing assistance server device SA evaluates the face image. However, the singing assistance server device SA may transmit the face image to the expression evaluation server device SB to obtain the evaluation of the face image. Further, the terminal device T may evaluate the face image and transmit the evaluation from the terminal device T to the singing assistance server device SA.

また、顔画像に基づく評価と、歌唱者もしくは家族などによって入力された評価の双方を用いて、再生確率を変えるようにしてもよい。 The reproduction probability may be changed using both the evaluation based on the face image and the evaluation input by the singer or family.

(6)上記実施形態では、「嫌悪」の変化が最も絶対値が大きく、しかも、「嫌悪」が直前よりも直後において増えている場合（上記変形例の「嫌い」の場合も同様である）であっても、「効果あり」との判定を行うようにしている。しかし、このような場合には、「効果無し」と判定し、再生確率を下げるようにしてもよい。ユーザによる「嫌悪」の感情が、音楽療法の妨げになる可能性があるからである。ただし、上記のような場合であっても、物忘れが大きいユーザ（重度認知症や中等度認知症）に対しては、当該曲を再生リストに含めるようにしてもよい。物忘れが大きいので、当該曲に対する「嫌悪」の感情を維持していないからである。ただし、「嫌悪」が所定回数以上続くようであれば、再生確率を０％にしてもよい。 (6) In the above embodiment, the change of “disgust” has the largest absolute value, and the change of “disgust” increases immediately after immediately before (the same applies to the case of “dislike” in the above modification) Is determined to be “effective”. However, in such a case, it may be determined that there is no effect, and the reproduction probability may be reduced. This is because the feeling of “disgust” by the user may hinder the music therapy. However, even in the above case, the user may be allowed to include the song in the playlist for a user who has a large amount of forgetfulness (severe dementia or moderate dementia). This is because he does not maintain the feeling of "dislike" for the song because he is so forgetful. However, if "disgust" continues more than a predetermined number of times, the reproduction probability may be set to 0%.

また、歌唱中の脈拍を取得し、その平均値や最大値に基づいて、次に再生する歌唱補助音の選択に反映するようにしてもよい。たとえば、当該歌唱者の平常時の脈拍よりも速ければ（遅ければ）、次の楽曲としてテンポの遅い（速い）曲を選択する確率を高くするようにする。この場合、歌唱補助音に標準テンポをメタデータとして記録しておいてこれを元に選択するようにする。あるいは、標準テンポとは関係なく、再生時にテンポを調整するようにしてもよい。 Alternatively, a pulse during singing may be acquired and reflected on selection of a singing auxiliary sound to be reproduced next based on the average value or the maximum value. For example, if it is faster (slower) than the singer's normal pulse, the probability of selecting a slow (fast) song as the next song is increased. In this case, the standard tempo is recorded as metadata in the singing auxiliary sound and is selected based on this. Alternatively, the tempo may be adjusted during reproduction regardless of the standard tempo.

なお、上記において、脈拍が速ければテンポの遅い曲を選択する確率を高めているのは、脈拍を落ち着かせたり、興奮状態から気持ちを落ち着かせたりするためである。 In the above, the probability of selecting a song with a slow tempo when the pulse is fast is raised to calm the pulse or calm the emotion from the excited state.

(9)上記実施形態では、歌唱補助音としてカラオケ伴奏を用いている。しかし、ユーザの歌唱補助のために伴奏だけでなく歌を含めるようにしてもよい。また、歌唱補助になるのであれば、打楽器などによるリズムだけでもよい。 (9) In the above embodiment, karaoke accompaniment is used as the singing auxiliary sound. However, a song may be included in addition to the accompaniment to assist the user in singing. Also, if it is a singing aid, only the rhythm of a percussion instrument or the like may be used.

(10)上記実施形態では、端末装置としてスマートフォンを用い、スマートフォン内蔵のスピーカを用いている。しかし、ブルーツース通信などによって、外部のスピーカ（スマートスピーカでもよい）を用いるようにしてもよい。 (10) In the above embodiment, a smartphone is used as the terminal device, and a speaker built into the smartphone is used. However, an external speaker (a smart speaker may be used) may be used by Bluetooth communication or the like.

さらに、端末装置として、スマートスピーカとディスプレイ（テレビのディスプレイでもよい）を用いることができる。スマートスピーカに話しかけることにより（たとえば、「音楽療法をしたい」と話す）、スマートスピーカがネットワーク上にある本システムのサーバ装置１０にアクセスする。サーバ装置１０から画像（歌詞情報等）が送られてくるので、スマートスピーカは、近傍にあるテレビなどのディスプレイを立ち上げる。歌唱補助音は、スマートスピーカにて再生する。カメラはスマートスピーカに付属のもの、またはスマートフォンのものを用いる。 Furthermore, as the terminal device, a smart speaker and a display (or a display of a television) may be used. By speaking to the smart speaker (for example, saying "I want to do music therapy"), the smart speaker accesses the server device 10 of the present system on the network. Since the image (lyric information or the like) is sent from the server device 10, the smart speaker starts up a display such as a television in the vicinity. The singing auxiliary sound is reproduced by the smart speaker. Use a camera attached to a smart speaker or a smartphone.

(11)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態や変形例を組み合わせて実施可能である。
(11) The above embodiment and its modified examples can be implemented in combination with other embodiments and modified examples as long as they do not violate the essence.

Claims

A music therapy system including a server device and a terminal device,
The server device,
From a recording unit that records singing assist sounds of a plurality of songs, reads a singing assist sound according to a playlist, and, by a communication unit, transmits a singing assist sound to a terminal device;
Based on the singing state or singing state evaluation of the singer received from the terminal device, based on the evaluation of the singing state, comprising a playlist correction means for correcting whether to include a singing auxiliary sound of any song in the playlist,
The terminal device,
Reproducing means for reproducing the singing auxiliary sound transmitted from the server device by a reproducing unit,
Music therapy characterized by comprising: a singing state of a singer who sings in accordance with the reproduced singing auxiliary sound or an evaluation of the singing state, and singing state obtaining means for transmitting the singing state to the server device by a communication unit. system.

A server device for a music therapy system,
From a recording unit that records singing assist sounds of a plurality of songs, reads a singing assist sound according to a playlist, and, by a communication unit, transmits a singing assist sound to a terminal device;
Playlist correction means for correcting whether to include a singing auxiliary sound of any song in the playlist based on the evaluation of the singing state or singing state of the singer received from the terminal device,
Server device equipped with

A server program for realizing a server device for a music therapy system by a computer, comprising:
From a recording unit that records singing assist sounds of a plurality of songs, reads a singing assist sound according to a playlist, and, by a communication unit, transmits a singing assist sound to a terminal device;
A server program for functioning as a playlist correction unit for correcting which song includes a singing auxiliary sound of the tune based on the singing state of the singer or the evaluation of the singing state received from the terminal device.

A terminal device for a music therapy system,
Playback means for playing back the singing assistance sound transmitted from the server device by the playback unit,
In the server device, in order to correct which song includes a singing assist sound in the playlist, to obtain an evaluation of the singing state or singing state of a singer who sings in accordance with the played singing assist sound, A singing state acquisition unit that transmits to the server device by a communication unit,
Terminal device provided with.

A terminal program for realizing a terminal device for a music therapy system by a computer, the computer comprising:
Playback means for playing back the singing assistance sound transmitted from the server device by the playback unit,
In the server device, in order to correct which song includes a singing assist sound in the playlist, to obtain an evaluation of the singing state or singing state of a singer who sings in accordance with the played singing assist sound, A terminal program for functioning as a singing state acquisition unit to be transmitted to the server device by a communication unit.

The system, apparatus, or program according to any one of claims 1 to 5,
The terminal device captures a singing state of a singer and transmits a captured image to the server device,
A system, an apparatus, or a program, wherein the server device acquires an evaluation of a singing state based on the captured image.

The system, apparatus, or program according to claim 6,
A system, an apparatus, or a program, wherein the server device acquires an evaluation of a singing state based on a singer's face image.

The system, apparatus, or program according to claim 7,
A system, apparatus, or program, wherein the server device transmits a singer's face image to an evaluation server device and acquires an evaluation from the evaluation server device.

The system, apparatus, or program according to any one of claims 6 to 8,
The system, the device, or the program, wherein the evaluation of the singing state is based on a difference between the evaluation of the face image of the singer immediately before singing and the evaluation of the face image immediately after singing.

The system, apparatus, or program according to claim 9,
A system, apparatus, or program for increasing the probability of including a song in a playlist even if the evaluation of the face image is negative for the song.

The system, apparatus, or program according to any one of claims 1 to 4,
The system, the device, or the program, wherein the terminal device receives an input of a singing state of a singer by a user and transmits the singing state to the server device.

The system, apparatus, or program according to claim 11,
A system, apparatus, or program for increasing the probability of including a song in a playlist even if the evaluation of the face image is negative for the song.

An apparatus or a program according to any one of claims 1 to 12,
In the correction of the playlist, even if the evaluation when the target song is sung is the same, the singing auxiliary sound of the song is included in the playlist to be played next time based on the type of disease of the singer. A system, apparatus, or program for changing a probability.

An apparatus or a program according to any one of claims 1 to 13,
In the modification of the playlist, the evaluation when singing the target song, even if it is determined that the disgust is high, does not set the probability of including the singing auxiliary sound in the playlist to be reproduced next time to zero. A system, device or program.

Music therapy using a computer,
The computer reads the singing auxiliary sound according to the playlist from the recording unit that records the singing auxiliary sound of the plurality of songs, and reproduces the singing auxiliary sound by the reproducing unit.
A computer obtains a singing state or a singing state evaluation of a singer singing to the reproduced singing auxiliary sound,
A music therapy method comprising: modifying which singing auxiliary sound of a song is included in the playlist based on the singing state of the singer or the evaluation of the singing state.

A music therapy system including a server device and a terminal device,
The server device,
A singing auxiliary sound transmitting unit that transmits the singing auxiliary sound read from the recording unit to the terminal device by the communication unit,
Singing auxiliary sound selection means for determining which singing auxiliary sound to transmit to the terminal device based on the evaluation of the singing state or singing state of the singer received from the terminal device,
The terminal device,
Reproducing means for reproducing the singing auxiliary sound transmitted from the server device by a reproducing unit,
Music therapy characterized by comprising: a singing state of a singer who sings in accordance with the reproduced singing auxiliary sound or an evaluation of the singing state, and singing state obtaining means for transmitting the singing state to the server device by a communication unit. system.

A server device for a music therapy system,
A singing auxiliary sound transmitting unit that transmits the singing auxiliary sound read from the recording unit to the terminal device by the communication unit,
Singing auxiliary sound selection means for determining which singing auxiliary sound to transmit to the terminal device based on the evaluation of the singing state or singing state of the singer received from the terminal device,
Server device equipped with

A server program for realizing a server device for a music therapy system by a computer, comprising:
A singing auxiliary sound transmitting unit that transmits the singing auxiliary sound read from the recording unit to the terminal device by the communication unit,
A server program for functioning as a singing auxiliary sound selecting unit that determines which singing auxiliary sound is to be transmitted to the terminal device based on the singing state of the singer or the evaluation of the singing state received from the terminal device.

A terminal device for a music therapy system,
Playback means for playing back the singing assistance sound transmitted from the server device by the playback unit,
In order to determine which singing auxiliary sound is to be transmitted to the terminal device in the server device, a singing state of the singer who sings in accordance with the reproduced singing auxiliary sound or an evaluation of the singing state is acquired, and the communication unit Singing state acquisition means for transmitting to the server device by
Terminal device provided with.

A terminal program for realizing a terminal device for a music therapy system by a computer, the computer comprising:
Playback means for playing back the singing assistance sound transmitted from the server device by the playback unit,
In order to determine which singing auxiliary sound is to be transmitted to the terminal device in the server device, a singing state of the singer who sings in accordance with the reproduced singing auxiliary sound or an evaluation of the singing state is acquired, and the communication unit A terminal program for causing the server device to function as a singing state acquisition unit that transmits the singing state to the server device.

Music therapy using a computer,
The computer reads the singing auxiliary sound according to the playlist from the recording unit that records the singing auxiliary sound of the plurality of songs, and reproduces the singing auxiliary sound by the reproducing unit.
A computer obtains a singing state or a singing state evaluation of a singer singing to the reproduced singing auxiliary sound,
Music therapy, characterized by determining which singing auxiliary sound is to be transmitted to the terminal device based on the singing state of the singer or the evaluation of the singing state.

A singing aid for music therapy,
Singing auxiliary sound reproducing means for reproducing the singing auxiliary sound of the music,
Pulse information acquisition means for acquiring pulse information from a sensor for acquiring a pulse of a singer who sings in accordance with the reproduced singing auxiliary sound,
In a singing assist device equipped with
The singing auxiliary sound reproducing means changes a tempo of the singing auxiliary sound according to a pulse of the singer.

A singing assistance program for implementing a singing assistance device for music therapy by a computer, comprising:
Singing auxiliary sound reproducing means for reproducing the singing auxiliary sound of the music,
Functioning as pulse information acquisition means for acquiring pulse information from a sensor for acquiring the pulse of the singer who sings to the reproduced singing auxiliary sound,
The singing assistance sound reproducing means changes a tempo of the singing assistance sound according to a pulse of the singer.