JP2023025013A - 音楽療法のための歌唱補助装置 - Google Patents

音楽療法のための歌唱補助装置 Download PDF

Info

Publication number
JP2023025013A
JP2023025013A JP2022178838A JP2022178838A JP2023025013A JP 2023025013 A JP2023025013 A JP 2023025013A JP 2022178838 A JP2022178838 A JP 2022178838A JP 2022178838 A JP2022178838 A JP 2022178838A JP 2023025013 A JP2023025013 A JP 2023025013A
Authority
JP
Japan
Prior art keywords
singing
evaluation
auxiliary sound
server device
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022178838A
Other languages
English (en)
Inventor
佐知子 中務
Sachiko Nakamu
未紗 古磯
Misa Koiso
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faith Inc
Original Assignee
Faith Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faith Inc filed Critical Faith Inc
Priority to JP2022178838A priority Critical patent/JP2023025013A/ja
Publication of JP2023025013A publication Critical patent/JP2023025013A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Rehabilitation Tools (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】 歌唱者の歌唱状態に応じて歌唱補助音を適切に選択することのできる音楽療法に適したシステムを提供する。【解決手段】 歌唱補助音送信手段４は、再生リストＬにしたがって、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から複数の楽曲の歌唱補助音を順番に、端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。サーバ装置１０の再生リスト修正手段６は、この顔画像に基づいて、顔の表情を評価し、再生リストＬにいずれの楽曲の歌唱補助音を含めるかを変更する。【選択図】 図１

Description

この発明は、音楽療法において伴奏などを再生する歌唱補助装置に関するものである。
音楽を聴いたり歌ったりすることで、音楽の生理的・心理的・社会的な効果を用いて、心身の健康の回復、向上を図ることが行われている。認知症患者に音楽を聴かせたり歌わせたりすることで、脳の働きを活性化させて、その進行を抑えるなどの効果が期待されている。
たとえば、複数の楽曲を患者に連続的に歌わせる音楽療法がある。このような音楽療法においては、楽曲を適切に選曲することが大切であるものの、その選曲基準は療法士各人の経験や勘によるところが多かった。また、歌っている時の患者の様子を観察して、次に用意する楽曲を選択することが好ましいが、これも各人の能力差が大きく、恣意的な要素が入り込まないように客観的な楽曲選択を行うことは難しかった。
一方、特許文献１に示すように、歌を歌っている時の歌唱者の顔や、ダンスを踊っている時の顔を撮像して、これを評価するシステムが提案されている。これによれば、歌を歌っている時やダンスをしている時の満足度などを判定することができる。
さらに、特許文献２には、ユーザが普段からよく聞いている曲をカラオケ曲としてリコメンドする装置が開示されている。これによれば、ユーザの好みに合致したカラオケ曲を示すことができる。
特開２０１８－１０３０５ 特開２０１７－２０１３３７
しかしながら、特許文献１の装置では、歌っている時の状態を顔から評価することはできたとしても、これを用いて、認知症などの治療に適した楽曲の選択にどのように反映すればいいのか明らかではなかった。
また、特許文献２の装置では、ユーザがよく聞いている楽曲をカラオケ曲としてリコメンドするので、当該ユーザに合致したカラオケ曲を提案することはできる。しかし、音楽療法においては、好き嫌いだけで楽曲を選択することが治療のために必ずしも好ましいわけではなく、この装置によるリコメンドをそのまま音楽療法に用いることはできない。
この発明は、上記のような問題点を解決して、音楽療法に適したシステムを提供することを目的とする。
この発明の独立して適用可能な側面を以下に列挙する。
(1)-(5)この発明に係る音楽療法システムは、
前記サーバ装置が、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段とを備え、
前記端末装置が、前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴としている。
したがって、歌唱者の歌唱状態に基づいて、再生する曲の再生リストを修正することができる。
(6)この発明に係るシステムは、端末装置は、歌唱者の歌唱状態を撮像して撮像画像を前記サーバ装置に送信し、サーバ装置は、当該撮像画像に基づいて歌唱状態の評価を取得することを特徴としている。
したがって、端末装置の側において撮像画像に基づく歌唱状態の評価を行う必要がない。
(7)この発明に係るシステムは、サーバ装置が、歌唱者の顔画像に基づく歌唱状態の評価を取得することを特徴としている。
したがって、歌唱者の表情などに基づいて歌唱状態の評価を行うことができる。
(8)この発明に係るシステムは、サーバ装置が、歌唱者の顔画像を評価サーバ装置に送信し、評価サーバ装置から評価を取得することを特徴としている。
したがって、サーバ装置において、顔画像に基づく評価を行う必要がない。
(9)この発明に係るシステムは、歌唱状態の評価が、当該楽曲について歌唱者の歌唱直前の顔画像の評価と歌唱直後の顔画像の評価との差に基づくことを特徴としている。
したがって、歌唱による効果をより正確に評価することができる。
(10)この発明に係るシステムは、顔画像の評価が楽曲に対して否定的であることが増加した場合であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴としている。
したがって、歌唱による感情などの変化に基づいて、治療効果を高めることのできるシステムを提供できる。
(11)この発明に係るシステムは、端末装置が、ユーザによる歌唱者の歌唱状態の入力を受けて、前記サーバ装置に送信することを特徴としている。
したがって、ユーザによる評価に基づいて再生リストの修正を行うことができる。
(12)この発明に係るシステムは、顔画像の評価が楽曲に対して否定的であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴としている。
したがって、歌唱による感情に基づいて、治療効果を高めることのできるシステムを提供できる。
(13)この発明に係るシステムは、再生リストの修正において、対象となる曲を歌唱した際の評価が同一であっても、当該歌唱者の疾病の種類に基づいて、当該楽曲の歌唱補助音を次回に再生する再生リストに含める確率を変化させることを特徴としている。
したがって、疾病に応じた歌唱補助音の提供を行うことができる。
(14)この発明に係るシステムは、再生リストの修正において、対象となる曲を歌唱した際の評価として、嫌悪感が高いと判断されても、当該歌唱補助音を次回に再生する再生リストに含める確率をゼロにしないことを特徴としている。
したがって、嫌悪間のある楽曲に対しても治療効果を見極めながら再生を行うことができる。
(15)この発明に係るコンピュータを用いた音楽療法は、コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正することを特徴としている。
したがって、歌唱者の歌唱状態に基づいて、再生する曲の再生リストを修正することができる。
(16)-(20)この発明に係る音楽療法システムは、
サーバ装置が、記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段とを備え、
端末装置が、前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴としている。
したがって、歌唱者の歌唱状態に基づいて、再生する曲を適切に選択することができる。
(21)この発明に係るコンピュータを用いた音楽療法は、コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定することを特徴としている。
(22)(23)この発明に係る音楽療法のための歌唱補助装置は、楽曲の歌唱補助音を再生する歌唱補助音再生手段と、前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段とを備え、前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴としている。
したがって、歌唱者の脈拍に応じて再生のテンポを修正することができる。
「歌唱補助音送信手段」は、実施形態においては、ステップＳ６２がこれに対応する。
「再生リスト修正手段」は、実施形態においては、ステップＳ３３がこれに対応する。
「再生手段」は、実施形態においては、ステップＳ１３がこれに対応する。
「歌唱状態取得手段」は、実施形態においては、ステップＳ１５がこれに対応する。
「歌唱補助音選択手段」は、実施形態においては、ステップＳ７１がこれに対応する。
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
第１の実施形態による音楽療法システムの機能ブロック図である。 システム構成である。 歌唱補助サーバ装置ＳＡのハードウエア構成である。 端末装置Ｔのハードウエア構成である。 ユーザ登録処理のフローチャートである。 初期再生リスト生成処理のフローチャートである。 再生・撮像処理のフローチャートである。 再生リスト修正処理のフローチャートである。 再生リスト修正処理のフローチャートである。 図８Ａ～図８Ｄは、ユーザ登録画面例である。 図８Ｅ、図８Ｆは、歌唱のための画面例である。 歌唱補助音６６のメタデータの例である。 再生リストの例である。 顔画像による評価例である。 第２の実施形態による音楽療法システムの機能ブロック図である。 システム構成である。 ユーザ登録処理のフローチャートである。 再生・撮像処理のフローチャートである。 評価テーブルの例である。
１．第１の実施形態
1.1機能ブロック図
図１に、この発明の一実施形態による音楽療法システムの機能ブロック図を示す。このシステムは、サーバ装置１０と端末装置２０を備えている。サーバ装置１０の記録部２には、音楽療法として、歌唱者３０が歌唱する際の補助となる歌唱補助音（たとえば、カラオケ伴奏音など）Ｋ1、Ｋ2・・・Ｋnが記録されている。また、再生リストＬも記録されている。
歌唱補助音送信手段４は、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から、再生リストＬの指定順にしたがって、複数の楽曲の歌唱補助音を順次、端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。
歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。
カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。
サーバ装置１０の再生リスト修正手段６は、この顔画像に基づいて、顔の表情を評価する。たとえば、当該表情によって怒り、嫌悪感、恐怖、喜び、中立、哀しみのいずれが示されているかを評価する。さらに、再生リスト修正手段６は、上記表情の評価に基づき、再生リストＬにいずれの楽曲の歌唱補助音を含めるかを変更する。
たとえば、喜びの表情と評価された場合には当該歌唱補助音の再生頻度を高くする。なお、認知症など歌唱者の疾病の種類によっては、怒りなどの否定的な表情と評価された場合であっても、再生頻度を低くしないようにする。疾病によっては、何らかの反応があること自体が、治療につながるからである。
あるいは、歌い始めと歌い終わりの表情の変化があれば当該補助音の再生頻度を高くするようにしてもよい。
変更された再生リストＬは、当該歌唱者３０の次回の音楽療法の際に用いられる。
1.2ハードウエア構成
図２に、音楽療法システムの構成図を示す。歌唱補助サーバ装置ＳＡには、歌唱補助音であるカラオケ演奏音が記録されている。表情評価サーバ装置ＳＢは、顔画像を受けて顔の評価を行い、その結果を返送するものである。これらは、インターネット上のサーバ装置として構築されている。この実施形態では、歌唱補助サーバ装置ＳＡは自ら表情を評価するのではなく、表情評価サーバ装置ＳＢから評価結果を取得するようにしている。
これらサーバ装置ＳＡ、ＳＢと通信可能に、端末装置Ｔが設けられている。端末装置Ｔは、歌唱補助サーバ装置ＳＡからのカラオケ演奏データを受けてこれを再生する。端末装置Ｔは、歌唱中の歌唱者１２の顔画像を撮像して、歌唱補助サーバ装置ＳＡに送信する。歌唱補助サーバ装置ＳＡは、顔画像を表情評価サーバ装置ＳＢに送信し、評価結果を得る。歌唱補助サーバ装置ＳＡは、この評価結果に基づいて、再生リストに含める楽曲の歌唱補助音を変更する。
図３に、歌唱補助サーバ装置ＳＡのハードウエア構成を示す。ＣＰＵ４０には、メモリ４２、ディスプレイ４４、ハードディスク４８、ＤＶＤ－ＲＯＭドライブ５０、通信回路５２が接続されている。
通信回路５２は、インターネットと接続するためのものである。ハードディスク４８には、オペレーティングシステム６０、歌唱補助サーバプログラム６２、再生リスト６４、複数の楽曲の歌唱補助音６６が記録されている。歌唱補助サーバプログラム６２は、オペレーティングシステム６０と協働してその機能を発揮するものである。これらプログラムは、インターネット上のサーバ装置（たとえば、バージョン管理システム）に記録されていたものを、ハードディスク４８にインストールしたものである。
図４に、端末装置Ｔのハードウエア構成を示す。この実施形態では、端末装置Ｔとしてスマートフォンを用いている。しかし、据え置き型のＰＣやカラオケ再生端末装置などを用いてもよい。
ＣＰＵ７０には、メモリ７２、タッチディスプレイ７４、スピーカ７６、不揮発性メモリ７８、通信回路８０、カメラ８２、マイク８４が接続されている。
通信回路８０は、インターネット接続するためのものである。不揮発性メモリ７８には、オペレーティングシステム９０、歌唱補助端末プログラム９２が記録されている。歌唱補助端末プログラム９２は、オペレーティングシステム９０と協働してその機能を発揮するものである。これらプログラムは、インターネットを介して、ダウンロードしたものである。
1.3音楽療法処理
図５Ａ、図５Ｂ、図６、図７に、歌唱補助サーバプログラム６２、歌唱補助端末プログラム９２のフローチャートを示す。
図５Ａは、ユーザ登録処理のフローチャートである。音楽療法を受ける本人またはその家族など（ユーザ）が、端末装置Ｔを操作して歌唱補助サーバ装置ＳＡにアクセスし、ユーザ登録を行う。
ユーザは、端末装置ＴのＣＰＵ７０（以下端末装置Ｔと省略することがある）は、タッチディスプレイ７４を操作し、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１）。歌唱補助サーバ装置ＳＡのＣＰＵ４０（以下歌唱補助サーバ装置ＳＡと省略することがある）は、これを受けて登録画面を送信する（ステップＳ５１）。端末装置Ｔは、タッチディスプレイ７４にこの登録画面を表示する。
登録画面の例を、図８Ａ～図８Ｄに示す。この実施形態では、性別、年齢（生年月日）、出身地、好きなジャンル、音楽経験（歌唱、カラオケ、楽器演奏などの経験の有無）、疾病の度合い（もの忘れの度合い）などを入力するようにしている。ユーザが入力を完了し送信ボタンを押すと、端末装置Ｔは、入力された情報を歌唱補助サーバ装置ＳＡに送信する（ステップＳ２）。
歌唱補助サーバ装置ＳＡは、ユーザに対してユーザＩＤを発行する（ステップＳ５２）。歌唱補助サーバ装置ＳＡは、発行したユーザＩＤに対応付けて、端末装置から送信されてきたユーザ情報を記録する（ステップＳ５３）。
また、歌唱補助サーバ装置ＳＡは、発行したユーザＩＤを端末装置Ｔに送信する（ステップＳ５２）。端末装置Ｔは、受信したユーザＩＤを不揮発性メモリ７８に記録する（ステップＳ３）。
次に、歌唱補助サーバ装置ＳＡは、ユーザ情報に基づいて再生リストを生成し、ユーザＩＤに対応付けて、ハードディスク４８に記録する（ステップＳ５４）。
図５Ｂに、歌唱補助サーバ装置ＳＡにおける初期再生リスト生成処理のフローチャートを示す。図９に、ハードディスク４８に記録された歌唱補助音６６のデータを示す。各歌唱補助音６６には、メタデータとして、ジャンル、性別、世代、地域などのメタデータが記録されている。これらのメタデータは、再生リストの生成や修正に用いられる。なお、ユーザの疾病に合致した楽曲がいずれであるかをメタデータとして記録し、再生リスト生成などに用いてもよい。また、それぞれの歌唱補助音６６には、歌詞データ（文字テキストデータ）が付随して記録されている。この歌詞データには、歌唱補助音の再生時にその進行と合致するように表示色を変化させるためのタイミングデータも含まれている。
まず、歌唱補助サーバ装置ＳＡは、当該ユーザのユーザ情報と、歌唱補助音６６のメタデータに基づいて、歌唱補助音６６を選択して初期再生リストを生成する。
歌唱補助サーバ装置ＳＡは、まず、ユーザの性別に基づいて、所定数の歌唱補助音６６を選択する（ステップＳ２１）。たとえば、ユーザが女性であれば、歌唱補助音６６のメタデータの「女性向け」に丸印が入っているものの中から、ランダムに所定数を選択する。ここで、再生リストに２０曲の歌唱補助音６６を含めるのであれば、その所定割合（たとえば１５％で３曲）の歌唱補助音６６を選択する。
同様にして、ユーザの年齢から３曲、ユーザの好みのジャンルから３曲、ユーザの出身地から３曲をランダムに選択する（ステップＳ２２～Ｓ２４）。残りの８曲については、上記にて選択した歌唱補助音６６以外の歌唱補助音６６からランダムに選択する（ステップＳ２６）。
歌唱補助サーバ装置ＳＡは、上記のようにして選択した２０曲の歌唱補助音６６をランダムに並び替えて、初期再生リストを生成し、ユーザＩＤと対応付けてハードディスク４８に記録する（ステップＳ２６）。
このようにして生成された初期再生リストは、当該ユーザの最初の音楽療法の際に用いられることになる。図１０に、生成された初期再生リストの例を示す。
図６に、音楽療法として歌唱補助音６６を再生し、カメラによって歌唱者を撮像する時のフローチャートを示す。
ユーザの操作により端末装置Ｔは、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１１）。この際、端末装置Ｔは、記録されているユーザＩＤを読み出して、歌唱補助サーバ装置ＳＡに送信する。なお、ユーザＩＤをユーザが入力するようにしてもよい。
続いて、端末装置Ｔは、カメラ８２によるユーザ（歌唱者）の動画撮像を開始する（ステップＳ１２）。静止画を撮像するようにしてもよい。なお、端末装置Ｔのカメラ８２によってユーザが撮像できるように、端末装置Ｔを支持台（図示せず）などに固定するようにしてもよい。
歌唱補助サーバ装置ＳＡは、受信したユーザＩＤに基づいて、対応して記録されている再生リストを、ハードディスク４８から読み出す（ステップＳ６１）。さらに、歌唱補助サーバ装置ＳＡは、再生リストの最初に記述されている楽曲の歌唱補助音６６（歌詞データを含む）を読み出して、端末装置Ｔに送信する（ステップＳ６２）。図１０の例であれば、「青い山脈」の歌唱補助音６６（たとえばカラオケ演奏）を送信する。
歌唱補助音６６を受信した端末装置Ｔは、これをスピーカ７６から再生する（ステップＳ１３）。同時に、歌詞をタッチディスプレイ７４に表示する。したがって、端末装置Ｔから歌唱補助音６６が出力され、タッチディスプレイ７４に歌詞が表示される（歌唱補助音の進行にあわせて歌うべき箇所の色が変化する）ので、これにあわせてユーザが歌を歌う。この時のユーザの顔は、カメラ８２によって撮像されている。
なお、この実施形態では、図８Ｅに示すように、画面に歌詞のみを表示するようにしている。画像などを表示しないことで、歌唱者が歌詞に集中できるようにするためである。なお、適用状況に応じて画像などを表示するようにしてもよい。
また、図８Ｅのように歌詞は画面最上部から表示してもよいが、図８Ｆに示すように、中央部分から表示するようにしてもよい。これは、歌唱者が高齢者である場合、眼瞼下垂により上方向が見えにくいことがあるからである。
なお、画面最上部から歌詞を表示する場合であっても、歌詞の色を変化させる部分（歌うべき部分）は、中央部分付近に持ってくることが好ましい。
図８Ｅにおいて、ユーザがメロディボタン１５０を押すごとに、端末装置Ｔは歌唱補助音６６に含まれる主旋律の再生をオンにしたりオフにしたりする。ボーカルボタン１５２を押すごとに、ガイドボーカルの再生をオンにしたりオフにしたりする。さらに、先読みボタン１５４を押すごとに、歌詞データに基づいて、次に歌うべき歌詞を音声として先に出力する機能（歌詞の先読み機能）をオンにしたりオフにしたりする。歌詞が見づらい場合など、歌詞の先読み機能で歌唱を誘導することが可能となる。
また、続きボタン１５６がクリックされると、端末装置Ｔは、１番が終了した後、その楽曲の２番の歌唱補助音６６を再生する。１番が終了するまでに、続きボタン１５６がクリックされなければ、端末装置Ｔは、当該楽曲について１番の終了で１曲が終了したものとして次の処理に進む。
１曲の歌唱補助音６６の再生が終了すると、端末装置Ｔは、当該曲（ここでは青い山脈）の歌唱補助音６６の再生開始直前のユーザの顔画像と、再生終了直後のユーザの顔画像を、前記動画から抽出する。さらに、抽出した顔画像（静止画）を、歌唱補助サーバ装置ＳＡに送信する（ステップＳ１５）。
歌唱補助サーバ装置ＳＡは、この顔画像を受信し、当該曲に対応付けて記録する。図１０の再生リストには、顔画像を記録する領域が設けられているので、ここに記録する。なお、顔画像１は再生開始直前のユーザの顔画像、顔画像２は再生終了直後のユーザの顔画像である。
歌唱補助サーバ装置ＳＡは、再生リストの次の楽曲の再生補助音６６を読み出して、端末装置に送信する（ステップＳ６２）。
以後、上記と同様の処理を繰り返す。再生リストの全曲について再生補助音６６を再生し終わると（ステップＳ６５）、歌唱補助サーバ装置ＳＡは処理を終了する。端末装置Ｔは、再生を終了し、動画撮像を終了する（ステップＳ１７）。
以上のようにして、当該ユーザの再生リストの各楽曲につき、再生開始直前のユーザの顔画像、再生終了直後のユーザの顔画像が記録されることになる。
歌唱補助サーバ装置ＳＡは、上記の顔画像に基づいて、当該ユーザの再生リストに含まれる楽曲を修正する。図７Ａに、再生リスト修正処理のフローチャートを示す。この処理は、たとえば、夜間などにまとめて行うことが好ましい。
歌唱補助サーバ装置ＳＡは、各楽曲についての直前・直後の顔画像を読み出して、表情評価サーバ装置ＳＢに送信する（ステップＳ３１）。表情評価サーバ装置ＳＢとしては、マイクロソフト社のFace API（商標）などを利用することができる。
表情評価サーバ装置ＳＢは、送られてきた顔画像を評価し（ステップＳ７１）、その評価結果を歌唱補助サーバ装置ＳＡに返信する（ステップＳ７２）。この実施形態では、顔画像に含まれる「怒り」「軽蔑」「嫌悪」「恐怖」「喜び」「中立」「悲しみ」「驚き」の８つの要素の度合いを算出するようにしている。たとえば、図１１Ａに示すように、各要素について、その適合率を算出して送信する。
次に、歌唱補助サーバ装置ＳＡは、楽曲ごとに、顔画像１と顔画像２の評価の差を算出する（ステップＳ３２）。端末装置Ｔは、楽曲ごとに、もっとも差分の絶対値の大きかった要素を一つ選択する。図１１Ａの例であれば、３５％の差がある喜びが選択されることになる。なお、この実施形態では、「中立」の要素は考慮しないようにしている。感情が表れていないからである。
いずれの要素であっても、最大差が第１の所定割合（たとえば５０％）を超えていれば効果ありとし、第２の所定割合～第１の所定割合（たとえば１５％以上５０％以下）であればどちらでもない、第２の所定割合（たとえば１５％）未満であれば効果なしとする。ここでは、効果あり、どちらでもない、効果なしの３段階としたが、２段階としたり、４段階以上としてもよい。ポジティブな要素（喜び）だけで無く、ネガティブな要素（悲しみ、怒りなど）についても差分が大きければ効果ありとしたのは、楽曲によって感情の変化がもたらされたと考えられるからである。したがって、例えば恐怖が減少した場合だけでなく、恐怖が増大したような場合も、それが第１の所定割合（たとえば５０％）を超えていれば効果ありと判断する。疾病によっては、何らかの反応があること自体が、治療につながるからである。
歌唱補助サーバ装置ＳＡは、上記のようにして算出した各曲の評価「効果あり」「どちらでもない」「効果無し」を、図１０に示すように記録する。図においては、○が効果あり、□がどちらでもない、×が効果無しである。次に、歌唱補助サーバ装置ＳＡは、各曲の評価に基づいて、当該ユーザの再生リストの修正を行う（ステップＳ３３）。
図７Ｂに、再生リスト修正処理の詳細を示す。まず、歌唱補助サーバ装置ＳＡは、過去の評価において、効果ありの評価回数が１位～１０位の楽曲からランダムに５曲を選択する（ステップＳ４１）。なお、図１０においては、１回だけ再生した後の評価であるから、評価は１回だけ行われている。しかし、複数回音楽療法を繰り返すと、評価も複数回得られることになる。これら複数回の評価をまとめて各楽曲について効果ありが何回評価されたかを算出し、１位～１０位までの楽曲の中からランダムに５曲（所定数の曲）を選択する。
次に、歌唱補助サーバ装置ＳＡは、効果ありの評価回数が１１位以下の楽曲の中からランダムに５曲を選択する（ステップＳ４２）。
以上の処理で１０曲選択できなければ、つまり、効果ありの評価を得た楽曲が１０曲に満たない場合には、ステップＳ４６以下を実行する（ステップＳ４３）。１０曲選択できた場合には、効果ありの評価回数１位～１０位の楽曲から３曲を選択する（ステップＳ４４）。ただし、ステップＳ４１・Ｓ４２での選択曲は除く。さらに、効果ありの評価回数１１位以下の楽曲から３曲を選択する（ステップＳ４５）。ただし、ステップＳ４１・Ｓ４２・Ｓ４４での選択曲は除く。
以上のようにして、効果ありと評価された楽曲の歌唱補助音から所定数をリストに含ませるようにする。音楽療法の効果が見込まれる楽曲を優先したものである。ただし、効果ありの楽曲のみから選択すると、再生リストが固定化され、結果的に治療効果が低下する可能性がある。そこで、以下のように、どちらでもないや全ての楽曲（効果なし含む）からもランダムに選択して楽曲リストに含めるようにしている。
ステップＳ４６において、歌唱補助サーバ装置ＳＡは、どちらでもないの評価回数１位～１０位の楽曲からランダムに２曲を選択する。さらに、どちらでもないの評価回数１１以下の楽曲からランダムに１曲を選択する（ステップＳ４７）。
最後に、歌唱補助サーバ装置ＳＡは、再生リストに含める残りの曲を、全ての曲（上記にて選択された曲を除く）からランダムに選択する（ステップＳ４８）。全ての曲であるから、効果なしとされた楽曲も含んで全体から、ランダムに選択されることになる。
以上のようにして、当該ユーザについての再生リストが修正されて、ハードディスク４８に記録されることになる。なお、この修正された再生リストは、当該ユーザの次の音楽療法の際に用いられる。
1.4その他
(1)上記実施形態では、事前と事後の顔画像に基づいて表情の評価を行い、その差に基づいて楽曲の評価を行うようにしている。しかし、歌唱中（例えばさび部分など）のユーザの顔画像に基づいて表情の評価を行って、楽曲の評価を行うようにしてもよい。
また、最も変化の大きかった要素を一つだけ選択して楽曲を評価しているが、変化の大きい方から複数個の要素を選択して楽曲を評価し、再生リスト修正に反映するようにしてもよい。
また、歌唱中の顔画像を所定回数（たとえば１０秒ごと）取得し、各回の顔画像を評価するようにしてもよい。この場合、前回の評価との差の絶対値を各回について求めて、各回の平均値または最大値に基づいて判断のための要素を決定することができる。たとえば、図１１Ｂに示すように４回の顔画像を評価した場合、図１１Ｃのように各回の差分の絶対値を算出する。要素ごとに平均値を求め、平均値が最も大きい要素を再生リスト修正のために用いる。図１１Ｃであれば、４０％の平均値の「喜び」が選択されることになる。また、最大値を用いる場合であれば、４３％の「怒り」が選択されることになる。なお、平均値を最大値の双方を用いるようにしてもよい。
(2)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、動画として評価を行うようにしてもよい。たとえば、マイクロソフト社のVideo Indexer（商標）などを用いることができる。
また、ユーザの動画から判断できる動作に基づいて当該曲の評価を行うようにしてもよい。たとえば、身体全体でリズムをとっている、手拍子をしているなどの動作によって、当該曲の評価を行ってもよい。
(3)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、これに代えて、あるいはこれに加えて、歌唱者の音声（動画に含まれるものであってもよい）に基づいて評価を行うようにしてもよい。声が出ていれば（大きな声が出ていれば）効果ありとするなどである。
また、歌唱者の音声をマイクで収録してテキストデータ化し、本来の歌詞に対する正確性を評価するようにしてもよい。正確性が高いと効果ありとするなどである。
(4)上記実施形態では、歌唱補助サーバ装置ＳＡが顔画像を表情評価サーバ装置ＳＢに送信し、顔画像の評価を得るようにしている。しかし、端末装置Ｔから表情評価サーバ装置ＳＢに顔画像を送信して評価を得て、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。また、端末装置Ｔにおいて、顔画像を評価し、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
(5)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、各曲の歌唱終了後に、歌唱者もしくはその家族、治療者などによって、「効果あり」「どちらでもない」「効果無し」を、端末装置Ｔから入力して、歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
この際、「効果あり」「どちらでもない」「効果無し」に代えて、「好き」「どちらでもない」「嫌い」を入力するようにしてもよい。
また、顔画像に基づく評価と、ユーザもしくは家族などによって入力された評価の双方を用いて、再生リストの修正を行うようにしてもよい。この場合、たとえば、いずれか一方において「効果あり」との評価が得られれば、その評価に基づいて、再生確率を変えるようにすればよい。
(6)上記実施形態では、「嫌悪」の変化が最も絶対値が大きく、しかも、「嫌悪」が直前よりも直後において増えている場合（上記変形例の「嫌い」の場合も同様である）であっても、「効果あり」との判定を行うようにしている。しかし、このような場合には、再生リストに当該曲を含めないようにしてもよい。ユーザによる「嫌悪」の感情が、音楽療法の妨げになる可能性があるからである。ただし、上記のような場合であっても、物忘れが大きいユーザ（重度認知症や中等度認知症）に対しては、当該曲を再生リストに含めるようにしてもよい。物忘れが大きいので、当該曲に対する「嫌悪」の感情を維持していないからである。ただし、「嫌悪」が所定回数以上続くようであれば、再生リストに含める確率を０％にしてもよい。
(7)上記実施形態では、端末装置Ｔ、サーバ装置ＳＡ、ＳＢによってシステムを構築している。しかし、端末装置Ｔおよびサーバ装置ＳＡまたはサーバ装置ＳＢまたはその双方の機能を、１台のＰＣ等によって実現するようにしてもよい。
(8)上記実施形態に加えて、あるいはこれに代えて、歌唱者であるユーザの歌唱中の脈拍を取得するセンサを設け、当該脈拍に合致するように端末装置Ｔにて再生する歌唱補助音のテンポをリアルタイムで調整するようにしてもよい。これにより、歌唱者によって、テンポが取りやすく歌を歌いやすい環境を提供することができる。
また、歌唱中の脈拍を取得し、その平均値や最大値に基づいて、再生リストの修正に反映するようにしてもよい。たとえば、当該歌唱者の平常時の脈拍よりも速ければ（遅ければ）、次の再生リストに含める曲としてテンポの遅い（速い）曲を選択する確率を高くするようにする。この場合、歌唱補助音に標準テンポをメタデータとして記録しておいてこれを元に選択するようにする。あるいは、標準テンポとは関係なく、再生時にテンポを調整するようにしてもよい。
なお、上記において、脈拍が速ければテンポの遅い曲を選択する確率を高めているのは、脈拍を落ち着かせたり、興奮状態から気持ちを落ち着かせるためである。
(9)上記実施形態では、歌唱補助音としてカラオケ伴奏を用いている。しかし、ユーザの歌唱補助のために伴奏だけでなく歌（ガイドボーカルなど）を含めるようにしてもよい。また、歌唱補助になるのであれば、打楽器などによるリズムだけでもよい。
(10)上記実施形態では、再生リストに２０曲の歌唱補助音を含めるようにしている。しかし、１９曲以下、２１曲以上としてもよい。また、ユーザによって曲数を入力させて指定するようにしてもよい。
(11)上記実施形態では、端末装置としてスマートフォンを用い、スマートフォン内蔵のスピーカを用いている。しかし、ブルーツース通信などによって、外部のスピーカ（スマートスピーカでもよい）を用いるようにしてもよい。
また、端末装置として据え置き型のディスプレイとスピーカを備えた機器を用いてもよい。
さらに、端末装置として、スマートスピーカとディスプレイ（テレビのディスプレイでもよい）を用いることができる。スマートスピーカに話しかけることにより（たとえば、「音楽療法をしたい」と話す）、スマートスピーカがネットワーク上にある本システムのサーバ装置１０にアクセスする。サーバ装置１０から画像（歌詞情報など）が送られてくるので、スマートスピーカは、近傍にあるテレビなどのディスプレイを立ち上げる。歌唱補助音は、スマートスピーカにて再生する。カメラはスマートスピーカに付属のもの、またはスマートフォンのものを用いる。
(12)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態や変形例を組み合わせて実施可能である。
２．第２の実施形態
2.1機能ブロック図
図１２に、この発明の第２の実施形態による音楽療法システムの機能ブロック図を示す。このシステムは、サーバ装置１０と端末装置２０を備えている。サーバ装置１０の記録部２には、音楽療法として、歌唱者３０が歌唱する際の補助となる歌唱補助音（たとえば、カラオケ伴奏音など）Ｋ1、Ｋ2・・・Ｋnが記録されている。
歌唱補助音取得手段６は、歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中から歌唱補助音を選択する。歌唱補助音送信手段４は、選択された歌唱補助音を端末装置２０に送信する。端末装置２０の再生手段２２は、受信した歌唱補助音をスピーカ２４から再生する。
歌唱者３０は、スピーカ２４から出力された歌唱補助音にあわせて、歌唱する。
カメラ２８は、この歌唱中の歌唱者３０の顔を撮像する。歌唱状態取得手段２６は、撮像した顔画像をサーバ装置１０に送信する。
サーバ装置１０の歌唱補助音取得手段６は、この顔画像に基づいて、顔の表情を評価する。たとえば、当該表情によって怒り、嫌悪感、恐怖、喜び、中立、哀しみのいずれが示されているかを評価する。さらに、歌唱補助音取得手段６は、上記表情の評価に基づき、記録部２に記録されている歌唱補助音Ｋ1、Ｋ2・・・Ｋnの中からいずれを選択するかを決定する。
たとえば、喜びの表情と評価された場合には当該歌唱補助音の再生頻度を高くする。なお、認知症など歌唱者の疾病の種類によっては、怒りなどの否定的な表情と評価された場合であっても、再生頻度を低くしないようにする。疾病によっては、何らかの反応があること自体が、治療につながるからである。
あるいは、歌い始めと歌い終わりの表情の変化があれば当該補助音の再生頻度を高くするようにしてもよい。
2.2ハードウエア構成
図１３に、システム構成を示す。インターネットを介して、端末装置Ｔと歌唱補助サーバ装置ＳＡが接続されている。これら装置のハードウエア構成は、第１の実施形態の図３、図４に示すものと同様である。
2.3音楽療法処理
図１４、図１５に、歌唱補助サーバプログラム６２、歌唱補助端末プログラム９２のフローチャートを示す。
図１４は、ユーザ登録処理のフローチャートである。音楽療法を受ける本人またはその家族など（ユーザ）が、端末装置Ｔを操作して歌唱補助サーバ装置ＳＡにアクセスし、ユーザ登録を行う。
なお、ユーザ登録処理は、第１の実施形態と同様である。ただし、この実施形態では、歌唱補助サーバ装置ＳＡにおいて再生リストは生成されない。
図１５に、音楽療法として歌唱補助音６６を再生し、カメラによって歌唱者を撮像する時のフローチャートを示す。
ユーザの操作により端末装置Ｔは、歌唱補助サーバ装置ＳＡにアクセスする（ステップＳ１１）。この際、端末装置Ｔは、記録されているユーザＩＤを読み出して、歌唱補助サーバ装置ＳＡに送信する。なお、ユーザＩＤをユーザが入力するようにしてもよい。
続いて、端末装置Ｔは、カメラ８２によるユーザ（歌唱者）の動画撮像を開始する（ステップＳ１２）。なお、端末装置Ｔのカメラ８２によってユーザが撮像できるように、端末装置Ｔを支持台（図示せず）などに固定するようにしてもよい。
歌唱補助サーバ装置ＳＡは、受信したユーザＩＤに基づいて、対応して記録されている評価テーブルを、ハードディスク４８から読み出す。図１６に、評価テーブルの例を示す。評価テーブルには、当該ユーザがこれまでに歌唱した曲についての評価が記録されている。図１６では、１回目から５回目の歌唱についての評価が示されている。○は効果あり、□はどちらでもない、×は効果無しを示している。
歌唱補助サーバ装置ＳＡは、この評価テーブルを参照して、端末装置Ｔに送信する歌唱補助音を選択する（ステップＳ８１）。選択処理は、以下のとおりである。
まず、各曲について、効果あり（○）の回数から効果無し（×）の回数を減算する。これを数値の大きい順に並べる。したがって、上位には効果ありと多数回評価された曲が入り、下位には効果なしと多数回評価された曲が入ることになる。
歌唱補助サーバ装置ＳＡは、上位半分から歌唱補助音を選択する確率を７０％とし、下位半分から歌唱補助音を選択する確率を２０％とし、その他の歌唱補助音から選択する確率を１０％として、ランダムに歌唱補助音を１曲選択する。
歌唱補助サーバ装置ＳＡは、このようにして選択した歌唱補助音を、ハードディスク４８から読み出して、端末装置Ｔに送信する（ステップＳ８２）。
歌唱補助音６６を受信した端末装置Ｔは、これをスピーカ７６から再生する（ステップＳ１３）。したがって、端末装置Ｔから歌唱補助音６６が出力されるので、これにあわせてユーザが歌を歌う。この時のユーザの顔は、カメラ８２によって撮像されている。
１曲の歌唱補助音６６の再生が終了すると、端末装置Ｔは、当該曲の歌唱補助音６６の再生開始直前のユーザの顔画像と、再生終了直後のユーザの顔画像を、前記動画から抽出する。さらに、抽出した顔画像（静止画）を、歌唱補助サーバ装置ＳＡに送信する（ステップＳ１５）。
歌唱補助サーバ装置ＳＡは、この顔画像を受信し、当該曲に対応付けて記録する（ステップＳ８４）。さらに、歌唱補助サーバ装置ＳＡは、顔画像を評価して、当該曲に対する評価を行う。この評価は、第１の実施形態における評価と同じように、直前・直後の顔画像の評価の変化度合いに基づいて行う。
端末装置Ｔは、上記のようにして算出した各曲の評価「効果あり」「どちらでもない」「効果無し」を、図１６に示す当該ユーザの評価テーブル中の、当該曲の評価に追加して記録する（ステップＳ８５）。
次に、歌唱補助サーバ装置ＳＡは、予め定められた曲数（たとえば２０曲）を送信したかどうかを判断する（ステップＳ８６）。所定曲数に達していなければ、ステップＳ８１に戻り、評価テーブルに基づいて歌唱補助音を選択して、端末装置Ｔに送信する処理を繰り返す。
所定曲数の再生補助音６６を送信し終わると（ステップＳ８６）、歌唱補助サーバ装置ＳＡは処理を終了する。端末装置Ｔは、再生を終了し、動画撮像を終了する（ステップＳ１７）。
この実施形態によれば、リアルタイムに評価テーブルが修正され、次の歌唱補助音の選択に反映される。
2.4その他
(1)上記実施形態では、事前と事後の顔画像に基づいて表情の評価を行い、その差に基づいて楽曲の評価を行うようにしている。しかし、歌唱中（例えばさび部分など）のユーザの顔画像に基づいて表情の評価を行って、楽曲の評価を行うようにしてもよい。
また、最も変化の大きかった要素を一つだけ選択して楽曲を評価しているが、変化の大きい方から複数個の要素を選択して楽曲を評価し、再生リスト修正に反映するようにしてもよい。
また、歌唱中の顔画像を所定回数（たとえば１０秒ごと）取得し、各回の顔画像を評価するようにしてもよい。この場合、前回の評価との差の絶対値を各回について求めて、各回の平均値または最大値に基づいて判断のための要素を決定することができる。たとえば、図１１Ｂに示すように４回の顔画像を評価した場合、図１１Ｃのように各回の差分の絶対値を算出する。要素ごとに平均値を求め、平均値が最も大きい要素を再生リスト修正のために用いる。図１１Ｃであれば、４０％の平均値の「喜び」が選択されることになる。また、最大値を用いる場合であれば、４３％の「怒り」が選択されることになる。なお、平均値を最大値の双方を用いるようにしてもよい。
(2)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、動画として評価を行うようにしてもよい。たとえば、マイクロソフト社のVideo Indexer（商標）などを用いることができる。
また、ユーザの動画から判断できる動作に基づいて当該曲の評価を行うようにしてもよい。たとえば、身体全体でリズムをとっている、手拍子をしているなどの動作によって、当該曲の評価を行ってもよい。
(3)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、これに代えて、あるいはこれに加えて、歌唱者の音声（動画に含まれるものであってもよい）に基づいて評価を行うようにしてもよい。声が出ていれば（大きな声が出ていれば）効果ありとするなどである。
また、歌唱者の音声をマイクで収録してテキストデータ化し、本来の歌詞に対する正確性を評価するようにしてもよい。正確性が高いと効果ありとするなどである。
(4)上記実施形態では、歌唱補助サーバ装置ＳＡにて顔画像を評価するようにしている。しかし、歌唱補助サーバ装置ＳＡが顔画像を表情評価サーバ装置ＳＢに送信し、顔画像の評価を得るようにしてもよい。また、端末装置Ｔにおいて、顔画像を評価し、当該評価を端末装置Ｔから歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
(5)上記実施形態では、顔画像に基づいて評価を行うようにしている。しかし、各曲の歌唱終了後に、歌唱者もしくはその家族、治療者などによって、「効果あり」「どちらでもない」「効果無し」を、端末装置Ｔから入力して、歌唱補助サーバ装置ＳＡに送信するようにしてもよい。
この際、「効果あり」「どちらでもない」「効果無し」に代えて、「好き」「どちらでもない」「嫌い」を入力するようにしてもよい。
また、顔画像に基づく評価と、歌唱者もしくは家族などによって入力された評価の双方を用いて、再生確率を変えるようにしてもよい。
(6)上記実施形態では、「嫌悪」の変化が最も絶対値が大きく、しかも、「嫌悪」が直前よりも直後において増えている場合（上記変形例の「嫌い」の場合も同様である）であっても、「効果あり」との判定を行うようにしている。しかし、このような場合には、「効果無し」と判定し、再生確率を下げるようにしてもよい。ユーザによる「嫌悪」の感情が、音楽療法の妨げになる可能性があるからである。ただし、上記のような場合であっても、物忘れが大きいユーザ（重度認知症や中等度認知症）に対しては、当該曲を再生リストに含めるようにしてもよい。物忘れが大きいので、当該曲に対する「嫌悪」の感情を維持していないからである。ただし、「嫌悪」が所定回数以上続くようであれば、再生確率を０％にしてもよい。
(7)上記実施形態では、端末装置Ｔ、サーバ装置ＳＡ、ＳＢによってシステムを構築している。しかし、端末装置Ｔおよびサーバ装置ＳＡまたはサーバ装置ＳＢまたはその双方の機能を、１台のＰＣ等によって実現するようにしてもよい。
(8)上記実施形態に加えて、あるいはこれに代えて、歌唱者であるユーザの歌唱中の脈拍を取得するセンサを設け、当該脈拍に合致するように端末装置Ｔにて再生する歌唱補助音のテンポをリアルタイムで調整するようにしてもよい。これにより、歌唱者によって、テンポが取りやすく歌を歌いやすい環境を提供することができる。
また、歌唱中の脈拍を取得し、その平均値や最大値に基づいて、次に再生する歌唱補助音の選択に反映するようにしてもよい。たとえば、当該歌唱者の平常時の脈拍よりも速ければ（遅ければ）、次の楽曲としてテンポの遅い（速い）曲を選択する確率を高くするようにする。この場合、歌唱補助音に標準テンポをメタデータとして記録しておいてこれを元に選択するようにする。あるいは、標準テンポとは関係なく、再生時にテンポを調整するようにしてもよい。
なお、上記において、脈拍が速ければテンポの遅い曲を選択する確率を高めているのは、脈拍を落ち着かせたり、興奮状態から気持ちを落ち着かせたりするためである。
(9)上記実施形態では、歌唱補助音としてカラオケ伴奏を用いている。しかし、ユーザの歌唱補助のために伴奏だけでなく歌を含めるようにしてもよい。また、歌唱補助になるのであれば、打楽器などによるリズムだけでもよい。
(10)上記実施形態では、端末装置としてスマートフォンを用い、スマートフォン内蔵のスピーカを用いている。しかし、ブルーツース通信などによって、外部のスピーカ（スマートスピーカでもよい）を用いるようにしてもよい。
また、端末装置として据え置き型のディスプレイとスピーカを備えた機器を用いてもよい。
さらに、端末装置として、スマートスピーカとディスプレイ（テレビのディスプレイでもよい）を用いることができる。スマートスピーカに話しかけることにより（たとえば、「音楽療法をしたい」と話す）、スマートスピーカがネットワーク上にある本システムのサーバ装置１０にアクセスする。サーバ装置１０から画像（歌詞情報等）が送られてくるので、スマートスピーカは、近傍にあるテレビなどのディスプレイを立ち上げる。歌唱補助音は、スマートスピーカにて再生する。カメラはスマートスピーカに付属のもの、またはスマートフォンのものを用いる。
(11)上記実施形態およびその変形例は、その本質に反しない限り、他の実施形態や変形例を組み合わせて実施可能である。
また、特許文献２の装置では、ユーザがよく聞いている楽曲をカラオケ曲としてリコメンドするので、当該ユーザに合致したカラオケ曲を提案することはできる。しかし、音楽療法においては、好き嫌いだけで楽曲を選択することが治療のために必ずしも好ましいわけではなく、この装置によるリコメンドをそのまま音楽療法に用いることはできない。
また、歌唱補助音のテンポは、歌唱者の心理状況にも影響を与えるので、適切なテンポの歌唱補助音を用いれば、音楽療法の効果を向上させることができる。
この発明は、上記のような問題点のいずれかを解決して、音楽療法に適したシステムを提供することを目的とする。

Claims (23)

  1. サーバ装置と端末装置を備えた音楽療法システムであって、
    前記サーバ装置は、
    複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、
    前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段とを備え、
    前記端末装置は、
    前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
    前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴とする音楽療法システム。
  2. 音楽療法システムのためのサーバ装置であって、
    複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、
    前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段と、
    を備えたサーバ装置。
  3. 音楽療法システムのためのサーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、通信部によって、端末装置に送信する歌唱補助音送信手段と、
    前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正する再生リスト修正手段として機能させるためのサーバプログラム。
  4. 音楽療法システムのための端末装置であって、
    サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
    前記サーバ装置において前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段と、
    を備えた端末装置。
  5. 音楽療法システムのための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
    前記サーバ装置において前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段として機能させるための端末プログラム。
  6. 請求項１～５のいずれかのシステム、装置またはプログラムにおいて、
    前記端末装置は、歌唱者の歌唱状態を撮像して撮像画像を前記サーバ装置に送信し、
    前記サーバ装置は、当該撮像画像に基づいて歌唱状態の評価を取得することを特徴とするシステム、装置またはプログラム。
  7. 請求項６のシステム、装置またはプログラムにおいて、
    前記サーバ装置は、歌唱者の顔画像に基づく歌唱状態の評価を取得することを特徴とするシステム、装置またはプログラム。
  8. 請求項７のシステム、装置またはプログラムにおいて、
    前記サーバ装置は、歌唱者の顔画像を評価サーバ装置に送信し、評価サーバ装置から評価を取得することを特徴とするシステム、装置またはプログラム。
  9. 請求項６～８のいずれかのシステム、装置またはプログラムにおいて、
    前記歌唱状態の評価は、当該楽曲について歌唱者の歌唱直前の顔画像の評価と歌唱直後の顔画像の評価との差に基づくことを特徴とするシステム、装置またはプログラム。
  10. 請求項９のシステム、装置またはプログラムにおいて、
    前記顔画像の評価が楽曲に対して否定的であることが増加した場合であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴とするシステム、装置またはプログラム。
  11. 請求項１～４のいずれかのシステム、装置またはプログラムにおいて、
    前記端末装置は、ユーザによる歌唱者の歌唱状態の入力を受けて、前記サーバ装置に送信することを特徴とするシステム、装置またはプログラム。
  12. 請求項１１のシステム、装置またはプログラムにおいて、
    前記顔画像の評価が楽曲に対して否定的であったとしても、当該楽曲を再生リストに含める確率を上げることを特徴とするシステム、装置またはプログラム。
  13. 請求項１～１２のいずれかの装置またはプログラムにおいて、
    前記再生リストの修正において、対象となる曲を歌唱した際の評価が同一であっても、当該歌唱者の疾病の種類に基づいて、当該楽曲の歌唱補助音を次回に再生する再生リストに含める確率を変化させることを特徴とするシステム、装置またはプログラム。
  14. 請求項１～１３いずれかの装置またはプログラムにおいて、
    前記再生リストの修正において、対象となる曲を歌唱した際の評価として、嫌悪感が高いと判断されても、当該歌唱補助音を次回に再生する再生リストに含める確率をゼロにしないことを特徴とするシステム、装置またはプログラム。
  15. コンピュータを用いた音楽療法であって、
    コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、
    コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、
    前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、前記再生リストにいずれの楽曲の歌唱補助音を含めるかを修正することを特徴とする音楽療法。
  16. サーバ装置と端末装置を備えた音楽療法システムであって、
    前記サーバ装置は、
    記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、
    前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段と、
    前記端末装置は、
    前記サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
    前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段とを備えたことを特徴とする音楽療法システム。
  17. 音楽療法システムのためのサーバ装置であって、
    記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、
    前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段と、
    を備えたサーバ装置。
  18. 音楽療法システムのためのサーバ装置をコンピュータによって実現するためのサーバプログラムであって、コンピュータを、
    記録部から読み出された歌唱補助音を、通信部によって、端末装置に送信する歌唱補助音送信手段と、
    前記端末装置から受信した歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定する歌唱補助音選択手段として機能させるためのサーバプログラム。
  19. 音楽療法システムのための端末装置であって、
    サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
    前記サーバ装置においていずれの歌唱補助音を端末装置に送信するかを決定するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段と、
    を備えた端末装置。
  20. 音楽療法システムのための端末装置をコンピュータによって実現するための端末プログラムであって、コンピュータを、
    サーバ装置から送信されてきた歌唱補助音を再生部によって再生する再生手段と、
    前記サーバ装置においていずれの歌唱補助音を端末装置に送信するかを決定するために、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、通信部によって前記サーバ装置に送信する歌唱状態取得手段として機能させるための端末プログラム。
  21. コンピュータを用いた音楽療法であって、
    コンピュータが、複数の楽曲の歌唱補助音を記録する記録部から、再生リストにしたがって歌唱補助音を読み出し、再生部によって再生し、
    コンピュータが、前記再生された歌唱補助音に合わせて歌唱する歌唱者の歌唱状態または歌唱状態の評価を取得し、
    前記歌唱者の歌唱状態または歌唱状態の評価に基づいて、いずれの歌唱補助音を端末装置に送信するかを決定することを特徴とする音楽療法。
  22. 音楽療法のための歌唱補助装置であって、
    楽曲の歌唱補助音を再生する歌唱補助音再生手段と、
    前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段と、
    を備えた歌唱補助装置において、
    前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴とする歌唱補助装置。
  23. コンピュータによって音楽療法のための歌唱補助装置を実現するための歌唱補助プログラムであって、コンピュータを、
    楽曲の歌唱補助音を再生する歌唱補助音再生手段と、
    前記再生された歌唱補助音に合わせて歌唱する歌唱者の脈拍を取得するセンサから脈拍情報を取得する脈拍情報取得手段として機能させ、
    前記歌唱補助音再生手段は、前記歌唱者の脈拍に応じて、前記歌唱補助音のテンポを変化させることを特徴とする歌唱補助プログラム。
JP2022178838A 2018-07-26 2022-11-08 音楽療法のための歌唱補助装置 Pending JP2023025013A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022178838A JP2023025013A (ja) 2018-07-26 2022-11-08 音楽療法のための歌唱補助装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018140327A JP7175120B2 (ja) 2018-07-26 2018-07-26 音楽療法のための歌唱補助装置
JP2022178838A JP2023025013A (ja) 2018-07-26 2022-11-08 音楽療法のための歌唱補助装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018140327A Division JP7175120B2 (ja) 2018-07-26 2018-07-26 音楽療法のための歌唱補助装置

Publications (1)

Publication Number Publication Date
JP2023025013A true JP2023025013A (ja) 2023-02-21

Family

ID=69581106

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018140327A Active JP7175120B2 (ja) 2018-07-26 2018-07-26 音楽療法のための歌唱補助装置
JP2022178838A Pending JP2023025013A (ja) 2018-07-26 2022-11-08 音楽療法のための歌唱補助装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018140327A Active JP7175120B2 (ja) 2018-07-26 2018-07-26 音楽療法のための歌唱補助装置

Country Status (1)

Country Link
JP (2) JP7175120B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118235198A (zh) * 2021-10-25 2024-06-21 精灵光粉科技有限公司 信号处理装置、认知功能改善系统、信号处理方法以及程序
WO2023074594A1 (ja) * 2021-10-25 2023-05-04 ピクシーダストテクノロジーズ株式会社 信号処理装置、認知機能改善システム、信号処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520309A (ja) * 2004-02-05 2007-07-26 モトリカ インク 音楽によるリハビリテーション
JP2015051124A (ja) * 2013-09-06 2015-03-19 国立大学法人三重大学 認知症の改善を支援するための装置、認知症の改善を支援するための方法、当該方法をコンピュータに実現させるためのプログラム
JP2018010305A (ja) * 2013-04-02 2018-01-18 Ｎｅｃソリューションイノベータ株式会社 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150435A (ja) * 2013-02-01 2014-08-21 Nikon Corp 再生装置および再生プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520309A (ja) * 2004-02-05 2007-07-26 モトリカ インク 音楽によるリハビリテーション
JP2018010305A (ja) * 2013-04-02 2018-01-18 Ｎｅｃソリューションイノベータ株式会社 顔表情採点装置、ダンス採点装置、カラオケ装置、およびゲーム装置
JP2015051124A (ja) * 2013-09-06 2015-03-19 国立大学法人三重大学 認知症の改善を支援するための装置、認知症の改善を支援するための方法、当該方法をコンピュータに実現させるためのプログラム

Also Published As

Publication number Publication date
JP7175120B2 (ja) 2022-11-18
JP2020014716A (ja) 2020-01-30

Similar Documents

Publication Publication Date Title
Turino Music as social life: The politics of participation
JP2023025013A (ja) 音楽療法のための歌唱補助装置
US20150161908A1 (en) Method and apparatus for providing sensory information related to music
JP2008524656A (ja) 同期化されたプレゼンテーションを伴う楽譜捕捉および同期化されたオーディオパフォーマンス用のシステムおよび方法
Hofmann et al. The tight-interlocked rhythm section: Production and perception of synchronisation in jazz trio performance
JP4860513B2 (ja) 映像作品の続きを見るための楽曲が指定される音楽映像再生装置
JP2019053170A (ja) 楽器練習装置
JP5293712B2 (ja) カラオケ装置、及び、カラオケシステム
JP2007264569A (ja) 検索装置、制御方法及びプログラム
Krout Engaging iPad applications with young people with autism spectrum disorders
JP2007250053A (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2006201654A (ja) 伴奏追従システム
JP2007256619A (ja) 評価装置、制御方法及びプログラム
JP2014123085A (ja) カラオケにおいて歌唱に合わせて視聴者が行う身体動作等をより有効に演出し提供する装置、方法、およびプログラム
JP6944357B2 (ja) 通信カラオケシステム
Wu et al. Evaluating the Audience's Perception of Real-time Gestural Control and Mapping Mechanisms in Electroacoustic Vocal Performance.
Jones The power of a production myth: PJ Harvey, Steve Albini, and gendered notions of recording fidelity
JP4447524B2 (ja) 統一テンポのメドレー選曲処理に特徴を有するカラオケ装置
JP2007304489A (ja) 楽曲練習支援装置、制御方法及びプログラム
JP2012247558A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2021068090A (ja) コンテンツ推薦システム
WO2024125478A1 (zh) 音频呈现方法和设备
JP6037557B2 (ja) コラボレーション歌唱における歌唱動作事前報知システム
WO2023139883A1 (ja) 信号処理装置、及び信号処理方法
JP6699137B2 (ja) データ管理装置、コンテンツ再生装置、コンテンツ再生方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240610