JP2016142825A - 歌唱評価装置及び歌唱評価用プログラム - Google Patents

Abstract

【課題】歌唱時における呼吸形式の判定精度向上を図ることを目的とする。
【解決手段】本発明に係る歌唱評価装置は、入力情報に基づいて、歌唱者の胸部体積変化と腹部体積変化を検出する検出処理と、検出処理で検出した胸部体積変化と腹部体積変化に基づいて、歌唱者の腹式呼吸度合いを判定する判定処理と、判定手段で判定した腹式呼吸度合いに基づいて、歌唱者の歌唱評価を行うことを特徴とする評価処理とを実行することを特徴とする。
【選択図】図４

Description

本発明は、歌唱の巧拙を評価する歌唱評価装置及び歌唱評価用プログラムに関する。特に、腹式呼吸の判定を行う歌唱評価装置及び歌唱評価用プログラムに関する。

従来、カラオケ装置では、歌唱者が発する歌唱音声情報の音高を模範音高と比較することで、採点するなどの歌唱評価が行われている。歌唱では、横隔膜を収縮させる腹式呼吸を使用することが、声をよく出すための呼吸方法として推奨されている。

特許文献１に開示されるカラオケシステムは、歌唱者の腹式呼吸を検知する腹式呼吸検知手段を使用し、楽曲１曲分の歌唱区間内での腹式呼吸回数とリファレンス回数との比較結果を表示することが開示されている。このカラオケシステムによれば、歌唱者が適度に腹式呼吸を行っているか否かを把握させ、歌唱能力の向上に役立てることが可能である。

特許第４４０４７８４号公報

特許文献１に開示されるカラオケシステムでは、その実施例に開示されるように腹式呼吸を検知する腹式呼吸検知手段として、歌唱者に取り付けたベルト部の伸縮を利用する形態となっている。具体的には、ベルト部の伸縮による圧力変化を圧力検知センサで検知し、圧力変化が所定変位以上となったとき、腹式呼吸が行われたことを判定することとしている。

特許文献１に開示されるカラオケシステムで使用する腹式呼吸検知手段は、歌唱者の腹部の動きのみに着目した形態となっている。ところで、歌唱時における呼吸方法は、腹式呼吸を常に行うことが必ずしもよいとはいえず、胸式呼吸など他の呼吸方法をバランス良く行うことが好ましいという見方がある。特許文献１に開示されるカラオケシステムでは、腹部の変位のみを計測するため、腹式呼吸以外の他の呼吸方法を考慮することはできなかった。また、腹部の変位は歌唱者の体型など、各種条件によって変化するため、腹式呼吸の判定精度についても高いものということはできない。

本発明は、このような歌唱時の呼吸方法の評価について改善を図ることを目的とするものであり、そのため、本発明に係る歌唱評価装置は以下の構成を採用するものである。
入力情報に基づいて、歌唱者の胸部体積変化と腹部体積変化を検出する検出処理と、
検出処理で検出した胸部体積変化と腹部体積変化に基づいて、歌唱者の呼吸形式を判定する判定処理と、
判定手段で判定した呼吸形式に基づいて、歌唱者の歌唱評価を行う制御部を備えたことを特徴とする。

さらに本発明に係る歌唱評価装置において、
検出処理は、入力情報として立体的な位置変化を検出可能な映像情報を使用して、歌唱者の胸部体積変化と腹部体積変化を検出することを特徴とする。

さらに本発明に係る歌唱評価装置は、
マイクロホンから入力される歌唱者の音声情報に基づいて、発声期間を判定する発声検出処理を実行可能とし、
評価処理は、発声期間中の呼吸形式に基づいて、歌唱者の歌唱評価を行うことを特徴とする。

さらに本発明に係る歌唱評価装置は、
判定処理にて判定した呼吸形式が腹式呼吸である場合、腹式呼吸が行われたことを通知する通知処理を実行することを特徴とする。

また本発明に係る歌唱評価用プログラムは、
入力情報に基づいて、歌唱者の胸部体積変化と腹部体積変化を検出する検出処理と、
検出処理で検出した胸部体積変化と腹部体積変化に基づいて、歌唱者の呼吸形式を判定する判定処理と、
判定手段で判定した呼吸形式に基づいて、歌唱者の歌唱評価を行うことを特徴とする評価処理と、をコンピュータに実行させることを特徴とする。

本発明に係る歌唱評価装置、または、歌唱評価用プログラムによれば、従前、歌唱者の腹部の変位のみで行っていた呼吸形式の判定について、歌唱者の胸部の変化を加味する、具体的には、腹部体積変化と胸部体積変化を使用して、呼吸形式を判定することとしている。したがって、呼吸形式の判定を精度高く行うとともに、歌唱評価の精度向上を図ることが可能となる。

さらに本発明に係る歌唱評価装置によれば、立体的な位置変化を検出可能な映像情報を使用して、歌唱者の胸部体積変化と腹部体積変化を検出することとしている。このような構成によれば、特許文献１に開示されるように、歌唱者にベルトを巻くなどの繁雑な作業を必要とせず、歌唱者の呼吸方法による歌唱評価を行うことが可能となる。

さらに本発明に係る歌唱評価装置によれば、呼吸形式が腹式呼吸と判定された際、腹式呼吸が行われたことを通知することで、歌唱者に対して自己の呼吸形式が良好である旨を認識させることが可能となる。

さらに本発明に係る歌唱評価装置によれば、歌唱者の発声期間中に判定された呼吸形式を使用することで、歌唱者が実際に声を出している期間中の呼吸方法を歌唱評価の対象とし、歌唱評価の精度向上を図ることが可能となる。

本実施形態のカラオケシステムの構成を示す図 本実施形態の楽曲再生処理を示すフロー図 本実施形態の呼吸形式判定処理を示すフロー図 本実施形態の立体撮像部による撮像画像を示す図 本実施形態の呼吸形式判定処理を説明するための図 本実施形態の呼吸形式に基づく採点形態例を示す図 本実施形態の楽曲再生画面を示す図 本実施形態の歌唱評価結果の例を示す図 他の実施形態の呼吸形式判定処理を示すフロー図 他の実施形態の呼吸形式判定処理を説明するための図

本実施形態の歌唱評価装置について、カラオケ装置２を例にとって説明する。図１は、本発明の実施形態に係るカラオケシステムの構成を示す図である。本実施形態におけるカラオケシステムは、カラオケ装置２（コマンダ）と、リモコン装置１を含んで構成されている。なお、図１に示す例では、１台のカラオケ装置２に対して、リモコン装置１ａとリモコン装置１ｂ、２台のリモコン装置１が使用されている例である。これらリモコン装置１ａ、１ｂの構成は同一であるため、リモコン装置１として説明を行う。カラオケ装置２とリモコン装置１は、ＬＡＮ１００及びアクセスポイント１１０を利用してネットワークを形成するように接続されている。

カラオケボックスなどの店舗に設置されるカラオケ装置２は、楽曲を演奏するための演奏部として音響制御部２５を備えている。また、カラオケ装置２は、ユーザからの各種入力を受け付ける操作部２１を備える。カラオケ装置２は、操作部２１からの入力を解釈してＣＰＵ３０に伝達する操作処理部２２を備える。また、カラオケ装置２は、各種情報を記憶する記憶部としてのハードディスク３２を備える。カラオケ装置２は、ＬＡＮ１００に接続してネットワークに加入する通信手段としてのＬＡＮ通信部２４を備えている。

また、カラオケ装置２は、モニタ４１に対して歌詞映像、背景映像を表示させる映像再生手段を備える。この映像再生手段は、映像情報に基づいて映像を再生する映像再生部２９、再生する映像を一時的に蓄積するビデオＲＡＭ２８、再生された映像に対する歌詞テロップの重畳、映像効果を付与する映像制御部３１を備えて構成される。

さらに、このカラオケ装置２では、外部に接続されるモニタ４１以外に、タッチパネルモニタ３３に対して各種情報を表示することを可能としている。タッチパネルモニタ３３は映像制御部３１から入力された映像情報を表示する表示部３５と、タッチ入力された位置を操作処理部２２に出力するタッチパネル３４が重畳されて構成されている。このタッチパネルモニタ３３は、カラオケ装置２の操作部、あるいは、リモコン装置１のタッチパネルモニタ１１などと同様、入力部として機能する。ユーザは、タッチパネルモニタ３３にて楽曲を選択することで、直接カラオケ装置２に予約をさせるなど、カラオケ装置２に対する各種操作を行うことが可能である。

さらに、カラオケ装置２は、各構成を統括して制御するためのＣＰＵ３０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ２７を備えて構成される。

このような構成にてカラオケ装置２は、各種処理を実行することとなるが、カラオケ装置２の主な機能として、楽曲予約処理、楽曲再生処理などを実行可能としている。楽曲予約処理は、ユーザからの指定に基づいて楽曲を指定、予約するための処理であってリモコン装置１と連携して実行される。ユーザの操作により、リモコン装置１などの入力部で指定された予約情報をメモリ２７中の予約テーブルに登録する。楽曲再生処理は、予約された楽曲を再生させる処理であって、楽曲演奏処理と歌詞再生処理とが同期して実行される処理である。

楽曲演奏処理は、楽曲情報に含まれる演奏情報に基づき、音響制御部２５に演奏を実行させる処理である。音響制御部２５にて演奏された楽曲は、マイクロホン４４ａ、４４ｂから入力される歌唱音声と一緒にスピーカ４２から放音される。歌詞再生処理は、楽曲情報に含まれる歌詞情報をモニタ４１に表示させることで歌唱補助を行う処理である。この歌詞再生処理で表示される歌詞に、背景映像を重畳させて表示させる背景映像表示処理を実行することとしてもよい。

さらに、本実施形態のカラオケ装置２は、歌唱者の歌唱時における呼吸形式を判定するため、立体撮像部４５を備えている。この立体撮像部４５には、２つの撮像手段を使用して被写体を立体的に解析することのできる形態、あるいは、赤外線のドットパターンを被写体に照射し、赤外線カメラを使用して撮影されたドットパターンを解析し、被写体を立体的に解析する形態（マイクロソフト社製のキネクト（登録商標））などを、使用することが可能である。本実施形態では、立体撮像部４５の撮像結果に基づき、歌唱者の胸部領域と腹部領域の体積変化を測定し、非接触で歌唱者の呼吸形式を判定することとしている。歌唱者の胸部領域と腹部領域の体積変化は、立体撮像部４５による撮像のみならず、歌唱者の胸部と腹部の物理的変位を、歌唱者に取り付けたセンサで測定することとしてもよい。

一方、リモコン装置１は、歌唱する楽曲を選択する選曲処理を実行可能とし、予約情報などカラオケ装置２に対して各種指示を送信可能としている。また、リモコン装置１は、カラオケ装置２あるいはインターネット上に接続されたサーバ装置５から各種情報を受信し、ユーザに対して各種情報を提供することも可能である。本実施形態では、ユーザから各種指示を受け付けるユーザインターフェイスとして、操作部１７と、タッチパネルモニタ１１を備えている。タッチパネルモニタ１１は、表示部１１ａとタッチパネル１１ｂを有して構成され、表示部１１ａに各種インターフェイスを表示するとともに、ユーザからのタッチ入力を受付可能としている。

さらにリモコン装置１は、楽曲検索に必要とされるデータベース、各種プログラム、並びに、プログラム実行に伴って発生する各種情報を記憶する記憶部として、メモリ１４、そして、これら構成を統括して制御するためのリモコン側制御部を備えて構成される。リモコン側制御部には、ＣＰＵ１５、タッチパネルモニタ１１に対して表示する映像を形成する映像制御部１３、表示する映像情報を一時的に蓄えるビデオＲＡＭ１２、タッチパネルモニタ１１あるいは操作部１７からの入力を解釈してＣＰＵ１５に伝える操作処理部１８が含まれている。

また、リモコン装置１は、無線ＬＡＮ通信部１６によって、アクセスポイント１１０と無線接続されることで、ＬＡＮ１００によって構成されるネットワークに接続される。なお、各リモコン装置１は、特定のカラオケ装置２に対して事前に対応付けされている。リモコン装置１から出力される各種命令は、対応付けされたカラオケ装置２にて受信されることとなる。

このようなリモコン装置１の構成により、ユーザからの各種入力をタッチパネルモニタ１１、あるいは、操作部１７から受付けるとともに、映像情報をタッチパネルモニタ１１の表示により各種情報を提供することで、カラオケ装置２に対して楽曲予約などの各種指示を行うことが可能とされている。

図２は、本実施形態の楽曲再生処理を示すフロー図である。リモコン装置１から送信された予約情報は、カラオケ装置２のメモリ２７で管理する予約テーブルに順次記憶される。カラオケ装置２は、予約テーブルのチェックを行い（Ｓ１０１）、次に再生すべき再生の楽曲があると判定した場合（Ｓ１０２：Ｙｅｓ）、楽曲再生の準備を開始する。本実施形態では、呼吸形式判定処理の準備として、立体撮像部４５による撮像を開始する（Ｓ１０３）。カラオケ装置２は、立体撮像部４５で撮像された画像情報を解析し、歌唱者の体躯を認識し、認識した体躯中から、胸部領域と腹部領域の判定を行う（Ｓ１０４）。図４には、立体撮像部４５による撮像の様子が示されている。具体的には、歌唱者の体躯位置の特定は、モニタ４１に、体躯の領域と判断される情報（例えば、図４の破線部のグラフィックなど）と、立体撮像部４５の画像と、を表示し、歌唱者がその領域に自ら移動して撮影した画像情報を解析すれば、体躯の領域として認識することができる。

領域判定が完了した場合（Ｓ１０５：Ｙｅｓ）には、楽曲再生を開始する（Ｓ１０８）。一方、立体撮像部４５の撮像領域中に歌唱者が入っていないことなどを理由として、領域判定ができない場合（Ｓ１０５：Ｎｏ）には、カラオケ装置２は、モニタ４１に立体撮像部４５の前に立つ旨などを指示するとともに、再度、領域判定を行うか否かを問うメッセージを表示する（Ｓ１０７）。そして、操作部２１などから、再度、領域判定を行う旨の指示が入力された場合（Ｓ１０７：Ｙｅｓ）、領域判定を実行する（Ｓ１０４）。一方、再度、領域判定を行わない旨の指示が入力された場合（Ｓ１０７：Ｎｏ）、歌唱評価処理中、呼吸形式判定処理の実行を無効にした上で楽曲再生を開始する（Ｓ１０８）。

本実施形態では、楽曲再生中、マイクロホン４４ａ、４４ｂから入力される歌唱音声情報、及び、立体撮像部４５による撮像情報を使用して、歌唱評価処理を実行する（Ｓ１０９）。本実施形態の歌唱評価処理は、５つの項目について歌唱評価を行うこととしている。音程判定処理は、歌唱者が正しい音程で歌唱しているか否かを判定する処理である。楽曲情報中、歌唱旋律を示す情報を歌唱音声情報の音程と比較することで、音程に関する採点値を算出する。リズム判定処理は、歌唱者が正しいリズムで歌唱しているか否かを判定する処理である。リズム判定処理では、歌唱旋律を示す情報のタイミングを、歌唱音声情報の音程のタイミングと比較することで行われ、リズムに関する採点値が算出される。技術判定処理は、ビブラートやこぶしなど、歌唱技術に関する判定処理である。歌唱音声情報の音程が特定のパターンを示したとき、歌唱技術の採点値が加点される。熱唱度判定処理は、歌唱音声情報の音量に基づいて行われる歌唱評価である。

本実施形態の歌唱評価処理では、以上、説明した歌唱音声情報を使用する４つの項目以外に、立体撮像部４５による撮像情報を使用した呼吸形式判定処理を実行する（Ｓ１０９）。呼吸形式判定処理は、歌唱者が腹式呼吸を使用して歌唱しているか、胸式呼吸を使用して歌唱しているかなど、歌唱時の呼吸形式に基づく歌唱評価を行う処理である。一般的に歌唱では、腹式呼吸を使用することが好ましいとされており、例えば、腹式呼吸を使用して歌唱した場合には、採点値を加点するなどによる評価が行われる。

楽曲の再生が完了後、カラオケ装置２は、歌唱評価結果をモニタ４１などの表示手段に表示（Ｓ１１０）して、一連の処理を終了する。歌唱評価結果としては、Ｓ１０９で説明した５つの項目の他、これら５つの項目の採点値に基づく総合得点が表示される（図８）。

本実施形態では、歌唱評価処理中、歌唱者の呼吸形式を判定する呼吸形式判定処理に特徴を有する。腹式呼吸判定処理は、歌唱時に好ましいとされる腹式呼吸を行っているかを判定する処理であり、本実施形態では、胸部領域の変化に基づく胸部体積変化と、腹部領域の変化に基づく腹部体積変化に基づいて判定を行っている。特許文献１に記載される従来の判定方法では、歌唱時の腹部領域の変化に基づいて判定を行うこととしているが、本実施形態では、腹部領域の変化に加え、胸部領域の変化を使用することで、精度の高い判定を行うことが可能となっている。また、胸部領域の変化を使用することで、腹式呼吸か胸式呼吸かの２者択一の判定のみならず、どの程度、腹式呼吸を行っているかを判定することも可能となる。

図３は、本実施形態の呼吸形式判定処理を示すフロー図である。楽曲再生期間中、立体撮像部４５が撮影した撮像結果に基づいて、胸部領域の体積変化、及び、腹部領域の体積変化を継続して検出して記憶する。胸部体積変化の１波形を抽出（Ｓ２０１）するとともに、同１波形期間における腹部体積変化の抽出する（Ｓ２０２）。胸部体積変化、腹部体積変化はどちらも歌唱者の呼吸に基づいて変化する値であるため、その波形は略同期した波形となる。次に、取得した胸部体積変化の１波形と、腹部体積変化の１波形を合成（加算）して、呼吸体積変化を算出する（Ｓ２０３）。

図５は、本実施形態の呼吸形式判定処理を説明するための図である。一点鎖線は腹部体積変化の波形であり、破線は胸部体積変化の波形であり、実線は呼吸体積変化の波形である。呼吸体積変化は、歌唱者の全呼吸に相当する変化であり、この最大値と最低値がそれぞれ、呼吸開始時（最も吸った状態）、呼吸終了時（最もはき出した状態）に相当する。呼吸体積変化について、最大値Ｃｍａｘを判断し（Ｓ２０４）、最大値における胸部体積変化と腹部体積変化の値を取得する（Ｓ２０５）。そして、呼吸体積変化について、最小値Ｃｍｉｎを判断し（Ｓ２０６）、最小値における胸部体積変化と腹部体積変化の値を取得する（Ｓ２０７）。そして、取得した値を使用して、腹部体積変化の差分体積Ａと、胸部体積変化の差分体積Ｂを算出する（Ｓ２０８）。

本実施形態では、腹部体積変化の差分体積Ａと、胸部体積変化の差分体積Ｂを使用し、腹式呼吸、胸式呼吸、あるいは、腹式呼吸と胸式呼吸の併用であるかの判定が行われる。（Ｓ２０９）。図６には、本実施形態の呼吸形式に基づく採点形態例が示されている。本実施形態では、取得した差分体積Ａ、差分体積Ｂをそれぞれ閾値と比較して、差分体積Ａのみが閾値を超えていた場合、腹式呼吸が行われたと判定する。また、差分体積Ｂのみが閾値を超えていた場合、胸式呼吸が行われたと判定する。そして、差分体積Ａ、差分体積Ｂの両方が閾値を超えていた場合、腹式呼吸と胸式呼吸が併用されたと判定する。このように本実施形態では、腹部体積変化のみならず、胸部体積変化を使用して判定を行うことで、腹式呼吸の判定精度の向上を図ることが可能となる。本実施形態では、３つの呼吸形式（腹式呼吸、胸式呼吸、両方の併用）を判定しているが、このような形態のみならず、２つの呼吸形式（腹式呼吸を行っているか否か）、あるいは、どの程度腹式呼吸を行っているかをｎ段階で示した指標として判定することとすることも可能である。また、本実施形態では、差分体積Ａ、Ｂをそれぞれの閾値と比較して判定する形態としているが、このような形態のみならず、例えば、差分体積Ａ、Ｂの比をとることで、３つの呼吸形式の内、どの呼吸形式を使用しているか判定してもよい。

１呼吸時における呼吸形式の判定後、判定結果に基づいて採点が行われる（Ｓ２１０）。図６に示すように本実施形態では、３つの呼吸形式の何れかが判定されることになるが、腹式呼吸の場合、所定得点を加点し、胸式呼吸の場合、所定得点を減点し、両方の併用の場合、加減点なし（０点）とする採点形態を採用している。このように本実施形態では、腹式呼吸が行われた際、加点する形態を採用しているが、楽曲、あるいは、楽曲の所定箇所では、腹式呼吸を使用しない方がよいとする場合もある。よって採点形態としては、楽曲情報に、楽曲、あるいは、楽曲の所定箇所に好ましい呼吸形式を設定しておき、当該好ましい呼吸形式が使用された場合、加点する形態も考えられる。

本実施形態では、１の呼吸に関し、呼吸形式の判定及び採点後に、モニタ４１に判定及び採点に関する通知表示を行うこととしている（Ｓ２１１）。図７には楽曲再生処理中のモニタ４１での表示の様子が示されている。モニタ４１には背景映像に重畳して歌詞情報４１ａが表示されている。本実施形態では、モニタ４１の右上に呼吸形式に関する通知表示を行うこととしている。この例では、呼吸形式に関する通知表示に、インジケータ４１ｂ、呼吸形式通知欄４１ｃ、呼吸形式累計欄４１ｄを使用している。Ｓ２０９にて腹式呼吸が判定された場合、インジケータ４１ｂを点灯表示するとともに、呼吸形式通知欄４１ｃに腹式呼吸が行われた旨のメッセージが表示される。図７の画面例は、インジケータ４１ｂが点灯し、呼吸形式通知欄４１ｃに「腹式呼吸を検出」というメッセージが表示された状態を示している。腹式呼吸以外の呼吸の場合には、インジケータ４１ｂを点灯させず、メッセージも表示させない。このように本実施形態では、判定後に腹式呼吸が行われたことを歌唱者に通知することで、歌唱中の歌唱者は自己の呼吸形式が良好に行われたことを認識することが可能となる。なお、本実施形態では、腹式呼吸のみを通知することとしているが、それ以外の呼吸形式（胸式呼吸、あるいは、腹式呼吸と胸式呼吸の併用）についても通知する形態としてもよい。

さらに本実施形態では、歌唱開始からの腹式呼吸回数とそれ以外の形式の呼吸回数、及び、それらに基づいて算出された得点を、呼吸形式累計欄４１ｄに表示させている。歌唱者は、歌唱中、これら呼吸形式に関する表示を参照して、自己の呼吸形式を確認することが可能となっている。なお、呼吸形式に関する情報としては、インジケータ４１ｂ、呼吸形式通知欄４１ｃ、呼吸形式累計欄４１ｄの何れか１つを使用する形態であってもよい。モニタ４１の他の表示形式としては、楽曲データから音高情報を抽出し、音高情報を五線譜やピアノロールなどの表示形式に変換し、歌詞情報４１ａとともに楽曲進行に応じて音高情報を表示する表示形式もある。この場合には、インジケータ４１ｂをアイコン形式の表示（通称、テクニックマーク表示）とし、腹式呼吸ができた区間の歌詞情報や音高情報の近傍に、腹式呼吸ができたテクニックマーク表示とすることもできる。

呼吸形式判定処理の一連の処理（Ｓ２０１〜Ｓ２１１）が終了し、まだ楽曲再生が終了していない場合（Ｓ２１２：Ｎｏ）には、呼吸形式判定処理の先頭に戻り、次の波形について呼吸形式の判定、採点が行われる。また、楽曲再生の終了が判定された場合（Ｓ２１２：Ｙｅｓ）には、呼吸形式判定処理を終了し、図２の楽曲再生処理中、歌唱評価結果の表示を実行する（Ｓ１１０）。図８には、楽曲再生終了後、モニタ４１に表示された歌唱評価結果の一例が記載されている。歌唱評価結果には、再生された楽曲の歌手名、曲名、歌唱したユーザ名が表示されている。また、歌唱評価結果には、歌唱評価処理で評価した５つの項目について採点値が数値とグラフで表示されている。そして、５つの項目に基づく総合得点が表示される。このように本実施形態では、歌唱評価処理を使用して、歌唱者の歌唱評価を行うことが可能である。特に、腹部体積変化に加え、胸部体積変化を使用した呼吸形式判定処理を行うことで、呼吸形式を精度高く判定することが可能となっている。

図３、図５で説明した呼吸形式判定処理では、呼吸体積変化の最大値Ｃｍａｘと最小値Ｃｍｉｎをそれぞれ、呼吸開始時、呼吸終了時として使用していたが、他の形態を採用することも可能である。呼吸時には発声している場合と発声していない場合が存在する。発声時における呼吸を呼吸形式の判定対象とすることとしてもよい。

図９には、他の実施形態の呼吸形式判定処理を示すフロー図が示されており、図１０は、同呼吸形式判定処理を説明するための図が示されている。本実施形態では、呼吸開始時と呼吸終了時の判定に、発声期間、すなわち、マイクロホン４４ａ、４４ｂに閾値以上の音声が入力されている期間を使用することとしている。カラオケ装置２の制御部（ＣＰＵ３０など）は、マイクロホン４４ａ、４４ｂに閾値以上の音声入力がある場合、発声期間と判定する。

楽曲再生期間中、立体撮像部４５が撮影した撮像結果に基づいて、胸部領域の体積変化、及び、腹部領域の体積変化を継続して検出して記憶する。胸部体積変化の１波形を抽出（Ｓ２２１）するとともに、同１波形期間における腹部体積変化の抽出する（Ｓ２２２）。

図１０は、本実施形態の呼吸形式判定処理を説明するための図である。一点鎖線は腹部体積変化の波形であり、破線は胸部体積変化の波形である。これら波形中、マイクロホン４４ａ、４４ｂの入力に基づいて判定した発声期間を使用し、発声開始時ｔ１における最大値における胸部体積変化と腹部体積変化の値を取得する（Ｓ２２４）。次に、発声終了時ｔ２における胸部体積変化と腹部体積変化の値を取得する（Ｓ２２６）。そして、取得した値を使用して、腹部体積変化の差分体積Ａと、胸部体積変化の差分体積Ｂを算出する（Ｓ２２７）。

算出した差分体積Ａ、Ｂを使用して呼吸形式の判定を行い（Ｓ２２８）、判定した呼吸形式に基づいて採点を実行する（Ｓ２２９）。判定並びに採点の方法は、前実施形態で説明したように各種形態を採用することが可能である。そして、呼吸形式の判定及び採点後に、モニタ４１に判定及び採点に関する通知表示が行われる（Ｓ２３０）。呼吸形式判定処理の一連の処理（Ｓ２２１〜Ｓ２３０）が終了し、まだ楽曲再生が終了していない場合（Ｓ２３１：Ｎｏ）には、呼吸形式判定処理の先頭に戻り、次の波形（ｔ３〜ｔ４に関する波形）について呼吸形式の判定、採点が行われる。

以上、本実施形態のカラオケ装置２（本発明における「歌唱評価装置」に相当）では、歌唱評価処理において、腹部体積変化と胸部体積変化を使用した呼吸形式判定処理を行うことで、呼吸形式を精度高く判定することが可能となっている。なお、本実施形態では、カラオケ装置２において実行される呼吸形式判定処理について説明したが、カラオケ装置２に限ること無く、パーソナルコンピュータ、ゲーム装置、あるいは、スマートフォンなど、各種情報処理装置において呼吸形式判定処理を実行するプログラム（歌唱評価用プログラム）についても本発明の範疇に属するものである。

１（１ａ、１ｂ）…リモコン装置 ２８…ビデオＲＡＭ
２…カラオケ装置 ２９…映像再生部
５…サーバ装置 ３０…ＣＰＵ
１１…タッチパネルモニタ ３１…映像制御部
１１ａ…表示部 ３２…ハードディスク
１１ｂ…タッチパネル ３３…タッチパネルモニタ
１２…ビデオＲＡＭ ３４…タッチパネル
１３…映像制御部 ３５…表示部
１４…メモリ ４１…モニタ
１５…ＣＰＵ ４１ａ…歌詞情報
１６…無線ＬＡＮ通信部 ４１ｂ…インジケータ
１７…操作部 ４１ｃ…呼吸形式通知欄
１８…操作処理部 ４１ｄ…呼吸形式累計欄
２１…操作部 ４２…スピーカ
２２…操作処理部 ４４ａ、４４ｂ…マイクロホン
２４…ＬＡＮ通信部 ４５…立体撮像部
２５…音響制御部 １１０…アクセスポイント
２７…メモリ

Claims (5)

1. 入力情報に基づいて、歌唱者の胸部体積変化と腹部体積変化を検出する検出処理と、
   検出処理で検出した胸部体積変化と腹部体積変化に基づいて、歌唱者の呼吸形式を判定する判定処理と、
   判定手段で判定した呼吸形式に基づいて、歌唱者の歌唱評価を行うことを特徴とする
   歌唱評価装置。
2. 検出処理は、入力情報として立体的な位置変化を検出可能な映像情報を使用して、歌唱者の胸部体積変化と腹部体積変化を検出することを特徴とする
   請求項１に記載の歌唱評価装置。
3. マイクロホンから入力される歌唱者の音声情報に基づいて、発声期間を判定する発声検出処理を実行可能とし、
   評価処理は、発声期間中の呼吸形式に基づいて、歌唱者の歌唱評価を行うことを特徴とする
   請求項１または請求項２に記載の歌唱評価装置。
4. 判定処理にて判定した呼吸形式が腹式呼吸である場合、腹式呼吸が行われたことを通知する通知処理を実行することを特徴とする
   請求項１から請求項３の何れか１項に記載の歌唱評価装置。
5. 入力情報に基づいて、歌唱者の胸部体積変化と腹部体積変化を検出する検出処理と、
   検出処理で検出した胸部体積変化と腹部体積変化に基づいて、歌唱者の呼吸形式を判定する判定処理と、
   判定手段で判定した呼吸形式に基づいて、歌唱者の歌唱評価を行うことを特徴とする評価処理と、をコンピュータに実行させることを特徴とする
   歌唱評価用プログラム。