JP2015130070A - 検出プログラム、検出方法および検出装置 - Google Patents

Abstract

【課題】撮像画像に基づき人物が拍をとる動作またはタイミングを抽出すること。【解決手段】検出プログラム３３０ａは、コンピュータ３００に、以下の処理を実行させる。すなわち、検出プログラム３３０ａは、コンピュータ３００に、連続的に撮像した複数の撮像画像の時間的な変化量が一時的に低下するタイミングを検出する処理を実行させる。そして、検出プログラム３３０ａは、コンピュータ３００に、検出したタイミングに基づいて、撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングを抽出する処理を実行させる。【選択図】図１２

Description

本発明は、検出プログラム、検出方法および検出装置に関する。

人物のダンスを採点し、採点結果を人物に通知する技術がある。

人物のダンスの採点や評価に関連する技術として、例えば、検出したプレイヤの姿勢と、見本姿勢との類似度が所定値よりも高い場合に、類似していない見本姿勢の詳細を気付かせるための補助画像を生成する技術がある。

特開２０１３−１１６３１１号公報

人物のダンスの採点や評価を行なうためには、人物がリズムをとるタイミング、すなわち、人物が拍をとる動作またはタイミングを抽出することが求められる。しかしながら、上述した技術では、解析に必要な処理量が多いため、簡易に人物が拍をとる動作またはタイミングを抽出することができない場合があるという問題がある。

例えば、人物のダンスを採点する際に、カメラにより人物の動きが撮像され、撮像された動画像に対してコンピュータを用いた解析を行ない、人物のリズムを抽出する態様が考えられる。具体的な手法としては、例えば、動画像から人物の顔や身体の一部、または、人物が使用するマラカスなどの道具が、テンプレートマッチングなどの所定の認識技術により認識され、認識された顔や身体の一部または道具の移動量の時系列データが生成される。そして、時系列データに対してフーリエ解析等が行われ、特定の周波数帯域の成分から人物のリズムが抽出される。そして、例えば、抽出された人物のリズムと、基準となるリズムとが比較され、比較結果に応じて人物のダンスの採点が行なうことが考えられる。しかしながら、上記の態様において、例えば、動画像から人物の顔や身体の一部、または、人物が使用するマラカスなどの道具を認識するテンプレートマッチングを用いると、テンプレートと動画像の一部とを比較する処理が繰り返される。そのため解析に要する処理量が多く、コンピュータの処理負荷が増大する。

１つの側面では、本発明は、撮像画像に基づき人物が拍をとる動作またはタイミングを抽出することを目的とする。

検出プログラムは、コンピュータに、連続的に撮像した複数の撮像画像の時間的な変化量が一時的に低下するタイミングを検出し、検出したタイミングに基づいて、撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングを抽出することを実行させる。

撮像画像に基づき人物が拍をとる動作またはタイミングを抽出することができる。

図１は、実施例に係る検出装置の機能構成の一例を示す図である。 図２は、フレームの一例を示す図である。 図３は、タイミングデータの一例を示す図である。 図４は、２値化された画像の一例を示す図である。 図５は、背景差分量とフレーム番号との対応付けの一例を示す図である。 図６は、実施例に係る検出装置が実行する処理の一例を説明するための図である。 図７は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。 図８は、実施例に係る検出処理の手順を示すフローチャートである。 図９は、人物が拍をとるタイミングを抽出する一例について説明するための図である。 図１０は、検出装置とカラオケ装置が連動した場合のシステムの一例を示す図である。 図１１は、サーバを有するシステムの一例を示す図である。 図１２は、検出プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する検出プログラム、検出方法および検出装置の実施例を図面に基づいて詳細に説明する。なお、実施例は開示の技術を限定するものではない。

［実施例に係る検出装置１０の機能構成の一例］
図１の例に示す検出装置１０は、ダンスを行う人物をカメラにより撮像した結果得られた動画像の各フレームから、人物の動作量が一時的に低下するタイミングを、人物がリズムをとるタイミング、すなわち、人物が拍をとるタイミングとして抽出する。このように、人物の動作量が一時的に低下するタイミングを、人物が拍をとるタイミングとして抽出するのは、人物は、拍をとるときに一時的に動作を停止させるので、動作量が一時的に低下するからである。よって、検出装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い（処理負荷の高い）認識処理を行うことなく、人物が拍をとるタイミングを抽出することができる。したがって、検出装置１０によれば、簡易に人物が拍をとるタイミングを抽出することができる。ここで、リズムとは、例えば、テンポの間隔の規則性を意味する。また、テンポとは、例えば、拍やビートの間隔の長さを意味する。

図１は、実施例に係る検出装置の機能構成の一例を示す図である。図１の例に示すように、検出装置１０は、入力部１１、記憶部１２および制御部１３を有する。

入力部１１は、各種情報を制御部１３に入力する。例えば、入力部１１は、検出装置１０を使用するユーザからの後述の抽出処理を実行するための指示を受け付けた場合には、受け付けた指示を制御部１３に入力する。入力部１１のデバイスの一例としては、マウスやキーボード、図示しない他の装置から送信された各種の情報を受信し受信した情報を制御部１３に入力するためのネットワークカードが挙げられる。

記憶部１２は、各種情報を記憶する。例えば、記憶部１２は、動画像データ１２ａおよびタイミングデータ１２ｂを記憶する。

動画像データ１２ａは、ダンスを行う人物をカメラによって撮像した結果得られた複数のフレームを含む動画像のデータである。かかる人物の一例としては、例えば、カラオケボックスで、カラオケ装置により再生された曲に合わせて歌を歌うとともに、再生された曲に合わせてダンスを行う人物が挙げられる。なお、動画像データ１２ａに含まれる複数のフレームは、カメラによって連続的に撮像されたものであり、撮像画像の一例である。図２は、フレームの一例を示す図である。図２の例は、フレーム１４に、カラオケボックス９０で、曲に合わせて歌を歌うとともにダンスを行う人物９１が含まれた場合を示す。なお、動画像データ１２ａのフレームレートとしては、任意の値を採用できるが、以下、フレームレートが３０fps（frames per second）である場合について説明する。

タイミングデータ１２ｂは、ダンスを行う人物が拍をとるときの時間（タイミング）を示すデータである。かかる時間の一例としては、例えば、動画像データ１２ａに含まれる人物が、カラオケボックスで、再生された曲に合わせて歌を歌うとともにダンスを行う人物である場合には、曲とともにダンスが開始されるので、曲およびダンスの開始からの時間が挙げられる。図３は、タイミングデータの一例を示す図である。図３の例に示すタイミングデータ１２ｂは、「時間」および「拍をとるタイミング」の各項目を有する。「時間」の項目には、後述の抽出部１３ｃにより、曲およびダンスの開始からの時間が登録される。「拍をとるタイミング」の項目には、「時間」の項目に登録された時間が、人物が拍をとるタイミングである場合には、後述の抽出部１３ｃにより「とる」が登録され、人物が拍をとるタイミングでない場合には、「とらない」が登録される。例えば、図３の例に示すタイミングデータ１２ｂの１番目のレコードでは、曲およびダンスの開始から「０．０３３」秒後の時間には「拍をとるタイミング」の項目に「とる」が登録されているため、人物が拍をとるタイミングであることを示す。また、図３の例に示すタイミングデータ１２ｂの２番目のレコードでは、曲およびダンスの開始から「０．０６６」秒後の時間には「拍をとるタイミング」の項目に「とらない」が登録されているため、人物が拍をとるタイミングでないことを示す。

記憶部１２は、例えば、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。図１に示すように、制御部１３は、取得部１３ａと、検出部１３ｂと、抽出部１３ｃとを有する。

取得部１３ａは、動画像データ１２ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。また、取得部１３ａは、動画像データ１２ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

取得部１３ａの一態様について説明する。例えば、取得部１３ａは、入力部１１により後述の抽出処理を実行するための指示が入力された場合に、記憶部１２に記憶された動画像データ１２ａを取得する。

そして、取得部１３ａは、背景差分法を用いて、動画像データ１２ａが示す動画像に含まれる複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームとの差分を取得する。例えば、取得部１３ａは、公知の背景統計量の累積に関する関数を用いて、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

取得部１３ａが背景統計量の累積に関する関数を用いた場合の処理について説明する。取得部１３ａは、フレームと、当該フレームより前に撮像したフレームから得られた背景情報とを比較し、輝度の変化が閾値以下の画素を黒色の画素とし、輝度の変化が閾値より大きい画素を白色の画素とする２値化された画像を生成する。なお、ここで生成させる情報は、輝度の変化が閾値以下、あるいは閾値より大きいことが識別可能な情報であれば、白黒の画素とする２値化された画像に限定されない。図４は、２値化された画像の一例を示す図である。例えば、取得部１３ａは、背景統計量の累積に関する関数を用いて、先の図２の例に示すフレーム１４と、フレーム１４より前に撮像されたフレームから得られた背景情報とを比較し、図４の例に示すような２値化された画像を生成する。そして、取得部１３ａは、生成した２値化された画像に含まれる白い画素の総数（背景差分量）を、人物の動作量として算出する。このように、本実施例では、背景差分量が、人物が移動した量を示す指標として用いられる。例えば、取得部１３ａは、図４の例に示す２値化された画像に含まれる白い画素の総数を、人物９１の動作量として算出する。このようにして、取得部１３ａは、フレームそれぞれについて、背景差分量を人物の動作量として取得する。そして、取得部１３ａは、フレームそれぞれについて、背景差分量とフレーム番号とを対応付ける。図５は、背景差分量とフレーム番号との対応付けの一例を示す図である。図５の例は、取得部１３ａが、フレーム番号「２」と、背景差分量「２６７０００」とを対応付けた場合を示す。また、図５の例は、取得部１３ａが、フレーム番号「３」と、背景差分量「２６６０００」とを対応付けた場合を示す。このようにして、取得部１３ａは、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得する。

なお、取得部１３ａは、コードブック法を用いて、フレームと、当該フレームより前に撮像したフレームとの差分を取得するとともに、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの差分を取得することもできる。

検出部１３ｂは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する。検出部１３ｂの一態様について説明する。例えば、検出部１３ｂは、取得部１３ａによりフレーム番号と背景差分量とが対応付けられた情報を用いて、１つ前のフレームの背景差分量よりも背景差分量が小さく、かつ、１つ後のフレームの背景差分量よりも背景差分量が小さいフレームを検出する。図６は、実施例に係る検出装置が実行する処理の一例を説明するための図である。図６の例は、横軸をフレーム番号とし、縦軸を背景差分量とする、取得部１３ａにより対応付けられたフレーム番号と背景差分量との関係を表すグラフを示す。図６の例に示すグラフは、フレーム番号が１から５０までのフレームの背景差分量を示す。図６の例のグラフに示されるように、取得部１３ａによりフレーム番号と背景差分量とが対応付けられた場合には、検出部１３ｂは、次の処理を行う。すなわち、検出部１３ｂは、フレーム番号「３」のフレームの背景差分量よりも背景差分量が小さく、かつ、フレーム番号「５」のフレームの背景差分量よりも背景差分量が小さいフレーム番号「４」のフレームを検出する。同様に、検出部１３ｂは、フレーム番号「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームを検出する。

そして、検出部１３ｂは、検出したフレームが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。例えば、検出部１３ｂは、フレーム番号「４」、「６」、「１０」、「１８」、「２０」、「２５」、「３３」、「３８」、「４０」、「４７」のフレームのそれぞれが撮像された時間を、複数のフレームの時間的な変化量が一時的に低下するタイミングとして検出する。

抽出部１３ｃは、検出部１３ｂにより検出されたタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する。

抽出部１３ｃの一態様について説明する。例えば、抽出部１３ｃは、検出部１３ｂにより検出されたタイミングの中から、次のようなタイミングを抽出する。すなわち、抽出部１３ｃは、検出部１３ｂにより検出されたタイミングで撮像されたフレームの中から、所定の条件を満たすフレームを抽出し、抽出したフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。

ここで、抽出部１３ｃが、所定の条件を満たすフレームを抽出する方法の一例について説明する。例えば、抽出部１３ｃは、検出部１３ｂにより検出されたタイミングに対応するフレーム（検出されたタイミングで撮像されたフレーム）を抽出候補のフレームとして１つずつ選択する。そして、抽出部１３ｃは、抽出候補のフレームを１つ選択するたびに、次の処理を行う。すなわち、抽出部１３ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加しているか否かを判定する。抽出部１３ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合には、次の処理を行う。すなわち、抽出部１３ｃは、抽出候補のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。換言すると、抽出部１３ｃは、複数のフレームそれぞれが示す人物の動作の中から、抽出候補のフレームに含まれる人物が拍をとる動作を抽出する。そして、抽出部１３ｃは、上述した処理を、検出部１３ｂにより検出されたタイミングに対応する全てのフレームに対して行う。

例えば、所定数が「４」であり、図６の例のグラフが示すように取得部１３ａによりフレーム番号と背景差分量とが対応付けられた場合について説明する。この場合、抽出部１３ｃは、フレーム番号「２１」のフレームからフレーム番号「２５」のフレームまでの背景差分量が減少し、フレーム番号「２５」のフレームからフレーム番号「２９」のフレームまでの背景差分量が増加しているので、次の処理を行う。すなわち、抽出部１３ｃは、フレーム番号「２５」のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。また、抽出部１３ｃは、複数のフレームそれぞれが示す人物の動作の中から、フレーム番号「２５」のフレームに含まれる人物が拍をとる動作を抽出する。なお、上述した所定数は、抽出候補のフレームより前のフレームに対する所定数と、抽出候補のフレームより後のフレームに対する所定数とで、異なる値が設定されることとしても良い。例えば、抽出候補のフレームより前のフレームに対する所定数を「５」とし、抽出候補のフレームより後のフレームに対する所定数を「１」とする態様などが考えられる。

そして、抽出部１３ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１２ｂに登録する。また、抽出部１３ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１２ｂに登録する。このようにして、各種の情報が登録されたタイミングデータ１２ｂは、例えば、人物が拍をとるタイミングが示す人物のリズムを評価する際に用いられる。

図７は、タイミングデータが示す人物が拍をとるタイミングをプロットしたグラフの一例を示す図である。なお、図７の横軸は時間（秒）を示し、縦軸は拍をとるかとらないかを示す。図７の例では、０．３秒間隔で、人物が拍をとるタイミングであるか否かがプロットされる。例えば、図７の例では、連続する９つのフレームごとに、９つのフレームが撮像されたタイミングの中に、人物が拍をとるタイミングがある場合には、「とる」の位置に丸印がプロットされ、人物が拍をとるタイミングがない場合には、丸印がプロットされない。図７の例では、例えば、時間「４．３秒」に対応して「とる」の位置に丸印がプロットされている。これは、時間が４．０秒から４．３秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、人物が拍をとるタイミングがあることを示す。また、図７の例では、例えば、時間「４．６秒」に対応して丸印がプロットされていない。これは、時間が４．３秒から４．６秒までの１／３０秒ごとの時間に対応する９つのフレームの中に、人物が拍をとるタイミングがないことを示す。他の時間についても同様である。なお、図７はタイミングデータを概念的に示した一例であり、適宜、図７以外の態様をとることが可能である。

制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などの回路により実現されるようにしてもよい。

［処理の流れ］
次に、実施例に係る検出装置１０が実行する処理の流れについて説明する。図８は、実施例に係る検出処理の手順を示すフローチャートである。実施例に係る検出処理は、例えば、入力部１１から、検出処理を実行するための指示が制御部１３に入力された場合に、制御部１３により実行される。

図８に示すように、取得部１３ａは、記憶部１２に記憶された動画像データ１２ａを取得する（Ｓ１）。そして、取得部１３ａは、複数のフレームそれぞれについて、背景差分量を人物の動作量として取得し、背景差分量とフレーム番号とを対応付ける（Ｓ２）。

そして、検出部１３ｂは、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する（Ｓ３）。そして、抽出部１３ｃは、検出部１３ｂにより検出されたタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する（Ｓ４）。

そして、抽出部１３ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングである時間と、「とる」とを対応付けて、図３に示すようなタイミングデータ１２ｂに登録する。また、抽出部１３ｃは、複数のフレームそれぞれが撮像された時間のうち、人物が拍をとるタイミングでない時間と、「とらない」とを対応付けて、図３に示すようなタイミングデータ１２ｂに登録する（Ｓ５）。そして、抽出部１３ｃは、検出処理を終了する。

上述してきたように、検出装置１０は、連続的に撮像した複数のフレームの時間的な変化量が一時的に低下するタイミングを検出する。そして、検出装置１０は、検出したタイミングに基づいて、フレームに含まれる人物が拍をとる動作または拍をとるタイミングを抽出する。よって、検出装置１０は、人物の顔や身体の一部や道具を認識するための認識処理、すなわち、処理量が多い認識処理などを行うことなく、人物が拍をとるタイミングを抽出することができる。したがって、検出装置１０によれば、簡易に人物が拍をとるタイミングを抽出することができる。また、上述した実施例の手法によれば、例えば、人物の動作と基準の動作の比較による検出態様においては、基準の動作と一致しないために、タイミングが抽出されないような動作でも、人物が拍をとる動作または拍をとるタイミングを抽出することができる。そのため、人物が基準となる動作を意識せずに動作する状況においても、人物が拍をとる動作または拍をとるタイミングが抽出できる。

また、検出装置１０は、背景統計量の累積に関する関数を用いて、複数のフレームそれぞれについて、フレームと、当該フレームより前に撮像したフレームを累積したフレームとの背景差分量を取得する。このように、検出装置１０は、背景統計量の累積に関する関数を用いることにより、室内のライトの光やカラオケ装置に接続されたモニタの画面などからの反射光によるノイズが抑制された背景差分量を取得することができる。したがって、検出装置１０は、ライトやモニタの画面などが備えられたカラオケボックスなどにおいて撮像された動画像データに対して処理を行う場合であっても、精度良く人物が拍をとるタイミングを抽出することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

抽出部１３ｃは、抽出候補のフレームの所定数前のフレームから抽出候補のフレームまで背景差分量が減少し、かつ、抽出候補のフレームから抽出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合、以下の処理を行うことができる。すなわち、抽出部１３ｃは、抽出候補のフレームの所定数前のフレームの背景差分量と抽出候補のフレームの背景差分量との差αが第１の閾値以上であるか否かを判定する。そして、抽出部１３ｃは、差αが第１の閾値以上であると判定した場合に、抽出候補のフレームの所定数後のフレームの背景差分量と抽出候補のフレームの背景差分量との差βが第２の閾値以上であるか否かを判定する。抽出部１３ｃは、差βが第２の閾値以上であると判定した場合に、抽出候補のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。換言すると、抽出部１３ｃは、複数のフレームそれぞれが示す人物の動作の中から、抽出候補のフレームに含まれる人物が拍をとる動作を抽出する。そして、抽出部１３ｃは、上述した処理を、検出部１３ｂにより検出されたタイミングに対応する全てのフレームに対して行う。なお、第１の閾値、および第２の閾値は、両者が同一の値であっても、異なる値であっても良い。また、第１の閾値、および第２の閾値のいずれか一方が設定される態様としても良い。

図９は、人物が拍をとるタイミングを抽出する他の例について説明するための図である。図９において、所定数が「４」であり、フレーム番号「２１」のフレームから抽出候補のフレームまで背景差分量が減少し、抽出候補のフレームからフレーム番号「２９」のフレームまで背景差分量が増加していると抽出部１３ｃが判定した場合について説明する。なお、この場合における抽出候補のフレームは、フレーム番号「２５」のフレームである。かかる場合、抽出部１３ｃは、フレーム番号「２１」のフレームの背景差分量と抽出候補のフレームの背景差分量との差αが第１の閾値以上であるか否かを判定する。そして、抽出部１３ｃは、差αが第１の閾値以上であると判定した場合に、フレーム番号「２９」のフレームの背景差分量と抽出候補のフレームの背景差分量との差βが第２の閾値以上であるか否かを判定する。抽出部１３ｃは、差βが第２の閾値以上であると判定した場合に、抽出候補のフレームが撮像された時間を、フレームに含まれる人物が拍をとるタイミングとして抽出する。換言すると、抽出部１３ｃは、複数のフレームそれぞれが示す人物の動作の中から、抽出候補のフレームに含まれる人物が拍をとる動作を抽出したことにもなる。これにより、例えば、たまたま人物が身体の動作を一時的にゆっくりとした場合のような、拍をとる動作でない場合の検出結果が、拍をとるタイミングとして抽出されてしまうことを抑制することができ、精度良く拍をとるタイミングを抽出することができる。

また、検出装置１０は、カラオケボックス内に設けられたカラオケ装置と連動して、リアルタイムで人物のリズムを抽出することもできる。ここでリアルタイムとは、例えば、入力されたフレームに対して逐次処理を行ない、順次処理結果を出力する態様を含む。図１０は、検出装置とカラオケ装置が連動した場合のシステムの一例を示す図である。図１０の例に示すシステム２０は、カラオケ装置２１と、マイク２２と、カメラ２３と、モニタ２４と、評価装置２５とを有する。カラオケ装置２１は、カラオケを行う人物９１に対して、人物９１により指定された曲を再生して図示しないスピーカから出力する。これにより、人物９１は、マイク２２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置２１は、曲の再生を開始するタイミングで、評価装置２５に、曲の再生を開始するタイミングであることを示すメッセージを通知する。また、カラオケ装置２１は、曲の再生を終了するタイミングで、評価装置２５に、曲の再生を終了するタイミングであることを示すメッセージを通知する。

評価装置２５は、検出装置１０を有する。評価装置２５が、曲の再生を開始するタイミングであることを示すメッセージを受信すると、検出装置１０は、カメラ２３に対して、撮像を開始する指示を送信する。カメラ２３は、撮像を開始する指示を受信すると、撮像範囲内に存在する人物９１の撮像を開始し、撮像により得られた動画像データ１２ａのフレームを次々と評価装置２５内の検出装置１０に送信する。

検出装置１０は、カメラ２３から送信されたフレームを受信すると、受信したフレームに対してリアルタイムで上述した各種の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１２ｂに各種の情報を登録する。そして、評価装置２５は、タイミングデータ１２ｂに登録された人物９１が拍をとるタイミングが示すリズムと、再生した曲のリズムとを比較して、人物９１のダンスを評価し、評価結果をカラオケ装置２１に送信する。

カラオケ装置２１は、評価結果を受信すると、受信した評価結果をモニタ２４に表示させる。これにより、人物９１は、リアルタイムで評価結果を把握することができる。

そして、評価装置２５は、カラオケ装置２１から曲の再生を終了するタイミングであることを示すメッセージが通知されると、カメラ２３に対して、撮像を停止する指示を送信する。カメラ２３は、撮像を停止する指示を受信すると、撮像を停止する。

上述したように、システム２０において、検出装置１０は、カラオケボックス内に設けられたカラオケ装置２１と連動して、リアルタイムで人物のリズムを抽出することができる。また、評価装置２５は、リアルタイムで、人物のダンスの評価を行うことができる。

また、カラオケボックス外に設けられたサーバが、検出装置１０が有する各種の機能と同様の機能を備え、このサーバが、リアルタイムで人物のリズムを抽出して人物のダンスを評価することもできる。図１１は、サーバを有するシステムの一例を示す図である。図１１の例に示すシステム３０は、カラオケ装置３１と、マイク３２と、カメラ３３と、サーバ３４と、携帯端末３５とを有する。カラオケ装置３１は、カラオケを行う人物９１に対して、人物９１により指定された曲を再生して図示しないスピーカから出力する。これにより、人物９１は、マイク３２を用いて再生された曲を歌うことができ、曲に合わせてダンスを行うことができる。また、カラオケ装置３１は、曲の再生を開始するタイミングで、カメラ３３に対して、撮像を開始する指示を送信する。また、カラオケ装置３１は、曲の再生を終了するタイミングで、カメラ３３に対して、撮像を停止する指示を送信する。

カメラ３３は、撮像を開始する指示を受信すると、撮像範囲内に存在する人物９１の撮像を開始し、撮像により得られた動画像データ１２ａのフレームを次々とカラオケ装置３１に送信する。カラオケ装置３１は、カメラ３３から送信されたフレームを受信すると、受信したフレームを次々と、ネットワーク８０を介して、サーバ３４に送信するとともに、マイク３２に入力された人物９１の音声のデータを次々と、ネットワーク８０を介して、サーバ３４に送信する。

サーバ３４は、カラオケ装置３１から送信されたフレームに対してリアルタイムで、上述した検出装置１０による各種の処理と同様の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１２ｂに各種の情報を登録する。そして、サーバ３４は、タイミングデータ１２ｂに登録された人物９１が拍をとるタイミングが示すリズムと、カラオケ装置３１から送信された音声のデータに基づいた曲のリズムとを比較して、人物９１のダンスを評価する。そして、サーバ３４は、評価結果を、ネットワーク８０および基地局８１を介して、人物９１が保有する携帯端末３５に送信する。

携帯端末３５は、評価結果を受信すると、受信した評価結果を携帯端末３５のディスプレイに表示させる。これにより、人物９１は、リアルタイムで評価結果を把握することができる。また、人物９１は、人物９１が保有する携帯端末３５から評価結果を把握することができる。

なお、サーバ３４は、リアルタイムではなくカラオケ装置３１から動画像データ１２ａを取得して、検出装置１０による各種の処理と同様の処理を施して、人物９１が拍をとるタイミングを抽出し、タイミングデータ１２ｂに各種の情報を登録することもできる。この場合、サーバ３４は、タイミングデータ１２ｂに登録された人物９１が拍をとるタイミングが示すリズムと、カラオケ装置３１から送信された音声のデータに基づいた曲のリズムとを比較して、人物９１のダンスを評価する。そして、サーバ３４は、評価結果を、ネットワーク８０および基地局８１を介して、人物９１が保有する携帯端末３５に送信する。

また、検出部１３ｂおよび抽出部１３ｃは、以下に説明する各処理を行うこともできる。すなわち、検出部１３ｂは、複数のフレームのそれぞれを１つずつ検出候補のフレームとして選択する。そして、検出部１３ｂは、検出候補のフレームを１つ選択するたびに、次の処理を行う。すなわち、検出部１３ｂは、検出候補のフレームの所定数前のフレームから、検出候補のフレームまで背景差分量が減少し、かつ、検出候補のフレームから、検出候補のフレームの所定数後のフレームまで背景差分量が増加しているか否かを判定する。検出候補のフレームの所定数前のフレームから、検出候補のフレームまで背景差分量が減少し、かつ、検出候補のフレームから、検出候補のフレームの所定数後のフレームまで背景差分量が増加していると判定した場合には、検出部１３ｂは、次の処理を行う。すなわち、検出部１３ｂは、検出候補のフレームが撮像された時間を検出する。そして、検出部１３ｂは、上述した処理を、全てのフレームに対して行う。そして、抽出部１３ｃは、複数のフレームそれぞれが撮像されたタイミングの中から、検出部１３ｂにより検出された時間を、人物が拍をとるタイミングとして抽出する。換言すると、抽出部１３ｃは、複数のフレームそれぞれが示す人物の動作の中から、人物が拍をとる動作を抽出する。

また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理を任意に細かくわけたり、あるいはまとめたりすることができる。また、ステップを省略することもできる。

また、各種の負荷や使用状況などに応じて、実施例において説明した各処理の各ステップでの処理の順番を変更できる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、実施例に記載のカメラ２３をカラオケ装置２１と接続し、カラオケ装置２１を介して評価装置２５と通信可能とすることとしても良い。また例えば、実施例に記載したカラオケ装置２１と評価装置２５の機能が、単一のコンピュータにより実現されることとしても良い。

［検出プログラム］
また、上記の実施例で説明した検出装置１０の各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、図１２を用いて、上記の実施例で説明した検出装置１０と同様の機能を有する検出プログラムを実行するコンピュータの一例を説明する。図１２は、検出プログラムを実行するコンピュータを示す図である。

図１２に示すように、コンピュータ３００は、ＣＰＵ３１０と、ＲＯＭ（Read Only Memory）３２０と、ＨＤＤ（Hard Disk Drive）３３０と、ＲＡＭ（Random Access Memory）３４０と、入力装置３５０とを有する。これら各機器３１０〜３５０は、バス３６０を介して接続されている。

ＲＯＭ３２０には、ＯＳ（Operating System）などの基本プログラムが記憶されている。また、ＨＤＤ３３０には、上記の実施例で示す取得部１３ａ、検出部１３ｂ、抽出部１３ｃと同様の機能を発揮する検出プログラム３３０ａが予め記憶される。また、ＨＤＤ３３０には、動画像データ１２ａとタイミングデータ１２ｂとが予め記憶される。

ＣＰＵ３１０は、検出プログラム３３０ａをＨＤＤ３３０から読み出して実行する。ＣＰＵ３１０は、ＨＤＤ３３０から動画像データ１２ａとタイミングデータ１２ｂとを読み出してＲＡＭ３４０に格納する。さらに、ＣＰＵ３１０は、ＲＡＭ３４０に格納された各種のデータを用いて、検出プログラム３３０ａを実行する。なお、ＲＡＭ３４０に格納されるデータは、常に全てのデータがＲＡＭ３４０に格納されなくともよい。処理に用いられるデータがＲＡＭ３４０に格納されれば良い。

なお、上記した検出プログラム３３０ａについては、必ずしも最初からＨＤＤ３３０に記憶させておく必要はない。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に検出プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから検出プログラム３３０ａを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などに検出プログラム３３０ａを記憶させておく。そして、コンピュータ３００がこれらから検出プログラム３３０ａを読み出して実行するようにしてもよい。

１０ 検出装置
１２ 記憶部
１２ａ 動画像データ
１２ｂ タイミングデータ
１３ 制御部
１３ａ 取得部
１３ｂ 検出部
１３ｃ 抽出部
３００ コンピュータ
３３０ａ 検出プログラム

Claims (6)

1. コンピュータに、
   連続的に撮像した複数の撮像画像の時間的な変化量が一時的に低下するタイミングを検出し、
   検出した該タイミングに基づいて、前記撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングを抽出する、
   ことを実行させることを特徴とする検出プログラム。
2. 前記コンピュータに、
   前記複数の撮像画像それぞれについて、撮像画像と、当該撮像画像より前に撮像した撮像画像との差分を取得し、
   取得した前記複数の撮像画像の前記差分の比較結果から、前記変化量が一時的に低下するタイミングを検出する、
   ことを実行させることを特徴とする請求項１記載の検出プログラム。
3. 前記コンピュータに、
   前記複数の撮像画像それぞれについて、撮像画像と、当該撮像画像より前に撮像した撮像画像を累積した撮像画像との差分を取得する、
   ことを実行させることを特徴とする請求項２記載の検出プログラム。
4. 前記コンピュータに、
   取得した前記複数の撮像画像の前記差分の比較結果から、所定フレーム前後の撮像タイミングで撮像された撮像画像と比較して、前記差分の量が少ない画像が撮像されたタイミングを、前記変化量が一時的に低下するタイミングとして検出する、
   ことを実行させることを特徴とする請求項２または３記載の検出プログラム。
5. コンピュータが、
   連続的に撮像した複数の撮像画像の時間的な変化量が一時的に低下するタイミングを検出し、
   検出した該タイミングに基づいて、前記撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングを抽出する、
   ことを実行することを特徴とする検出方法。
6. 連続的に撮像した複数の撮像画像の時間的な変化量が一時的に低下するタイミングを検出する検出部と、
   前記タイミングに基づいて、前記撮像画像に含まれる人物が拍をとる動作または拍をとるタイミングを抽出する抽出部と、
   を有することを特徴とする検出装置。

Images