CN104759096A - 检测方法和检测设备 - Google Patents

Abstract

本发明提供了一种检测方法和检测设备。计算机通过所述检测方法来执行下述处理：检测程序使计算机执行检测顺序拍摄的多个图像中类时变化量暂时减小的时间的处理。检测程序还使计算机执行以下处理：基于所检测的时间提取包括在拍摄图像中的人的打拍子运动或包括在拍摄图像中的人打拍子的时间。

Description

检测方法和检测设备

技术领域

本文中所讨论的实施方式涉及检测程序、检测方法以及检测设备。

背景技术

已知用于对人的舞蹈进行评分并且通知人评分结果的技术。

在与对人的舞蹈进行评分或评估有关的技术当中，已知以下技术：通过该技术例如计算所检测的玩家的姿势与样本姿势之间的相似度等级，并且如果相似度等级高于预定值，则生成辅助图像来促使玩家关注不相似的样本姿势的细节。

专利文献1：日本特许公开公报No.2013-116311

为了对人的舞蹈进行评分或评估，可能期望提取人打节拍的时间，即，人的打拍子运动或打拍子的时间。然而，根据上述技术，由于该分析涉及大量处理，所以在一些情形下仍然存在以下问题：不能容易地提取人的打拍子运动或人打拍子的时间。

例如，为了对人的舞蹈进行评分，在一种可能的模式下，可以通过使用摄像头拍摄人的运动的图像并且通过使用计算机对所拍摄的运动图像进行分析来提取人的节拍。至于具体的方法，例如，通过使用预定的识别技术(如模板匹配)从运动图像中识别脸或身体的一部分或者人所使用的工具(例如，沙槌)，以便生成被识别的脸、身体的一部分或工具的运动量的时间序列数据。之后，对时间序列数据进行傅里叶分析等，以便从具体频带中的分量提取人的节拍。随后，在一个可能的示例中，将所提取的人的节拍与参考节拍进行比较，以便根据比较结果对人的舞蹈进行评分。然而，根据上述模式，例如，当进行模板匹配处理来从运动图像中识别人的脸或身体的一部分或人所使用的工具(如沙槌)时，重复进行将模板与运动图像的一部分进行比较的处理。由于这个原因，分析涉及大量处理，并且给计算机施加了大的处理负荷。

因此，本发明的实施方式的一个方面的目的是提供基于所拍摄的图像来提取人的打拍子运动或打拍子的时间的检测程序、检测方法和检测设备。

发明内容

根据实施方式的一个方面，检测方法包括：检测顺序拍摄的多个图像中类时变化量暂时减小的时间，以及基于所检测到的时间提取包括在拍摄图像中的人的打拍子运动或包括在拍摄图像中的人打拍子的时间。

附图说明

图1是根据实施方式的检测设备的功能配置的示例性图；

图2是帧的示例的图；

图3是定时数据的示例的表格；

图4是二值化图像的示例的图；

图5是背景差分量与帧编号之间的对应关系的示例的表格；

图6是用于说明由根据本实施方式的检测设备执行的示例性处理的图；

图7是通过绘制人打拍子的时间且由定时数据表示所获得的图的示例的图；

图8是根据本实施方式的检测处理的过程的流程图；

图9是用于说明提取人打拍子的时间的示例的图；

图10是检测设备与卡拉OK设备相互协作的示例性系统的图；

图11是包括服务器的系统的示例的图；以及

图12是执行检测程序的计算机的图。

具体实施方式

将参照附图说明本发明的优选实施方式。本公开内容不限于示例性实施方式。

[根据实施方式的检测设备的示例性功能配置]

图1中示出的检测设备10被配置成：从作为通过使用摄像头拍摄正在跳舞的人的图像的结果所获得的运动图像的帧提取人的运动量暂时减小的时间，作为人打节拍的时间，即，作为人打拍子的时间。提取人的运动量暂时减小的时间作为人打拍子的时间原因在于：当人打拍子时，由于人暂时停止他的/她的运动，所以运动量暂时减小。因此，检测设备10能够提取人打拍子的时间而不执行用于识别人的脸或身体的一部分或工具的任何识别处理，即，不执行涉及大量处理(具有大的处理负荷)的任何识别处理。因此，通过使用检测设备10，能够容易地提取人打拍子的时间。在这种情形下，“节拍”表示例如节奏的时间间隔的规律性。“节奏”例如表示时间间隔的长度，诸如打的拍子或拍子。

图1是根据实施方式的检测设备的功能配置的示例性图。如图1中的示例所示，检测设备10包括输入单元11、存储单元12和控制单元13。

输入单元11向控制单元13输入各种类型的信息。例如，当使用检测设备10从用户接收到表示执行下面将描述的提取处理的指令时，输入单元11将所接收的指令输入至控制单元13。可以用于配置输入单元11的装置的示例包括：鼠标、键盘以及被配置成接收从另外的设备(未示出)发送的各种类型的信息并且将所接收的信息输入至控制单元13的网卡。

在存储单元12中存储有各种类型的信息。例如，在存储单元12中存储有运动图像数据12a和定时数据12b。

运动图像数据12a是包括作为通过使用摄像头拍摄正在跳舞的人的图像的结果所获得的多个帧的运动图像的数据。人可以是例如各个卡拉OK房间中伴随卡拉OK设备回放的音乐唱歌并且伴随回放的音乐跳舞的人。运动图像数据12a中包括的多个帧是由摄像头顺序拍摄的，并且用作拍摄图像的示例。图2是帧的示例的图。图2中的示例示出了帧14包括各个的卡拉OK房间90中正在伴随音乐唱歌和跳舞的人的情形。运动图像数据12a的帧速率可以是任何任意值。在下面的章节中，将对帧速率为每秒30帧(fps)的示例进行描述。

定时数据12b是表示在跳舞的人打拍子的时间(定时)的数据。当运动图像数据12a中包括的人是例如各个的卡拉OK房间中正在伴随回放的音乐唱歌和跳舞的人时，每个时间可以被表达为例如自音乐和舞蹈的开始的时间段，因为舞蹈与音乐一起开始。图3是定时数据的示例的表格。图3的示例中示出的定时数据12b包括诸如“时间”和“是否打拍子”项。在“时间”项下，通过提取单元13c(下文将说明)登记自音乐和舞蹈的开始起的时间段。在“是否打拍子”项下，如果“时间”项下登记的时间对应于人打拍子的时间，则提取单元13c(下文将说明)登记“是”。相反，如果该时间不是人打拍子的时间，则提取单元13c登记“否”。例如，在图3的示例中示出的定时数据12b中的第一记录中，由于在“是否打拍子”项下登记了“是”，音乐和舞蹈开始之后“0.033”秒的时间被表示为人打拍子的时间。相反，在图3的示例中示出的定时数据12b中的第二记录中，由于在“是否打拍子”项下登记了“否”，音乐和舞蹈开始之后“0.066”秒的时间被表示为人不打拍子的时间。

存储单元12是配置有例如半导体存储器元件(如闪速存储器)或硬盘、光盘等的存储装置。

控制单元13具有用于在其中存储控制数据和用于限定各种类型的处理过程的计算机程序的内部存储器，并且被配置成由此执行各种类型的处理。如图1中所示，控制单元13包括获取单元13a、检测单元13b和提取单元13c。

获取单元13a被配置成针对由运动图像数据12a表示的运动图像中所包括的多个帧中的每个帧，获取该帧与在该帧之前所拍摄的至少一个帧之间的差分。此外，获取单元13a被配置成针对由运动图像数据12a表示的运动图像中所包括的多个帧中的每个帧，获取该帧与通过累积在该帧之前所拍摄的帧所获取的帧之间的差分。

将说明获取单元13a的模式。例如，当输入单元11输入了表示执行提取处理(下文将说明)的指令时，获取单元13a获取存储在存储单元12中的运动图像数据12a。

之后，通过实施背景差分法，获取单元13a针对由运动图像数据12a表示的运动图像中所包括的多个帧中的每个帧，获取该帧与在该帧之前所拍摄的至少一个帧之间的差分。例如，通过使用与背景统计量的累积有关的公众已知的函数，获取单元13a针对多个帧中的每个帧获取该帧与通过累积在该帧之前所拍摄的帧所获取的帧之间的差分。

将描述在获取单元13a使用与背景统计量的累积有关的函数时所执行的处理。获取单元13a将该帧与从在该帧之前所拍摄的帧获取的背景信息进行比较并且生成二值化图像，在该二值化图像中，将亮度水平的变化等于或小于阈值的像素表示为黑色像素，而将亮度水平的变化大于阈值的的像素表示为白色像素。在这种情形下，所生成的信息不一定必须是使用黑色像素和白色像素的二值化图像，只要能够从该信息中识别亮度水平的变化是等于或小于阈值还是大于阈值即可。图4是二值化图像的示例的图。例如，通过使用与背景统计量的累积有关的函数，获取单元13a将图2中的上述示例中的帧14与从在帧14之前所拍摄的帧获取的背景信息进行比较，并且生成图4中示出的二值化图像。之后，获取单元13a计算所生成的二值化图像中所包括的白色像素的总量(背景差分量)作为人的运动量。如在此所说明的，根据本实施方式，背景差分量用作表示人的运动的量的指标。例如，获取单元13a计算图4中示出的二值化图像中所包括的白色像素的总量作为人91的运动量。以这种方式，获取单元13a针对每个帧获取背景差分量作为人的运动量。此后，针对每个帧，获取单元13a使背景差分量对应于帧编号。图5是背景差分量与帧编号之间的对应关系的示例的表格。图5中的示例示出了获取单元13a使帧编号“2”与背景差分量“267000”对应的情形。另外，图5中的示例还示出了获取单元13a将帧编号“3”与背景差分量“266000”对应的情形。以这种方式，获取单元13a针对多个帧中的每个帧获取该帧与通过累积在该帧之前所拍摄的帧所获取的帧之间的差分。

可替代地，获取单元13a还可以实施码本方法来获取每个帧与在该帧之前所拍摄的至少一个帧之间的差分，以及获取每个帧与通过累积在该帧之前所拍摄的帧所获取的帧之间的差分。

检测单元13b检测在连续拍摄的多个帧中类时变化量暂时减小的时间。接下来，将说明检测单元13b的模式。例如，通过使用在其中帧编号与背景差分量被获取单元13a保持相互对应的信息，检测单元13b检测如下帧：该帧的背景差分量小于紧前帧的背景差分量并且其背景差分量还小于紧后帧的背景差分量。图6是用于说明由根据本实施方式的检测设备执行的示例性处理的图。图6中的示例示出了如下图，在该图中，水平轴表示帧编号而垂直轴表示背景差分量，并且表示通过获取单元13a使帧编号与背景差分量相互对应的关系。图6中的图表示使用帧编号1至50标识的帧的背景差分量。如图6的图中所示的，当获取单元13a使帧编号与背景差分量相互对应时，检测单元13b执行下面的处理：检测单元13b检测使用帧编号“4”标识的帧，该帧的背景差分量小于使用帧编号“3”标识的帧的背景差分量，并且该帧的背景差分量还小于使用帧编号“5”标识的帧的背景差分量。类似地，检测单元13b检测使用帧编号“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”和“47”标识的帧。

此后，检测单元13b检测所检测到的帧被拍摄的时间作为多个帧中类时变化量暂时减小的时间。例如，检测单元13b检测拍摄以帧编号“4”、“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”和“47”标识的帧的时间，作为多个帧中类时变化量暂时减小的时间。

基于由检测单元13b检测到的时间，提取单元13c提取帧中包括的人的打拍子运动或帧中的人打拍子的时间。

接下来，将说明提取单元13c的模式。例如，提取单元13c以下面的方式从由检测单元13b检测到的时间中提取某些时间：提取单元13c从在由检测单元13b检测到的时间处所拍摄的帧中提取满足预定条件的帧，并且还提取拍摄所提取的帧的时间作为帧中包括的人打拍子的时间。

接下来，将说明提取单元13c用以提取满足预定条件的帧的方法的示例。例如，提取单元13c逐个选择与由检测单元13b检测到的时间对应的帧(即，在所检测到的时间处所拍摄的帧之一)作为提取候选帧。此后，每次提取了一个提取候选帧时，提取单元13c执行下面的处理：提取单元13c判定背景差分量是否从比提取候选帧早预定数量的帧的帧到提取候选帧保持减小并且还从提取候选帧到比提取候选帧晚预定数量的帧的帧保持增加。如果提取单元13c已经确定背景差分量从比提取候选帧早预定数量的帧的帧到提取候选帧保持减小并且还从提取候选帧到比提取候选帧晚预定数量的帧的帧保持增加，则提取单元13c执行下面的处理：提取单元13c提取拍摄提取候选帧的时间作为帧中所包括的人打拍子的时间。换言之，提取单元13c从多个帧中所表示的人的运动中提取提取候选帧中所包括的人的打拍子运动。此后，提取单元13c对与由检测单元13b所检测到的时间对应的所有帧中的每个帧执行上述处理。

例如，将说明预定数量的帧为“4”并且如图6中的图所示获取单元13a使帧编号与背景差分量相互对应的情形。在该情形下，由于背景差分量从使用帧编号“21”标识的帧到使用帧编号“25”标识的帧保持减小，并且还从使用帧编号“25”标识的帧到使用帧编号“29”标识的帧保持增加，因此提取单元13c执行下面的处理：提取单元13c提取拍摄利用帧编号“25”标识的帧的时间，作为帧中所包括的人打拍子的时间。此外，提取单元13c从由多个帧表示的人的运动当中提取利用帧编号“25”标识的帧中所包括的人的打拍子运动。针对比提取候选帧早的帧以及比提取候选帧晚的帧，上述预定数量的帧可以被设置成相互不同的值。例如，可以使用如下模式，在该模式中，帧比提取候选帧早的预定数量的帧是“5”，而帧比提取候选帧晚的预定数量的帧是“1”。

此后，在多个帧被拍摄的时间中，提取单元13c在图3中示出的定时数据12b中登记人打拍子的时间和“是”，使其保持相互对应。此外，在多个帧被拍摄的时间中，提取单元13c在图3中示出的定时数据12b中登记人不打拍子的时间和“否”，使其保持相互对应。例如，将使用以这种方式登记了各种类型的信息的定时数据12b，来评估由人打拍子的时间表示的人的节奏。

图7是通过绘制由定时数据表示的、人打拍子的时间所获得的图的示例的图。在图7中，水平轴表示时间(秒)，而垂直轴表示人是否打拍子。在图7中的示例中，绘制在该时间处人是否打拍子，同时使用0.3秒的时间间隔。例如，在图7的示例中，对于由9个连续帧组成的每个组，如果九个帧被拍摄的时间包括人打拍子的时间，则在表示“是”的位置中绘制点。相反，如果九个帧被拍摄的时间不包括人打拍子的时间，则不绘制点。在图7的示例中，例如，在与时间“4.3秒”对应的表示“是”的位置中绘制点。这表示与从4.0秒到4.3秒的1/30秒的时间间隔处的时间对应的九个帧包括人打拍子的时间。此外，在图7的示例中，例如，与时间“4.6秒”对应地不绘制点。这表示与从4.3秒到4.6秒的1/30秒的时间间隔处的时间对应的九个帧不包括人打拍子的时间。这同样适用于其它时间。图7仅示出了定时数据的概念性示例，并且可以使用除了图7中示出的模式之外的任何其它模式。

例如，控制单元13可以使用诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微处理单元(MPU)的电路来实现。

处理中的流程

接下来，将说明由根据本实施方式的检测设备10执行的处理的流程。图8是根据本实施方式的检测处理的过程的流程图。当例如输入单元11向控制单元13输入了表示要执行检测处理的指令时，控制单元13执行根据本实施方式的检测处理。

如图8所示，获取单元13a获取存储在存储单元12中的运动图像数据12a(步骤S1)。此后，针对多个帧中的每个帧，获取单元13a获取背景差分量作为人的运动量并且使背景差分量与帧编号对应(步骤S2)。

接下来，检测单元13b检测顺序拍摄的多个帧中类时变化量暂时减小的时间(步骤S3)。此后，基于检测单元13b所检测的时间，提取单元13c提取帧中包括的人的打拍子运动或者帧中包括的人打拍子的时间(步骤S4)。

此后，在多个帧被拍摄的时间中，提取单元13c在图3中示出的定时数据12b中登记人打拍子的时间和“是”，使其保持相互对应。此外，在多个帧被拍摄的时间中，提取单元13c在图3中示出的定时数据12b中登记人不打拍子的时间和“否”，使其保持相互对应(步骤S5)。接下来，提取单元13c结束检测处理。

如上所述，检测设备10检测顺序拍摄的多个帧中类时变化量暂时减小的时间。此后，基于所检测到的时间，检测设备10提取帧中包括的人的打拍子运动或帧中包括的人打拍子的时间。因此，检测设备10能够提取人打拍子的时间，而不执行用于识别人的脸或身体的一部分或工具的任何识别处理，即，不执行涉及大量处理的任何识别处理。因此，通过使用检测设备10，能够容易地提取人打拍子的时间。此外，当使用根据上述本实施方式的方法时，例如，在通过将人的运动与参考运动进行比较来执行检测处理的模式下，即使运动是由于该运动与参考运动不匹配而不能提取其时间的这样类型，仍能够提取人的打拍子运动或人打拍子的时间。因此，即使在人做出运动而未记住参考运动的情形下，仍能够提取人的打拍子运动或人打拍子的时间。

此外，通过使用与背景统计量的累积有关的函数，检测设备10针对多个帧中的每个帧获取该帧与通过累积该帧之前所拍摄的帧所获取的帧之间的背景差分量。通过以这种方式使用与背景统计量的累积有关的函数，检测设备10能够获取噪声被抑制的背景差分量，噪声由来自房间中的照明的光或连接至卡拉OK设备的监视屏上的反射光产生。因此，即使在对在具有有照明和设置有监视屏的各个卡拉OK房间中所拍摄的运动图像数据执行处理时，检测设备10也能够高精确度地提取人打拍子的时间。

从而，已经说明了所公开的设备的示例性实施方式。然而，可以在除上述示例性实施方式以外的其它各种模式下执行本公开内容。

当确定背景差分量从比提取候选帧早预定数量的帧的帧到提取候选帧保持减小，并且还从提取候选帧到比提取候选帧晚预定数量的帧的帧保持增加时，提取单元13c可以执行下面的处理：提取单元13c判断比提取候选帧早预定数量的帧的帧的背景差分量与提取候选帧的背景差分量之间的差α是否等于或大于第一阈值。如果确定差α等于或大于第一阈值，则提取单元13c还判断比提取候选帧晚预定数量的帧的帧的背景差分量与提取候选帧的背景差分量之间的差β是否等于或大于第二阈值。如果确定差β等于或大于第二阈值，则提取单元13c提取拍摄提取候选帧的时间，作为帧中包括的人打拍子的时间。换言之，提取单元13c从由多个帧表示的人的运动中提取提取候选帧中包括的人的打拍子运动。此后，提取单元13c对与由检测单元13b检测到的时间对应的所有帧中的每个帧执行上述处理。在这种情形下，第一阈值和第二阈值可以彼此相同或可以互不相同。此外，仅设置第一阈值和第二阈值中的一个的另外的模式也是可以的。

图9是用于说明关于提取人打拍子的时间的其它示例的图。图9示出了如下示例：其中，预定数量的帧为“4”，并且提取单元13c确定背景差分量从使用帧编号“21”标识的帧到提取候选帧保持减小并且还从提取候选帧到使用帧编号“29”标识的帧保持增大。在本示例中，提取候选帧是使用帧编号“25”标识的帧。在这种情形下，提取单元13c判断使用帧编号“21”标识的帧的背景差分量与提取候选帧的背景差分量之间的差α是否等于或大于第一阈值。如果确定差α等于或大于第一阈值，则提取单元13c还判断使用帧编号“29”标识的帧的背景差分量与提取候选帧的背景差分量之间的差β是否等于或大于第二阈值。如果确定差β等于或大于第二阈值，则提取单元13c提取拍摄提取候选帧的时间，作为帧中包括的人打拍子的时间。换言之，还意味着提取单元13c从由多个帧表示的人的运动中提取提取候选帧中包括的人的打拍子运动。因此，例如，当人暂时缓慢移动身体时(这实际上不是打拍子运动)，能够通过避免检测结果被错误地提取为人打拍子的时间的情形，来高精确度地提取人打拍子的时间。

此外，检测设备10还能够与设置在各个卡拉OK房间中的卡拉OK设备协作、以实时方式提取人的节拍。在这种情形下，“实时方式”包括例如对输入帧顺序执行处理以便顺序输出处理结果的模式。图10是检测设备与卡拉OK设备相互协作地操作的示例性系统的图。图10中示出的系统20包括卡拉OK设备21、麦克风22、摄像头23、监视器24和评估设备25。卡拉OK设备21回放由人91指定的歌曲，并且从扬声器(未示出)为进行卡拉OK音乐的人91输出音乐。因此，人91能够在使用麦克风22时伴随回放的音乐唱歌并且伴随音乐跳舞。此外，卡拉OK设备21在开始回放音乐时向评估设备25发送表示音乐回放的起始时间的消息。此外，卡拉OK设备21还在结束音乐回放时向评估设备25发送表示音乐回放的结束时间的消息。

评估设备25包括检测设备10。当评估设备25接收到表示要开始音乐回放的时间的消息时，检测设备10向摄像头23发送表示开始图像拍摄处理的指令。当接收到开始图像拍摄处理的指令时，摄像头23开始拍摄位于图像拍摄区域中的人91的图像，并且将从图像拍摄处理获取的运动图像数据12a的帧顺序发送至包括在评估设备25中的检测设备10。

当接收到从摄像头23发送的帧时，检测设备10以实时方式对所接收的帧应用上述各种处理过程，提取人91打拍子的时间，并且将各种类型的信息登记在定时数据12b中。此后，评估设备25通过将由人91打拍子的时间表示且被登记在定时数据12b中的节拍与回放的音乐的节拍进行比较来对人91的舞蹈进行评估，并且将评估结果发送至卡拉OK设备21。

当接收到评估结果时，卡拉OK设备21使监视器24显示所接收的评估结果。因此，人91能够以实时方式了解评估结果。

此后，当从卡拉OK设备21接收到表示到达结束音乐回放的时间的消息时，评估设备25向摄像头23发送表示停止图像拍摄处理的指令。当接收到表示停止图像处理的指令时，摄像头23停止图像拍摄处理。

如上所述，在系统20中，检测设备10能够与设置在各个卡拉OK房间中的卡拉OK设备21协作、以实时方式提取人的节拍。此外，评估设备25能够以实时方式提取人的舞蹈。

此外，还能够对设置在各个卡拉OK房间外部的服务器进行配置以具有与检测设备10的各种类型的功能相同的功能，使得服务器能够提取人的节拍并且以实时方式对人的舞蹈进行评估。图11是包括服务器的系统的示例的图。图11的示例中示出的系统30包括卡拉OK设备31、麦克风32、摄像头33、服务器34和便携式终端35。卡拉OK设备31回放由人91指定的歌曲，并且从扬声器输出(未示出)为进行卡拉OK音乐的人91输出音乐。因此，人91能够在使用麦克风时伴随回放的音乐唱歌并且伴随音乐跳舞。此外，卡拉OK设备31在开始音乐回放的时间向摄像头33发送表示开始图像拍摄处理的指令。此外，卡拉OK设备31在结束音乐回放的时间向摄像头33发送表示停止图像拍摄处理的指令。

当接收到开始图像拍摄处理的指令时，摄像头33开始拍摄存在于图像拍摄区域中的人91的图像，并且将从图像拍摄处理获取的运动图像数据的帧顺序发送至卡拉OK设备31。当接收到从摄像头33发送的帧时，卡拉OK设备31将所接收的帧经由网络80顺序地发送至服务器34，并且将输入至麦克风32的人91的音频数据经由网络80顺序地发送至服务器34。

服务器34以实时方式对从卡拉OK设备31发送的帧应用与由上述检测设备10执行的各种类型的处理过程相同的处理，提取人91打拍子的时间并且将各种类型的信息登记到定时数据12b中。此后，服务器34通过将由人91打拍子并且被登记到定时数据12b中的时间表示的节拍与基于从卡拉OK设备31发送的音频数据的音乐的节拍进行比较来对人91的舞蹈进行评估。此后，服务器34将评估结果经由网络80和基站81发送至人91持有的便携式终端35。

当接收到评估结果时，便携式终端35使便携式终端35的显示屏显示所接收的评估结果。因此，人91能够以实时方式了解评估结果。此外，人91能够了解来自人91持有的便携式终端35的评估结果。

在另外的示例中，服务器34可以以非实时方式从卡拉OK设备31获取运动图像数据12a，对运动图像数据12a应用与由检测设备10执行的各种类型的处理过程相同的处理，提取人91打拍子的时间，并且将各种类型的信息登记到定时数据12b中。在这种情形下，服务器34通过将由人91打拍子并且被登记到定时数据12b中的时间表示的节拍与基于从卡拉OK设备31发送的音频数据的音乐的节拍进行比较来对人91的舞蹈进行评估。此后，服务器34经由网络80和基站81将评估结果发送到人91持有的便携式终端35。

此外，检测单元13b和提取单元13c可以执行下述处理。检测单元13b从多个帧中逐个选择一个帧作为检测候选帧。此后，每当选择一个检测候选帧时，检测单元13b执行下面的处理：检测单元13b判断背景差分量是否从比检测候选帧早预定数量的帧的帧到检测候选帧保持减小并且还从检测候选帧到比检测候选帧晚预定数量的帧的帧保持增大。如果检测单元13b确定背景差分量从比检测候选帧早预定数量的帧的帧到检测候选帧保持减小并且还从检测候选帧到比检测候选帧晚预定数量的帧的帧保持增大，则检测单元13b执行下述处理：检测单元13b检测拍摄检测候选帧的时间。此后，检测单元13b对所有帧中的每个帧执行上述处理。随后，提取单元13c从拍摄多个帧的时间中提取检测单元13b检测到的时间作为人打拍子的时间。换言之，提取单元13c从由多个帧表示的人的运动中提取人的打拍子运动。

在示例性实施方式中所说明的处理的步骤处的过程可以根据各种类型的负荷或使用状态任意地被划分成部分或可以任意地被组合在一起。此外，可以省略步骤中的一个或更多个步骤。

此外，可以根据各种类型的负荷或使用状态来改变执行示例性实施方式中所说明的处理中的步骤处的过程的顺序。

图中示出的设备的组成元件基于功能概念。从而，不一定如图中所表示的物理地配置组成元件。换言之，设备的分布和集成的具体模式不限于图中示出的模式。根据各种负荷和使用状态功能上或物理上将设备的全部或一部分分布或集成在任何任意单元中是可接受的。例如，示例性实施方式中所描述的摄像头23可以连接至卡拉OK设备21，以便能够经由卡拉OK设备21与评估设备25进行通信。作为另外的示例，示例性实施方式中所描述的卡拉OK设备21和评估设备25的功能可以由单个计算机来实现。

检测程序

由上述示例性实施方式中所描述的检测设备10执行的各种类型的处理可以通过使计算机系统(如个人计算机或工作站)执行预先准备的程序来实现。关于这一点，下面将参照图12来说明执行与在上述示例性实施方式中所描述的检测设备10的功能相同的功能的检测程序的计算机的示例。图12是用于执行检测程序的计算机的图。

如图12所示，计算机300包括CPU 310、只读存储器(ROM)320、硬盘驱动器(HDD)330、随机存取存储器(RAM)340和输入装置350。这些装置310至350经由总线360相互连接。

在ROM 320中存储有基本程序，如操作系统(OS)。此外，在HDD330中预先存储有实现与上述示例性实施方式中所描述的获取单元13a、检测单元13b和提取单元13c的功能相同的功能的检测程序330a。此外，在HDD 330中预先存储有运动图像数据12a和定时数据12b。

CPU 310从HDD 330读取并执行检测程序330a。CPU 310从HDD330读取运动图像数据12a和定时数据12b，并且将所读取的数据存储到RAM 340中。此外，通过使用存储在RAM 340中的各种类型的数据，CPU 310执行检测程序330a。至于存储在RAM 340中的数据，不是所有数据必须一直存储在RAM 340中。如果在每个处理中所使用的数据存储在RAM 340中，则是足够的。

上述检测程序330a不一定必须从开始就存储在HDD 330中。例如，检测程序330a可以存储在能够被插入计算机300中的“便携式物理介质”如软盘(FD)、光盘只读存储器(CD-ROM)、数字通用盘(DVD)、磁光盘、集成电路(IC)卡等中。在这种情形下，计算机300可以从这些介质中的任何介质中读取并执行检测程序330a。

检测程序330a存储在经由公共通信线、互联网、局域网(LAN)、广域网(WAN)等连接至计算机300的“其它计算机(或服务器)”等中的另外的布置也是可接受的。在这种情形下，计算机300可以通过这些连接中的任何连接来读取并执行检测程序330a。

根据本公开内容的至少一个方面，能够基于所拍摄的图像来提取人的打拍子运动或人打拍子的时间。

Claims (5)

1.一种检测方法，计算机通过所述检测方法来执行处理，所述处理包括如下步骤：

检测顺序拍摄的多个图像中类时变化量暂时减小的时间；以及

基于所检测到的时间提取包括在拍摄图像中的人的打拍子运动或包括在拍摄图像中的人打拍子的时间。

2.根据权利要求1所述的检测方法，其中，所述处理还包括：

针对多个拍摄图像中的每个拍摄图像获取该拍摄图像与在该拍摄图像之前拍摄的至少一个拍摄图像之间的差分，以及其中，

所述检测步骤基于对在所述获取步骤中所获取的所述多个拍摄图像之间的差分的比较结果来检测所述变化量暂时减小的时间。

3.根据权利要求2所述的检测方法，其中，

针对所述多个拍摄图像中的每个拍摄图像，所述获取步骤获取该拍摄图像与通过累积在该拍摄图像之前拍摄的拍摄图像而获得的图像之间的差分。

4.根据权利要求2或3所述的检测方法，其中，

所述检测步骤检测所述变化量暂时减小的时间，即检测拍摄与图像拍摄时间之前和之后预定时间所拍摄的其它图像相比具有较小的差分量的图像的时间。

5.一种检测设备，包括：

检测单元，检测顺序拍摄的多个图像中类时变化量暂时减小的时间；以及

提取单元，基于所检测到的时间提取包括在拍摄图像中的人的打拍子运动或包括在拍摄图像中的人打拍子的时间。