CN109272529B

CN109272529B - 视频分析方法

Info

Publication number: CN109272529B
Application number: CN201810782727.8A
Authority: CN
Inventors: 原田崇志
Original assignee: Shinano Kenshi Co Ltd
Current assignee: Shinano Kenshi Co Ltd
Priority date: 2017-07-18
Filing date: 2018-07-17
Publication date: 2023-07-14
Anticipated expiration: 2038-07-17
Also published as: CN109272529A; JP2019021018A; JP6607886B2

Abstract

本发明提供一种能够正确地执行视频中的特定部位的追踪的方法。视频分析方法是利用分析装置(22)随时间推移追踪视频中的特定部位的位置，该分析装置(22)具有：识别单元(24)，该识别单元(24)针对每一帧识别视频；以及标记单元(26)，该标记单元(26)标记视频中的特定部位，识别单元(24)从任意的帧开始依次执行特定部位的识别，即使存在无法识别特定部位的帧，也转移至下一帧并依次连续进行特定部位的识别动作。

Description

视频分析方法

技术领域

本发明涉及视频分析方法。

背景技术

分析视频的必要性存在于各个领域中。

例如，专利文献1：日本专利特开2017-33390号公报中公开了在运动直播等中即使多个相同形状的球存在于视频中，也能对于特定的球提高追踪精度的内容。

另外，专利文件2：日本专利特开2016－207140号公报中公开了能获得视频中人物的位置信息的内容。

另外，专利文献3：日本专利特开2015－170874号公报中公开了实时分析来自于多个网络摄像头的视频，检测人或车等物体并自动地向管理者发出警报那样的大规模监视系统。

现有技术文献

专利文献

专利文献1日本专利特开2017－33390号公告

专利文献2日本专利特开2016－207140号公告

专利文献3日本专利特开2015－170874号公告

发明内容

发明所要解决的问题

然而，将视频输出至监视器的视频显示装置主体或监视器被设定为省电模式时，有时在监视器中显示的视频不显示原视频的所有帧，而是将没有任何显示的帧(例如：整个面是黑色等的同一颜色)或一部分未显示的帧隔开规定间隔地进行配置。

由此，即使在没有任何显示的帧或一部分未显示的帧存在的情况下，若是特定的帧率(例如30帧/s以上)，肉眼也无法识别出存在没有任何显示的帧或一部分未显示的帧。

然而，存在以下问题：在视频分析装置等中追踪视频中的特定部位时，没有任何显示的帧或一部分未显示的帧中特定部位丢失、无法追踪特定部位。

解决技术问题所采用的技术方法

因此，为了解决上述问题，本发明的目的在于，提供一种能正确地执行追踪视频中的特定部位的方法。

根据本发明所涉及的视频分析方法，其特征在于，利用分析装置随时间推移追踪视频中的特定部位的位置，该分析装置具有：识别单元，该识别单元针对每一帧识别视频；及标记单元，该标记单元标记视频中的特定部位，所述识别单元从任意的帧开始依次执行所述特定部位的识别，即使存在无法识别所述特定部位的帧，也转移至下一帧并依次连续进行所述特定部位的识别动作。

通过采用该方法，即使存在无法识别特定部位的帧，也连续地执行识别动作，因此，能正确地进行追踪而不会丢失特定部位。

根据本发明所涉及的视频分析方法，其特征在于，利用分析装置随时间推移追踪视频中的特定部位的位置，该分析装置具有：识别单元，该识别单元针对每一帧识别视频；及标记单元，该标记单元标记视频中的特定部位，所述分析装置具有亮度检测单元，该亮度检测单元检测每一帧在视频中的亮度，所述亮度检测单元从任意的帧开始依次检测各帧的亮度，所述识别单元仅针对具有亮度峰值的帧依次执行所述特定部位的识别。

通过采用该方法，如果是具有亮度峰值的帧，则可知并不是没有任何显示的帧，因此对该帧中的特定部位进行识别，从而能正确地进行追踪而不会丢失特定部位。

另外，也可具有以下特征：所述识别单元在具有所述亮度峰值的帧中，无法识别特定部位的情况下，针对该帧的前后规定数量的帧执行所述特定部位的识别。

根据该方法，在峰值的帧中根据某些状况，也有无法识别特定部位的可能性，因此，可以在峰值的前后发现特定部位。

另外，也可具有以下特征：所述识别单元在具有所述亮度峰值的帧的前后规定数量的帧中，无法识别特定部位的情况下，在具有亮度峰值的下一帧中执行所述特定部位的识别。

根据该方法，在峰值的帧及该帧前后的规定数量的帧中由于某些状况，也有无法识别特定部位的可能性，因此，可以转移至下一峰值来发现特定部位。

另外，也可具有以下特征：所述亮度检测单元在探测所述亮度峰值时，在亮度超过规定的阀值后又下降到阀值以下的范围内的帧中，将亮度最高的帧作为峰值。

另外，也可具有以下特征：所述亮度检测单元在探测所述亮度峰值时，亮度超过规定的阀值后又下降到阀值以下的范围内的帧中，将中间的帧作为峰值。

另外，也可具有以下特征：所述亮度检测单元在探测所述亮度峰值时，计算出亮度峰值的出现周期，以计算出的出现周期进行采样，并基于该采样计算出达到峰值的帧。

根据本发明所涉及的视频分析方法，其特征在于，利用分析装置随时间推移追踪视频中的特定部位的位置，该分析装置具有：识别单元，该识别单元针对每一帧识别视频；以及标记单元，该标记单元标记视频中的特定部位，所述分析装置具有亮度检测单元，该亮度检测单元检测每一帧在视频中的亮度，所述亮度检测单元从任意的帧开始依次检测各帧的亮度，所述识别单元仅针对具有预先设定了的规定阀值以上亮度的帧依次执行所述特定部位的识别。

通过采用该方法，仅针对亮度在阀值以上的帧执行特定部位的识别，因此，降低了针对没有任何显示的帧的特定部位识别的可能性，并且能正确地进行追踪而不会丢失特定部位。

发明效果

根据本发明的视频分析方法，能够正确地执行视频中的特定部位的追踪。

附图说明

图1是表示在视频分析方法中所使用的系统结构的说明图。

图2是说明没有任何显示的帧的一个示例的说明图。

图3是表示第一实施方式中所使用的分析装置的内部结构的说明图。

图4是表示第一实施方式的流程图。

图5是表示第二实施方式中所使用的分析装置的内部结构的说明图。

图6是表示第二实施方式的流程图。

图7是表示每一帧检测出的亮度的图。

图8是表示第二实施方式中其它方式的流程图。

图9是表示峰值计算方法的第一实施方式的说明图。

图10是表示峰值计算方法的第二实施方式的说明图。

图11是表示第三实施方式的流程图。

具体实施方式

以下说明视频分析方法的实施方式。

首先，基于附图1说明对于实现视频分析方法的系统结构。

作为视频分析的对象例如用于虚拟现实的游戏、体感活动等中，头盔显示器10能够举例作为视频显示装置的一个示例。

头盔显示器10佩戴于体验者的头部，以通过移动头部从而视线移动至该方向上的方式控制显示视频。

作为在头盔显示器10出厂时等执行的动作确认，将测试视频输入至头盔显示器10中，需要检测在使头盔显示器10移动时，所显示的视频与实际的头盔显示器10的移动之间的偏差。

因此，使用对显示于头盔显示器10的显示面10a中的视频进行拍摄的高速摄像头20以及对由高速摄像头20拍摄到的视频进行分析的分析装置22，在头盔显示器10所显示的视频中，将存在特征的部分作为标记进行确定，并且在每一帧中追踪该标记，从而检测出在头盔显示器10中所显示视频的移动。

另外，当头盔显示器10设定为省电模式等情况下，有时每隔规定数量的帧存在没有任何显示的帧或一部分未显示的帧。没有任何显示的帧一般是整个面黑色的视频。

在图2中表示包含这种整个面黑色的帧及一部分未显示的帧的连续的帧视频的示例。

图2中从上至下表示时间推移的状态。最开始的最上方的帧中示出在中间用四边形包围圆的周围的标记(特定部位)。从上往下的第二帧中画面的左边一半以上部分为黑色，无法识别标记。从上往下的第三帧中画面整体被显示，与第一帧相比能够识别出标记稍微向左侧移动。从上往下的第四帧为整个面黑色的帧，无法识别标记。最下面的一帧中显示整个画面，能够识别出与从上往下的第三帧相比标记进一步往左侧移动。

此处仅图示了5个帧，但是实际上在其前后帧也是连续的。

由此在多个连续的帧中存在整个面黑色的帧或一部分未显示的帧时，会产生无法正确地进行追踪标记的情况。

本发明中，为了在存在整个面黑色的帧或存在一部分未显示的帧的视频中，正确地追踪标记像如下说明那样采用各种方法。

(第一实施方式)

图3中示出了本实施方式所使用的分析装置的结构。

分析装置22包括监视器23和主体25，主体25中设置有由CPU及存储器等所构成的控制部27、和硬盘驱动器等存储装置29。

控制部27具有识别单元24，该识别单元24识别由高速摄像头20所拍摄到的视频的每一帧单位的帧视频；以及标记单元26，该标记单元26对在由识别单元24所识别到的帧单位的视频中的特定部位进行标记。识别单元24及标记单元26通过CPU执行程序来实现的，该程序用于执行规定的动作。

识别单元24识别每一帧中由标记单元26所标记了的标记。

另外，作为分析装置22也可采用通常的计算机。此时，通过计算机执行实现分析装置22的分析功能的分析程序，通常的计算机起到分析装置22的作用。

基于图4说明第一实施方式的分析方法。

首先高速摄像头20拍摄在头盔显示器10的显示面10a中所显示的视频，并且所拍摄的数据存储于分析装置22的存储装置29中。

控制部27将所拍摄的数据的最初的帧显示在监视器23上(步骤S101)。另外，此处虽然控制部27使拍摄到的视频中最初的帧显示在监视器23中，但是也可使从拍摄到的视频中的任意的帧开始的帧显示在监视器23上。

作业者通过标记单元26从拍摄到的数据的最初的帧中标记特定部位(步骤S102)。

接着，识别单元24依次在每一帧中识别标记(步骤S104)。识别单元24能够识别标记时，转移至下一帧并执行标记的识别动作(步骤S105)。

但是，即使在识别单元24无法识别标记的情况下，也转移至下一帧并执行标记的识别动作(步骤S105)。即，无法识别标记的情况中包含了整个面黑色的帧的情况或一部分未显示的帧的情况。

由此，即使存在识别单元24无法识别标记的帧，在此情况下未停止识别动作而是接着转移至能够识别标记的帧并且追踪标记的位置。为此，根据该方法，能够正确地进行追踪而不会丢失特定部位。

第二实施方式

图5中示出了本实施方式所使用的分析装置的结构。

本实施方式所使用的分析装置22中，除了第一实施方式的分析装置以外，设置有能够检测出每一帧亮度的亮度检测单元30。除此以外的结构要素与所述第一实施方式相同，由此省略说明。

基于图6说明第二实施方式的分析方法。

首先高速摄像头20拍摄在头盔显示器10的显示面10a中所显示的视频，并且拍摄到的数据存储于分析装置22的存储装置29中。

控制部27将拍摄到的数据的最初的帧显示在监视器23上(步骤S201)。

作业者通过标记单元26从拍摄到的数据的最初的帧中标记特定部位

(步骤S202)。

接着亮度检测单元30依次计算各帧的亮度(步骤S204)。

然后，识别单元24仅对于具有亮度峰值的帧识别标记(步骤206)。

图7中示出分析动作执行过程中的监视器23中所显示的视频的示例。

监视器23中所显示的画面的右下方的图中，在横轴上表示时间推移、在纵轴上表示亮度。由此可知，每一帧的亮度有较大的不同，呈波形为细的锯齿波形。本实施方式中，仅对在亮度的图表中成为峰值部位的帧执行标记的识别动作并追踪标记的位置。为此，根据该方法，能够正确地进行追踪而不会丢失特定部位。

接着，基于图8说明第二实施方式的分析方法中的其它方式。图8中，到步骤204为止与图6相同，因此，从步骤S204以后的工序进行说明。

识别单元24以针对具有亮度峰值的帧识别标记的方式进行动作(步骤S206)，在能够识别到标记情况下，经由步骤S210，转移至下一峰值的帧的标记工序(步骤S220)。

步骤S206中无法在具有亮度峰值的帧中识别到标记的情况下，转移至步骤S208，并且对具有峰值的帧的前后若干帧(例如，前后3个帧)中的标记进行识别。

识别单元24能够识别到具有峰值的帧的前后若干帧中的标记的情况下，经由步骤S209，转移至下一峰值的帧的标记识别工序(步骤S220)。

另外，识别单元24无法识别到具有峰值的帧的前后若干帧中的标记时，转移至下一峰值的帧的标记识别工序(步骤S220)。

由此，即使在由于某些状况无法识别具有峰值的帧中的标记的情况下，考虑到若是其前后若干帧则亮度也足够，能够期待可靠地执行标记的识别。

另外，在即使是峰值前后的若干帧也无法识别标记的情况下，转移至下一峰值用于进行标记识别，因此能在能可靠地识别的帧中执行标记识别。

接着，对于本实施方式所涉及的亮度峰值的计算方法进行几个说明，也可使用如下说明的任一种计算方法。

首先，基于图9说明峰值的计算方法的第一实施方式。

峰值的计算由分析装置22的亮度检测单元30执行。另外，对于亮度预先设定阀值。

亮度检测单元30在探测亮度峰值时，进行以下设定：将在亮度超过阀值后又下降到阀值以下的范围内的帧中亮度最高的帧作为峰值。

由此，能够选择可识别标记的可能性较高的帧，而不会探测比阀值低的亮度中的峰值。

接着，基于图10说明峰值的计算方法的第二实施方式。

亮度检测单元30设定成在探测亮度峰值时，将在亮度超过规定的阀值并且接着由阀值下降的范围内的帧中的中间的帧作为峰值。

该情况下，也能够选择可识别标记的可能性较高的帧，而不会探测比阀值低的亮度中的峰值。

接着，说明峰值的计算方法的第三实施方式。

亮度检测单元30在探测亮度的峰值时，计算出亮度的峰值的出现周期，按所计算出的每个出现周期采样，并且基于该采样计算出成为峰值的帧。

第三实施方式

本实施方式所使用的分析装置结构与第二实施方式中的分析装置的结构相同，对于结构省略说明。

以下基于图11说明第三实施方式的分析方法。

控制部27将拍摄到的数据的最初的帧显示在监视器23上(步骤S301)。

作业者通过标记单元26从所拍摄的数据的最初的帧中标记特定部位(步骤S302)。

接着亮度检测单元30依次计算各帧的亮度(步骤S304)。

接着，识别单元24对于具有预先所设定的阀值以上的亮度的帧依次识别标记(步骤S306)。

由此，至少对于整个面黑色的帧不用执行标记的识别动作，能够正确地进行追踪而不会丢失特定部位。

所述实施方式中视频分析对象以头盔显示器的示例进行了说明，但是对于视频分析的对象不局限于头盔显示器。

以上本发明中列举了优选的实施方式进行了各种说明，但是本发明不局限于所述实施方式，在不脱离本发明精神的范围内实施多个的改变是理所当然的。

Claims

1.一种视频分析方法，其特征在于，利用分析装置随时间推移追踪视频中的特定部位的位置，该分析装置具有：识别单元，该识别单元针对每一帧识别视频；以及标记单元，该标记单元标记视频中的特定部位，

所述分析装置具有亮度检测单元，该亮度检测单元检测每一帧在视频中的亮度,

所述亮度检测单元从任意的帧开始依次检测各帧的亮度；

所述识别单元仅针对具有亮度峰值的帧依次执行所述特定部位的识别，并且在具有所述亮度峰值的帧中，无法识别特定部位的情况下，针对该帧的前后规定数量的帧执行所述特定部位的识别。

2.如权利要求1所述的视频分析方法，其特征在于，所述识别单元在具有所述亮度峰值的帧的前后规定数量的帧中，无法识别特定部位的情况下，在具有亮度峰值的下一帧中执行所述特定部位的识别。

3.如权利要求1或2所述的视频分析方法，其特征在于，所述亮度检测单元在探测所述亮度的峰值时，

在亮度超过规定的阈值后又下降到阈值以下的范围内的帧中，将亮度最高的帧作为峰值。

4.如权利要求1或2所述的视频分析方法，其特征在于，所述亮度检测单元在探测所述亮度的峰值时，

在亮度超过规定的阈值并且接着由阈值下降的范围内的帧中，将中间的帧作为峰值。

5.如权利要求1或2所述的视频分析方法，其特征在于，所述亮度检测单元在探测所述亮度的峰值时，

计算出亮度峰值的出现周期，以计算出的出现周期进行采样，并基于该采样计算出达到峰值的帧。