CN109478319A - 动态图像处理装置、动态图像处理方法及动态图像处理程序 - Google Patents

动态图像处理装置、动态图像处理方法及动态图像处理程序 Download PDF

Info

Publication number
CN109478319A
CN109478319A CN201680087486.4A CN201680087486A CN109478319A CN 109478319 A CN109478319 A CN 109478319A CN 201680087486 A CN201680087486 A CN 201680087486A CN 109478319 A CN109478319 A CN 109478319A
Authority
CN
China
Prior art keywords
frame
characteristic quantity
dynamic image
similarity
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680087486.4A
Other languages
English (en)
Inventor
清水尚吾
中岛宏
中岛宏一
西辻崇
草野胜大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN109478319A publication Critical patent/CN109478319A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

取得部(106)取得查询动态图像的特征量的集合即查询特征量(30)、候补动态图像的特征量的集合即特征量记录(40)。相似度图生成部(107)进行查询特征量(30)和特征量记录(40)的比较，针对候补动态图像的每个帧，对查询特征量(30)和特征量记录(40)的相似度进行计算而生成相似度按时序排列的相似度列，生成候补动态图像的每个帧的相似度列以候补动态图像的帧的顺序排列的相似度图。

Description

动态图像处理装置、动态图像处理方法及动态图像处理程序
技术领域
本发明涉及动态图像处理技术。
背景技术
当前，作为根据从动态图像提取出的运动矢量计算出的特征量，对动态图像中的特定的场景进行检索的技术，例如，存在专利文献1所示的技术。在专利文献1中示出如下技术，即，基于动态图像中的特定范围的运动矢量的角度归类直方图，例如，从网球的比赛图像对发球的场景进行检索。
专利文献1：日本特开2013-164667号公报
发明内容
然而，专利文献1所示的技术存在如下课题，即，在特征量的比较过程中，在时间长度存在差异的情况下，不能够提取相似场景。例如，在从动态图像中提取与人以5秒钟横穿画面的场景相似的场景的情况下，即使在动态图像中包含以10秒钟横穿画面的场景，根据专利文献1的技术，由于时间长度不同，因此也不能够提取以10秒钟横穿画面的场景作为相似场景。
另外，专利文献1所示的技术存在如下课题，即，在特征量存在连续的局部不一致的情况下不能够提取相似场景。例如，在从动态图像中提取与人以横穿画面时没有停止的方式横穿画面的场景相似的场景的情况下，即使在动态图像中包含人以横穿画面时中途停止数秒钟的方式横穿画面的场景，根据专利文献1的技术，由于特征量存在连续的局部不统一，因此也不能够提取人以横穿画面时中途停止数秒钟的方式横穿画面的场景作为相似场景。
专利文献1的上述课题意味着在考虑到反复对人的周期动作进行检测那样的应用例的情况下，专利文献1的技术不能够应对由被摄体的身体状况变化、周围的环境变动产生的动作的错乱。如果考虑到人的周期动作不会在整个周期完全一致这一点，则针对该课题的对策对于动态图像的相似场景提取而言是必不可少的。
本发明的主要目的在于解决上述课题。更具体而言，本发明的主要目的在于，即使存在比较对象动作的时间长度的差异及在比较对象动作之间存在特征量的连续的局部性不一致也能够提取相似场景。
本发明涉及的动态图像处理装置具有：
取得部，其取得针对由多个帧构成的第1动态图像的各帧而生成的特征量即第1特征量以所述第1动态图像的帧的顺序排列的第1特征量列、以及针对由比所述第1动态图像多的多个帧构成的第2动态图像的各帧而生成的特征量即第2特征量以所述第2动态图像的帧的顺序排列的第2特征量列；以及
相似度图生成部，其一边使成为与所述第1特征量列的比较对象的所述第2动态图像的比较对象范围以所述第2动态图像的帧的顺序移动，一边进行所述第1特征量列和所述第2特征量列的比较，针对所述第2动态图像的每个帧，对所述第1特征量列内的所述第1特征量与比较对象范围的所述第2特征量列内的所述第2特征量的相似度进行计算而生成所述相似度按时序排列的相似度列，生成所述第2动态图像的每个帧的相似度列以所述第2动态图像的帧的顺序排列的相似度图。
发明的效果
通过对利用本发明得到的相似度图进行解析，即使存在比较对象动作的时间长度的差异及在比较对象动作之间存在特征量的连续的局部不一致，也能够提取相似场景。
附图说明
图1是表示实施方式1及2涉及的动态图像处理装置的功能结构例的图。
图2是表示实施方式1及2涉及的动态图像处理装置的硬件结构例的图。
图3是表示实施方式1涉及的动态图像处理装置的动作例的流程图。
图4是表示实施方式2涉及的动态图像处理装置的动作例的流程图。
图5是表示实施方式2涉及的相似度图的生成例的图。
图6是表示实施方式2涉及的相似度图上的最佳路径的例子的图。
图7是表示实施方式2涉及的相似度图上的最佳路径的例子的图。
图8是表示实施方式2涉及的相似区间推定方法的例子的图。
图9是表示实施方式2涉及的相似度图的例子的图。
图10是表示实施方式2涉及的相似度图上的最佳路径的例子的图。
图11是表示实施方式2涉及的相似度图上的最佳路径的例子的图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。在下面的实施方式的说明及附图中，标注相同标号者表示相同部分或相当的部分。
实施方式1.
在本实施方式中，对生成从动态图像提取出的运动矢量的角度归类直方图作为特征量的结构进行说明。
＊＊＊结构的说明＊＊＊
图1示出实施方式1及2涉及的动态图像处理装置10的功能结构例。
另外，图2示出实施方式1及2涉及的动态图像处理装置10的硬件结构例。
此外，由动态图像处理装置10进行的动作相当于动态图像处理方法。
首先，参照图2，对动态图像处理装置10的硬件结构例进行说明。
如图2所示，动态图像处理装置10为具备输入接口201、处理器202、输出接口203及存储装置204的计算机。
输入接口201取得例如图1所示的动态图像运动信息20及查询特征量30。输入接口201例如是鼠标、键盘等输入装置。另外，在动态图像处理装置10通过通信取得动态图像运动信息20及查询特征量30的情况下，输入接口201为通信装置。另外，在动态图像处理装置10以文件的形式取得动态图像运动信息20及查询特征量30的情况下，是与HDD(Hard DiskDrive)的接口装置。
处理器202实现图1所示的特征量提取部11、特征量比较部12及输入数计数器104。即，处理器202执行程序，该程序实现特征量提取部11、特征量比较部12及输入数计数器104的功能。
图2示意性地表示处理器202执行程序的状态，该程序实现特征量提取部11、特征量比较部12及输入数计数器104的功能。
此外，实现特征量提取部11、特征量比较部12及输入数计数器104的功能的程序为动态图像处理程序的例子。
处理器202为进行处理的IC(Integrated Circuit)，是CPU(Central ProcessingUnit)、DSP(Digital Signal Processor)等。
存储装置204存储有实现特征量提取部11、特征量比较部12及输入数计数器104的功能的程序。
存储装置204为RAM(Random Access Memory)、ROM(Read Only Memory)、闪存、HDD等。
输出接口203输出处理器202的解析结果。输出接口203例如为显示器。另外，在动态图像处理装置10发送处理器202的解析结果的情况下，输出接口203为通信装置。另外，在动态图像处理装置10以文件的形式输出处理器202的解析结果的情况下，输出接口203为与HDD的接口装置。
接着，参照图1，对动态图像处理装置10的功能结构例进行说明。
此外，在本实施方式中，仅针对动态图像运动信息20、特征量提取部11及输入数计数器104进行说明，在实施方式2中对查询特征量30、特征量记录40、特征量比较部12及相似区间信息50进行说明。
动态图像运动信息20是表示从动态图像提取出的运动矢量的信息。
特征量提取部11是由滤波器101、偏角计算部102、直方图生成部103及平滑化处理部105构成的。
滤波器101从经由输入接口201取得的动态图像运动信息20对符合既定条件的动态图像运动信息20进行挑选。然后，滤波器101将挑选出的动态图像运动信息20输出至偏角计算部102。
偏角计算部102针对动态图像所包含的每个帧，对从滤波器101取得的动态图像运动信息20的运动矢量的偏角成分进行计算。然后，偏角计算部102将计算结果输出至直方图生成部103。
此外，由偏角计算部102进行的处理相当于偏角计算处理。
直方图生成部103使用偏偏角计算部102的偏角成分的计算结果，针对每个帧而生成偏角成分的直方图数据。另外，直方图生成部103在从输入数计数器104输出了处理开始通知时，将直方图数据已完成这一点通知给平滑化处理部105。
此外，由直方图生成部103进行的处理相当于直方图生成处理。
输入数计数器104对由输入接口201取得的动态图像运动信息20进行计数。然后，输入数计数器104在被输入了动态图像1个帧的量的动态图像运动信息20的情况下，向直方图生成部103输出处理开始通知。
平滑化处理部105取得直方图数据，进行针对取得的直方图数据的平滑处理而生成特征量。
然后，平滑化处理部105将生成的特征量作为特征量记录40储存于存储装置204。在实施方式2中对特征量记录40的详细内容进行说明。
＊＊＊动作的说明＊＊＊
接着，参照图3的流程图对本实施方式涉及的动态图像处理装置10的动作例进行说明。
滤波器101经由输入接口201取得动态图像运动信息20，该动态图像运动信息20表示从由数码相机、网络照相机等拍摄到的动态图像中提取出的运动矢量(步骤ST301)。
在由滤波器101取得的动态图像运动信息20中，例如，如由MPEG(Moving PictureExpert Group)等规定的编码运动矢量那样，示出的是根据接近的动态图像帧之间的亮度梯度等以像素块为单位计算的运动矢量。
接着，滤波器101对取得的动态图像运动信息20所示的运动矢量是否满足既定的条件进行判定(步骤ST302)。滤波器101将满足条件的运动矢量的动态图像运动信息20输出至偏角计算部102。
滤波器101所使用的条件是例如运动矢量的范数的上限值的条件及下限的条件。
偏角计算部102对从滤波器101输出的动态图像运动信息20的运动矢量的偏角成分进行计算(步骤ST303)。
然后，偏角计算部102将计算结果输出至直方图生成部103。
直方图生成部103按照角度对来自偏角计算部102的偏角成分的计算结果的取得频率进行计数而生成直方图数据(步骤ST304)。然后，直方图生成部103将直方图数据累积于存储装置204。
输入数计数器104对由输入接口201取得的动态图像运动信息20进行计数，在被输入了动态图像1个帧的量的动态图像运动信息20时，向直方图生成部103输出处理开始通知(步骤ST305)。
直方图生成部103将来自输入数计数器104的处理开始通知作为触发，将直方图数据已完成这一点通知给平滑化处理部105。
平滑化处理部105如果被从直方图生成部103通知了直方图数据已完成这一点，则从存储装置204取得直方图数据，进行针对取得的直方图数据的平滑化处理(步骤ST306)。
平滑化处理部105例如进行使用了针对先行于所取得的直方图数据的任意数量的连续的帧而由直方图生成部103生成的直方图数据的平滑化处理，生成特征量。
更具体而言，平滑化处理部105将与生成特征量的帧(与从存储装置204取得的直方图数据对应的帧)和任意数量的先行的帧的每一者之间的时间距离(time distance)相应的权重施加给任意数量的先行的帧的直方图数据的每一者而进行平滑化处理。
最后，平滑化处理部105将平滑处理后的数据(特征量)作为特征量记录40储存于存储装置204(步骤ST307)。
＊＊＊实施方式的效果的说明＊＊＊
在专利文献1的技术中，存在如果比较对象动作存在尺度(scale)差异则无法提取相似场景的课题。
在本实施方式中，由于仅通过运动矢量的偏角成分生成直方图而得到特征量，因此在比较对象动作存在尺度差异的情况下也能够提取相似场景。
实施方式2.
在本实施方式中，说明如下结构，即，根据从大于或等于2个动态图像提取出的特征量的比较对相似度进行计算，利用例如动态规划法等考虑到时间长度的差异或连续的局部不一致的匹配方法对相似度最高的连续的区间进行推定，由此提取出动态图像的相似区间。
＊＊＊结构的说明＊＊＊
在本实施方式中，对图1所示的查询特征量30、特征量记录40、特征量比较部12及相似区间信息50进行说明。
查询特征量30为特征量列。更具体而言，查询特征量30是将针对由多个帧构成的查询动态图像的各帧而生成的特征量以查询动态图像的帧的顺序排列的特征量列。
查询动态图像是显现出作为检索对象的运动的动态图像。
例如，在查询动态图像由300个帧构成的情况下，在查询特征量30中，按帧的顺序排列有300个特征量。
构成查询特征量30的各特征量是通过与实施方式1中说明过的生成方法同样的方法生成的特征量(均衡化处理后的直方图数据)。
查询动态图像相当于第1动态图像。查询特征量30相当于第1特征量列。而且，查询动态图像的各帧的特征量相当于第1特征量。
特征量记录40也是特征量列。特征量记录40是将针对候补动态图像的各帧而生成的特征量(均衡化处理后的直方图数据)以候补动态图像的帧的顺序排列的特征量列。
候补动态图像是可能包含与查询动态图像所显现出的运动相同的运动或相似的运动的动态图像。候补动态图像由比查询动态图像多的多个帧构成。
例如，在候补动态图像由3000个帧构成的情况下，在特征量记录40中，按帧的顺序排列有3000个特征量。
特征量记录40是由实施方式1中说明过的特征量提取部11生成的。
候补动态图像相当于第2动态图像。特征量记录40相当于第2特征量列。而且，特征量记录40的各帧的特征量相当于第2特征量。
特征量比较部12由取得部106、相似度图生成部107及区间提取部108构成。
取得部106经由输入接口201取得查询特征量30。另外，取得部106从存储装置204取得特征量记录40。然后，取得部106将取得的查询特征量30和特征量记录40输出至相似度图生成部107。
由取得部106进行的处理对应于取得处理。
相似度图生成部107对查询特征量30和特征量记录40进行比较。更具体而言，相似度图生成部107一边使成为与查询特征量30的比较对象的候补动态图像的比较对象范围以候补动态图像的帧的顺序移动，一边进行查询特征量30和特征量记录40的比较。
然后，相似度图生成部107针对候补动态图像的每个帧，对查询特征量30内的特征量和比较对象范围的特征量记录40内的特征量之间的相似度进行计算，生成相似度按时序排列的相似度列。
而且，相似度图生成部107将候补动态图像的每个帧的相似度列以候补动态图像的帧的顺序排列而生成相似度图。即，相似度图是候补动态图像的每个帧的相似度列按候补动态图像的帧的顺序排列的二维的相似度信息。
由相似度图生成部107进行的处理相当于相似度图生成处理。
区间提取部108对相似度图进行解析，对显现出与查询动态图像所显现出的运动相同的运动或相似的运动的候补动态图像的帧的区间即相似区间进行提取。相似区间相当于对应区间。
相似区间信息50是表示由区间提取部108提取出的相似区间的信息。
图5示出相似度图的例子。
在图5中示出，针对帧数为Lq的查询特征量Sq，生成与帧数为Lr(0≤Lq≤Lr)的特征量记录Sr的相似度图的流程。
相似度图生成部107按特征量记录Sr的帧的顺序，以一个帧为单位，使比较对象范围(Lq个帧)的起点帧移位，对比较对象范围的各帧的特征量和查询特征量Sq的对应的位置处的帧的特征量进行比较，以帧为单位对相似度进行计算。
即，相似度图生成部107在与特征量记录Sr的从第0帧L0起的比较对象范围(帧L0～Lq-1)之间的比较中，进行特征量记录Sr的帧L0和查询特征量Sq的第0帧Lo的比较，对相似度进行计算。接着，相似度图生成部107进行特征量记录Sr的第1帧L1和查询特征量Sq的第1帧L1的比较，对相似度进行计算。对于帧L2及其后的帧，相似度图生成部107也进行同样的比较。
如果特征量记录Sr的帧Lq-1和查询特征量Sq的帧Lq-1的比较结束，则相似度图生成部107进行与特征量记录Sr的从第1帧L1起的比较对象范围(帧L1～Lq)之间的比较。在与特征量记录Sr的从第1帧L1起的比较对象范围(帧L1～Lq)之间的比较中，进行特征量记录Sr的帧L1和查询特征量Sq的第0帧Lo的比较，对相似度进行计算。接着，相似度图生成部107进行特征量记录Sr的帧L2和查询特征量Sq的第1帧L1的比较，对相似度进行计算。对于帧L2及其后的帧，相似度图生成部107也进行同样的比较。
如果特征量记录Sr的帧Lq和查询特征量Sq的帧Lq-1的比较结束，则相似度图生成部107进行与特征量记录Sr的从第2帧L2起的比较对象范围(帧L2～Lq+1)之间的比较。之后，相似度图生成部107直至帧Lr-q为止重复同样的处理。通过将利用以上处理得到的各比较对象范围中的相似度列以特征量记录Sr的帧的顺序排列而得到相似度图。
如果将查询特征量Sq的时间轴设为tq(0≤tq<Lq)，将特征量记录Sr的时间轴设为tr(0≤tr<Lr)，将特征量的维度设为N，则查询特征量Sq和特征量记录Sr的相似度Sim作为各时间轴的函数而由下式表示。
[数学式1]
这里，函数f是求出特征量的各维度中的相似度的函数，例如，能够应用余弦相似度等。另外，能够对相似度应用以减轻噪声或以强调为目的的滤波器。例如，通过将权重附加于邻近的数个帧的相似度而进行累计，应用指数函数滤波器，从而能够进行相似度的对比度强调。
由此，相似度图生成部107计算相对于大于或等于2个特征量的相似度，生成相似度图，将生成的相似度图储存于存储装置204。而且，相似度图生成部107向区间提取部108通知相似度图已生成这一点。
此外，在图5的例子中，相似度图生成部107生成图像影像数据的相似度图，但也可以如图9所示，相似度图生成部107生成数值数据的相似度图。
在图9中，由虚线包围的数值的列表示特征量记录Sr的从第n帧Ln起的比较对象范围(帧Ln～Ln+q-1)和查询特征量Sq的帧L0～Lq-1的相似度列。此外，在图9的例子中，将相似度设为0.0～1.0的值。另外，图9所示的Ln、Ln+1、Ln+2等是用于说明而标注的，没有包含于实际的相似度图。
＊＊＊动作的说明＊＊＊
接着，参照图4对本实施方式涉及的动态图像处理装置10的动作例进行说明。
首先，取得部106取得查询特征量30和特征量记录40(步骤ST401)。如上所述，取得部106经由输入接口201取得查询特征量30，从存储装置204取得特征量记录40。然后，取得部106将取得的查询特征量30和特征量记录40输出至相似度图生成部107。
接着，相似度图生成部107将特征量记录40、查询特征量30的参照帧位置设定为各自的开始点tr＝0、tq＝0(步骤ST401、步骤ST402)。
接着，相似度图生成部107将特征量记录40的参照位置固定下来，一边使查询特征量30的参照位置1帧1帧地移动，一边根据式(1)对各时间点的相似度进行计算，将计算出的相似度保存于存储装置204(步骤ST403、步骤ST404)。
在查询特征量30的参照位置到达末尾的情况下(步骤ST405中为YES)，相似度图生成部107将特征量记录40的参照位置转移至在正方向相邻的帧(步骤ST406)，重复步骤ST402～ST405的处理。
在特征量记录40的参照位置到达末尾的情况下(步骤ST407中为YES)，相似度图生成部107将处理完成通知给区间提取部108。
区间提取部108取得来自相似度图生成部107的通知，从存储装置204读出相似度图，从相似度图提取最佳路径(步骤ST408)。
更具体而言，区间提取部108根据相似度图，从特征量记录40的各帧在既定范围w内，提取相似度最高的路径作为最佳路径。
在图5的相似度图中，与图像的明暗对应地表现相似度的高低。在使用图5的相似度图的情况下，区间提取部108从特征量记录40的各帧，在既定范围w内对亮度高的位置从相似度图的上部向右下方向直线状地延伸的位置进行检测，由此提取最佳路径。即，区间提取部108在相似度图中，从特征量记录40的各帧，在既定范围w内对具有最高的相似度的累计值的路径进行选择。
使用图10及图11对区间提取部108的最佳路径的提取流程进行说明。
在图10中示出针对帧Ln的最佳路径的提取流程。
在图11中示出针对帧Ln+3的最佳路径的提取流程。
此外，在图10及图11中，设为既定范围w＝7。即，在图10中，区间提取部108在帧Ln和后续于该帧Ln的7个帧的范围(Ln～Ln+7)中提取最佳路径。另外，在图11中，区间提取部108在帧Ln+3和后续于该帧Ln+3的7个帧的范围(帧Ln+3～Ln+10)中提取最佳路径。此外，在图10及图11中，由单点划线包围的范围是最佳路径的提取范围。
如图10所示，区间提取部108在各行对数值最高的相似度进行选择。但是，第1行是选择左端的相似度。在图10中，由虚线包围的相似度是数值最高的相似度。将如上所述在各行选择出的数值最高的相似度(图10的由虚线包围的相似度)连接而得到的路径是最佳路径。即，最佳路径是从各帧的相似度列和后续于各帧的既定范围w内的帧的相似度列中选择出的、相似度累计值最高的路径。此外，在图10中，由单点划线包围的范围是最佳路径的提取范围。
如图11所示，在得到了最佳路径从左上朝向右下45度的最佳路径的情况下，查询动态图像所显现出的运动和与该最佳路径对应的候补动态图像内的相似区间所显现出的运动在时间长度上也是一致的。例如，在查询动态图像中显现出人以5秒钟横穿画面的场景的情况下，在得到了如图11那样的最佳路径的情况下，在与该最佳路径对应的候补动态图像内的相似区间中也显现出人以5秒钟横穿画面的场景。
区间提取部108使最佳路径的提取对象帧移位为Ln、Ln+1、Ln+2…，依次针对各帧提取最佳路径。
区间提取部108例如使用动态规划法，在特征量记录40的整个区域多次对相似度图中的最佳路径进行推定。
由于使用动态规划法，因此即使在查询动态图像所显现出的运动和候补动态图像中的相似的运动之间存在时间长度的差异的情况下(图6)，区间提取部108也能够提取相似区间。另外，由于使用动态规划法，因此即使在查询动态图像所显现出的运动和候补动态图像中的相似运动之间局部地存在连续的不一致区间的情况下(图7)，区间提取部108也能够提取相似区间。
图6及图7示出在表现为图5所示那样的图像影像的相似度图中提取出的最佳路径。在图6及图7中，白色的线表示最佳路径。
图6(a)的最佳路径与图11的最佳路径同样地，是从左上朝向右下45度的最佳路径。因此，与图6(a)的最佳路径对应的候补动态图像内的相似区间所显现出的运动在时间长度上也与查询动态图像所显现出的运动一致。
在得到了图6(b)的最佳路径的情况下，查询动态图像的运动的时间长度比候补动态图像的相似区间的运动的时间长度短。例如，在查询动态图像中显现出人以5秒钟横穿画面的场景的情况下，在得到了如图6(b)那样的最佳路径的情况下，在与该最佳路径对应的候补动态图像内的相似区间显现出人以10秒钟横穿画面的场景。
另外，图7的最佳路径在从左上朝向右下45度的路径的中途包含水平的路径。在得到了图7的最佳路径的情况下，在与该最佳路径对应的候补图像内的相似区间所显现出的运动中，包含查询动态图像所显现出的运动和在查询动态图像中没有显现出的运动。例如，在查询动态图像中显现出人以横穿画面时没有停止的方式横穿画面的场景的情况下，在得到了如图7那样的最佳路径的情况下，在与该最佳路径对应的候补动态图像内的相似区间显现出人以横穿画面时中途停止数秒的方式横穿画面的场景。
如果像上述那样提取出最佳路径，则接着，区间提取部108对最佳路径进行解析，从候补动态图像提取相似区间(图4的步骤ST409)。
然后，区间提取部108从输出接口203将相似区间的提取结果作为相似区间信息50进行输出。
区间提取部108基于各帧的最佳路径中的相似度的累计值的波形特征，从候补动态图像提取显现出与查询动态图像的运动相同的运动或相似的运动的相似区间。
参照图8对相似区间的提取流程进行说明。
图8示出，以候补动态图像的帧的顺序对候补动态图像的各帧中的最佳路径的相似度累计值进行绘图而得到的相似度累计值的波形。
图8的横轴Tr与候补动态图像的帧号对应。
区间提取部108为了根据多个最佳路径选定最佳的相似区间而根据图8的波形对最可靠的区间进行推定。即，区间提取部108通过在图8的波形中，求出相似度累计值与周围相比综合来说高的位置，从而对相似区间进行推定。例如，区间提取部108如图8所示设置上限阈值和下限阈值，通过对波形的上升进行检测的方法而提取相似区间。即，区间提取部108提取与在图8的波形中相似度累计值变得大于下限阈值至相似度累计值变得小于上限阈值为止的期间的相似度累计值的最大值对应的候补动态图像的帧，作为相似区间的开始点。
该上限阈值和下限阈值也可以根据动态图像整体的运动量、直方图的图案样式(pattern)，动态地进行变更。
＊＊＊实施方式的效果的说明＊＊＊
通过使用本实施方式中说明过的相似度图，即使存在比较对象动作的时间长度的差异以及在比较对象动作之间存在特征量的连续的局部不一致，也能够提取相似场景。
而且，能够从长时间拍摄到的动态图像，涵盖时间性伸缩、局部性不同在内而提取与特定的动作相似的区间，从而能够缩短动态图像检索所花费的时间。
以上，针对本发明的实施方式进行了说明，但也可以将这2个实施方式组合而进行实施。
或者，也可以局部地实施这2个实施方式中的1个。
或者，也可以局部地将这2个实施方式组合而实施。
此外，本发明并不限于这些实施方式，可以根据需要而进行各种变更。
例如，在实施方式2中，特征量比较部12使用由实施方式1中说明过的特征量提取部11生成的特征量即运动矢量的偏角成分的特征量，从候补动态图像提取相似区间。但是，特征量比较部12也可以使用与运动矢量的偏角成分和与范数的特征量从候补动态图像提取相似区间。
＊＊＊硬件结构的说明＊＊＊
最后，进行动态图像处理装置10的硬件结构的补充说明。
在图2所示的存储装置204中，除了实现特征量提取部11、特征量比较部12及输入数计数器104的功能的程序之外，还对OS(Operating System)进行存储。
而且，OS的至少一部分是由处理器202执行的。
处理器202一边执行OS的至少一部分，一边执行实现特征量提取部11、特征量比较部12及输入数计数器104的功能的程序。
通过由处理器202执行OS，从而进行任务管理、存储管理、文件管理、以及通信控制等。
另外，表示特征量提取部11、特征量比较部12及输入数计数器104的处理结果的信息、数据、信号值、变量值被存储于存储装置204、处理器202内的寄存器及缓冲存储器的至少一个。
另外，实现特征量提取部11、特征量比较部12及输入数计数器104的功能的程序也可以存储于磁盘、软盘、光盘、高密度盘、蓝光(注册商标)盘、DVD等便携式存储介质。
另外，也可以将特征量提取部11及特征量比较部12的“部”改称为“电路”或“工序”或“流程”或“处理”。
另外，动态图像处理装置10也可以由逻辑IC(Integrated Circuit)、GA(GateArray)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-ProgrammableGate Array)等电子电路实现。
在该情况下，特征量提取部11、特征量比较部12及输入数计数器104各自作为电子电路的一部分而实现。
此外，也将处理器及上述电子电路总称为处理电路。
标号的说明
10动态图像处理装置，11特征量提取部，12特征量比较部，20动态图像运动信息，30查询特征量，40特征量记录，50相似区间信息，101滤波器，102偏角计算部，103直方图生成部，104输入数计数器，105平滑化处理部，106取得部，107相似度图生成部，108区间提取部，201输入接口，202处理器，203输出接口，204存储装置。

Claims (13)

1.一种动态图像处理装置，其具有：
取得部，其取得针对由多个帧构成的第1动态图像的各帧而生成的特征量即第1特征量以所述第1动态图像的帧的顺序排列的第1特征量列、以及针对由比所述第1动态图像多的多个帧构成的第2动态图像的各帧而生成的特征量即第2特征量以所述第2动态图像的帧的顺序排列的第2特征量列；以及
相似度图生成部，其一边使成为与所述第1特征量列的比较对象的所述第2动态图像的比较对象范围以所述第2动态图像的帧的顺序移动，一边进行所述第1特征量列和所述第2特征量列的比较，针对所述第2动态图像的每个帧，对所述第1特征量列内的所述第1特征量与比较对象范围的所述第2特征量列内的所述第2特征量的相似度进行计算而生成所述相似度按时序排列的相似度列，生成所述第2动态图像的每个帧的相似度列以所述第2动态图像的帧的顺序排列的相似度图。
2.根据权利要求1所述的动态图像处理装置，其中，
所述动态图像处理装置还具有区间提取部，该区间提取部对所述相似度图进行解析，对显现出与所述第1动态图像所显现出的运动相同的运动或相似的运动的所述第2动态图像的帧的区间即对应区间进行提取。
3.根据权利要求2所述的动态图像处理装置，其中，
所述区间提取部，
在所述相似度图中，针对所述第2动态图像的每个帧，从该帧的相似度列和后续于该帧的既定范围内的帧的相似度列中提取相似度累计值最高的路径即最佳路径，
对所述第2动态图像的每个帧的最佳路径的相似度累计值进行解析，提取所述对应区间。
4.根据权利要求3所述的动态图像处理装置，其中，
所述区间提取部提取与在以所述第2动态图像的帧的顺序对各最佳路径的相似度累计值进行绘图而得到的相似度累计值的波形中相似度累计值变得大于下限阈值至相似度累计值变得小于上限阈值为止的期间的相似度累计值的最大值对应的所述第2动态图像的帧，作为所述对应区间的开始点。
5.根据权利要求3所述的动态图像处理装置，其中，
所述区间提取部使用动态规划法，针对所述第2动态图像的每个帧而提取最佳路径。
6.根据权利要求1所述的动态图像处理装置，其中，
所述取得部取得从所述第1动态图像的各帧提取出的运动矢量的偏角成分的特征量即第1特征量以所述第1动态图像的帧的顺序排列的第1特征量列、以及从所述第2动态图像的各帧提取出的运动矢量的偏角成分的特征量即第2特征量以所述第2动态图像的帧的顺序排列的第2特征量列。
7.一种动态图像处理装置，其具有：
偏角计算部，其针对动态图像所包含的每个帧而对运动矢量的偏角成分进行计算；以及
直方图生成部，其使用所述偏角计算部的偏角成分的计算结果，针对每个帧而生成偏角成分的直方图数据。
8.根据权利要求7所述的动态图像处理装置，其中，
所述动态图像处理装置还具有平滑化处理部，该平滑化处理部针对由所述直方图生成部生成的所述偏角成分的直方图数据，进行使用了针对先行的任意数量的连续的帧而由所述直方图生成部生成的所述偏角成分的直方图数据的平滑化处理，生成特征量。
9.根据权利要求8所述的动态图像处理装置，其中，
所述平滑化处理部将与生成特征量的帧和所述任意数量的帧的每一者之间的时间距离相应的权重施加给所述任意数量的帧的所述偏角成分的直方图数据的每一者而进行平滑化处理。
10.一种动态图像处理方法，在该动态图像处理方法中，
由计算机取得针对由多个帧构成的第1动态图像的各帧而生成的特征量即第1特征量以所述第1动态图像的帧的顺序排列的第1特征量列、以及针对由比所述第1动态图像多的多个帧构成的第2动态图像的各帧而生成的特征量即第2特征量以所述第2动态图像的帧的顺序排列的第2特征量列，
所述计算机一边使成为与所述第1特征量列的比较对象的所述第2动态图像的比较对象范围以所述第2动态图像的帧的顺序移动，一边进行所述第1特征量列和所述第2特征量列的比较，针对所述第2动态图像的每个帧，对所述第1特征量列内的所述第1特征量与比较对象范围的所述第2特征量列内的所述第2特征量的相似度进行计算而生成所述相似度按时序排列的相似度列，生成所述第2动态图像的每个帧的相似度列以所述第2动态图像的帧的顺序排列的相似度图。
11.一种动态图像处理方法，在该动态图像处理方法中，
由计算机针对动态图像所包含的每个帧而对运动矢量的偏角成分进行计算，
所述计算机使用偏角成分的计算结果，针对每个帧而生成偏角成分的直方图数据。
12.一种动态图像处理程序，其使计算机执行如下处理：
取得处理，取得针对由多个帧构成的第1动态图像的各帧而生成的特征量即第1特征量以所述第1动态图像的帧的顺序排列的第1特征量列、以及针对由比所述第1动态图像多的多个帧构成的第2动态图像的各帧而生成的特征量即第2特征量以所述第2动态图像的帧的顺序排列的第2特征量列；以及
相似度图生成处理，一边使成为与所述第1特征量列的比较对象的所述第2动态图像的比较对象范围以所述第2动态图像的帧的顺序移动，一边进行所述第1特征量列和所述第2特征量列的比较，针对所述第2动态图像的每个帧，对所述第1特征量列内的所述第1特征量与比较对象范围的所述第2特征量列内的所述第2特征量的相似度进行计算而生成所述相似度按时序排列的相似度列，生成所述第2动态图像的每个帧的相似度列以所述第2动态图像的帧的顺序排列的相似度图。
13.一种动态图像处理程序，其使计算机执行如下处理：
偏角计算处理，针对动态图像所包含的每个帧而对运动矢量的偏角成分进行计算；以及
直方图生成处理，使用所述偏角计算部的偏角成分的计算结果，针对每个帧而生成偏角成分的直方图数据。
CN201680087486.4A 2016-07-11 2016-07-11 动态图像处理装置、动态图像处理方法及动态图像处理程序 Pending CN109478319A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070478 WO2018011870A1 (ja) 2016-07-11 2016-07-11 動画像処理装置、動画像処理方法及び動画像処理プログラム

Publications (1)

Publication Number Publication Date
CN109478319A true CN109478319A (zh) 2019-03-15

Family

ID=60952838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680087486.4A Pending CN109478319A (zh) 2016-07-11 2016-07-11 动态图像处理装置、动态图像处理方法及动态图像处理程序

Country Status (5)

Country Link
US (1) US20190220670A1 (zh)
JP (1) JP6419393B2 (zh)
CN (1) CN109478319A (zh)
DE (1) DE112016006940T5 (zh)
WO (1) WO2018011870A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177467A (zh) * 2021-04-27 2021-07-27 上海鹰觉科技有限公司 火焰识别方法及系统、装置、介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324660B (zh) * 2018-03-29 2021-01-19 北京字节跳动网络技术有限公司 一种重复视频的判断方法及装置
KR102608736B1 (ko) * 2020-12-15 2023-12-01 주식회사 포티투마루 질의에 대한 문서 검색 방법 및 장치

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6973257B1 (en) * 1999-07-08 2005-12-06 Hyundai Electronics Industries Method for indexing and searching moving picture using motion activity description method
CN101394559A (zh) * 2007-09-21 2009-03-25 扬智科技股份有限公司 动态图像处理方法、译码方法及其装置
CN101663899A (zh) * 2007-04-26 2010-03-03 松下电器产业株式会社 运动检测装置、运动检测方法、以及运动检测程序
US20100091864A1 (en) * 2007-06-07 2010-04-15 Fujitsu Limited Moving-image-similarity determination device, encoding device, and feature calculating method
JP2012123654A (ja) * 2010-12-09 2012-06-28 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法及び情報検索プログラム
CN102542571A (zh) * 2010-12-17 2012-07-04 中国移动通信集团广东有限公司 一种运动目标检测方法及装置
CN102693544A (zh) * 2011-03-25 2012-09-26 索尼公司 图像处理设备、图像处理方法、记录介质和程序
CN102710743A (zh) * 2012-04-16 2012-10-03 杭州斯凯网络科技有限公司 手持终端apn自适应的无线接入方法
JP2013501289A (ja) * 2009-08-06 2013-01-10 株式会社東芝 画像解析方法
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法
WO2015005196A1 (ja) * 2013-07-09 2015-01-15 株式会社日立国際電気 画像処理装置及び画像処理方法
CN105612513A (zh) * 2013-10-02 2016-05-25 株式会社日立制作所 图像检索方法、图像检索系统以及信息记录介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3330348B2 (ja) * 1999-05-25 2002-09-30 日本電信電話株式会社 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体
JP4197014B2 (ja) * 2006-07-18 2008-12-17 株式会社日立製作所 映像の検索方法および装置
EP2306719B1 (en) * 2008-06-26 2013-11-20 NEC Corporation Content reproduction control system and method and program thereof
JP2013164667A (ja) 2012-02-09 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 映像検索装置、映像検索方法、および映像検索用プログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
US6973257B1 (en) * 1999-07-08 2005-12-06 Hyundai Electronics Industries Method for indexing and searching moving picture using motion activity description method
CN101663899A (zh) * 2007-04-26 2010-03-03 松下电器产业株式会社 运动检测装置、运动检测方法、以及运动检测程序
US20100091864A1 (en) * 2007-06-07 2010-04-15 Fujitsu Limited Moving-image-similarity determination device, encoding device, and feature calculating method
CN101394559A (zh) * 2007-09-21 2009-03-25 扬智科技股份有限公司 动态图像处理方法、译码方法及其装置
JP2013501289A (ja) * 2009-08-06 2013-01-10 株式会社東芝 画像解析方法
JP2012123654A (ja) * 2010-12-09 2012-06-28 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法及び情報検索プログラム
CN102542571A (zh) * 2010-12-17 2012-07-04 中国移动通信集团广东有限公司 一种运动目标检测方法及装置
CN102693544A (zh) * 2011-03-25 2012-09-26 索尼公司 图像处理设备、图像处理方法、记录介质和程序
CN102710743A (zh) * 2012-04-16 2012-10-03 杭州斯凯网络科技有限公司 手持终端apn自适应的无线接入方法
WO2015005196A1 (ja) * 2013-07-09 2015-01-15 株式会社日立国際電気 画像処理装置及び画像処理方法
CN105612513A (zh) * 2013-10-02 2016-05-25 株式会社日立制作所 图像检索方法、图像检索系统以及信息记录介质
CN104021676A (zh) * 2014-06-25 2014-09-03 上海交通大学 基于车辆动态视频特征的车辆定位及车速测量方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ELI SHECHTMAN等: "Matching Local Self-Similarities across Images and Videos", 《2007 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
孙达辰: "基于DTW的时间序列相似性搜索的研究", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
张庭厚: "多源动态图像序列配准研究", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
邱玉等: "结合运动时序性的人脸表情识别方法", 《电子学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177467A (zh) * 2021-04-27 2021-07-27 上海鹰觉科技有限公司 火焰识别方法及系统、装置、介质

Also Published As

Publication number Publication date
US20190220670A1 (en) 2019-07-18
DE112016006940T5 (de) 2019-03-14
JPWO2018011870A1 (ja) 2018-10-25
JP6419393B2 (ja) 2018-11-07
WO2018011870A1 (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
Deng et al. Relation distillation networks for video object detection
Krähenbühl et al. Geodesic object proposals
US11625953B2 (en) Action recognition using implicit pose representations
Xiang et al. Cross-modality person re-identification based on dual-path multi-branch network
US9691180B2 (en) Determination of augmented reality information
KR101825719B1 (ko) 뇌 영상 처리 방법과 이를 이용하는 임상 뇌 영상과 표준 뇌 영상의 매칭 방법 및 장치
WO2014094627A1 (en) System and method for video detection and tracking
JP2008530627A (ja) サンプルされたデータから統合ヒストグラムを抽出するコンピュータ実行方法
CN108108662A (zh) 深度神经网络识别模型及识别方法
US9275483B2 (en) Method and system for analyzing sequential data based on sparsity and sequential adjacency
US10832030B2 (en) Method and apparatus of selecting candidate fingerprint image for fingerprint recognition
CN109478319A (zh) 动态图像处理装置、动态图像处理方法及动态图像处理程序
Chen et al. Recognition of aggressive human behavior using binary local motion descriptors
CN110555345A (zh) 智能图像分析系统和方法
US20180189571A1 (en) Method and apparatus for determining signature actor and identifying video based on probability of appearance of signature actor
CN108876818A (zh) 一种基于似物性和相关滤波的目标跟踪方法
US9165220B2 (en) Image object recognition based on a feature vector with context information
Chen et al. Efficient activity detection in untrimmed video with max-subgraph search
Jiang et al. Application of a fast RCNN based on upper and lower layers in face recognition
CN112396063A (zh) 一种基于聚集激励上下文金字塔的人像语义解析方法
Yu et al. Reading digital video clocks
CN109446963A (zh) 基于hsv和lbp结合的地表状态识别算法
CN110503110A (zh) 特征匹配方法和装置
KR101507998B1 (ko) 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치
Shen et al. Pedestrian proposal and refining based on the shared pixel differential feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230228