CN103597817A - 运动图像解析装置、运动图像解析方法、程序及集成电路 - Google Patents

运动图像解析装置、运动图像解析方法、程序及集成电路 Download PDF

Info

Publication number
CN103597817A
CN103597817A CN201380001598.XA CN201380001598A CN103597817A CN 103597817 A CN103597817 A CN 103597817A CN 201380001598 A CN201380001598 A CN 201380001598A CN 103597817 A CN103597817 A CN 103597817A
Authority
CN
China
Prior art keywords
detection zone
frame
interval
image analysis
association area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380001598.XA
Other languages
English (en)
Other versions
CN103597817B (zh
Inventor
前田和彦
小沼知浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103597817A publication Critical patent/CN103597817A/zh
Application granted granted Critical
Publication of CN103597817B publication Critical patent/CN103597817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明的运动图像解析装置，在运动图像中确定与一个目标物有关的目标物关联区间，该运动图像解析装置具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。根据本发明的运动图像解析装置，能够在运动图像中适当地确定与一个目标物相关联的区间。

Description

运动图像解析装置、运动图像解析方法、程序及集成电路
技术领域
本发明涉及从由数字摄像机等摄影的运动图像提取拍摄有目标物的区间等并进行解析的装置。
背景技术
有如下的需求：着眼于运动图像中出现的特定的目标物（例如人物），从保有的运动图像仅提取拍摄有特定的目标物的区间并进行阅览及编辑。
作为用于满足该需求的方法，为了能够轻松地提取拍摄有该特定的目标物的区间，可以想到对运动图像预先赋予目标物的检测信息的方法。
作为从运动图像检测特定的人物的技术，可以举出面部检测技术、根据基于面部的运动信息计算出的面部区域的位置的变化量来跟随人物的技术（例如参照专利文献1）、以及基于相当于躯干的区域的信息来跟随人物的技术（例如参照专利文献2）等。
在先技术文献
专利文献
专利文献1：特开2010-50934号公报
专利文献2：专利第4830650号公报
发明的概要
发明所要解决的课题
但是，在一般的面部检测技术中，由于面部的朝向等不同而面部的检测存在极限，有时无法从运动图像检测人物。此外，在专利文献1中，当面部区域的位置的变化成为规定量以上时，无法跟随人物而无法从运动图像检测人物。此外，在专利文献2中，在无法得到相当于躯干的区域的信息的情况下，无法跟随人物而无法从运动图像检测人物。
这样，在运动图像中，即使是作为被摄体拍摄了特定的人物（A）的区间，有时也无法从该区间检测到人物（A）。在现有技术中，对于这样的无法检测到人物（A）的区间，即使拍摄有人物（A），也无法作为拍摄有人物（A）的区间提取。根据以上情况，为了满足上述的用户需求，仅对实际检测到目标物的区间赋予目标物的检测信息并不能说是充分的。
发明内容
本发明鉴于上述情况，其目的在于，提供一种运动图像解析装置，在运动图像中适当地确定与一个目标物相关联的区间。
解决课题所采用的手段
为了解决上述以往的课题，一种运动图像解析装置，在运动图像中确定与一个目标物有关的目标物关联区间，该运动图像解析装置具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
发明的效果：
根据本发明的运动图像解析装置，能够在运动图像中适当地确定与一个目标物相关联的区间。
附图说明
图1是实施方式1的运动图像解析装置100的功能框图。
图2是表示实施方式1的运动图像解析装置100的整体动作的流程图。
图3是用于说明目标物检测部102中的目标物的检测处理的一例以及目标物追踪部103中的目标物的追踪处理的一例的图。
图4是由目标物检测部102、目标物追踪部103及目标物识别部104生成的、与目标物的检测·追踪·识别有关的信息的一例。
图5是由场景检测部105生成的、运动图像中的场景的分界处信息的一例。
图6是表示实施方式1的目标物关联区间确定的处理的流程图。
图7是在目标物检测部102中能够检测的面部的朝向的一例。
图8是在目标物检测部102中能够检测的目标物的检测区域的一例。
图9是用于说明实施方式1的目标物关联区间确定的处理的图。
图10是在目标物关联区间确定部106中生成的、运动图像中的目标物关联区间信息的一例。
图11是表示实施方式2的目标物关联区间确定的处理的流程图。
图12是与各帧中的影像的抖动有关的信息的一例。
图13是用于说明实施方式2的目标物关联区间确定的处理的图。
图14是表示实施方式3-1的目标物关联区间确定的处理的流程图。
图15是用于说明实施方式3-1的目标物关联区间确定的处理的图。
图16是表示实施方式3-2的目标物关联区间确定的处理的流程图。
图17是用于说明实施方式3-2的目标物关联区间确定的处理的图。
图18是在实施方式3-2的目标物关联区间确定的处理中使用的周边规定区域的一例。
图19是在实施方式3-2的目标物关联区间确定的处理中使用的周边规定区域的另一例。
图20是表示实施方式4的目标物关联区间确定的处理的流程图。
图21是用于说明实施方式4的目标物关联区间确定的处理的图。
图22是实施方式5的运动图像解析装置1000的功能框图。
图23是表示实施方式5的运动图像解析装置1000的整体动作的流程图。
图24是表示实施方式5的目标物关联区间确定的处理的流程图。
图25（a）～（c）是用于说明实施方式5的目标物关联区间确定的处理的图。
具体实施方式
＜得到本发明的一个方式的过程＞
如上述那样，目标物的检测技术及追踪技术存在极限，在运动图像中，实际拍摄有目标物但是无法检测到该目标物的区间，无法作为拍摄有该目标物的区间来提取。
此外，摄影者在拍摄以特定的目标物（例如人物）为被摄体的运动图像时，未必能够以该目标物持续出现在运动图像中的方式进行摄影。例如，有时作为被摄体的人物的运动较大而摄影者无法用摄像机跟上该人物，从而该人物离开画面。此外，摄影者一边移动一边对作为被摄体的人物进行摄影时，有时摄影者的运动较大而该人物离开画面。进而，有时摄影者有意地在对作为被摄体的人物进行摄影的余暇，临时对与该人物不同的目标物或风景进行摄影，从而该人物离开画面。像这种作为被摄体的人物离开画面的区间当然检测不到该人物，无法作为该人物被摄影的区间来提取。
因此，基于目标物的检测信息从运动图像提取某特定的人物被摄影的区间而制作例如运动图像剪辑的情况下，无法提取上述那样的未检测到该人物的区间，所以制作的运动图像剪辑有时是断续的。用户不关心目标物的检测，想要连续地观看将特定的目标物作为被摄体摄影的一系列区间。
鉴于以上情况，发明者得到如下的见解：即使是在运动图像中未检测到一个目标物的非检测区间，只要将被推定为与未检测到该一个目标物的检测区间连续的一系列区间的区间作为与该一个目标物有关的区间来处理即可。
在本发明的实施方式中，基于上述见解，其目的在于，提供一种运动图像解析装置，对于在运动图像未检测到一个目标物的非检测区间，进行确定是否是与该一个目标物相关联的区间的处理。
＜实施方式1＞
以下参照附图说明实施方式1的运动图像解析装置。
图1是实施方式1的运动图像解析装置100的功能框图。
运动图像解析装置100与摄影装置120及显示装置130连接。
摄影装置120是具有拍摄运动图像的功能和储存所拍摄的运动图像的功能的装置。摄影装置120例如由数字摄影机构成。此外，运动图像解析装置100和摄影装置120例如经由USB（Universal Serial Bus）缆线连接。
显示装置130具有显示从运动图像解析装置100输出的运动图像等的功能。显示装置130例如由数字电视机构成。此外，运动图像解析装置100和显示装置130例如经由HDMI（注册商标/High-Definition MultimediaInterface）缆线连接。
接下来说明运动图像解析装置100的内部构成。
如图1所示，运动图像解析装置100具备：运动图像取得部101、目标物检测部102、目标物追踪部103、目标物识别部104、场景检测部105、以及目标物关联区间确定部106。
运动图像取得部101取得摄影装置120所储存的运动图像。运动图像取得部101例如由用于插入USB缆线的USB端口及USB驱动器等控制接口的软件构成。
目标物检测部102从在运动图像取得部101中取得的运动图像的各帧检测各帧中出现的目标物。作为检测的目标物，可以举出人物的面部、狗或猫等动物、汽车、建筑物等。
目标物追踪部103对在目标物检测部102中检测到的各目标物进行追踪处理。具体地说，目标物追踪部103通过确认在一个帧中检测到的一个目标物在该一个帧的下一帧中存在于哪个区域，进行各目标物的追踪处理。
目标物识别部104对由目标物追踪部103追踪的各目标物进行识别处理。具体地说，目标物识别部104在运动图像中识别在一个区间追踪的目标物和在与该一个区间不同的区间追踪的目标物是否为同一目标物。
场景检测部105从在运动图像取得部101中取得的运动图像检测场景的分界处。
“场景”指的是，在运动图像中在影像的内容上有联系的区间、以及在时间上有联系的区间等。场景检测部105例如在拍摄有运动会的场面的运动图像中，将分别拍摄有开幕式和赛跑的区间作为不同的场景来检测。
目标物关联区间确定部106在运动图像中确定与在目标物识别部104中识别的各目标物有关的目标物关联区间。另外，除了检测到该目标物的检测区间，目标物关联区间确定部106将被推定为可能是与该目标物相关联的区间的区间也确定为与该目标物有关的目标物关联区间。目标物关联区间确定部106的详细处理内容留待后述。
另外，这些目标物检测部102、目标物追踪部103、目标物识别部104、场景检测部105及目标物关联区间确定部106例如由保存各自的处理用的程序等的ROM等存储器、执行程序的CPU、用于展开程序的数据的RAM等存储器构成。
使用图2的流程图来说明运动图像解析装置100的整体动作。
首先，运动图像取得部101取得摄影装置120储存的运动图像（S201）。
接着，目标物检测部102从取得的运动图像的各帧检测目标物（S202）。
使用图3，详细说明步骤S202的处理。在图3中，举出作为目标物而检测人物的面部的例子。
在图3中，301是取得的运动图像，302是运动图像301的第t帧，303是运动图像301的第（t＋1）帧。目标物检测部102例如从运动图像301取得302及303等多个帧，作为目标物从取得的各帧检测人物的面部。
作为目标物的检测方法，例如有如下方法：对于运动图像的各帧，使用对帧预先准备的面部学习词典来切出包含有目标物的区域。使用该方法的情况下，例如在图3中，从帧302切出目标物304的区域，从帧303切出目标物305的区域，作为人物的面部检测到目标物304及305。
接着，目标物追踪部103对在运动图像中从各帧检测到的各目标物进行追踪处理（S203）。
作为目标物的追踪方法，例如有如下方法：将从一个帧检测到的一个目标物、和从一个帧的下一帧检测到的目标物中的、其检测区域与从一个帧检测到的一个目标物的检测区域一致或存在于十分接近的位置的目标物判断为同一个目标物，从而追踪一个目标物。使用该方法的情况下，例如在图3中，从帧302检测到的目标物304的检测区域和从帧303检测到的目标物305的区域大体处于相同位置，所以目标物追踪部103将目标物304与目标物305判断为同一目标物，从帧302到帧303追踪目标物304（305）。
目标物识别部104对由目标物追踪部103追踪的各目标物进行识别处理（S204）。具体地说，目标物识别部104在运动图像中识别在一个区间追踪的目标物和在与该一个区间不同的区间追踪的目标物是否为同一目标物。
作为识别目标物的方法，例如有如下方法：首先由目标物追踪部103从各目标物被追踪的区间的、即各目标物的检测区间的任意帧分别提取作为该追踪对象的目标物的图像特征量。然后，将提取的图像特征量类似的追踪对象的目标物彼此识别为同一个目标物。
此外，识别目标物的方法不限于该方法，例如还有如下方法：事先登录特定的目标物的图像特征量，通过比较所提取的各追踪区间的追踪对象即目标物的图像特征量和已登录的特定的目标物的图像特征量，来识别该特定的目标物。
另外，“图像特征量”表示图像中的各像素的像素值的分布的特征。图像特征量例如通过以表示图像的特征的多个数值为成分的矢量来表示。图像的特征有使用Gabor滤波器得到的图像数据的像素值的分布的周期性及方向性等。在人物的面部的图像特征量的情况下，能够将根据像素值的分布的周期性及方向性等识别为眼睛的2点之间的距离、识别为鼻子的点和识别为嘴的点的距离等的量作为矢量的成分。
图4是表示通过以上的步骤S202～S204的处理而生成的、与目标物的检测·追踪·识别有关的信息的一例的图。另外，该与目标物的检测·追踪·识别有关的信息可以保存在运动图像解析装置100所具备的存储部中，也可以保存在能够从运动图像解析装置100访问的外部存储部中。
在图4中，与目标物的检测·追踪·识别有关的信息包括：运动图像中的各目标物的检测区间信息、在各检测区间中检测对象即目标物的识别ID信息、各检测区间的始点及终点帧信息。此外，各检测区间的始点及终点帧信息包括：帧ID信息、该识别ID的目标物的检测区域信息及朝向信息。此外，在该一例中，目标物的检测区域信息通过帧中的检测到目标物的矩形区域的左上的坐标点和该矩形区域的纵横宽度来表示。
返回图2继续说明。
场景检测部105在由运动图像取得部101取得的运动图像中检测场景的分界处（S205）。
作为检测场景的分界处的方法，例如有基于连续的帧间的影像信息的变化来检测场景的分界处的方法。
影像信息是色相及亮度等信息。例如，场景检测部105在从一个帧到该一个帧的下一帧中的帧整体的影像信息的变化为规定程度以上的情况下，将一个帧和该一个帧的下一帧的边界检测为场景的分界处。此外，检测场景的分界处的方法不限于该方法，例如也可以使用基于音响信息的变化来检测场景的分界处的方法。
图5是表示场景的分界处信息的一例的图。另外，该场景的分界处信息也和上述的与目标物的检测·追踪·识别有关的信息同样，可以保存在运动图像解析装置100所具备的存储部中，也可以保存在能够从运动图像解析装置100访问的外部存储部中。
在图5中，场景的分界处信息包括：运动图像中的各场景的ID信息、各场景的始点及终点帧信息。
接着，目标物关联区间确定部106基于通过步骤S202～S204的处理而生成的与目标物的检测·追踪·识别有关的信息、通过步骤S205的处理而生成的场景的分界处信息，确定运动图像中的目标物关联区间（S206）。
使用图6的流程图来说明该步骤S206的处理。
首先，目标物关联区间确定部106提取同一场景中包含的检测区间且检测到由目标物识别部104识别为同一目标物的目标物（以下将该目标物称为“处理对象目标物”）的检测区间（S601）。另外，在该步骤S601中，提取的检测区间至少一部分包含在该同一场景中即可。
使用图4和图5具体说明该步骤S601的处理。
在图5中，场景1是从帧0到帧182的区间。因此，在图4中，场景1中包含的检测区间是检测区间1～5。另外，这时，检测区间5是从帧113到帧224的区间，检测区间5的一部分包含在场景1中，所以被看作包含在同一场景中的检测区间。
然后，在该检测区间1～5中，检测到被识别为同一目标物的目标物（处理对象目标物）的检测区间是检测到目标物1的检测区间1、3及5。因此，在步骤S601中，提取检测区间1、3及5。
接着，目标物关联区间确定部106在步骤S601提取的检测区间中，选择未在之间夹着在另一步骤S601提取的检测区间的2个检测区间（S602）。
使用图4具体说明该步骤S602的处理。
在图4中，设在步骤S601中检测到检测区间1、3及5。这时，在检测区间1、3及5中，没有在之间夹着在另一步骤S601提取的检测区间的2个检测区间的组合为检测区间1与3或检测区间3与5的组合。因此，在步骤602中，选择检测区间1与3或检测区间3与5。另外，关于检测区间1与5的组合，由于在检测区间1与5之间存在检测区间3，所以不被选择。
接着，目标物关联区间确定部106确定在步骤S602选择的2个检测区间中的、在时间上存在于前方的检测区间的终点帧中的该处理对象目标物的检测结果是否为极限值（S603）。
“极限值”通过值来表示在目标物检测部102中决定的、目标物的检测的极限。以下说明极限值的例子。
例如，在目标物为人物的面部的情况下，关于通常能够检测的面部，有朝向·大小·帧的坐标等限制。
首先，使用图7说明与人物的面部的“朝向”有关的极限值。运动图像中出现的面部不仅存在朝向正面的面部，也存在朝向上下左右等各种方向的面部，但是能够由目标物检测部102检测的面部的朝向例如如图7所示，限制在从正面相对于各旋转轴30度以内。这种情况下，目标物检测部102无法检测倾斜30度以上的面部，所以与人物的面部的“朝向”有关的极限值为“相对于各旋转轴30度”。
另外，与能够由目标物检测部102检测的面部的朝向有关的限制不限于图7的例子，例如，有时根据人物的面部的大小不同，能够检测的面部的朝向也不同。这种情况下，设定使人物的面部的大小与朝向建立了对应的极限值即可。
接下来，说明与人物的面部的“大小”有关的极限值。例如，设能够由目标物检测部102检测的面部的最小尺寸为35像素，最大尺寸为200像素。这种情况下，无法检测低于35像素或大于200像素的面部，所以与人物的面部的“大小”有关的极限值为“35像素”及“200像素”。
接下来，使用图8说明与“帧的坐标点”有关的极限值。例如，设帧尺寸为640×480，对于由目标物检测部102检测的面部的矩形区域，将（左上的X坐标，左上的Y坐标，纵横宽度）设为（x1，y1，wh1）。并且，拍摄有面部的区域位于与帧框相接的区域的情况是能够检测面部的极限，面部整体未包含在帧框内的情况下，也就是仅面部的一部分出现在帧内的情况下，无法检测到面部。这种情况下，与“帧的坐标点”有关的极限值成为：x1的最小值0、（x1＋wh1）的最大值640、y1的最小值0、及（y1＋wh1）的最大值480。例如在图8中，在（x1，y1，wh1）＝（0、400、50）的矩形区域检测到人物的面部。该矩形区域与帧框相接，x1＝0，所以意味着该检测到的人物的面部的检测结果是极限值。
另外，在本实施方式1的步骤S603及后述的S604中，目标物关联区间确定部106确认该处理对象目标物的检测结果是否为极限值，但是不限于此，也可以确认该处理对象目标物的检测结果是否处在从极限值起规定的范围内、换言之是否处在基于该处理对象目标物的检测的极限决定的值的范围内。
例如，关于“帧的坐标点”，目标物关联区间确定部106也可以确认该处理对象目标物的检测区域是否处在从帧框起规定的范围内侧的区域、换言之是否处在帧框的附近的区域。
另外，该帧框的附近的区域也可以根据帧尺寸来设定。例如，帧尺寸为640×480的情况下，可以将从帧框的上边及下边起的帧宽度640像素的5%＝32像素内侧的区域、以及从帧框的右边及左边起的帧高度480像素的5%＝24像素内侧的区域作为规定的范围的区域。这种情况下，目标物关联区间确定部106确认该处理对象目标物的检测区域是否满足0＜x1＜32、（640-wh1-32）＜x1＜（640-wh1-32）、0＜y1＜24、以及（480-wh1-24）＜y1＜（480-wh1）中的1个以上即可。
此外，关于“面部的朝向”，目标物关联区间确定部106也可以确认该处理对象目标物的朝向是否处于极限值起规定范围的朝向。此外，规定范围的朝向也可以根据目标物检测部102的检测精度来设定。例如，相对于图7的各旋转轴，30度为极限值的情况下，可以将从极限值起的规定范围设为28度（极限值30度－（30度的5%≈2度））到30度的范围。
在步骤S603的处理中，目标物关联区间确定部106在选择的2个检测区间中的、时间上存在于前方的检测区间的终点帧中的该处理对象目标物的检测结果为极限值的情况下（S603：是），进入步骤S604的处理，检测结果不是极限值的情况下（S603：否），进入S606的处理。
在步骤S604中，目标物关联区间确定部106确认在步骤S602中选择的2个检测区间中的、时间上存在于后方的检测区间的始点帧中的该处理对象目标物的检测结果是否为极限值。然后，该处理对象目标物的检测结果是极限值的情况下（S604：是），将2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象的目标物有关的目标物关联区间（S605）。换言之，将从2个检测区间中的从时间上存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。该处理对象目标物的检测结果不是极限值的情况下（S604：否），目标物关联区间确定部106进入步骤S606的处理。
使用图4及图9来具体说明步骤S603及S604的处理。例如，在步骤S602中，作为2个检测区间选择检测区间1及3。这2个检测区间中的、时间上存在于前方的检测区间是检测区间1，时间上存在于后方的检测区间是检测区间3。此外，在图9中，帧55是检测区间1的终点帧，帧78是检测区间3的始点帧。此外，帧55及帧78中出现的目标物是在图4中赋予了识别ID1的目标物1，是步骤S603及S604的处理中的该处理对象目标物。此外，在目标物关联区间确定部106中，设定有与上述说明的“帧的坐标点”有关的极限值。
这时，由于检测区间1的终点帧（帧55）中的目标物1的检测区域的左上的X坐标为0、即极限值（S603：是），所以目标物关联区间确定部106进入步骤S604的处理。
接下来，由于检测区间3的始点帧（帧78）中的目标物1的检测区域的左上的X坐标为0、即极限值（S604：是），所以目标物关联区间确定部106将从检测区间1的始点帧（帧4）到检测区间3的终点帧（帧98）为止的区间确定为与目标物1有关的目标物关联区间。
这样，如果所选择的2个检测区间中的、时间上存在于前方的检测区间的终点帧及时间上存在于后方的检测区间的始点帧各自的该处理对象目标物的检测结果为极限值，则推测为在选择的2个检测区间之间的区间中未检测到该处理对象目标物的原因在于超过了能够由目标物检测部102检测的目标物的极限。
另外，在上述具体例中，说明了在目标物关联区间确定部106中设定与“帧的坐标点”有关的极限值的情况，但除了与“帧的坐标点”有关的极限值之外，例如也可以设定与上述说明的人物的面部的“朝向”或“大小”有关的极限值。此外，在目标物关联区间确定部106中，也可以设定与上述说明的“帧的坐标点”、人物的面部的“朝向”及“大小”等有关的极限值中的多个或全部极限值。这种情况下，在步骤S603及S604中，目标物关联区间确定部106可以确认该帧中的该处理对象目标物的检测结果是否为设定的极限值中的至少一个极限值。
回到图6继续说明。
在步骤S606中，在步骤S602中已选择了能够选择的2个检测区间的全部组合的情况下（S606：是），目标物关联区间确定部106进入步骤S607的处理，未选择全部组合的情况下（S606：否），返回S602的处理。
在步骤S607中，在步骤S601中已经对全部场景且全部目标物提取了检测区间的情况下（S607：是），目标物关联区间确定部106进入步骤S608的处理，未提取的情况下（S607：否），回到S601的处理。
在步骤S608中，目标物关联区间确定部106基于步骤S605的确定结果，决定与在步骤S204识别的各目标物有关的目标物关联区间。
图10是在步骤S608中决定的、与运动图像中的各目标物有关的目标物关联区间信息的一例。另外，目标物关联区间信息可以保存在运动图像解析装置100所具备的存储部中，也可以保存在能够从运动图像解析装置100及显示装置130访问的外部存储部中。
在图10中，目标物关联区间信息包括：各目标物关联区间的ID信息、各目标物关联区间中的处理对象目标物的识别ID信息、各目标物关联区间的始点及终点帧信息。
使用图4及图10来具体说明步骤S608的处理。另外，在步骤S605中，将从检测区间1的始点帧（帧4）到检测区间3的终点帧（帧98）为止的区间、和从检测区间3的始点帧（帧78）到检测区间5的终点帧（帧224）为止的区间分别确定为与目标物1有关的目标物关联区间。此外，在本具体例中，设检测到目标物1的检测区间仅为检测区间1、3及5。
这时，基于该步骤S605的确定结果，目标物关联区间确定部106在步骤S608中如图10所示，将从检测区间1的始点帧（帧4）到检测区间5的终点帧（帧224）为止的区间决定为与目标物1有关的目标物关联区间。这样，在步骤S608中，目标物关联区间确定部106通过进行整理步骤S605的确定结果的处理，决定与各目标物有关的目标物关联区间。
显示装置130在例如从用户指示了与一个目标物相关联的运动图像的再现的情况下，能够参照由该运动图像解析装置100生成的、与运动图像中的各目标物有关的目标物关联区间信息，提取与该一个目标物有关的目标物关联区间并进行再现。
＜总结＞
在实施方式1的运动图像解析装置100中，目标物关联区间确定部106在满足下述（1）及（2）的情况下，将在运动图像中未检测到一个目标物的非检测区间确定为与该一个目标物有关的目标物关联区间。
（1）该非检测区间和与该非检测区间在时间上连续的前方及后方的检测到该一个目标物的各检测区间包含在同一场景中。
（2）在该前方的检测区间的终点帧及该后方的检测区间的始点帧中分别检测到的该一个目标物分别满足作为该一个目标物的检测的极限而决定的1个以上极限条件中的至少1个。极限条件是作为该一个目标物的检测的极限而决定的条件，例如可以举出该一个目标物在该终点帧或始点帧的规定区域中被检测到、该一个目标物的朝向为规定的范围内、或者该一个目标物的大小为规定大小的范围内等。
满足上述（1）及（2）的条件的情况下，未检测到该一个目标物的该非检测区间例如被推测为：（i）实际上拍摄有该一个目标物，但是由于目标物检测技术的限制而未检测到该一个目标物；（ii）该一个目标物的运动或摄影者的运动较大，是该一个目标物离开画面的区间。根据本实施方式1的运动图像解析装置100，除了检测到特定的目标物的区间，如上述（i）及（ii）那样，被推测为可能与该目标物相关联的区间也能够作为与该目标物有关的目标物关联区间来管理。由此，用户能够轻松地从运动图像提取与特定的目标物相关联的区间，或者所提取的该运动图像对用户来说是容易观看的运动图像。
＜实施方式2＞
在实施方式1的运动图像解析装置100中，说明了在目标物关联区间确定部106中，基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确定运动图像中的目标物关联区间。尤其是，在实施方式1的运动图像解析装置100中，在与未检测到一个目标物的非检测区间的两端帧分别邻接的各帧中，判定该一个目标物是否为极限值，从而确定未检测到该一个目标物的该非检测区间是否是与该一个目标物有关的目标物关联区间。
对此，在本实施方式2的运动图像解析装置中，尤其是，通过对未检测到一个目标物的非检测区间中的影像的抖动（或摄影设备的加速度）进行判定处理，确定未检测到该一个目标物的该非检测区间是否为与该一个目标物有关的目标物关联区间。
以下说明实施方式2的运动图像解析装置。另外，对于与上述实施方式重复的构成及处理步骤赋予相同符号并省略其说明。
实施方式2的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示装置130的功能等与上述实施方式1相同，因此省略说明。
实施方式2的运动图像解析装置的内部构成与上述实施方式1的运动图像解析装置100（图1）相同，因此省略说明。但是，实施方式2的运动图像解析装置的目标物关联区间确定部106所进行的具体处理内容与上述实施方式1的运动图像解析装置100不同。详细情况留待后述。
接下来说明实施方式2的运动图像解析装置的动作。
实施方式2的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追踪·识别（S202～S204）、以及检测运动图像的场景的分界处（S205）的处理。这些处理与实施方式1相同，因此省略说明。
接下来，实施方式2的运动图像解析装置在目标物关联区间确定部106中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确定运动图像中的目标物关联区间（S206A）。该步骤S206A的具体处理内容与上述实施方式1的步骤S206不同。
使用图11的流程图来说明该步骤S206A的处理。
步骤S601及S602的处理与实施方式1相同。
在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检测区间且检测到由目标物识别部识别为相同的目标物的检测区间。
在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测区间中，选择未在之间夹着在另外的步骤S601中提取的检测区间的2个检测区间。
接着，目标物关联区间确定部106判定在步骤S602中选择的2个检测区间之间的非检测区间中的影像的抖动是否满足规定的条件（S1001）。然后，在该影像的抖动满足规定的条件的情况下（S1001：是），将所选择的2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物有关的目标物关联区间（S605）。换言之，将所选择的2个检测区间中的、从时间使存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。该影像的抖动不满足规定的条件的情况下（S1001：否），进入步骤S606的处理。
成为步骤S1001的判定基准的规定条件例如可以设为在2个检测区间之间的区间中全部帧的影像的抖动的大小为一定大小以上。
作为取得影像的抖动的大小的方法，例如可以使用如下方法：计算表示连续的帧之间的各像素的位移的光流，并计算所计算出的各光流的平均。然后，将计算出的各光流的平均看作连续的帧之间的图像整体的位移，将该各光流的平均的大小作为影像的抖动的大小。
另外，连续的帧之间的各像素的光流作为各像素的平面方向的位移来表现。这是因为，在连续的帧之间，帧之间的旋转量能够近似为0。即，连续的帧之间的各像素的光流能够通过将各像素的X轴方向的位移ui和Y轴方向的位移vi为要素的矢量（ui，vi）来表示。
图12表示与在各帧中计算的影像的抖动有关的信息的一例。图12包括帧ID及各帧中的影像的位移的项目。在图12中，各帧的影像的位移指的是各帧与各帧的前一帧之间的图像整体的位移，通过矢量（ui，vi）来表示。例如，帧55的影像的位移是帧55与帧55的前一帧54之间的图像整体的位移，通过矢量55来表示。
在此，使用图4、图12及图13来具体说明步骤S1001的处理。
另外，在本具体例中，作为成为步骤S1001的判定基准的规定条件，目标物关联区间确定部106判定在2个检测区间之间的非检测区间中全部帧的影像的抖动的大小是否为一定的大小以上。此外，在步骤S602中，作为2个检测区间，选择检测区间1及3。检测区间1与3之间的区间是从帧56到帧77的区间。
这时，在步骤S1001中，目标物关联区间确定部106确定检测区间1与3之间的区间、即从帧56到帧77的区间中的全部帧的影像的抖动的大小是否为一定的大小以上。在图11中，从帧56到帧77的影像的抖动通过矢量56到矢量77来表示。从该矢量56到矢量77的全部大小为设定的一定大小以上的情况下（S1001：是），将从检测区间1的始点帧（帧4）到检测区间3的终点帧（帧98）确定为与目标物1有关的目标物关联区间（S605）。
另外，成为步骤S1001的判定基准的规定条件不限于上述条件。例如也可以是[规定的条件1]：2个检测区间之间的非检测区间中的影像的抖动的最大值为设定的阈值以上。此外，也可以是[规定的条件2]：2个区间之间的非检测区间中的影像的抖动的平均为设定的阈值以上。此外，也可以是[规定的条件3]：在2个区间之间的非检测区间中，影像的抖动为阈值以上的帧的个数是一定数以上。此外，也可以是[规定的条件4]：在2个检测区间之间的非检测区间中，各帧的影像的抖动的变化量为一定的变化量以上。
此外，上面说明了在步骤S1001中目标物关联区间确定部106判定在步骤S602中选择的2个检测区间之间的非检测区间中的影像的抖动是否满足规定的条件，从而确定目标物关联区间，但是用于确定目标物关联区间的处理不限于该步骤S1001。
例如，在摄影装置中内置有陀螺传感器等手抖感测传感器的情况下，目标物关联区间确定部106也可以使用由该手抖感测传感器计测的摄影装置的加速度信息来确定目标物关联区间。具体地说，在步骤S602的处理之后，也可以取代步骤S1001，而由目标物关联区间确定部106确认在步骤S602中选择的2个检测区间之间的非检测区间被摄影时的摄影装置的加速度是否满足规定的条件（S1001A）。然后，在该加速度满足规定的条件的情况下（S1001A：是），将2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物有关的目标物关联区间（S605），该加速度不满足规定的条件的情况下（S1001A：否），进入步骤S606的处理。
另外，成为该步骤S1001A的判定基准的规定的条件也可以是：2个检测区间之间的非检测区间被摄影时的摄影装置的加速度的大小的最大值为一定的大小以上。
这样，如果满足所选择的2个检测区间之间的非检测区间中的影像的抖动为规定的大小以上这一条件、或者摄影设备的加速度的大小为规定的大小以上这一条件，则能够推测为在该非检测区间未检测到该处理对象目标物的原因在于影像的抖动或摄影设备的抖动。
接下来，步骤S606及S607的处理与实施方式1相同，因此省略说明。
＜总结＞
在实施方式2的运动图像解析装置中，目标物关联区间确定部106在满足下述（1A）及（2A）的情况下，将在运动图像中未检测到一个目标物的非检测区间确定为与该一个目标物有关的目标物关联区间。
（1A）该非检测区间和与该非检测区间在时间上连续的前方及后方的检测到该一个目标物的各检测区间包含在同一场景中。
（2A）该非检测区间中的影像的抖动（或摄影设备的加速度的位移）为规定的程度以上。
在满足上述（1A）及（2A）的条件的情况下，未检测到该一个目标物的该非检测区间例如能够推测为：（iii）实际上拍摄到了该一个目标物，但由于影像的抖动而未检测到该一个目标物；（iv）摄影者的运动较大，是该一个目标物离开画面的区间。根据本实施方式2的运动图像解析装置，除了检测到特定的目标物的区间以外，如上述（iii）或（iv）那样，被推测为可能是与该目标物相关联的区间的区间也能够作为目标物关联区间来管理。由此，用户能够轻松地从运动图像提取与特定的目标物有关的区间，或者所提取的运动图像对用户来说是容易观看的运动图像。
＜实施方式3-1＞
在本实施方式3-1的运动图像解析装置中，特别是，对于在未检测到一个目标物的非检测区间中检测到的、与该一个目标物不同的目标物进行判定处理，从而确定未检测到该一个目标物的该非检测区间是否为与该一个目标物有关的目标物关联区间。
以下说明实施方式3-1的运动图像解析装置。另外，对于与上述各实施方式重复的构成及处理步骤赋予相同符号，并省略其说明。
实施方式3-1的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示装置130的功能等与上述实施方式1相同，因此省略说明。
实施方式3-1的运动图像解析装置的内部构成与上述实施方式1的运动图像解析装置100（图1）同样，因此省略说明。但是，实施方式3-1的运动图像解析装置的目标物关联区间确定部106所进行的具体处理内容与上述实施方式1的运动图像解析装置100不同。详细情况留待后述。
接下来，说明实施方式3-1的运动图像解析装置的动作。
实施方式3-1的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205）的处理。这些处理与实施方式1相同，因此省略说明。
接着，实施方式3-1的运动图像解析装置在目标物关联区间确定部106中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确定运动图像中的目标物关联区间（S206B）。该步骤S206B的具体处理内容与上述实施方式1的步骤S206不同。
使用图14的流程图来说明该步骤S206B的处理。
步骤S601及步骤S602的处理与实施方式1相同。
在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检测区间且检测到由目标物识别部104识别为相同的目标物的检测区间。
在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测区间中，选择未在之间夹着在另一步骤S601中提取的检测区间的2个检测区间。
接着，目标物关联区间确定部106在步骤S602选择的2个检测区间之间的非检测区间中，判定检测到与该处理对象目标物不同的目标物的区间长度是否满足规定的条件（S1201）。然后，在检测到不同的目标物的区间长度满足规定的条件的情况下（S1201：是），将所选择的2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物有关的目标物关联区间（S605）。换言之，将所选择的2个检测区间中的、从时间上存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。然后，检测到不同的目标物的区间长度不满足规定的条件的情况下（S1201：否），进入步骤S605的处理。
目标物关联区间确定部106也可以将成为步骤S1201的判定基准的规定的条件设定为，例如检测到该不同的目标物的区间长度为一定时间以上。
另外，作为该一定时间，例如可以设定检测到与该处理对象目标物不同的目标物的区间的区间长度相对于2个检测区间之间的区间长度的比例为一定的比例以上的时间，该2个检测区间之间的区间长度与在步骤S602选择的2个检测区间中的、从时间上存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间相比是充分短的区间长度。
接着，步骤606～S608的处理与上述实施方式1相同，因此省略说明。
在此，使用图4及图15来具体说明步骤S1201的处理。
另外，在本具体例中，将成为步骤S1201的判定基准的规定的条件设定为，检测到该不同的目标物的区间长度相对于该非检测区间的区间长度的比例为50%以上。此外，设在步骤S602中作为2个检测区间选择了检测区间1及3。检测区间1和3之间的非检测区间是从帧56到帧77为止的区间，帧数为22。因此，检测区间1和3之间的非检测区间的区间长度的50%以上指的是帧数22×0.5＝11以上。此外，从帧56到帧77的区间中的、从帧60到帧74的区间是检测到目标物2的检测区间2。因此，步骤S1201中的该不同的目标物为目标物2。此外，该非检测区间中的检测到目标物2的区间是检测区间2，其帧数为15。
这时，在步骤S1201中，由于检测到目标物2的区间长度为帧数15，是检测区间1和3之间的区间长度的50%、即帧数11以上（S1201：是），所以目标物关联区间确定部106将2个检测区间中的、从时间上存在于前方的检测区间的始点帧（帧4）到时间上存在于后方的检测区间的终点帧（帧98）为止的区间确定为与目标物1有关的目标物关联区间。
这样，相对于所选择的2个检测区间之间的非检测区间的区间长度，如果检测到与该处理对象目标物不同的目标物的区间长度满足规定时间以上这一条件，则能够推测为在选择的2个检测区间之间的非检测区间未检测到该一个目标物的原因在于，摄影者在某一定的时间内将视线朝向与该一个目标物不同的目标物而拍摄运动图像。
＜总结＞
在实施方式3-1的运动图像解析装置中，在满足下述（1B）及（2B）的情况下，目标物关联区间确定部106将在运动图像中未检测到一个目标物的非检测区间确定为与该一个目标物有关的目标物关联区间。
（1B）该非检测区间和与该非检测区间在时间上连续的前方及后方的检测到该一个目标物的各检测区间包含在同一场景中。
（2B）检测到与在该非检测区间中检测到的该一个目标物不同的目标物的区间长度为规定的时间以上。
满足上述（1B）及（2B）的条件的情况下，未检测到该一个目标物的该非检测区间例如被推测为：（v）摄影者在一定时间内例如因为溜号，取代该一个目标物而对与该一个目标物不同的目标物进行摄影的区间。根据本实施方式3的运动图像解析装置，除了检测到特定的目标物的区间以外，如上述（v）那样，被推测为可能是与该目标物相关联的区间的区间也能够作为目标物关联区间来管理。因此，用户能够轻松地从运动图像提取与特定的目标物有关的区间，或者提取的运动图像对用户来说是容易观看的运动图像。
＜实施方式3-2＞
在本实施方式3-2的运动图像解析装置中，特别是，在未检测到一个目标物的非检测区间中，在被推测为可能拍摄有该一个目标物的区域的至少一部分存在与该一个目标物不同的目标物的情况下，将未检测到该一个目标物的该非检测区间确定为与该一个目标物有关的目标物关联区间。
以下说明实施方式3-2的运动图像解析装置。另外，对于与上述各实施方式重复的构成及处理步骤赋予相同符号并省略其说明。
实施方式3-2的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示装置130的功能等与上述实施方式1相同，因此省略说明。
实施方式3-2的运动图像解析装置的内部构成与上述实施方式1的运动图像解析装置100（图1）相同，因此省略说明。但是，实施方式3-2的运动图像解析装置的目标物关联区间确定部106所进行的具体处理内容与上述实施方式1的运动图像解析装置100不同。详细情况留待后述。
接下来说明实施方式3-2的运动图像解析措置的动作。
实施方式3-2的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205）的处理。这些处理与实施方式1相同，因此省略说明。
接着，实施方式3-2的运动图像解析装置在目标物关联区间确定部106中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确定运动图像中的目标物关联区间（S206C）。该步骤S206C的具体处理内容与上述实施方式1的步骤S206不同。
使用图16的流程图来说明该步骤S206C的处理。
步骤S601及步骤S602的处理与实施方式1相同。
在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检测区间且检测到由目标物识别部104识别为相同的目标物的检测区间。
在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测区间中，选择未在之间夹着在另一步骤S601中提取的检测区间的2个检测区间。
接着，目标物关联区间确定部106在2个检测区间之间的非检测区间的全部帧中检测到与该处理对象目标物不同的另一目标物的情况下（S2201：是），进入步骤S2202的处理，未检测到与该处理对象目标物不同的另一目标物的情况下（S2201：否），进入步骤S606的处理。
在步骤S2202中，目标物关联区间确定部106判定在步骤S602选择的2个检测区间之间的非检测区间的全部帧中的检测到该不同的目标物的各个检测区域、和将2个检测区间中的时间上存在于前方的检测区间的终点帧中的该处理对象目标物的检测区域与该检测区域的周边规定区域相加而得到的区域是否有一部分重合。然后，一部分重合的情况下（S2202：是），进入步骤S2203的处理，完全不重合的情况下（S：2202：否），进入步骤S606的处理。
在步骤S2203中，目标物关联区间确定部106判定2个检测区间中的时间上存在于后方的检测区间的始点帧中的该处理对象目标物的检测区域、和将2个检测区间中的时间上存在于前方的检测区间的终点帧中的该处理对象目标物的检测区域与该检测区域的周边规定区域相加而得到的区域是否一部分重合。然后，一部分重合的情况下（S2203：是），将2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物相关的目标物关联区间（S605）。换言之，将2个检测区间中的、从时间上存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。然后，完全不重合的情况下，（S2203：否），进入步骤S606的处理。
接着，步骤606～S608的处理与上述实施方式1相同，因此省略说明。
在此，使用图4及图17具体说明步骤S2201～S2203的处理。
另外，在本具体例中，设在步骤S602中作为2个检测区间选择了检测区间3及检测区间5。在检测区间3及5中检测到的同一个目标物即处理对象目标物是目标物1，在图17中将该目标物1设为人物A。
此外，检测区间3和检测区间5之间的区间是从帧99到帧112，其之间的区间包含在检测区间4（从帧92到帧133）的区间中。检测区间4是检测到目标物3的区间。该目标物3是在检测区间3和检测区间5之间的非检测区间的全部帧中检测到的、与该处理对象目标物不同的另一目标物，在图17中将该目标物3设为人物B。
这时，在检测区间3和检测区间5之间的非检测区间、即从帧99到帧112的区间的全部帧中检测到与目标物1（人物A）不同的目标物3（人物B）（S2201：是），所以目标物关联区间确定部106进入步骤S2202的处理。
此外，在检测区间3和检测区间5之间的非检测区间、即从帧99到帧112的区间中检测到该不同的目标物即人物B的检测区域例如如图17所示，在帧104中是104b的区域，在帧105中是105b的区域。此外，检测区间3和检测区间5中的时间上存在于前方的检测区间是检测区间3，其终点帧为帧98。并且，帧98中的检测到该处理对象目标物即人物A的检测区域是98a的区域。此外，将该98a的区域的周边规定区域在图17中设为附加了斜线的98c的区域。
着眼于图17的帧104，帧104的人物B的检测区域即104b的区域、和将帧98中的人物A的检测区域即98a的区域与98a的区域的周边规定区域即98c的区域相加而得到的区域一部分重合。此外，对于帧105也同样，105b的区域和将98a的区域与98c的区域相加而得到的区域一部分重合。与该帧105及帧106同样，在检测区间3和检测区间5之间的非检测区间、即从帧99到帧112的全部帧中，检测到人物B的检测区域和将98a的区域与98c的区域相加而得到的区域一部分重合的情况下（S2202：是），目标物关联区间确定部106进入步骤S2203的处理。
另一方面，检测区间3和检测区间5中的、时间上存在于后方的检测区间是检测区间5，其始点帧为帧113。并且，帧113中的检测到该处理对象目标物即人物A的检测区域为113a的区域。
着眼于图17的帧113，帧113中的人物A的检测区域即113a的区域、和将帧98中的人物A的检测区域即98a的区域与98a的区域的周边规定区域即98c的区域相加而得到的区域一部分重合（S2203：是）。这种情况下，目标物关联区间确定部106将从检测区间3的始点帧（帧78）到检测区间5的终点帧（帧224）为止的区间确定为与人物A（目标物1）有关的目标物关联区间（S605）。
通过像这样进行步骤S2201～S2203的处理，能够推测为在2个检测区间之间的区间未检测到人物A的原因在于，在其之间的区间被摄影时，从摄影者观察时人物B存在于重叠在人物A之前的位置。
这样，选择的2个检测区间之间的非检测区间的全部帧中的与该处理对象目标物不同的目标物的各检测区域、2个检测区间中的时间上存在于后方的检测区域的始点帧中的该处理对象目标物的各个检测区域、以及将2个检测区间中的时间上存在于前方的检测区域的终点帧中的该处理对象目标物的检测区域与其周边规定区域相加而得到的区域至少一部分重合的情况下，能够推测为在选择的2个检测区间之间的非检测区间未检测到该处理对象目标物的原因在于，从摄影者观察时，在该处理对象目标物的前方存在与该处理对象目标物不同的目标物，该处理对象目标物藏在该不同的目标物的后面。
此外，在步骤S2202及S2203中，说明了将该处理对象目标物的检测区域与其周边规定区域相加并对该处理对象目标物和该不同的目标物的重合进行判定处理，加入周边规定区域的原因在于，考虑了未检测到目标物的区间中的该处理对象目标物的移动。
例如，如图17所示，从检测区间3的始点帧到检测区间5的终点帧是人物A和人物B争夺足球的区间。在该区间中，人物A和人物B不是静止的，而是对抗并运动的。因此，如图17所示，在检测区间3的终点帧（帧98）检测到的人物A的检测区域和在检测区间5的始点帧（帧113）检测到的人物A的检测区域未必一致。此外，同样地，在未检测到人物A的检测区间3和检测区间5之间的区间，可能拍摄有人物A的区域、即从摄影者观察时人物A可能重合于人物B的后方的区域是变化的。考虑这样的该处理对象目标物的检测区域的位移，在步骤S2202及S2203中，有选为目标物关联区间确定部106将该处理对象目标物的检测区域与其周边规定区域相加，对该处理对象目标物和与该处理对象目标物不同的目标物的重合进行判定处理。
在此，使用图18及图19来说明针对该处理对象目标物的检测区域的、其周边规定区域的设定例。
图18是根据该检测区域的大小来设定针对该检测区域的周边规定区域的一例。在图18中，将检测区间3的帧98中的、针对目标物1的检测区域98a的周边规定区域设为附加了斜线的区域98d。区域98d是从检测区域98a的四边起相对于检测区域98a的纵横宽度100为10%＝10像素外侧的区域。这样，也可以将针对该检测区域的周边规定区域例如设为从该检测区域的四边起相对于该检测区域的纵横宽度为规定的比例外侧的区域。
另外，在图18的例子中，相对于该检测区域的纵横宽度一律将10%外侧的区域作为周边规定区域，但是也可以像相对于纵宽10%、相对于横宽15%这样，改变纵横方向的比例。
图19是根据多个帧中的该处理对象目标物的检测区域的位移来设定针对该检测区域的周边规定区域的一例的图。在图19中，在从帧83到帧98为止的区间中，设该处理对象目标物（目标物1）的检测区域每一定移动量向X轴方向移动50像素（83a→98a）。由于该移动，在从帧98到帧113的区间中，也推测为该处理对象目标物与从帧83到帧98的区间同样地移动的可能性较高。在此，考虑从帧83到帧98的区间中的该处理对象目标物的移动，如图19（下图）所示，可以将针对检测区域98a的周边规定区域设为附加了斜线的区域98e。区域98e如图19（下图）所示，对于检测区域98a的右边，将从右边起50像素外侧的区域设定为周边规定区域。像这样，可以考虑例如该处理对象目标物的检测区域的位移来设定针对该检测区域的周边规定区域。
另外，在图19的例子中，2个检测区间中的从时间上存在于前方的检测区间的终点帧（帧98）到时间上存在于后方的检测区间的始点帧（帧113）为止的区间为15帧，所以考虑在从时间上存在于帧98的15帧之前的帧83到帧98为止的该处理对象目标物的位移，来设定周边规定区域。但是设定周边规定区域的方法不限于此，也可以考虑从时间上存在于前方的检测区间的终点帧（帧98）的一定数之前存在的帧到帧98为止的该处理对象目标物的位移，来设定周边规定区域。
此外，在图19的例子中，举出了该处理对象目标物的检测区域向X轴正方向移动的情况，但是对于该处理对象目标物的检测区域向其他方向移动的情况，也根据其移动的方向的位移来设定周边规定区域即可。
此外，在图19的例子中，举出了在从帧83到帧98为止的区间中该处理对象目标物各移动一定移动量的例子，但是该处理对象目标物的位移不限于各一定移动量。因此，除了考虑帧83和帧98这2个帧之间的位移之外，也可以基于由目标物追踪部103生成的该处理对象目标物的追踪信息，计算连续的2个帧之间的该处理对象目标物的位移，并计算该位移的平均，从而计算从帧83到帧98为止的平均位移，根据该平均位移来设定周边规定区域。
此外，目标物的位移不限于目标物的检测区域的移动，还能够想到目标物的检测区域的大小变化的情况。目标物的检测区域的大小变化的情况下，可以根据该目标物的检测区域的大小的变化来设定周边规定区域。
＜总结＞
在实施方式3-2的运动图像解析装置中，在满足下述（1C）～（3C）的情况下，目标物关联区间确定部106将在运动图像中未检测到一个目标物的非检测区间确定为与该一个目标物有关的目标物关联区间。
（1C）该非检测区间和与该非检测区间在时间上连续的前方及后方的检测到该一个目标物的各检测区间包含于同一场景。
（2C）该非检测区间是检测到与该一个目标物不同的目标物的区间。
（3C）在该非检测区间的各帧中检测到的与该一个目标物不同的目标物的检测区域及在与该检测区域在时间上连续的后方的（检测到该一个目标物的）检测区间的始点帧中检测到的该一个目标物的检测区域，分别和将与该检测区域在时间上连续的前方的（检测到该一个目标物的）检测区间的终点帧中的该一个目标物的检测区域及其周边规定区域相加而得到的区域至少一部分重合。
满足上述（1C）～（3C）的条件的情况下，未检测到该一个目标物的该非检测区间被推测为：（vi）从摄影者观察时，在该一个目标物的前方存在与该一个目标物不同的目标物，该一个目标物藏在该不同的目标物的后面。根据本实施方式3-2的运动图像解析装置，除了检测到目标物的区间之外，上述（vi）那样推测的区间也能够作为目标物关联区间来管理。因此，用户能够轻松地从运动图像提取与特定的目标物有关的区间，或者所提取的运动图像对用户来说是容易观看的运动图像。
＜实施方式4＞
在本实施方式4的运动图像解析装置中，特别是，通过对未检测到一个目标物的非检测区间的区间长度进行判定处理，确定未检测到该一个目标物的该非检测区间是否为与该一个目标物有关的目标物关联区间。
以下说明实施方式4的运动图像解析装置。另外，对于与上述各实施方式重复的构成及处理步骤赋予相同符号，并省略其说明。
实施方式4的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，与摄影装置及显示装置连接（图1）。摄影装置120及显示装置130的功能等与上述实施方式1相同，因此省略说明。
实施方式4的运动图像解析装置的内部构成与上述实施方式1的运动图像解析装置100（图1）相同，因此省略说明。但是，实施方式4的运动图像解析装置的目标物关联区间确定部106所进行的具体处理内容与上述实施方式1的运动图像解析装置100不同。详细情况留待后述。
接下来说明实施方式4的运动图像解析措置的动作。
实施方式4的运动图像解析装置与上述实施方式1的运动图像解析装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205）的处理。这些处理与实施方式1相同，因此省略说明。
接着，实施方式4的运动图像解析装置在目标物关联区间确定部106中基于与目标物的检测·追踪·识别有关的信息和场景的分界处信息，确定运动图像中的目标物关联区间（S206D）。该步骤S206D的具体处理内容与上述实施方式1的步骤S206不同。
使用图20的流程图来说明该步骤S206D的处理。
步骤S601及S602的处理与实施方式1相同。
在步骤S601中，目标物关联区间确定部106提取同一场景中包含的检测区间且检测到由目标物识别部识别为相同的目标物的检测区间。
在步骤S602中，目标物关联区间确定部106在步骤S601提取的检测区间中，选择未在之间夹着在另一步骤S601提取的检测区间的2个检测区间。
接着，目标物关联区间确定部106判定在步骤S602中选择的2个检测区间之间的非检测区间的区间长度是否满足规定的条件（S1301）。然后，2个检测区间之间的非检测区间的区间长度满足规定的条件的情况下（S1301：是），将2个检测区间和2个检测区间之间的非检测区间确定为与该处理对象目标物有关的目标物关联区间（S605）。换言之，将2个检测区间中的从时间上存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间（S605）。并且，2个检测区间之间的区间长度不满足规定的条件的情况下（S1301：否），进入步骤S606的处理。
作为步骤S1301的判定基准的规定的条件例如可以设为一定时间以下。此外，也可以相对于2个检测区间中的从时间上存在于前方的检测区间的始点帧到时间上存在于后方的检测区间的终点帧为止的区间的区间长度充分短。
在此，使用图4及图21具体说明步骤S1301的处理。
另外，在本具体例中，将成为步骤S1301的判定基准的规定的条件设为：2个检测区间之间的区间长度相对于2个检测区间中的从时间上存在于前方的检测区间的始点帧到时间上存在于后方的区间的终点帧为止的区间长度的比例为30%以下。此外，在步骤S602中，作为2个检测区间，设选择了检测区间1及3。从检测区间1的始点帧到检测区间3的终点帧为止的区间是从帧4到帧98为止的区间，帧数为95。因此，帧数95的30%以下意味着帧数28以下。此外，检测区间1和检测区间3之间的非检测区间是从帧56到帧77的区间，帧数为22。
这时，在步骤S1301中，检测区间1和检测区间3之间的非检测区间的区间长度为帧数22，是从检测区间1的始点帧到检测区间3的终点帧为止的区间长度的30%、即帧数28以下（1301：是），所以目标物关联区间确定部106将2个检测区间中的从时间上存在于前方的检测区间的始点帧（帧4）到时间上存在于后方的检测区间的终点帧（帧98）为止的区间确定为与目标物1有关的目标物关联区间。
这样，如果所选择的2个检测区间之间的非检测区间的区间长度满足规定时间以内这一条件，则能够推测为在选择的2个检测区间之间的非检测区间未检测到该处理对象目标物的原因在于，摄影者在某一定时间内未拍摄该处理对象目标物。
步骤S606及S607的处理与实施方式1相同。
＜总结＞
在实施方式4的运动图像解析装置中，在满足下述（1D）及（2D）的情况下，目标物关联区间确定部106将在运动图像中未检测到一个目标物的非检测区间确定为与该一个目标物有关的目标物关联区间。
（1D）该非检测区间和与该非检测区间在时间上连续的前方及后方的检测到该一个目标物的各检测区间包含于同一场景。
（2D）该非检测区间的区间长度为规定的时间以内。
满足上述（1D）及（2D）的条件的情况下，未检测到该一个目标物的该非检测区间例如被推测为：（vii）摄影者例如由于溜号，在某一定时间内未拍摄该一个目标物的区间；（viii）区间长度为一定时间以内而相对于检测到该一个目标物的区间相对较短，所以作为与该一个目标物有关的区间来管理也没有问题。根据本实施方式4的运动图像解析装置，除了检测到特定的目标物的区间，如上述（vii）或（viii）那样，被推测为可能是与该目标物相关联的区间的区间也能够作为目标物关联区间来管理。因此，用户能够轻松地从运动图像提取与特定的目标物有关的区间，或者所提取的运动图像对用户来说是容易观看的运动图像。
＜实施方式5＞
在本实施方式5中，也与上述实施方式1～4的运动图像解析装置同样，除了检测到一个目标物的检测区间之外，还确定未检测到该一个目标物的非检测区间是否是与该一个目标物有关的目标物关联区间。
此外，在本实施方式5中，还着眼于运动图像中有精彩场面的区间、即高亮区间。
例如，作为高亮区间，例举足球的进球场景。例如，在某运动图像中，从作为被摄体的孩子射门的影像切换到足球入网的影像，然后切换到拍摄了观众欢呼的状况的影像，然后切换到孩子庆祝进球的影像等，存在这样的一系列区间。在该运动图像中，对于该作为被摄体的孩子制作剪辑运动图像时，在现有技术中，未检测到该孩子的区间（足球入网的区间、观众欢呼的区间）无法作为该剪辑运动图像提取。因此，该剪辑运动图像成为断续的，对用户来说不是容易观看的剪辑运动图像。用户除了拍摄有孩子的区间之外，也想要将包含运动图像中的高亮区间的一系列区间作为与该孩子有关的区间来观赏。
另外，在从运动图像提取的各高亮区间中，有从全部帧检测到一个目标物的情况、从一部分帧检测到一个目标物的情况、从全部帧都未检测到一个目标物的情况。
鉴于以上情况，实施方式5的运动图像解析装置确定与运动图像中的一个目标物有关的目标物关联区间。
图22是实施方式5的运动图像解析装置1000的功能框图。
运动图像解析装置1000与上述实施方式1的运动图像解析装置100（图1）同样，与摄影装置120及显示装置130连接。摄影装置120及显示装置130的功能与上述实施方式1相同，因此省略说明。
接下来说明运动图像解析装置1000的内部构成。
运动图像解析装置1000除了上述实施方式1的运动图像解析装置100的构成（图1）之外，还具备高亮检测部1401。此外，运动图像解析装置1000从运动图像解析装置100的构成中将目标物关联区间确定部106除去，而具备目标物关联区间确定部1106。
高亮检测部1401从在运动图像取得部101中取得的运动图像检测高亮区间。高亮检测部1401的详细处理内容留待后述。
目标物关联区间确定部1106在运动图像中确定与各目标物有关的目标物关联区间。该目标物关联区间确定部1106的处理的详细情况留待后述。
接下来说明运动图像解析措置1000的动作。
图15是表示实施方式5的运动图像解析装置1000的整体动作的流程图。
运动图像解析装置1000与上述实施方式1的运动图像解析装置100同样，首先进行运动图像的取得（图2：S201）、目标物的检测·追踪·识别（S202～S204）、以及检测运动图像中的场景的分界处（S205）的处理。这些处理与实施方式1相同，因此省略说明。
接着，运动图像解析装置1000在高亮检测部1401中检测运动图像中的高亮区间（S1501）。
“高亮区间”表示在运动图像中有精彩场面的区间。作为检测高亮区间的方法，例如有提取音响的功率为一定以上的区间并作为高亮区间的方法。通过使用该方法，高亮检测部1401能够将因欢呼等而周围的人物兴奋的区间、烟花大会中的烟花升起的区间等检测为高亮区间。另外，检测高亮区间的方法不限于此。例如，在运动图像中，附加有用于识别场景的信息、以及与缩进缩出等摄影时的操作有关的信息的情况下，可以将这些信息用于高亮区间的检测。例如，进行缩进操作的区间为规定的时间以上的情况下，可以将从进行该缩进操作的始点帧到包含进行了该缩进操作的区间的场景的终点帧为止作为高亮区间。
另外，该高亮区间信息包含运动图像中的各高亮的ID信息、各高亮区间的始点及终点帧信息，例如可以保存在运动图像解析装置100所具备的存储部中，也可以保存在能够从运动图像解析装置100访问的外部存储部中。
接下来，目标物关联区间确定部1106基于通过步骤S202～S204的处理生成的与目标物检测·追踪·识别有关的信息、通过步骤S205的处理生成的场景的分界处信息、通过步骤S1501的处理生成的高亮区间信息，确定运动图像中的目标物关联区间（S206E）。
使用图24的流程图来说明步骤S206E的处理。
在上述实施方式1中，说明了目标物关联区间确定部106首先提取同一场景中包含的检测区间且检测到由目标物识别部104识别为相同的目标物的检测区间（图6：S601）。
与此相对，目标物关联区间确定部1106除了同一场景中包含的区间且检测到附加了同一识别ID的目标物的检测区间之外，还提取同一场景中包含的区间且在步骤S1501z中检测到的高亮区间（S1601）。
接着，目标物关联区间确定部1106在步骤S1601提取的检测区间及高亮区间中，选择在未在之间夹着在另一步骤S1601提取的区间的2个区间（S1602）。
使用图4具体说明该步骤S1602的处理。
首先，设在步骤S1601提取的区间为检测区间1、3及5和高亮区间A。此外，高亮区间的始点帧为帧106，终点帧为帧123。
这时，在步骤S1602中，作为未在之间夹着在另一步骤S1601提取的区间的2个区间，选择检测区间1与3、或检测区间3与高亮区间A、或高亮区间A与检测区间5的组合。其他区间的组合在之间夹着在另一步骤S1601提取的区间，所以不选择。
接着，步骤S1301及S605的处理与实施方式4相同。在步骤S1301中，在步骤S1602选择的2个区间之间的非检测区间的区间长度满足规定的条件的情况下（1301：是），目标物关联区间确定部1106将2个检测区间中的从时间上存在于前方的检测区间的始点帧到时间上存在于后方的区间的终点帧为止确定为与该处理对象目标物有关的目标物关联区间（S605）。
接着，步骤S606～S608的处理与实施方式1相同，因此省略说明。
另外，在步骤S1602选择的2个区间为检测区间和高亮区间的情况下，设想图21（a）～（c）所示的情况。另外，在图21（a）～（c）中，在步骤S1602选择的2个区间为检测区间3（图4）和各高亮区间A～C。
在图21（a）中，高亮区间A的始点帧为帧106，终点帧为帧123。这时，检测区间3和高亮区间A之间的区间是从帧99到帧105。因此，检测区间3和高亮区间A之间的区间为6帧，区间长度充分短，所以可以将从检测区间3的始点帧到高亮区间A的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间。
在图21（b）中，设高亮区间B的始点帧为帧99，终点帧为帧23。这时，检测区间3的终点帧和高亮区间B的始点帧是连续的帧。这样，检测区间3和高亮区间B之间的区间为0帧的情况下，也可以将从检测区间3的始点帧到高亮区间B的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间。
在图21（c）中，设高亮区间C的始点帧为帧96，终点帧为帧123。这时，检测区间3和高亮区间C的一部分区间重复，这种情况下，也可以将从检测区间3的始点帧到高亮区间C的终点帧为止的区间确定为与该处理对象目标物有关的目标物关联区间。
这样，在步骤S1601中，除了检测到该处理对象目标物的检测区间之外，还提取高亮区间，由此，高亮区间也能够被确定为与该处理对象目标物有关的目标物关联区间并管理。
＜总结＞
在实施方式5的运动图像解析装置中，在满足下述（1E）及（2E）的情况下，目标物关联区间确定部1106将在运动图像中未检测到一个目标物的非检测区间、与该非检测区间连续的前方的检测区间和后方的检测区间之中的一个检测区间、与该一个检测区间不同的另一个检测区间、或者在与该一个检测区间不同的另一个检测区间中与该非检测区间连续或与该非检测区间至少一部分区间重复的区间即高亮区间确定为与该一个目标物有关的目标物关联区间。
（1E）该非检测区间、与该非检测区间连续的前方的检测区间及后方的检测区间之中的一个检测区间、以及该高亮区间包含在同一场景中。
（2E）该非检测区间的区间长度为规定的时间以内。
根据本实施方式5的运动图像解析装置，能够将满足上述（1E）及（2E）的条件的该非检测区间及该高亮区间作为与该一个目标物有关的目标物关联区间来管理。
例如，在拍摄有孩子踢球的状况的运动图像中，存在拍摄有孩子射门、然后足球入网的状况的区间的情况下，如果该足球入网的区间作为高亮区间被检测到，即使在足球入网的区间中完全没有检测孩子，也能够将该孩子射门然后足球入网的一系列区间作为与该孩子有关目标物关联区间来管理。此外，在拍摄有烟花大会的状况的运动图像中，拍摄某个人物、然后立即使摄像机朝向烟花的情况下，即使在拍摄有该烟花的区间中完全没有检测到人物，也能够将拍摄某个人物然后理解拍摄升起的烟花的一系列区间作为与该人物有关的目标物关联区间来管理。
像这样，能够管理与特定的目标物有关的区间，所以用户在从运动图像提取与特定的目标物有关的区间时，除了检测到该目标物的检测区间之外，还能够提取与该检测区间连续的未检测到该目标物的非检测区间、以及被推测为与该目标物相关联的高亮区间，所提取的运动图像对用户来说是容易观看的运动图像。
＜变形例＞
以上说明了本发明的一个方式的运动图像解析装置，但是本发明不限于上述实施方式。只要不脱离本发明的主旨，对本实施方式施加了本领域技术人员能够想到的各种变形而得到的方式，或者将不同的实施方式中的构成要素组合而成的方式，也包含在本发明的范围内。
在上述各实施方式的运动图像解析装置中，目标物关联区间确定部着眼于未检测到一个目标物的非检测区间、和与该非检测区间在时间上连续的检测到一个目标物的前方及后方的检测区间，除了该前方及后方的检测区间之外，还将该非检测区间确定为与该一个目标物有关的目标物关联区间，但是上述各实施方式的运动图像解析装置不限于此。例如，也可以着眼于未检测到一个目标物的非检测区间、和与该非检测区间在时间上邻的检测到一个目标物的前方或后方任一方的检测区间，将该非检测区间确定为与该一个目标物有关的目标物关联区间。以下说明这种情况的一例。
例如，在步骤S201取得的运动图像中，从该场景的始点帧起存在1帧以上未检测到一个目标物的非检测区间的情况下，在满足下述（1F）～（3F）的情况下，将该非检测区间确定为与该一个目标物有关的目标物关联区间。
（1F）该非检测区间和与该非检测区间在时间上连续的后方的检测到该一个目标物的检测区间包含在同一场景中。
（2F）在该后方的检测区间的始点帧检测到的该一个目标物满足作为该一个目标物的检测的极限而决定的1个以上的极限条件中的至少1个。极限条件是作为该一个目标物的检测的极限而决定的条件，例如：该一个目标物在该终点帧或始点帧的规定区域内被检测到、该一个目标物的朝向为规定的范围内、或者该一个目标物的大小为一定的大小的范围内。
（3F）该非检测区间的区间长度为规定的时间以内。
使用图4及图5来具体说明。另外，例举确定与目标物1有关的目标物关联区间的情况。此外，在本具体例中，将上述的规定时间设定为10帧。此外，作为目标物的极限条件，设定与人物的面部的“朝向”有关的极限值，设该极限值为“相对于图7的各旋转轴30度”。
在图5中，着眼于场景1时，场景1的始点帧为帧0，参照图4，从该帧0到帧3为止的区间是未检测到目标物1的非检测区间。这时，在满足上述（1F）～（3F）的情况下，目标物关联区间确定部106将从帧0到帧3为止的非检测区间确定为与目标物1有关的目标物关联区间。
首先，（1F）与从帧0到帧3为止的非检测区间在时间上连续的后方的检测到目标物1的检测区间1是从帧4到帧55，包含在场景1（从帧0到帧182的区间）中。此外，（2F）该后方的检测区间即检测区间1的始点帧（帧4）中的目标物1的朝向是极限值“（左30度）”。此外，（3F）从帧0到帧3的区间长度为帧数4，是帧数10以内。因此，从帧0到帧3为止的非检测区间被确定为与目标物1有关的目标物关联区间，例如，目标物关联区间确定部106将从帧0到检测区间1的终点帧（帧55）为止的区间确定为与目标物1有关的目标物关联区间。
另外，在步骤S201取得的运动图像中，从该场景的终点帧起在时间上的前方存在1帧以上未检测到一个目标物的非检测区间的情况下也同样，在满足下述（1G）～（3G）的情况下，可以将该非检测区间确定为与该一个目标物有关的目标物关联区间。
（1G）该非检测区间和与该非检测区间在时间上连续的前方的检测到该一个目标物的检测区间包含在同一场景中。
（2G）在该前方的检测区间的始点帧检测到的该一个目标物满足作为该一个目标物的检测的极限而决定的1个以上的极限条件中的至少1个。极限条件是作为该一个目标物的检测的极限而决定的条件，例如：该一个目标物在该终点帧或始点帧的规定区域被检测到、该一个目标物的朝向为规定的范围内、或者该一个目标物的大小为一定的大小的范围内。
（3G）该非检测区间的区间长度为规定的时间以内。
在上述实施方式1～4中，说明了运动图像解析装置在目标物的检测（S202）、目标物的追踪（S203）、及目标物的识别（S204）的处理之后，进行检测运动图像中的场景的分界处（S205）的处理，但是检测运动图像中的场景的分界处（S205）的处理也可以在确定目标物关联区间（S206、S206A～E）的处理之前进行，也可以在目标物的检测·追踪·识别（S202～S204）的某个步骤之间或这些步骤之前进行。
此外，在上述实施方式5中，说明了运动图像解析装置1000在目标物的检测（S202）、目标物的追踪（S203）、及目标物的识别（S204）的处理之后进行检测运动图像中的场景的分界处（S205）的处理，然后进行检测运动图像中的高亮区间（S1501）的处理，但是检测运动图像中的高亮区间（S1501）的处理也与检测运动图像中的场景的分界处（S205）的处理同样，可以在确定目标物关联区间（S206、S206A～E）的处理之前进行，也可以在目标物的检测·追踪·识别（S202～S204）或检测场景的分界处（S205）的处理的某个步骤之间、或这些步骤之前进行。
上述各实施方式的运动图像解析装置，说明了在步骤S601（或步骤S1601）中基于运动图像中的场景信息来提取各区间，但是不限于此。例如也可以是，在步骤S601（或步骤S1601），提取检测到附加了同一识别ID的目标物的检测区间（和高亮区间），在步骤S608中，基于运动图像中的场景信息，最终决定与运动图像中规定各目标物有关的目标物关联区间。
在上述各实施方式中，说明了运动图像解析装置具备目标物追踪部，但是也可以从其构成中将目标物追踪部除去。将目标物追踪部除去的情况下，在目标物识别部中，对由目标物检测部从各帧检测到的目标物进行识别处理即可。此外，这种情况下，目标物关联区间确定部106基于与目标物的检测·识别有关的信息和场景的分界处信息（在实施方式5的目标物关联区间确定部中，还包括运动图像中的高亮区间信息），来进行确定与运动图像中的各目标物有关的目标物关联区间的处理即可。
在上述各实施方式的运动图像解析装置中，确定目标物关联区间的处理不限于上述各实施方式中说明的步骤S206及S206A～S206E，也可以通过进行将这些各处理组合而得到的处理，来确定目标物关联区间。
在上述实施方式1～4中，运动图像解析装置具备：目标物检测部102、目标物追踪部103、目标物识别部104、及场景检测部105，目标物关联区间确定部106基于通过目标物的检测（S202）、目标物的追踪（S203）及目标物的识别（S204）的处理而得到的与目标物的检测·追踪·识别有关的信息、以及通过检测运动图像中的场景的分界处（S205）的处理而得到的运动图像中的场景的分界处信息，确定与运动图像中的各目标物有关的目标物关联区间（S206、S206A～D），但是上述各实施方式的运动图像解析装置不限于此。例如，目标物关联区间确定部106在步骤S206及S206A～D中，也可以使用由外部装置对运动图像附加的、与目标物的检测·追踪·识别有关的信息和运动图像中的场景的分界处信息。
在上述实施方式5中，运动图像解析装置1000具备高亮检测部1401,目标物关联区间确定部1106基于与目标物的检测·追踪·识别有关的信息、运动图像中的场景的分界处信息、以及通过高亮区间的检测（S1501）的处理而得到的运动图像中的高亮区间信息，确定与运动图像中的目标物有关的目标物关联区间（S206E），但是上述实施方式5的运动图像解析装置1000不限于此。例如，目标物关联区间确定部1106在步骤S206E中，也可以使用由外部装置对运动图像附加的运动图像中的高亮区间信息。
上述实施方式1～5的运动图像解析装置所具备的构成要素的一部分货全部也可以由1个系统LSI（Large Scale Integration：大规模集成电路）构成。
系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体地说，是包括微处理器、ROM（Read Only Memory）、RAM（Ramdom AccessMemory）等而构成的计算机系统。在所述ROM中存储有计算机程序。所述微处理器按照所述计算机程序进行动作，由此，系统LSI实现其功能。
另外，在此采用了系统LSI，但是根据集成度的不同，有时也称为IC、LSI、超级LSI、特级LSI。此外，集成电路化的手法不限于LSI，也可以使用专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA（Field Programmable Gate Array）、或者能够将LSI内部电路单元的连接及设定重构的可重构处理器。
进而，通过半导体技术的进步或派生的其他技术，如果出现了代替LSI的集成电路化的技术，当然可以使用该技术来进行功能模块的集成化。生物技术的应用等也存在可能性。
此外，本发明不仅能够作为具备这样的特征性处理部的运动图像解析装置来实现，还能够作为以运动图像解析装置中包含的特征性处理部为步骤的运动图像解析方法等来实现。此外，还能够作为使计算机执行这样的方法中包含的特征性的各步骤的计算机程序来实现。而且，当然可以将这样的计算机程序经由CD-ROM等计算机可读取的非暂时性记录介质或因特网等通信网络来流通。
＜补充＞
以下说明本发明的实施方式的运动图像解析装置的构成及其变形例和各效果。
第1运动图像解析装置，在运动图像中确定与一个目标物有关的目标物关联区间，该运动图像解析装置具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
通过该构成，第1运动图像解析装置能够在运动图像中适当地确定与一个目标物相关联的区间。
第2运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，并且所述前方的检测区间的终点帧中的所述一个目标物及所述后方的检测区间的始点帧中的所述一个目标物分别满足基于所述一个目标物的检测的极限而决定的1个以上的极限条件中的至少1个。
通过该构成，在满足所述规定的条件的情况下，第2运动图像解析装置能够推测出：例如实际上拍摄有该一个目标物，但是由于目标物检测技术的限制而未检测到该一个目标物，或者该一个目标物的运动或摄影者的运动较大，是该一个目标物离开画面的区间，所以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。
第3运动图像解析装置，在第2运动图像解析装置中，所述极限条件是：所述一个目标物在所述终点帧或所述始点帧的规定区域被检测到、所述一个目标物的朝向为规定的范围内、所述一个目标物的大小为阈值A以上、以及所述一个目标物的大小为小于所述阈值A的阈值B以下。
通过该构成，第3运动图像解析装置，特别是，在与所述非检测区间的两端的帧分别连续的各帧中检测到的所述一个目标物满足与能够检测所述一个目标物的帧区域、所述一个目标物的朝向及所述一个目标物的大小有关的极限条件中的至少1个极限条件的情况下，能够将所述非检测区间确定为与检测到该一个目标物的检测区间连续的一系列区间。
第4运动图像解析装置，在第3运动图像解析装置中，所述规定区域是所述终点帧或所述始点帧的框的附近的区域。
通过该构成，第4运动图像解析装置，关于与能够检测所述一个目标物的帧区域有关的极限条件，该一个目标物存在于所述终点帧或所述始点帧的框的附近的区域的情况下，能够满足该极限条件。
第5运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，并且所述非检测区间中的影像的抖动为规定的程度以上。
通过该构成，第5运动图像解析装置在满足所述规定的条件的情况下，例如推测为实际上拍摄有该一个目标物，但是由于影像的抖动而未检测到该一个目标物，或者摄影者的运动，是该一个目标物离开画面的区间，所以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。
第6运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中；在所述非检测区间中检测到与所述一个目标物不同的目标物，并且在所述非检测区间中检测到所述不同的目标物的区间长度为规定的时间以上；或者所述非检测区间中的检测到所述不同的目标物的区间的比率为规定比例以上。
通过该构成，第6运动图像解析装置在满足所述规定的条件的情况下，所述非检测区间被推测为，例如摄影者在一定时间内例如由于溜号，是没有拍摄该一个目标物而拍摄了与该一个目标物不同的目标物的区间，所以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。
第7运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，所述非检测区间的区间长度为规定的时间以内，在所述非检测区间中检测到与所述一个目标物不同的目标物，并且在所述非检测区间中检测到所述不同的目标物的时间为规定的时间以上；或者所述非检测区中的检测到所述不同的目标物的区间的比率为规定比例以上。
通过该构成，第7运动图像解析装置在满足所述规定的条件的情况下，所述非检测区间被推测为，例如摄影者在一定时间内例如由于溜号，是没有拍摄该一个目标物而拍摄了与该一个目标物不同的目标物的区间，所以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。
第8运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，在所述非检测区间中检测到与所述一个目标物不同的目标物，并且在所述非检测区间的各帧中检测到的所述不同的目标物的检测区域及在所述后方的检测区间的始点帧中检测到的所述一个目标物的检测区域、分别和将在所述前方的检测区间的终点帧检测到的所述一个目标物的检测区域与其周边区域相加而得到的区域至少一部分重合。
通过该构成，第8运动图像解析装置在满足所述规定的条件的情况下，推测为在所述非检测区间中，从摄影者观察时，在该一个目标物的前方存在与该一个目标物不同的目标物，该一个目标物藏在该不同的目标物的后面，所以能够将所述非检测区间确定为与检测到该一个目标物的检测区间连续的一系列区间。
第9运动图像解析装置，在第8运动图像解析装置中，所述周边区域基于在所述前方的检测区间的终点帧检测到的所述一个目标物的大小、以及与所述前方的检测区间的至少一部分中的所述一个目标物的位移有关的信息之中的至少一方来设定。
通过该构成，第9的运动图像解析装置能够根据在所述前方的检测区间的终点帧检测到的所述一个目标物的大小、或者所述前方的检测区间的至少一部分中的所述一个目标物的位移（例如检测到所述一个目标物的检测区域的移动量或大小的位移）来设定所述周边规定区域。
第10运动图像解析装置，在第1运动图像解析装置，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，并且所述非检测区间的区间长度为规定的时间以内。
通过该构成，第10运动图像解析装置在满足所述规定的条件的情况下，所述非检测区间被推测为，例如摄影者例如由于溜号，是在某一定的时间内没有拍摄该一个目标物的区间，区间长度为一定时间以内而与检测到该一个目标物的区间相比相对较短，所以作为与该一个目标物有关的区间来管理也没有问题，所以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。
第11运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间和后方的检测区间之中的一方的检测区间包含在同一场景中，在所述一方的检测区间中在成为与所述非检测区间在时间上连续的一侧的端点的帧检测到的所述一个目标物满足基于所述一个目标物的检测的极限而决定的1个以上的极限条件的至少1个，并且所述非检测区间的区间长度为规定的时间以内。
通过该构成，第11运动图像解析装置在满足所述规定条件的情况下，所述非检测区间被推测为，例如实际上拍摄有该一个目标物，但是由于目标物检测技术的限制而未检测到该一个目标物，或者该一个目标物的运动或摄影者的运动较大，是该一个目标物离开画面的区间，所以所述非检测区间能够被确定为与检测到该一个目标物的检测区间连续的一系列区间。
第12运动图像解析装置，在第1运动图像解析装置中，所述规定的条件是：所述非检测区间、与所述非检测区间在时间上连续的前方的检测区间和后方的检测区间之中的一方的检测区间、以及高亮区间包含在同一场景中，该高亮区间是在与所述一方的检测区间不同的另一方的检测区间中与所述非检测区间连续或与所述非检测区间一部分或全部重合的区间，是所述运动图像中的有精彩场面的区间，并且所述非检测区间的区间长度为规定的时间以内。
通过该构成，第12运动图像解析装置能够将所述非检测区间和所述高亮区间确定为与检测到该一个目标物的检测区间连续的一系列区间。
第1运动图像解析方法，是运动图像解析装置所执行的运动图像解析方法，该运动图像解析装置在运动图像确定与一个目标物有关的目标物关联区间，该运动图像解析方法具有目标物关联区间确定步骤，该目标物关联区间确定步骤在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
通过该构成，能够在运动图像中适当地确定与一个目标物相关联的区间。
第1程序，是使计算机执行由运动图像解析装置执行的运动图像解析处理的程序，该运动图像解析装置在运动图像确定与一个目标物有关的目标物关联区间，所述运动图像解析处理具有目标物关联区间确定步骤，该目标物关联区间确定步骤在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
通过该构成，能够在运动图像中适当地确定与一个目标物相关联的区间。
第1集成电路，在运动图像中确定与一个目标物有关的目标物关联区间，该集成电路具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
通过该构成，第1集成电路能够在运动图像中适当地确定与一个目标物相关联的区间。
工业实用性
本发明的运动图像解析装置能够应用于存储运动图像的装置、数字摄像机、带摄像机的便携电话或摄影摄像机等摄影装置、以及PC（PersonalComｐuter）等。
符号的说明
100、1000  运动图像解析装置
101  运动图像取得部
102  目标物检测部
103  目标物追踪部
104  目标物识别部
105  场景检测部
106、1106  目标物关联区间确定部
120  摄影装置
130  显示装置
301  取得的运动图像
302  第t帧
303  第t＋1帧
304、305  目标物
1401  高亮检测部

Claims (15)

1.一种运动图像解析装置，在运动图像中确定与一个目标物有关的目标物关联区间，
该运动图像解析装置具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
2.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，并且，
所述前方的检测区间的终点帧中的所述一个目标物及所述后方的检测区间的始点帧中的所述一个目标物分别满足基于所述一个目标物的检测的极限而决定的1个以上的极限条件中的至少1个。
3.如权利要求2所述的运动图像解析装置，
所述极限条件是：
所述一个目标物在所述终点帧或所述始点帧的规定区域被检测到；
所述一个目标物的朝向为规定的范围内；
所述一个目标物的大小为阈值A以上；以及
所述一个目标物的大小为小于所述阈值A的阈值B以下。
4.如权利要求3所述的运动图像解析装置，
所述规定区域是所述终点帧或所述始点帧的框的附近的区域。
5.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，并且，
所述非检测区间中的影像的抖动为规定的程度以上。
6.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，
在所述非检测区间中检测到与所述一个目标物不同的目标物，并且，
在所述非检测区间中检测到所述不同的目标物的区间长度为规定的时间以上，或者所述非检测区间中的检测到所述不同的目标物的区间的比率为规定比例以上。
7.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，
所述非检测区间的区间长度为规定的时间以内，
在所述非检测区间中检测到与所述一个目标物不同的目标物，并且，
在所述非检测区间中检测到所述不同的目标物的时间为规定的时间以上，或者所述非检测区中的检测到所述不同的目标物的区间的比率为规定比例以上。
8.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，
在所述非检测区间中检测到与所述一个目标物不同的目标物，并且，
在所述非检测区间的各帧中检测到的所述不同的目标物的检测区域及在所述后方的检测区间的始点帧中检测到的所述一个目标物的检测区域，分别和将在所述前方的检测区间的终点帧检测到的所述一个目标物的检测区域与其周边区域相加而得到的区域至少一部分重合。
9.如权利要求8所述的运动图像解析装置，
所述周边区域基于在所述前方的检测区间的终点帧检测到的所述一个目标物的大小、以及与所述前方的检测区间的至少一部分中的所述一个目标物的位移有关的信息之中的至少一方来设定。
10.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间及后方的检测区间包含在同一场景中，并且，
所述非检测区间的区间长度为规定的时间以内。
11.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间和与所述非检测区间在时间上连续的前方的检测区间和后方的检测区间之中的一方的检测区间包含在同一场景中，
在所述一方的检测区间中在成为与所述非检测区间在时间上连续的一侧的端点的帧检测到的所述一个目标物满足基于所述一个目标物的检测的极限而决定的1个以上的极限条件的至少1个，并且，
所述非检测区间的区间长度为规定的时间以内。
12.如权利要求1所述的运动图像解析装置，
所述规定的条件是：
所述非检测区间、与所述非检测区间在时间上连续的前方的检测区间和后方的检测区间之中的一方的检测区间、以及高亮区间包含在同一场景中，该高亮区间是在与所述一方的检测区间不同的另一方的检测区间中与所述非检测区间连续或与所述非检测区间一部分或全部重合的区间，是所述运动图像中的有精彩场面的区间，并且，
所述非检测区间的区间长度为规定的时间以内。
13.一种运动图像解析方法，是由运动图像解析装置执行的运动图像解析方法，该运动图像解析装置在运动图像中确定与一个目标物有关的目标物关联区间，
该运动图像解析方法具有目标物关联区间确定步骤，该目标物关联区间确定步骤在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
14.一种程序，是使计算机执行由运动图像解析装置执行的运动图像解析处理的程序，该运动图像解析装置在运动图像中确定与一个目标物有关的目标物关联区间，
所述运动图像解析处理具有目标物关联区间确定步骤，该目标物关联区间确定步骤在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
15.一种集成电路，在运动图像中确定与一个目标物有关的目标物关联区间，
该集成电路具备目标物关联区间确定部，该目标物关联区间确定部在判定为满足规定的条件的情况下，将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间，在判定为不满足所述规定的条件的情况下，不将与检测到所述一个目标物的检测区间在时间上连续的区间、并且是未检测到所述一个目标物的区间即非检测区间确定为所述目标物关联区间。
CN201380001598.XA 2012-04-05 2013-04-03 运动图像解析装置、运动图像解析方法及集成电路 Active CN103597817B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012086120 2012-04-05
JP2012-086120 2012-04-05
PCT/JP2013/002307 WO2013150789A1 (ja) 2012-04-05 2013-04-03 動画解析装置、動画解析方法、プログラム、及び集積回路

Publications (2)

Publication Number Publication Date
CN103597817A true CN103597817A (zh) 2014-02-19
CN103597817B CN103597817B (zh) 2018-05-08

Family

ID=49300292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380001598.XA Active CN103597817B (zh) 2012-04-05 2013-04-03 运动图像解析装置、运动图像解析方法及集成电路

Country Status (4)

Country Link
US (1) US9779305B2 (zh)
JP (1) JP6141829B2 (zh)
CN (1) CN103597817B (zh)
WO (1) WO2013150789A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI717021B (zh) * 2019-09-18 2021-01-21 義隆電子股份有限公司 影像處理系統及其人工智慧晶片
CN112733666A (zh) * 2020-12-31 2021-04-30 湖北亿咖通科技有限公司 一种难例图像的搜集、及模型训练方法、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6354229B2 (ja) * 2014-03-17 2018-07-11 富士通株式会社 抽出プログラム、方法、及び装置
JP6287498B2 (ja) * 2014-04-01 2018-03-07 日本電気株式会社 電子ホワイトボード装置、電子ホワイトボードの入力支援方法、及びプログラム
GB2528330B (en) * 2014-07-18 2021-08-04 Unifai Holdings Ltd A method of video analysis
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
WO2017030212A1 (ko) * 2015-08-18 2017-02-23 엘지전자(주) 이동 단말기 및 그 제어 방법
US10277960B2 (en) * 2017-01-30 2019-04-30 Tap Media Labs, Inc. Method and system for seeding video programs with episodic interactive items
US10740654B2 (en) 2018-01-22 2020-08-11 Qualcomm Incorporated Failure detection for a neural network object tracker
JP7218198B2 (ja) * 2019-02-08 2023-02-06 キヤノン株式会社 動画再生装置、動画再生方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928233B1 (en) * 1999-01-29 2005-08-09 Sony Corporation Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
US20050257151A1 (en) * 2004-05-13 2005-11-17 Peng Wu Method and apparatus for identifying selected portions of a video stream
CN101051389A (zh) * 2006-04-06 2007-10-10 欧姆龙株式会社 动画编辑装置
US20100104266A1 (en) * 2008-10-29 2010-04-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling same
CN101867679A (zh) * 2006-03-27 2010-10-20 三洋电机株式会社 缩略图生成装置及摄像装置
US20110188720A1 (en) * 2010-02-02 2011-08-04 General Electric Company Method and system for automated volume of interest segmentation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6724933B1 (en) * 2000-07-28 2004-04-20 Microsoft Corporation Media segmentation system and related methods
JP2005277531A (ja) 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置
JP4830650B2 (ja) 2005-07-05 2011-12-07 オムロン株式会社 追跡装置
WO2009004901A1 (ja) * 2007-06-29 2009-01-08 Olympus Corporation 顔検出装置、デジタルカメラ及び顔検出プログラム
JP2009123095A (ja) * 2007-11-16 2009-06-04 Oki Electric Ind Co Ltd 映像解析装置及び映像解析方法
JP2009201041A (ja) 2008-02-25 2009-09-03 Oki Electric Ind Co Ltd コンテンツ検索装置およびその表示方法
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
JP4561919B2 (ja) * 2008-04-21 2010-10-13 ソニー株式会社 撮像装置、画像処理装置及び画像処理方法
JP5219697B2 (ja) 2008-08-25 2013-06-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
US8351757B2 (en) * 2008-11-21 2013-01-08 Mitsubishi Electric Corporation Television broadcast receiving device
JP2011123529A (ja) * 2009-12-08 2011-06-23 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP5625995B2 (ja) * 2010-05-10 2014-11-19 カシオ計算機株式会社 被写体追跡装置、被写体追跡方法及びプログラム
JP2012054810A (ja) 2010-09-02 2012-03-15 Olympus Corp 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6928233B1 (en) * 1999-01-29 2005-08-09 Sony Corporation Signal processing method and video signal processor for detecting and analyzing a pattern reflecting the semantics of the content of a signal
US20050257151A1 (en) * 2004-05-13 2005-11-17 Peng Wu Method and apparatus for identifying selected portions of a video stream
CN101867679A (zh) * 2006-03-27 2010-10-20 三洋电机株式会社 缩略图生成装置及摄像装置
CN101051389A (zh) * 2006-04-06 2007-10-10 欧姆龙株式会社 动画编辑装置
US20100104266A1 (en) * 2008-10-29 2010-04-29 Canon Kabushiki Kaisha Information processing apparatus and method of controlling same
US20110188720A1 (en) * 2010-02-02 2011-08-04 General Electric Company Method and system for automated volume of interest segmentation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI717021B (zh) * 2019-09-18 2021-01-21 義隆電子股份有限公司 影像處理系統及其人工智慧晶片
CN112733666A (zh) * 2020-12-31 2021-04-30 湖北亿咖通科技有限公司 一种难例图像的搜集、及模型训练方法、设备及存储介质

Also Published As

Publication number Publication date
CN103597817B (zh) 2018-05-08
JPWO2013150789A1 (ja) 2015-12-17
US20140093176A1 (en) 2014-04-03
JP6141829B2 (ja) 2017-06-07
WO2013150789A1 (ja) 2013-10-10
US9779305B2 (en) 2017-10-03

Similar Documents

Publication Publication Date Title
CN103597817A (zh) 运动图像解析装置、运动图像解析方法、程序及集成电路
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
KR101739245B1 (ko) 비디오 프레임들의 디스플레이 파티셔닝 및 클러스터링을 위한 오브젝트들의 선택 및 추적
EP3457683B1 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
US9620168B1 (en) Cataloging video and creating video summaries
AU2009243442B2 (en) Detection of abnormal behaviour in video objects
EP2053844B1 (en) Image processing device, image processing method, and program
EP2405393B1 (en) Device, method and program for creating information for object position estimation
US20120300092A1 (en) Automatically optimizing capture of images of one or more subjects
CN103988227A (zh) 用于图像捕获目标锁定的方法和装置
CN101593353B (zh) 图像处理方法和设备以及视频系统
CN105593737A (zh) 焦点检测装置和焦点检测方法
CN103348381A (zh) 图像识别装置、图像识别方法、程序及集成电路
CN106210542A (zh) 一种照片合成的方法及终端
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP5960691B2 (ja) 興味区間特定装置、興味区間特定方法、興味区間特定プログラム
CN117041729A (zh) 拍摄方法、装置及计算机可读存储介质
US11301508B2 (en) System for creating an audio-visual recording of an event
JP2014035597A (ja) 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法
CN110717593A (zh) 神经网络训练、移动信息测量、关键帧检测的方法及装置
CN105467741A (zh) 一种全景拍照方法及终端
US10282633B2 (en) Cross-asset media analysis and processing
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
JP2014085845A (ja) 動画処理装置、動画処理方法、プログラム、および集積回路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141015

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141015

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant