CN103685914A

CN103685914A - 图像管理装置及管理方法

Info

Publication number: CN103685914A
Application number: CN201310409985.9A
Authority: CN
Inventors: 川野敦史
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-09-14
Filing date: 2013-09-10
Publication date: 2014-03-26
Anticipated expiration: 2033-09-10
Also published as: JP2014059660A; CN103685914B; JP6116168B2; US20140079340A1; US9607013B2

Abstract

本发明提供一种图像管理装置及管理方法，该图像管理装置由分别与多个图像相对应的多个元数据生成所述多个元数据的概要数据，并将所述概要数据与所述多个元数据相关联地存储。

Description

图像管理装置及管理方法

技术领域

本发明涉及一种图像管理装置及管理方法。

背景技术

如果由监视照相机拍摄的视频连续地记录在记录装置中，则记录在记录装置中的视频的数据量将会变得极为庞大。为了从数量庞大的视频记录中有效地检测和核查异常情况，一些监视照相机系统执行视频分析处理，并进行向视频分配预定信息的处理。作为向视频分配预定信息的技术，提出了例如在日本特开2004-112005号和美国专利7,460,601号中描述的技术。

日本特开2004-112005号描述了一种图像记录装置，该装置在由照相机拍摄的连续图像数据中发生变化的情况下，将变化等级和变化部分记录为索引信息。为了回放记录的图像，日本特开2004-112005号中描述的图像记录装置参照索引信息，并且仅回放变化部分。根据该技术，能够容易地核查由照相机拍摄的图像。

美国专利7,460,601号描述了一种视频监视系统，在该系统中，视频传输装置将视频数据分割为预定的单位，向各分割的视频数据分配相关联的元数据，并将视频数据和元数据传输到视频接收装置。根据该技术，能够提高积累处理和搜索处理的效率。

在上述专利文献的技术中，通过向要记录的图像数据或视频数据分配诸如元数据的预定信息，有效地执行了后续的检测和核查处理。然而，在上述任何一个专利文献中，向长时间的图像数据或视频数据分配的信息量将变得庞大，因此无法充分地减轻搜索处理的负荷。

发明内容

本发明在搜索被分配的元数据以提取期望的图像数据时，减轻了处理负荷并能够进行有效的搜索。

根据本发明的第一方面，提供了一种图像管理装置，该图像管理装置包括：生成单元，其被配置为由分别与多个图像相对应的多个元数据生成所述多个元数据的概要数据；以及存储单元，其被配置为将所述概要数据与所述多个元数据相关联地存储。

根据本发明的第二方面，提供了一种图像管理装置的管理方法，该管理方法包括：由分别与多个图像相对应的多个元数据生成所述多个元数据的概要数据；以及将所述概要数据与所述多个元数据相关联地存储。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出信息处理装置的配置的框图；

图2是示出概要（summary）信息的示例的图；

图3A和图3B是示出创建概要信息的方法的示例的图；

图4是示出PTZ时的概要信息创建方法的时序图；

图5是示出以层级方式存储视频文件及关联的元数据文件的情况的图；

图6是示出视频与元数据之间的对应关系的图；

图7A和图7B是示出层概要信息的示例的图；

图8是例示存储处理的流程图；

图9是示出记录系统的图；以及

图10是示出信息处理装置的配置的框图。

具体实施方式

下面参照附图基于一些实施例详细描述本发明。应当指出，以下实施例所示的配置仅仅是一些示例，本发明不仅限于此。

图1是示出信息处理装置10的配置的框图。信息处理装置10包括图像获取单元101、控制信息获取单元102、编码单元103、分析单元104、参数设置单元105、临时存储单元106、概要信息创建单元107以及记录控制单元108。

图像获取单元101从外部摄像装置（未示出）获取图像。应当指出，信息处理装置10可以内置摄像装置。图像获取单元101例如以时间序列从摄像装置获取图像。图像获取单元101还分别向多个获取的图像分配用于识别这些图像的图像ID。作为另选方案，图像获取单元101可以从摄像装置获取被分配了图像ID的图像。应当指出，图像获取单元101获取的图像并不限于由外部摄像装置摄取的图像，也可以是保存在外部服务器或外部存储器中的图像。

控制信息获取单元102从外部摄像装置（未示出）获取照相机的摇动/摆动/变焦信息。控制信息获取单元102获取的信息并不限于照相机的摇动/摆动/变焦信息，而可以是能够从照相机获取的任何信息，例如白平衡或曝光变化信息。在不针对各控制信息分割概要信息的模式下，控制信息获取单元102不是必须的。

编码单元103以H.264格式对由图像获取单元101获取的连续图像中的各个进行编码，并通过仅提取亮度值来创建灰度图像。应当指出，编码单元103的编码处理并不限于H.264格式，可以是能够以例如连续JPEG或MPEG-2格式对连续图像进行编码的任何编码处理。

分析单元104使用由编码单元103创建的灰度图像，通过背景差分方法来检测运动对象或静止对象。另外，分析单元104向基于被检测到的对象在帧之间的位置关系识别出的对象分配ID（对象ID），并执行对象的追踪处理。基于各对象的形状和行为方式的特征，分析单元104分配人类（男性或女性）属性、静止对象属性、或其他属性。分析单元104还检测各对象的形状、位置、大小、运动轨迹等。

而且，分析单元104检测对象的运动轨迹通过画面上的特定位置的事件（通过（tripwire）事件）、以及对象停留在画面上的某一位置预定时间或更长时间的事件（遗弃事件）。

分析单元104使用获得的对象和事件、以及对应图像的创建时间，来创建各帧的元数据（第一元数据）。由于可能不会在所有帧中均检测到事件，因此将元数据与检测到事件的帧相关联。在元数据的开头描述帧的数据大小。

分析单元104的处理并不限于如上所述的处理，可以是通过分析图像创建元数据的任何处理，例如使用帧间差分方法或光流的运动对象追踪。在本实施例中，分析单元104从编码单元103获取灰度图像。然而，本发明并不限于此，分析单元104可以使用从图像获取单元101直接获取的图像。

作为对用户操作等的响应，参数设置单元105接收与要临时存储在临时存储单元106中的元数据和编码图像相关联的上限值。具体地说，上限值指示文件上限值和各层的层上限数。文件上限值表示要临时存储的数据量、时间等，并且针对编码图像或元数据设置文件上限值。层和各层的层上限数是当记录控制单元108记录信息时所需要的，稍后将对此进行详细描述。

另外，作为对用户操作等的响应，参数设置单元105接收概要信息过滤器。概要信息过滤器用来指定将在要由概要信息创建单元107（将在下面描述）创建的概要信息中描述的内容，并且至少是在元数据中描述的一条信息。

临时存储单元106将图像获取单元101分配的图像ID与编码单元103创建的编码图像和分析单元104创建的元数据相关联，并进行临时存储。如果临时存储的编码图像或元数据的量超过了上述文件上限值，则临时存储单元106将存储的编码图像和元数据分组，并将它们输出到概要信息创建单元107。之后，临时存储的编码图像等被重置。

概要信息创建单元107从临时存储单元106获取编码图像和元数据，并基于获取的编码图像和元数据创建视频文件和概要信息（第二元数据）。在本示例中，视频文件具有MP4格式，并且MP4文件结构所需要的各编码图像的大小、偏移位置等被创建并设置在具有MP4文件格式的文件中。另一方面，概要信息包括存储的元数据的范围、事件的有无、对象的数量、及各对象的位置信息，并根据上述概要信息过滤器的设置创建概要信息。

图2示出了以XML格式描述的概要信息的示例。图2示出了在概要信息过滤器中设置元数据的范围（范围）、事件的有无或数量（事件）、对象的属性和数量（人类）、及对象的位置信息（区域）的情况。概要信息过滤器并不限于这些信息，可以基于诸如概要信息的创建时间、各事件的发生时间、以及各事件的发生期间的信息来设置概要信息过滤器。

元数据的范围使用由图像获取单元101分配的图像ID指示存储的元数据在时间轴上的范围。即，该范围包括组的第一个和最后一个图像的图像ID。在图2中，该范围包括从具有图像ID“1000”的图像至具有图像ID“1300”的图像的图像。

事件的有无或数量指示在存储的元数据的范围内的各事件类型（通过事件（通过）或遗弃事件（遗弃））的事件的有无或数量。图2示出了检测到一个通过事件并检测到一个遗弃事件的情况。

各对象的属性表示从临时存储单元106输出的多个图像中检测到的对象。通过针对各属性对存储的元数据的范围内的对象进行计数来获得对象的数量。图2示出了检测到4个男性、3个女性、2只猫和4个其他物体的情况。

对象的位置信息指示画面上的、在存储的元数据的范围内检测到对象的位置（坐标）的合集。参照图2，在x坐标400至580、y坐标50至130的区域1中，检测到人类和其他物体并且检测到遗弃事件。另外，参照图2，在x坐标0至170、y坐标230至320的区域2中，检测到人类和动物，并且检测到通过事件。

作为与图2所示不同的示例，如果只有元数据的范围和事件的有无被设置为概要信息过滤器，则在概要信息中仅描述元数据的范围和事件的有无。

图3A和图3B示出了灰度图像（图3A）的示例和创建的概要信息（图3B）的示例。在图3A和图3B所示的示例中，如图3A所示，元数据的范围被称为一个块（chunk）区间，该一个块区间包括多个帧。分析单元104基于检测到的对象和事件针对各帧创建元数据。在对应于一个块区域的帧经过后，概要信息创建单元107基于获得的元数据和编码图像创建概要信息。

该概要信息如图3B所示。在本示例中，概要信息包括与检测到的事件相关的信息。具体地说，概要信息指示在一个位置（区域2）检测到人类和动物（人类、动物）以及通过事件（通过）。概要信息还指示在另一个位置（区域1）检测到人类和其他物体（人类，物体）和遗弃事件（遗弃）。

即，假定在块区间的第n个图像中检测到通过事件，并且在第n+m个图像中检测到遗弃事件。块区间的概要信息包括指示在块区间的一个图像中检测到通过事件和遗弃事件中的各个的信息。概要信息还包括检测到通过事件和遗弃事件的位置、以及检测到的对象的属性（人类、动物及其他）。

如果从控制信息获取单元102接收到诸如照相机的摇动/摆动/变焦（pan/tilt/zoom，PTZ）信息的照相机的控制信息的通知，则创建概要信息。图4示出了在一条概要信息（一个块区间）的范围内接收到PTZ设置改变通知的情况。参照图4，在存储的元数据的块n+1中，概要信息创建单元107创建从开始直到接受PTZ设置改变通知为止的元数据，作为概要信息s1。概要信息创建单元107在PTZ改变期间创建概要信息s2，并从PTZ改变操作结束至元数据结束之间创建概要信息s3。如上所述，根据控制信息的改变，针对各部分创建概要信息。

应当指出，从控制信息获取单元102接收的控制信息并不限于PTZ信息，可以是从照相机获得的任何控制信息，例如白平衡改变或曝光改变。照相机的控制信息被反映在概要信息中。

在本实施例中，概要信息创建单元107创建的视频文件具有MP4格式。然而，本发明并不限于此，可以使用任何能够由编码图像形成一个视频的容器（例如AVI文件）。另外，尽管在本实施例中由概要信息创建单元107创建的概要信息具有XML格式，但是本发明并不限于此，可以使用任何用于管理概要信息的格式，例如二进制格式或具有独特结构的格式。

概要信息中描述的内容并不限于本实施例中的内容，可以是通过在存储的元数据的范围内对元数据内容进行概括而获得的任何内容。在本实施例中，从控制信息获取单元102获取照相机的控制信息的改变。然而，如果控制信息存在于图像获取单元101获取的图像的头部，则可以使用该信息。

记录控制单元108将存储在临时存储单元106中的元数据、由概要信息创建单元107创建的概要信息以及视频文件，以层级方式一起记录在外部装置中。

图5示出了记录控制单元108将作为视频文件的MP4文件、以及由元数据创建的关联元数据文件存储在外部装置中的情况。MP4文件例如存储5秒钟的视频，并且关联元数据文件将从MP4文件中包括的多个图像中的各个中检测到的元数据与该多个图像中的各个相关联地存储。图5示出了具有从层0至层3的四个层的情况。基于由参数设置单元105接收到的层上限数进行记录。层上限数指示能够存储在各层中的文件或文件夹的上限数。

参照图5，层3的层上限数是15个MP4文件或15个关联元数据文件，层1和层2的层上限数各自被设置为1000个文件夹。应当指出，层上限数并不限于1000。MP4文件和关联元数据文件具有相同的名称和不同的扩展名。包括MP4文件和关联元数据文件的一个文件可以被保存在层3中。

当第一次保存MP4文件和关联元数据文件时，记录控制单元108在层1和层2中各自创建一个文件夹。按照文件夹创建顺序，文件夹名称为000至999。然后，将MP4文件和关联元数据文件保存在作为最低层的层3中。

针对各层创建层概要信息。如果MP4文件被保存在层2中的文件夹000中，则生成或更新层概要信息layer3_1meta。如果在MP4文件被保存在层2中的文件夹000中时不存在层概要信息layer3_1meta，则生成层概要信息layer3_1meta。如果在MP4文件被保存在层2中的文件夹000中时存在层概要信息layer3_1meta，则更新层概要信息layer3_1meta。

之后，如果在添加文件时层2中具有最小编号（图5中的000）的文件夹中的文件数量小于层上限数，则文件被保存在文件夹中。另一方面，如果文件的数量超过了层上限数，在层2中创建新文件夹，并在新文件夹中保存MP4文件和关联元数据文件。

应当指出，如果层2中的文件夹名称的编号超过了999，则在层1中创建新文件夹，并且如上所述创建保存MP4文件和关联元数据文件的文件夹。如果层1中的文件夹名称的编号超过了上限999，则删除层1中的文件夹000，然后如上所述在文件夹000中保存文件。之后，以类似的方式，进行删除操作，然后执行保存操作。

图6示出了要记录的MP4文件和关联元数据文件的结构的示例。在上部示出的MP4文件（视频文件）中，首先布置MP4BOX结构的头部（视频头），然后连续布置编码图像帧[0]至帧[n]。在关联元数据文件（元数据文件）中，首先布置由概要信息创建单元107创建的概要信息概要[0]和概要[1]，然后，在概要信息之后与编码图像帧[0]至帧[n]相关联地连续布置存储在临时存储单元106中的元数据元数据[0]至元数据[n]。具有如图6所示结构的MP4文件和关联元数据文件具有相同的名称和不同的扩展名。以此来将MP4文件与关联元数据文件相关联。当保存关联元数据文件时，创建并更新层概要信息。

应当指出，概要信息概要[0]和概要[1]以及关联元数据元数据[0]至元数据[n]不需要总被记录为一个文件，而可以被记录为不同的文件。

另外，记录控制单元108通过对属于同一层的文件或文件夹的概要信息进行概括，来创建层概要信息（第三元数据），并在每次内容改变时进行更新，从而实现层管理。例如，在层3中，创建15个文件的层概要信息（例如layer3_1meta）。在层2中，创建层2中的999个文件夹的层概要信息（例如layer2_1meta）。

图7A和图7B示出了以XML格式描述的层概要信息的示例。在图7A中，示出了层3中的层概要信息的示例（层上限数是3个文件）。在图7B中，示出了层2中的层概要信息的示例（层上限数是3个文件夹）。在各层概要信息中，以XML格式描述从存储在一个文件夹中的一个或多个概要信息中提取的摇动/摆动/变焦控制信息和事件的有无。

记录控制单元108记录视频和关联元数据的外部装置只需是能够存储数据的介质，例如SD卡、硬盘或NAS，而不限于特定的设备。

图8是例示上述存储处理的流程图。图8示出了由用于控制信息处理装置10的计算机执行的部分程序。该计算机读出存储在存储器中的程序，并执行如图8所示的处理。

在步骤S1中，确定是否继续存储处理。从图像获取单元101中获取图像（步骤S2），并且编码单元103创建编码图像（步骤S3）。分析单元104对在步骤S3中创建的编码图像进行分析处理（步骤S4），并将编码图像和元数据存储在临时存储单元106中（步骤S5）。如果存储在临时存储单元106中的编码图像或元数据的数量小于文件上限数，则处理返回到步骤S1的确定处理（步骤S6）。另一方面，如果编码图像或元数据的数量超过了文件上限数，则概要信息创建单元107创建概要信息（步骤S7），并在记录控制单元108的控制下进行记录处理（步骤S8）。然后临时存储单元106被重置，处理返回到步骤S1的确定处理（步骤S9）。

图9示出了使用根据本实施例的信息处理装置的记录系统以及记录系统的操作。参照图9，照相机91和观察器（viewer）92通过无线局域网相互连接，并且照相机91和网络驱动器93通过有线局域网相互连接。根据本实施例的信息处理装置安装在照相机91上。根据本实施例的信息处理装置直接从照相机91获取图像，进行根据本实施例的处理，并将结果输出到网络驱动器93来进行存储。

为了只回放有事件发生的视频，观察器92向照相机91传输搜索信息。在接受该搜索信息后，照相机91在网络驱动器93上进行搜索。例如，如果搜索通过事件，则从网络驱动器93的层级结构的最高层的层概要信息开始依次核查通过事件的有无。如果存在通过事件，则核查较低层的层概要信息。如果网络驱动器93从附于元数据的概要信息中核查通过事件的有无，并且找到该事件，则网络驱动器93将与事件发生的部分相对应的视频及其元数据通过照相机91传输给观察器92。系统配置并不限于此，信息处理装置可以被安装在网络驱动器93上。

如上所述，通过以层级方式保存根据上述配置的视频文件和关联元数据文件，能够通过以层级方式追踪元数据来提高搜索处理的效率。应当指出，在本实施例中，说明了保存视频文件的情况。本发明并不限于此，还可应用于包括静止图像文件的图像文件。

图10是示出根据第二实施例的记录装置的配置的框图。除了包括图像获取单元201和元数据获取单元202之外，该配置基本上与图1所示的配置相同。图像获取单元201获取由外部摄像装置摄取的图像、以及由外部装置分配给图像的图像ID。摄像装置和用于分配图像ID的装置可以是同一装置也可以是不同装置。

元数据获取单元202从外部装置获取元数据和与元数据对应的图像ID。从外部获取的图像的图像ID与元数据的图像ID不需要一一对应，但如图6所示，对应于各ID的图像和元数据可以具有相同的量或时间单位。

当将图像、图像ID以及元数据相互关联地存储在临时存储单元106中时，如果没有图像具有与元数据对应的图像ID，则将具有接近图像ID的图像与元数据相关联。类似地，如果没有元数据具有与图像对应的元数据的图像ID，则将具有相邻元数据的图像ID的图像与元数据相关联。其他配置与第一实施例所述相同，并对从外部获取的图像和元数据执行记录控制。

尽管详细描述了实施例，但是本发明可以采用例如系统、装置、方法、程序、记录介质（存储介质）等形式。具体地说，本发明可应用于包括多个设备（例如主机、接口设备、摄像装置及web应用）的系统或包括单个设备的装置。

本发明的实施例还可以通过读出并执行记录在存储介质（例如，非易失性计算机可读存储介质）上的用于执行本发明的一个或多个上述实施例的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质中读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令的方法来实现。计算机可包括中央处理单元（CPU）、微处理单元（MPU）、或其他电路中的一个或多个，并且可以包括不同计算机或不同计算机处理器的网络。计算机可执行指令可通过例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算系统的存储器、光盘（例如压缩盘（CD）、数字通用光盘（DVD）或蓝光盘（BD）TM）、闪存设备以及存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims

1.一种图像管理装置，所述图像管理装置包括：

生成单元，其被配置为由分别与多个图像相对应的多个元数据生成所述多个元数据的概要数据；以及

存储单元，其被配置为将所述概要数据与所述多个元数据相关联地存储。

2.根据权利要求1所述的图像管理装置，其中

分别与所述多个图像相对应的所述多个元数据中的各个包括第一元数据和第二元数据，并且所述多个元数据的所述概要数据包括所述第一元数据的概要数据和所述第二元数据的概要数据。

3.根据权利要求2所述的图像管理装置，其中

与第一图像相对应的所述第一元数据和与第二图像相对应的所述第二元数据中的各个指示在所述第一图像和所述第二图像中的相应的一个图像中检测的事件的存在，并且包括所述第一元数据和所述第二元数据的所述多个元数据的所述概要数据指示在包括所述第一图像和所述第二图像的多个图像中的一个图像中检测的事件的存在。

4.根据权利要求2所述的图像管理装置，其中

与第一图像相对应的所述第一元数据和与第二图像相对应的所述第二元数据中的各个指示在所述第一图像和所述第二图像中的相应的一个图像中检测的事件的类型，并且包括所述第一元数据和所述第二元数据的所述多个元数据的所述概要数据指示在包括所述第一图像和所述第二图像的多个图像中的一个图像中检测的事件的类型。

5.根据权利要求2所述的图像管理装置，其中

与第一图像相对应的所述第一元数据和与第二图像相对应的所述第二元数据中的各个指示在所述第一图像和所述第二图像中的相应的一个图像中检测的对象的位置，并且包括所述第一元数据和所述第二元数据的所述多个元数据的所述概要数据指示在包括所述第一图像和所述第二图像的多个图像中的一个图像中检测的对象的位置。

6.根据权利要求2所述的图像管理装置，其中

与第一图像相对应的所述第一元数据和与第二图像相对应的所述第二元数据中的各个指示在所述第一图像和所述第二图像中的相应的一个图像中检测的遗弃事件的存在，并且包括所述第一元数据和所述第二元数据的所述多个元数据的所述概要数据指示在包括所述第一图像和所述第二图像的多个图像中的一个图像中检测的遗弃事件的存在。

7.根据权利要求1所述的图像管理装置，其中

所述生成装置由多个第一元数据生成第一概要数据，并由多个第二元数据生成第二概要数据，并且

所述存储单元将所述第一概要数据与所述多个第一元数据相关联地存储，并将所述第二概要数据与所述多个第二元数据相关联地存储。

8.根据权利要求1所述的图像管理装置，所述图像管理装置还包括：

确定单元，其被配置为基于所述概要数据，确定在分别与所述多个元数据相对应的所述多个图像中是否存在满足条件的图像。

9.根据权利要求1所述的图像管理装置，其中

根据用于拍摄图像的摄像单元的状态的变化，所述生成单元由分别与所述摄像单元在所述状态变化前拍摄的多个图像相对应的多个元数据，来生成所述概要数据。

10.根据权利要求1所述的图像管理装置，其中

所述生成单元由分别与形成视频图像的多个图像相对应的多个元数据生成所述概要数据。

11.一种图像管理装置的管理方法，所述管理方法包括：

由分别与多个图像相对应的多个元数据生成所述多个元数据的概要数据；以及

将所述概要数据与所述多个元数据相关联地存储。

12.根据权利要求11所述的管理方法，其中

13.根据权利要求12所述的管理方法，其中

14.根据权利要求11所述的管理方法，所述管理方法还包括：

基于所述概要数据，确定在分别与所述多个元数据相对应的所述多个图像中是否存在满足条件的图像。

15.根据权利要求11所述的管理方法，所述管理方法还包括：

根据用于拍摄图像的摄像单元的状态的变化，由分别与所述摄像单元在所述状态变化前拍摄的多个图像相对应的多个元数据，来生成所述概要数据。