CN107770486B - 事件搜索设备和系统 - Google Patents

Abstract

本发明涉及一种事件搜索设备和系统，包括：通信接口，被配置为从相机接收元数据和通过拍摄监视区域而获得的多个图像帧，其中，所述元数据包括事件的发生的时间信息以及与所述事件的发生的位置有关的位置信息；搜索图产生器，被配置为产生与图像帧相应并包括多个块的搜索图；时间戳设置器，被配置为在与所述位置信息相应的至少一个块中设置包括所述时间信息的至少一个时间戳；用户接口，被配置为接收作为针对监视区域中的事件搜索的搜索条件的搜索位置；事件搜索器，被配置为在所述多个块之中搜索并找到包括在所述搜索位置附近的块中的时间戳，并且使用与由找到的时间戳指示的图像帧有关的元数据来执行事件搜索。

Description

事件搜索设备和系统

本申请要求于2016年8月17日提交的第10-2016-0104114号韩国专利申请的优先权,所述韩国专利申请的公开内容通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及事件搜索，更具体地，涉及将特定事件发生之后用户希望搜索的区域指定为目标搜索区域并且仅将在所述目标搜索区域中发生的事件返回为搜索结果的事件搜索设备和系统。

背景技术

监视系统已被广泛用于各种地点，诸如银行、百货商店和住宅区。监视系统可主要用于预防犯罪和安保目的，但也已经被普遍用于对室内的宠物或儿童进行实时监控。最常见类型的监视系统之一是闭路电视(CCTV)系统，其中，相机被安装在可以捕获感兴趣区域的图像的适当的位置，并且允许用户基于由相机捕获的图像来监控感兴趣区域。

最近的CCTV系统提供了事件搜索功能。术语“事件”包括在由相机拍摄特定区域期间可能发生的各种事件。事件的示例包括诸如人或动物的运动的移动事件、诸如从橱柜落下的玻璃杯撞击地面然后破碎的运动和声音的运动/声音事件、以及诸如火灾的热/光事件。最近的CCTV系统被连接到各种传感器，从而提供事件通知功能，即利用传感器感测特定事件的发生并将特定事件的发生通知给用户。

然而，用户可能经常希望检查以前的事件的细节。例如，用户可能在回家发现他们的客厅中破碎的花瓶之后希望监控发生过什么事件。通常，用户仅能够输入时间条件来搜索以前的事件。

即使允许输入位置条件，用户也只能首先设置感兴趣区域(ROI)，然后搜索仅在ROI中发生的以前的事件，而不是在特定事件发生之后被允许输入任何期望的位置条件。因此，存在以下需求：位置条件被较晚输入作为搜索条件以便搜索在任何特定位置发生的事件。

发明内容

本发明构思的示例性实施例提供一种事件搜索设备和系统，其中，该事件搜索设备和系统能够将在特定事件发生之后用户希望搜索的区域指定为目标搜索区域，并且能够仅将在所述目标搜索区域中已经发生的事件返回为搜索结果。

根据示例性实施例，即使对于多个日期，也能够独立地或同时地进行事件搜索。

然而，本发明构思不限于本文所阐述的那些示例性实施例。通过参照下面给出的本公开的详细描述，以上和其他示例性实施例对于本发明构思所属领域的普通技术人员将变得更加清楚。

附图说明

通过参照附图，示例性实施例的以上和其它的方面以及特征将变得更加清楚，其中：

图1是根据示例性实施例的事件搜索系统的框图；

图2是根据示例性实施例的相机的框图；

图3是根据示例性实施例的控制器的框图；

图4是示出根据示例性实施例的从由相机获取的图像检测事件的发生示意图；

图5是示出引起图4的事件的对象的识别的示意图；

图6示出根据示例性实施例的响应于事件发生而产生的元数据；

图7是示出根据示例性实施例的在搜索图(search map)中的与已经发生图4的事件的位置相应的位置处的时间戳的设置的概念图；

图8是示出根据示例性实施例的图4的事件随时间的变化的示意图；

图9是示出根据示例性实施例的在搜索图中的与图8的事件随时间的变化被检测到的位置相应的位置处的多个时间戳的设置的概念图；

图10是示出根据示例性实施例的将图像中的搜索区域指定为搜索位置的示意图；

图11是示出根据示例性实施例的指定搜索图中的与图10的搜索区域相应的区域的指定的概念图；

图12是示出根据示例性实施例的将图像的搜索线指定为搜索位置的示意图；

图13是示出根据示例性实施例的在搜索图中指定与图12的搜索线相应的线的概念图；

图14是示出根据示例性实施例的时间线的概念图，其中，所述时间线将输入的用于事件搜索器对搜索图进行搜索的搜索条件概念化；

图15是示出根据示例性实施例的在多个搜索日期被指定的情况下对搜索图的转换的示意图；

图16是示出根据示例性实施例的时间线的概念图，其中，所述时间线将在多个搜索日期被指定的情况下的用于事件搜索器对搜索图进行搜素的搜索条件概念化。

具体实施方式

现在将参照示出本发明构思的示例性实施例的附图在下文中对本发明构思进行更全面的描述。然而，本发明构思可以以不同的形式被实现，并且不应被解释为限于本文所阐述的实施例。相反，提供这些实施例使得本公开将是详尽的和完整的，并且将更全面地向本领域技术人员传达本发明的范围。贯穿示例性实施例的描述，相同的参考数字表示相同的组件。在附图中，为了清楚起见，夸大了层和区域的厚度。

在描述本发明的上下文中(特别是在权利要求的上下文中)使用的术语“一个”和“所述”以及类似的指代应被解释为覆盖单数和复数，除非本文另有说明或与上下文明显矛盾。除非另有说明，否则术语“包含”、“具有”、“包括”和“含有”应被解释为开放式术语(即，意味着“包括，但不限于”)。

在本文中可以使用诸如“在…下面”，“在…下方”，“下面的”，“在…之上”、“上面的”等之类的空间相对的术语以便于描述附图中所示的一个元件或特征与另一元件或特征的关系的描述。将理解，所述空间相对的术语意图除了包括附图中所描绘的方位之外，还包括装置在使用或操作中的不同方位。例如，如果附图中的装置被翻转，则被描述为在其它元件或特征“下方”或“下面”的元件将被定向为在其它元件或特征的“上方”。因此，所述示例性术语“在…下方”可以包括上方和下方这两个方位。装置可以被另外定向(旋转90度或在其它方位)，并且本文使用的空间相对的术语被相应地解释。

图1是根据示例性实施例的事件搜索系统的框图。

所述事件搜索系统包括相机2和事件搜索设备1，其中，相机2通过拍摄监视区域获取如在后面所述的图5中例示的图像111，事件搜索设备1接收并显示由相机2获取的图像111并允许用户执行事件搜索。相机2可以以有线或无线方式被连接到事件搜索设备1，或者可以被安装在事件搜索设备1中以彼此交换图像数据或信号。

通过事件搜索设备1的显示器11显示由相机2获取的图像111。用户可以通过用户接口指定期望的搜索位置。然后，在所述搜索位置或附近已经发生的至少一个事件的记录被返回作为搜索结果。事件搜索设备1可以简单地搜索预先产生的与已经发生的事件有关的元数据4(如后面所述的图6中所例示的)，因此，可以快速输出搜索结果，而不需要搜索所述事件的图像111。

相机2通过拍摄监视区域来获取图像111。相机2可以优选地是但不是必须是能够摇摄和倾斜的摇摄倾斜相机。可选地，相机2可以包括具有大视角的广角镜头，特别是具有至少180°视角的超广角镜头，诸如，鱼眼镜头。可选地，相机2可以是360°相机，因此可以捕捉360°影像，其中，该360°相机是不能被物理地摇摄或倾斜但装备有多个鱼眼镜头的相机。然而，相机2不被特定地限于这些示例，各种相机可以被用作相机2。

相机2可以优选地但不限于是通过每秒捕捉15至30个2维(2D)图像帧并对所述图像帧进行数字化来输出视频数据的数字相机。在相机2不是数字相机的情况下，由相机2获取的图像111可以是红绿蓝(RGB)模拟图像数据，因此，可能另外需要模数转换器(ADC)。然而，在相机2是数字相机的情况下，不需要ADC。相机2可以装备有编码功能。因此，一旦获取图像111，相机2就可以通过很快对图像111进行编码来生成压缩的或编码的图像数据。

由相机2获取的图像111通过有线或无线通信被发送到事件搜索设备1，然后由嵌入在事件搜索设备1中的显示器11来显示。如果相机2被安装在事件搜索设备1中，则由相机2获取的图像111可以通过内部电路而不是通过无线通信被发送到显示器11，并且可以显示在显示器11中。显示器11可以是液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器或柔性显示器，或者可以是其他各种类型的显示器。

事件搜索设备1接收并显示由相机2获取的图像111。另外，事件搜索设备1接收用户输入并执行事件搜索。事件搜索设备1可以是但不限于可被容易地携带和运输的诸如智能手机、平板个人计算机(PC)、膝上型计算机等装置。可选地，事件搜索设备1可以是但不限于不能被容易地移动的诸如台式计算机、视频墙等装置。

如图1所示，事件搜索设备1包括显示图像111的显示器11、从相机2接收图像111和数据的第一通信接口12、存储图像111的存储器13以及控制事件搜索设备1的其它元件的控制器14。事件搜索设备1还可以包括用户接口10，其中，用户输入或命令(诸如事件搜索命令)通过用户接口10被接收。

显示器11显示由相机2获取的图像111。图像111可以是由相机2实时捕捉的实时图像，或者可以是由相机2先前获取的、存储在存储器13中、并通过从存储器13加载而被显示的图像。事件搜索设备1可以不提供触摸功能，在这种情况下，输入单元可被另外地提供。所述输入单元的示例包括鼠标、键盘、操纵杆、遥控器等。在事件搜索设备1提供触摸功能的情况下，显示器11可以包括能够感测触摸输入的触摸传感器。触摸输入可以由手指做出，但是本公开不限于此。也就是说，可选地，可以使用装备有能够流过微小电流的尖端的触笔来产生触摸输入。用户可以通过直接触摸在显示器11上显示的图形用户界面(GUI)来输入命令。即使事件搜索设备1提供触摸功能，但是如果显示器11不具有任何触摸传感器，则可以另外地提供触摸板。也就是说，用户可以通过各种用户接口向事件搜索设备1输入用户命令。

第一通信接口12以有线或无线方式向相机2发送信号和数据并从相机2接收信号和数据。例如，第一通信接口12对从控制器14接收的信号和数据执行调制和上变频并将所得到的信号和数据发送到相机2，并且对从相机2接收的信号和数据执行下变频和解调并将所得到的信号和数据提供给控制器14。按照这种方式，第一通信接口12可以从相机2接收信号和数据，并将由控制器14产生的信号和数据发送到相机2。

存储器13存储用于处理和控制由事件搜索设备1执行的操作的程序、在执行每个程序的过程中产生的各种数据以及由相机2获取的图像数据。更具体地，存储器13存储被发送到控制器14的元数据4以及如后面所述的图7、图9、图11和图13中例示的由控制器14产生的搜索图5。响应于用户执行事件搜索，存储器13加载搜索图5并将加载的搜索图5发送到控制器14。存储器13可以是但不限于嵌入在事件搜索设备1中的非易失性存储器(诸如，闪存)。可选地，存储器13可以被提供作为但不限于与事件搜索设备1分离的元件，诸如网络视频记录器(NVR)。另外可选地，NVR可以被提供作为事件搜索设备1，并且存储功能可以以各种方式被提供，例如，将诸如云服务的服务器用作存储装置。

控制器14控制事件搜索设备1的总体操作。例如，控制器14对第一通信接口12和相机2之间的信号和数据的通信执行处理和控制，并且响应于图像111经由第一通信接口12被接收，对图像111执行诸如解码和渲染的图像处理。另外，控制器14对从相机2发送的元数据4进行分析。另外，控制器14通过使用元数据4在搜索图5中设置如后面所述的图7、图9、图11和图13中例示的时间戳51，并且响应于从用户接收到事件搜索命令，通过从存储器13加载搜索图5来执行事件搜索。另外，控制器14处理搜索结果并控制显示器11显示处理后的搜索结果。中央处理单元(CPU)、微控制器单元(MCU)或数字信号处理器(DSP)可优选地被用作控制器14，但是本公开不限于此。也就是说，除了这里所阐述的那些逻辑运算处理器之外的各种逻辑运算处理器也可以被用作控制器14。

图2是相机2的框图。参照图2，相机2包括：接收图像信号的图像拾取传感器21、将图像111和数据发送到事件搜索设备1的第二通信接口24、确定事件是否已经发生的事件发生检测器22、以及在事件发生时基于关于事件的信息来产生元数据4的元数据产生器23。

图像拾取传感器21接收与监视区域有关的图像信号。图像拾取传感器21可以由电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器形成，但不限于此。响应于光被施加到CCD的多个光电二极管，CCD累积由光电效应产生的电子并传输电子。然后，通过对根据电子量而产生的电子量的变化进行分析并对信息进行重新配置来产生将形成屏幕图像的图像信息。CCD具有诸如提供清晰的图像质量和产生较少噪声的优点，但是也具有诸如高功率消耗和低处理速度的缺点。

作为使用CMOS的图像传感器并在其每个单元中具有放大器的CMOS图像传感器将由光产生的电子放大为电信号并传输该电信号。CMOS图像传感器相对便宜，消耗较少的功率，并且具有高处理速度，但是引起许多噪声。

事件发生检测器22确定事件是否已经发生。响应于事件发生，事件发生检测器22可以通过分析由相机2获取的图像111或通过从特定传感器接收信号来检测事件的发生。可选地，事件发生检测器22可以基于从传感器接收的信号来检测事件的发生，在这种情况下，传感器可以包括但不限于感测人或动物的运动的运动传感器、感测温度变化的温度传感器或感测气体的产生的气体传感器。也就是说，只要各种类型的传感器可以恰当地检测任何类型的事件的发生，就可以使用各种类型的传感器。

更具体地，在事件发生检测器22通过分析由相机2获取的图像111来检测事件的发生的情况下，事件发生检测器22事先获取平常日的图像111，并基于平常日的图像111的帧中的任意像素值变化来检测事件的发生，在这种情况下，如后面所述的图4、图5和图8中所例示的对象3的运动或者诸如火灾或地震的事件的发生可容易被精确地检测。为方便起见，假设事件发生检测器22通过分析图像111来检测事件的发生，但是本发明构思不限于此。

响应于事件发生，元数据产生器23基于与事件有关的信息产生元数据4。元数据4是描述另一特定数据并识别该特定数据的类型的数据。稍后将详细描述元数据4。

相机2中的第二通信接口24以有线或无线方式将信号和数据发送到事件搜索设备1并从事件搜索设备1接收信号和数据。例如，第二通信接口24对信号和数据执行调制和上变频，并且将所得到的信号和数据发送到事件搜索设备1，或者对从事件搜索设备1接收的信号和数据执行下变频和解调。按照这种方式，第二通信接口24可以从事件搜索设备1接收数据或信号，或者将图像数据、元数据4或信号发送到事件搜索设备1。

图3是根据示例性实施例的控制器14的框图。

参照图3，控制器14包括元数据分析器141、搜索图产生器142、时间戳设置器143和事件搜索器144，其中，元数据分析器141分析元数据4，搜索图产生器142响应于事件发生而通过对图像111进行映射来产生与所述事件的图像111相应的搜索图5，时间戳设置器143在搜索图5中设置时间戳51，事件搜索器144根据用户命令搜索事件。

元数据分析器141分析元数据4。元数据4包括与对象3以及事件发生的时间和位置有关的信息。元数据分析器141通过分析元数据4来提取与对象3以及事件发生的位置和时间有关的信息，并将所提取的信息发送到时间戳设置器143。

响应于事件发生，搜索图产生器142通过对图像111进行映射来产生与图像111相应的搜索图5。响应于从相机2发送来元数据4，搜索图产生器142识别元数据4的接收，并且确定是否存在已经产生并被存储在存储器13中的搜索图5。如果存在已经产生并被存储在存储器13中的搜索图5，则不需要产生搜索图5。另一方面，如果在存储器13中不存在搜索图5，则搜索图产生器142产生搜索图5。

搜索图5是可通过对图像111进行映射而在事件发生的位置处设置时间戳51的空间。响应于用户指定用于事件搜索的搜索条件，事件搜索器144搜索在搜索图5中设置的时间戳51，因此，可以快速地输出想要的搜索结果。换句话说，搜索图5是一种用于预先将书目数据全部录入并允许所有事件通过对搜索图5进行搜索而被简单地搜索的搜索工具。

搜索图5是由事件搜索设备1创建以便于事件搜索的空间。因此，搜索图5可以不必是物理存在的空间或图(map)，或者不必是能够通过显示器11被显示并因此可被用户的肉眼识别的空间或图，但是本发明构思不限于此。然而，可选择地，搜索图5可以根据用户命令通过显示器11被物理地显示。

搜索图5与图像111相应。因此，响应于通过显示器11被显示的图像111是矩形，搜索图5也可以是矩形。图像111的纵横比可优选地但不是必须与搜索图5的纵横比相同。然而，由于搜索图5仅需要与图像111的时间和坐标数据相应，因此，搜索图5的分辨率的改变、每秒帧数(FPS)以及比特率不影响搜索图5。也就是说，即使搜索图5的分辨率、FPS以及比特率改变，使用搜索图5的事件搜索也不受影响。搜索图5可以被划分为具有预定尺寸的多个块。块可以是当事件搜索器144执行事件搜索时用于位置条件的标准。响应于事件发生，搜索图产生器142通过对图像111进行映射来产生与图像111相应的搜索图5。响应于从相机2发送来元数据4，搜索图产生器142识别元数据4的接收，并确定是否存在已经产生并被存储在存储器13中的搜索图5。此外，控制器14通过使用元数据4在搜索图5中设置时间戳51，并且响应于从用户接收到事件搜索命令，通过从存储器13加载搜索图5来执行事件搜索。

时间戳设置器143在搜索图5中设置时间戳51。响应于元数据分析器141将包括在元数据4中的信息发送到时间戳设置器143，时间戳设置器143基于由元数据分析器141发送的信息在搜索图5中设置时间戳51。后面将对搜索图5中的时间戳51的设置进行详细描述。

事件搜索器144根据用户命令来搜索以前的事件。用户指定用于事件搜索的搜索条件，诸如时间条件和位置条件。事件搜索器144从搜索图5搜索时间戳51，因此，可以快速输出与由用户指定的搜索条件匹配的搜索结果。更具体地，通过搜索并找到与由用户指定的搜索条件匹配的时间戳51，可以获取与找到的时间戳51相应的元数据4。然后，可以从存储器13加载与所获取的元数据4相应的图像数据，并且可以通过显示器11显示所加载的图像数据。

图4是示出根据示例性实施例的从由相机2获取的图像111检测事件的发生的示意图，图5是示出根据示例性实施例的引起图4的事件的对象3的识别的示意图。

响应于在由相机2拍摄监视区域期间发生事件，事件发生检测器22检测事件的发生。例如，参照图4，假设在相机2拍摄道路期间，对象3(例如，汽车)表现为运动事件。相机2的图像拾取传感器21通过拍摄道路来获取图像111，事件发生检测器22基于由对象3的出现而引起的图像111的帧中的任何像素值变化来识别所述事件的发生。然后，参照图5，事件发生检测器22识别对象3。

一旦事件发生检测器22识别出对象3，对象3就被窗口112围住。如图5所示，窗口112在图像111中被形成为围绕图像111中的对象3的单个闭合曲线，并且可优选地但不是必须是矩形。

图6示出根据示例性实施例的响应于事件发生而产生的元数据4。

响应于事件发生，元数据产生器23基于与事件有关的信息产生元数据4。元数据4是描述另一特定数据并识别所述特定数据的类型以便于搜索所述特定数据的数据。如果所述特定数据是诸如大小非常大并且不容易被搜索的音乐数据或视频的数据，则元数据4可以由文本串形成，在这种情况下，元数据4的大小可以非常小，因此，可容易被搜索。

参照图6，元数据4包括诸如被识别的至少一个对象(例如，对象3)的唯一标识符(ID)、被识别的对象的数量、被识别的对象的位置和事件的发生时间的信息。更具体地，“utc”指示事件的发生时间，“numObj”指示被识别的对象的数量，“obj[0].left”、“obj[0].right”、“obj[0].top”和“obj[0].bottom”指示被识别的对象的位置(例如，在二维(2D)平面上的围绕对象3的窗口112的每个顶点的坐标)，“obj[0].objID”指示被识别的对象的唯一标识符。即使单个对象(即，对象3)移开，消失一段时间，然后再次出现，相机2也可将再次出现的对象识别为是与消失的对象相同的实体，并将与消失的对象的ID相同的ID分配给再次出现的对象。另一方面，如果所述对象消失，然后新的对象出现，则相机2将所述新的对象识别为是与消失的对象不同的实体，并将新的ID分配给所述新的对象。因此，事件搜索设备1不仅可以容易地搜索特定对象，而且还可以容易地跟踪特定对象。

图7是示出根据示例性实施例的在搜索图5中的与已经发生图4的事件的位置相应的位置处设置时间戳51的概念图。

响应于图4的事件发生，产生元数据4。当没有事件发生时，没有要被包括在元数据4中的信息，并且不需要产生元数据4。通常，相机2将图像数据发送到事件搜索设备1。然而，当事件发生时，相机2不仅向事件搜索设备1发送图像数据，还发送元数据4。

响应于从相机2接收到元数据4，搜索图产生器142识别元数据4的接收，并且确定是否存在已经产生并被存储在存储器13中的搜索图5。如果存在已经产生并被存储在存储器13中的搜索图5，则不需要产生搜索图5。另一方面，如果在存储器13中不存在存储的搜索图5，则搜索图产生器142通过对图像111进行映射来产生与元数据4和/或图像111(其中图4的事件被检测到)相应的搜索图5。这里，图像111可以是包含事件的发生的图像帧中的一个或更多个。

元数据分析器141分析元数据4并将包括在元数据4中的信息发送到时间戳设置器143。时间戳设置器143将时间戳51设置在搜索图5中的与已经发生图4的事件的位置相应的位置处。时间戳51被设置的位置不一定与已经发生图4的事件的位置完全相应，但是时间戳51可优选地但不是必须被设置在搜索图51中的与已经发生图4的事件的位置相应的块中。

时间戳51可以是当特定数据被产生或修改时的时间的指示符。参照图7，时间戳51可以被设置在搜索图5中以显示为点。因此，一旦设置了时间戳51，围绕图像111中的对象3的窗口112就可以在搜索图5中被显示为窗口112a。窗口112a的中心可以被指定为时间戳51将被设置的位置。因此，如果如图4所示，对象3出现在道路上，则时间戳51可以被设置在搜索图5中的与图5中所示的围绕对象3的窗口112相应的窗口112a的中心处，但是本发明构思不限于此。也就是说，可选地，时间戳51可以被设置在各种其它位置，诸如窗口112的四个顶点中的一个顶点。

时间戳51仅包括与事件发生的时间有关的信息，搜索图5中的时间戳51被设置的位置的坐标表示事件发生的位置。因此，可以从时间戳51识别事件发生的时间和位置二者。

图8是示出图4的事件随时间的变化的示意图，图9是示出根据示例性实施例的在搜索图5中的与图8的事件随时间的变化被检测到的位置相应的位置处设置多个时间戳51的概念图。

由于例如对象3在事件开始之后继续移动，因此事件可以继续。例如，参照图8，对象3可以出现在道路上，然后可以继续沿着道路移动，在这种情况下，多个元数据按照规则的时间间隔被产生，其中，每一个元数据包括事件发生变化的时间以及在事件发生变化时的对象的坐标。

事件搜索设备1从相机2接收所述多个元数据，并且元数据分析器141分析所述多个元数据。参照图9，时间戳设置器143在搜索图5中设置多个时间戳51。设置多个时间戳51的速率可优选地但不是必须与产生多个元数据的速率相应。例如，如果每秒产生十个元数据，则每秒在搜索图5中设置十个时间戳。

设置多个时间戳51的速率越快，则在搜索图5中设置的时间戳51的数量越大。因此，事件搜索的速度可能降低。在事件连续发生多个变化情况下，可以密集地设置多个时间戳51。因此，与相同事件相关联的时间戳51可容易被分组在一起。

另一方面，设置多个时间戳51的速率越慢，则在搜索图5中设置的时间戳51的数量越少。因此，事件搜索的速度可以增加。然而，由于多个时间戳51被稀疏地设置，所以可能难以对与相同事件相关联的时间戳51进行分组。因此，可以根据事件搜索设备1的性能和事件搜索设备1被使用的环境来适当地设置多个时间戳51被设置的速率。

设置有多个时间戳51的搜索图5可以被存储在存储器13中，并且每当新的元数据被接收到时，就可以在搜索图5中设置新的时间戳51，从而更新搜索图5。

图10是示出根据示例性实施例的将图像111中的搜索区域113指定为搜索位置的示意图，图11是示出根据示例性实施例的指定搜索图5中的与图10中的搜索区域113相应的区域的概念图。

用户可能希望检查以前的事件。例如，用户可能在回家发现他或她的客厅中破碎的花瓶之后或者在道路上发现破碎的路障之后希望监控发生过什么事件。在该示例中，用户可以以两种不同的方法指定搜索位置。第一种方法是指定搜索区域113，第二种方法是指定搜索线114，如后面将被描述的图12中所例示的。如本文所使用的术语“搜索位置”可以表示需要输入到事件搜索设备1中以执行事件搜索的位置条件。

在用户将搜索区域113指定为搜索位置的情况下，搜索区域113可以在图像111中形成为围绕将被搜索的目标区域的单个闭合曲线，并且可优选地但不是必须是矩形。

如果事件搜索设备1提供触摸功能以允许用户在图像111中指定搜索区域113，则用户可以用手指触摸目标区域的一个顶点，并且可以将手指拖动到目标区域的相对顶点。另一方面，如果事件搜索设备1允许用鼠标输入用户命令，则用户可以用鼠标点击目标区域的一个顶点并且可以将鼠标拖动到目标区域的相对顶点。然而，本发明构思不限于这些示例。也就是说，用户可以使用除了这里阐述的那些方法之外的各种方法来指定搜索区域113。

如图11所示，一旦在图像111中指定了搜索区域113，则搜索区域113在搜索图5中就被显示为搜索区域113a。如上所述，搜索图5可以被划分为具有预定尺寸的多个块，并且事件搜索器144从搜索地图5中搜索设置有时间戳51和搜索区域113a的一个或更多个块。

图12是示出根据示例性实施例的将图像111中的搜索线114指定为搜索位置的示意图，图13是示出根据示例性实施例的在搜索图5中指定与搜索线114相应的线的概念图。

参照图12，在用户将搜索线114指定为搜索位置的情况下，搜索线114可以被形成为穿过目标区域的直线或曲线。

如果事件搜索设备1提供触摸功能以允许用户在图像111中指定搜索线114，则用户可以用手指触摸特定的起始点并且可以将手指拖动到特定的终止点以绘制穿过目标区域的线。另一方面，如果事件搜索设备1允许用鼠标输入用户命令，则用户可以用鼠标点击起始点并且可以将鼠标拖动到终止点以绘制穿过目标区域的线。然而，本发明构思不限于这些示例。也就是说，用户可以使用除了这里阐述的那些方法之外的各种方法来指定搜索线114。

如图13所示，一旦在图像111中指定了搜索线114，则搜索线114在搜索图5中被显示为搜索线114a。如上所述，事件搜索器144从搜索图5搜索具有时间戳51和搜索线114的一个或更多个块。

如果搜索图5未被划分为块并且事件搜索器144被配置为仅搜索存在于搜索区域113中或与搜索线114接触的时间戳51，则事件搜索可能因为错误而无法正确地执行。更具体地，由于时间戳51被显示为点且事件发生在具有预定面积的区域上，所以错误可能是不可避免的。因此，如图11和图13所示，可优选地但不是必须从包括搜索位置的多个块中搜索设置有时间戳51的块，但是本发明构思不限于此。也就是说，事件搜索器144可以根据如何设置一个或更多个时间戳(诸如，是否针对每个事件设置多个时间戳51以及是否将多个时间戳显示为区域而不是点)来按照除了本文阐述的那些方式之外的各种方式执行事件搜索。

搜索图5可以被划分为具有预定尺寸的多个块。如果搜索图5的块的尺寸太大，则由用户指定的搜索位置和作为搜索结果而返回的事件的位置之间的误差可能过度增加。如果搜索图5的块的尺寸太小，则由于时间戳51被显示为点且事件发生在具有预定面积的区域上，因此错误可能是不可避免的。因此，可以根据事件搜索设备1和相机2被安装的环境来适当地设置搜索图5的块的大小。

图14是示出根据示例性实施例的时间线6的概念图，该示图将被输入用于事件搜索器144对搜索图5进行搜索的搜索条件概念化。

事件搜索器144从设置了时间戳51的搜索图5中搜索与由用户输入的时间条件和位置条件匹配的时间戳51。如图14所示，事件搜索器144可以确定由用户输入的时间条件和位置条件是否被满足。图14中的时间线6不是实际存在的物理实体，而是表示搜索条件的概念实体。时间线6包括表示时间流的线61、指示事件发生的时间段的平板(slab)63和64以及表示由用户输入的时间和位置条件的框62。

围绕平板64的框62与由用户输入的时间和位置条件相应。例如，由用户输入的时间条件可以是从下午3点到下午7点的时间段。平板63和64表示事件发生的时间段。也就是说，平板63和64表示设置时间戳51的时间段。更具体地，不具有阴影线的平板63可以与不满足由用户输入的位置条件的事件发生的时间段相应。也就是说，平板63可以与时间戳51被设置在搜索图5中但未被设置在包括由用户指定的搜索位置的块中的时间段相应。另一方面，具有阴影线的平板64可以与满足由用户输入的位置条件的事件发生的时间段相应。也就是说，平板64可以与时间戳51被设置在搜索图5中的包括由用户指定的搜索位置的块中的时间段相应。未用平板表示的时间段可以是没有事件发生的时间段。也就是说，未用平板表示的时间段可以是在搜索图5中没有设置时间戳51的时间段。

在图14的示例中，事件搜索器144仅将搜索图5中的包括由用户指定的搜索位置并具有与从下午3点到7点的时间段相应的时间戳51的块返回为搜索结果。响应于事件搜索器144搜索并找到与从下午3点到7点的时间段相应的时间戳51，可以获得与所找到的时间戳51相应的元数据。然后，可以从存储器13加载与所获得的元数据相应的图像数据，并且可以通过显示器11输出所加载的图像数据。因此，通过使用在搜索图5中设置的时间戳51，用户期望的事件可容易被快速搜索。

图15是示出根据示例性实施例的针对多个搜索日期被指定的情况对搜索图5进行转换的示意图。

如上所述，搜索图是通过对图像进行映射可以在事件发生的位置处设置时间戳的空间。搜索图可以是2D平面的形式，并且每当事件发生时，就在搜索图中设置和累积时间戳。事件搜索设备1可优选地但是不是必须存储短时间段(诸如例如一天或一星期)的图像数据。

事件搜索设备1可以提供存储长时间段(诸如例如一个月或一年)的图像数据的功能。然而，在这种情况下，如果所有时间戳被累积在搜索图的单个平面上，则事件搜索的速度可能由于过多的时间戳搜索而降低。

因此，在事件搜索设备1的存储时间段相对长的情况下，搜索图可以被转换为通过堆叠多个2D平面而获得的三维(3D)立体形状。在这种情况下，搜索图可优选地但不是必须将与每一天相应的时间戳累积到搜索图的每一个平面上，并可以在事件搜索设备1的存储时间段的每一天堆叠2D平面。如果事件搜索设备1的存储时间段是月，则可以堆叠总共约三十个2D平面。一旦事件搜索设备1的存储时间段结束，可以每天一个接一个地删除堆叠的2D平面，并且可以每天创建新的2D平面。如图15所示，按照这种方式，搜索图5a保持它的预定尺寸的3D立体形状。然而，本发明构思不限于该示例。也就是说，搜索图5a可以在其每个平面上累积与三天时间段、一周或另一时间长度相应的时间戳，并且能够被堆叠的平面的数量也可以变化。

图16是示出根据示例性实施例的时间线的概念视图，其中，所述时间线将在多个搜索日期被指定的情况下的用于事件搜索器144对搜索图5进行搜索的搜索条件概念化。

由用户指定的时间条件包括日期条件。如果多个日期被指定为搜索条件，则事件搜索器144同时并行地对搜索图5a的多个平面进行搜索，并且仅将搜索图5a中的包括由用户指定的搜索位置并设置有时间戳的块返回为搜索结果。

例如，参照图16，由用户输入的时间条件可以是从1月10日到1月13日的每一天的下午3点到7点的时间段。事件搜索器144可以从与四天分别相应的搜索图5a的四个平面中搜索并找到搜索图5a中的包括由用户指定的搜索位置并设置有时间戳的块，并可以将找到的块返回为搜索结果。在该示例中，事件搜索器可以同时并行地搜索分别与四天相应的搜索图5a的四个平面。然后，如上所述，可以获得与所找到的块的时间戳相应的元数据。然后，可以从存储器13加载与获取的元数据相应的图像数据，并且可以通过显示器11输出所加载的图像数据。因此，通过使用在搜索图5a中设置的时间戳，可容易快速地搜索用户期望的事件。

上述方法或算法的操作或步骤可以被实现为计算机可读记录介质上的或者通过传输介质将被传输的计算机可读代码。所述计算机可读记录介质是可以存储随后可以由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、致密盘(CD)-ROM、数字通用盘(DVD)、磁带、软盘和光学数据存储装置，但不限于此。所述传输介质可以包括通过因特网或各种类型的通信信道传输的载波。计算机可读记录介质还可以分布在联网的计算机系统上，使得计算机可读代码以分布式方式被存储和执行。

根据示例性实施例，由图1至图3所示的块表示的特定组件、元件、模块或单元可以被实现为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些组件、元件、模块或单元可以使用可通过一个或更多个微处理器或其它控制设备的控制来执行各个功能的直接电路结构，诸如存储器、处理器、逻辑电路、查找表等。另外，这些组件、元件、模块或单元可以通过包括用于执行指定的逻辑功能的模块、程序或一部分代码来具体实现，并且可被一个或更多个微处理器或其它控制设备执行。另外，这些组件、元件、模块或单元还可以包括诸如执行各个功能的中央处理单元(CPU)、微处理器等处理器，或可以由执行各个功能的中央处理单元(CPU)、微处理器等处理器来实现。这些组件、元件、模块或单元中的两个或更多个可以被组合成执行所组合的两个或更多个组件、元件、模块或单元的所有操作或功能的单个组件、元件、模块或单元。此外，这些组件、元件、模块或单元的功能的至少一部分可以由另一个组件、元件、模块或单元来执行。此外，尽管在上述框图中未示出总线，但是这些组件、元件、模块或单元之间的通信可以通过总线来执行。以上的示例性实施例的功能方面可以按照在一个或更多个处理器上执行的算法来实施。此外，用块或处理步骤表示的组件、元件、模块或单元可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的现有技术。这些组件、元件、模块或单元可以是第一通信处理器12、第二通信处理器24、控制器14、事件发生检测器22、元数据产生器23、元数据分析器141、搜索图产生器142、时间戳设置器143和事件搜索器144。这里，包括在事件搜索设备1中的组件、元件、模块或单元中的一些可以被重新安置到相机2，或者包括在相机2中的这些组件、元件、模块或单元中的一些可以被重新安置到事件搜索设备1。

尽管已经参照本发明的示例性实施例具体地示出和描述了本发明构思，但是本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可以在示例性实施例中做出形式和细节上的各种改变。示例性实施例应当被认为仅是描述性意义，而不是为了限制本发明构思的目的。

Claims (15)

1.一种事件搜索设备，包括：

第一通信接口，被配置为从相机接收元数据以及通过拍摄监视区域而获得的多个图像帧，其中，所述元数据包括与所述多个图像帧中的事件的发生的时间有关的时间信息以及与所述事件的发生的位置有关的位置信息；

搜索图产生器，被配置为产生与图像帧相应并包括多个块的搜索图；

时间戳设置器，被配置为在搜索图中的所述多个块之中的与所述位置信息相应的至少一个块中设置包括所述时间信息的至少一个时间戳；

用户接口，被配置为接收作为针对监视区域中的事件搜索的搜索条件的搜索位置；

事件搜索器，被配置为在所述多个块中搜索并找到包括在所述搜索位置附近的块中的时间戳，并且使用与由找到的时间戳指示的图像帧有关的元数据来执行事件搜索，

其中，设置所述至少一个时间戳的速率根据事件搜索器的搜索速度而被设置。

2.如权利要求1所述的事件搜索设备，其中，所述搜索位置附近的块是包括所述搜索位置的块。

3.如权利要求1所述的事件搜索设备，其中，所述搜索位置被显示为线或区域。

4.如权利要求1所述的事件搜索设备，其中，从相机接收的所述元数据还包括引起所述事件的对象的标识符，

其中，所述位置信息包括所述对象在二维(2D)平面上的坐标。

5.如权利要求1所述的事件搜索设备，其中，用户接口接收多个搜索条件，

其中，事件搜索器根据所述搜索条件或所述多个搜索条件来执行事件搜索。

6.如权利要求1所述的事件搜索设备，其中，如果所述搜索条件包括多个日期，则搜索图具有通过堆叠多个2D平面而获得的三维(3D)立体形状。

7.如权利要求6所述的事件搜索设备，其中，事件搜索器通过同时并行地处理所述多个2D平面来执行事件搜索。

8.如权利要求1所述的事件搜索设备，其中，由找到的时间戳指示的图像帧根据所述搜索位置而变化。

9.一种包括如权利要求1所述的事件搜索设备的事件搜索系统，包括：

相机，被配置为通过拍摄监视区域来产生所述多个图像帧，并且产生与所述多个图像帧有关的所述元数据。

10.如权利要求9所述的事件搜索系统，其中，相机包括：

图像拾取传感器，被配置为通过拍摄监视区域来产生所述多个图像帧；

事件发生检测器，被配置为基于所述多个图像帧来检测所述事件是否已经发生；

元数据产生器，被配置为产生包括所述时间信息和所述位置信息的所述元数据；以及

第二通信接口，被配置为将由图像拾取传感器产生的所述多个图像帧和由元数据产生器产生的所述元数据发送到第一通信接口。

11.一种事件搜索设备，包括：

元数据产生器，被配置为产生在监视区域中发生的事件的元数据；

搜索图产生器，被配置为产生包括与所述事件有关的位置信息的搜索图信息；

时间戳设置器，被配置为设置所述事件的至少一个时间戳，并且基于所述事件的元数据将所述至少一个时间戳与搜索图信息中的位置信息相关联；

事件搜索器，被配置为从搜索图信息中搜索与用户输入的搜索条件相应的时间戳，提取与搜索到的时间戳相应的元数据，并进行控制以显示与提取的元数据相应的图像，

其中，设置所述至少一个时间戳的速率根据事件搜索器的搜索速度而被设置。

12.如权利要求11所述的事件搜索设备，其中，搜索图信息包括向用户显示的搜索图，

其中，搜索图包括指示有多个时间戳的多个划分区域。

13.如权利要求11所述的事件搜索设备，其中，搜索图信息包括向用户显示的搜索图，

其中，事件搜索器被配置为允许用户针对时间戳的搜索指定区域或位置。

14.如权利要求13所述的事件搜索设备，其中，时间戳包括关于所述事件的时间和位置信息。

15.如权利要求11所述的事件搜索设备，其中，搜索图信息包括向用户显示的搜索图，

其中，时间戳设置器在搜索图中的在所述事件发生的位置处或至少在所述事件发生的位置附近分别设置所述至少一个时间戳。

Images