CN105554437A - 用于可视化徘徊对象的方法和设备 - Google Patents

Abstract

本发明提供一种用于可视化徘徊对象的方法和设备。所述用于可视化徘徊对象的方法包括：检测被确定为已经在输入图像的选择区域中达到预设时间段的至少一个对象；获取在所述预设时间段期间的各个时间段中检测到的至少一个对象中的每个对象的多个典型静止图像；按时间顺序显示典型静止图像或生成视频摘要，其中，在生成视频摘要的步骤中，利用时间顺序的指示将分别包括在多个典型静止图像中的检测到的至少一个对象中的每个对象的图像一起显示在单个图像上。

Description

用于可视化徘徊对象的方法和设备

本申请要求于2014年10月27日提交到韩国知识产权局的第10-2014-0146437号韩国专利申请的优先权，所述韩国专利申请的公开通过引用被全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及徘徊对象的检测。

背景技术

检测徘徊(loitering)对象的方法可被用于预先监视计划闯入特定区域的人员，以防止所述人员可能犯罪的发生。然而，由于在特定时间段检测徘徊对象的结果被显示在各个静止屏幕上，因此，可能无法容易地理解检测到的多个徘徊对象之间的关系。

发明内容

一个或多个示例性实施例包括解决这样的问题的方法：当未断定出检测到的徘徊对象是否为相同的对象时，可能难以使用或分析收集的数据。

各个方面将在下面描述中部分进行阐述，部分从该描述将是清楚的，或者可以通过本实施例的实践获知。

根据一个或多个示例性实施例，提供一种徘徊检测方法，可包括：检测被确定为已经在输入图像的选择区域中达到预设时间段的至少一个对象；获取在所述预设时间段期间的各个时间段中检测到的至少一个对象中的每个对象的多个典型静止图像；执行按时间顺序显示典型静止图像和生成视频摘要中的至少一个，其中，在生成视频摘要的步骤中，将分别包括在多个典型静止图像中的检测到的至少一个对象中的每个对象的图像一起显示在单个图像上。所述方法还可包括：为检测到的至少一个对象中的每个对象分配标识符，其中，将所述标识符与检测到的至少一个对象中的每个对象一起显示在典型静止图像上或视频摘要的所述单个图像上。所述方法还可包括：跟踪被分配了标识符的检测到的至少一个对象中的每个对象的路径。

在生成视频摘要的步骤中，可使用时间顺序的指示将分别包括在多个典型静止图像中的检测到的至少一个对象中的每个对象的图像显示在所述单个图像上。

每个典型静止图像可显示所述至少一个对象中的每个对象的正视图、侧视图和后视图中的至少一个。

检测到的至少一个对象可以为：在所述预设时间段在选择区域中已经出现过大于预定次数的至少一个对象。

附图说明

从以下结合附图对示例性实施例进行的描述，这些和/或其它方面将变得明显和更容易理解，在附图中：

图1示出根据示例性实施例的徘徊可视化设备的结构性配置；

图2示出根据示例性实施例的由徘徊可视化设备执行的根据时间检测特定移动对象；

图3示出根据示例性实施例的由徘徊可视化设备执行的通过使用在各个时间段中提取的典型静止图像来以视频摘要的形式显示至少一个移动对象的徘徊；

图4和图5示出根据示例性实施例的视频摘要和由徘徊可视化设备执行的显示至少一个移动对象的徘徊路径；

图6是根据示例性实施例的由徘徊可视化设备执行的徘徊可视化方法的流程图。

具体实施方式

现在将详细描述参照附图示出的示例性实施例，其中，相同的参考标号始终表示相同的元件。在这点上，本实施例可具有不同形式并且不应该被解释为局限于在此所阐述的描述。因此，以下仅通过参照附图描述示例性实施例以解释本发明构思的各个方面。如在此所使用的，术语“和/或”包括一个或更多个相关所列项的任何和所有组合。当诸如“…中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素，而不是修饰所述列的单个元素。

提供以下描述和附图来更好地理解本发明构思。在以下描述中，如果确定公知功能或结构将由于不必要的细节模糊发明构思，则不对公知功能或结构进行详细描述。

以下描述和附图不意在限制发明构思的范围，并且发明构思的范围应由所附的权利要求限定。以下描述中使用的术语仅用于描述发明构思的特定实施例，而不意在限制发明构思。

图1示出根据示例性实施例的徘徊可视化设备100的结构性配置。图2至图6示出徘徊可视化设备100的每个元件的功能。

徘徊可视化设备100包括：对象检测器110、对象标识器120、路径跟踪器130、典型图像获取器140和徘徊可视化器150。此外，徘徊可视化设备100还可包括视频摘要器(未示出)。

对象检测器110通过使用对象徘徊检测方法，检测在输入图像的特定区域中连续出现或者逗留达到预设时间段或更长时间的至少一个移动对象。这里，在所述预设时间段出现大于预定次数的特定对象可被检测为连续出现或逗留达到所述预设时间段或更长时间的所述至少一个移动对象。此外，输入图像可以是静止图像或移动图像的集合。对象徘徊检测方法为在特定区域中顺序地检测对象徘徊的路径的方法。徘徊路径可被显示在单个显示屏(即，单个图像帧)上。

图2示出根据示例性实施例的由对象检测器110执行的根据时间从输入图像200检测特定移动对象。对象检测器110在时间t1从输入图像200提取在位置A的特定移动对象(S210)，对象检测器110在时间t2从输入图像200提取在位置B的特定移动对象(S220)，对象检测器110在时间t3从输入图像200提取在位置C的特定移动对象(S230)。

对象标识器120为检测到的移动对象分配标识符。例如，参照图2，当对象检测器110在时间t1最先检测到在位置A的移动对象(S210)时，对象标识器120可为检测到的移动对象分配标识符ID#1。

路径跟踪器130被配置为跟踪至少一个具有标识符的移动对象的路径。参照图2，路径跟踪器130通过跟踪具有标识符ID#1的检测到的移动对象(S210、S220和S230)，来跟踪检测到的移动对象经过的穿过在时间t1的位置A、在时间t2的位置B和在时间t3的位置C的路径。

在路径跟踪器130跟踪具有标识符的检测到的移动对象的路径的同时，典型图像获取器140获取在每个时间段中的检测到的移动对象的典型静止图像。作为示例，获取分别在从9:00:00至9:05:00的时间段中、在从9:05:01至9:10:00的时间段中和在从9:10:01至9:15:00的时间段中的典型静止图像。在此情况下，检测到的移动对象的典型静止图像可以是检测到的移动对象的正视图、侧视图和后视图中的至少一个的形式。

参照图2和图4，在时间t1(09:00:28)在位置A检测到移动对象(S210)时获取的第一静止图像可被设置为在从9:00:00至9:05:00的时间段中的典型静止图像，在时间t2(09:00:53)在位置B检测到移动对象(S220)时获取的第二静止图像可被设置为在从9:05:01至9:10:00的时间段中的典型静止图像，在时间t3(09:01:07)在位置C检测到移动对象(S230)时获取的第三静止图像可被设置为在从9:10:01至9:15:00的时间段中的典型静止图像。

徘徊可视化器150收集针对具有标识符的每个移动对象在每个时间段中获取的每个典型静止图像，并按时间顺序显示典型静止图像。参照图2，徘徊可视化器150按时间顺序显示以上述方式获取的第一至第三静止图像。

参照图4和图5，徘徊可视化器150收集并按时间顺序显示针对具有标识符的每个移动对象在每个时间段中获取的每个典型静止图像。例如，徘徊可视化器150可按时间顺序显示被分配了标识符ID#1的移动对象410或移动对象510的典型静止图像，以及被分配了标识符ID#2的移动对象520的典型静止图像。徘徊可视化器150可提供将被显示在在每个时间段中获取的每个典型静止图像中的可以标识对象的标识信息。

徘徊可视化设备100还可包括视频摘要器(未示出)，视频摘要器用于基于收集的针对被分配标识符的至少一个移动对象在各个时间段中获取的典型静止图像来生成视频摘要。视频摘要器可包括在徘徊可视化器150中。图3示出根据示例性实施例的由徘徊可视化设备100执行的通过使用在各个时间段中获取的典型静止图像以视频摘要的形式显示至少一个移动对象的徘徊。参照图2和图3，视频摘要器将分别包括在多个典型静止图像中的检测到的至少一个移动对象的图像一起显示在单个屏幕(即，单个图像或单个图像帧)上。可采用各种方法来生成视频摘要。根据一个示例性实施例，视频摘要器可选择图2中所示的三个典型静止图像之一，仅从其它两个典型静止图像中的每个提取检测到的移动对象，并将提取的检测到的移动对象与选择的三个典型静止图像之一进行融合。

图4示出视频摘要器将分别包括在多个典型静止图像中的检测到的移动对象410的图像一起显示在单个屏幕420(即，单个图像或单个图像帧)上，图5示出视频摘要器将分别包括在多个典型静止图像中的两个移动对象510、520的图像一起显示在单个屏幕530上。这里，单个屏幕530可以是通过组合六个不同的静止图像而生成的图像。如以上参照图2和图3的描述，为了将在六个不同的时间点捕获的两个移动对象510、520的六个不同的静止图像显示在作为单个图像帧的单个屏幕530上，可采用各种方法。根据一个示例性实施例，视频摘要器选择六个静止图像之一，仅从其它五个静止图像中的每个提取移动对象510或520，并将提取的移动对象510或520与选择的六个静止图像之一进行融合。

此外，视频摘要器可被配置为：还通过使用针对具有标识符的每个对象在各个时间段中获取的典型静止图像，显示用于示出移动对象的路径的在图4中所示的移动轨迹(S410)，以及在图5中所示的移动轨迹(S510和S520)。在此情况下，视频摘要器可被配置为按时间顺序显示移动对象的路径。可选地，视频摘要器可被配置为将提取典型静止图像的时间(S521、S522和S523)显示在每个时间段中移动对象的典型静止图像上。

参照图5，示出了在被分配了标识符ID#1的移动对象510的典型静止图像上，分别显示典型静止图像被提取的时间09:00:01(S521)、时间09:00:32(S522)、时间09:01:03(S523)的示例。

图6是根据示例性实施例的由徘徊可视化设备执行的徘徊可视化方法的流程图。徘徊可视化设备可被实施为数字视频录像机(DVR)、数字视频光盘(DVD)、网络视频录像机(NVR)、智能电话、瘦终端、手持终端、包括监视相机的图像处理设备或图像重放设备。

在操作S610，徘徊可视化设备检测在接收的输入图像或被图像化的输入图像的特定区域中连续出现或者逗留达到预设时间段的至少一个移动对象。

根据示例性实施例，如果检测到已经在特定区域中达到时间段的至少一个移动对象，则还可将检测到的至少一个移动对象以图2中示出的矩形框S210、S220和S230的形式进行显示。此外，如果所述至少一个移动对象在特定区域中徘徊达到预设时间段(例如，10秒)或更长时间，则可存储所述至少一个移动对象在特定时间段中在特定区域中徘徊的每个时间。已发生火灾的区域、已发生事故的区域或需要监视的区域可被设置为特定区域。

如果停车场被设置为特定区域，则可检测在被盗车辆附近连续出现或停留达到特定时间段或更长时间(例如30分钟或更长时间)的至少一个移动对象。

在操作S620，向检测到的至少一个移动对象中的每个对象提供标识符。根据示例性实施例，通过标识所述至少一个移动对象中的每个对象，可跟踪所述至少一个移动对象的徘徊的路径。

在操作S630，跟踪具有标识符的所述至少一个移动对象中的每个对象的路径。在操作S640，获取在每个时间段中所述至少一个移动对象的多个典型静止图像。之后，在操作S650，收集并按时间顺序显示针对所述至少一个移动对象中的每个对象在每个时间段中获取的多个典型静止图像。

根据一个示例性实施例，收集并按时间顺序显示针对设置了标识符的移动对象在各个时间段中获取的各个典型静止图像。因此，可以以图标的形式显示关于标识符的信息、关于收集各个典型静止图像的时间点的信息等。

根据另一示例性实施例，收集并以视频摘要的形式显示针对具有各个标识符的移动对象在各个时间段中获取的典型静止图像。

如上所述，根据以上示例性实施例，徘徊可视化设备可按时间顺序跟踪被检测到徘徊的移动对象的路径。因此，即使检测到在场景中徘徊的多个移动对象时，也可容易地分析关于每个移动对象的信息。

此外，还可通过介质(例如，计算机可读介质)上的计算机可读代码/指令来实施述示例性实施例，以控制至少一个处理元件来实施上述任何实施例。该介质可对应于允许计算机可读代码的存储和/或传输的任意介质/媒介。

计算机可读代码可以以多种方式在介质上记录/传输，例如，介质的示例包括诸如磁存储媒介(例如，ROM、软盘、硬盘等)和光学记录媒介(例如，CD-ROM或DVD)的记录媒介、诸如互联网传输媒介的传输媒介。因此，介质可以是这样定义和可测量的结构：包括或携带信号或信息的结构，例如，根据一个或多个示例性实施例的携带比特流的装置。所述媒介还可以是分布式网络，从而可以以分布式的方式存储/传送和执行计算机可读代码。此外，处理元件可包括处理器或计算机处理器，并且处理元件可被分布和/或包括在单个装置中。

根据一个示例性实施例，如图1所示的通过框表示的至少一个部件可被实施为执行上述各个功能的各种数量的硬件、软件和/或固件结构。例如，这些部件中的至少一个可使用可通过一个或多个微处理器或其它控制设备的控制来执行各个功能的直接电路结构，诸如，存储器、处理、逻辑、查找表等。此外，这些部件中的至少一个可通过包括用于执行专门逻辑功能的一个或多个可执行指令的模块、程序或部分代码来专门实施，并由一个或多个微处理器或其它控制设备来执行。此外，这些部件中的至少一个还可包括执行各个功能的处理器(诸如，中央处理器(CPU))、微处理器等。这些部件中的两个或更多个可被组合为执行组合的两个或更多个部件的所有操作或功能的单个部件、元件或单元、单元的元件。此外，至少一个部件的至少一部分功能可由这些部件的另一个来执行。此外，虽然在上述框图中未示出总线，但所述部件、元件或单元之间的通信可通过总线执行。上述示例性实施例的功能性方面可被实施为在一个或多个处理器上运行的算法。此外，通过框表示的部件或处理步骤可采用任何数量的用于电子配置、信号处理和/或控制、数据处理等的相关领域的技术。

应该理解，在此描述的示例性实施例应被认为仅是描述性的意义，而不是为了限制的目的。每个实施例内的特征或方面的描述通常应该被认为是可用于其他实施例中的其他相似特征或方面。

尽管已参照附图描述了多个示例性实施例，但本领域普通技术人员将理解，在不脱离由权利要求限定的发明构思的精神和范围的情况下，可在此做出形式和细节上的各种改变。

Claims (20)

1.一种可视化徘徊对象的方法，所述方法包括：

检测被确定为已经在输入图像的选择区域中达到预设时间段的至少一个对象；

获取在所述预设时间段期间的各个时间段中检测到的至少一个对象中的每个对象的多个典型静止图像；

执行按时间顺序显示典型静止图像和生成视频摘要中的至少一个，其中，在生成视频摘要的步骤中，将分别包括在多个典型静止图像中的检测到的至少一个对象中的每个对象的图像一起显示在单个图像上。

2.如权利要求1所述的方法，还包括：为检测到的至少一个对象中的每个对象分配标识符，

其中，将所述标识符与检测到的至少一个对象中的每个对象一起显示在典型静止图像上或视频摘要的所述单个图像上。

3.如权利要求2所述的方法，还包括：跟踪被分配了标识符的检测到的至少一个对象中的每个对象的路径，

其中，在跟踪所述至少一个对象中的每个对象的路径的同时，执行典型静止图像的获取。

4.如权利要求1所述的方法，其中，执行按时间顺序显示典型静止图像而非生成视频摘要，

其中，按时间顺序显示典型静止图像的步骤包括：按时间顺序将典型静止图像与各个关于典型静止图像被相机捕获时的时间点的信息一起显示。

5.如权利要求4所述的方法，还包括：为检测到的至少一个对象中的每个对象分配标识符，

其中，将所述标识符与检测到的至少一个对象中的每个对象一起显示在典型静止图像上。

6.如权利要求1所述的方法，其中，执行生成视频摘要而非按时间顺序显示典型静止图像，

其中，生成视频摘要的步骤包括：按时间顺序跟踪检测到的至少一个对象中的每个对象的路径，并在所述单个图像上指示所述路径。

7.如权利要求6所述的方法，还包括：为检测到的至少一个对象中的每个对象分配标识符，并在所述单个图像上指示所述标识符。

8.如权利要求1所述的方法，其中，执行生成视频摘要而非按时间顺序显示典型静止图像，

其中，在生成视频摘要的步骤中，使用时间顺序的指示，将分别包括在多个典型静止图像中的检测到的至少一个对象中的每个对象的图像显示在所述单个图像上。

9.如权利要求1所述的方法，其中，每个典型静止图像显示所述至少一个对象中的每个对象的正视图、侧视图和后视图中的至少一个。

10.如权利要求1所述的方法，其中，检测到的至少一个对象为：在所述预设时间段在选择区域中已经出现过大于预定次数的至少一个对象。

11.一种用于可视化徘徊对象的设备，所述设备包括：

对象检测器，被配置为检测被确定为已经在输入图像的选择区域中达到预设时间段的至少一个对象；

图像获取器，被配置为获取在所述预设时间段期间的各个时间段中检测到的至少一个对象中的每个对象的多个典型静止图像；

徘徊可视化器，被配置为执行按时间顺序显示典型静止图像和生成视频摘要中的至少一个，其中，在生成视频摘要的处理中，将分别包括在多个典型静止图像中的检测到的至少一个对象中的每个对象的图像一起显示在单个图像上。

12.如权利要求11所述的设备，还包括：对象标识器，被配置为：为检测到的至少一个对象中的每个对象分配标识符，

其中，徘徊可视化器还被配置为：将所述标识符与检测到的至少一个对象中的每个对象一起显示在典型静止图像上或视频摘要的所述单个图像上。

13.如权利要求12所述的设备，还包括：路径跟踪器，被配置为跟踪被分配了标识符的检测到的至少一个对象中的每个对象的路径，

其中，图像获取器被配置为：在路径跟踪器跟踪所述至少一个对象中的每个对象的路径的同时获取典型静止图像。

14.如权利要求11所述的设备，其中，徘徊可视化器被配置为：按时间顺序显示典型静止图像而非生成视频摘要，

其中，徘徊可视化器还被配置为：按时间顺序将典型静止图像与各个关于典型静止图像被相机捕获时的时间点的信息一起显示。

15.如权利要求14所述的设备，还包括：对象标识器，被配置为：为检测到的至少一个对象中的每个对象分配标识符，

其中，徘徊可视化器还被配置为：将所述标识符与检测到的至少一个对象中的每个对象一起显示在典型静止图像上。

16.如权利要求11所述的设备，其中，徘徊可视化器被配置为：生成视频摘要而非按时间顺序显示典型静止图像，

其中，徘徊可视化器还被配置为：按时间顺序跟踪检测到的至少一个对象中的每个对象的路径，并在所述单个图像上指示所述路径。

17.如权利要求16所述的设备，还包括：对象标识器，被配置为：为检测到的至少一个对象中的每个对象分配标识符，

其中，徘徊可视化器还被配置为：在所述单个图像上指示所述标识符。

18.如权利要求11所述的设备，其中，徘徊可视化器被配置为生成视频摘要而非按时间顺序显示典型静止图像，

其中，徘徊可视化器被配置为：在生成视频摘要的处理中，将时间顺序的指示与检测到的至少一个对象中的每个对象的图像一起显示在所述单个图像上。

19.如权利要求11所述的设备，其中，每个典型静止图像显示所述至少一个对象中的每个对象的正视图、侧视图和后视图中的至少一个。

20.如权利要求11所述的设备，其中，检测到的至少一个对象为：在所述预设时间段在选择区域中已经出现过大于预定次数的至少一个对象。