CN112966556B - 一种运动物体检测方法及系统 - Google Patents

一种运动物体检测方法及系统 Download PDF

Info

Publication number
CN112966556B
CN112966556B CN202110145826.7A CN202110145826A CN112966556B CN 112966556 B CN112966556 B CN 112966556B CN 202110145826 A CN202110145826 A CN 202110145826A CN 112966556 B CN112966556 B CN 112966556B
Authority
CN
China
Prior art keywords
image
event data
preset
moving object
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110145826.7A
Other languages
English (en)
Other versions
CN112966556A (zh
Inventor
牟晓正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Howay Sensor Shanghai Co ltd
Original Assignee
Howay Sensor Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Howay Sensor Shanghai Co ltd filed Critical Howay Sensor Shanghai Co ltd
Priority to CN202110145826.7A priority Critical patent/CN112966556B/zh
Priority to EP21923755.9A priority patent/EP4290404A1/en
Priority to PCT/CN2021/075434 priority patent/WO2022165735A1/zh
Publication of CN112966556A publication Critical patent/CN112966556A/zh
Application granted granted Critical
Publication of CN112966556B publication Critical patent/CN112966556B/zh
Priority to US18/226,818 priority patent/US20230368397A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动物体检测方法及系统。其中运动物体检测方法包括步骤：将预设图像模板分成多个尺寸相同的图像块；统计各图像块中包含的预定时长内的事件数据的数量，事件数据来自动态视觉传感器，由视场中物体和动态视觉传感器的相对运动触发；根据各图像块对应的事件数据的数量，确定出包含运动物体的至少一个图像块；基于所确定的图像块，生成物体候选框，物体候选框指向检测出的运动物体。本发明一并公开相应的计算设备。

Description

一种运动物体检测方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种运动物体检测方案。
背景技术
基于传统图像传感器的物体检测方法，通常需要对整幅图像进行遍历搜索，这些检测方法包括传统的机器学习算法，如Adaboost、Random Forest等；以及当前被广泛研究的深度学习算法，如YOLO、Faster RCNN、SSD等。然而，通常目标物体在图像中所占的大小比例会比较小，这就会导致大量冗余的算力消耗在目标物体以外的区域，因而对算法的实时性是一个很大的挑战。并且，当物体运动速度过快时，传统图像通常都会产生运动模糊，这样，运动物体在图像中的特征不明显或者发生变化，进而导致传统物体检测和识别算法失败。
鉴于此，需要一种新的运动物体检测方案。
发明内容
本发明提供了一种运动物体检测方法及系统，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种运动物体检测方法，包括步骤：将预设图像模板分成多个尺寸相同的图像块；统计各图像块中包含的预定时长内的事件数据的数量，事件数据来自动态视觉传感器，由视场中物体和动态视觉传感器的相对运动触发；根据各图像块对应的事件数据的数量，确定出包含运动物体的至少一个图像块；基于所确定的图像块，生成物体候选框，物体候选框指向检测出的运动物体。
可选地，根据本发明的方法还包括步骤：将预定时长内的事件数据映射到预设图像模板，生成预定时长段对应的时间平面图像，其中，事件数据中包含被触发事件的坐标位置及时间戳。
可选地，在根据本发明的方法中，在基于所确定的图像块，生成物体候选框的步骤之后，还包括步骤：利用图像分类算法，从时间平面图像中识别出物体候选框所指向的运动物体的类别。
可选地，在根据本发明的方法中，利用以下公式来统计各图像块中包含的事件数据：
Figure BDA0002930216210000021
其中，bij表示第i行第j个图像块(i＝1,2,...,m，j＝1,2,...,n)，H(bij)为bij所包含的预定时长内的事件数据的数量，(xk,yk)表示第k个事件数据的坐标位置，N为该预定时长内接收到的事件数据的总个数，δ(·)表示狄拉克δ函数，[·]表示取整函数。
可选地，在根据本发明的方法中，根据各图像块对应的事件数据的数量，确定出包含运动物体的至少一个图像块的步骤包括：筛选出所包含事件数据的数量大于第一预设值的图像块，作为包含运动物体的图像块。
可选地，在根据本发明的方法中，基于所确定的图像块，生成物体候选框的步骤包括：从所确定的图像块中，查找具有共享边的连续的多个图像块；基于所查找的连续的图像块，生成至少一个最小外接矩形，作为物体候选框。
可选地，在根据本发明的方法中，基于所确定的图像块，生成物体候选框的步骤还包括：分别计算当前预定时长与前一相邻预定时长段内，所检测出的各物体候选框的重叠率；将重叠率大于第二预设值的物体候选框，作为当前预定时长段最终所对应的物体候选框。
可选地，在根据本发明的方法中，在将预设图像模板分成多个尺寸相同的图像块的步骤之前，还包括步骤：基于动态视觉传感器中的像素单元阵列，生成预设图像模板。
可选地，在根据本发明的方法中，将预定时长内的事件数据映射到预设图像模板，生成该段时长对应的时间平面图像的步骤包括：在预设图像模板的各像素处，查找是否存在与像素的坐标位置一致的被触发事件；以及根据查找的结果，对像素的像素值进行二值化赋值，来生成时间平面图像。
可选地，在根据本发明的方法中，将预定时长内的事件数据映射到预设图像模板，生成该段时长对应的时间平面图像的步骤包括：在预设图像模板的各像素处，计算其坐标位置与所有被触发事件的坐标位置的关系值；基于关系值，更新该像素的像素值，来生成时间平面图像。
可选地，在根据本发明的方法中，第一预设值与图像块的尺寸及预定时长正相关。
根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。
根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当计算设备执行时，使得计算设备执行如上所述方法中的任一方法。
根据本发明的又一方面，提供了一种运动物体检测系统，包括：如上所述的计算设备；动态视觉传感器，与计算设备相耦接，适于基于视场中对象和动态视觉传感器的相对运动而触发事件，并输出事件数据流给计算设备。
综上所述，根据本发明的方案，将预设图像模板分成若干尺寸一致的图像块，分别统计各图像块中的事件数据个数，加快了定位运动物体所有可能区域的速度，避免了传统算法中对图像整个区域的遍历搜索，很大程度上减少了算力。同时，按照图像块的方式统计事件数据的个数，而不是按照每个像素每个像素地逐像素去统计，一方面大大减少了计算量，另一方面也提高了物体定位的鲁棒性。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一些实施例的运动物体检测系统100的示意图；
图2示出了根据本发明一些实施例的计算设备200的示意图；
图3示出了根据本发明一个实施例的运动物体检测方法300的流程图；
图4A和图4B示出了根据本发明一个实施例的确定物体候选框的示意图；
图5示出了根据本发明另一个实施例的运动物体检测方法500的流程图；
图6示出了根据本发明一个实施例的运动物体检测结果的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
近年来，动态视觉传感器(Dynamic Vision Sensor，DVS)在计算机视觉领域中得到了越来越多的关注和应用。DVS是一种模拟基于脉冲触发式神经元的人类视网膜的生物拟态视觉传感器。传感器内部具有由多个像素单元构成的像素单元阵列，其中每个像素单元只有在感应到光强变化时，才会响应并记录光强快速变化的区域。也就是说，DVS内的每一个像素单元能够独立自主地响应并记录光强快速变化的区域。由于DVS采用事件触发的处理机制，故其输出是异步的事件数据流而非图像帧，事件数据流例如是光强变化信息(如，光强变化的时间戳和光强阈值)以及被触发像素单元的坐标位置。
基于以上工作原理特性，动态视觉传感器相比于传统视觉传感器的优越性可归纳为以下几个方面：1)DVS的响应速度不再受传统的曝光时间和帧速率限制，可以侦测到高达万帧/秒速率运动的高速物体；2)DVS具有更大的动态范围，在低光照或者高曝光环境下都能准确感应并输出场景变化；3)DVS功耗更低；4)由于DVS每个像素单元都是独立响应光强变化，因此DVS不会受运动模糊的影响。
根据本发明的实施方式，提出了一种基于DVS的运动物体检测方案。该方案考虑到现有运动物体检测方案的缺陷，想到利用DVS数据冗余量低、响应快速、以及不受运动模糊影响等特性，通过一定的算法来处理其输出的事件数据流，来实现对运动物体的快速检测和识别，以解决传统的运动物体检测算法在算力和功耗上的高需求、以及在准确率和响应速度上的低性能等问题。
图1示出了根据本发明一个实施例的运动物体检测系统100的示意图。如图1所示，系统100包括相互耦接的动态视觉传感器(DVS)110和计算设备200。应当了解，图1仅作为示例，本发明实施例对系统100中所包含的DVS和计算设备的数量并不做限制。
动态视觉传感器110实时监测视场中物体的运动变化，一旦其监测到视场中有物体(相对于动态视觉传感器110)发生运动(即，视场中的光线发生变化)，就会触发像素事件(或，简称为“事件”)，输出动态像素(即，亮度发生变化的像素单元)的事件数据。一段时间内输出的若干个事件数据就构成了事件数据流。该事件数据流中每个事件数据至少包括被触发事件(即，亮度发生变化的像素单元)的坐标位置和被触发时刻的时间戳信息。关于动态视觉传感器110的具体组成，此处不做过多阐述。
计算设备200接收来自动态视觉传感器110的事件数据流，并对这些事件数据流进行处理，以检测出发生运动的物体。更进一步地，计算设备200还可以识别出所检测出的运动物体的类别(例如，人、车、猫、足球等)。之后，系统100可基于检测结果，进行后续的处理，如，跟踪运动物体等。
根据本发明的一种实施例，图2示出了根据本发明一个实施例的计算设备200的示意框图。
如图2所示，在基本的配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。
取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μP/μC/DSP)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。
取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。
计算设备200还包括储存设备232，储存设备232包括可移除储存器236和不可移除储存器238，可移除储存器236和不可移除储存器238均与储存接口总线234连接。
计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
一般地，计算设备200可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。在根据本发明的一种实施方式中，计算设备200可以被实现为微型计算模块等。本发明的实施例对此均不做限制。
在根据本发明的实施例中，计算设备200被配置为执行根据本发明的运动物体检测方法。其中，计算设备200的应用222中包含执行根据本发明的方法300和方法500的多条程序指令。
应当了解，在动态视觉传感器110具有足够的存储空间和算力的条件下，计算设备200也可以作为动态视觉传感器110的一部分，来对事件数据流进行处理，实现运动物体检测。
图3示出了根据本发明一个实施例的运动物体检测方法300的流程图。方法300在计算设备200中执行。需要说明的是，篇幅所限，关于方法300和系统100的描述互为补充，重复部分不做赘述。
如图3所示，方法300始于步骤S310。
在步骤S310中，将预设图像模板分成多个尺寸相同的图像块。
根据本发明的实施例，方法300还包括生成预设图像模板的步骤。具体地，基于动态视觉传感器110中的像素单元阵列，生成预设图像模板。在一种实施例中，预设图像模板的尺寸同像素单元阵列的尺寸保持一致。假设像素单元阵列是一个20×30的阵列，那么预设图像模板的尺寸也是20×30。换言之，预设图像模板中每一个像素都对应像素单元阵列中的一个像素单元。在一种实施例中，假设预设图像模板的长为H，宽为W，将其分成m行n列来得到多个图像块，则每个图像块的尺寸记作：长为
Figure BDA0002930216210000071
宽为
Figure BDA0002930216210000072
如图4示出了根据本发明一个实施例的分割方式，其中，bij(i＝1，2，...，m；j＝1，2，...，n)表示图像块的编号。
在另一些实施例中，在分割预设图像模板时，相邻图像块之间也可以有一定的重叠。其中，相邻图像块可以是左右相邻的图像块，和/或，上下相邻的图像块。可以是全部图像块都有重叠，也可以仅是部分区域内的图像块之间有重叠。本发明的实施例对此均不作限制。通常，重叠部分的尺寸小于图像块的尺寸。这种分割方式，使得算法处理的粒度更细，可以在一定程度上提高最终生成物体候选框的精度，但不可避免地会为后续步骤增加一定算力。
在预设的时间段T内，计算设备200连续或有采样地接收并处理DVS输出的事件数据流。每个事件数据e(x，y，t)包含其对应的被触发事件的坐标位置(x，y)和被触发时刻的时间戳t。根据一种实施例，计算设备200在获取事件数据流时，每隔预定时长内的事件数据流，进行一次运动物体检测的处理，检测出其中的运动物体。记在该时间段内第一个接收到的事件数据的时间戳为t0，当后续接收到的事件数据的时间戳t满足t-t0＞T时，即停止接收事件数据，T就是预定时长。
故在步骤S320中，统计各图像块中包含的预定时长内的事件数据的数量。如前文所述，事件数据由视场中物体和动态视觉传感器110的相对运动触发。
根据一种实施例，利用以下公式来统计各图像块中包含的事件数据：
Figure BDA0002930216210000081
其中，bij表示第i行第j个图像块(i＝1,2,...,m，j＝1,2,...,n)，H(bij)为bij所包含的预定时长内的事件数据的数量，(xk,yk)表示第k个事件数据的坐标位置，N为该预定时长内接收到的事件数据的总个数，δ(·)表示狄拉克δ函数，[·]表示取整函数。
随后在步骤S330中，根据各图像块对应的事件数据的数量，确定出包含运动物体的至少一个图像块。
根据本发明的实施例，筛选出所包含事件数据的数量大于第一预设值的所有图像块，作为包含运动物体的图像块。这些图像块就构成了运动物体的可能区域。
其中，第一预设值与图像块的尺寸及预定时长正相关。即，图像块的尺寸越大、预定时长T越长，则第一预设值越大。在一种实施例中，第一预设值的取值为100，对应的图像尺寸为1280×800，图像块的尺寸为32×32，预定时长为30ms，不限于此。
图4A和图4B示出了根据本发明一个实施例的确定物体候选框的示意图。其中，图4A示出了一个预设图像模板，如图4A所示，预设图像模板被分成6行8列，共48个图像块，并用加粗线来描绘所筛选出的包含运动物体的图像块，即，图4A所示的图像块a、图像块b、图像块c、图像块d、图像块e、图像块f、图像块g、图像块h、图像块i和图像块j共10个图像块。
随后，在步骤S340中，基于所确定的图像块，生成物体候选框。该物体候选框能够最大程度地包含运动物体，即，物体候选框指向了检测出的运动物体。
在一种实施例中，当视场中同时有不止一个运动物体时，通常也会有不止一个物体候选框来分别指向各运动物体。
根据本发明的实施例，通过合并经步骤S330确定的所有图像块，来得到物体候选框。在一种实施例中，先从所确定的图像块中，查找具有共享边的连续的多个图像块；再基于所查找的连续的图像块，生成至少一个最小外接矩形，作为对应的物体候选框。
继续如图4A所示，图像块a、图像块b、图像块c、图像块d、图像块e、图像块f和图像块g属于相互有共享边的连续的图像块；图像块h、图像块i和图像块j属于相互有共享边的连续的图像块。即，共查找出两组连续的图像块。接着，基于这两组连续的图像块，分别生成其最小外接矩形。其中，基于“图像块a到图像块g”这组连续的图像块，可以生成一个最小外接矩形，即图4B中所示的物体候选框410；基于“图像块h到图像块j”这组连续的图像块，可以生成另一个最小外接矩形，即图4B中所示的物体候选框420。
也就是说，在利用所确定的图像块生成物体候选框时，不是对确定的所有图像块做最小外接矩形，而是对共享边的连续的图像块做最小外接矩形，以保证多个分开的运动物体不会被合并到一起。
至此，通过生成的一个或多个物体候选框，就能够确认预定时长内视场中的一个或多个运动物体。
基于上述描述，方法300将预设图像模板分成若干尺寸一致的图像块，分别统计各图像块中的事件数据个数，加快了定位运动物体所有可能区域的速度，避免了传统算法中对图像整个区域的遍历搜索，很大程度上减少了算力。同时，按照图像块的方式统计事件数据的个数，而不是按照每个像素每个像素地逐像素去统计，一方面大大减少了计算量，另一方面也提高了物体定位的鲁棒性。
根据本发明的另一些实施方式，考虑到噪声事件数据会对检测结果造成干扰，故在通过上述方式生成物体候选框之后，还包括步骤：利用相邻两个预定时长段内分别生成的物体候选框，对当前预定时长内的物体候选框进行进一步处理，以确定出最终的物体候选框。
以下示出根据本发明实施例的对物体候选框进一步处理，以确定出最终的物体候选框的过程。
在一种实施例中，先分别计算当前预定时长与前一相邻预定时长段内，所生成的各物体候选框的重叠率。其中，采用如下公式来计算重叠率O：
Figure BDA0002930216210000091
式中，Rcurr表示当前预定时长段内得到的物体候选框，Rprev表示前一相邻预定时长段内得到的物体候选框，∩表示取两个物体候选框交叠部分的操作，Area(·)表示求交叠部分的面积。
可选地，在计算重叠率时，若当前预定时长段内的物体候选框和/或前一相邻预定时长段内的物体候选框不止一个，则对所有物体候选框逐个计算重叠率。当然，也可以选择前一预定时长段内落在当前预定时长段的物体候选框附近感兴趣区域或一定距离内的物体候选框进行重叠率的计算，本发明的实施例对此不做过多限制。
之后，将重叠率大于第二预设值的物体候选框，作为当前预定时长段最终所对应的物体候选框。在一些优选的实施例中，第二预设值的取值范围一般为[0.5,0.8]，以保证所检测出的运动物体在空间和时间上的连续性。
根据与前一预定时长段内的物体候选框的重叠率，来确定当前预定时长段内最终的物体候选框，能够有效避免一些噪声事件数据对检测结果造成的干扰。
图5示出了根据本发明再一个实施例的运动物体检测方法500的流程示意图。方法500是在方法300的基础上执行的，故与方法300一致的内容此处不再赘述，并采用同样的步骤标识来表示。
根据本发明的再一些实施方式，计算设备200在接收来自动态视觉传感器110的事件数据流时，还包括步骤：将预定时长内的事件数据映射到预设图像模板，生成该预定时长段对应的时间平面图像。
如图5所示，计算设备200在执行步骤S310生成预设图像模板后，一方面执行步骤S510，利用预定时长内的事件数据生成时间平面图像；另一方面，按照上述步骤S320至步骤S340所述，统计预定时长内的事件数据的数量，以生成物体候选框。
根据一种实施例，利用如下方式来生成二值化的时间平面图像。具体地，在预设图像模板的各像素处，查找是否存在与像素的坐标位置一致的被触发事件，根据查找的结果(即，坐标位置一致或不一致)，对该像素的像素值进行二值化赋值，来生成时间平面图像。换言之，若被触发事件的坐标位置与像素的坐标位置一致，则该像素的像素值为255；若被触发事件的坐标位置与像素的坐标位置不一致，则该像素的像素值为0。如下述公式所示：
Figure BDA0002930216210000101
式中，(xk,yk)表示被触发事件的坐标位置，(x,y)表示像素的坐标位置，I(x,y)表示(x,y)处的像素值。
应当了解，此处仅作为示例，将像素值赋为0和255，使得所生成的时间平面图像为灰度图像。但本发明的实施例并不限制具体的赋值，也可以是0和1，或者0和1023，等等。甚至，可以直接利用被触发事件的时间戳来为像素赋值。
根据另一种实施例，通过事件数据累加的方式来生成时间平面图像。具体地，在预设图像模板的各像素处，计算其坐标位置与所有被触发事件的坐标位置的关系值；再基于关系值，更新对应像素的像素值，来生成时间平面图像。可以通过如下公式来表示：
Figure BDA0002930216210000111
式中，(xk,yk)表示被触发事件的坐标位置，(x,y)表示像素的坐标位置，I(x,y)表示(x,y)处的像素值，N为该预定时长内接收到的事件数据的总个数，δ(·)表示狄拉克δ函数，C为常数。其中，利用狄拉克函数计算的δ(x+y-xk-yk)+C就表示了像素的坐标位置与所有被触发事件的坐标位置的关系值。
以上仅示例性地示出根据本发明一些实施例的生成时间平面图像的方式。应当了解，在此基础上，任何利用事件数据流来生成时间平面图像的方法，均可以与本发明的实施例相结合，来实现运动物体检测方案。
之后，在生成预定时长对应的物体候选框后，执行步骤S520，利用图像分类算法，从时间平面图像中识别出物体候选框所指向的运动物体的类别。
根据一种实施例，先将物体候选框映射到时间平面图像上，之后，利用图像分类算法(如，SVM、MobileNet等)识别出物体候选框中的物体的类别。在一种实施例中，可以预先利用标注好类别的训练图像来训练生成分类模型，再将时间平面图像(或，物体候选框对应区域的图像，本发明实施例对此不作限制)输入该分类模型中，由其对物体候选框对应区域进行处理，最终输出物体的类别。
图6示出了根据本发明一个实施例的运动物体检测结果的示意图。如图6所示，在该时间平面图像中，检测出一个运动物体，用矩形框(即，物体候选框)将其圈出。经分类识别后，确认并输出该运动物体的类别为“人(person)”。
根据本发明的方法500，利用事件数据形成的时间平面图像，来对检测出的运动物体进行分类识别，能够减少传统算法中由于物体快速运动造成的图像模糊而引起的漏检和误检。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (13)

1.一种运动物体检测方法，包括步骤：
将预设图像模板分成多个尺寸相同的图像块；
统计各所述图像块中包含的预定时长内的事件数据的数量，所述事件数据来自动态视觉传感器，由视场中物体和动态视觉传感器的相对运动触发；
根据各图像块对应的事件数据的数量，确定出包含运动物体的至少一个图像块；
基于所确定的图像块，生成物体候选框，所述物体候选框指向检测出的运动物体，包括：从所确定的图像块中，查找具有共享边的连续的多个图像块；基于所查找的连续的图像块，生成至少一个最小外接矩形，作为物体候选框。
2.如权利要求1所述的方法，还包括步骤：
将所述预定时长内的事件数据映射到所述预设图像模板，生成所述预定时长段对应的时间平面图像，
其中，所述事件数据中包含被触发事件的坐标位置及时间戳。
3.如权利要求2所述的方法，其中，在基于所确定的图像块，生成物体候选框的步骤之后，还包括步骤：
利用图像分类算法，从所述时间平面图像中识别出所述物体候选框所指向的运动物体的类别。
4.如权利要求1所述的方法，其中，所述统计各图像块中包含的预定时长内的事件数据的数量的步骤包括：
利用以下公式来统计各图像块中包含的事件数据：
Figure FDA0003566274340000011
其中，bij表示第i行第j个图像块(i＝1,2,...,m，j＝1,2,...,n)，H(bij)为bij所包含的预定时长内的事件数据的数量，(xk,yk)表示第k个事件数据的坐标位置，N为该预定时长内接收到的事件数据的总个数，δ(·)表示狄拉克δ函数，[·]表示取整函数。
5.如权利要求1所述的方法，其中，所述根据各图像块对应的事件数据的数量，确定出包含运动物体的至少一个图像块的步骤包括：
筛选出所包含事件数据的数量大于第一预设值的图像块，作为包含运动物体的图像块。
6.如权利要求1所述的方法，其中，所述基于所确定的图像块，生成物体候选框的步骤还包括：
分别计算当前预定时长与前一相邻预定时长段内，所检测出的各物体候选框的重叠率；
将所述重叠率大于第二预设值的物体候选框，作为当前预定时长段最终所对应的物体候选框。
7.如权利要求1所述的方法，其中，在所述将预设图像模板分成多个尺寸相同的图像块的步骤之前，还包括步骤：
基于所述动态视觉传感器中的像素单元阵列，生成预设图像模板。
8.如权利要求2所述的方法，其中，所述将预定时长内的事件数据映射到预设图像模板，生成该段时长对应的时间平面图像的步骤包括：
在所述预设图像模板的各像素处，查找是否存在与像素的坐标位置一致的被触发事件；以及
根据查找的结果，对所述像素的像素值进行二值化赋值，来生成时间平面图像。
9.如权利要求2所述的方法，其中，所述将预定时长内的事件数据映射到预设图像模板，生成该段时长对应的时间平面图像的步骤包括：
在所述预设图像模板的各像素处，计算其坐标位置与所有被触发事件的坐标位置的关系值；
基于所述关系值，更新该像素的像素值，来生成时间平面图像。
10.如权利要求5所述的方法，其中，所述第一预设值与所述图像块的尺寸及预定时长正相关。
11.一种计算设备，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-10所述方法中的任一方法的指令。
12.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-10所述的方法中的任一方法。
13.一种运动物体检测系统，包括：
如权利要求11所述的计算设备；
动态视觉传感器，与所述计算设备相耦接，适于基于视场中对象和所述动态视觉传感器的相对运动而触发事件，并输出事件数据流给所述计算设备。
CN202110145826.7A 2021-02-02 2021-02-02 一种运动物体检测方法及系统 Active CN112966556B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110145826.7A CN112966556B (zh) 2021-02-02 2021-02-02 一种运动物体检测方法及系统
EP21923755.9A EP4290404A1 (en) 2021-02-02 2021-02-05 Method and system for detecting moving object
PCT/CN2021/075434 WO2022165735A1 (zh) 2021-02-02 2021-02-05 一种运动物体检测方法及系统
US18/226,818 US20230368397A1 (en) 2021-02-02 2023-07-27 Method and system for detecting moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110145826.7A CN112966556B (zh) 2021-02-02 2021-02-02 一种运动物体检测方法及系统

Publications (2)

Publication Number Publication Date
CN112966556A CN112966556A (zh) 2021-06-15
CN112966556B true CN112966556B (zh) 2022-06-10

Family

ID=76272097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110145826.7A Active CN112966556B (zh) 2021-02-02 2021-02-02 一种运动物体检测方法及系统

Country Status (4)

Country Link
US (1) US20230368397A1 (zh)
EP (1) EP4290404A1 (zh)
CN (1) CN112966556B (zh)
WO (1) WO2022165735A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115588121B (zh) * 2022-11-03 2023-07-04 腾晖科技建筑智能(深圳)有限公司 基于传感数据和图像序列的塔吊吊物类别检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716392A (zh) * 2018-05-22 2019-05-03 上海芯仑光电科技有限公司 一种光流计算方法及计算设备
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法
CN112101373A (zh) * 2019-06-18 2020-12-18 富士通株式会社 基于深度学习网络的对象检测方法、装置和电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537219B2 (en) * 2009-03-19 2013-09-17 International Business Machines Corporation Identifying spatial locations of events within video image data
CN101901087B (zh) * 2010-07-27 2013-04-10 广东威创视讯科技股份有限公司 基于线性图像传感器的表面定位装置及方法
CN102496164B (zh) * 2011-11-14 2013-12-11 通号通信信息集团有限公司 一种事件检测方法及系统
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
KR102248404B1 (ko) * 2014-11-17 2021-05-07 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
CN108073929B (zh) * 2016-11-15 2023-11-24 北京三星通信技术研究有限公司 基于动态视觉传感器的物体检测方法及设备
CN108765454A (zh) * 2018-04-25 2018-11-06 深圳市中电数通智慧安全科技股份有限公司 一种基于视频的烟雾检测方法、装置及设备终端
CN108764078B (zh) * 2018-05-15 2019-08-02 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN108777794B (zh) * 2018-06-25 2022-02-08 腾讯科技（深圳）有限公司 图像的编码方法和装置、存储介质、电子装置
CN109409288B (zh) * 2018-10-25 2022-02-01 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质
CN111200735B (zh) * 2018-11-19 2023-03-17 华为技术有限公司 一种帧间预测的方法及装置
CN109492609B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种检测车道线的方法和车辆、及计算设备
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN110084253A (zh) * 2019-05-05 2019-08-02 厦门美图之家科技有限公司 一种生成物体检测模型的方法
CN112084826A (zh) * 2019-06-14 2020-12-15 北京三星通信技术研究有限公司 图像处理方法、图像处理设备以及监控系统
CN110428397A (zh) * 2019-06-24 2019-11-08 武汉大学 一种基于事件帧的角点检测方法
CN111462155B (zh) * 2020-03-26 2023-10-24 深圳万拓科技创新有限公司 移动侦测方法、装置、计算机设备和存储介质
CN111696044B (zh) * 2020-06-16 2022-06-10 清华大学 一种大场景动态视觉观测方法及装置
CN112052837A (zh) * 2020-10-09 2020-12-08 腾讯科技（深圳）有限公司 基于人工智能的目标检测方法以及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716392A (zh) * 2018-05-22 2019-05-03 上海芯仑光电科技有限公司 一种光流计算方法及计算设备
CN112101373A (zh) * 2019-06-18 2020-12-18 富士通株式会社 基于深度学习网络的对象检测方法、装置和电子设备
CN110334687A (zh) * 2019-07-16 2019-10-15 合肥工业大学 一种基于行人检测、属性学习和行人识别的行人检索增强方法

Also Published As

Publication number Publication date
EP4290404A1 (en) 2023-12-13
US20230368397A1 (en) 2023-11-16
CN112966556A (zh) 2021-06-15
WO2022165735A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
US11450146B2 (en) Gesture recognition method, apparatus, and device
CN110400332B (zh) 一种目标检测跟踪方法、装置及计算机设备
CN109271870B (zh) 行人重识别方法、装置、计算机设备及存储介质
US10452893B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN108475331B (zh) 用于对象检测的方法、装置、系统和计算机可读介质
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN108961318B (zh) 一种数据处理方法及计算设备
CN109492609B (zh) 一种检测车道线的方法和车辆、及计算设备
CN112949440A (zh) 一种提取行人的步态特征的方法、步态识别方法及系统
CN101187984A (zh) 一种图像检测方法及装置
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN111046746A (zh) 一种车牌检测方法及装置
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN112966556B (zh) 一种运动物体检测方法及系统
CN111881775B (zh) 一种人脸实时识别方法和装置
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
CN111027482B (zh) 基于运动向量分段分析的行为分析方法及装置
CN112560856A (zh) 车牌检测识别方法、装置、设备及存储介质
CN114639159A (zh) 移动行人检测方法、电子设备及机器人
WO2023160061A1 (zh) 图像中运动对象的确定方法、装置、电子设备和存储介质
Gawande et al. Scale invariant mask r-cnn for pedestrian detection
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
Chaturvedi et al. Evaluation of Small Object Detection in Scarcity of Data in the Dataset Using Yolov7
JP2024516642A (ja) 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体
CN111291756B (zh) 图像中文本区域的检测方法、装置、计算机设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant