CN113012200A - 一种运动物体的定位方法、装置、电子设备及存储介质 - Google Patents

一种运动物体的定位方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113012200A
CN113012200A CN202110309463.6A CN202110309463A CN113012200A CN 113012200 A CN113012200 A CN 113012200A CN 202110309463 A CN202110309463 A CN 202110309463A CN 113012200 A CN113012200 A CN 113012200A
Authority
CN
China
Prior art keywords
event
event threshold
threshold
target
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110309463.6A
Other languages
English (en)
Other versions
CN113012200B (zh
Inventor
吴臻志
马欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lynxi Technology Co Ltd
Original Assignee
Beijing Lynxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lynxi Technology Co Ltd filed Critical Beijing Lynxi Technology Co Ltd
Priority to CN202110309463.6A priority Critical patent/CN113012200B/zh
Publication of CN113012200A publication Critical patent/CN113012200A/zh
Priority to PCT/CN2022/079340 priority patent/WO2022199360A1/zh
Application granted granted Critical
Publication of CN113012200B publication Critical patent/CN113012200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种运动物体的定位方法、装置、电子设备及存储介质,该方法包括:通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。本发明实施例公开的技术方案,避免了对运动物体进行定位时图像特征的提取及计算过程,节省了计算资源,同时提高了运动物体的识别效率,尤其是实现了针对较小体积运动物体的准确定位。

Description

一种运动物体的定位方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像识别技术领域,尤其涉及一种运动物体的定位方法、装置、电子设备及存储介质。
背景技术
随着科技的不断进步,图像识别技术得到了迅速发展,被广泛应用于各个领域,其中对于图像中运动物体的定位,成为了图像识别技术的重要分支。
现有的图像识别技术,通常是将获取到的视频图像,通过图像分类模型,在全局图像中进行特征提取,并根据提取到的图像特征判断图像中是否存在运动物体,并对运动物体定位。
但是这样的图像识别方式,图像特征的提取计算量极大,导致对运动物体的定位速度较慢,难以满足运动物体的实时定位,尤其对于体积较小的运动物体,定位效果较差。
发明内容
本发明实施例提供了一种运动物体的定位方法、装置、电子设备及存储介质,以定位视频图像中的运动物体。
第一方面,本发明实施例提供了一种运动物体的定位方法,包括:
通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;
根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;
根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
第二方面,本发明实施例提供了一种运动物体的定位装置,包括:
采样事件帧获取模块,用于通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;
目标事件阈值获取模块,用于根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;
位置区域获取模块,用于根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
第三方面,本发明实施例提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的运动物体的定位方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的运动物体的定位方法。
本发明实施例公开的技术方案,在获取到采样事件帧后,根据最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值,进而获取该目标事件阈值下的目标像素点,最终根据目标像素点确定运动物体的位置区域,避免了对运动物体进行定位时图像特征的提取及计算过程,节省了计算资源,同时提高了运动物体的识别效率,尤其是实现了针对较小体积运动物体的准确定位。
附图说明
图1是本发明实施例一提供的一种运动物体的定位方法的流程图;
图2是本发明实施例二提供的一种运动物体的定位装置的结构框图;
图3是本发明实施例三提供的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种运动物体的定位方法的流程图,本实施例可适用于视频图像中运动物体的定位,该方法可以由本发明实施例中的运动物体的定位装置来执行,该装置可以通过软件和/或硬件实现,并集成在电子设备中,该方法具体包括如下步骤:
S110、通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧。
动态视觉传感器(Dynamic Vision Sensor,DVS),是一种采用像素异步机制,并基于地址和事件表达(AER)的图像采集装置;区别与传统技术方案中,以固定频率采集的“帧”为基础,并依次读取各“帧”中所有的像素信息,DVS不需要对画面中的所有像素点进行读取,仅需要获取光强度变化的像素点的地址和信息;具体的,当动态视觉传感器检测到某个像素点的光强度变化大于等于预设门限数值时,则发出该像素点的事件信号;其中,如果该光强度变化为正向变化,即该像素点由低亮度跳变至高亮度,则发出“+1”事件信号,并标注为正事件;如果该光强度变化为负向变化,即该像素点由高亮度跳变至低亮度,则发出“-1”事件信号,并标注为负事件;如果光强度变化小于预设门限数值,则不发出事件信号,标注为无事件;动态视觉传感器对各像素点进行的事件标注,构成了事件流信息。
相比于光亮强度变化较小的背景图像,画面中运动物体经过的区域,其对应的像素点的光亮强度会存在不同程度的变化,例如,运动物体出现时,运动物体出现区域的像素点的光亮强度会显著增加,运动物体消失时,运动物体消失区域的像素点的光亮强度会显著降低,因此,根据事件流信息,可以确定画面中哪些像素点可能存在运动物体;采样事件帧是在当前采样周期内,对每个像素点的所有标注事件进行汇总后显示的图像帧;预设采样周期,可以根据需要设定,例如,为了提高视频图像中运动物体的检测效率,可以将预设采样周期设定为较低数值;为了降低对采样图像的处理压力,则可以将预设采样周期设定为较高数值;特别的,由于DVS的检测精度较高,对于像素点事件信号的检测可以达到纳秒级(例如,1000纳秒,即每间隔1000纳秒获取一次像素点的事件信号),而预设采样周期通常设定为毫秒级(例如,10毫秒),因此,在一个采样周期内,一个像素点的光强度可能经历了多次变化,即DVS针对一个像素点发出了多个事件信号。
S120、根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值。
事件阈值,是一个采样周期内DVS针对一个像素点发出的事件信号的最少次数要求,例如,事件阈值为5,也即获取当前采样周期内,采样图像中事件信号大于等于5次的像素点的个数;事件阈值越高,符合该事件阈值的像素点数量越少,越有可能为实际的运动物体所在区域,但是由于像素点数量较少,可能无法准确描述运动物体的实际位置区域;事件阈值越低,符合该事件阈值的像素点数量越多,越有可能存在噪声点(即误检测到的干扰点),但是由于像素点数量较多,更能准确的描述运动物体实际的运动区域;因此,需要在多个事件阈值中确定目标事件阈值,既能通过较多的像素点描述出运动物体实际的运动区域,又能减少噪声点的出现。
最大事件阈值可以根据需要预先设定,例如,最大事件阈值设定为一个较大值(例如,50),最大事件阈值内可以包括多个连续的事件阈值,例如,最大事件阈值为50时,最大事件阈值内包括1至50,总共50个事件阈值,也即在上述50个事件阈值中,确定目标事件阈值。
可选的,在本发明实施例中,在根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量前,还包括:获取包含至少一个事件的备选像素点;根据所述备选像素点的数量,确定匹配的最大事件阈值。备选像素点的数量越多,表明图像中目标运动物体占据的位置区域越大,或者图像中多个运动物体占据的位置区域总和越大,相应的需要通过较多数量的像素点来规划运动物体的实际位置区域,因此,最大事件阈值可以设定为较小数值,以尽可能获取更多的像素点;备选像素点的数量越少,表明图像中目标运动物体占据的位置区域越小,或者图像中多个运动物体占据的位置区域总和越小,相应的仅需要较少数量的像素点即可规划出运动物体的实际位置区域,因此,备选事件阈值集合中最大事件阈值可以设定为较大数值,以减少噪声点的出现。根据备选像素点的数量不同,获取匹配的最大事件阈值,可以有效提高目标事件阈值的获取效率。
可选的,在本发明实施例中,所述根据所述备选像素点的数量,确定匹配的最大事件阈值,包括:根据所述备选像素点的数量,通过像素阈值对照表或预设计算规则,获取匹配的最大事件阈值。像素阈值对照表用于描述备选像素点的数量与最大事件阈值的对应关系,在获取到备选像素点的数量后,可以通过备选像素点的数量所在的数量区间,查找对应的最大事件阈值;还可以根据预设计算规则,即将备选像素点的数量作为已知参数,带入预先构建的计算公式中,以获取对应的最大事件阈值。
可选的,在本发明实施例中,所述根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值,包括:根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,并将所述临界事件阈值作为目标事件阈值;或根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,根据所述最大事件阈值和所述临界事件阈值,确定中间事件阈值,并将所述中间事件阈值作为目标事件阈值。临界事件阈值,表明如果事件阈值低于该临界事件阈值时,表征物体运动区域的像素点的数量虽然会出现较大幅度增长,但由于噪声点的影响,获取到的运动物体的位置区域存在较大误差,因此,临界事件阈值也即像素点的数量出现较大幅度增长之前的事件阈值,可以将临界事件阈值作为目标事件阈值;特别的,通过临界事件阈值获取的像素点,实质上也存在着一定程度的噪声,只是相比于数值更低的其它事件阈值,其噪声点数量并未显著增加,因此,为了进一步降低噪声点运动物体位置区域的影响,还可以将临界事件阈值和最大事件阈值之间的中间事件阈值作为筛选条件,获取与该中间事件阈值对应的目标像素点,进而确定运动物体的位置区域;例如,临界事件阈值为7,最大备选事件阈值为11,相应的,选择二者之间的中间事件阈值(即9),作为获取目标像素点的筛选条件。
可选的,在本发明实施例中,所述根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,包括:将最大事件阈值内,每相邻的两个事件阈值对应的像素点数量进行差值运算,并获取差值结果;在各所述差值结果中,选择数值最大的目标差值结果,并将与所述目标差值结果对应的两个事件阈值中的较大值,作为临界事件阈值。由于最大事件阈值内包括了多个数值连续事件阈值,获取每个事件阈值对应的像素点数量,并统计数值相邻的两个事件阈值之间,像素点数量的差值,根据上述各差值结果,获取与最大差值结果相关的两个事件阈值,并在上述两个事件阈值中选择数值较大的一个,作为临界事件阈值;例如,最大事件阈值包括了8个备选事件阈值,数值分别为11、10、9、8、7、6、5和4,对应的像素点个数分别为8万、10万、12万、15万、18万、20万、27万和30万;数值相邻的两个备选事件阈值之间,像素点数量的差值分别为2万、2万、3万、3万、2万、7万和3万,显然其中数值最大的差值结果为7万,对应的两个备选事件阈值分别为7和6,将备选事件阈值7确定为临界事件阈值。
可选的,在本发明实施例中,所述根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,包括:若在所述最大事件阈值内,获取到相邻的两个备选事件阈值对应的像素点数量的差值运算结果,大于等于预设数量阈值,或相邻的两个备选事件阈值对应的像素点数量的差值运算结果,与所述采样事件帧的像素点总数之间的比值,大于等于预设百分比阈值,则将所述相邻的两个备选事件阈值中的较大值,作为临界事件阈值。还可以在最大事件阈值内,获取到相邻的两个备选事件阈值之间像素点数量,出现明显的像素点数量增多时,即将上述相邻的两个备选事件阈值中数值较大的一个,作为临界事件阈值;例如,预设数量阈值为5万,或者预设百分比阈值为10%,采样事件帧的像素点总数,由动态视觉传感器的分辨率确定,假设为60万个;显然,上述相邻的备选事件阈值6和备选事件阈值5之间,像素点数量的差值为7万个,该差值大于预设数量阈值5万,或者7÷60=11.7%,该比值大于预设百分比阈值10%,据此,将备选事件阈值6和备选事件阈值5中的较大值,即6作为临界事件阈值,不必再计算其它相邻的备选事件阈值间的差值运算或比值运算,减少了数据计算量,提高了临界事件阈值的获取速度。
可选的,在本发明实施例中,在获取包含至少一个事件的备选像素点后,还包括:对所述备选像素点的所在区域,进行侧抑制处理;所述根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,包括:根据侧抑制处理后的所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量。侧抑制是相近的神经元彼此之间发生的抑制作用,即在某个神经元受到刺激而产生兴奋时,再刺激相近的神经元,则后者(即上述相近的神经元)所发生的兴奋对前者(即上述某个神经元)产生的抑制作用,侧抑制实质上是相邻的感受器之间互相抑制的现象;在本发明实施例中,对备选像素点所在区域进行侧抑制处理后,可以加强备选像素点的显示效果,对该区域内的背景像素点进行抑制。
S130、根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
根据目标事件阈值,获取到采样事件帧中符合该事件条件的目标像素点后,根据就近原则,将目标像素点划分为一个或多个密集分布区域,其中,如果采样图像中只存在一个运动物体,那么图像中对应存在一个像素点密集分布区域,如果图像中存在多个运动物体,那么图像中则存在多个像素点密集分布区域;将像素点密集分布区域的外侧边沿像素点进行连接,即可获取到该区域内的运动物体的真实轮廓信息,也即确定出运动物体的位置区域。
可选的,在本发明实施例中,所述根据所述目标像素点确定运动物体的位置区域,包括:根据所述目标像素点,通过感兴趣区域框标注运动物体的位置区域。感兴趣区域(Region Of Interest,ROI)是以方框、圆、椭圆和多边形等方式勾勒出来需要处理的区域,由于获取的运动物体的轮廓信息通常为不规则图形,在图像中不便于定位,在本发明实施例中,可以通过正方形标注框的方式,在图像中标注出同时包含运动物体轮廓的最小正方形,而正方形标注框及正方形标注框内的区域,即为运动物体的位置区域。
可选的,在本发明实施例中,在根据所述目标像素点确定运动物体的位置区域后,还包括:根据多个所述采样事件帧中运动物体的位置区域,确定所述运动物体的移动轨迹,并通过训练完成的图像分类模型,判断所述移动轨迹是否为目标轨迹。在每个采样图像的运动物体位置区域中,将该位置区域的中心点作为运动物体的运动点,将多个连续的采样图像进行叠加后,即可获取到由多个运动点组成该运动物体的移动轨迹。图像分类模型,是基于样本图像预先训练完成的分类模型,其作用在于针对输入的图像信息,进行图像特征的提取并获取特征向量,然后根据获取到的特征向量输出对应的图像分类概率,图像分类概率表示了输入的图像信息为正样本或负样本的概率,进而根据该图像分类概率进行分类(即二值分类),确定输入图像是否为目标轨迹;其中,目标轨迹的类型由正样本图像的轨迹类型决定,例如,将高空抛物轨迹作为目标轨迹,判断图像中运动物体的移动轨迹是否为高空抛物轨迹,以确定采样图像中是否存在高空抛物。
可选的,在本发明实施例中,在通过训练完成的图像分类模型,判断所述移动轨迹是否为目标轨迹前,还包括:基于卷积神经网络构建初始图像分类模型,并通过样本图像集合对所述初始图像分类模型进行图像识别及分类训练,以获取训练完成的图像分类模型。卷积神经网络(Convolutional Neural Networks,CNN)是深度学习(Deep Learning)中包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),其特点在于卷积运算的应用提高了图像特征的提取精度,池化层的应用则降低了图像特征的计算复杂度;样本图像集合中,正样本图像为高空抛物轨迹图像,正样本图像的输出值为1;负样本图像为不包括高空抛物轨迹或高空坠物轨迹的图像信息,例如,飞鸟飞行轨迹图像、人影闪过轨迹图像、像素空白图像以及上抛物体移动轨迹图像等多种类型,负样本图像的输出值为0。通过正样本图像和负样本图像组成的样本图像集对初始图像分类模型的训练,使得训练完成的图像分类模型具备了图像识别及分类能力。
本发明实施例公开的技术方案,在获取到采样事件帧后,根据最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值,进而获取该目标事件阈值下的目标像素点,最终根据目标像素点确定运动物体的位置区域,避免了对运动物体进行定位时图像特征的提取及计算过程,节省了计算资源,同时提高了运动物体的识别效率,尤其是实现了针对较小体积运动物体的准确定位。
实施例二
图2是本发明实施例二所提供的一种运动物体的定位装置的结构框图,该装置具体包括:采样事件帧获取模块210、目标事件阈值获取模块220和位置区域获取模块230;
采样事件帧获取模块210,用于通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;
目标事件阈值获取模块220,用于根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;
位置区域获取模块230,用于根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
本发明实施例公开的技术方案,在获取到采样事件帧后,根据最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值,进而获取该目标事件阈值下的目标像素点,最终根据目标像素点确定运动物体的位置区域,避免了对运动物体进行定位时图像特征的提取及计算过程,节省了计算资源,同时提高了运动物体的识别效率,尤其是实现了针对较小体积运动物体的准确定位。
可选的,在上述技术方案的基础上,运动物体的定位装置,还包括:
备选像素点获取模块,用于获取包含至少一个事件的备选像素点;
最大事件阈值获取模块,用于根据所述备选像素点的数量,确定匹配的最大事件阈值。
可选的,在上述技术方案的基础上,最大事件阈值获取模块,具体用于根据所述备选像素点的数量,通过像素阈值对照表或预设计算规则,获取匹配的最大事件阈值。
可选的,在上述技术方案的基础上,目标事件阈值获取模块220,具体用于根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,并将所述临界事件阈值作为目标事件阈值;或根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,根据所述最大事件阈值和所述临界事件阈值,确定中间事件阈值,并将所述中间事件阈值作为目标事件阈值。
可选的,在上述技术方案的基础上,目标事件阈值获取模块220,具体包括:
获取差值结果获取单元,用于将最大事件阈值内,每相邻的两个事件阈值对应的像素点数量进行差值运算,并获取差值结果;
临界事件阈值获取单元,用于在各所述差值结果中,选择数值最大的目标差值结果,并将与所述目标差值结果对应的两个事件阈值中的较大值,作为临界事件阈值。
可选的,在上述技术方案的基础上,目标事件阈值获取模块220,具体还用于若在所述最大事件阈值内,获取到相邻的两个备选事件阈值对应的像素点数量的差值运算结果,大于等于预设数量阈值,或相邻的两个备选事件阈值对应的像素点数量的差值运算结果,与所述采样事件帧的像素点总数之间的比值,大于等于预设百分比阈值,则将所述相邻的两个备选事件阈值中的较大值,作为临界事件阈值。
可选的,在上述技术方案的基础上,位置区域获取模块230,具体用于根据所述目标像素点,通过感兴趣区域框标注运动物体的位置区域。
可选的,在上述技术方案的基础上,运动物体的定位装置,还包括:
侧抑制处理执行模块,用于对所述备选像素点的所在区域,进行侧抑制处理。
可选的,在上述技术方案的基础上,目标事件阈值获取模块220,具体用于根据侧抑制处理后的所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量。
可选的,在上述技术方案的基础上,运动物体的定位装置,还包括:
移动轨迹获取模块,用于根据多个所述采样事件帧中运动物体的位置区域,确定所述运动物体的移动轨迹,并通过训练完成的图像分类模型,判断所述移动轨迹是否为目标轨迹。
可选的,在上述技术方案的基础上,运动物体的定位装置,还包括:
图像分类模型获取模块,用于基于卷积神经网络构建初始图像分类模型,并通过样本图像集合对所述初始图像分类模型进行图像识别及分类训练,以获取训练完成的图像分类模型。
上述装置可执行本发明任意实施例所提供的运动物体的定位方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的方法。
实施例三
图3为本发明实施例三提供的一种电子设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图3显示的电子设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,存储器28,连接不同系统组件(包括存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示,通常称为“硬盘驱动器”)。尽管图3中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明任意实施例提供的运动物体的定位方法。也即:通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
实施例四
本发明实施例四还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的运动物体的定位方法;该方法包括:
通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;
根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;
根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种运动物体的定位方法,其特征在于,包括:
通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;
根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;
根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
2.根据权利要求1所述的方法,其特征在于,在根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量前,还包括:
获取包含至少一个事件的备选像素点;
根据所述备选像素点的数量,确定匹配的最大事件阈值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述备选像素点的数量,确定匹配的最大事件阈值,包括:
根据所述备选像素点的数量,通过像素阈值对照表或预设计算规则,获取匹配的最大事件阈值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值,包括:
根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,并将所述临界事件阈值作为目标事件阈值;
或根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,根据所述最大事件阈值和所述临界事件阈值,确定中间事件阈值,并将所述中间事件阈值作为目标事件阈值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,包括:
将最大事件阈值内,每相邻的两个事件阈值对应的像素点数量进行差值运算,并获取差值结果;
在各所述差值结果中,选择数值最大的目标差值结果,并将与所述目标差值结果对应的两个事件阈值中的较大值,作为临界事件阈值。
6.根据权利要求4所述的方法,其特征在于,所述根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定临界事件阈值,包括:
若在所述最大事件阈值内,获取到相邻的两个备选事件阈值对应的像素点数量的差值运算结果,大于等于预设数量阈值,或相邻的两个备选事件阈值对应的像素点数量的差值运算结果,与所述采样事件帧的像素点总数之间的比值,大于等于预设百分比阈值,则将所述相邻的两个备选事件阈值中的较大值,作为临界事件阈值。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标像素点确定运动物体的位置区域,包括:
根据所述目标像素点,通过感兴趣区域框标注运动物体的位置区域。
8.根据权利要求2所述的方法,其特征在于,在获取包含至少一个事件的备选像素点后,还包括:
对所述备选像素点的所在区域,进行侧抑制处理;
所述根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,包括:
根据侧抑制处理后的所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量。
9.根据权利要求1所述的方法,其特征在于,在根据所述目标像素点确定运动物体的位置区域后,还包括:
根据多个所述采样事件帧中运动物体的位置区域,确定所述运动物体的移动轨迹,并通过训练完成的图像分类模型,判断所述移动轨迹是否为目标轨迹。
10.根据权利要求9所述的方法,其特征在于,在通过训练完成的图像分类模型,判断所述移动轨迹是否为目标轨迹前,还包括:
基于卷积神经网络构建初始图像分类模型,并通过样本图像集合对所述初始图像分类模型进行图像识别及分类训练,以获取训练完成的图像分类模型。
11.一种运动物体的定位装置,其特征在于,包括:
采样事件帧获取模块,用于通过动态视觉传感器获取事件流信息,并根据预设采样周期,对所述事件流信息进行采样,以获取采样事件帧;
目标事件阈值获取模块,用于根据所述采样事件帧,获取最大事件阈值内至少两个事件阈值对应的像素点数量,并根据所述最大事件阈值内至少两个事件阈值对应的像素点数量,确定目标事件阈值;
位置区域获取模块,用于根据所述目标事件阈值,确定目标像素点,并根据所述目标像素点确定运动物体的位置区域。
12.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一所述的运动物体的定位方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-10中任一所述的运动物体的定位方法。
CN202110309463.6A 2021-03-23 2021-03-23 一种运动物体的定位方法、装置、电子设备及存储介质 Active CN113012200B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110309463.6A CN113012200B (zh) 2021-03-23 2021-03-23 一种运动物体的定位方法、装置、电子设备及存储介质
PCT/CN2022/079340 WO2022199360A1 (zh) 2021-03-23 2022-03-04 运动物体的定位方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110309463.6A CN113012200B (zh) 2021-03-23 2021-03-23 一种运动物体的定位方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113012200A true CN113012200A (zh) 2021-06-22
CN113012200B CN113012200B (zh) 2023-01-13

Family

ID=76405564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110309463.6A Active CN113012200B (zh) 2021-03-23 2021-03-23 一种运动物体的定位方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN113012200B (zh)
WO (1) WO2022199360A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199360A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 运动物体的定位方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457484B (zh) * 2022-11-10 2023-02-07 梁山华鲁专用汽车制造有限公司 一种用于半挂车自动卸货的控制方法及装置
CN116095914B (zh) * 2023-04-10 2023-08-25 同方德诚(山东)科技股份公司 一种基于大数据的智慧建筑照明调节方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017011814A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Multi-sensor event detection and tagging system
US20190068925A1 (en) * 2017-08-30 2019-02-28 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus, and recording medium storing information processing program
US20190188111A1 (en) * 2019-02-26 2019-06-20 Intel Corporation Methods and apparatus to improve performance data collection of a high performance computing application
US20190394428A1 (en) * 2017-01-31 2019-12-26 Samsung Electronics Co., Ltd. Method and apparatus for managing object in wireless communication system
CN110942011A (zh) * 2019-11-18 2020-03-31 上海极链网络科技有限公司 一种视频事件识别方法、系统、电子设备及介质
CN111757028A (zh) * 2019-03-28 2020-10-09 三星电子株式会社 被配置校准事件信号的动态视觉传感器及操作其的方法
CN112037266A (zh) * 2020-11-05 2020-12-04 北京软通智慧城市科技有限公司 一种下落物体的识别方法、装置、终端设备及存储介质
US10867495B1 (en) * 2019-09-11 2020-12-15 Motorola Solutions, Inc. Device and method for adjusting an amount of video analytics data reported by video capturing devices deployed in a given location

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10110913B2 (en) * 2016-09-30 2018-10-23 Intel Corporation Motion estimation using hybrid video imaging system
JP6866840B2 (ja) * 2017-12-14 2021-04-28 オムロン株式会社 瞳孔検出装置および検出システム
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN112399032B (zh) * 2019-08-13 2022-05-31 天津大学青岛海洋技术研究院 一种基于检测器的脉冲式图像传感器的光流获取方法
CN113012200B (zh) * 2021-03-23 2023-01-13 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017011814A1 (en) * 2015-07-16 2017-01-19 Blast Motion Inc. Multi-sensor event detection and tagging system
US20190394428A1 (en) * 2017-01-31 2019-12-26 Samsung Electronics Co., Ltd. Method and apparatus for managing object in wireless communication system
US20190068925A1 (en) * 2017-08-30 2019-02-28 Panasonic Intellectual Property Corporation Of America Information processing method, information processing apparatus, and recording medium storing information processing program
US20190188111A1 (en) * 2019-02-26 2019-06-20 Intel Corporation Methods and apparatus to improve performance data collection of a high performance computing application
CN111757028A (zh) * 2019-03-28 2020-10-09 三星电子株式会社 被配置校准事件信号的动态视觉传感器及操作其的方法
US10867495B1 (en) * 2019-09-11 2020-12-15 Motorola Solutions, Inc. Device and method for adjusting an amount of video analytics data reported by video capturing devices deployed in a given location
CN110942011A (zh) * 2019-11-18 2020-03-31 上海极链网络科技有限公司 一种视频事件识别方法、系统、电子设备及介质
CN112037266A (zh) * 2020-11-05 2020-12-04 北京软通智慧城市科技有限公司 一种下落物体的识别方法、装置、终端设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199360A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 运动物体的定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113012200B (zh) 2023-01-13
WO2022199360A1 (zh) 2022-09-29

Similar Documents

Publication Publication Date Title
CN113012200B (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN111080693A (zh) 一种基于YOLOv3的机器人自主分类抓取方法
EP3852008A2 (en) Image detection method and apparatus, device, storage medium and computer program product
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN112785625A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111079638A (zh) 基于卷积神经网络的目标检测模型训练方法、设备和介质
CN113947188A (zh) 目标检测网络的训练方法和车辆检测方法
CN112561963A (zh) 目标跟踪的方法、装置、路侧设备以及存储介质
CN114882315B (zh) 样本生成方法、模型训练方法、装置、设备及介质
CN113378712A (zh) 物体检测模型的训练方法、图像检测方法及其装置
CN113537374A (zh) 一种对抗样本生成方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN112966553A (zh) 基于孪生网络的强耦合目标跟踪方法、装置、介质及设备
CN114169425B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN113592932A (zh) 深度补全网络的训练方法、装置、电子设备及存储介质
CN112153320B (zh) 一种物品尺寸的测量方法、装置、电子设备和存储介质
CN113076889A (zh) 集装箱铅封识别方法、装置、电子设备和存储介质
CN110197100B (zh) 物体定位方法和装置
CN110796108A (zh) 一种人脸质量检测的方法、装置、设备及存储介质
CN115937950A (zh) 一种多角度人脸数据采集方法、装置、设备及存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN114461078A (zh) 一种基于人工智能的人机交互方法
CN114220163A (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN114266941A (zh) 一种快速检测图像样本标注成果数据方法
CN109726741B (zh) 一种多目标物体的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant