CN111797728A - 一种运动物体的检测方法、装置、计算设备及存储介质 - Google Patents
一种运动物体的检测方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN111797728A CN111797728A CN202010563926.7A CN202010563926A CN111797728A CN 111797728 A CN111797728 A CN 111797728A CN 202010563926 A CN202010563926 A CN 202010563926A CN 111797728 A CN111797728 A CN 111797728A
- Authority
- CN
- China
- Prior art keywords
- feature
- sequence
- characteristic
- sequences
- dynamic object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 140
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 81
- 238000010586 diagram Methods 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 210000002569 neuron Anatomy 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 31
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 25
- 230000009467 reduction Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000011946 reduction process Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 30
- 238000013527 convolutional neural network Methods 0.000 description 19
- 238000013461 design Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 239000012528 membrane Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000011895 specific detection Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000036279 refractory period Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种运动物体的检测方法、装置、计算设备及存储介质,用于提高运动目标的检测效率。所述方法包括:获取目标视频的至少一组特征序列,至少一组特征序列用于表征目标视频中包括的视频图像的图像特征,目标视频包括的每一帧视频图像包括动态物体的图像,动态物体包括目标检测物体;从至少一组特征序列中确定用于表征第一动态物体的图像特征的第一特征序列,第一动态物体为满足目标检测物体的特征条件的动态物体;对第一特征序列进行还原处理,以获得还原后的特征图,特征图用于表征第一动态物体的图像特征在目标视频中的位置分布;对特征图进行区域检测,在第一动态物体在预设的检测区域内时,确定第一动态物体为目标检测物体。
Description
技术领域
本申请涉及视频目标检测技术领域,尤其涉及一种运动物体的检测方法、装置、计算设备及存储介质。
背景技术
近年来,视频监控技术越来越多地应用在安防领域,摄像设备得到了快速普及。视频目标检测是准确分类视频中出现的目标并精确定位目标位置,这在视频监控领域有着十分重要的作用,因其重要性,视频目标检测一直是计算机视觉领域中的研究重点。
目前,对视频中的运动目标进行检测时,所采取的方法一般是对单帧图像数据进行分析,首先对图像中的目标进行检测和识别,然后使用目标跟踪技术,建立图像与图像之间的映射关系,最后根据实际拌线或区域情况进行研判,以根据研判结果进行上报。然而,如果视频中存在较多的图像数据,通过上述方法进行检测时,运算量就会比较大,从而导致检测效率较低。
综上所述,目前亟需一种运动目标的检测方法,用以提高快速运动目标的检测效率。
发明内容
本申请实施例提供一种运动物体的检测方法、装置、计算设备及存储介质,用于提高运动目标的检测效率。
第一方面,提供一种运动物体的检测方法,所述方法包括:
获取目标视频的至少一组特征序列,所述至少一组特征序列用于表征所述目标视频中包括的视频图像的图像特征,所述目标视频包括至少一帧视频图像,所述至少一帧视频图像中的每一帧视频图像包括动态物体的图像,所述动态物体包括目标检测物体;
从所述至少一组特征序列中确定第一特征序列,所述第一特征序列用于表征第一动态物体的图像特征,所述第一动态物体为满足所述目标检测物体的特征条件的动态物体;
对所述第一特征序列进行还原处理,以获得还原后的特征图,所述特征图用于表征所述第一动态物体的图像特征在所述目标视频中的位置分布;
对所述特征图进行区域检测,在确定所述第一动态物体在预设的检测区域内时,确定所述第一动态物体为所述目标检测物体。
本申请实施例中,目标视频中包括多帧视频图像,获取这多帧视频图像的特征序列,就可以获知对应于这多帧视频图像的图像特征。多帧视频图像中包括动态物体的图像,而动态物体包括目标检测物体,因此,可以从获取到的特征序列中确定出满足目标检测物体的特征条件的特征序列,然后对该特征序列进行还原,就可以获得目标检测物体的图像特征在目标视频中的位置分布,对该位置分布进行区域检测,就可以确定出目标检测物体。而在具体的检测过程中,由于是通过将图像数据进行离散化,获得对应的特征序列值,然后再通过序列值进行检测的,相对于直接对视频图像进行检测而言,可以有效减少检测过程中的运算量,从而提高了检测效率。
在一种可能的设计中,所述至少一组特征序列是通过对所述至少一帧视频图像进行编码处理得到的。
本申请实施例中,在获取到原始的图像数据之后,可以对原始数据进行编码处理,获得离散后的序列数据,而序列尖峰携带有时序信息,可以根据该时序信息高效地检测出视频中的运动物体,提高了检测的精度。同时,由于是将图像数据编码为序列值进行检测的,后续处理过程中不需要依赖于原始的视频图像,因此,可以较好地保护原始视频数据的数据安全。而且,通过将数据进行离散化,在有效降低对数据的运算量的同时,也能降低系统带宽的消耗。
在一种可能的设计中,从所述至少一组特征序列中确定第一特征序列,包括:
根据所述至少一组特征序列,获得第二特征序列,所述第二特征序列是通过将所述至少一组特征序列进行叠加转换后得到的,所述第二特征序列为电流脉冲序列;
将所述第二特征序列转换为第三特征序列,所述第三特征序列为与所述第二特征序列对应的电压脉冲序列;
对所述第三特征序列进行卷积处理,并将卷积后的特征序列确定为所述第一特征序列。
本申请实施例中,在获得针对每帧视频图像的特征序列后,可以将这些特征序列融合叠加成一组特征序列,具体的,可以是先将至少一组特征序列整合为一组电流脉冲序列,而由于电流脉冲序列不能较为直观地展示各个序列的尖峰脉冲,因此,可以将得到的电流脉冲序列转换为电压脉冲序列,这样,就可以直观地确定出哪些地方存在尖峰特征。然后再对该组电压脉冲序列进行卷积处理,就可以获得用于表征第一动态物体的图像特征的特征序列,通过卷积处理,可以有效提高运算速度,从而提高了物体的检测效率。
在一种可能的设计中,所述特征图是通过使用神经网络对所述第一特征序列进行还原处理得到的,所述神经网络包括至少一个神经元,每个神经元携带有第一信息和第二信息,所述第一信息用于表征所述每个神经元处理的特征序列所对应的物体类别,所述第二信息用于表征所述每个神经元处理的特征序列在所述目标视频的位置信息。
本申请实施例中,可以通过神经网络对第一特征序列进行还原处理,神经网络中包括的神经元可以携带有自身可以处理的特征序列所对应的物体类别的信息,也就是说,通过该信息可以确定出每个神经元可以处理哪一类别的物体,神经元还可以携带有自身可以处理的特征序列在目标视频中的位置信息,这样,就可以根据神经元中携带的位置信息准确对特征序列进行特征还原。
在一种可能的设计中,对所述第一特征序列进行还原处理,以获得还原后的特征图,包括:
根据所述至少一个神经元的第一信息,对所述第一特征序列进行分类处理,以获得至少一组分类后的特征序列;
根据所述至少一个神经元的第二信息,对每组分类后的特征序列进行特征还原,以获得与所述至少一组分类后的特征序列对应的至少一张特征图。
本申请实施例中,获得的第一特征序列可以表征动态物体图像的图像特征,而在目标视频中可能会存在多个动态物体图像,因此,在获得第一特征序列后,可以对第一特征序列进行分类处理,在进行分类时,就可以根据神经元携带的第一信息进行分类,在获得至少一组分类后的特征序列后,就可以进一步根据神经元携带的第二信息对每组特征序列进行特征还原,从而获取到对应的至少一张特征图。从而,实现了通过神经网络对第一特征序列进行准确分类,以及有效地对分类获得的每组特征序列进行特征还原。
在一种可能的设计中,所述特征图由若干个特征点组成,对所述特征图进行区域检测,在确定所述第一动态物体在预设的检测区域内时,确定所述第一动态物体为所述目标检测物体,包括:
对每张特征图中脉冲数量大于第一阈值的特征点进行标记;
将标记后的特征点进行区域联通,以获得所述每张特征图的联通区域;
从所述至少一张特征图中确定第一特征图,所述第一特征图的联通区域在所述预设的检测区域内;
确定所述第一特征图中所包括的第一动态物体在所述预设的检测区域内,并确定所述第一动态物体为所述目标检测物体。
本申请实施例中,在得到满足目标检测物体的特征条件的多张特征图后,可以对每张特征图中脉冲数量大于一定阈值的特征点进行标记,然后将标记的特征点进行区域联通,就可以获得对应于每张特征图的联通区域,该联通区域可以表征其中包括的动态物体的大致轮廓,确定该联通区域在目标视频中的位置信息,然后与预设的检测到区域进行比较,就可以检测出目标检测物体,从而可以有效避免由于运动目标的快速移动,造成丢失目标,导致无法检测到运动物体的情况。
第二方面,提供一种运动物体的检测装置,所述装置包括:
获取模块,用于获取目标视频的至少一组特征序列,所述至少一组特征序列用于表征所述目标视频中包括的视频图像的图像特征,所述目标视频包括至少一帧视频图像,所述至少一帧视频图像中的每一帧视频图像包括动态物体的图像,所述动态物体包括目标检测物体;
确定模块,用于从所述至少一组特征序列中确定第一特征序列,所述第一特征序列用于表征第一动态物体的图像特征,所述第一动态物体为满足所述目标检测物体的特征条件的动态物体;
还原模块,用于对所述第一特征序列进行还原处理,以获得还原后的特征图,所述特征图用于表征所述第一动态物体的图像特征在所述目标视频中的位置分布;
检测模块,用于对所述特征图进行区域检测,在确定所述第一动态物体在预设的检测区域内时,确定所述第一动态物体为所述目标检测物体。
在一种可能的设计中,所述至少一组特征序列是通过对所述至少一帧视频图像进行编码处理得到的。
在一种可能的设计中,所述确定模块,用于:
根据所述至少一组特征序列,获得第二特征序列,所述第二特征序列是通过将所述至少一组特征序列进行叠加转换后得到的,所述第二特征序列为电流脉冲序列;
将所述第二特征序列转换为第三特征序列,所述第三特征序列为与所述第二特征序列对应的电压脉冲序列;
对所述第三特征序列进行卷积处理,并将卷积后的特征序列确定为所述第一特征序列。
在一种可能的设计中,所述特征图是通过使用神经网络对所述第一特征序列进行还原处理得到的,所述神经网络包括至少一个神经元,每个神经元携带有第一信息和第二信息,所述第一信息用于表征所述每个神经元处理的特征序列所对应的物体类别,所述第二信息用于表征所述每个神经元处理的特征序列在所述目标视频的位置信息。
在一种可能的设计中,所述还原模块,用于:
根据所述至少一个神经元的第一信息,对所述第一特征序列进行分类处理,以获得至少一组分类后的特征序列;
根据所述至少一个神经元的第二信息,对每组分类后的特征序列进行特征还原,以获得与所述至少一组分类后的特征序列对应的至少一张特征图。
在一种可能的设计中,所述特征图由若干个特征点组成,所述检测模块,用于:
对每张特征图中脉冲数量大于第一阈值的特征点进行标记;
将标记后的特征点进行区域联通,以获得所述每张特征图的联通区域;
从所述至少一张特征图中确定第一特征图,所述第一特征图的联通区域在所述预设的检测区域内;
确定所述第一特征图中所包括的第一动态物体在所述预设的检测区域内,并确定所述第一动态物体为所述目标检测物体。
第三方面,提供一种计算设备,所述计算设备包括:
至少一个处理器,以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如第一方面及任一可能的实施例中所述的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如第一方面及任一可能的实施例中所述的方法。
第五方面,提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的运动物体的检测方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种运动物体的检测方法的流程示意图;
图2为本申请实施例提供的采集视频图像时的图像数据变化示意图;
图3为本申请实施例提供的视频图像的编码示意图;
图4为本申请实施例提供的LTF模型膜电压变化示意图;
图5为本申请实施例提供的对特征序列进行卷积处理的示意图;
图6为本申请实施例提供的对各视频图像的特征序列进行叠加的示意图;
图7为本申请实施例提供的对特征序列进行卷积处理的示意图;
图8为本申请实施例提供的运动物体的检测装置的结构框图;
图9为本申请实施例提供的计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个,例如可以是两个、三个或者更多个,本申请实施例不做限制。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,在不做特别说明的情况下,一般表示前后关联对象是一种“或”的关系。
如前所述的,在相关技术中,在对视频中的快速运动目标进行检测时,一般是对单帧图像数据进行分析,具体来说,首先对图像中的目标进行检测和识别,然后使用目标跟踪技术,建立图像与图像之间的映射关系,最后根据实际拌线或区域情况进行研判,以根据研判结果进行上报。然而,如果视频中存在较多的图像数据,就会产生较大的运算量,导致目标的检测效率较低。
鉴于此,本申请实施提供一种运动物体的检测方法,通过该方法可以先获取目标视频中包括的各个视频图像的特征序列,然后从这些特征序列中确定出要检测的物体的特征序列,然后对该特征序列进行还原,就可以获得目标检测物体的图像特征在目标视频中的位置分布,对该位置分布进行区域检测,就可以确定出目标检测物体。而在具体的检测过程中,由于是通过将图像数据进行离散化,获得对应的特征序列值,然后再通过序列值进行检测的,相对于直接对视频图像进行检测而言,可以有效减少检测过程中的运算量,从而提高了检测效率。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并行执行。
请参见图1所示,图1为本申请实施例提供的运动物体的检测方法的一种示例的流程图。图1中的运动物体的检测方法的流程描述如下:
步骤101:获取目标视频的至少一组特征序列,至少一组特征序列用于表征目标视频中包括的视频图像的图像特征,目标视频包括至少一帧视频图像,至少一帧视频图像中的每一帧视频图像包括动态物体的图像,动态物体包括目标检测物体。
在具体的实施过程中,每一组特征序列可以表征与目标视频中对应的视频图像的图形特征,而目标视频包括的每帧视频图像都包括动态物体图像,通过获取特征序列,就可以获取到动态物体图像在每帧视频图像中的图像特征,而动态物体图像包括目标检测物体,因此,获取到的特征序列中就包括目标检测物体的特征序列。
在一种可能的实施方式中,对于一段目标视频,可能包括很多帧视频图像,因此,在获取特征序列时,就需要获取该目标视频中包括的每一帧视频图像的特征序列。请参见图2所示,图2为采集视频图像时视频图像数据的变化过程,先采集目标视频中的视频图像,即采集原始的实际图片,然后就可以获得多帧视频图像,在图2中,每一个圆圈即为采集到的一帧视频图像,即采集到9帧视频图像,每一帧视频图像也可以理解为是一组对应的原始视频图像数据,然后对每帧视频图像进行编码处理,就可以获得对应的离散化的序列值。需要说明的是,在具体的实施过程中,目标视频中可以包括任意数量的视频图像,在此不做限制。
在具体的实施过程中,例如可以通过公式1对每一帧视频图像进行编码处理:
其中,Rate表示输出尖峰频率,tref表示神经元不应期时间长度,τRC表示膜电阻常数,I表示模拟电流,Vt0和Vt1表示前后两个时刻的膜电压。
也就是说,在对每一帧视频图像进行编码处理时,可以通过公式1模拟神经元的原理进行编码处理,对于每一个生物神经元,根据输入电流的大小变化会不断改变自身膜电压,当膜电压达到某个阈值时,就可以给下一个生物神经元进行消息传播。通过公式1对每一帧视频图像进行编码处理之后,就可以获取到对应于每一帧视频图像的一组尖峰序列(即为前述的至少一组特征序列),这至少一组特征序列可以表示在特定时间区间内,视频图像的信号情况,也就是可以表征每一帧视频图像的图像特征。
需要说明的是,在采集视频图像时,采集到的视频图像可能是RGB的彩色图像,也可以是灰度图像,在采集到的视频图像为灰度图像时,可以理解为是采集到多帧一维的图像,那么在编码的时候就直接该多帧一维的灰度图进行编码即可,然后就可以获得对应于每帧视频图像的特征序列。而如果采集到的视频图像是彩色图像,就可以理解为是采集到多帧三维的图像,那么在编码的时候就需要对彩色图像的三个维度都进行编码,每一维度的编码方式是相同的。当采集到的视频图像为彩色图像时,就可以将公式1中的初始模拟电流I取值为像素区间[0,255],tref=[0,255],膜电压变化为从0变为1,从而计算每帧视频图像的特征序列。
请参见图3,图3为视频图像为彩色图像时的编码过程的一种示例,在图3中,每一个虚线框代表一张视频图像,即(R1,G1,B1)可以理解为是第一帧视频图像,也可以将第一帧视频图像表示为K1=(R1,G1,B1),相应的,第二帧视频图像即为K2=(R2,G2,B2),第n帧视频图像即为Kn=(Rn,Gn,Bn),对于每一帧视频图像都可以获得每个维度上的一个特征序列,即第一帧视频图像可以分别获取到针对R1的一个特征序列,针对G1的一个特征序列,以及针对B1的一个特征序列。需要说明的是,在图3中,将每一帧图像的对应维度获得的编码序列放在一起,只是为了说明每一维度的编码方式是一样的,但是,在具体的实施过程中,每一帧视频图像在获取到自身三个维度的特征序列后,会将三个维度的特征序列融合为一组特征序列,也就是说,通过公式1对彩色图像进行编码处理之后,对应于每一帧视频图像,也仅有一组对应特征序列。
步骤102:从至少一组特征序列中确定第一特征序列,第一特征序列用于表征第一动态物体的图像特征,第一动态物体为满足目标检测物体的特征条件的动态物体。
在一种可能的实施方式中,由于至少一组特征序列中包括目标检测物体的特征序列,所以,在获取到针对每帧视频图像的特征序列之后,就可以从这些特征序列中确定出满足目标检测物体的特征条件的特征序列,例如可以将该确定出的特征序列称为是第一特征序列,将满足目标检测物体的特征条件的动态物体称为是第一动态物体,需要说明的是,该第一动态物体可以只有一个,也可以是多个的情况,在该第一动态物体为多个时,表明这多个第一动态物体都满目标检测物体的特征条件,至于这多个第一动态物体中哪一个是实际的目标检测物体,还需要通过后续步骤进行确定。
在一种可能的实施方式中,在确定第一特征序列时,需要先将获取到的至少一组特征序列进行融合叠加,即将至少一组特征序列融合为一组特征序列,然后再从这组特征序列中确定出第一特征序列。
在具体的实施方式中,例如可以是先将至少一组特征序列叠加转换为一组特征序列,为了便于区分,例如可以将叠加转换后的特征序列称为是第二特征序列,例如可以通过公式2对至少一组特征序列进行叠加转换:
其中,I(t)是在t时刻的模拟电流,S为普通的卷积神经网络的卷积层的权重,d为偏置信息。通过公式2,可以通过使用普通的卷积神经网络获取到相应的权重和偏置信息,然后对至少一组特征序列进行叠加转换,就可以获得对应的第二特征序列。需要说明的是,在具体的实施过程中,选用的卷积神经网络例如可以是轻量级单步多框预测器(SingleShot MultiBoxDetector,SSD),或者是,基于区域的全卷积网络(Region-based fullyconvolutional network,RFCN)模型,或者还可以是端到端的目标检测(You Only LookOnce,YOLO)模型,还可以是一些其它现有的卷积神经网络模型,在此不做限制。
在具体的实施过程中,目标检测物体的特征条件与所使用的卷积神经网络相关联,卷积神经网络不同,其权重和偏置信息也就不同,从而通过不同卷积神经网络对特征序列进行处理时,就可以确定出对应于不同物体的特征序列。例如选择的卷积神经网络是训练输出一种物体的特征序列,那么通过该卷积神经网络对特征序列进行处理时,目标检测物体的特征条件即为与该种物体的特征序列相近的特征,而当选择的卷积神经网络是训练输出多种物体的特征序列时,通过该卷积神经网络对特征序列进行处理时,目标检测物体的特征条件即为与这多种物体的特征序列相似的特征。
举例来说,例如选择的卷积神经网络是输出人物的特征序列的,那么通过该卷积神经网络所提取出的权重和偏置信息,就是针对人物的特征的,该情况下,目标检测物体的特征条件即为与人物特征序列相近的特征。或者选择的卷积神经网络是输出人物和车辆的特征序列的,那么通过该卷积神经网络所提取的权重和偏置信息就是针对人物和车辆的特征的,该情况下,目标检测物体的特征条件即为与人物和车辆的特征序列相近的特征。
在一种可能的实施方式中,由于电流脉冲不能较为直观地检测到脉冲尖峰,因此,在获得电流脉冲序列(即第二特征序列)后,可以将该第二特征序列转换为电压脉冲序列,以便于直观快速地检测到脉冲尖峰。可以通过使用泄露整合和火模型(Leaky-Integrate-and-Fire Model,LIF),将第二特征序列转换为电压脉冲序列,通过使用LTF模型,就可以获得神经元的膜电压在一定时间区间内的变化情况,具体请参见图4所示,图4中所展示的即为LFT模型膜电压变化的一种示例。
例如可以是通过公式3对第二特征序列进行转换:
公式3:其中,L为泄露参数,X(t)为神经元连接的所有突触在t时刻的输入和,当V(t)超过一定阈值时,神经元就发出一个脉冲尖峰,同时膜电压复位为0,将信号向下传播,通过公式3就可以将第二特征序列转换为包括多个如图4中所示的脉冲尖峰的电压脉冲序列。
在一种可能的实施方式中,在获得第三特征序列后,可以对该特征序列进行卷积处理,具体的卷积处理过程,可以结合图5对进行理解,具体的卷积过程也就相当于是对第三特征序列进行反复卷积的过程,从而通过多次卷积达到锐化满足目标检测物体的特征条件的特征序列,弱化其它物体的特征序列。
在具体的实施过程中,例如是将第三特征序列先进行一次卷积处理,得到处理后的特征序列,由于只进行了一次卷积处理,卷积后的特征序列中可能仍然会包含很多不满足目标检测物体的特征条件的特征序列,因此,可以将卷积后的特征序列再转换为电压脉冲序列,然后再进行卷积处理,重复上述的卷积过程,就可以从第三特征序列中确定出满足特征条件的特征序列,即获取到第一特则序列。
举例来说,例如,通过选择的卷积神经网络需要输出人物的特征序列,那么,在进行一次卷积后,得到的特征序列中可能还包括其它物体的特征序列,例如是包括车的,或者是狗的特征序列,而在多次卷积之后,就可以将车或者狗的特征序列弱化,从而获取到人的特征序列。
在具体的实施过程中,例如可以通过公式4对第三特征序列进行卷积处理:
请参见图6所示,图6所展示的是将至少一组特征序列整合为第一特征序列的具体实现过程,在图6中,最左边相当于是获取到的多组特征序列,通过使用卷积神经网络提取的权重和偏置信息后,就可以获取到电流脉冲序列(图中未示出),然后就可以将电流脉冲序列转换为中间部分的电压脉冲,当然,图6中仅示出了一个脉冲尖峰,当在实际情况下,经过转换所获得的电压脉冲序列中包括多个脉冲尖峰,最后通过卷积处理可以获得最终的一组特征序列。
步骤103:对第一特征序列进行还原处理,以获得还原后的特征图,特征图用于表征第一动态物体的图像特征在目标视频中的位置分布。
在一种可能的实施方式中,由前所述的,当选择不同卷积神经网络时,确定出的第一特征序列可能只包括一种动态物体的特征序列,也可能包括多种动态物体的特征序列,因此,在对第一特征序列进行还原处理时,可以是先对第一特征序列进行分类处理。当第一特征序列包括多种物体的特征序列时,进行分类处理后,就可以分出哪些特征序列是对应于哪一种动态物体的,从而获得至少一组分类后的特征序列,然后对每组分类后的特征序列进行特征还原,就可以获得对应的多张特征图。
需要说明的是,当第一特征序列只包括一种物体的特征序列时,也需要进行分类处理,而这种情况下,经过分类处理之后,对应的就可以得到一组特征序列,该组特征序列也就是分类前的特征序列,相应地,对该组特征序列进行特征还原后,就可以得到一张特征图。
在一种可能的实施方式中,可以是通过神经网络对第一特征序列进行还原处理的。神经网络中可以包括至少一个神经元,这多个神经元中的每个神经元都可以携带两种信息,例如可以称为是第一信息和第二信息,第一信息用于表征神经元所处理的特征序列所对应的物体类别,也就是说,通过每个神经元的第一信息,可以确定出其处理的特征序列是属于哪一类物体的;第二信息用于表征神经元所处理的特征序列在目标视频的位置信息,也就是说,通过每个神经元的第二信息就可以确定出其处理的特征序列对应于目标视频中的位置,进而进行特征还原。
在具体的实施过程中,在根据第一信息对第一特征序列进行分类时,还可以结合每个神经元进行特征传递的次数进行的,例如,可以先确定出传递次数较多的神经元,然后确定其携带的第一信息中所指示的是哪一种物体类别,进而将传递次数相同的多个神经元处理的特征序列划分为同一类别,也可以通过其它一些方法进行分类和特征还原,在此不做限制。
在一种可能的实施方式中,在将分类后得到的至少一组特征序列进行特征还原时,可以是按照一定比例进行还原的。通过神经元将特征向下进行传递融合时,等效到图片中的尺寸就会缩小,因此,在具体还原的过程中,可以分别确定出传递后的图像尺寸的长和宽,然后再确定原始图像尺寸的长和宽,然后确定出一个还原比例,通过该还原比例进行特征位置回归。需要说明的是,也可以是通过其它一些现有的方法进行特征还原的,对于特征还原的具体方式,本申请实施例不做限制。
步骤104:对特征图进行区域检测,在确定第一动态物体在预设的检测区域内时,确定第一动态物体为目标检测物体。
其中,预设的检测区域可以是根据实际情况确定的,例如,拍摄目标视频的地点是在十字路口,其所要检测的是是否有车辆驶过人行通道,那么此时预设的检测区域就可以理解为人行车道,对于检测区域的设定,本申请实施例不做限制。
在具体的实施方式中,特征图可以是由若干个特征点组成的,在对特征序列进行还原时,可以理解为是将特征序列中包括的尖峰脉冲进行还原,那么这若干个特征点上,可能就会包括有尖峰脉冲,也就是说,特征点上面可能会还原有一个或多个尖峰脉冲,或者也可能没有尖峰脉冲,当特征点上包括的尖峰脉冲较多时,就可以理解为是特征比较明显。
在一种可能的实施方式中,在获得还原后的特征图之后,可以对特征图中满足条件的部分特征点进行相应的标记,该条件可以是所包括的脉冲数量大于第一的阈值,例如可以将该阈值称为是第一阈值,第一阈值例如可是50个,也可以是其它的任意数值,该第一阈值可以是人为设定的,也可以是根据历史数据确定的,在此不做限制。通过第一阈值的设定,就可以过滤掉一些不需要的特征点,从而对未被过滤的特征点进行区域检测。
需要说明的是,在进行特征点标记时,如果最后获得的是一张特征图,那么就只需要对该特征图进行特征点标记即可,如果最后获得的是多张特征图,那就需要分别对这多张特征图进行特征点标记。
在具体的实施过程中,在对每张特征图进行特征点标记之后,可以将标记后的特征点进行区域联通,然后就可以每张特征图的一个联通区域,该联通区域可以理解为是其中包括的动态物体的图像轮廓,获取到该联通区域后,就相当于获取到相应的动态物体的特征在目标视频中的位置分布,然后就可以对从这多张特征图中确定出联通区域在预设的检测区域内的特征图,例如可以将该特征图称为是第一特征图,相应地,第一特征图中所包括的动态物体就在预设的检测区域内,那么该第一特征图中包括的动态物体即为目标检测物体。
作为一种示例,请参见图7所示,图7中是通过对特征图中标记后的特征点进行区域联通后获得的效果图,该图中所展示的是一个人物的图像轮廓,获得该图像轮廓之后,就可以确定该图像轮廓是否存在于预设的检测区域内,在为是的情况下,就表明图像中包括的人物即为目标检测物体。
下面通过一个具体的实施例对本申请的提供的运动物体的检测方法做进一步说明。假设目标视频是针对一个交通路口拍摄的视频,这个视频中包含有10帧视频图像,那么在获取到这10帧视频图像之后,就可以分别进行编码处理,获得对应的10组特征序列,然后将这10组特征序列叠加融合为一组电流脉冲序列(即为第二特征序列),再将其转换为电压脉冲序列(即为第三特征序列),对该电压脉冲序列进行卷积处理之后,就可以获取到满足目标检测物体的特征条件的特征序列(即为第一特征序列)。
假设选用的卷积神经网络是可以输出人物和车辆的特征序列的,那么获得的第一特征序列就同时包括有人物和车辆的特征序列,那么在对第一特征序列进行还原处理时,就可以先通过分类处理获得两组分类后的特征序列,即一组为人物的特征序列,一组为车辆的特征序列,然后,将这两组特征序列分别进行特征还原,就可以获得对应的两张特征图,即一张人物的特征图和一张车辆的特征图,最后分别对这两张特征图进行区域检测,就可以确定出目标检测物体,具体的,假设预设的检测区域为人行道,然后就可以确定哪种特征图在人行道内,如果确定出车辆的特征图在人行道内,那么就可以将特征图中包括的车辆确定为是目标检测物体。
在本申请实施例中,目标视频中包括多帧视频图像,获取这多帧视频图像的特征序列,就可以获知对应于这多帧视频图像的图像特征。多帧视频图像中包括动态物体的图像,而动态物体包括目标检测物体,因此,可以从获取到的特征序列中确定出满足目标检测物体的特征条件的特征序列,然后对该特征序列进行还原,就可以获得目标检测物体的图像特征在目标视频中的位置分布,对该位置分布进行区域检测,就可以确定出目标检测物体。而在具体的检测过程中,由于是通过将图像数据进行离散化,获得对应的特征序列值,然后再通过序列值进行检测的,相对于直接对视频图像进行检测而言,可以有效减少检测过程中的运算量,从而提高了检测效率。
基于同一发明构思,本申请实施例提供了一种运动物体的检测装置,该运动物体的检测装置能够实现前述的运动物体的检测方法对应的功能。该运动物体的检测装置可以是硬件结构、软件模块、或者硬件结构加软件模块。该运动物体的检测装置可以由芯片系统实现,芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。请参见图8所示,该运动物体的检测装置包括获取模块801、确定模块802、还原模块803和检测模块804。其中:
获取模块801,用于获取目标视频的至少一组特征序列,至少一组特征序列用于表征目标视频中包括的视频图像的图像特征,目标视频包括至少一帧视频图像,至少一帧视频图像中的每一帧视频图像包括动态物体的图像,动态物体包括目标检测物体;
确定模块802,用于从至少一组特征序列中确定第一特征序列,第一特征序列用于表征第一动态物体的图像特征,第一动态物体为满足目标检测物体的特征条件的动态物体;
还原模块803,用于对第一特征序列进行还原处理,以获得还原后的特征图,特征图用于表征第一动态物体的图像特征在目标视频中的位置分布;
检测模块804,用于对特征图进行区域检测,在确定第一动态物体在预设的检测区域内时,确定第一动态物体为目标检测物体。
在一种可能的实施方式中,至少一组特征序列是通过对至少一帧视频图像进行编码处理得到的。
在一种可能的实施方式中,确定模块802,用于:
根据至少一组特征序列,获得第二特征序列,第二特征序列是通过将至少一组特征序列进行叠加转换后得到的,第二特征序列为电流脉冲序列;
将第二特征序列转换为第三特征序列,第三特征序列为与第二特征序列对应的电压脉冲序列;
对第三特征序列进行卷积处理,并将卷积后的特征序列确定为第一特征序列。
在一种可能的实施方式中,特征图是通过使用神经网络对第一特征序列进行还原处理得到的,神经网络包括至少一个神经元,每个神经元携带有第一信息和第二信息,第一信息用于表征每个神经元处理的特征序列所对应的物体类别,第二信息用于表征每个神经元处理的特征序列在目标视频的位置信息。
在一种可能的实施方式中,还原模块803,用于:
根据至少一个神经元的第一信息,对第一特征序列进行分类处理,以获得至少一组分类后的特征序列;
根据至少一个神经元的第二信息,对每组分类后的特征序列进行特征还原,以获得与至少一组分类后的特征序列对应的至少一张特征图。
在一种可能的实施方式中,特征图由若干个特征点组成,检测模块804,用于:
对每张特征图中脉冲数量大于第一阈值的特征点进行标记;
将标记后的特征点进行区域联通,以获得每张特征图的联通区域;
从至少一张特征图中确定第一特征图,第一特征图的联通区域在预设的检测区域内;
确定第一特征图中所包括的第一动态物体在预设的检测区域内,并确定第一动态物体为目标检测物体。
前述的运动物体的检测方法的实施例涉及的各步骤的所有相关内容均可援引到本申请施例中的运动物体的检测装置所对应的功能模块的功能描述,在此不再赘述。
本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
基于同一发明构思,本申请实施例提供一种计算设备。请参见图9所示,该计算设备包括至少一个处理器901,以及与至少一个处理器连接的存储器902,本申请实施例中不限定处理器901与存储器902之间的具体连接介质,图9中是以处理器901和存储器902之间通过总线900连接为例,总线900在图9中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线900可以分为地址总线、数据总线、控制总线等,为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例中的计算设备还可以包括通信接口903,该通信接口903例如是网口,计算设备可以通过该通信接口903接收数据或者发送数据。
在本申请实施例中,存储器902存储有可被至少一个处理器901执行的指令,至少一个处理器901通过执行存储器902存储的指令,可以执行前述的运动物体的检测方法中所包括的步骤。
其中,处理器901是计算设备的控制中心,可以利用各种接口和线路连接整个计算设备的各个部分,通过运行或执行存储在存储器902内的指令以及调用存储在存储器902内的数据,计算设备的各种功能和处理数据,从而对计算设备进行整体监控。可选的,处理器901可包括一个或多个处理单元,处理器901可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。在一些实施例中,处理器901和存储器902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器901可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的运动物体的检测方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器902可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通过对处理器901进行设计编程,可以将前述实施例中介绍的运动物体的检测方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行前述的运动物体的检测方法的步骤,如何对处理器901进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行如前述的运动物体的检测方法的步骤。
在一些可能的实施方式中,本申请提供的运动物体的检测方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算设备上运行时,程序代码用于使该计算设备执行本说明书上述描述的根据本申请各种示例性实施方式的运动物体的检测方法中的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (14)
1.一种运动物体的检测方法,其特征在于,所述方法包括:
获取目标视频的至少一组特征序列,所述至少一组特征序列用于表征所述目标视频中包括的视频图像的图像特征,所述目标视频包括至少一帧视频图像,所述至少一帧视频图像中的每一帧视频图像包括动态物体的图像,所述动态物体包括目标检测物体;
从所述至少一组特征序列中确定第一特征序列,所述第一特征序列用于表征第一动态物体的图像特征,所述第一动态物体为满足所述目标检测物体的特征条件的动态物体;
对所述第一特征序列进行还原处理,以获得还原后的特征图,所述特征图用于表征所述第一动态物体的图像特征在所述目标视频中的位置分布;
对所述特征图进行区域检测,在确定所述第一动态物体在预设的检测区域内时,确定所述第一动态物体为所述目标检测物体。
2.如权利要求1所述的方法,其特征在于,所述至少一组特征序列是通过对所述至少一帧视频图像进行编码处理得到的。
3.如权利要求1所述的方法,其特征在于,从所述至少一组特征序列中确定第一特征序列,包括:
根据所述至少一组特征序列,获得第二特征序列,所述第二特征序列是通过将所述至少一组特征序列进行叠加转换后得到的,所述第二特征序列为电流脉冲序列;
将所述第二特征序列转换为第三特征序列,所述第三特征序列为与所述第二特征序列对应的电压脉冲序列;
对所述第三特征序列进行卷积处理,并将卷积后的特征序列确定为所述第一特征序列。
4.如权利要求1-3任一所述的方法,其特征在于,所述特征图是通过使用神经网络对所述第一特征序列进行还原处理得到的,所述神经网络包括至少一个神经元,每个神经元携带有第一信息和第二信息,所述第一信息用于表征所述每个神经元处理的特征序列所对应的物体类别,所述第二信息用于表征所述每个神经元处理的特征序列在所述目标视频的位置信息。
5.如权利要求4所述的方法,其特征在于,对所述第一特征序列进行还原处理,以获得还原后的特征图,包括:
根据所述至少一个神经元的第一信息,对所述第一特征序列进行分类处理,以获得至少一组分类后的特征序列;
根据所述至少一个神经元的第二信息,对每组分类后的特征序列进行特征还原,以获得与所述至少一组分类后的特征序列对应的至少一张特征图。
6.如权利要求1或5所述的方法,其特征在于,所述特征图由若干个特征点组成,对所述特征图进行区域检测,在确定所述第一动态物体在预设的检测区域内时,确定所述第一动态物体为所述目标检测物体,包括:
对每张特征图中脉冲数量大于第一阈值的特征点进行标记;
将标记后的特征点进行区域联通,以获得所述每张特征图的联通区域;
从所述至少一张特征图中确定第一特征图,所述第一特征图的联通区域在所述预设的检测区域内;
确定所述第一特征图中所包括的第一动态物体在所述预设的检测区域内,并确定所述第一动态物体为所述目标检测物体。
7.一种运动物体的检测装置,其特征在于,所述装置包括:
获取模块,用于获取目标视频的至少一组特征序列,所述至少一组特征序列用于表征所述目标视频中包括的视频图像的图像特征,所述目标视频包括至少一帧视频图像,所述至少一帧视频图像中的每一帧视频图像包括动态物体的图像,所述动态物体包括目标检测物体;
确定模块,用于从所述至少一组特征序列中确定第一特征序列,所述第一特征序列用于表征第一动态物体的图像特征,所述第一动态物体为满足所述目标检测物体的特征条件的动态物体;
还原模块,用于对所述第一特征序列进行还原处理,以获得还原后的特征图,所述特征图用于表征所述第一动态物体的图像特征在所述目标视频中的位置分布;
检测模块,用于对所述特征图进行区域检测,在确定所述第一动态物体在预设的检测区域内时,确定所述第一动态物体为所述目标检测物体。
8.如权利要求7所述的装置,其特征在于,所述至少一组特征序列是通过对所述至少一帧视频图像进行编码处理得到的。
9.如权利要求7所述的装置,其特征在于,所述确定模块,用于:
根据所述至少一组特征序列,获得第二特征序列,所述第二特征序列是通过将所述至少一组特征序列进行叠加转换后得到的,所述第二特征序列为电流脉冲序列;
将所述第二特征序列转换为第三特征序列,所述第三特征序列为与所述第二特征序列对应的电压脉冲序列;
对所述第三特征序列进行卷积处理,并将卷积后的特征序列确定为所述第一特征序列。
10.如权利要求7-9任一所述的装置,其特征在于,所述特征图是通过使用神经网络对所述第一特征序列进行还原处理得到的,所述神经网络包括至少一个神经元,每个神经元携带有第一信息和第二信息,所述第一信息用于表征所述每个神经元处理的特征序列所对应的物体类别,所述第二信息用于表征所述每个神经元处理的特征序列在所述目标视频的位置信息。
11.如权利要求10所述的装置,其特征在于,所述还原模块,用于:
根据所述至少一个神经元的第一信息,对所述第一特征序列进行分类处理,以获得至少一组分类后的特征序列;
根据所述至少一个神经元的第二信息,对每组分类后的特征序列进行特征还原,以获得与所述至少一组分类后的特征序列对应的至少一张特征图。
12.如权利要求7或11所述的装置,其特征在于,所述特征图由若干个特征点组成,所述检测模块,用于:
对每张特征图中脉冲数量大于第一阈值的特征点进行标记;
将标记后的特征点进行区域联通,以获得所述每张特征图的联通区域;
从所述至少一张特征图中确定第一特征图,所述第一特征图的联通区域在所述预设的检测区域内;
确定所述第一特征图中所包括的第一动态物体在所述预设的检测区域内,并确定所述第一动态物体为所述目标检测物体。
13.一种计算设备,其特征在于,所述计算设备包括:
至少一个处理器,以及
与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在计算机上运行时,使得计算机执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010563926.7A CN111797728B (zh) | 2020-06-19 | 2020-06-19 | 一种运动物体的检测方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010563926.7A CN111797728B (zh) | 2020-06-19 | 2020-06-19 | 一种运动物体的检测方法、装置、计算设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797728A true CN111797728A (zh) | 2020-10-20 |
CN111797728B CN111797728B (zh) | 2024-06-14 |
Family
ID=72803077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010563926.7A Active CN111797728B (zh) | 2020-06-19 | 2020-06-19 | 一种运动物体的检测方法、装置、计算设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797728B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222214A (zh) * | 2011-05-09 | 2011-10-19 | 苏州易斯康信息科技有限公司 | 快速物体识别算法 |
CN107045716A (zh) * | 2016-02-06 | 2017-08-15 | 华为技术有限公司 | 一种物体检测方法及计算机设备 |
CN108230354A (zh) * | 2017-05-18 | 2018-06-29 | 深圳市商汤科技有限公司 | 目标跟踪、网络训练方法、装置、电子设备和存储介质 |
CN108898086A (zh) * | 2018-06-20 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
CN109063659A (zh) * | 2018-08-08 | 2018-12-21 | 北京佳讯飞鸿电气股份有限公司 | 运动目标的检测与跟踪方法和系统 |
CN109284673A (zh) * | 2018-08-07 | 2019-01-29 | 北京市商汤科技开发有限公司 | 对象跟踪方法及装置、电子设备及存储介质 |
CN109691090A (zh) * | 2018-12-05 | 2019-04-26 | 珊口(深圳)智能科技有限公司 | 移动目标的监控方法、装置、监控系统及移动机器人 |
CN109886130A (zh) * | 2019-01-24 | 2019-06-14 | 上海媒智科技有限公司 | 目标对象的确定方法、装置、存储介质和处理器 |
CN110111370A (zh) * | 2019-05-15 | 2019-08-09 | 重庆大学 | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 |
CN110334674A (zh) * | 2019-07-10 | 2019-10-15 | 哈尔滨理工大学 | 一种平面自由体轨迹识别跟踪及预测方法 |
CN110427800A (zh) * | 2019-06-17 | 2019-11-08 | 平安科技(深圳)有限公司 | 视频物体加速检测方法、装置、服务器及存储介质 |
CN110599522A (zh) * | 2019-09-18 | 2019-12-20 | 成都信息工程大学 | 一种视频序列中动态目标检测剔除方法 |
CN110674712A (zh) * | 2019-09-11 | 2020-01-10 | 苏宁云计算有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
CN111160187A (zh) * | 2019-12-20 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种遗留物体检测的方法、装置及系统 |
CN111161316A (zh) * | 2019-12-18 | 2020-05-15 | 深圳云天励飞技术有限公司 | 目标物体跟踪方法、装置及终端设备 |
-
2020
- 2020-06-19 CN CN202010563926.7A patent/CN111797728B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102222214A (zh) * | 2011-05-09 | 2011-10-19 | 苏州易斯康信息科技有限公司 | 快速物体识别算法 |
CN107045716A (zh) * | 2016-02-06 | 2017-08-15 | 华为技术有限公司 | 一种物体检测方法及计算机设备 |
CN108230354A (zh) * | 2017-05-18 | 2018-06-29 | 深圳市商汤科技有限公司 | 目标跟踪、网络训练方法、装置、电子设备和存储介质 |
CN108898086A (zh) * | 2018-06-20 | 2018-11-27 | 腾讯科技(深圳)有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
CN109284673A (zh) * | 2018-08-07 | 2019-01-29 | 北京市商汤科技开发有限公司 | 对象跟踪方法及装置、电子设备及存储介质 |
CN109063659A (zh) * | 2018-08-08 | 2018-12-21 | 北京佳讯飞鸿电气股份有限公司 | 运动目标的检测与跟踪方法和系统 |
CN109691090A (zh) * | 2018-12-05 | 2019-04-26 | 珊口(深圳)智能科技有限公司 | 移动目标的监控方法、装置、监控系统及移动机器人 |
CN109886130A (zh) * | 2019-01-24 | 2019-06-14 | 上海媒智科技有限公司 | 目标对象的确定方法、装置、存储介质和处理器 |
CN110111370A (zh) * | 2019-05-15 | 2019-08-09 | 重庆大学 | 一种基于tld和深度多尺度时空特征的视觉物体跟踪方法 |
CN110427800A (zh) * | 2019-06-17 | 2019-11-08 | 平安科技(深圳)有限公司 | 视频物体加速检测方法、装置、服务器及存储介质 |
CN110334674A (zh) * | 2019-07-10 | 2019-10-15 | 哈尔滨理工大学 | 一种平面自由体轨迹识别跟踪及预测方法 |
CN110674712A (zh) * | 2019-09-11 | 2020-01-10 | 苏宁云计算有限公司 | 交互行为识别方法、装置、计算机设备和存储介质 |
CN110599522A (zh) * | 2019-09-18 | 2019-12-20 | 成都信息工程大学 | 一种视频序列中动态目标检测剔除方法 |
CN111161316A (zh) * | 2019-12-18 | 2020-05-15 | 深圳云天励飞技术有限公司 | 目标物体跟踪方法、装置及终端设备 |
CN111160187A (zh) * | 2019-12-20 | 2020-05-15 | 浙江大华技术股份有限公司 | 一种遗留物体检测的方法、装置及系统 |
Non-Patent Citations (2)
Title |
---|
刘秀进;黄晋英;: "基于图像融合的运动目标检测与跟踪方法研究", 机械工程与自动化, no. 04, 15 August 2009 (2009-08-15), pages 31 - 33 * |
沈慧;王森妹;: "基于卷积Hopfield网络的运动目标检测模型", 现代信息科技, no. 09, 10 May 2019 (2019-05-10), pages 82 - 85 * |
Also Published As
Publication number | Publication date |
---|---|
CN111797728B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111160379B (zh) | 图像检测模型的训练方法及装置、目标检测方法及装置 | |
US10037604B2 (en) | Multi-cue object detection and analysis | |
CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
CN113468967A (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
CN111104903A (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
Xiang et al. | Lightweight fully convolutional network for license plate detection | |
CN112712703A (zh) | 车辆视频的处理方法、装置、计算机设备和存储介质 | |
CN111860219B (zh) | 一种高速占道判断方法、装置及电子设备 | |
CN111507278A (zh) | 一种检测路障的方法、装置及计算机设备 | |
CN112862856A (zh) | 违停车辆的识别方法、装置、设备及计算机可读存储介质 | |
Alkhorshid et al. | Road detection through supervised classification | |
CN114495060B (zh) | 一种道路交通标线识别方法及装置 | |
CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
Billones et al. | Visual Percepts Quality Recognition Using Convolutional Neural Networks | |
Rangari et al. | Deep Learning based smart traffic light system using Image Processing with YOLO v7 | |
Al Mamun et al. | Efficient lane marking detection using deep learning technique with differential and cross-entropy loss. | |
CN110516610A (zh) | 一种用于道路特征提取的方法及设备 | |
CN111465938A (zh) | 用于自动行驶的确定道路标记的装置 | |
CN112597996A (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
CN111797728B (zh) | 一种运动物体的检测方法、装置、计算设备及存储介质 | |
Shang et al. | A real-time lane departure warning system based on FPGA | |
CN111144361A (zh) | 一种基于二值化cgan网络的公路车道检测方法 | |
Yang et al. | A novel vision-based framework for real-time lane detection and tracking | |
CN115713726A (zh) | 行人翻越交通护栏的检测方法、装置、设备和介质 | |
CN115376129A (zh) | 矿区路面语义分割方法、装置、芯片、终端和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |