CN109919008A - 运动目标检测方法、装置、计算机设备及存储介质 - Google Patents

运动目标检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN109919008A
CN109919008A CN201910065021.4A CN201910065021A CN109919008A CN 109919008 A CN109919008 A CN 109919008A CN 201910065021 A CN201910065021 A CN 201910065021A CN 109919008 A CN109919008 A CN 109919008A
Authority
CN
China
Prior art keywords
image
target
moving target
real
time recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910065021.4A
Other languages
English (en)
Inventor
王健宗
彭俊清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910065021.4A priority Critical patent/CN109919008A/zh
Priority to PCT/CN2019/091905 priority patent/WO2020151172A1/zh
Publication of CN109919008A publication Critical patent/CN109919008A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像识别领域,使用了深度学习实现以较小的计算量快速识别检测运动物体的类别。具体公开了一种运动目标检测方法、装置、计算机设备及存储介质,该方法包括:过采集实时录像,首先确定所述实时录像中的运动目标;再提取所述运动目标的边界框以及所述边界框对应的数据信息;根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测以得到所述运动目标对应的分类类别;根据所述分类类别对所述实时录像中的运动目标进行标注。

Description

运动目标检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像识别技术领域,尤其涉及一种运动目标检测方法、装置、计算机设备及存储介质。
背景技术
在传统的目标检测方法中,需要通过图片或视频放入神经网络的卷积层中进行卷积运算,再进行分割并逐个寻找检测目标,该过程通过遍历整张图片找到相关目标,这样的方法比较耗费算力,在一些实际场景应用中,比如交通监测的场景下,在检测车辆的过程中,一般都是监测实时视频,对效率的要求非常高,而传统的目标检测方法很难得做到这一点。因此,有必要提供一种运动目标检测方法以解决上述问题。
发明内容
本申请提供了一种运动目标检测方法、装置、计算机设备及存储介质,以提高运动目标的检测速度和准确性。
第一方面,本申请提供了一种运动目标检测方法,所述方法包括:
获取实时录像,确定所述实时录像中的运动目标;
提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息;
根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;
根据所述分类类别对所述实时录像中的运动目标进行标注。
第二方面,本申请还提供了一种运动目标检测装置,所述装置包括:
获取确定单元,用于获取实时录像,确定所述实时录像中的运动目标;
信息提取单元,用于提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息;
识别检测单元,用于根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;
目标标注单元,用于根据所述分类类别对所述实时录像中的运动目标进行标注。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上述的运动目标检测方法。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的运动目标检测方法。
本申请公开了一种运动目标检测方法、装置、设备及存储介质,通过采集实时录像,首先确定所述实时录像中的运动目标;再提取所述运动目标的边界框以及所述边界框对应的数据信息;根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测以得到所述运动目标对应的分类类别;根据所述分类类别对所述实时录像中的运动目标进行标注。该方法可以快速对运动物体进行识别分类,比如识别运动车辆对应的车标和车型等,可以减小识别分类时的计算量,进而提供运动目标的识别效率,适用于实时检测识别。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的实施例提供的一种目标识别模型的训练方法的示意流程图;
图2是本申请的实施例提供的运动目标检测方法的应用场景示意图;
图3是本申请的实施例提供的一种运动目标检测方法的示意流程图;
图4是图3中的运动目标检测方法的子步骤示意流程图;
图5是本申请的实施例提供的确定运动目标的步骤示意流程图;
图6为本申请实施例提供的一种模型训练装置的示意性框图;
图7为本申请实施例提供的一种运动目标检测装置的示意性框图;
图8为本申请实施例提供的另一种运动目标检测装置的示意性框图;
图9为本申请一实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本申请的实施例提供了一种运动目标检测方法、装置、计算机设备及存储介质。其中,该运动目标检测方法可以应用于终端或服务器中,以快速准确地识别检测运动目标的分类信息。
例如,运动目标检测方法用于对道路上运动车辆进行识别分类,当然可以用于对其他运动目标的识别,比如非机动车、动物或行人等。但为了便于理解,以下实施例将以运动车辆为运动目标进行详细介绍。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请的实施例提供的一种目标识别模型的训练方法的示意流程图。该目标识别模型是基于卷积神经网络进行模型训练得到的,当然也可以采用其他网络进行训练得到。
需要说明的是,在本实施例中,使用GoogLeNet进行模型训练以得到目标识别模型,当然也可以采用其他网络,比如采用AlexNet或VGGNet等。以下将以GoogLeNet为例进行介绍。
如图1所示,该目标识别模型的训练方法,用于训练出目标识别模型以便应用在运动目标检测方法上。其中,该训练方法包括步骤S101至步骤S105。
S101、获取目标图片。
其中,所述目标图片为从不同角度拍摄的多个目标物体的图片。在本实施例中,目标物体为车辆,包括相同车标下的不同车型的车辆,当然也可以为非机动车辆、行人或动物等。选取车辆包括选取不同车标、车型的汽车,并从汽车的不同角度去拍摄的图片作为目标图片,该目标图片构成图片集,用于训练目标识别模型。
S102、根据分类类别对应的类别标识对所述目标图片进行标记。
其中,分类类别包括车标和车型等,对应的类别标识包括车标标识和车型标识。其中,车标标识包括:法拉利、兰博基尼、宾利、阿斯顿马丁、奔驰、宝马、奥迪、雪佛兰、大众或比亚迪等等;车型标识包括:小型车、微型车、紧凑车型、中等车型、高级车型、豪华车型、三厢车型或SUV车型。
具体地,根据分类类别对应的车标标识和车型标识对所述目标图片进行标记,使得每个目标图片均有带有标记信息,即每个目标图片均包括车标和车型。
在一个实施例中,为了快速训练出目标识别模型,在对每个目标图片进行标记后,即可构建样本数据,并根据构建的样本数据执行步骤S105,进行模型训练。
S103、对所述目标图片进行图像处理操作以改变所述目标图片的图片参数,将改变图片参数的目标图片作为新的目标图片。
为了提高目标识别模型的准确度,在对每个目标图片进行标记完后,还需对每个目标图片进行图像处理操作以改变所述目标图片的图片参数。
其中,图像处理操作包括:尺寸调整、裁剪处理、旋转处理和图像算法处理等等;图像算法处理包括:调整色温算法、调整曝光算法、调整对比度算法、高光恢复算法、低光补偿算法、白平衡算法、调整清晰度算法、雾化算法索引、调整自然饱和度算法。通过这些图像处理操作可以增加样本数据的多样性,使得样本数据更贴近真实拍摄的图片。
相应地,图片参数包括尺寸信息、像素大小、色温参数、曝光度、对比度、白平衡、清晰度、雾化参数和自然饱和度等。
需要说明的是,对所述目标图片进行图像处理操作以改变所述目标图片的图片参数,将改变图片参数的目标图片作为新的目标图片,是指分别对目标图片进行上述多种图像处理操作中的一种或几种结合以改变所述目标图片的图片参数。进而增加样本的多样性,同时使得样本更能代表现实环境,由此提高了模型的识别准确度。
S104、根据新的目标图片与所述目标图片构建样本数据。
具体地,保存改变图片参数的目标图片作为新的目标图片,将该新的目标图片和原来的目标图片一起构成样本数据。进而增加样本数量,同时又增加了样本的多样性。
S105、基于卷积神经网络,根据所述样本数据进行模型训练以得到目标识别模型,并将得到的目标识别模型作为预先训练的目标识别模型。
具体地,使用构建的样本数据,通过GoogLeNet进行模型训练,具体可以采用方向传播训练,使用GoogLeNet的卷积层和池化层从输入样本数据中提取特征,使用完全连接层用来做分类器,该分类器的输出是不同车标和车型的概率值。
用随机值初始化所有过滤器和参数/权重;卷积神经网络将训练的样本数据作为输入,经过前向传播步骤(卷积,ReLU激活和池化操作以在完全连接层中的前向传播),最终得到每个类别的输出概率。
将上述样本数据中的部分图片作为标定数据(ground truth),利用准备的样本数据通过大规模迭代训练,让卷积神经网络在学习图片语义信息后输出每个类别的输出概率,使用输出概率与标定数据(ground truth)的定义损失函数(loss),在模型训练中尽量缩小损失函数(loss),来保证模型的准确度,以完成模型训练。
由于,运动目标检测方法可以应用于终端或服务器中,因此需要将训练好的模型保存在终端或服务器中。其中,该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备;服务器可以为独立的服务器,也可以为服务器集群。
如果是应用于终端中,为了保证该终端的正常运行以及快速识别检测出运动目标的类别,还需要对训练得到的目标识别模型进行压缩处理,将压缩处理后的模型保存在终端。
其中,该压缩处理具体包括对目标识别模型进行剪枝处理、量化处理和哈夫曼编码处理等,以减小目标识别模型的大小,进而方便保存在容量较小的终端中。
上述实施例提供的训练方法,通过拍摄多个目标物体位于不同角度的目标图片,利用图像处理操作对目标图片进行处理以增加样本数据的多样性;基于卷积神经网络,根据构建的样本数据进行模型训练以得到目标识别模型,并将得到的目标识别模型作为预先训练的目标识别模型应用于运动目标识别方法中,由此可提高运动目标的识别准确度。
请参阅图2,图2是本申请的实施例提供的运动目标检测方法的应用场景示意图。该应用场景包括服务器、终端和交通监控设备,交通监控设备包括摄像头。服务器用于训练目标识别模型,并将训练好的目标识别模型保存在终端中或压缩后保存在终端;摄像头用于采集交通道路上的运动车辆的实时录像,并将采集的实时录像发送给终端;终端用于执行运动目标检测方法,以识别检测出运动车辆的类别。
请参阅图3,图3是本申请的实施例提供的一种运动目标检测方法的示意流程图。该运动目标检测方法可以应用在终端或服务器中,以较小的计算量快速地从实时录像中识别检测出运动物体的类别。
如图3所示,该运动目标检测方法,具体包括步骤S201至步骤S204,以下将结合图2进行详细介绍。
S201、获取实时录像,确定所述实时录像中的运动目标。
具体地,实时录像比如为交通监控设备中摄像头实时拍下交通道路上运动车辆的录像视频。
其中,确定实时录像中的运动目标,运动目标比如为运动车辆,具体采用帧间差分法对实时录像进行检测以确定运动车辆,当然也可以采用其他检测方式,比如,图像识别方式来根据车辆的形状识别实时录像中的运动车辆。
S202、提取所述运动目标的边界框以及所述边界框对应的数据信息。
其中,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息。提取所述运动目标的边界框以及所述边界框对应的数据信息,包括:确定所述运动目标在实时录像中的视频帧图像的边界框;提取所述边界框在所述实时录像中的位置信息和尺寸信息。
在一个实施例中,提取边界框和数据信息具体过程,如图4所示,即步骤S202包括子步骤S202a和S202b。
S202a、根据所述运动目标在实时录像中的水平宽带和竖直长度确定所述运动目标对应的边界框;S202b、提取所述水平宽带和竖直长度作为所述尺寸信息,以及所述边界框的中心坐标作为所述位置信息。
具体地,根据运动目标在实时录像中的最大的水平宽带和竖直长度确定其对应的边界框;并提取最大的水平宽带和竖直长度作为尺寸信息,以及获取该边界框的中心坐标值作为所述位置信息,进而可得到边界框的大小和位置信息,该边界框的大小和位置信息即为边界框对应的数据信息。
需要说明的是:实时录像中的一帧图像可能包括多个运动目标,比如包括多个运动车辆,每个运动车辆均会对应一个边界框,因此实时录像的视频帧中可能会对应的多个边界框。
S203、根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别。
具体地,可以根据边界框的数据信息确定边界框中的图像,再将边界框中的图像输入至预先训练好的目标识别模型进行预测,以输出该运动目标对应的分类类别。
比如,运动目标为运动车辆,则该目标识别模型可能识别出运动车辆的分类类别包括车标和车型等信息,具体地,如图2所示,预测的运动车辆的车标和车型分别为奥迪和小轿车。
S204、根据所述分类类别对所述实时录像中的运动目标进行标注。
具体地,根据分类类别对实时录像中的运动目标进行标注,包括在实时录像中的运动目标处显示模型输出的分类类别。当然也可以在实时录像中显示边界框,再在边界框中显示分类类别。或者,也可以采用其他的标注方式,对所述实时录像中的运动目标进行标注。由此通过对运动目标进行标注,方便用户对该运动车辆定位或跟踪。
需要说明的是,如果实时录像中包括多个运动目标,需要分别对每个运动目标进行标注,以便用户进行识别。
上述实施例提供的运动目标的识别方法,可快速地对运动物体进行识别分类,比如识别运动车辆对应的车标和车型等。具体是通过在确定实时录像中的运动目标后;提取该运动目标的边界框以及边界框对应的数据信息;根据边界框对应的数据信息确定边界框中的图像,再将边界框中的图像输入至预先训练的目标识别模型以输出运动目标的分类类别。由此实现了对实时录像中的运动目标进行识别分类。该方法可以减小分类时的计算量,进而提供运动目标的识别效率,适用于实时检测识别。
请参阅图5,图5是本申请的实施例提供的确定运动目标的步骤示意流程图。为了快速准确地确定所述实时录像中的运动目标,如图5所示,确定运动目标的步骤,具体包括以下内容:
S301、从所述实时录像中确定当前帧图像,将所述当前帧图像作为基准图像。
其中,从所述实时录像中确定当前帧图像,可以根据用户在实时录像中选择相应的视频图片作为当前帧图像。比如,在播放该实时录像时,用户点击选择了当前播放的视频,则可根据用户选择的视频帧作为当前帧图像。当然,也可以由用户指定相应的视频帧作为当前帧图像。
具体地,将确定的当前帧图像作为基准图像,将基准图像表示为fk(i,j),k表示该实时录像的图像序列中第k视频帧的当前帧图像,其中k为正整数,(i,j)表示为视频帧中的离散图像坐标。
S302、获取待确定的运动目标的运动速度。
在本实施例中,为了提高确定运动目标的效率和准确度,可先确定该运动目标的运动速度,再根据运动速度选择相应的预设帧数,其中不同的运动速度对应不同数量的预设帧数。
具体地,该运动速度是一个范围值,当然也可以是一个具体值。运动速度范围值,比如为90至110km/h;运动速度具体值,比如为100km/h。
在一个实施例中,获取待确定的运动目标的运动速度,可以通过速度测量仪测量待确定的运动目标的运动速度,比如采用激光测速仪等。当然,获取待确定的运动目标的运动速度,也可以根据隔间一定帧数的两个图像来计算运动目标的运动速度。
在一个实施例中,为了节省终端的计算量,提高运动目标识别速度和准确度。获取待确定的运动目标的运动速度,可以根据运动目标所处的环境参数来确定待确定的运动目标的运动速度。
譬如,先确定车辆在高速公路的哪一条道上,由此可根据具体道路确定运动车辆的大致范围。比如,车辆在最右侧车道,根据最右侧车道限速范围是60km/h~90km/h,可以确定运动目标的运动速度大致为60km/h~90km/h;相应地,中间车道限速范围是90km/h~110km/h;最左边车道是超车道,最低时速要高于110km/h。再比如,城市道路中同方向只有1条机动车道,限速为每小时50公里,如果运动目标在城市道路中,则可以确定运动速度大致为50km/h。
S303、根据运动速度范围与预设帧数之间的预设对应关系,确定获取的运动速度范围对应的预设帧数。
具体地,延后预设帧数根据运动速度进行设定。比如,在高速公路上最左边车道的车辆,车辆运动速度较快,其对应的延后预设帧数较少,比如将预设帧数设为延后1帧或2帧;在高速公路上中间车道的车辆,车速也比较快,将预设帧数设为延后4帧或5帧;在高速公路上最右边车道的车辆,车速也相对较快,将预设帧数设为延后7帧或8帧;在城市道路上的车辆,车速相对较慢,可将其对应的延后预设帧数设为较多帧数,比如9帧或10帧等。
因此,根据运动速度范围与预设帧数之间的预设对应关系,确定获取的运动速度范围对应的预设帧数,可以根据运动目标的实际情况而变化,由此快速准确地确定实时录像中的运动目标。
例如,车辆在高速公路上最左边车道,则确定该运动车辆的运动速度大致为110km/h以上,由此根据运动速度范围与预设帧数之间的预设对应关系,确定获取的运动速度范围对应的预设帧数具体为2帧。
S304、提取相对所述基准图像延后预设帧数的延后帧图像。
具体地,基准图像表示为fk(i,j),比如车辆在高速公路上最左边车道,则确定的预设帧数为2帧,则可以提取相对所述基准图像延后2帧的图像作为延后帧图像,由此延后帧图像表示为fk+2(i,j)。
S305、将所述延后帧图像与所述当前帧图像相减以得到差分图像。
具体地,通过差分法将所述延后帧图像与所述当前帧图像相减以得到差分图像,差分图像表示为:
Dk=|fk+2(i,j)-f(i,j)| (1)
其中,式(1)中,Dk表示差分图像,fk(i,j)表示基准图像,fk+2(i,j)表示延后帧图像,(i,j)表示离散图像坐标。
S306、对所述差分图像进行阈值处理得到所述差分图像对应的二值图像。
具体地,所述对所述差分图像进行阈值处理得到所述差分图像对应的二值图像,包括:确定所述差分图像中像素值大于预设阈值的像素点;根据大于所述预设阈值的像素点确定所述差分图像对应的二值图像。
其中,所述二值图像表示为:
其中,Sk(i,j)表示二值图像,T为预设阈值,(i,j)表示离散图像的坐标,Dk表示差分图像;大于或等于预设阈值表示为1,小于该预设阈值表示为0。
S307、根据所述二值图像确定所述实时录像中的运动目标。
其中,所述根据所述二值图像确定所述实时录像中的运动目标,包括:将二值图像中Sk(i,j)为1对应的区域设为运动区域;对所述运动区域通过形态学处理和连通性分析去除噪点,以确定所述实时录像中的运动目标。
具体地,将二值图像中Sk(i,j)为1对应的区域设为运动区域,然后再对该运动区域通过形态学处理和连通性分析处理以去除噪点,进而可获得有效的运动目标。
请参阅图6,图6是本申请一实施例提供的一种模型训练装置的示意性框图,该模型训练装置可以配置于服务器中,用于执行前述的目标识别模型的训练方法。
如图6所示,该模型训练装置400,包括:图片获取单元401、图片标记单元402、参数改变单元403、数据构建单元404和模型训练单元405。
图片获取单元401,用于获取目标图片,所述目标图片为从不同角度拍摄的多个目标物体的图片。
图片标记单元402,用于根据分类类别对应的类别标识对所述目标图片进行标记。
参数改变单元403,用于对所述目标图片进行图像处理操作以改变所述目标图片的图片参数,将改变图片参数的目标图片作为新的目标图片。
其中,所述图像处理操作包括:尺寸调整、裁剪处理、旋转处理和图像算法处理等;所述图像算法处理包括:调整色温算法、调整曝光算法、调整对比度算法、高光恢复算法、低光补偿算法、白平衡算法、调整清晰度算法、雾化算法索引、调整自然饱和度算法。
数据构建单元404,用于根据新的目标图片与所述目标图片构建样本数据。
模型训练单元405,用于基于卷积神经网络,根据所述样本数据进行模型训练以得到目标识别模型,并将得到的目标识别模型作为预先训练的目标识别模型。
请参阅图7,图7是本申请的实施例还提供一种运动目标检测装置的示意性框图,该运动目标检测装置用于执行前述的运动目标检测方法。其中,该运动目标检测装置可以配置于服务器或终端中。
如图7所示,该运动目标检测装置500,包括:获取确定单元501、信息提取单元502、识别检测单元503和目标标注单元504。
获取确定单元501,用于获取实时录像,确定所述实时录像中的运动目标。
信息提取单元502,用于提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息。
其中,信息提取单元502,具体用于,根据所述运动目标在实时录像中的水平宽带和竖直长度确定所述运动目标对应的边界框;提取所述水平宽带和竖直长度作为所述尺寸信息,以及所述边界框的中心坐标作为所述位置信息。
识别检测单元503,用于根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;
目标标注单元504,用于根据所述分类类别对所述实时录像中的运动目标进行标注。
在一个实施例中,如图8所示,该获取确定单元501,包括:基准确定单元5011、速度确定单元5012、帧数确定单元5013、图像提取单元5014、图像相减单元5015和图像处理单元5016。
基准确定单元5011,用于从所述实时录像中确定当前帧图像,将所述当前帧图像作为基准图像。
速度确定单元5012,用于获取待确定的运动目标的运动速度,其中不同的运动速度对应不同数量的预设帧数。
帧数确定单元5013,用于根据运动速度范围与预设帧数之间的预设对应关系,确定获取的运动速度范围对应的预设帧数。
图像提取单元5014,用于提取相对所述基准图像延后预设帧数的延后帧图像。
图像相减单元5015,用于将所述延后帧图像与所述当前帧图像相减以得到差分图像。
图像处理单元5016,用于对所述差分图像进行阈值处理得到所述差分图像对应的二值图像。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9,图9是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
参阅图9,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种运动目标检测方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种运动目标检测方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取实时录像,确定所述实时录像中的运动目标;提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息;根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;根据所述分类类别对所述实时录像中的运动目标进行标注。
在一个实施例中,所述处理器在实现所述确定所述实时录像中的运动目标时,用于实现:
从所述实时录像中确定当前帧图像,将所述当前帧图像作为基准图像;提取相对所述基准图像延后预设帧数的延后帧图像;将所述延后帧图像与所述当前帧图像相减以得到差分图像;对所述差分图像进行阈值处理得到所述差分图像对应的二值图像;以及根据所述二值图像确定所述实时录像中的运动目标。
在一个实施例中,所述处理器在实现所述提取相对所述基准图像延后预设帧数的延后帧图像之前,还用于实现:
获取待确定的运动目标的运动速度,其中不同的运动速度对应不同数量的预设帧数;根据运动速度范围与预设帧数之间的预设对应关系,确定获取的运动速度范围对应的预设帧数。
在一个实施例中,所述处理器在实现所述对所述差分图像进行阈值处理得到所述差分图像对应的二值图像时,用于实现:
确定所述差分图像中像素值大于预设阈值的像素点;根据大于所述预设阈值的像素点确定所述差分图像对应的二值图像。
在一个实施例中,所述二值图像表示为:
其中,Sk(i,j)表示二值图像,T为预设阈值,(i,j)表示离散图像的坐标,Dk表示差分图像;
所述处理器在实现所述根据所述二值图像确定所述实时录像中的运动目标时,用于实现:
将二值图像中Sk(i,j)为1对应的区域设为运动区域;对所述运动区域通过形态学处理和连通性分析去除噪点,以确定所述实时录像中的运动目标。
在一个实施例中,所述处理器在实现所述提取所述运动目标的边界框以及所述边界框对应的数据信息时,用于实现:
根据所述运动目标在实时录像中的水平宽带和竖直长度确定所述运动目标对应的边界框;提取所述水平宽带和竖直长度作为所述尺寸信息,以及所述边界框的中心坐标作为所述位置信息。
其中,在另一实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
获取目标图片,所述目标图片为从不同角度拍摄的多个目标物体的图片;根据分类类别对应的类别标识对所述目标图片进行标记,以构建样本数据;基于卷积神经网络,根据所述样本数据进行模型训练以得到目标识别模型,并将得到的目标识别模型作为预先训练的目标识别模型。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项运动目标检测方法。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种运动目标检测方法,其特征在于,包括:
获取实时录像,确定所述实时录像中的运动目标;
提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息;
根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;
根据所述分类类别对所述实时录像中的运动目标进行标注。
2.根据权利要求1所述的检测方法,其特征在于,所述确定所述实时录像中的运动目标,包括:
从所述实时录像中确定当前帧图像,将所述当前帧图像作为基准图像;
提取相对所述基准图像延后预设帧数的延后帧图像;
将所述延后帧图像与所述当前帧图像相减以得到差分图像;
对所述差分图像进行阈值处理得到所述差分图像对应的二值图像;以及
根据所述二值图像确定所述实时录像中的运动目标。
3.根据权利要求2所述的检测方法,其特征在于,所述提取相对所述基准图像延后预设帧数的延后帧图像之前,还包括:
获取待确定的运动目标的运动速度,其中不同的运动速度对应不同数量的预设帧数;
根据运动速度范围与预设帧数之间的预设对应关系,确定获取的运动速度范围对应的预设帧数。
4.根据权利要求2或3所述的检测方法,其特征在于,所述对所述差分图像进行阈值处理得到所述差分图像对应的二值图像,包括:
确定所述差分图像中像素值大于预设阈值的像素点;
根据大于所述预设阈值的像素点确定所述差分图像对应的二值图像。
5.根据权利要求4所述的检测方法,其特征在于,所述二值图像表示为:
其中,Sk(i,j)表示二值图像,T为预设阈值,(i,j)表示离散图像的坐标,Dk表示差分图像;
所述根据所述二值图像确定所述实时录像中的运动目标,包括:
将二值图像中Sk(i,j)为1对应的区域设为运动区域;
对所述运动区域通过形态学处理和连通性分析去除噪点,以确定所述实时录像中的运动目标。
6.根据权利要求1所述的检测方法,其特征在于,所述提取所述运动目标的边界框以及所述边界框对应的数据信息,包括:
根据所述运动目标在实时录像中的水平宽带和竖直长度确定所述运动目标对应的边界框;
提取所述水平宽带和竖直长度作为所述尺寸信息,以及所述边界框的中心坐标作为所述位置信息。
7.根据权利要求1所述的检测方法,其特征在于,还包括:
获取目标图片,所述目标图片为从不同角度拍摄的多个目标物体的图片;
根据分类类别对应的类别标识对所述目标图片进行标记,以构建样本数据;
基于卷积神经网络,根据所述样本数据进行模型训练以得到目标识别模型,并将得到的目标识别模型作为预先训练的目标识别模型。
8.一种运动目标检测装置,其特征在于,包括:
获取确定单元,用于获取实时录像,确定所述实时录像中的运动目标;
信息提取单元,用于提取所述运动目标的边界框以及所述边界框对应的数据信息,所述数据信息包括所述边界框在所述实时录像中的位置信息和尺寸信息;
识别检测单元,用于根据所述数据信息将所述边界框中的图像输入至预先训练的目标识别模型进行识别检测,以输出所述运动目标对应的分类类别;
目标标注单元,用于根据所述分类类别对所述实时录像中的运动目标进行标注。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的检测方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的检测方法。
CN201910065021.4A 2019-01-23 2019-01-23 运动目标检测方法、装置、计算机设备及存储介质 Pending CN109919008A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910065021.4A CN109919008A (zh) 2019-01-23 2019-01-23 运动目标检测方法、装置、计算机设备及存储介质
PCT/CN2019/091905 WO2020151172A1 (zh) 2019-01-23 2019-06-19 运动目标检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910065021.4A CN109919008A (zh) 2019-01-23 2019-01-23 运动目标检测方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN109919008A true CN109919008A (zh) 2019-06-21

Family

ID=66960695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910065021.4A Pending CN109919008A (zh) 2019-01-23 2019-01-23 运动目标检测方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109919008A (zh)
WO (1) WO2020151172A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN111222423A (zh) * 2019-12-26 2020-06-02 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备
CN111461209A (zh) * 2020-03-30 2020-07-28 深圳市凯立德科技股份有限公司 一种模型训练装置和方法
CN111582377A (zh) * 2020-05-09 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于模型压缩的边缘端目标检测方法及系统
CN111723634A (zh) * 2019-12-17 2020-09-29 中国科学院上海微系统与信息技术研究所 一种图像检测方法、装置、电子设备及存储介质
CN111866449A (zh) * 2020-06-17 2020-10-30 中国人民解放军国防科技大学 一种智能视频采集系统及方法
CN113129331A (zh) * 2019-12-31 2021-07-16 中移(成都)信息通信科技有限公司 目标移动轨迹检测方法、装置、设备及计算机存储介质
CN113192109A (zh) * 2021-06-01 2021-07-30 北京海天瑞声科技股份有限公司 在连续帧中识别物体运动状态的方法及装置
CN113205068A (zh) * 2021-05-27 2021-08-03 苏州魔视智能科技有限公司 洒水车喷头监控方法、电子设备及车辆
CN113344967A (zh) * 2021-06-07 2021-09-03 哈尔滨理工大学 一种复杂背景下的动态目标识别追踪方法
CN113822137A (zh) * 2021-07-23 2021-12-21 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备及计算机可读存储介质
WO2022037587A1 (en) * 2020-08-19 2022-02-24 Zhejiang Dahua Technology Co., Ltd. Methods and systems for video processing
CN114494333A (zh) * 2022-01-24 2022-05-13 湖南师范大学 基于影像的运动物体边界插值与预测方法及其相关组件
CN114581798A (zh) * 2022-02-18 2022-06-03 广州中科云图智能科技有限公司 目标检测方法、装置、飞行设备及计算机可读存储介质
WO2022240363A3 (en) * 2021-05-12 2023-02-09 Nanyang Technological University Robotic meal-assembly systems and robotic methods for real-time object pose estimation of high-resemblance random food items

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881854A (zh) * 2020-07-31 2020-11-03 上海商汤临港智能科技有限公司 动作识别方法、装置、计算机设备及存储介质
CN114155594A (zh) * 2020-08-17 2022-03-08 中移(成都)信息通信科技有限公司 行为识别方法、装置、设备和存储介质
CN112101134B (zh) * 2020-08-24 2024-01-02 深圳市商汤科技有限公司 物体的检测方法及装置、电子设备和存储介质
CN112036462B (zh) * 2020-08-25 2024-07-26 北京三快在线科技有限公司 一种模型训练以及目标检测的方法及装置
CN112149546B (zh) * 2020-09-16 2024-05-03 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112465868B (zh) * 2020-11-30 2024-01-12 浙江华锐捷技术有限公司 一种目标检测跟踪方法、装置、存储介质及电子装置
CN113537207B (zh) * 2020-12-22 2023-09-12 腾讯科技(深圳)有限公司 视频处理方法、模型的训练方法、装置以及电子设备
CN112733741B (zh) * 2021-01-14 2024-07-19 苏州挚途科技有限公司 交通标识牌识别方法、装置和电子设备
CN113379591B (zh) * 2021-06-21 2024-02-27 中国科学技术大学 速度确定方法、速度确定装置、电子设备及存储介质
CN113822146A (zh) * 2021-08-02 2021-12-21 浙江大华技术股份有限公司 目标检测方法、终端设备及计算机存储介质
CN113838110B (zh) * 2021-09-08 2023-09-05 重庆紫光华山智安科技有限公司 目标检测结果的校验方法、装置、存储介质和电子设备
CN118314332B (zh) * 2024-06-07 2024-08-30 海信集团控股股份有限公司 一种目标识别方法、装置及智能设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700430A (zh) * 2014-10-05 2015-06-10 安徽工程大学 机载显示器的运动检测方法
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559498A (zh) * 2013-09-24 2014-02-05 北京环境特性研究所 基于多特征融合的快速人车目标分类方法
CN108022249B (zh) * 2017-11-29 2020-05-22 中国科学院遥感与数字地球研究所 一种遥感视频卫星运动车辆目标感兴趣区域自动提取方法
CN109035287B (zh) * 2018-07-02 2021-01-12 广州杰赛科技股份有限公司 前景图像提取方法和装置、运动车辆识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700430A (zh) * 2014-10-05 2015-06-10 安徽工程大学 机载显示器的运动检测方法
WO2018130016A1 (zh) * 2017-01-10 2018-07-19 哈尔滨工业大学深圳研究生院 一种基于监控视频的停车检测方法及装置
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532859B (zh) * 2019-07-18 2021-01-22 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN111723634B (zh) * 2019-12-17 2024-04-16 中国科学院上海微系统与信息技术研究所 一种图像检测方法、装置、电子设备及存储介质
CN111723634A (zh) * 2019-12-17 2020-09-29 中国科学院上海微系统与信息技术研究所 一种图像检测方法、装置、电子设备及存储介质
CN111222423A (zh) * 2019-12-26 2020-06-02 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备
CN111222423B (zh) * 2019-12-26 2024-05-28 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备
CN113129331A (zh) * 2019-12-31 2021-07-16 中移(成都)信息通信科技有限公司 目标移动轨迹检测方法、装置、设备及计算机存储介质
CN113129331B (zh) * 2019-12-31 2024-01-30 中移(成都)信息通信科技有限公司 目标移动轨迹检测方法、装置、设备及计算机存储介质
CN111461209A (zh) * 2020-03-30 2020-07-28 深圳市凯立德科技股份有限公司 一种模型训练装置和方法
CN111461209B (zh) * 2020-03-30 2024-04-09 深圳市凯立德科技股份有限公司 一种模型训练装置和方法
CN111582377A (zh) * 2020-05-09 2020-08-25 济南浪潮高新科技投资发展有限公司 一种基于模型压缩的边缘端目标检测方法及系统
CN111866449A (zh) * 2020-06-17 2020-10-30 中国人民解放军国防科技大学 一种智能视频采集系统及方法
CN111866449B (zh) * 2020-06-17 2022-03-29 中国人民解放军国防科技大学 一种智能视频采集系统及方法
WO2022037587A1 (en) * 2020-08-19 2022-02-24 Zhejiang Dahua Technology Co., Ltd. Methods and systems for video processing
WO2022240363A3 (en) * 2021-05-12 2023-02-09 Nanyang Technological University Robotic meal-assembly systems and robotic methods for real-time object pose estimation of high-resemblance random food items
CN113205068A (zh) * 2021-05-27 2021-08-03 苏州魔视智能科技有限公司 洒水车喷头监控方法、电子设备及车辆
CN113192109A (zh) * 2021-06-01 2021-07-30 北京海天瑞声科技股份有限公司 在连续帧中识别物体运动状态的方法及装置
CN113344967A (zh) * 2021-06-07 2021-09-03 哈尔滨理工大学 一种复杂背景下的动态目标识别追踪方法
CN113822137A (zh) * 2021-07-23 2021-12-21 腾讯科技(深圳)有限公司 一种数据标注方法、装置、设备及计算机可读存储介质
CN114494333A (zh) * 2022-01-24 2022-05-13 湖南师范大学 基于影像的运动物体边界插值与预测方法及其相关组件
CN114494333B (zh) * 2022-01-24 2024-09-13 湖南师范大学 基于影像的运动物体边界插值与预测方法及其相关组件
CN114581798A (zh) * 2022-02-18 2022-06-03 广州中科云图智能科技有限公司 目标检测方法、装置、飞行设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020151172A1 (zh) 2020-07-30

Similar Documents

Publication Publication Date Title
CN109919008A (zh) 运动目标检测方法、装置、计算机设备及存储介质
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN109087510B (zh) 交通监测方法及装置
CN103413444B (zh) 一种基于无人机高清视频的交通流调查处理方法
Varma et al. Real time detection of speed hump/bump and distance estimation with deep learning using GPU and ZED stereo camera
CN108986465B (zh) 一种车流量检测的方法、系统及终端设备
WO2017041396A1 (zh) 一种车道线数据的处理方法、装置、存储介质及设备
CN112528878A (zh) 检测车道线的方法、装置、终端设备及可读存储介质
CN108875603A (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
CN107025658A (zh) 采用单个相机检测运动物体的方法和系统
US11068713B1 (en) Video-based intelligent road traffic universal analysis
CN111091023B (zh) 一种车辆检测方法、装置及电子设备
CN104463903A (zh) 一种基于目标行为分析的行人图像实时检测方法
CN110909699A (zh) 视频车辆非导向行驶检测方法、装置及可读存储介质
WO2021036243A1 (zh) 识别车道的方法、装置及计算设备
CN109872541A (zh) 一种车辆信息分析方法及装置
CN110427810A (zh) 视频定损方法、装置、拍摄端及机器可读存储介质
Premachandra et al. Road crack detection using color variance distribution and discriminant analysis for approaching smooth vehicle movement on non-smooth roads
CN110555423B (zh) 基于多维运动摄像机的航拍视频的交通参数提取方法
CN116129386A (zh) 可行驶区域检测方法、系统及计算机可读介质
Huu et al. Proposing Lane and Obstacle Detection Algorithm Using YOLO to Control Self‐Driving Cars on Advanced Networks
CN105205834A (zh) 一种基于混合高斯及阴影检测模型的目标检测与提取方法
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN111009136A (zh) 一种高速公路行驶速度异常车辆检测方法、装置及系统
CN112396831B (zh) 一种交通标识的三维信息生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination