CN112949401B - 图像分析方法、装置、设备及计算机存储介质 - Google Patents
图像分析方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN112949401B CN112949401B CN202110135257.8A CN202110135257A CN112949401B CN 112949401 B CN112949401 B CN 112949401B CN 202110135257 A CN202110135257 A CN 202110135257A CN 112949401 B CN112949401 B CN 112949401B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- monitoring target
- frame image
- image analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 217
- 238000010191 image analysis Methods 0.000 claims abstract description 72
- 238000005520 cutting process Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000004064 recycling Methods 0.000 description 4
- 101150020073 cut-2 gene Proteins 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 101150074785 cut-3 gene Proteins 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Abstract
本发明实施例提供的图像分析方法、装置、设备及计算机存储介质，通过获取连续采集的N帧图像，N为大于1的正整数；按照预设处理帧率，从第一帧图像开始进行如下处理至处理完第N帧图像：若当前帧图像不存在裁剪框时，对当前帧图像进行图像分析，识别出监控目标在当前帧图像的位置，否则，利用裁剪框对当前帧图像裁剪后进行图像分析，识别出监控目标在当前帧图像的位置；根据监控目标的预测速度和监控目标在当前帧图像的位置，预测监控目标在下一帧图像中的预测位置；若当前帧不是第N帧，则根据预测位置确定下一帧图像的裁剪框。这样，可以减小分析图像的面积，减少图像分析的运算量。
Description
技术领域
本发明涉及视频监控领域，尤指一种图像分析方法、装置、设备及计算机存储介质。
背景技术
在视频监控领域，需要对监控画面中目标进行识别，再做业务处理。当前市面主流运用人工智能算法，按场景和需求不同，分为目标检测、目标属性分析、目标跟踪等。例如：先检测画面中出现的人、机动车、非机动车等目标，再分析其人物、车辆特征(如人物性别、年龄、车牌、车标等)，再记录跟踪其轨迹，最后做业务处理。
随着传感器技术的发展，监控设备中使用的摄像头的分辨率越来越高，相应地，监控设备采集的图像大小也越来越大。大体积的图像处理对监控设备的硬件性能造成极大的压力。
发明内容
本发明实施例提供一种图像分析方法、装置、设备及计算机存储介质，用以解决现有技术中存在进行图像分析的运算量较大的问题。
本发明实施例提供了一种图像分析方法，包括：
获取连续采集的N帧图像，所述N为大于1的正整数；
按照预设处理帧率，从第一帧图像开始进行如下处理至处理完第N帧图像：
若当前帧图像不存在裁剪框时，对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置，否则，利用裁剪框对所述当前帧图像裁剪后进行图像分析，识别出监控目标在所述当前帧图像的位置；
根据监控目标的预测速度和所述监控目标在所述当前帧图像的位置，预测监控目标在下一帧图像中的预测位置；
若当前帧不是第N帧，则根据所述预测位置确定下一帧图像的裁剪框。
可选地，根据监控目标的预测速度，预测监控目标在下一帧图像中的预测位置，包括：
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围；
根据所述预测位置确定下一帧图像的裁剪框，包括：
根据所述轮廓范围和裁剪框的外形，确定外接所述轮廓范围的裁剪框在下一帧图像中的位置区域。
可选地，所述监控目标的外形轮廓和所述预测监控目标在下一帧图像中的位置占用的轮廓范围为矩形；
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围，包括：
l＝l0+2v0
h＝h0+2v0
其中，l为所述预测监控目标在下一帧图像中的位置占用的轮廓范围对应的预测范围矩形的长度，h为所述预测范围矩形的高度，l0为所述监控目标的外形轮廓对应的轮廓矩形的长度，h0为所述轮廓矩形的高度，v0为所述监控目标的预测速度。
可选地，利用裁剪框对所述当前帧图像裁剪后进行图像分析，包括：
根据设置的监控目标的尺寸下限，去除小于所述尺寸下限的监控目标。
可选地，所述的图像分析方法还包括：
从第一帧图像开始进行处理的过程中，若在第一帧图像中未识别到所述监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像进行图像分析。
可选地，所述的图像分析方法还包括：
若连续M帧的第一帧图像未识别到监控目标时，将预设处理帧率降低为预设最低处理帧率，其中M为预设的大于1的正整数；
按照预设最低处理帧率进行处理时，若对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置时，恢复为所述预设处理帧率。
可选地，所述的图像分析方法还包括：
对不是第一帧/第N帧的当前帧图像利用裁剪框进行裁剪后进行图像分析后，确定没有识别出的监控目标在所述当前帧图像的位置时，将所述当前帧的裁剪框作为下一帧图像的裁剪框；或者，根据预设监控区域确定下一帧图像的裁剪框。
可选地，所述的图像分析方法还包括：
若有P个连续图像没有识别出监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像；其中P为预设的大于1的正整数。
可选地，所述的图像分析方法还包括：
确定所述N帧图像是第一组N帧图像时，所述监控目标的预测速度为预设预测速度；
确定所述N帧图像不是第一组N帧图像时，所述监控目标的预测速度为，所述监控目标或与所述监控目标同类型的监控目标在上一组N帧图像中，对应的运动距离和与所述运动距离对应的运动时间确定的平均运动速度。
基于同一发明构思，本发明实施例还提供了一种图像分析装置，包括：
图像获取模块，用于获取连续采集的N帧图像，所述N为大于1的正整数；
图像分析模块，用于若当前帧图像不存在裁剪框时，对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置，否则，利用裁剪框对所述当前帧图像裁剪后进行图像分析，识别出监控目标在所述当前帧图像的位置；
监控目标预测模块，用于根据监控目标的预测速度和所述监控目标在所述当前帧图像的位置，预测监控目标在下一帧图像中的预测位置；
第一裁剪框确定模块，用于若当前帧不是第N帧，则根据所述预测位置确定下一帧图像的裁剪框。
可选地，根据监控目标的预测速度，预测监控目标在下一帧图像中的预测位置，包括：
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围；
根据所述预测位置确定下一帧图像的裁剪框，包括：
根据所述轮廓范围和裁剪框的外形，确定外接所述轮廓范围的裁剪框在下一帧图像中的位置区域。
可选地，所述监控目标的外形轮廓和所述预测监控目标在下一帧图像中的位置占用的轮廓范围为矩形；
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围，包括：
l＝l0+2v0
h＝h0+2v0
其中，l为所述预测监控目标在下一帧图像中的位置占用的轮廓范围对应的预测范围矩形的长度，h为所述预测范围矩形的高度，l0为所述监控目标的外形轮廓对应的轮廓矩形的长度，h0为所述轮廓矩形的高度，v0为所述监控目标的预测速度。
可选地，利用裁剪框对所述当前帧图像裁剪后进行图像分析，包括：
根据设置的监控目标的尺寸下限，去除小于所述尺寸下限的监控目标。
可选地，所述的图像分析装置还包括：
第一重循环模块，用于从第一帧图像开始进行处理的过程中，若在第一帧图像中未识别到所述监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像进行图像分析。
可选地，所述的图像分析装置还包括：
低消耗模块，用于若连续M帧的第一帧图像未识别到监控目标时，将预设处理帧率降低为预设最低处理帧率，其中M为预设的大于1的正整数；
恢复模块，用于按照预设最低处理帧率进行处理时，若对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置时，恢复为所述预设处理帧率。
可选地，所述的图像分析装置还包括：
第二裁剪框确定模块，用于对不是第一帧/第N帧的当前帧图像利用裁剪框进行裁剪后进行图像分析后，确定没有识别出的监控目标在所述当前帧图像的位置时，将所述当前帧的裁剪框作为下一帧图像的裁剪框；或者，根据预设监控区域确定下一帧图像的裁剪框。
可选地，所述的图像分析装置还包括：
第二重循环模块，用于若有P个连续图像没有识别出监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像；其中P为预设的大于1的正整数。
可选地，所述的图像分析装置还包括：
预测速度初始化模块，用于确定所述N帧图像是第一组N帧图像时，所述监控目标的预测速度为预设预测速度；
预测速度模块，用于确定所述N帧图像不是第一组N帧图像时，所述监控目标的预测速度为，所述监控目标或与所述监控目标同类型的监控目标在上一组N帧图像中，对应的运动距离和与所述运动距离对应的运动时间确定的平均运动速度。
基于同一发明构思，本发明实施例还提供了一种图像分析设备，包括：处理器和用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现所述的图像分析方法。
基于同一发明构思，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被用于实现所述的图像分析方法。
本发明有益效果如下：
本发明实施例提供的分析方法、装置、设备及计算机存储介质，通过对所述一组N帧图像中除了第一帧图像之外的图像进行裁剪，对裁剪后的图像进行分析，与直接分析原图像相比，可以减小分析图像的面积，减少图像分析的运算量。
附图说明
图1A为本发明实施例提供的图像分析方法的流程图之一；
图1B为本发明实施例提供的图像分析方法的流程图之二；
图1C为本发明实施例提供的图像分析方法的流程图之三；
图1D为本发明实施例提供的图像分析方法的流程图之四；
图1E为本发明实施例提供的图像分析方法的流程图之五；
图2A为一种本发明实施例处理的第一帧图像；
图2B为一种本发明实施例处理的通过第一帧图像得到的裁剪框；
图2C为一种本发明实施例处理的第二帧图像；
图2D为一种本发明实施例处理的通过第二帧图像得到的裁剪框；
图2E为图2B与图2D的对比图；
图3为本发明实施例提供的图像分析装置的结构示意图；
图4为本发明实施例提供的图像分析设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面将结合附图和实施例对本发明做进一步说明。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明更全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。本发明中所描述的表达位置与方向的词，均是以附图为例进行的说明，但根据需要也可以做出改变，所做改变均包含在本发明保护范围内。本发明的附图仅用于示意相对位置关系不代表真实比例。
需要说明的是，在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
下面结合附图，对本发明实施例提供的图像分析方法、装置、设备及计算机存储介质进行具体说明。
本发明实施例提供了一种图像分析方法，如图1A-图1E所示，包括：
S101、获取连续采集的N帧图像，所述N为大于1的正整数；
按照预设处理帧率，从第一帧图像开始进行如下处理至处理完第N帧图像：
S102、依次确定进行图像分析的当前帧图像；
S103、判断所述当前帧图像是否存在裁剪框；
S104、若当前帧图像存在裁剪框时，利用裁剪框对所述当前帧图像裁剪后进行图像分析，判断是否识别出监控目标在所述当前帧图像的位置；
若为是，S105、对所述当前帧图像裁剪后进行图像分析，识别出监控目标在所述当前帧图像的位置；
S106、根据监控目标的预测速度和所述监控目标在所述当前帧图像的位置，预测监控目标在下一帧图像中的预测位置；
S107、判断所述当前帧图像是否为第N帧图像；
若为否，S108、根据所述预测位置确定下一帧图像的裁剪框；
若当前帧图像不存在裁剪框时，S110、对当前帧图像进行图像分析，判断是否识别出监控目标；
若为是，S111、对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置。
在具体实施过程中，所述图像分析方法可以应用于对人员、非机动车、机动车等类型的监控目标的监控，在此不作限定。所述图像分析方法可以用于监控所述监控目标的运动轨迹、运动方向、运动速度等，在此不作限定。具体地，所述图像分析方法可以实现交通违法监控、物业安防等功能。
这样，通过所述图像分析方法，可以对所述一组N帧图像中除了第一帧图像之外的图像进行裁剪，对裁剪后的图像进行分析，与直接分析原图像相比，可以减小分析图像的面积，减少图像分析的运算量。
可选地，所述步骤S106、根据监控目标的预测速度，预测监控目标在下一帧图像中的预测位置，包括：
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围；
所述步骤S108、根据所述预测位置确定下一帧图像的裁剪框，包括：
根据所述轮廓范围和裁剪框的外形，确定外接所述轮廓范围的裁剪框在下一帧图像中的位置区域。
在具体实施过程中，若所述轮廓范围超出了所述图像的画面范围，则对所述轮廓范围进行裁剪，只保留位于所述图像的画面范围中的所述轮廓范围。所述轮廓范围可以为圆形、椭圆形、矩形等形状，在此不作限定。所述裁剪框的外形也可以为圆形、椭圆形、矩形等形状，在此不作限定。
这样，通过预测监控目标在下一帧图像中的位置占用的轮廓范围，并以此确定裁剪框，以对下一帧图像进行裁剪，可以在裁剪所述下一帧图像以尽可能减小图像分析的运算量的同时避免遗漏所述监控目标。
可选地，如图2A-图2E所示，所述监控目标的外形轮廓和所述预测监控目标在下一帧图像中的位置占用的轮廓范围为矩形。
下面将以一种具体的实施方式为例进行详细说明。如图2A-图2E所示，一种应用了所述图像分析方法的设备对一条弯道进行监控，监控目标为机动车。如图2A所示，首先获取连续采集的N帧图像。对第一帧图像判断，不存在裁剪框，直接对所述第一帧图像进行分析，识别到监控目标机动车CAR-A、机动车CAR-B和机动车CAR-C。如图2B所示，完成分析后，根据所述监控目标CAR-A、CAR-B、CAR-C各自的预测速度和在所述当前帧图像的对应位置，预测监控目标在下一帧图像中的预测位置A1、B1、C1，并确定下一帧图像的裁剪框为A1、B1、C1的外接矩形CUT2。如图2C所示，对第二帧图像判断，存在裁剪框CUT2，利用裁剪框CUT2对所述第二帧图像裁剪后进行图像分析，识别到监控目标机动车CAR-A、机动车CAR-B和机动车CAR-C。如图2D所示，完成分析后，根据所述监控目标CAR-A、CAR-B、CAR-C各自的预测速度和在所述当前帧图像的对应位置，预测监控目标在下一帧图像中的预测位置A2、B2、C2，并确定下一帧图像的裁剪框为A2、B2、C2的外接矩形CUT3。依次类推，依次对第三帧图像、第四帧图像……第N帧图像进行相同的步骤(不对第N帧图像生成其下一帧的裁剪框)，最终完成所述一组连续N帧图像的分析。之后再次获取连续采集的N帧图像，再循环重复上述步骤……直至停止所述图像分析方法。图2E为所述第一帧图像与所述第二帧图像中所述监控目标的预测位置和裁剪框的变化对比。
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围，包括：
l＝l0+2v0
h＝h0+2v0
其中，l为所述预测监控目标在下一帧图像中的位置占用的轮廓范围对应的预测范围矩形的长度，h为所述预测范围矩形的高度，l0为所述监控目标的外形轮廓对应的轮廓矩形的长度，h0为所述轮廓矩形的高度，v0为所述监控目标的预测速度。
需要说明的是，所述l、h、l0、h0、v0均指的是对应在画面中数值。例如，对于一种使用了所述图像分析方法的设备，所述设备监控的真实长度为19.2m，真实宽度为10.8m，而对应的监控图像的长度为1920个像素，宽度为1080个像素，所述预设处理帧率为20FPS，其中某一个所述监控目标在画面中的轮廓矩形的长度l0＝256像素，轮廓矩形的高度h0＝128像素，对应的真实预测速度为8m/s，那么所述所述监控目标的预测速度v0＝40像素/帧。对应地，所述预测范围矩形的长度l＝336像素，所述预测范围矩形的高度h＝208像素。
这样，通过将所述轮廓矩形根据所述监控目标的预测速度进行扩大得到预测范围矩形，可以避免所述下一帧裁剪框裁剪所述下一帧图像时遗漏所述监控目标。
可选的，所述步骤S104、利用裁剪框对所述当前帧图像裁剪后进行图像分析，包括：
根据设置的监控目标的尺寸下限，去除小于所述尺寸下限的监控目标。
在具体实施过程中，尺寸过小的监控目标一般是由于距离采集监控图像的设备过远。对尺寸过小的监控目标进行图像分析时，分析结果的错误率较高。
这样，通过将尺寸过小的监控目标去除，可以降低图像分析结果的错误率。
可选地，所述的图像分析方法还包括：
从第一帧图像开始进行处理的过程中，若在第一帧图像中未识别到所述监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像进行图像分析。
在图1A-图1E中所示流程，具体可以为当所述步骤S110的判断结果为否，返回所述步骤S101。
可选地，如图1B所示，所述的图像分析方法还包括：
S109、判断是否连续M帧的第一帧图像未识别到监控目标；
若为是，S114、若连续M帧的第一帧图像未识别到监控目标时，将预设处理帧率降低为预设最低处理帧率，其中M为预设的大于1的正整数；
按照预设最低处理帧率进行处理时，若对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置时，恢复为所述预设处理帧率。
在图1B中所示流程，具体可以为当所述步骤S110的判断结果为是，依次执行所述步骤S111与步骤S112、判断当前帧率是否为预设处理帧率，所述步骤S112的判断结果为否，执行步骤S113、将处理帧率恢复为所述预设处理帧率。
这样，当多个连续第一帧图像未识别到监控目标时，降低处理帧率，能够减少图像分析的运算量。
可选地，如图1C所示，所述的图像分析方法还包括：
对不是第一帧/第N帧的当前帧图像利用裁剪框进行裁剪后进行图像分析后，确定没有识别出的监控目标在所述当前帧图像的位置时；
S1161、将所述当前帧的裁剪框作为下一帧图像的裁剪框；
或者，S1162、根据预设监控区域确定下一帧图像的裁剪框。
这样，通过没有识别出的监控目标在所述当前帧图像的位置时根据之前的裁剪框或预设监控区域作为下一帧图像的裁剪框，可以减少对下一帧图像进行分析的运算量。
可选地，如图1D所示，所述的图像分析方法还包括：
S115、判断是否有P个连续图像没有识别出监控目标；
若有P个连续图像没有识别出监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像；其中P为预设的大于1的正整数。
在图1中所示流程，具体可以为当所述步骤S115的判断结果为是，返回所述步骤S101。
这样，通过在多个连续的图像没有识别出监控目标时重新对下一帧图像的整个图像进行分析，避免了遗漏掉位于裁剪框之外的监控目标。
可选地，如图1A-图1E所示，所述图像分析方法还包括：
S100、确定所述监控目标的预测速度。
所述步骤S100包括：确定所述N帧图像是第一组N帧图像时，所述监控目标的预测速度为预设预测速度；
确定所述N帧图像不是第一组N帧图像时，所述监控目标的预测速度为，所述监控目标或与所述监控目标同类型的监控目标在上一组N帧图像中，对应的运动距离和与所述运动距离对应的运动时间确定的平均运动速度。
具体地，若所述监控目标为一辆机动车，则与所述监控目标同类型的监控目标为其它机动车。若所述监控目标为人员，则与所述监控目标同类型的监控目标为其它人员。
在具体实施过程中，所述运动距离可以为真实的运动距离，也可以为所述监控目标在图像上运动的距离。若所述运动距离为真实的运动距离，则根据所述真实的运动距离和对应的运动时间确定的平均运动速度应当转换为所述监控目标在对应图像上的平均运动速度。例如，对于一种使用了所述图像分析方法的设备，所述设备监控的真实长度为19.2m，而对应的监控图像的长度为1920个像素，所述预设处理帧率为20FPS。某辆机动车从进入所述设备的画面中开始，行驶了2.4s离开所述画面。N＝40且这一组图像中的每一帧均检测到所述机动车时，在这一组图像中，所述机动车对应的运动距离为16m，16m运动距离对应的时间为2s，所述机动车的平均运动速度为8m/s，所述监控目标在对应图像上的平均运动速度v0＝40像素/帧。
这样，通过计算上一组N帧图像中所述监控目标或与所述监控目标同类型的监控目标的平均运动速度，并作为下一组N帧图像中所述监控目标的预测运动速度，可以不断修正所述预测运动速度，使所述图像分析方法的可靠性更好。
具体地，如图1E所示，为一种应用了所有可选技术方案的实施例，具体实施过程可以参见上文所述各对应步骤的实施，在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种图像分析装置，如图3所示，包括：
图像获取模块M1，用于获取连续采集的N帧图像，所述N为大于1的正整数；
图像分析模块M2，用于若当前帧图像不存在裁剪框时，对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置，否则，利用裁剪框对所述当前帧图像裁剪后进行图像分析，识别出监控目标在所述当前帧图像的位置；
监控目标预测模块M3，用于根据监控目标的预测速度和所述监控目标在所述当前帧图像的位置，预测监控目标在下一帧图像中的预测位置；
第一裁剪框确定模块M4，用于若当前帧不是第N帧，则根据所述预测位置确定下一帧图像的裁剪框。
可选地，根据监控目标的预测速度，预测监控目标在下一帧图像中的预测位置，包括：
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围；
根据所述预测位置确定下一帧图像的裁剪框，包括：
根据所述轮廓范围和裁剪框的外形，确定外接所述轮廓范围的裁剪框在下一帧图像中的位置区域。
可选地，所述监控目标的外形轮廓和所述预测监控目标在下一帧图像中的位置占用的轮廓范围为矩形；
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围，包括：
l＝l0+2v0
h＝h0+2v0
其中，l为所述预测监控目标在下一帧图像中的位置占用的轮廓范围对应的预测范围矩形的长度，h为所述预测范围矩形的高度，l0为所述监控目标的外形轮廓对应的轮廓矩形的长度，h0为所述轮廓矩形的高度，v0为所述监控目标的预测速度。
可选地，利用裁剪框对所述当前帧图像裁剪后进行图像分析，包括：
根据设置的监控目标的尺寸下限，去除小于所述尺寸下限的监控目标。
可选地，所述的图像分析装置还包括：
第一重循环模块M5，用于从第一帧图像开始进行处理的过程中，若在第一帧图像中未识别到所述监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像进行图像分析。
可选地，所述的图像分析装置还包括：
低消耗模块M6，用于若连续M帧的第一帧图像未识别到监控目标时，将预设处理帧率降低为预设最低处理帧率，其中M为预设的大于1的正整数；
恢复模块M7，用于按照预设最低处理帧率进行处理时，若对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置时，恢复为所述预设处理帧率。
可选地，所述的图像分析装置还包括：
第二裁剪框确定模块M8，用于对不是第一帧/第N帧的当前帧图像利用裁剪框进行裁剪后进行图像分析后，确定没有识别出的监控目标在所述当前帧图像的位置时，将所述当前帧的裁剪框作为下一帧图像的裁剪框；或者，根据预设监控区域确定下一帧图像的裁剪框。
可选地，所述的图像分析装置还包括：
第二重循环模块M9，用于若有P个连续图像没有识别出监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像；其中P为预设的大于1的正整数。
可选地，所述的图像分析装置还包括：
预测速度初始化模块M11，用于确定所述N帧图像是第一组N帧图像时，所述监控目标的预测速度为预设预测速度；
预测速度模块M12，用于确定所述N帧图像不是第一组N帧图像时，所述监控目标的预测速度为，所述监控目标或与所述监控目标同类型的监控目标在上一组N帧图像中，对应的运动距离和与所述运动距离对应的运动时间确定的平均运动速度。
在具体实施过程中，所述图像分析装置的具体工作原理与所述图像分析方法基本一致，所述图像分析装置的具体实施方法可以参加所述图像分析方法的实施方式，故在此不再赘述。
基于同一发明构思，本发明实施例还提供了一种图像分析设备，如图4所示，包括：处理器110和用于存储所述处理器110可执行指令的存储器120；其中，所述处理器110被配置为执行所述指令，以实现所述图像分析方法。
在具体实施过程中，所述设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器110和存储器120，一个或一个以上存储应用程序131或数据132的存储介质130。其中，存储器120和存储介质130可以是短暂存储或持久存储。存储在存储介质130的应用程序131可以包括一个或一个以上所述单元(图4中未示出)，每个模块可以包括对图像分析装置中的一系列指令操作。更进一步地，处理器110可以设置为与存储介质130通信，在所述设备上执行存储介质130中的一系列指令操作。所述设备还可以包括一个或一个以上电源(图4中未示出)；一个或一个以上收发器140，所述收发器140包括有线或无线网络接口141，一个或一个以上输入输出接口142；和/或，一个或一个以上操作系统133，例如Windows、Mac OS、Linux、IOS、Android、Unix、FreeBSD等。
基于同一发明构思，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被用于实现所述图像分析方法。
本发明实施例提供的分析方法、装置、设备及计算机存储介质，通过对所述一组N帧图像中除了第一帧图像之外的图像进行裁剪，对裁剪后的图像进行分析，与直接分析原图像相比，可以减小分析图像的面积，减少图像分析的运算量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种图像分析方法，其特征在于，包括：
获取连续采集的N帧交通监控图像，所述N为大于1的正整数；
按照预设处理帧率，从第一帧图像开始进行如下处理至处理完第N帧图像：
若当前帧图像不存在裁剪框时，对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置，否则，利用裁剪框对所述当前帧图像裁剪后进行图像分析，识别出监控目标在所述当前帧图像的位置；
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围；
若当前帧不是第N帧，则根据所述轮廓范围和裁剪框的外形，确定外接所述轮廓范围的裁剪框在下一帧图像中的位置区域。
2.如权利要求1所述的图像分析方法，其特征在于，所述监控目标的外形轮廓和所述预测监控目标在下一帧图像中的位置占用的轮廓范围为矩形；
根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围，包括：
l＝l0+2v0
h＝h0+2v0
其中，l为所述预测监控目标在下一帧图像中的位置占用的轮廓范围对应的预测范围矩形的长度，h为所述预测范围矩形的高度，l0为所述监控目标的外形轮廓对应的轮廓矩形的长度，h0为所述轮廓矩形的高度，v0为所述监控目标的预测速度。
3.如权利要求1所述的图像分析方法，其特征在于，利用裁剪框对所述当前帧图像裁剪后进行图像分析，包括：
根据设置的监控目标的尺寸下限，去除小于所述尺寸下限的监控目标。
4.如权利要求1所述的图像分析方法，其特征在于，还包括：
从第一帧图像开始进行处理的过程中，若在第一帧图像中未识别到所述监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像进行图像分析。
5.如权利要求4所述的图像分析方法，其特征在于，还包括：
若连续M帧的第一帧图像未识别到监控目标时，将预设处理帧率降低为预设最低处理帧率，其中M为预设的大于1的正整数；
按照预设最低处理帧率进行处理时，若对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置时，恢复为所述预设处理帧率。
6.如权利要求1～5任一所述的图像分析方法，其特征在于，还包括：
对不是第一帧/第N帧的当前帧图像利用裁剪框进行裁剪后进行图像分析后，确定没有识别出的监控目标在所述当前帧图像的位置时，将所述当前帧的裁剪框作为下一帧图像的裁剪框；或者，根据预设监控区域确定下一帧图像的裁剪框。
7.如权利要求6所述的图像分析方法，其特征在于，还包括：
若有P个连续图像没有识别出监控目标时，从下一帧图像开始重新获取连续采集的N帧图像，并将所述下一帧图像作为第一帧图像；其中P为预设的大于1的正整数。
8.如权利要求1所述的图像分析方法，其特征在于，还包括：
确定所述N帧图像是第一组N帧图像时，所述监控目标的预测速度为预设预测速度；
确定所述N帧图像不是第一组N帧图像时，所述监控目标的预测速度为，所述监控目标或与所述监控目标同类型的监控目标在上一组N帧图像中，对应的运动距离和与所述运动距离对应的运动时间确定的平均运动速度。
9.一种图像分析装置，其特征在于，包括：
图像获取模块，用于获取连续采集的N帧交通监控图像，所述N为大于1的正整数；
图像分析模块，用于若当前帧图像不存在裁剪框时，对当前帧图像进行图像分析，识别出监控目标在所述当前帧图像的位置，否则，利用裁剪框对所述当前帧图像裁剪后进行图像分析，识别出监控目标在所述当前帧图像的位置；
监控目标预测模块，用于根据监控目标的预测速度和监控目标的外形轮廓，预测监控目标在下一帧图像中的位置占用的轮廓范围；
第一裁剪框确定模块，用于若当前帧不是第N帧，则根据所述轮廓范围和裁剪框的外形，确定外接所述轮廓范围的裁剪框在下一帧图像中的位置区域。
10.一种图像分析设备，其特征在于，包括：处理器和用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-8任一项所述的图像分析方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被用于实现如权利要求1-8任一项所述的图像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110135257.8A CN112949401B (zh) | 2021-02-01 | 2021-02-01 | 图像分析方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110135257.8A CN112949401B (zh) | 2021-02-01 | 2021-02-01 | 图像分析方法、装置、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949401A CN112949401A (zh) | 2021-06-11 |
| CN112949401B true CN112949401B (zh) | 2024-03-26 |
Family
ID=76240498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110135257.8A Active CN112949401B (zh) | 2021-02-01 | 2021-02-01 | 图像分析方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949401B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516672B (zh) * | 2021-09-07 | 2022-02-25 | 北京美摄网络科技有限公司 | 图像分割方法、装置、电子设备及可读存储介质 |
| CN115037992A (zh) * | 2022-06-08 | 2022-09-09 | 中央广播电视总台 | 视频处理方法、装置和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636803A (zh) * | 2017-10-05 | 2019-04-16 | 斯特拉德视觉公司 | 用于分割图像的方法和使用该方法的装置 |
| CN109684909A (zh) * | 2018-10-11 | 2019-04-26 | 武汉工程大学 | 一种无人机目标要害点实时定位方法、系统及存储介质 |
| CN110516620A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN110706150A (zh) * | 2019-07-12 | 2020-01-17 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111368593A (zh) * | 2018-12-25 | 2020-07-03 | 北京右划网络科技有限公司 | 一种马赛克处理方法、装置、电子设备及存储介质 |
| CN112241969A (zh) * | 2020-04-28 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 |
-
2021
- 2021-02-01 CN CN202110135257.8A patent/CN112949401B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109636803A (zh) * | 2017-10-05 | 2019-04-16 | 斯特拉德视觉公司 | 用于分割图像的方法和使用该方法的装置 |
| CN109684909A (zh) * | 2018-10-11 | 2019-04-26 | 武汉工程大学 | 一种无人机目标要害点实时定位方法、系统及存储介质 |
| CN111368593A (zh) * | 2018-12-25 | 2020-07-03 | 北京右划网络科技有限公司 | 一种马赛克处理方法、装置、电子设备及存储介质 |
| CN110706150A (zh) * | 2019-07-12 | 2020-01-17 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN110516620A (zh) * | 2019-08-29 | 2019-11-29 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、存储介质及电子设备 |
| CN112241969A (zh) * | 2020-04-28 | 2021-01-19 | 北京新能源汽车技术创新中心有限公司 | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949401A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Detection of abnormal visual events via global optical flow orientation histogram | |
| CN112949401B (zh) | 图像分析方法、装置、设备及计算机存储介质 | |
| CN107992819B (zh) | 一种车辆属性结构化特征的确定方法与装置 | |
| KR102374776B1 (ko) | Cctv의 위치 정보 및 객체의 움직임 정보에 기초한 타겟 객체 재식별 시스템 및 방법 | |
| Jo | Cumulative dual foreground differences for illegally parked vehicles detection | |
| CN107295296B (zh) | 一种监控视频选择性存储与恢复方法及系统 | |
| US10303952B2 (en) | Method of detecting a moving object by reconstructive image processing | |
| WO2016201683A1 (en) | Cloud platform with multi camera synchronization | |
| CN111027507A (zh) | 基于视频数据识别的训练数据集生成方法及装置 | |
| CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| Hsu et al. | Industrial smoke detection and visualization | |
| CN111950339A (zh) | 视频处理 | |
| CN113436231B (zh) | 行人轨迹生成方法、装置、设备及存储介质 | |
| EP3975133A1 (en) | Processing of images captured by vehicle mounted cameras | |
| Boufares et al. | Moving object detection system based on the modified temporal difference and otsu algorithm | |
| JP2007293559A (ja) | 非定常映像検出装置，非定常映像検出方法及びその方法を実装したプログラム | |
| CN115512263A (zh) | 一种面向高空坠物的动态视觉监测方法及装置 | |
| JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
| CN111951260B (zh) | 基于部分特征融合卷积神经网络实时目标计数系统及方法 | |
| CN114821441A (zh) | 联合ads-b信息的基于深度学习的机场场面运动目标识别方法 | |
| CN114445787A (zh) | 非机动车重识别方法及相关设备 | |
| CN115049990A (zh) | 数据处理方法、设备及存储介质 | |
| Shirpour et al. | Driver's Eye Fixation Prediction by Deep Neural Network. | |
| Sun et al. | PIDNet: An efficient network for dynamic pedestrian intrusion detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |