CN113438471A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113438471A CN113438471A CN202110677841.6A CN202110677841A CN113438471A CN 113438471 A CN113438471 A CN 113438471A CN 202110677841 A CN202110677841 A CN 202110677841A CN 113438471 A CN113438471 A CN 113438471A
- Authority
- CN
- China
- Prior art keywords
- frame image
- video
- target
- current frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000000126 substance Substances 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 26
- 230000000694 effects Effects 0.000 abstract description 9
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 9
- 230000000717 retained effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本公开提出一种视频处理方法、装置、电子设备及存储介质，该方法包括获取待处理视频，待处理视频包括：当前帧图像和前一帧图像；根据当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值；根据状态变化程度值，对当前帧图像执行目标操作。通过本公开，能够使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。
Description
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
在物流园区中，月台是货车装卸货物作业的场所。月台调度系统的数字化转型是建设智慧物流园区工程中的重要组成部分。月台调度系统数字化建设需要通过实时监控摄像头和人工智能(Artificial Intelligence，AI)算法，实现对月台车辆抵达和驶出状态的实时监控，并进一步通过后台的数据分析和调度功能，实现月台资源的最大化利用，提升月台使用效率。
在上述流程中，通过人工智能算法分析月台车辆视频，获取车辆到达和驶出的状态，是数字化建设的基础步骤，为了保障这个过程中算法的正确性而执行的测试方案，具有重要意义。但是在实际测试中：
一方面，从现场传回的实时视频文件体积很大，原因是高清摄像头拍摄的视频分辨率为1920*1080，1个小时视频大小约2G，当被测视频数量很多时，会有大量的资源耗费在视频传输方面。
另一方面，在月台场景中关注的车辆驶入和驶出的状态实际耗时在2～3分钟左右，中间有平均20分钟左右的装卸货时间，该过程中车辆会保持静止状态。从测试角度分析，1分钟的装卸货时间，与20分钟的装卸货时间，是等价类的测试用例。但是实际拍摄到的货车视频里，无法实现1分钟内完成装卸货操作，所以实际的视频时长会很大，导致测试所花费时间长。
这些方式下，所采集的视频通常会耗费较多的运算存储资源，携带较多的冗余视频信息，从而影响基于视频执行测试分析的效率，影响测试分析效果。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开的一个目的在于提出一种视频处理方法、装置、电子设备及存储介质，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。
为达到上述目的，本公开第一方面实施例提出的视频处理方法，包括：获取待处理视频，所述待处理视频包括：当前帧图像和前一帧图像；根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值；根据所述状态变化程度值，对所述当前帧图像执行目标操作。
本公开第一方面实施例提出的视频处理方法，通过根据待处理视频中的当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，根据状态变化程度值，对当前帧图像执行目标操作，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。
为达到上述目的，本公开第二方面实施例提出的视频处理装置，包括：获取模块，用于获取待处理视频，所述待处理视频包括：当前帧图像和前一帧图像；确定模块，用于根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值；处理模块，用于根据所述状态变化程度值，对所述当前帧图像执行目标操作。
本公开第二方面实施例提出的视频处理装置，通过根据待处理视频中的当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，根据状态变化程度值，对当前帧图像执行目标操作，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。
本公开第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的视频处理方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的视频处理方法。
本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本公开第一方面实施例提出的视频处理方法。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本公开一实施例提出的视频处理方法的流程示意图；
图2是本公开另一实施例提出的视频处理方法的流程示意图；
图3是本公开另一实施例提出的第一区域图像的示意图；
图4是本公开另一实施例提出的视频处理方法的流程示意图；
图5是本公开另一实施例提出的视频处理方法的流程图；
图6是本公开另一实施例提出的视频处理装置的结构示意图；
图7是本公开另一实施例提出的视频处理装置的结构示意图；
图8示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本公开一实施例提出的视频处理方法的流程示意图。
其中，需要说明的是，本实施例的视频处理方法的执行主体为视频处理装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
如图1所示，该视频处理方法包括：
S101：获取待处理视频，待处理视频包括：当前帧图像和前一帧图像。
其中，当前待对其进行测试分析处理的视频，可以被称为待处理视频。
待处理视频，可以例如是物流园区中的摄像装置拍摄到的实时视频，或者是物流园区之中的其它各种拥有拍摄录像功能的电子器件生成的视频，例如针对屏幕录像生成的录屏的视频等，对此不做限制。
通常待处理视频中会包括多帧图像，多帧图像组成视频片段或组成完整的视频，待处理视频中当前待对其进行分析处理的一帧图像，可以被称为当前帧图像，相应的，时间点在当前时间点之前的一帧图像，可以被称为前一帧图像，该前一帧图像可以被用于处理视频时作为与当前帧图像进行比对的参考帧图像，对此不做限制。
其中的当前帧图像，可以表示为：当前帧图像frame[i]，表示视频中在“i”时间点上的一帧图像，相应的，前一帧图像可表示为：前一帧图像frame[i-1]，表示视频中在“i-1”时间点上的一帧图像，需要说明的是，对当前帧图像和前一帧图像的符号定义是为了便于本公开实施例的理解，对此不做限制。
例如，在物流月台场景中，可以通过采用实时监控摄像头结合人工智能AI算法，获取包含车辆到达和驶出状态的视频作为待处理视频，而后，针对待处理视频中的每一帧图像，均执行本公开实施例中的视频处理方法，也即是说，本公开实施例中的当前帧图像，可以是待处理视频中的任一帧图像，针对待处理视频中的每一帧图像均依据时间点的推移顺序地执行针对每一帧图像的处理，以对待处理视频分析得到月台车辆抵达和驶出状态的状态变化程度。
S102：根据当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值。
其中，目标可以例如是根据实际的测试分析需求选定的，例如目标可以配置为视频中执行装卸作业的车辆，或者其它任意可能的需要对其进行测试分析的目标，对此不做限制。
而目标的状态变化程度值，用于描述目标在待处理视频中的状态变化，例如目标在不同帧图像中的距离变化幅度、位置坐标变化幅度等等，对此不做限制。
该状态变化程度值，能够被用于处理视频时作为参考内容，以确定当前帧图像是否存在冗余视频信息，可以理解的是，如果当前帧图像和前一帧图像之间目标的状态变化程度值较大，则可以确定当前帧图像和前一帧图像包含了不相同的目标状态信息，而不同的目标状态信息，在测试分析时均是相对具有较高参考价值的信息，从而可以确定当前帧图像不存在冗余视频信息，而如果当前帧图像和前一帧图像之间目标的状态变化程度值较小，则可以近似确定当前帧图像和前一帧图像包含了相同的目标状态信息，而相同的目标状态信息，在测试分析时是存在冗余的视频信息，从而可以确定当前帧图像存在冗余视频信息，由此，本公开实施例中，正是通过根据当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，从而采用该目标的状态变化程度值来辅助对视频压缩处理，而不会影响视频的分辨率，从而使得视频处理方式更具有合理性。
举例而言，目标的状态变化程度值，可以理解为当前帧图像frame[i]与前一帧图像frame[i-1]之间目标的状态变化程度(当前帧图像frame[i]中目标的状态，与前一帧图像frame[i-1]中目标的状态的变化程度)，具体例如，可以采用相似度计算方法来分析当前帧图像frame[i]中目标的状态，与前一帧图像frame[i-1]中目标的状态的变化程度，状态变化程度值可以是百分比的值，也可以是一个代表状态变化程度的数字，对此不做限制。
举例而言，在物流月台场景中，假设当前帧图像frame[i]与前一帧图像frame[i-1]之间目标的状态变化程度值大于或者等于95％时，可以表明当前帧图像frame[i]与前一帧图像frame[i-1]中包含了相同或者相近的目标状态信息，即物流月台的车辆处于装卸货状态或者静止状态上，而95％仅是示例，具体的数值可以参考实际的测试分析场景的需求自适应设置，对此不做限制。
S103：根据状态变化程度值，对当前帧图像执行目标操作。
举例而言，可以配置一些可选的操作方式，而后在确定目标的状态变化程度值之后，可以确定与状态变化程度值对应的操作方式作为目标操作，对此不做限制。
目标操作例如，删除当前帧图像、保留当前帧图像、对当前帧图像进行差值计算等，对此不做限制。
本实施例中，通过根据待处理视频中的当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，根据状态变化程度值，对当前帧图像执行目标操作，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。
图2是本公开另一实施例提出的视频处理方法的流程示意图。
如图2所示，该视频处理方法包括：
S201：获取待处理视频，所述待处理视频包括：当前帧图像和前一帧图像。
S201的举例说明可以具体参见上述实施例，在此不再赘述。
S202：从当前帧图像中解析得到目标的第一状态信息。
其中，目标在当前帧图像中的状态信息，可以被称为第一状态信息，第一状态信息能够用于描述目标在当前帧图像中的状态，该状态例如位置状态、形状状态、姿态状态，深度状态等等，对此不做限制。
可选地，所述从所述当前帧图像中解析得到所述目标的第一状态信息，可以是从所述当前帧图像中解析得到与所述目标对应的第一区域图像，所述第一区域图像包括：所述目标的参考标注点，并确定所述参考标注点的当前位置信息，并将所述当前位置信息作为所述第一状态信息，从而能够实现快速地便捷地捕获得到目标在当前帧图像中的状态信息，并且所分析得到的状态信息具有较高的参考价值，保障整体的视频处理的准确性，从而保障测试分析的效果。
其中，目标在当前帧图像中所占据的局部图像，可以被称为第一区域图像，另外为了便于状态信息分析的简捷性，还可以预先针对目标标注一些参考位置点(参考位置点例如，车辆后备箱区域的四个顶点)，相应的，该参考位置点映射在当前帧图像中的像素点，可以被称为目标的参考标注点，而目标的参考标注点的数量可以配置为多个，从而保障状态信息分析的准确性。
其中，上述的第一区域图像，可以配置为包括目标的全部的参考标注点的区域图像，该区域图像的选择标准还可以是：a，该区域图像在物流月台场景之中待监测的目标所在的车道区域内；b，该区域图像，能满足目标的状态信息检测的需求。
标准b的含义是指，在实际的视频画面中，当目标处于静止状态时，可能会有人员或者其它目标在画面上移动，所以进行对比时，可以排除这些非当前目标的干扰因素；同时当目标(例如车辆)处于驶入和驶离状态时，可以保留这些当前的目标的状态因素。一般可以选取目标正常停稳后，其所在车道的顶部区域，映射至当前帧图像中对应的区域图像，作为第一区域图像。
上述第一区域图像的数量可以为一个或者多个，第一区域图像的形状与位置也可以根据实际测试分析的需求自适应调整，对此不做限制。
举例而言，如图3所示，图3是本公开另一实施例提出的第一区域图像的示意图，在物流月台场景中，假设当前帧图像frame[i]中，第一区域图像是frameSub[i]，还可以选取多个第一区域图像frameSub[i]，例如车辆停稳后货箱的四个边所在区域，也可以选取图3中所示的车辆正常停稳后的车道顶部区域。选取区域完成后，为了方便区分与寻找，还可以画面最左上角为坐标起点，对区域四角进行坐标标记(即图3中的﹛x1，y1﹜、﹛x2，y2﹜、﹛x3，y3﹜与﹛x4，y4﹜)，﹛x1，y1﹜、﹛x2，y2﹜、﹛x3，y3﹜与﹛x4，y4﹜即可以被称为参考标注点的当前位置信息，并将所述当前位置信息作为所述第一状态信息。
当然，也可以采用其它任意可能的方式来实现从当前帧图像中解析得到目标的第一状态信息，例如模型匹配的方式、工程学方式、数学建模的方式等等，对此不做限制。
S203：获取与前一帧图像对应的目标的第二状态信息。
其中，目标在前一帧图像中的状态信息，可以被称为第二状态信息，第二状态信息能够用于描述目标在前一帧图像中的状态，该状态例如位置状态、形状状态、姿态状态，深度状态等等，对此不做限制。
可选地，所述获取与所述前一帧图像对应的所述目标的第二状态信息，可以是从所述前一帧图像之中识别得到第二区域图像，所述第二区域图像与所述第一区域图像相匹配，并从所述第二区域图像之中识别得到所述参考标注点的历史位置信息，并将所述历史位置信息作为所述第二状态信息，从而能够实现快速地便捷地捕获得到目标在前一帧图像中的状态信息，并且所分析得到的状态信息具有较高的参考价值，保障整体的视频处理的准确性，从而保障测试分析的效果。
针对在前一帧图像中提取目标的第二状态信息的举例说明，可以参见上述在当前帧图像中提取目标的第一状态信息的举例说明，在此不再赘述。
其中，目标在前一帧图像中所占据的局部图像，可以被称为第二区域图像，另外为了便于状态信息分析的简捷性，还可以预先针对目标标注一些参考位置点(参考位置点例如，车辆后备箱区域的四个顶点)，相应的，该参考位置点映射在前一帧图像中的像素点，可以被称为第二区域图像中目标的参考标注点，而目标的参考标注点的数量可以配置为多个，从而保障状态信息分析的准确性。
举例而言，在物流月台场景中，假设当前帧图像frame[i]中，第一区域图像可以表示为frameSub[i]，第二区域图像可以表示为frameSub[i-1]，第一区域图像frameSub[i]和第二区域图像frameSub[i-1]相匹配，指示二者对应相同的目标所占据的局部图像。
当然，也可以采用其它任意可能的方式来实现获取与前一帧图像对应的目标的第二状态信息，例如模型匹配的方式、工程学方式、数学建模的方式等等，对此不做限制。
S204：确定第一状态信息和第二状态信息之间的状态变化程度值。
上述在从所述当前帧图像中解析得到所述目标的第一状态信息，并获取与所述前一帧图像对应的所述目标的第二状态信息之后，可以确定第一状态信息和第二状态信息之间的状态变化程度值。
举例而言，第一状态信息，是参考标注点在当前帧图像中的当前位置信息，而第二状态信息，是参考标注点在前一帧图像中的历史位置信息，从而可以将当前位置信息与历史位置信息的位置变化程度值作为状态变化程度值，对此不做限制。
S205：根据所述状态变化程度值，对所述当前帧图像执行目标操作。
S205的举例说明可以具体参见上述实施例，在此不再赘述。
本实施例中，通过根据待处理视频中的当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，根据状态变化程度值，对当前帧图像执行目标操作，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。通过从所述当前帧图像中解析得到所述目标的第一状态信息，并获取与所述前一帧图像对应的所述目标的第二状态信息，以及确定所述第一状态信息和所述第二状态信息之间的状态变化程度值，从而能够实现快速地准确地对前后帧图像中目标状态变化执行对比任务，不会耗费较多额外的运算资源，在有效地保障状态变化程度分析的准确性的同时，兼顾了状态变化程度分析的效率。
图4是本公开另一实施例提出的视频处理方法的流程示意图。
如图4所示，该视频处理方法包括：
S401：获取待处理视频，所述待处理视频包括：当前帧图像和前一帧图像。
S402：根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值。
S401-S402的描述说明可以具体参见上述实施例，在此不再赘述。
S403：如果状态变化程度值大于或者等于设定阈值，则保留当前帧图像。
其中，设定阈值可以是预先配置的，该设定阈值是用于确定目标操作，且被作为参考的状态变化程度的门限值，可以根据实际测试分析的场景需求自适应设置该设定阈值，对此不做限制。
举例而言，当状态变化程度值大于或者等于设定阈值时，表示当前帧图像和前一帧图像中目标的状态变化程度幅度较大，也即表明目标的状态有新的含义，可以保留当前帧图像，并且对当前帧图像进行更新，以持续地触发处理下一帧图像，直至遍历完毕待处理视频中所有的图像。
举例而言，在物流月台场景中，对车辆状态进行监控，如果状态变化程度值大于或者等于设定阈值，说明当前帧图像中车辆的状态有新的含义，可以保留当前帧图像，并继续处理下一帧图像。
S404：如果状态变化程度值小于设定阈值，则删除当前帧图像。
举例而言，当状态变化程度值小于设定阈值时，则表示当前帧图像和前一帧图像中目标的状态变化程度幅度较小，也即表明目标的状态不携带新的含义，则可以删除当前帧图像，并继续处理下一帧图像。
举例而言，在物流月台场景中，对车辆状态进行监控，如果状态变化程度值小于设定阈值，说明当前帧图像与上一帧图像具备相同或者相近的车辆的状态含义，从而可以删除当前帧图像，以对视频进行压缩处理，并继续处理下一帧图像。
从而本公开实施例中，通过在所述状态变化程度值大于或者等于设定阈值时，保留所述当前帧图像，在所述状态变化程度值小于所述设定阈值时，删除所述当前帧图像，避免了通过降低分辨率压缩视频方式对测试分析效果带来的影响，实现保留测试分析所需的视频的关键帧图像，并且保留视频的原始分辨率，有效地减少了视频的数据量和图像帧数。
S405：对所述当前帧图像进行更新，并重复执行S402的步骤。
其中，对当前帧图像的更新，即将当前帧图像作为前一帧图像，下一帧图像作为当前帧图像的更新过程，针对更新后的当前帧图像与前一帧图像，重复执行上述S402中根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值的步骤。
举例而言，在物流月台场景中，从当前帧frame[i]中按照输入的对比区域坐标，截取第一区域图像frameSub[i]，并与第二区域图像frameSub[i-1]进行目标的状态变化程度值的计算，计算完成后，将第一区域图像frameSub[i]更新为新的第二区域图像frameSub[i-1]，再重新选取下一帧图像作为当前帧图像，并解析得到新的第一区域图像frameSub[i]，重复进行目标的状态变化程度值的计算，直到遍历完毕视频中的全部帧图像，对此不做限制。
S406：根据已保留的多帧图像生成目标视频。
举例而言，可以将上述步骤中保留的多帧图像，依据时间顺序进行视频合成，以得到目标视频。
举例而言，如图5所示，图5是本公开另一实施例提出的视频处理方法的流程图，可以首先读取待处理视频的各帧图像(操作1)，循环处理每一帧图像(操作2)，从当前帧图像frame[i]中按照输入的对比区域坐标，截取第一区域图像frameSub[i](操作3和操作4)，并与上一帧图像中的第二区域图像frameSub[i-1]进行相似度计算(操作5和6)以触发对当前帧图像进行保留或者删除处理。
举例而言，a)如果当前帧图像和前一帧图像中目标的状态不具有新的含义，可以删除当前帧图像，继续处理下一帧(操作7)；b)当前帧图像和前一帧图像中目标的状态具有新的含义(操作8)，则可以保留当前帧图像，并用frameSub[i]替换frameSub[i-1](操作9)，并存储当前帧图像(操作10)，再继续处理下一帧图像(操作11)，当待处理视频中的各帧图像全部都处理后，可以保存的多帧图像转化为视频(操作12)，以得到压缩后的目标视频。
从而本公开实施例中，通过对所述当前帧图像进行更新，并重复执行所述根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值的步骤，并根据已保留的多帧图像生成目标视频，能够实现快速地遍历视频中的各帧图像，便于快速地实现对待处理视频进行压缩，且保障该压缩处理逻辑不会影响待处理视频的原始分辨率，较大程度地保障后续的测试分析效果。
本实施例中，通过根据待处理视频中的当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，根据状态变化程度值，对当前帧图像执行目标操作，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。通过在所述状态变化程度值大于或者等于设定阈值时，保留所述当前帧图像，在所述状态变化程度值小于所述设定阈值时，删除所述当前帧图像，避免了通过降低分辨率压缩视频方式对测试分析效果带来的影响，实现保留测试分析所需的视频的关键帧图像，并且保留视频的原始分辨率，有效地减少了视频的数据量和图像帧数。通过对所述当前帧图像进行更新，并重复执行所述根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值的步骤，并根据已保留的多帧图像生成目标视频，能够实现快速地遍历视频中的各帧图像，便于快速地实现对待处理视频进行压缩，且保障该压缩处理逻辑不会影响待处理视频的原始分辨率，较大程度地保障后续的测试分析效果。
图6是本公开另一实施例提出的视频处理装置的结构示意图。
如图6所示，该视频处理装置60，包括：
获取模块601，用于获取待处理视频，待处理视频包括：当前帧图像和前一帧图像；
确定模块602，用于根据当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值；
处理模块603，用于根据状态变化程度值，对当前帧图像执行目标操作。
在本公开的一些实施例中，如图7所示，确定模块602，包括：
解析子模块6021，用于从当前帧图像中解析得到目标的第一状态信息；
获取子模块6022，用于获取与前一帧图像对应的目标的第二状态信息；
确定子模块6023，用于确定第一状态信息和第二状态信息之间的状态变化程度值。
在本公开的一些实施例中，解析子模块6021，具体用于：
从当前帧图像中解析得到与目标对应的第一区域图像，第一区域图像包括：目标的参考标注点；
确定参考标注点的当前位置信息，并将当前位置信息作为第一状态信息。
在本公开的一些实施例中，获取子模块6022，具体用于：
从前一帧图像之中识别得到第二区域图像，第二区域图像与第一区域图像相匹配；
从第二区域图像之中识别得到参考标注点的历史位置信息，并将历史位置信息作为第二状态信息。
在本公开的一些实施例中，处理模块603，具体用于：
如果状态变化程度值大于或者等于设定阈值，则保留当前帧图像；
如果状态变化程度值小于设定阈值，则删除当前帧图像。
在本公开的一些实施例中，还包括：
更新模块604，对当前帧图像进行更新，并触发所述确定模块602重复执行根据当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值的步骤；
生成模块605，根据已保留的多帧图像生成目标视频。
与上述图1至图5实施例提供的视频处理方法相对应，本公开还提供一种视频处理装置，由于本公开实施例提供的视频处理装置与上述图1至图5实施例提供的视频处理方法相对应，因此在视频处理方法的实施方式也适用于本公开实施例提供的视频处理装置，在本公开实施例中不再详细描述。
本实施例中，通过根据待处理视频中的当前帧图像和前一帧图像，确定待处理视频中目标的状态变化程度值，根据状态变化程度值，对当前帧图像执行目标操作，由于是参考了待处理视频中目标的状态变化程度值来辅助对视频进行相应的压缩处理，从而使得视频处理方式更具有合理性，能够有效地保留视频中的有效信息，并且有效地降低了视频的数据量，实现了数据量和视频分辨率的兼顾，从而使得处理得到的视频能够有效地适配于实际的测试分析的需求，保障测试分析效果。
图8示出了适于用来实现本公开实施方式的示例性电子设备的框图。图8显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。
尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的视频处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其它方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (14)
1.一种视频处理方法，其特征在于，所述方法包括：
获取待处理视频，所述待处理视频包括：当前帧图像和前一帧图像；
根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值；
根据所述状态变化程度值，对所述当前帧图像执行目标操作。
2.如权利要求1所述的方法，其特征在于，所述根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值，包括：
从所述当前帧图像中解析得到所述目标的第一状态信息；
获取与所述前一帧图像对应的所述目标的第二状态信息；
确定所述第一状态信息和所述第二状态信息之间的状态变化程度值。
3.如权利要求2所述的方法，其特征在于，所述从所述当前帧图像中解析得到所述目标的第一状态信息，包括：
从所述当前帧图像中解析得到与所述目标对应的第一区域图像，所述第一区域图像包括：所述目标的参考标注点；
确定所述参考标注点的当前位置信息，并将所述当前位置信息作为所述第一状态信息。
4.如权利要求3所述的方法，其特征在于，所述获取与所述前一帧图像对应的所述目标的第二状态信息，包括：
从所述前一帧图像之中识别得到第二区域图像，所述第二区域图像与所述第一区域图像相匹配；
从所述第二区域图像之中识别得到所述参考标注点的历史位置信息，并将所述历史位置信息作为所述第二状态信息。
5.如权利要求1所述的方法，其特征在于，所述根据所述状态变化程度值，对所述当前帧图像执行目标操作，包括：
如果所述状态变化程度值大于或者等于设定阈值，则保留所述当前帧图像；
如果所述状态变化程度值小于所述设定阈值，则删除所述当前帧图像。
6.如权利要求5所述的方法，其特征在于，还包括：
对所述当前帧图像进行更新，并重复执行所述根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值的步骤；
根据已保留的多帧图像生成目标视频。
7.一种视频处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理视频，所述待处理视频包括：当前帧图像和前一帧图像；
确定模块，用于根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值；
处理模块，用于根据所述状态变化程度值，对所述当前帧图像执行目标操作。
8.如权利要求7所述的装置，其特征在于，所述确定模块，包括：
解析子模块，用于从所述当前帧图像中解析得到所述目标的第一状态信息；
获取子模块，用于获取与所述前一帧图像对应的所述目标的第二状态信息；
确定子模块，用于确定所述第一状态信息和所述第二状态信息之间的状态变化程度值。
9.如权利要求8所述的装置，其特征在于，所述解析子模块，具体用于：
从所述当前帧图像中解析得到与所述目标对应的第一区域图像，所述第一区域图像包括：所述目标的参考标注点；
确定所述参考标注点的当前位置信息，并将所述当前位置信息作为所述第一状态信息。
10.如权利要求9所述的装置，其特征在于，所述获取子模块，具体用于：
从所述前一帧图像之中识别得到第二区域图像，所述第二区域图像与所述第一区域图像相匹配；
从所述第二区域图像之中识别得到所述参考标注点的历史位置信息，并将所述历史位置信息作为所述第二状态信息。
11.如权利要求7所述的装置，其特征在于，所述处理模块，具体用于：
如果所述状态变化程度值大于或者等于设定阈值，则保留所述当前帧图像；
如果所述状态变化程度值小于所述设定阈值，则删除所述当前帧图像。
12.如权利要求11所述的装置，其特征在于，还包括：
更新模块，对所述当前帧图像进行更新，并触发所述确定模块重复执行所述根据所述当前帧图像和所述前一帧图像，确定所述待处理视频中目标的状态变化程度值的步骤；
生成模块，根据已保留的多帧图像生成目标视频。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110677841.6A CN113438471A (zh) | 2021-06-18 | 2021-06-18 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110677841.6A CN113438471A (zh) | 2021-06-18 | 2021-06-18 | 视频处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113438471A true CN113438471A (zh) | 2021-09-24 |
Family
ID=77756469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110677841.6A Pending CN113438471A (zh) | 2021-06-18 | 2021-06-18 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113438471A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115314717A (zh) * | 2022-10-12 | 2022-11-08 | 深流微智能科技(深圳)有限公司 | 视频传输方法、装置、电子设备和计算机可读存储介质 |
| CN115661701A (zh) * | 2022-10-09 | 2023-01-31 | 中国科学院半导体研究所 | 实时图像处理方法、装置、电子设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160241817A1 (en) * | 2015-02-16 | 2016-08-18 | Multimedia Image Solution Limited | Method of reducing a video file size for surveillance |
| CN110334635A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 主体追踪方法、装置、电子设备和计算机可读存储介质 |
| CN110956648A (zh) * | 2019-11-15 | 2020-04-03 | 深圳市宏电技术股份有限公司 | 一种视频图像处理方法、装置、设备及存储介质 |
-
2021
- 2021-06-18 CN CN202110677841.6A patent/CN113438471A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160241817A1 (en) * | 2015-02-16 | 2016-08-18 | Multimedia Image Solution Limited | Method of reducing a video file size for surveillance |
| CN110334635A (zh) * | 2019-06-28 | 2019-10-15 | Oppo广东移动通信有限公司 | 主体追踪方法、装置、电子设备和计算机可读存储介质 |
| CN110956648A (zh) * | 2019-11-15 | 2020-04-03 | 深圳市宏电技术股份有限公司 | 一种视频图像处理方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661701A (zh) * | 2022-10-09 | 2023-01-31 | 中国科学院半导体研究所 | 实时图像处理方法、装置、电子设备及可读存储介质 |
| CN115314717A (zh) * | 2022-10-12 | 2022-11-08 | 深流微智能科技(深圳)有限公司 | 视频传输方法、装置、电子设备和计算机可读存储介质 |
| CN115314717B (zh) * | 2022-10-12 | 2022-12-20 | 深流微智能科技(深圳)有限公司 | 视频传输方法、装置、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3621034B1 (en) | Method and apparatus for calibrating relative parameters of collector, and storage medium | |
| CN109344899B (zh) | 多目标检测方法、装置和电子设备 | |
| CN113438471A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112669344A (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| CN112233009A (zh) | 一种图片渲染方法、装置、设备和存储介质 | |
| CN113537026B (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
| CN114004972A (zh) | 一种图像语义分割方法、装置、设备和存储介质 | |
| CN112258541A (zh) | 视频边界检测方法、系统、设备及存储介质 | |
| CN112967359A (zh) | 数据标注方法、装置、终端设备及存储介质 | |
| CN116797973A (zh) | 应用于环卫智慧管理平台的数据挖掘方法及系统 | |
| CN111950517A (zh) | 一种目标检测方法、模型训练方法，电子设备及存储介质 | |
| CN109816726B (zh) | 一种基于深度滤波器的视觉里程计地图更新方法和系统 | |
| CN116126740A (zh) | 模型在环测试方法、装置、计算机设备及存储介质 | |
| CN113505860B (zh) | 盲区检测训练集的筛选方法、装置、服务器及存储介质 | |
| CN114820953B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| CN115311632A (zh) | 一种基于多摄像头的车辆重识别方法和设备 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN114220011A (zh) | 货物数量识别方法、装置、电子设备和存储介质 | |
| CN111696154B (zh) | 坐标定位方法、装置、设备及存储介质 | |
| CN111262727A (zh) | 服务的扩容方法、装置、设备及存储介质 | |
| CN112233206B (zh) | 字符图像生成方法、装置、设备及存储介质 | |
| CN111870954B (zh) | 一种高度图生成方法、装置、设备及存储介质 | |
| CN113343999B (zh) | 基于目标检测的目标边界记录方法、装置和计算设备 | |
| CN113537199B (zh) | 图像边界框筛选方法、系统、电子装置及介质 | |
| CN112364948B (zh) | 一种基于主成分分析的车辆信息存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |