CN113612922A - 视频处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
视频处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113612922A CN113612922A CN202110868875.3A CN202110868875A CN113612922A CN 113612922 A CN113612922 A CN 113612922A CN 202110868875 A CN202110868875 A CN 202110868875A CN 113612922 A CN113612922 A CN 113612922A
- Authority
- CN
- China
- Prior art keywords
- video data
- image
- paths
- video
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 20
- 229910000831 Steel Inorganic materials 0.000 description 12
- 239000010959 steel Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供一种视频处理方法、装置、电子设备及计算机可读存储介质。方法包括：获取N路第一视频数据；将N路第一视频数据解码为包含图像帧的N路第二视频数据；将N路第二视频数据中，时序相对应的图像帧组合成图像批块；将图像批块输入预设检测模型，得到预设检测模型对图像批块输出的检测结果，检测结果包括与图像批块中的至少一路视频对应图像帧的分类结果。在本方案中，通过将多路视频的图像帧组合成图像批块，然后再调用预设检测模型对图像批块进行检测，如此，无需对每路视频数据的图像帧单独调用预设检测模型进行检测，从而可以减少调用模型的次数，避免因调用模型次数多而造成处理阻塞，提升视频处理的效率。
Description
技术领域
本申请涉及计算机视频处理领域，具体而言，涉及一种视频处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在机器视觉应用中，在对同一任务下的多路视频进行检测处理时，通常采用一个算法模块处理每个场景的输入视频，然后再汇总所有处理结果。在每路视频的处理环节中，每路视频的每个图像帧需要调用一次算法模型，在多路视频共用一个算法模型的情况下，存在因异步调用模型导致处理阻塞，而影响视频处理的效率。
发明内容
本申请实施例的目的在于提供一种视频处理方法、装置、电子设备及计算机可读存储介质，能够改善在视频处理过程中因调用模型导致处理阻塞，而影响视频处理的效率的问题。
为了实现上述目的，本申请的实施例通过如下方式实现：
第一方面，本申请实施例提供一种视频处理方法，所述方法包括：
获取N路第一视频数据，N为大于1的整数；
将所述N路第一视频数据解码为包含图像帧的N路第二视频数据；
将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块；
将所述图像批块输入预设检测模型，得到所述预设检测模型对所述图像批块输出的检测结果，所述检测结果包括与所述图像批块中的至少一路视频对应图像帧的分类结果。
在上述的实施方式中，通过将多路视频的图像帧组合成图像批块，然后再调用预设检测模型对图像批块进行检测，如此，无需对每路视频数据的图像帧单独调用预设检测模型进行检测，从而可以减少调用模型的次数，避免因调用模型次数多而造成处理阻塞，提升视频处理的效率。
结合第一方面，在一些可选的实施方式中，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块，包括：
当所述N路第二视频数据的帧率相同时，将所述N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
在上述的实施方式中，通过将时序相同的图像帧组合成图像批块，可以使得图像批块中呈现的图像内容的时间相同，从而提高多路视频识别的同步性。
结合第一方面，在一些可选的实施方式中，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块，包括：
当所述N路第二视频数据的帧率不相同时，在所述N路第二视频数据中，将帧率大于目标帧率的第二视频数据进行丢帧处理，得到帧率均为所述目标帧率的N路第二视频数据；其中，所述目标帧率为所述N路第二视频数据中的最小帧率；
将帧率均为所述目标帧率的N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
在上述的实施方式中，当帧率不相同时，通过对高帧率的视频进行丢帧处理，以使N路视频的帧率相同，如此，有利于使得组合得到的图像批块中呈现的图像内容的时间相同或相近。
结合第一方面，在一些可选的实施方式中，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块，包括：
将所述N路第二视频数据中的图像帧的尺寸转换为预设尺寸；
将所述N路第二视频数据中时序相对应的所述预设尺寸的图像帧组合成所述图像批块。
在上述的实施方式中，通过将每路视频的图像帧转换为预设尺寸，如此，可以实现每路视频的图像帧尺寸统一，便于预设检测模型进行识别处理。
结合第一方面，在一些可选的实施方式中，将所述N路第一视频数据解码为包含图像帧的N路第二视频数据，包括：
通过图像处理器将所述N路第一视频数据编码为N路第三视频数据；
通过所述图像处理器将所述N路第三视频数据解码为包含图像帧的所述N路第二视频数据，所述第二视频数据存储于显卡内存中，所述第一视频数据为基于预设传输协议的视频流，所述第二视频数据为基于预设视频格式的视频数据，所述第三视频数据为基于预设编码格式的视频数据，所述预设传输协议包括实时流传输协议或实时消息传输协议；所述预设编码格式包括H264编码格式或H265编码格式，所述预设视频格式包括RGB格式或YUV格式。
在上述的实施方式中，通过图像处理器对视频数据进行硬件解码，有利于提高图像解码的效率。另外，解码后的视频图像存储于显卡内存中，在进行视频图像识别时，便可以直接从显存中提取图像，提升图像处理的输入读取效率，无需如现有方式先将解码的视频图像存储于内存，在需要进行图像处理时，再从内存搬移至显卡内存，再从显卡内存提取图像。
结合第一方面，在一些可选的实施方式中，输入所述预设检测模型中的所述图像批块为经过预处理的图像批块，所述预处理包括去噪处理、标准化处理、平移处理、旋转处理、翻转处理中的至少一种。
结合第一方面，在一些可选的实施方式中，所述预设检测模型为基于深度学习的网络模型。
第二方面，本申请实施例还提供一种视频处理装置，所述装置包括：
视频获取单元，用于获取N路第一视频数据，N为大于1的整数；
视频解码单元，用于将所述N路第一视频数据解码为包含图像帧的N路第二视频数据；
图像组合单元，用于将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块；
检测单元，用于将所述图像批块输入预设检测模型，得到所述预设检测模型对所述图像批块输出的检测结果，所述检测结果包括与所述图像批块中的至少一路视频对应图像帧的分类结果。
第三方面，本申请实施例还提供一种电子设备，包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构示意图。
图2为本申请实施例提供的视频处理方法的流程示意图。
图3为本申请实施例提供的四路视频的图像帧组合成图像批块的场景示意图。
图4为本申请实施例提供的视频处理装置的框图。
图标：10-电子设备；11-处理模块；12-存储模块；13-摄像头；200-视频处理装置；210-视频获取单元；220-视频解码单元；230-图像组合单元；240-检测单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，本申请提供一种电子设备10，可以用于多路视频进行分析检测，可以提高对多路视频处理的效率。其中，电子设备10可以包括处理模块11及存储模块12。存储模块12内存储计算机程序，当计算机程序被所述处理模块11执行时，使得电子设备10能够执行下述视频处理方法中的各步骤。
当然，电子设备10还可以包括其他模块，例如，电子设备10还可以包括图形处理器(Graphics Processing Unit，GPU)、摄像头13。图形处理器可以用于对视频数据进行解码，摄像头13拍摄的视频可以传输至处理模块11。在其他实施方式中，摄像头13可以为外接于电子设备10的独立模块。其中，摄像头13的数量可以为N个，N为大于1的整数，这里对摄像头13的数量不作具体限定。
处理模块11、存储模块12以及图形处理器、摄像头13各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
电子设备10可以为具有图形处理器的个人电脑、服务器等设备，这里不作具体限定。
请参照图2，本申请还提供一种视频处理方法，可以应用于上述的电子设备10，由电子设备10执行或实现方法的各步骤。方法可以包括如下步骤：
步骤S110，获取N路第一视频数据，N为大于1的整数；
步骤S120，将所述N路第一视频数据解码为包含图像帧的N路第二视频数据；
步骤S130，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块；
步骤S140，将所述图像批块输入预设检测模型，得到所述预设检测模型对所述图像批块输出的检测结果，所述检测结果包括与所述图像批块中的至少一路视频对应图像帧的分类结果。
在上述的实施方式中，通过将多路视频的图像帧组合成图像批块，然后再调用预设检测模型对图像批块进行检测，如此，无需对每路视频数据的图像帧单独调用预设检测模型进行检测，从而可以减少调用模型的次数，避免因调用模型次数多而造成处理阻塞，提升视频处理的效率。
下面将对方法的各步骤进行详细阐述，如下：
在步骤S110中，电子设备10可以从摄像头或其他中间设备获取N路第一视频数据。即，电子设备10可以直接从N个摄像头，直接获取到N路实时的视频数据。
或者，电子设备10也可以通过中间设备，间接获取N路第一视频数据。中间设备可以根据实际情况进行灵活确定，例如，可以为存储视频数据的服务器。比如，N个摄像头拍摄得到的N路视频数据先存储于服务器，然后，电子设备10再从服务器获取所存储N路视频数据。
可理解地，N路第一视频数据可以为实时的视频数据，或者为历史视频数据，这里不作具体限定。视频数据的路数N，通常为多路，可以根据实际情况进行灵活确定，这里对路数N不作具体限定。
在步骤S120中，第一视频数据通常为视频流，为拍摄的视频在传输过程中的数据形态，即为没有被解码成图像帧的视频数据。第二视频数据为被解码成图像帧的数据。
在本实施例中，电子设备10可以包括图像处理器及显存模块，在对视频解码时，采用硬件解码，即通过图像处理器对第一视频数据进行解码，并将解码后的图像存储于显存模块中。例如，步骤S120可以包括：
通过图像处理器将所述N路第一视频数据编码为N路第三视频数据；
通过所述图像处理器将所述N路第三视频数据解码为包含图像帧的所述N路第二视频数据，所述第二视频数据存储于显卡内存中，所述第一视频数据为基于预设传输协议的视频流，所述第二视频数据为基于预设视频格式的视频数据，所述第三视频数据为基于预设编码格式的视频数据。
其中，预设传输协议包括但不限于实时流传输协议(Real Time StreamingProtocol，RTSP)或实时消息传输协议(Real Time Messaging Protocol，RTMP)。预设编码格式可以包括但不限于H264编码格式或H265编码格式。预设视频格式可以包括但不限于RGB格式或YUV格式。其中，H264编码格式、H265编码格式为本领域技术人员熟知的编码格式，RGB格式、YUV格式为本领域技术人员熟知的视频格式，这里不再赘述。
在本实施例中，不同路的第一视频数据的预设传输协议可以相同，可以不同，可以根据实际情况进行灵活确定。电子设备10在获取到第一视频数据后，可以通过图像处理器对第一视频数据进行解码操作。其中，在视频解码过程中，需要先将预设传输协议(比如为RTSP或RTMP)的视频流编码成基于预设编码格式(比如为H264编码格式或H265编码格式)的第三视频数据；然后，再将预设编码格式(比如为H264编码格式或H265编码格式)的第三视频数据，解码成预设视频格式(比如为RGB格式或YUV格式)的第二视频数据。解码后的第二视频数据存储于显卡内存中，以便于后续进行图像组合。
可理解地，现有的软件解码方式为：由中央处理器(Central Processing Unit，CPU)对第一视频数据进行软件解码，解码后的图像存储于设备的内存中，当需要进行图像检测处理时，需要将内存中的解码后的图像帧搬移至显卡内存，然后再对显卡内存中的图像帧进行分析处理，其中，大量图像帧的搬移操作，会影响图像处理的输入读取效率。
在本申请实施例中，电子设备10通过图像处理器以硬件解码的方式，对第一视频数据进行解码，并将解码后的图像存储于显存模块中。后续进行图像检测处理时，便直接对显卡内存中的图像进行分析处理，无需进行图像的搬迁，从而有利于提高图像处理的输入读取效率。
请参照图3，在步骤S130中，假设，电子设备10获取到四路第一视频数据，然后解码得到四路第二视频数据，在四路第二视频数据中，在某一时刻，时序相对应的图像帧假设分别为如图3所示的图像帧A、图像帧B、图像帧C和图像帧D，此时，便对图像帧A、图像帧B、图像帧C和图像帧D进行组合，得到呈四宫格的图像批块。其中，每路视频数据的图像帧在图像批块中的位置可以根据实际情况进行灵活设置，这里不作具体限定。
其中，组合得到的图像批块可以存储在显卡内存的数据池中，数据池可以为预先创建的队列数据结构，即，数据池可以以队列的形式存储图像批块。当N路视频的解码速率高于图像处理速率时，此时，组合形成图像批块的速率大于预设检测模型检测图像批块的速率，即，数据池的队列容易存满图像批块。当数据池的队列存满数据批块后，可以降低组合图像批块的速率或降低视频解码速率，另外，队列的队尾(即，队列的数据出口端)图像批块出列以保证队列内均为最新图像批块。当图像处理速度高于解码速度时，队列内存入的图像批块将会被立即取出，以供预设检测模型进行图像识别处理。如此，视频解码环节与图像处理环节的耦合度降低，有利于提高图像检测整个流程的稳定性。
在步骤S140中，输入至预设检测模型中的图像批块为经过预处理的图像批块，预处理可以包括但不限于去噪处理、标准化处理、平移处理、旋转处理、翻转处理中的至少一种。预处理后的图像批块，有利于减少图像批块中的干扰因素，提高预设检测模型对预处理后的图像批块进行检测识别的准确率与效率。
其中，去噪处理即为减少数字图像中噪声，减少噪声对图像识别的干扰。例如，去噪处理的方式可以根据实际情况进行灵活确定，比如，图像处理器可以通过小波去噪算法去除图像批块中的噪声。
标准化处理即为图像批块的白化处理，即为是将图像数据通过去均值实现中心化的处理，为本领域技术人员熟知，这里不再赘述。
另外，在平移处理、旋转处理中，平移的距离、旋转的角度等，均可以根据实际情况进行灵活确定，这里不作具体限定。
翻转处理可以根据实际情况进行灵活确定。例如，在进行字符识别时，对所拍摄的视频图像中的字符可能存在翻转或镜像的情况，此时，便可以对图像批块进行翻转处理，以便于进行字符的识别。
在本实施例中，预设检测模型为基于深度学习的网络模型。例如，预设检测模型所具有的功能包括但不限于对物体分类、字符识别、条码识别、二维码识别等。每个功能可以对应深度学习网络模型中的一个子网络模型。
预设检测模型进行图像批块的识别检测方式为本领域技术人员熟知的方式。
作为一种可选的实施方式，步骤S130可以包括：
当所述N路第二视频数据的帧率相同时，将所述N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
示例性地，请再次参照图3，图像帧A、图像帧B、图像帧C和图像帧D分别为四路视频数据中的相应图像帧，假设四路视频数据的帧率相同，在某一时刻下，图像帧A、图像帧B、图像帧C和图像帧D的时序相同，在进行图像批块的组合时，便将图像帧A、图像帧B、图像帧C和图像帧D进行组合，得到图3所示的呈四宫格的图像批块。在进行后续图像帧的组合时，便将每路视频的下一个图像帧进行组合，如此，便可以对N路第二视频数据中时序相同的图像帧进行组合。
需要说明的是，在其他实施方式中，在图像批块组合的过程中，每路视频中的图像帧可以不是呈四宫格的方式组合，例如，可以组合成四个横向或纵向紧贴的图像批块，这里对组合得到的图像批块的排布方式不作具体限定。
作为一种可选的实施方式，步骤S130可以包括：
当所述N路第二视频数据的帧率不相同时，在所述N路第二视频数据中，将帧率大于目标帧率的第二视频数据进行丢帧处理，得到帧率均为所述目标帧率的N路第二视频数据；其中，所述目标帧率为所述N路第二视频数据中的最小帧率；
将帧率均为所述目标帧率的N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
假设，请再次参照图3，电子设备10解码得到的视频数据分别为A、B、C、D，共四路第二视频数据，对应的帧率分别为40FPS(Frames Per Second，每秒传输帧数)、35FPS、30FPS、30FPS，即，四路第二视频数据的帧率并不相同，此时，便将最小帧率30FPS作为目标帧率，并将A、B路的第二视频进行丢帧处理，即，对A路的第二视频数据，每秒丢弃10帧图像，对B路的第二视频数据，每秒丢弃5帧图像。如此，可以使得A、B、C、D四路视频的帧率均相同，然后，在对时序相同的图像帧进行组合。其中，相同时序的图像帧可理解为：在同一秒中，A、B、C、D四路各自的第M个图像帧，即各自第M个图像帧的时序相同，M为1至30中的任一整数。
其中，在进行丢帧处理时，每路视频中所丢弃的相邻图像帧的时间间隔可以尽可能地相同或接近相同，以避免丢弃关键时段的监控图像。例如，在A路第二视频数据中，在每秒的40个顺序排列图像帧中，可以将4个顺序排列图像帧作为一组，从而可以得到10组图像帧，然后，在每组图像帧中丢弃一个图像帧，每组丢弃的图像帧的序列可以相同或不同。比如，每组中均丢弃时序最早的图像帧。类似地，在B路第二视频数据中，在每秒的35个顺序排列图像帧中，将7个顺序排列图像帧作为一组，从而可以得到5组图像帧，然后，在每组图像帧中丢弃一个图像帧。比如，每组中均丢弃时序最早的图像帧。可理解地，在需要进行丢帧处理的每路视频数据中，通过均匀丢弃图像帧，可以在丢弃图像帧后，仍然尽可能多地保留更全面的图像内容。
作为一种可选的实施方式，步骤S130可以包括：
将所述N路第二视频数据中的图像帧的尺寸转换为预设尺寸；
将所述N路第二视频数据中时序相对应的所述预设尺寸的图像帧组合成所述图像批块。
在本实施例中，预设尺寸可以为N路第二视频数据中的任一路视频中图像帧的尺寸，或者为不同于N路第二视频数据中的图像帧的尺寸，预设尺寸可以根据实际情况进行灵活确定，这里不作具体限定。
若在N路第二视频数据中，路视频图像帧的尺寸与预设尺寸相同，便无需进行图像帧的尺寸调整。
当N路第二视频数据中的任一路的视频的图像帧尺寸与预设尺寸不同时，可以对该路视频图像帧的尺寸进行缩放，以使缩放后的图像帧的尺寸为预设尺寸。如此，可以实现每路视频的图像帧尺寸统一，便于预设检测模型进行识别处理。
为了便于对视频处理方法的理解，下面将结合应用场景，举例阐述方法的实现流程：
示例性地，在钢厂中，不同位置区域在搬运各类钢材(例如钢坯、钢卷)的过程中，可以通过多个摄像头对搬运过程进行实时监控。每个被搬运的钢材在钢材的指定区域可以设置有二维码、或编码，或同时设置有编码及二维码等信息。其中，二维码、编码等所携带的信息可以根据实际情况进行灵活确定，例如，可以携带用于表示钢材的种类、钢材运输的目的地等信息。
钢材的指定区域通常为摄像头可以拍摄到的区域，可以根据实际情况进行灵活确定。如此，钢材在搬运过程中，摄像头便可以拍摄得到钢材的二维码、编码等图像，然后，多个摄像头拍摄得到的多路视频被传输至电子设备10，由电子设备10通过步骤S110至步骤S140，便可以对对组合的图像批块进行识别检测。检测处理的过程为：
电子设备10在接收到摄像头拍摄的多路第一视频数据时，便通过GPU将多路第一视频数据解码成第二视频数据，并将第二视频数据存储与显卡内存(或简称为显存)中；
由GPU将多路第一视频数据中时序相对应的图像帧组合成图像批块，如此，可以将多路图像帧组合成一路图像帧；组合得到的图像批块存储在显卡内存的数据池中，数据池可以以队列的形式存储图像批块；
预设检测模型从数据池中，顺序读取图像批块，然后进行识别处理。例如，通过预设检测模型识别每个图像批块中，每路视频帧的二维码、编码等所携带的文本信息，包括钢材的种类、运输目的地等信息。
基于上述设计，解码后的图像帧直接存放在显存中，内存和显存之间无数据交换，后续可更快地从显存取得解码后的数据。视频解码环节与图像处理环节异步处理的耦合度低，有利于提高视频检测处理整个流程的稳定性。另外，通过将多路视频的图像帧组合成图像批块，可以减少调用预设检测模型的次数，从而有利于提高视频处理的效率。
请参照图4，本申请实施例还提供一种视频处理装置200，可以应用于上述的电子设备10中，用于执行方法中的各步骤。视频处理装置200包括至少一个可以软件或固件(Firmware)的形式存储于存储模块12中或固化在电子设备10操作系统(OperatingSystem，OS)中的软件功能模块。处理模块11用于执行存储模块12中存储的可执行模块，例如视频处理装置200所包括的软件功能模块及计算机程序等。
视频处理装置200可以包括视频获取单元210、视频解码单元220、图像组合单元230及检测单元240，可以执行的操作步骤如下：
视频获取单元210，用于获取N路第一视频数据，N为大于1的整数；
视频解码单元220，用于将所述N路第一视频数据解码为包含图像帧的N路第二视频数据；
图像组合单元230，用于将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块；
检测单元240，用于将所述图像批块输入预设检测模型，得到所述预设检测模型对所述图像批块输出的检测结果，所述检测结果包括与所述图像批块中的至少一路视频对应图像帧的分类结果。
可选地，视频解码单元220可以用于：
通过图像处理器将所述N路第一视频数据编码为N路第三视频数据；
通过所述图像处理器将所述N路第三视频数据解码为包含图像帧的所述N路第二视频数据，所述第二视频数据存储于显卡内存中，所述第一视频数据为基于预设传输协议的视频流，所述第二视频数据为基于预设视频格式的视频数据，所述第三视频数据为基于预设编码格式的视频数据，所述预设传输协议包括实时流传输协议或实时消息传输协议；所述预设编码格式包括H264编码格式或H265编码格式，所述预设视频格式包括RGB格式或YUV格式。
可选地，图像组合单元230还可以用于：
将所述N路第二视频数据中的图像帧的尺寸转换为预设尺寸；
将所述N路第二视频数据中时序相对应的所述预设尺寸的图像帧组合成所述图像批块。
可选地，图像组合单元230还可以用于：
当所述N路第二视频数据的帧率相同时，将所述N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
可选地，图像组合单元230还可以用于：
当所述N路第二视频数据的帧率不相同时，在所述N路第二视频数据中，将帧率大于目标帧率的第二视频数据进行丢帧处理，得到帧率均为所述目标帧率的N路第二视频数据；其中，所述目标帧率为所述N路第二视频数据中的最小帧率；
将帧率均为所述目标帧率的N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
在本实施例中，处理模块11可以是一种集成电路芯片，具有信号的处理能力。上述处理模块11可以包括但不限于中央处理器、图像处理器、数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储模块12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块12可以用于存储第一视频数据、第二视频数据、预设检测模型等。当然，存储模块12还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。
可以理解的是，图1所示的结构仅为电子设备10的一种结构示意图，电子设备10还可以包括比图1所示更多或更少的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备10的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的视频处理方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述，本申请提供一种视频处理方法、装置、电子设备及计算机可读存储介质，方法包括：获取N路第一视频数据，N为大于1的整数；将N路第一视频数据解码为包含图像帧的N路第二视频数据；将N路第二视频数据中，时序相对应的图像帧组合成图像批块；将图像批块输入预设检测模型，得到预设检测模型对图像批块输出的检测结果，检测结果包括与图像批块中的至少一路视频对应图像帧的分类结果。在本方案中，通过将多路视频的图像帧组合成图像批块，然后再调用预设检测模型对图像批块进行检测，如此，无需对每路视频数据的图像帧单独调用预设检测模型进行检测，从而可以减少调用模型的次数，避免因调用模型次数多而造成处理阻塞，提升视频处理的效率。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频处理方法，其特征在于，所述方法包括：
获取N路第一视频数据，N为大于1的整数；
将所述N路第一视频数据解码为包含图像帧的N路第二视频数据；
将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块；
将所述图像批块输入预设检测模型，得到所述预设检测模型对所述图像批块输出的检测结果，所述检测结果包括与所述图像批块中的至少一路视频对应图像帧的分类结果。
2.根据权利要求1所述的方法，其特征在于，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块，包括：
当所述N路第二视频数据的帧率相同时，将所述N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
3.根据权利要求1所述的方法，其特征在于，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块，包括：
当所述N路第二视频数据的帧率不相同时，在所述N路第二视频数据中，将帧率大于目标帧率的第二视频数据进行丢帧处理，得到帧率均为所述目标帧率的N路第二视频数据；其中，所述目标帧率为所述N路第二视频数据中的最小帧率；
将帧率均为所述目标帧率的N路第二视频数据中，时序相同的图像帧组合成所述图像批块。
4.根据权利要求1所述的方法，其特征在于，将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块，包括：
将所述N路第二视频数据中的图像帧的尺寸转换为预设尺寸；
将所述N路第二视频数据中时序相对应的所述预设尺寸的图像帧组合成所述图像批块。
5.根据权利要求1所述的方法，其特征在于，将所述N路第一视频数据解码为包含图像帧的N路第二视频数据，包括：
通过图像处理器将所述N路第一视频数据编码为N路第三视频数据；
通过所述图像处理器将所述N路第三视频数据解码为包含图像帧的所述N路第二视频数据，所述第二视频数据存储于显卡内存中，所述第一视频数据为基于预设传输协议的视频流，所述第二视频数据为基于预设视频格式的视频数据，所述第三视频数据为基于预设编码格式的视频数据，所述预设传输协议包括实时流传输协议或实时消息传输协议；所述预设编码格式包括H264编码格式或H265编码格式，所述预设视频格式包括RGB格式或YUV格式。
6.根据权利要求1所述的方法，其特征在于，输入所述预设检测模型中的所述图像批块为经过预处理的图像批块，所述预处理包括去噪处理、标准化处理、平移处理、旋转处理、翻转处理中的至少一种。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述预设检测模型为基于深度学习的网络模型。
8.一种视频处理装置，其特征在于，所述装置包括：
视频获取单元，用于获取N路第一视频数据，N为大于1的整数；
视频解码单元，用于将所述N路第一视频数据解码为包含图像帧的N路第二视频数据；
图像组合单元，用于将所述N路第二视频数据中，时序相对应的图像帧组合成图像批块；
检测单元，用于将所述图像批块输入预设检测模型，得到所述预设检测模型对所述图像批块输出的检测结果，所述检测结果包括与所述图像批块中的至少一路视频对应图像帧的分类结果。
9.一种电子设备，其特征在于，包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110868875.3A CN113612922A (zh) | 2021-07-29 | 2021-07-29 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110868875.3A CN113612922A (zh) | 2021-07-29 | 2021-07-29 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113612922A true CN113612922A (zh) | 2021-11-05 |
Family
ID=78306160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110868875.3A Pending CN113612922A (zh) | 2021-07-29 | 2021-07-29 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113612922A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500871A (zh) * | 2021-12-15 | 2022-05-13 | 山东信通电子股份有限公司 | 一种多路视频分析方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229390A (zh) * | 2018-01-02 | 2018-06-29 | 济南中维世纪科技有限公司 | 基于深度学习的快速行人检测方法 |
| CN111507245A (zh) * | 2020-04-15 | 2020-08-07 | 海信集团有限公司 | 人脸检测的嵌入式系统及检测方法 |
| CN112019880A (zh) * | 2020-10-30 | 2020-12-01 | 南斗六星系统集成有限公司 | 一种任意帧率视频文件拼接方法 |
| CN112188136A (zh) * | 2020-09-24 | 2021-01-05 | 高新兴科技集团股份有限公司 | 多合一拼接实时刻录视频的方法、系统、存储介质及设备 |
| CN112257492A (zh) * | 2020-08-27 | 2021-01-22 | 重庆科技学院 | 一种多路摄像头实时入侵检测与跟踪方法 |
-
2021
- 2021-07-29 CN CN202110868875.3A patent/CN113612922A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229390A (zh) * | 2018-01-02 | 2018-06-29 | 济南中维世纪科技有限公司 | 基于深度学习的快速行人检测方法 |
| CN111507245A (zh) * | 2020-04-15 | 2020-08-07 | 海信集团有限公司 | 人脸检测的嵌入式系统及检测方法 |
| CN112257492A (zh) * | 2020-08-27 | 2021-01-22 | 重庆科技学院 | 一种多路摄像头实时入侵检测与跟踪方法 |
| CN112188136A (zh) * | 2020-09-24 | 2021-01-05 | 高新兴科技集团股份有限公司 | 多合一拼接实时刻录视频的方法、系统、存储介质及设备 |
| CN112019880A (zh) * | 2020-10-30 | 2020-12-01 | 南斗六星系统集成有限公司 | 一种任意帧率视频文件拼接方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114500871A (zh) * | 2021-12-15 | 2022-05-13 | 山东信通电子股份有限公司 | 一种多路视频分析方法、设备及介质 |
| CN114500871B (zh) * | 2021-12-15 | 2023-11-14 | 山东信通电子股份有限公司 | 一种多路视频分析方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101942808B1 (ko) | 객체 이미지 인식 dcnn 기반 cctv 영상분석장치 | |
| US11847816B2 (en) | Resource optimization based on video frame analysis | |
| US6594399B1 (en) | Method and apparatus for integrating multiple 1-D filters into a digital image stream interface | |
| US20130279813A1 (en) | Adaptive interest rate control for visual search | |
| CN109344676B (zh) | 一种基于哈希算法的自动感应触发方法及其系统 | |
| WO2006022493A1 (en) | Method for removing noise in image and system thereof | |
| CN111031348B (zh) | 一种视频加扰方法、装置、服务器和存储介质 | |
| EP3098757A1 (en) | Region of interest location and selective image compression | |
| CN112995535B (zh) | 用于处理视频的方法、装置、设备以及存储介质 | |
| CN113612922A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112601068A (zh) | 视频数据增广方法、装置及计算机可读介质 | |
| CN114359333A (zh) | 运动目标提取方法、装置、计算机设备和存储介质 | |
| CN1964201B (zh) | 用于捕获广播信号的广播接收设备及其方法 | |
| CN112287702A (zh) | 无外部存储器的扫码方法、装置、扫描设备和移动终端 | |
| CN111967529A (zh) | 识别方法、装置、设备及系统 | |
| CN112541429B (zh) | 一种智能抓图方法、装置、电子设备以及存储介质 | |
| CN113158794B (zh) | 目标检测方法、边缘设备及计算机可读存储介质 | |
| CN104683768A (zh) | 一种嵌入式智能视频分析系统 | |
| CN112287769B (zh) | 一种人脸检测方法、装置、设备和存储介质 | |
| CN114691603A (zh) | 目标信息存储方法、装置、电子设备及介质 | |
| CN114650391A (zh) | 视频处理方法、终端设备及计算机可读存储介质 | |
| CN112422772A (zh) | 图像获取方法、图像获取装置、终端设备及可读存储介质 | |
| CN115082991B (zh) | 人脸活体检测方法、装置及电子设备 | |
| CN111476117A (zh) | 一种安全帽佩戴检测方法、装置和终端 | |
| JP4253265B2 (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211105 |
|
| RJ01 | Rejection of invention patent application after publication |