CN117857877A - 视频图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种视频图像处理方法、装置、电子设备和存储介质，应用于图像处理技术领域，其中，方法包括：获取视频采集设备的设备属性；获取用户选择的目标采集参数；基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式。以解决现有技术中，设置的输出参数为高分辨率时，由于软件FFmpeg方法采集的视频往往数据量较大，导致编码性能不能满足需求，使得视频帧率始终低于设置的帧率值，达不到预期效果的问题。

Description

视频图像处理方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频图像处理方法、装置、电子设备和存储介质。

背景技术

FFmpeg(Fast Forward Mpeg)是一套可以用来进行解码、编码、转码、过滤、采集、播放音视频处理等的多媒体处理库。

在嵌入式系统中，在缺少硬件系统对USB摄像头进行视频采集时，可使用软件FFmpeg方法进行USB摄像头视频采集。

但是，相关技术中，为获得高清图像，往往指定采集参数为高分辨率，由于软件FFmpeg方法采集的视频往往数据量较大，因此，需要将图像采集格式设置为体积较大的格式，其对传输带宽有较高要求，在编码性能不能满足需求时，使得视频帧率始终低于设置的帧率值，达不到预期效果。

发明内容

本申请提供了一种视频图像处理方法、装置、电子设备和存储介质，用以解决现有技术中，设置的输出参数为高分辨率时，由于软件FFmpeg方法采集的视频往往数据量较大，导致编码性能不能满足需求，使得视频帧率始终低于设置的帧率值，达不到预期效果的问题。

第一方面，本申请实施例提供了一种视频图像处理方法，包括：

获取视频采集设备的设备属性；

获取用户选择的目标采集参数；

基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式。

可选的，所述基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，包括：

判断所述设备属性是否为预设属性，所述预设属性用于指示指定类型的视频采集设备；

若是，从预设的采集参数与采集格式的对应关系中，确定所述目标采集参数对应的采集格式为所述目标采集格式，并将所述视频采集设备的采集格式调整为所述目标采集格式。

可选的，所述基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式之后，还包括：

获取所述视频采集设备采集的所述目标采集格式的视频图像；

确定所述视频图像的解码方式；

按照所述解码方式，对所述视频图像进行解码，得到解码图像；

对所述解码图像进行播放。

可选的，所述确定所述视频图像的解码方式，包括：

确定所述视频图像的播放环境；

在所述播放环境为硬件解码播放的情况下，确定所述解码方式为通道解码；

在所述播放环境为软件解码播放的情况下，确定所述解码方式为格式转换解码。

可选的，在所述解码方式为所述通道解码时，按照所述解码方式，对所述视频图像进行解码，包括：

确定用于解码的目标通道；

将所述视频图像绑定至所述目标通道，以通过所述目标通道进行解码。

可选的，在所述解码方式为所述格式转换解码时，按照所述解码方式，对所述视频图像进行解码，包括：

将所述视频图像的格式转换为目标格式。

可选的，获取所述目标采集格式的视频图像之后，包括：

将所述视频图像存储至缓存区；

所述按照所述解码方式，对所述视频图像进行解码，得到解码图像，包括：

按照所述解码方式，从所述缓存区获取所述视频图像，并对所述视频图像进行解码，得到解码图像。

第二方面，本申请实施例提供了一种视频图像处理装置，包括：

第一获取模块，用于获取视频采集设备的设备属性；

第二获取模块，用于获取用户选择的目标采集参数；

调整模块，用于基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能。

第三方面，本申请实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现第一方面所述的视频图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的视频图像处理方法。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，通过获取视频采集设备的设备属性；获取用户选择的目标采集参数；基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能，如此，能够实现在对视频图像采集时，能够基于设备属性和目标采集参数，自适应调整视频采集设备的采集格式，并且，得到的目标采集格式对应的编码性能不大于所述视频采集设备的编码性能从而避免编码性能不能满足需求的情况，进而能够使得播放效果更佳。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的视频图像处理方法的应用场景图；

图2为本申请一实施例提供的视频图像处理方法的流程图；

图3为本申请另一实施例提供的视频图像处理方法的流程图；

图4为本申请另一实施例提供的视频图像处理方法的流程图；

图5为本申请一实施例提供的视频图像处理装置的结构图；

图6为本申请一实施例提供的电子设备的结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

帧率(Frame rate)是以帧称为单位的位图图像连续出现在显示器上的频率(速率)。帧率与画面的流畅度成正比：帧率越大，画面越流畅；帧率越小，画面有卡顿感。

分辨率：影响每帧图像的大小，分辨率越高，每帧图像越大；分辨率越低、图像越小。

根据本申请一实施例提供了一种视频图像处理方法。可选地，在本申请实施例中，上述视频图像处理方法可以应用于如图1所示的由终端101和服务器102所构成的硬件环境中。如图1所示，服务器102通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务(如视频服务、应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器102提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101并不限定于PC、手机、平板电脑等。

本申请实施例的视频图像处理方法可以由服务器102来执行，也可以由终端101来执行，还可以是由服务器102和终端101共同执行。其中，终端101执行本申请实施例的视频图像处理方法，也可以是由安装在其上的客户端来执行。

以终端执行本申请实施例的视频图像处理方法为例，图2是根据本申请实施例的一种可选的视频图像处理方法的流程示意图，如图2所示，该方法的流程可以包括以下步骤：

步骤201、获取视频采集设备的设备属性。

一些实施例中，设备属性用于表示视频采集设备的设备类型，在视频采集设备不同时，往往需要采用不同的处理手段进行视频图像处理。

本申请中设置为，在设备属性为预设属性的情况下，执行后续步骤。

其中，所述预设属性为指示指定类型的视频采集设备的属性，例如可以是USB摄像头设备的属性。

步骤202、获取用户选择的目标采集参数。

一些实施例中，采集参数可以包括帧率、分辨率等参数。在实施过程中，可以在界面中显示多个采集参数的候选项，用户通过点击从多个采集参数中进行选择，得到目标采集参数。

步骤203、基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能。

一些实施例中，在确定设备属性和目标采集参数后，可以基于预先设置的采集参数与采集格式的对应关系，对视频采集设备的采集格式进行调整，得到目标采集格式。

其中，采集格式可以是预先设置的在采集USB摄像头时配置的多种数据采集格式，例如YUYV格式、MJPEG格式。目标采集格式可以是基于用户输入的采集参数，从预设的多个采集格式中确定的。

在一个可选实施例中，所述基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，包括：

判断所述设备属性是否为预设属性，所述预设属性用于指示指定类型的视频采集设备；

若是，从预设的采集参数与采集格式的对应关系中，确定所述目标采集参数对应的采集格式为所述目标采集格式，并将所述视频采集设备的采集格式调整为所述目标采集格式。

一些实施例中，先确定当前要进行视频图像采集的视频采集设备的设备属性，在视频采集设备为预设属性的情况下，执行后续的确定视频图像的目标采集格式等步骤。

基于上述相关实施例，采集参数可以是帧率、分辨率等参数，可以预先设置采集参数与采集格式的对应关系，例如，在采集参数为分辨率的情况下，低分辨率对应YUV422采集格式，高分辨率对应MJPEG采集格式。

其中，选用YUV422采集格式时，YUV422的数据量大，因此，在目标采集参数设置为低分辨率的情况下，目标采集格式为YUV422采集格式，从而能够在保障图像播放效果的同时，避免编码性能不能满足需求的情况。选用MJPEG格式的图像，其数据量较小，因此，在目标采集参数设置为高分辨率的情况下，目标采集格式为MJPEG采集格式。上述两种方式，均能够避免分辨率高的同时，图像数据量大的情况，能够在一定程度上降低对编码性能的需求。

基于上述对应关系，在获取到目标采集参数后，便可以确定其对应的目标采集格式。从而，可以根据设置的视频采集分辨率参数，进行帧率和比特率的调节，提高视频播放帧率和比特率，来平衡视频图像质量。

在一个可选实施例中，所述基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式之后，还包括：

步骤301、获取所述视频采集设备采集的所述目标采集格式的视频图像。

一些实施例中，通过确定的目标采集格式，在采集视频图像后，将其存储为目标采集格式的视频图像。

在一个可选实施例中，还可以设置图像的缓存区，在获取到视频图像后，先将视频图像存储至缓存区中，以避免出现后续对视频图像解码过程中被其他事件中断，导致视频图像丢失的情况。

步骤302、确定所述视频图像的解码方式。

一些实施例中，在终端解码条件不同的情况下，对应的解码方式也会存在一定区别。

在一个可选实施例中，确定所述视频图像的解码方式，包括：

确定所述视频图像的播放环境；

在所述播放环境为硬件解码播放的情况下，确定所述解码方式为通道解码；

在所述播放环境为软件解码播放的情况下，确定所述解码方式为格式转换解码。

一些实施例中，视频图像的播放环境可以通过检测是否打开了解码通道进行判断，在检测到已打开解码通道的情况下，确定播放环境为硬件解码播放；在检测到未打开解码通道的情况下，确定播放环境为软件解码播放。

其中，播放环境不同的情况下，相应的解码方式也会存在不同，由于在硬件解码播放的情况下，解码通道已打开，因此，选择通道解码的方式。而软件解码播放的情况下，解码通道未打开，因此，选择格式转换解码的方式解码。

可以理解的是，上述的软件可以但不限于为ffmpeg。

步骤303、按照所述解码方式，对所述视频图像进行解码，得到解码图像。

一些实施例中，在确定解码方式后，便可以将视频图像按照确定的解码方式进行解码，从而使视频图像能够输出播放。

进一步的，在获取视频图像后，会将视频图像存储至缓存区，进而，在对视频图像进行解码时，可以从缓存区获取视频图像，以保证解码的视频图像的连续性。

在一个可选实施例中，在所述解码方式为所述通道解码时，按照所述解码方式，对所述视频图像进行解码，包括：

确定用于解码的目标通道；

将所述视频图像绑定至所述目标通道，以通过所述目标通道进行解码。

一些实施例中，通过将视频图像绑定至目标通道，利用目标通道对视频图像进行解码，从而得到解码图像。

在终端初始化时，可以从多个通道中选择进行解码的通道。通过将上层应用发送的分频号与通道的通道号进行绑定，确定目标通道。

在所述解码方式为所述格式转换解码时，按照所述解码方式，对所述视频图像进行解码，包括：

将所述视频图像的格式转换为目标格式。

其中，目标格式可以设置为与软件解码格式一致。通过将视频图像的格式转换为目标格式，使得解码得到的解码图像的格式，与解码的软件的输出格式保持一致。

步骤304、对所述解码图像进行播放。

一些实施例中，通过对视频图像解码得到解码图像，其利用视频采集设备的属性，与用户设定的设备参数信息值，进行自适应调整采集数据压缩格式，优化数据转换方法，从而提高USB设备图像采集解码播放的视频质量。

在一个具体实施例中，参见图4，本申请的视频图像处理方法，包括：

第一、初始化设备。

第二、获取设备属性和用户输入参数。

第三、判断选择何种采集方式，在输入参数(即上述的目标采集参数)为高分辨率的情况下，执行第四步，在输入参数为低分辨率的情况下，执行第五步。

第四、使用JPEG格式采集。

第五、使用YUV422格式采集。

第六、设置缓存区，将采集的视频图像存储至缓存区中。

第七、循环读取缓存区中的视频图像数据。

第八、判断播放环境是否支持硬件解码，若是执行第九步，若否，执行第十步。

第九、将采集的视频图像数据绑定解码通道。

第十、采集的视频图像数据进行格式转换处理。

第十一、播放显示。

本申请中，在采集USB摄像头时可设置多种数据采集格式，YUV422、MJPEG格式。根据用户设置帧率和分辨率参数信息，进行自动采集格式选择，若是低分辨率选用YUV422采集格式，若是高分辨率选用MJPEG采集格式。申请内存缓存区，映射内核缓存区到用户空间缓存区，用户程序读取数据，将采集到的不同格式数据进行数据格式转换。在软解播放时，新增转换算法将YUV422和JPEG采集数据转换为需要的YUV420格式数据。在有硬件解码播放环境中，将采集数据绑定到对应解码通道，进行解码播放。

其中，选用YUV422采集格式时，YUV422的数据量大，占用的带宽大，输出帧率低，但采集图像的质量高。而对于MJPEG格式的图像，其数据量较小，输出帧率高，在中高码率上压缩效果较好，但在低码率的情况下，重构出的图像质量低。所以本申请在获取到USB设备的设备属性和用户输入的采集播放参数信息后，根据这些数据进行可变选择USB摄像头采集数据格式，来提升USB摄像头采集播放效果。通过设置的缓存区，读取USB摄像头设备采集的数据，根据当前系统支持的解码方式，进行数据的转换解码处理。

本申请通过提供的USB设备的视频图像采集解码播放方法，根据视频采集设备的属性，与用户设定的设备参数信息值，进行自适应调整采集数据压缩格式，优化数据转换方法，从而提高USB设备图像采集解码播放的视频质量。采用此FFmpeg的视频图像采集方法，通过对采集参数和采集方式的结合选择，设置缓存区，根据相应的解码播放环境，进行对采集数据的分类处理。能够提高USB视频图像采集播放的质量。

本申请提供了一套在嵌入式系统中进行USB摄像头设备采集软件，并在采集解码过程中，扩展一种FFmpeg视频图像采集方法，可以根据设置的视频采集分辨率参数，进行帧率和比特率的调节，提高视频播放帧率和比特率，来平衡视频图像质量。

基于同一构思，本申请实施例中提供了一种视频图像处理装置，该装置的具体实施可参见方法实施例部分的描述，重复之处不再赘述，如图5所示，该装置主要包括：

第一获取模块501，用于获取视频采集设备的设备属性；

第二获取模块502，用于获取用户选择的目标采集参数；

调整模块503，用于基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能。

基于同一构思，本申请实施例中还提供了一种电子设备，如图6所示，该电子设备主要包括：处理器601、存储器602和通信总线603，其中，处理器601和存储器602通过通信总线603完成相互间的通信。其中，存储器602中存储有可被处理器601执行的程序，处理器601执行存储器602中存储的程序，实现如下步骤：

获取视频采集设备的设备属性；

获取用户选择的目标采集参数；

基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能。

上述电子设备中提到的通信总线603可以是外设部件互连标准(PeripheralComponent Interconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture，简称EISA)总线等。该通信总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器602可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器601的存储装置。

上述的处理器601可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等，还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当该计算机程序在计算机上运行时，使得计算机执行上述实施例中所描述的视频图像处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、微波等)方式向另外一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD)或者半导体介质(例如固态硬盘)等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频图像处理方法，其特征在于，包括：

获取视频采集设备的设备属性；

获取用户选择的目标采集参数；

基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能。

2.根据权利要求1所述的视频图像处理方法，其特征在于，所述基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，包括：

判断所述设备属性是否为预设属性，所述预设属性用于指示指定类型的视频采集设备；

若是，从预设的采集参数与采集格式的对应关系中，确定所述目标采集参数对应的采集格式为所述目标采集格式，并将所述视频采集设备的采集格式调整为所述目标采集格式。

3.根据权利要求1所述的视频图像处理方法，其特征在于，所述基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式之后，还包括：

获取所述视频采集设备采集的所述目标采集格式的视频图像；

确定所述视频图像的解码方式；

按照所述解码方式，对所述视频图像进行解码，得到解码图像；

对所述解码图像进行播放。

4.根据权利要求3所述的视频图像处理方法，其特征在于，所述确定所述视频图像的解码方式，包括：

确定所述视频图像的播放环境；

在所述播放环境为硬件解码播放的情况下，确定所述解码方式为通道解码；

在所述播放环境为软件解码播放的情况下，确定所述解码方式为格式转换解码。

5.根据权利要求3或4所述的视频图像处理方法，其特征在于，在所述解码方式为所述通道解码时，按照所述解码方式，对所述视频图像进行解码，包括：

确定用于解码的目标通道；

将所述视频图像绑定至所述目标通道，以通过所述目标通道进行解码。

6.根据权利要求3或4所述的视频图像处理方法，其特征在于，在所述解码方式为所述格式转换解码时，按照所述解码方式，对所述视频图像进行解码，包括：

将所述视频图像的格式转换为目标格式。

7.根据权利要求3所述的视频图像处理方法，其特征在于，获取所述目标采集格式的视频图像之后，包括：

将所述视频图像存储至缓存区；

所述按照所述解码方式，对所述视频图像进行解码，得到解码图像，包括：

按照所述解码方式，从所述缓存区获取所述视频图像，并对所述视频图像进行解码，得到解码图像。

8.一种视频图像处理装置，其特征在于，包括：

第一获取模块，用于获取视频采集设备的设备属性；

第二获取模块，用于获取用户选择的目标采集参数；

调整模块，用于基于所述设备属性和所述目标采集参数，对所述视频采集设备的采集格式进行调整，得到目标采集格式，所述目标采集格式对应的编码性能不大于所述视频采集设备的编码性能。

9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述存储器中所存储的程序，实现权利要求1-7任一项所述的视频图像处理方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的视频图像处理方法。