CN111428560A - 视频图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频图像处理方法、装置、电子设备及存储介质。视频图像处理方法包括接收视频图像；根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。本申请实施例的视频图像处理方案能够在不调整图像传感器帧率的情况下，提高单位时间内处理的帧数即提高处理帧率，显著降低视频处理的延迟，优化了用户体验，并且成本低廉。

Description

视频图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种视频图像处理方法、装置、电子设备及存储介质。

背景技术

在视频通话，视频会议等场景中，用户对视频延迟非常敏感，视频延迟对用户体验负面影响较大。目前，用户可感知的视频延迟主要由视频处理、视频压缩和视频传输三个环节的延迟之和确定，鉴于视频压缩和传输延迟很难降低，所以业界都在追求尽量降低视频处理环节带来的延迟。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的视频图像处理方法、装置、电子设备及存储介质。

根据本申请的一个方面，提供了一种视频图像处理方法，该视频图像处理方法包括：

接收视频图像；

根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；

将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。

根据本申请的另一个方面，提供了一种视频图像处理装置，该视频图像处理装置包括：

接收模块，用于接收视频图像；

分帧模块，用于根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；

发送模块，用于将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。

根据本申请的又一个方面，提供了电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如前述一个方面所述的方法。

根据本申请的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如如前述一个方面所述的方法。

本申请实施例的技术方案，通过接收视频图像，根据视频图像的接收情况，将视频图像分为若干子图像帧，对这若干子图像帧进行处理，从而能够在不调整图像传感器帧率的情况下，将视频处理的延迟从一个完整视频图像降低到小于一个视频图像，提高单位时间内处理的图像帧数(即提高图像处理帧率)，显著降低了视频处理的延迟，改善视频效果。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了一种视频图像处理数据流的示意图；

图2示出了根据本申请一个实施例视频图像处理方法的流程示意图；

图3示出了根据本申请一个实施例视频图像处理数据流的框图；

图4示出了根据本申请一个实施例视频图像处理的时序图；

图5示出了根据本申请一个实施例视频图像处理装置的框图；

图6示出了根据本申请一个实施例的电子设备的结构示意图；

图7示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

为方便更好理解本实施例的降低视频延迟的技术效果，这里先对视频延迟的形成原因和决定因素进行分析说明。

有一种基于SOC(System On Chip，系统级芯片)进行实时视频处理的方案，减少了体积占用，增加了系统功能，节省了成本。这种方案包括下列模块或主体：图像传感器，CSI(CMOS Serial Interface，CMOS传感摄像头接口)接口，ISP(Image Signal Processor，图像信号处理器)前端，ISP(Image Signal Processor，图像信号处理器)后端，DDR(DoubleData Rate，双倍速率同步动态随机存储器)，CPU(Graphics Processing Unit，图形处理器)，CPU(Central Processing Unit，中央处理器)，显示模块和视频编码器。CSI是由MIPI(Mobile Industry Processor Interface)联盟下摄像头工作组制定的接口标准，CSI接口具有接口少、抗EMI强、速度快、功耗低等优点。注：显示模块和视频编码器与本申请的视频处理环节的延迟降低关联不大，后续不做过多说明。

视频处理数据流如图1所示，处理流程描述如下：

首先，图像传感器采集视频图像，通过CSI接口将原始数据(前述视频图像)传给SOC的CSI接口；

接着，SOC的CSI接口解码CSI数据，并将数据传给ISP前端；

ISP前端，对视频图像进行去马赛克(demosaic)等初步处理，将处理完的数据存入DDR中的图像数据缓存队列。在此阶段会进行图像数据信息统计供自动曝光等模块使用，但不进行时域降噪等复杂处理。去马赛克的典型操作是从经过颜色滤波阵列color filterarray得到的RGB数据进行插值计算，得到每个像素的亮度和色彩信息。

然后，SOC中的CPU(或ISP的专有调度模块)调度ISP后端处理模块，取出DDR中待处理的图像帧和参考帧，进行降噪，增强，缩放等处理，并将梳理好的图像数据存入DDR中的图像输出队列。

最后，SOC中的其它硬件模块(如CPU，GPU或DPU)取出DDR中ISP处理完成的图像数据，进行显示预览或通过视频编码器进行视频编码等后续操作。注：DPU(DisplayProcessing Unit，显示处理单元)。

本申请的发明人发现在图1所示的视频实时处理方案中，视频处理环节的延迟主要由处理流程中需要缓存的图像帧数量决定，由于整个视频处理流程中需要将中间结果存入DDR，不可避免地存在若干帧的图像缓存导致的延迟。

有三类降低视频处理环节延迟的技术手段，分别是：

第一种，提高输出帧率。由于视频处理延迟等于缓存帧数除以帧率，所以提高图像传感器输出帧率是降低处理延迟的最直接方式。

第二种，简化处理流程。此方案通过大幅度简化图像处理流程，在图像去马赛克后仅进行无需多帧参考数据的简单处理以降低总体延迟。

第三种，高速缓存。此方案采用FPGA(Field Programmable Gate Array，现场可编程门阵列)或ASIC(Application Specific Integrated Circuit，专用集成电路)内置的高速缓存代替DDR以减少缓存帧数，降低总体延迟。

此外，还有一种混合方案，即，综合运用上述三种技术手段以减低处理延迟。

本申请的发明人发现这三类技术手段都或多或少的存在缺陷，比如，前述第一种提高输出帧率的方案，一是使用范围较窄，图像传感器的帧率和输出的每帧图像大小相关(分辨率)，图像传感器工作于最高帧率(60帧/秒或更高)时输出图像的分辨率远小于正常帧率(30帧/秒)时的分辨率，因此，对于注重图像分辨率的应用场景，如视频会议场景，提高图像传感器输出帧率的方案并不适用。二是，图像质量不佳，提高图像传感器输出帧率等于降低了图像传感器的曝光时间，进而降低了低光照条件下图像传感器输出图像的质量，在用户看来就是图像中有更多的噪点，图像质量较差。三是产品成本较高，能在高帧率下输出高分辨率图像的图像传感器的成本一般都比较高，对采购、硬件设计、器件选型有更严格的约束。

而前述第二种简化处理流程方案的缺陷之一是，无法使用ISP后端处理模块中提供的高级图像处理算法(比如，高级降噪算法，锐化等)，影响最终图像质量。缺陷之二是难以在满足低延迟约束下增加图像处理流程或算法以提高图像质量。

至于前述第三种简化处理流程方案，ASIC或FPGA中高速SRAM(Static Random-Access Memory，静态随机存取存储器)缓存的成本非常高，现有量产的FPGA中无法实现与常规流程同样MB(MB是数据量的单位，1MB＝1024kb)级别的图像数据缓存。另外，有些存储器封装工艺更复杂，系统整体成本大大增加。

即使综合运用上述三种技术手段的混合方案，也很难完全规避各技术手段各自带来的缺陷，只能根据系统的需求选择代价最小的方案。

基于此，本申请提出一种视频图像处理方法，解决了基于SOC的视频处理方案中的高延迟问题，能够将视频处理的延迟从若干帧降低到小于等于1帧。本申请的设计构思是将视频处理流水线的数据缓存单位从一个完整帧，转换为一帧的部分(如1/8帧，1/4帧)，从而显著降低视频处理环节的延迟。

图2示出了根据本申请一个实施例视频图像处理方法的流程示意图，参见图2，本实施例的视频图像处理方法包括下列步骤：

步骤S201，接收视频图像；

这里是接收图像传感器输出的原始视频图像，原始视频图像比如是视频会议或视频通话场景中采集的环境图像。

需要说明的是，本实施例在接收视频图像之后，还包括对视频图像进行必要的预处理，预处理包括对图像做裁剪，缩放，变形，统计等处理。

步骤S202，根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；

本步骤中根据视频图像的接收情况比如接收的数据量或接收的时间间隔(从收到某一行起始信号到当前时间的间隔)，可以将原始视频图像划分为若干图像帧，这些分出来的图像帧相当于原始视频图像的子帧。

步骤S203，将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。

由于图像信号处理器与CPU等均为SOC系统的组成部分，图像信号处理器与CPU之间共享缓存(或内存)，不存在对图像数据的传输或者拷贝操作，因此，本实施例将子图像帧就绪的信号发送给图像信号处理器即可，这样，图像信号处理器能够及时对各子图像帧进行处理，提高了单位时间内处理的帧数，即提高了处理帧率。

由图2所示可知，本实施例的视频图像处理方法，在不调整图像传感器的输出帧率的情况下，提高SOC内部单位时间内处理的帧数，即提高视频处理帧率，从而降低了整体处理流程的延迟，优化了用户体验。而且本申请的技术方案不需要重新设计硬件，不仅能用于SOC新系统，而且能用于SOC老系统，降低老系统的延迟，应用范围广泛，成本低廉，适合大规模推广。

为了降低视频处理环节的延迟，本申请的一个创新点即在于对原始视频图像进行分帧，对于分帧，本申请实施例提供了两种判断方式，一种是对视频图像的行数据的接收行数进行计数，比较接收行数与行数阈值；另一种是对视频图像的行数据的接收时长进行累积，比较接收时长与时长阈值。

也就是说，前述根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧包括：对所述视频图像当前接收图像行数或接收时长进行统计，当统计的接收图像行数或统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号；根据所述帧结束信号、所述下一帧开始信号以及当前已接收的所述视频图像的行数据，获得子图像帧。

比如，当统计的接收图像行数或统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号包括：当统计的所述接收图像行数达到预设行数阈值时，生成相应的帧结束信号以及下一帧开始信号；其中，所述预设行数阈值根据所述视频图像的总行数以及预设的子图像帧数确定且小于所述视频图像的总行数；或，当统计的所述接收时长达到预设时长阈值时，生成相应的帧结束信号以及下一帧开始信号；所述预设时长阈值根据所述视频图像的总传输时长以及待分的子图像帧数确定且小于所述视频图像的总传输时长。

在接收视频图像的过程中，对视频图像当前接收时长进行统计，当统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号的具体实现方式是：在SOC系统的CPU上使用定时器进行图像数据接收时间统计和分帧处理调度。比如设置以1/2帧为间隔且以帧起始信号为触发条件的定时器，当定时器到期时，CPU确定SOC系统的ISP已收到1/2帧并完成相关处理，则CPU通知ISP当前帧结束以及下一帧开始。由于CPU上很难获得高精度的定时器，进而难以保证在正确的图像数据边界切分视频图像。基于此，可优选对接收的视频图像行数统计的方式，比如当统计的行数满足了预设条件(如，统计行数等于预设行数阈值)时，生成帧结束信号以及一帧开始信号，标志一帧结束并指示接下来的数据属于新的一帧。

需要说明的是，这里的预设行数阈值是根据视频图像的总行数以及预设的子图像帧数确定的，且预设行数阈值小于视频图像的总行数。举例来说，视频图像的总行数为500，预设的子图像帧数为5，那么500/5＝100，即，预设行数阈值为100。从接收到一帧视频图像的第一个行开始信号开始对接收的行数进行统计，当统计值达到100时，生成一个帧结束信号(这里称为第一个子图像帧对应的帧结束信号)以及下一帧开始信号，清零计数器，等待下一个行开始信号，即新的一帧的第一个行开始信号。当在生成帧结束信号后收到第一个行开始信号时开始对接收的行数进行统计，如果统计值达到100，则生成一个帧结束信号(这里称为第二个子图像帧对应的帧结束信号)以及一个新的帧开始信号，清零计数器，等待下一个行开始信号。以此类推，直至接收到视频图像的帧结束信号为止，共将一帧视频图像分为5个子图像帧。

为了保证SOC系统中帧时序同步，本实施例的方法还包括：根据所述视频图像的长度，调整各所述子图像帧的存储格式后将子图像帧存储到图像数据缓存中。比如根据视频图像的长度(从帧头到帧尾的距离)，将每个子图像帧的帧头和帧尾的存储格式调整成和视频图像的帧头帧尾一致的格式，这样，后续处理模块(比如CPU)就会把本实施例的子图像帧当成图像传感器输出的完整帧进行处理，保证了帧时序同步。而且，在以帧为单位存储的DDR中，将这5个子图像帧存入DDR时，与将5帧原始视频图像存入DDR相比，本实施例的视频处理帧率提高了5倍，相应的视频处理延迟降为原来的1/5。

本实施例，之所以分割原始视频图像，是因为需要对原始视频图像进行快速处理，提高处理帧率，因此，本实施例中将各所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理包括：在对当前已接收图像行数或接收时长进行统计的同时，将收到的所述视频图像的行数据逐行发送给所述图像信号处理器；当生成相应的帧结束信号时，将所述帧结束信号发送给所述图像信号处理器，以使所述图像信号处理器处理所述子图像帧。

也就是说，在分帧过程中，当视频图像处理方法对应的装置收到每一行图像数据时，该行数据都会被及时发送到ISP前端进行处理，不会在视频图像行数据的接收环节造成数据堆积，也不改变ISP的处理流程，拓宽了方案的应用场景。

图3示出了根据本申请一个实施例视频图像处理数据流的框图，结合图2和图3对本实施例的视频图像处理数据流进行说明如下：

如图3所示，本实施例的视频图像处理方案与前述图1相比，增加了视频图像处理装置，其余部件相同，比如图像传感器，DDR，ISP等。这保证了本申请方案在SOC基础上进行流程优化，以降低实时视频处理延迟，而无需重新设计硬件，也不影响图像传感器的输出帧率，不采用特殊的高帧率图像传感器，避免了高帧率方案带来的成本问题。此外，本实施例的视频处理方法可根据产品需求，采用依赖多帧数据的高级时域图像处理算法，进而提供高质量的图像输出，满足应用需求。

参见图3，在CSI接口与ISP前端之间增加一个视频图像处理装置，该视频图像处理装置的作用主要是：对图像传感器逐行输入的视频图像行数据进行统计；在行数统计的基础上将图像数据进行分帧操作，即，将原先的一个大帧分为若干小帧；而后将新的图像帧(即每个小帧)送到ISP前端进行处理。

此外，在将新的图像帧送到ISP前端进行处理时，视频图像处理装置还与CPU上运行的主机通信，告知主机操作系统(比如运行在CPU上的安卓操作系统)有新的帧生成，这里之所以告知主机操作系统是为了方便CPU对图像进行曝光等图像处理。

需要说明的是，视频处理装置的位置不限于如图3所示设置在CSI接口与ISP前端之间，还可以改变一下，将视频处理装置设置在图像传感器和CSI接口之间。与在CSI接口与ISP前端之间增加视频处理装置相比，改变方案可能需要重新设计硬件，适应场景受限，比如只能用于新SOC系统，无法降低老SOC系统的延迟，而且在图像传感器和CSI接口之间新增视频处理装置一般利用FPGA实现，也会导致系统总体成本的增加，但是优点是将分帧判断提前，在视频图像行数据输入到SOC系统之前即进行分帧的判断，SOC系统侧的压力会小一些。

另外，需要说明的是，在CSI接口与ISP前端之间增加视频图像处理装置时，视频图像处理装置的一个典型实现是SOC内部运行RTOS(Real Time Operating System，实时操作系统)的DSP(Digital Signal Processor，数字信号处理器)或MCU(MicrocontrollerUnit，微控制单元)模块，也可以是其它定制的硬件模块，只要能够完成上述操作即可。

本实施例分帧的目的是在不调整图像传感器帧率的情况下，提高SOC内部视频处理流程的帧率，从而降低整体处理流程的延迟。下面以软件实现的角度，描述本实施例视频图像分帧的关键工作流程。

图4示出了根据本申请一个实施例视频图像处理的时序图，参见图4，视频图像处理的时序如下：

首先，CSI接口接收图像传感器分别输出的行起始信号以及行结束信号；

其次，视频图像处理装置，通过CSI接口接收前述行起始信号和前述行结束信号，并接收行数据(即，具体的一行图像数据内容)以及统计行数，例如令行数统计参数T＝T+1，T初始值可设为1。

接着，视频图像处理装置，收到一个行结束信号后，将接收的这一行图像数据(即，行数据)发送至与视频图像处理装置连接的ISP。

然后，ISP，接收行数据。

与此同时，视频图像处理装置，不断通过CSI接口接收行起始信号和行结束信号，并接收行数据以及统计行数，当统计的行数满足分帧条件，比如统计的行数达到预设行数阈值时，生成帧结束信号以及下一帧开始信号，将帧结束信号以及下一帧开始信号均发送给ISP以及CPU。

继续，ISP收到一个所述帧结束信号以及所述下一帧开始信号后，根据该帧结束信号以及所述下一帧开始信号确定一帧结束。ISP把已接收的视频图像的行数据作为一帧图像开始进行噪声去除、内插、白平衡、去马赛克等处理，输出RGB或者YUV图像，将RGB图像存入DDR。另外，ISP根据所述下一帧开始信号，将紧接着接收到的图像数据作为新的一帧的数据。

YUV图像中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

参见图4，CPU收到一个帧结束信号以及下一帧开始信号后，根据该帧结束信号以及下一帧开始信号标注一帧结束，从而保证图像处理流程中各模块的时序同步。

需要说明的是，图4中，视频图像处理装置，在生成一个帧结束信号以及下一帧开始信号后，继续等待下一个行起始信号，并重复接收行数据，统计行数，生成帧结束信号以及下一帧开始信号，发送帧结束信号以及下一帧开始信号的步骤直至收到CSI接口传输的帧结束信号，该帧结束信号是图像传感器生成的，用于通知视频图像处理装置，一帧视频图像结束，与前述视频图像处理装置生成的帧结束信号不尽相同。为便于区分，将图像传感器生成的帧结束信号称为原有帧结束信号，将视频图像处理装置生成的帧结束信号称为新增帧结束信号，那么在一个例子中，当将一帧视频图像分为8个子图像帧时，视频图像处理装置可以依次(因为是逐行接收行数据并统计的，所以生成的新增帧结束信号可以看做是有先后顺序的)生成7个新增帧结束信号，以原有帧结束信号作为第8个新增帧结束信号。

由图4所示可知，在分帧操作过程中，视频图像处理装置收到的每一行图像数据都会及时发送到ISP进行处理，不会在视频图像处理装置造成数据堆积，也不改变ISP原先的处理流程；当视频图像处理装置统计行数满足分帧条件时，会通知ISP和SOC的CPU图像帧已完整，以保证各模块的时序同步。

图5示出了根据本申请一个实施例视频图像处理装置的框图，该视频图像处理装置500包括：

接收模块501，用于接收视频图像；

分帧模块502，用于根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；

发送模块503，用于将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。

在本申请的一个实施例中，分帧模块502，具体用于对所述视频图像当前接收图像行数或接收时长进行统计，当统计的接收图像行数或统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号；根据所述帧结束信号、所述下一帧开始信号以及当前已接收的所述视频图像的行数据，得到子图像帧。

在本申请的一个实施例中，分帧模块502具体用于当统计的所述接收图像行数达到预设行数阈值时，生成相应的帧结束信号以及下一帧开始信号；其中，所述预设行数阈值根据所述视频图像的总行数以及预设的子图像帧数确定且小于所述视频图像的总行数；或，当统计的所述接收时长达到预设时长阈值时，生成相应的帧结束信号以及下一帧开始信号；所述预设时长阈值根据所述视频图像的总传输时长以及待分的子图像帧数确定且小于所述视频图像的总传输时长。

在本申请的一个实施例中，发送模块503具体用于，在对当前已接收图像行数或接收时长进行统计的同时，将收到的所述视频图像的行数据逐行发送给所述图像信号处理器；当生成相应的帧结束信号以及下一帧开始信号时，将所述帧结束信号以及下一帧开始信号发送给所述图像信号处理器，以使所述图像信号处理器处理所述子图像帧。

在本申请的一个实施例中，视频图像处理装置500，还包括格式调整模块，用于根据所述视频图像的长度，调整各所述子图像帧的存储格式后将所述子图像帧存储到图像数据缓存中。

图5所示视频图像处理装置对原有的图像数据处理流程改动小，ISP和主机CPU的处理流程基本不变。因此，实现了在SOC方案基础上进行软件优化，降低实时视频处理延迟，无需重新设计硬件的有益效果。并且，本申请的视频图像处理装置不影响图像传感器的输出帧率，无需采用特殊的高帧率图像传感器，避免了高帧率方案带来的采购和成本问题。最后，本申请可根据产品需求采用依赖多帧数据的高级时域图像处理算法，提供高质量的图像输出，满足应用需求，提高了视频处理系统的市场竞争力。

需要说明的是，上述视频图像处理装置实施例的各模块的功能的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的视频图像处理装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图6示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备601包括处理器601和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器602。存储器602可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器602具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码6031的存储空间603。例如，用于存储计算机可读程序代码的存储空间603可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码6031。计算机可读程序代码6031可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图7所述的计算机可读存储介质。图7示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质700存储有用于执行根据本申请的方法步骤的计算机可读程序代码6031，可以被电子设备600的处理器601读取，当计算机可读程序代码6031由电子设备600运行时，导致该电子设备600执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码6031可以执行上述任一实施例中示出的方法。计算机可读程序代码6031可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种视频图像处理方法，其特征在于，该视频图像处理方法包括：

接收视频图像；

根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；

将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。

2.如权利要求1所述的方法，其特征在于，所述根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧包括：

对所述视频图像当前接收图像行数或接收时长进行统计，当统计的接收图像行数或统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号；

根据所述帧结束信号、所述下一帧开始信号以及当前已接收的所述视频图像的行数据，获得子图像帧。

3.如权利要求2所述的方法，其特征在于，所述当统计的接收图像行数或统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号包括：

当统计的所述接收图像行数达到预设行数阈值时，生成相应的帧结束信号以及下一帧开始信号；其中，所述预设行数阈值根据所述视频图像的总行数以及预设的子图像帧数确定且小于所述视频图像的总行数；

或，

当统计的所述接收时长达到预设时长阈值时，生成相应的帧结束信号以及下一帧开始信号；所述预设时长阈值根据所述视频图像的总传输时长以及待分的子图像帧数确定且小于所述视频图像的总传输时长。

4.如权利要求2所述的方法，其特征在于，所述将各所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理包括：

在对当前已接收图像行数或接收时长进行统计的同时，将收到的所述视频图像的行数据逐行发送给所述图像信号处理器；

当生成相应的帧结束信号以及下一帧开始信号时，将所述帧结束信号以及下一帧开始信号发送给所述图像信号处理器，以使所述图像信号处理器处理所述子图像帧。

5.如权利要求1-4中任一项所述的方法，其特征在于，该方法还包括：根据所述视频图像的长度，调整各所述子图像帧的存储格式后将所述子图像帧存储到图像数据缓存中。

6.一种视频图像处理装置，其特征在于，该视频图像处理装置包括：

接收模块，用于接收视频图像；

分帧模块，用于根据所述视频图像的接收情况，将所述视频图像分为若干子图像帧；

发送模块，用于将所述子图像帧的准备就绪信号发送给图像信号处理器，以使所述图像信号处理器对所述子图像帧进行处理。

7.如权利要求6所述的装置，其特征在于，所述分帧模块，具体用于对所述视频图像当前接收图像行数或接收时长进行统计，当统计的接收图像行数或统计的接收时长满足预设条件时，生成相应的帧结束信号以及下一帧开始信号；根据所述帧结束信号、所述下一帧开始信号以及当前已接收的所述视频图像的行数据，得到子图像帧。

8.如权利要求7所述的装置，其特征在于，

所述分帧模块，具体用于当统计的所述接收图像行数达到预设行数阈值时，生成相应的帧结束信号以及下一帧开始信号；其中，所述预设行数阈值根据所述视频图像的总行数以及预设的子图像帧数确定且小于所述视频图像的总行数；或，当统计的所述接收时长达到预设时长阈值时，生成相应的帧结束信号以及下一帧开始信号；所述预设时长阈值根据所述视频图像的总传输时长以及待分的子图像帧数确定且小于所述视频图像的总传输时长。

9.一种电子设备，其特征在于，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-5中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-5中任一项所述的方法。

Images