CN111357278A - 图像处理方法、图像处理装置及图像采集装置、存储介质 - Google Patents

Abstract

本发明实施例一种图像处理方法、图像处理装置及图像采集装置、存储介质，图像处理方法应用于图像采集装置，所述图像采集装置与图像处理装置连接，该方法包括：获取对当前采集的图像执行处理时所需的控制信息；将所述控制信息记录至所述图像的黑电平OB区域中；将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

Description

图像处理方法、图像处理装置及图像采集装置、存储介质

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、图像处理装置及图像采集装置、存储介质。

背景技术

一些图像系统中，图像采集装置和图像处理装置一般是两个分立的模组并通过通信接口连接在一起。图像处理装置可通过通信接口对图像采集装置参数设置，图像采集装置可依据设置的参数采集图像并通过通信接口将采集的图像传输给图像处理装置。通常来说，图像处理装置需要对通过通信接口接收的图像进行一定的处理，使得图像可以满足应用场景的需求。

相关的图像处理方式中，图像处理装置在对接收的来自于图像采集装置的图像进行处理时，始终按照图像处理装置中设定的处理规则对图像进行处理，无法知晓图像采集或传输时的真实情况，可能会发生对图像处理所用的信息与图像不匹配的情况，会导致图像处理效果不理想。

发明内容

本发明提供一种图像处理方法、图像处理装置及图像采集装置、存储介质，图像处理时可从图像中获取处理所需的控制信息，有利于提升图像处理效果。

本发明实施例第一方面提供一种图像处理方法，应用于图像采集装置，所述图像采集装置与图像处理装置连接，该方法包括：

获取对当前采集的图像执行处理时所需的控制信息；

将所述控制信息记录至所述图像的黑电平OB区域中；

将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

本发明实施例第二方面提供一种图像处理方法，应用于图像处理装置，所述图像处理装置与图像采集装置连接，该方法包括：

接收来自于所述图像采集装置传输的图像，所述图像的OB区域中记录有对所述图像执行处理时所需的控制信息；

从所述图像的OB区域中读取所述控制信息；

依据控制信息对所述图像执行处理。

本发明实施例第三方面提供一种图像采集装置，所述图像采集装置与图像处理装置连接，该图像采集装置包括：存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取对当前采集的图像执行处理时所需的控制信息；

将所述控制信息记录至所述图像的黑电平OB区域中；

将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

本发明实施例第四方面提供一种图像处理装置，所述图像处理装置与图像采集装置连接，该图像处理装置包括：存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：

接收来自于所述图像采集装置传输的图像，所述图像的OB区域中记录有对所述图像执行处理时所需的控制信息；

从所述图像的OB区域中读取所述控制信息；

依据控制信息对所述图像执行处理。

本发明实施例第五方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现前述实施例所述的图像处理方法。

基于上述技术方案，本发明实施例中，由于图像采集装置将对图像进行处理时所需的控制信息记录在图像的OB区域中，并将记录了控制信息的图像传输给图像处理装置，因而，图像处理装置可以从图像的OB区域中获取到控制信息，不会发生对图像进行处理所用的控制信息与图像不匹配的情况，有利于提升图像处理效果。

附图说明

为了更加清楚地说明本发明实施例中的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本发明实施例的这些附图获得其它的附图。

图1是本发明一实施例的图像处理方法的流程示意图；

图2是本发明一实施例的相连的图像采集装置和图像处理装置的结构框图；

图3是本发明一实施例的图像采集装置采集的图像的示意图；

图4是本发明一实施例的图像采集装置传输至图像处理装置中的图像的示意图；

图5是本发明另一实施例的图像处理方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解的是，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”，或者，“当……时”，或者，“响应于确定”。

本发明实施例的图像处理方法中，图像采集装置可以是图像传感器、或者带图像传感器的成像装置比如相机等；图像处理装置可以是具体图像处理能力的装置，比如嵌入式设备或计算机设备等。

图像采集装置和图像处理装置可以设置在同一平台上，比如，图像采集装置和图像处理装置均设置于可移动平台中，可移动平台可以包括但不限于无人机、地面机器人(例如无人车等)，当然也可以设置在相对地面固定的平台中；或者图像采集装置和图像处理装置也可分置于不同平台中，只要相互之间能够连接并通信即可。

本发明实施例的图像处理方法可以应用于需要采集图像并对图像进行处理的场景中，比如影像拍摄、或监控等场景中，具体不限。本发明实施例所涉及的图像可以是连续的视频序列中的一帧，也可以是单独的一帧图像。

下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。

本发明第一方面提供一种图像处理方法，参看图1，该图像处理方法应用于图像采集装置，所述图像采集装置与图像处理装置连接，该方法可以包括以下步骤：

S100：获取对当前采集的图像执行处理时所需的控制信息；

S200：将所述控制信息记录至所述图像的黑电平OB区域中；

S300：将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

参看图2，图像采集装置100可以包括处理器101、存储器102、接口103及感光器件104，存储器102用于存储程序代码；感光器件104用于采集图像；接口103连接图像处理装置200中的接口203，实现图像采集装置100与图像处理装置200之间的通信，图像采集装置100采集的图像通过接口103传输至图像处理装置200中；处理器101用于调用存储器102中存储的程序代码，当该程序代码被执行时，执行上述步骤S100～S300。

其中，感光器件104可以包括CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(电荷耦合器件)等，具体不限。

当然，图2示出的图像采集装置100仅是示例性的，图像采集装置100中还可以包括其他器部件，比如还可以包括与感光器件104配合的镜头、快门等外设，用于对采集的图像进行计数的计数器，用于提供时钟信号的时钟模块等。

在步骤S100中，获取对当前采集的图像执行处理时所需的控制信息。

控制信息可以从图像采集装置的感光器件、感光器件的外设、存储器、计数器等中获取。控制信息所包含的参数可以是一个或两个以上，可以包括由图像处理装置或其他装置在图像采集之前设置在图像采集装置中的参数，也可以包括图像采集装置固有的参数或在采集图像时生成的参数，具体不限，只要是对当前采集的图像执行处理时所需的即可。

步骤S200中，将所述控制信息记录至所述图像的黑电平OB区域中。

图像中包括有效像素区域和OB区域，OB区域不影响图像的有效信息，OB区域中的黑电平为图像数据为0时对应的信号电平。在对图像进行处理时，将有效像素区域中的图像数据减去黑电平得到所需的图像数据，之后OB区域便可以从图像中去除。

OB区域包括多个像素，通常来说，OB区域位于图像中有效像素区域的周围。本实施例中，将控制信息记录在图像的OB区域中，当然，控制信息只是占用了OB区域的部分像素，并不会将OB区域全部覆盖。

参看图3和图4，P10是图像采集装置当前采集的未记录控制信息的图像，P10’是已记录有控制信息的图像，其中，Z11是OB区域，Z12是有效像素区域，Z110是OB区域中用于记录控制信息的位置。可以理解，控制信息也可以记录在OB区域的其他位置，不限于图4中示出的位置。

步骤S300中，将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

图像采集装置将记录有控制信息的图像传输给图像处理装置后，图像处理装置可以从收到的图像的OB区域中读取出该控制信息，依据该控制信息对该图像执行处理。对图像执行的处理方式具体不限，依据控制信息来确定相应的执行方式即可。

本发明实施例中，由于图像采集装置将对图像进行处理时所需的控制信息记录在图像的OB区域中，并将记录了控制信息的图像传输给图像处理装置，因而，图像处理装置可以从图像的OB区域中获取到控制信息，不会发生对图像进行处理所用的控制信息与图像不匹配的情况，有利于提升图像处理效果。

在一个实施例中，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和/或、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息。

图像处理装置依据控制信息对所述图像执行处理时，有以下几种情况：

第一，控制信息包括第一控制信息和第二控制信息，图像处理装置可先依据第二控制信息判断图像是否满足执行ISP的条件，在满足时，再依据第一控制信息对图像执行ISP。

第二，控制信息包括第二控制信息(可以包括第一控制信息或不包括第一控制信息)，图像处理装置可先依据第二控制信息判断图像是否满足执行ISP的条件，在满足时，依据图像处理装置中设置的信息对图像执行ISP。

第三，控制信息包括第一控制信息(可以包括第二控制信息或不包括第二控制信息)，图像处理装置依据第一控制信息对图像执行ISP。

优选的，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

其中，曝光参数可以包括以下的一种或几种：光圈值(焦距与光圈直径之比)、曝光时间(快门)、ISO(感光度)。

可以理解，第一控制信息也不限于以上这些参数，其他对图像执行ISP时所需的参数也适用。

上述第一控制信息包括的参数中，有些是在图像采集装置采集图像前由图像处理装置下发给图像采集装置的，用来控制图像采集装置采集图像，比如图像的曝光参数，采集图像时所述图像采集装置的工作模式、图像的分辨率等。

相关的图像处理方式中，以曝光参数来说，图像处理装置将曝光参数下发给图像采集装置后，图像采集装置依据该曝光参数采集图像并将该图像传输给图像处理装置，图像处理装置收到图像后依据下发的曝光参数对图像执行ISP。

很多ISP算法中都需要曝光参数作为依据(比如降噪、自动曝光等处理)，若执行ISP时依据的曝光参数与图像在采集时所用的曝光参数不匹配，会导致执行ISP的效果很差。

该相关方式中，图像采集装置收到曝光参数后，该曝光参数并不一定马上生效，比如，当图像采集装置正在曝光的过程中收到曝光参数时，采集装置不会让该曝光参数立即生效，否则这一帧图像就会有问题，这种情况下，曝光参数何时生效是比较难确定，图像处理装置很可能以不匹配的曝光参数(刚下发的)对图像(该图像曝光时采用的是之前设置的曝光参数)执行ISP，导致执行ISP的效果不佳。

本发明实施例中，将图像处理装置下发给图像处理装置的采集时所需的参数记录在图像中，可以解决上述执行ISP的效果不佳的问题，具体来说：

将图像的曝光参数记录在图像中，可以使得图像处理装置对图像执行ISP时所用的曝光参数与图像是匹配的，有利于提升执行ISP的效果；

图像采集装置通常有不同的工作模式，将图像的工作模式记录在图像中，在图像处理装置对图像执行ISP时可采用与工作模式对应的算法，有利于提升执行ISP的效果；

图像采集装置采集的图像的分辨率可根据需要进行调整，将图像的分辨率记录在图像中，在图像处理装置对图像执行ISP时可采用与分辨率对应的算法，有利于提升执行ISP的效果。

此外，本发明实施例中，将一些图像处理装置原本无法获知的与图像相关的信息记录在图像中，有利于图像采集装置对图像执行ISP的效果：

图像采集装置包含对温度很敏感的感光器件比如CMOS，当温度高时，图像采集装置采集的图像中噪声会很大，图像质量很差，温度信息对执行ISP比较有用，将图像的温度信息记录在图像中，在图像处理装置对图像执行ISP时可以根据温度信息来选择合适的降噪算法，有利于提升执行ISP的效果；

曝光开始时间对移动场景比较有用，比如，图像处理装置采集图像时物体在动，则采集到的图像中每一行曝光开始时间不一样，物体运动的位置也不一样，将图像的有效像素区域中各像素行的曝光起始时间记录在图像中，对后期矫正物体移动造成的果冻效应非常有用，有利于提升执行ISP的效果。

优选的，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

可以理解，第一控制信息也不限于以上这些参数，其他可表征图像是否发生异常的参数也适用。

当图像处理装置工作异常(在采集视频序列时漏采集一帧或几帧图像，或者用于传输图像的接口稳定性出问题时，图像处理装置收到的图像中就会相应漏掉一帧或几帧图像，但相关的处理方式中，图像处理装置无法发现这种漏帧情况(图像采集装置有不同的工作模式，不同模式下的帧间隔时间是不一样的，因而无法依据帧间隔时间准确判断是否漏帧)，导致后续使用图像帧序列时出现问题。

本发明实施例中，第二控制信息包含图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号时，图像处理装置可以依据图像的帧编号判断所述图像是否满足执行ISP的条件。具体的，图像处理装置先判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值，若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息，若否，则确定图像满足执行ISP的条件。换言之，图像处理装置可以依据从图像中获取的图像的帧编号来判断该图像所在的图像帧序列是否出现漏帧情况，以便及时解决漏帧的问题。

此外，图像处理装置通过帧编号还可计算图像的帧率，判断是否和图像处理装置对图像采集装置设置的帧率一致，及时作出调整。

当图像处理装置采集的图像出现漏行时，相关的处理方式中，图像处理装置无法发现这种漏行情况，导致后续使用图像时出现问题。

本发明实施例中，第二控制信息包含图像的有效像素区域中各像素行的行编号时，图像处理装置可以依据图像的有效像素区域中各像素行的行编号判断所述图像是否满足执行ISP的条件。具体的，依据所述图像的有效像素区域中各像素行的行编号判断所述图像是否发生漏行事件，若是，确定所述图像不满足执行ISP的条件并输出关于发生漏行事件的信息，若否，确定所述图像满足执行ISP的条件。换言之，图像处理装置可以依据从图像中获取行编号来判断该图像是否出现漏行情况，以便及时解决漏行的问题。

在第二控制信息包含的参数为两个以上时，图像处理装置可以依据第二控制信息中包含的参数的优先级进行相应的处理，比如第二控制信息包含帧编号和行编号时，帧编号的优先级高于行编号。

当第二控制信息包括：所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；和所述图像的有效像素区域中各像素行的行编号。图像处理器依据第二控制信息判断所述图像是否满足执行ISP的条件时，可以包括：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则依据所述图像的有效像素区域中各像素行的行编号判断所述图像是否发生漏行事件，若是，确定所述图像不满足执行ISP的条件并输出关于发生漏行事件的信息，若否，确定所述图像满足执行ISP的条件。

在一个实施例中，所述控制信息是在所述图像的采集时刻获取的。

由于图像采集装置可能会连续采集图像，而采集的时间间隔会较短，因而在图像的采集时刻便将图像的控制信息获取到，避免获取到错误的控制信息，而且，图像在采集时刻的一些信息比如温度信息等，有利于对图像执行更准确的ISP。

在一个实施例中，所述控制信息记录在所述OB区域的指定行和/或指定列中。

优选的，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

该指定列的每个像素单元上可以对应像素行的行编号、和/或、对应像素行的曝光起始时间。可以在图像处理装置读取有效像素区域中的像素行时先确定对应像素行的行编号和/或曝光起始时间，执行相应的处理。

本发明第二方面提供一种图像处理方法，在一个实施例中，参看图5，图像处理方法应用于图像处理装置，所述图像处理装置与图像采集装置连接，该方法包括：

T100：接收来自于所述图像采集装置传输的图像，所述图像的OB区域中记录有对所述图像执行处理时所需的控制信息；

T200：从所述图像的OB区域中读取所述控制信息；

T300：依据控制信息对所述图像执行处理。

继续参看图2，图像处理装置200可以包括处理器201、存储器202、接口203，存储器202用于存储程序代码；接口203连接图像采集装置100中的接口103，接收来自于图像采集装置100传输至图像处理装置200中的图像；处理器201用于调用存储器202中存储的程序代码，当该程序代码被执行时，执行上述步骤T100～T300。为了更好地实现图像处理，处理器201可选择DSP芯片，当然也可以是其他处理器芯片，具体不限。

当然，图2示出的图像处理装置200仅是示例性的，图像处理装置200中还可以包括其他器部件，比如还可以包括显示器等。

步骤T200中，从所述图像的OB区域中读取所述控制信息。在图像处理装置中可以预设有从图像的OB区域中读取控制信息所需的位置信息，该位置信息是图像处理装置和图像采集装置所约定的，图像采集装置会将控制信息记录中图像的与该位置信息对应的位置处。

步骤T300中，依据控制信息对所述图像执行处理。对图像执行的处理可以包括ISP，ISP比如可以包括图像降噪处理、自动曝光、图像增强等。当然也可以包括其他处理方式，比如将丢弃图像并输出相关信息等。

在一个实施例中，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述依据控制信息对所述图像执行处理，包括：

从所述控制信息中识别出所述第二控制信息；

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则从所述控制信息中识别出第一控制信息，并依据所述第一控制信息对所述图像执行ISP。

在一个实施例中，所述控制信息包括：用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述依据控制信息对所述图像执行处理，包括：

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则对所述图像执行ISP。

在一个实施例中，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

依据所述第二控制信息判断所述图像是否满足执行ISP的条件，包括：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则确定所述图像满足执行ISP的条件。

在一个实施例中，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号、和所述图像的有效像素区域中各像素行的行编号；

所述依据所述第二控制信息判断所述图像是否满足执行ISP的条件，包括：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则依据所述图像的有效像素区域中各像素行的行编号判断所述图像是否发生漏行事件，若是，确定所述图像不满足执行ISP的条件并输出关于发生漏行事件的信息，若否，确定所述图像满足执行ISP的条件。

在一个实施例中，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

在一个实施例中，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息；

所述依据控制信息对所述图像执行处理，包括：

依据所述第一控制信息对所述图像执行ISP。

在一个实施例中，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

在一个实施例中，所述控制信息记录在所述OB区域的指定行和/或指定列中。

在一个实施例中，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

关于本发明第二方面提供的图像处理方法的其他内容可参看前述本发明第一方面提供的图像处理方法的相关实施例中的描述内容，相同之处在此不再赘述。

基于与本发明第一方面提供的方法同样的构思，本发明第三方面提供一种图像采集装置，继续参看图2，在一个实施例中，该图像采集装置100与图像处理装置200连接，该图像采集装置100包括：存储器102和处理器101。图像采集装置100当然还可以包括其他的器件或部件。

所述存储器，用于存储程序代码；

所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取对当前采集的图像执行处理时所需的控制信息；

将所述控制信息记录至所述图像的黑电平OB区域中；

将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

在一个实施例中，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和/或、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息。

在一个实施例中，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

在一个实施例中，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

在一个实施例中，所述控制信息是在所述图像的采集时刻获取的。

在一个实施例中，所述控制信息记录在所述OB区域的指定行和/或指定列中。

在一个实施例中，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

关于本发明第三方面提供的图像采集装置的其他内容可参看前述本发明第一方面提供的图像处理方法的相关实施例中的描述内容，相同之处在此不再赘述。

基于与本发明第二方面提供的方法同样的构思，本发明第四方面提供一种图像处理装置，继续参看图2，在一个实施例中，该图像处理装置200与图像采集装置100连接，该图像处理装置200包括：存储器202和处理器201。图像处理装置200当然还可以包括其他的器件或部件。

所述存储器，用于存储程序代码；

所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：

接收来自于所述图像采集装置传输的图像，所述图像的OB区域中记录有对所述图像执行处理时所需的控制信息；

从所述图像的OB区域中读取所述控制信息；

依据控制信息对所述图像执行处理。

在一个实施例中，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述处理器依据控制信息对所述图像执行处理时具体用于：

从所述控制信息中识别出所述第二控制信息；

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则从所述控制信息中识别出第一控制信息，并依据所述第一控制信息对所述图像执行ISP。

在一个实施例中，所述控制信息包括：用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述处理器依据控制信息对所述图像执行处理时具体用于：

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则对所述图像执行ISP。

在一个实施例中，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述处理器依据所述第二控制信息判断所述图像是否满足执行ISP的条件时具体用于：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则确定所述图像满足执行ISP的条件。

在一个实施例中，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号、和所述图像的有效像素区域中各像素行的行编号；

所述处理器依据所述第二控制信息判断所述图像是否满足执行ISP的条件时具体用于：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则依据所述图像的有效像素区域中各像素行的行编号判断所述图像是否发生漏行事件，若是，确定所述图像不满足执行ISP的条件并输出关于发生漏行事件的信息，若否，确定所述图像满足执行ISP的条件。

在一个实施例中，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

在一个实施例中，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息；

所述处理器依据控制信息对所述图像执行处理时具体用于：

依据所述第一控制信息对所述图像执行ISP。

在一个实施例中，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

在一个实施例中，所述控制信息记录在所述OB区域的指定行和/或指定列中。

在一个实施例中，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

关于本发明第四方面提供的图像处理装置的其他内容可参看前述本发明第二方面提供的图像处理方法的相关实施例中的描述内容，相同之处在此不再赘述。

基于与上述方法同样的发明构思，本发明实施例中还提供一种计算机可读存储介质上存储有计算机指令，所述计算机指令被执行(如所述计算机指令被处理器执行)时，可以实现前述实施例的图像处理方法。

上述实施例阐明的装置、模块或单元，可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进，均应包含在本发明的权利要求范围之内。

Claims (35)

1.一种图像处理方法，其特征在于，应用于图像采集装置，所述图像采集装置与图像处理装置连接，该方法包括：

获取对当前采集的图像执行处理时所需的控制信息；

将所述控制信息记录至所述图像的黑电平OB区域中；

将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

2.如权利要求1所述的图像处理方法，其特征在于，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和/或、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息。

3.如权利要求2所述的图像处理方法，其特征在于，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

4.如权利要求2所述的图像处理方法，其特征在于，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

5.如权利要求1-4中任一项所述的图像处理方法，其特征在于，所述控制信息是在所述图像的采集时刻获取的。

6.如权利要求1所述的图像处理方法，其特征在于，所述控制信息记录在所述OB区域的指定行和/或指定列中。

7.如权利要求6所述的图像处理方法，其特征在于，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

8.一种图像处理方法，其特征在于，应用于图像处理装置，所述图像处理装置与图像采集装置连接，该方法包括：

接收来自于所述图像采集装置传输的图像，所述图像的OB区域中记录有对所述图像执行处理时所需的控制信息；

从所述图像的OB区域中读取所述控制信息；

依据控制信息对所述图像执行处理。

9.如权利要求8所述的图像处理方法，其特征在于，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述依据控制信息对所述图像执行处理，包括：

从所述控制信息中识别出所述第二控制信息；

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则从所述控制信息中识别出第一控制信息，并依据所述第一控制信息对所述图像执行ISP。

10.如权利要求8所述的图像处理方法，其特征在于，所述控制信息包括：用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述依据控制信息对所述图像执行处理，包括：

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则对所述图像执行ISP。

11.如权利要求9或10所述的图像处理方法，其特征在于，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

依据所述第二控制信息判断所述图像是否满足执行ISP的条件，包括：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则确定所述图像满足执行ISP的条件。

12.如权利要求9或10所述的图像处理方法，其特征在于，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号、和所述图像的有效像素区域中各像素行的行编号；

所述依据所述第二控制信息判断所述图像是否满足执行ISP的条件，包括：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则依据所述图像的有效像素区域中各像素行的行编号判断所述图像是否发生漏行事件，若是，确定所述图像不满足执行ISP的条件并输出关于发生漏行事件的信息，若否，确定所述图像满足执行ISP的条件。

13.如权利要求9或10所述的图像处理方法，其特征在于，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

14.如权利要求8所述的图像处理方法，其特征在于，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息；

所述依据控制信息对所述图像执行处理，包括：

依据所述第一控制信息对所述图像执行ISP。

15.如权利要求9或14所述的图像处理方法，其特征在于，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

16.如权利要求8-15中任一项所述的图像处理方法，其特征在于，所述控制信息记录在所述OB区域的指定行和/或指定列中。

17.如权利要求16所述的图像处理方法，其特征在于，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

18.一种图像采集装置，其特征在于，所述图像采集装置与图像处理装置连接，该图像采集装置包括：存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：

获取对当前采集的图像执行处理时所需的控制信息；

将所述控制信息记录至所述图像的黑电平OB区域中；

将记录有所述控制信息的所述图像传输至所述图像处理装置，以使所述图像处理装置依据接收的所述图像的OB区域中的控制信息对所述图像执行处理。

19.如权利要求18所述的图像采集装置，其特征在于，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和/或、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息。

20.如权利要求19所述的图像采集装置，其特征在于，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

21.如权利要求19所述的图像采集装置，其特征在于，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

22.如权利要求18-21中任一项所述的图像采集装置，其特征在于，所述控制信息是在所述图像的采集时刻获取的。

23.如权利要求18所述的图像处理方法，其特征在于，所述控制信息记录在所述OB区域的指定行和/或指定列中。

24.如权利要求23所述的图像处理方法，其特征在于，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

25.一种图像处理装置，其特征在于，所述图像处理装置与图像采集装置连接，该图像处理装置包括：存储器和处理器；

所述存储器，用于存储程序代码；

所述处理器，用于调用所述程序代码，当程序代码被执行时，用于执行以下操作：

接收来自于所述图像采集装置传输的图像，所述图像的OB区域中记录有对所述图像执行处理时所需的控制信息；

从所述图像的OB区域中读取所述控制信息；

依据控制信息对所述图像执行处理。

26.如权利要求25所述的图像处理装置，其特征在于，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息、和、用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述处理器依据控制信息对所述图像执行处理时具体用于：

从所述控制信息中识别出所述第二控制信息；

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则从所述控制信息中识别出第一控制信息，并依据所述第一控制信息对所述图像执行ISP。

27.如权利要求25所述的图像处理方法，其特征在于，所述控制信息包括：用于所述图像处理装置判断所述图像是否满足执行ISP的条件的第二控制信息；

所述处理器依据控制信息对所述图像执行处理时具体用于：

依据所述第二控制信息判断所述图像是否满足执行ISP的条件；

若是，则对所述图像执行ISP。

28.如权利要求26或27所述的图像处理装置，其特征在于，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述处理器依据所述第二控制信息判断所述图像是否满足执行ISP的条件时具体用于：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则确定所述图像满足执行ISP的条件。

29.如权利要求26或27所述的图像处理装置，其特征在于，所述第二控制信息包括所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号、和所述图像的有效像素区域中各像素行的行编号；

所述处理器依据所述第二控制信息判断所述图像是否满足执行ISP的条件时具体用于：

获取接收的来自于所述图像采集装置传输的上一帧图像的帧编号；

判断所述图像的帧编号与所述上一帧图像的帧编号之差是否大于指定值；

若是，则确定所述图像不满足执行ISP的条件，并输出关于发生漏帧事件的信息；

若否，则依据所述图像的有效像素区域中各像素行的行编号判断所述图像是否发生漏行事件，若是，确定所述图像不满足执行ISP的条件并输出关于发生漏行事件的信息，若否，确定所述图像满足执行ISP的条件。

30.如权利要求26或27所述的图像处理装置，其特征在于，所述第二控制信息包括以下的至少一种：

所述图像在所述图像采集装置传输至所述图像处理装置的图像帧序列中的帧编号；

所述图像的有效像素区域中各像素行的行编号。

31.如权利要求25所述的图像处理装置，其特征在于，所述控制信息包括：用于所述图像处理装置对所述图像执行图像信号处理ISP的第一控制信息；

所述处理器依据控制信息对所述图像执行处理时具体用于：

依据所述第一控制信息对所述图像执行ISP。

32.如权利要求26或31所述的图像处理装置，其特征在于，所述第一控制信息包括以下的至少一种：

所述图像的曝光参数；

采集所述图像时所述图像采集装置的工作模式；

所述图像的分辨率；

采集所述图像时所述图像采集装置的温度信息；

所述图像的有效像素区域中各像素行的曝光起始时间。

33.如权利要求25-32中任一项所述的图像处理装置，其特征在于，所述控制信息记录在所述OB区域的指定行和/或指定列中。

34.如权利要求33所述的图像处理装置，其特征在于，所述指定列包括位于所述图像的有效像素区域中各个像素行之前的像素单元。

35.一种计算机可读存储介质，其特征在于，

所述计算机可读存储介质上存储有计算机指令，所述计算机指令被执行时，实现权利要求1-17任一项所述的图像处理方法。

Images