CN103458173B - 一种图像相关数据处理的装置、方法和终端 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种图像相关数据处理的装置、方法和终端，所述方法包括以下步骤：根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据；根据所述确定的待处理的数据的类别，获取图像处理器中对应的数据；获得用户根据所述获取的数据设计的数据处理算法；调用所述接收的数据处理算法对所述获取的数据进行处理；将所述经过处理的数据返回到图像处理器。本发明实施例，根据数据处理的需要设计可编程处理器的数据处理算法，获取图像处理器中与图像相关的数据，对所述数据进行处理，解决了现有技术因ISP流水线硬件设计的固定性，无法灵活处理数据的问题。

Description

一种图像相关数据处理的装置、方法和终端

技术领域

本发明属于图像处理领域，尤其涉及一种图像相关数据处理的装置、方法和终端。

背景技术

首先介绍以下技术术语的含义：

3A数据：自动白平衡（Auto White Balance）、自动曝光（Atuo exposure）、自动对焦（Auto Focus）的总称，3A数据不是图像数据，而是通过3A算法（自动白平衡算法、自动曝光算法、自动对焦算法）对图像数据进行计算后得出的数据（白平衡数据、曝光数据、对焦数据）；3A数据用于对摄像头进行配置，将经过3A算法处理的3A数据返回到摄像头，对摄像头的配置进行设置。

ISP流水线：图像处理器中图像处理的流水线，由多个图像处理功能元件组成，通常在设计后即为固定，即图像处理过程固定；

当前，通常采用图像处理（Image Signal Processing，ISP）技术对图像传感器（如摄像头）输出的图像进行处理，进而获得良好的图像质量。传统的ISP由专用集成电路（Application specific integrated circuit，ASIC）或者数字信号处理器（digitalsignal processing，DSP）实现。随着技术的发展，ISP越来越多的集成在后端应用处理芯片中。通常情况下图像传感器部分会设置内嵌的图形处理模块处理一些简单的功能，而自动白平衡，自动曝光，自动对焦，防抖动及格式转换等复杂功能需要后端应用芯片的ISP来实现，以获得良好的图像效果。

随着移动终端技术的发展，越来越高规格的多媒体性能规格被增加到移动终端设备。ISP技术成为了提高移动终端多媒体特性关键技术。目前ISP处理 速度不断增加，图像处理性能越来越强大，功能越来越多。如图1所示，在现有的图像处理方法中，摄像头通过摄像头接口（camera interface，CAMIF）输出图像数据进入ISP处理系统。ISP各个模块对图像数据进行去噪等一系列处理，将经过处理的图像数据输入到后续图像处理流程；3A模块则收集图像数据，对收集的3A数据进行分析，对收集的3A数据进行优化，获得优化后的3A数据，将经过优化的3A数据通过ISP统计数据被可编程处理器读取的总线接口（AXI SLAVE）输入ISP处理系统，进而输入到摄像头，使得摄像由在下次摄像时获得质量更好的图像信号。进入ISP的图像信号可以通过缩放，格式转换等处理，最后通过AXI总线写入存储器中，用于下一步处理。

但是，移动终端市场需求的快速变化对ISP提出了需要具有灵活的设计模式，以获取质量更好的图像。传统的ISP流水线处理方式是硬件化的设计方式，ISP流水线在设计完成后就无法更改，图像数据必须依照固定的流程进行处理，不能适应这种灵活性的需求。

发明内容

本发明实施例的目的在于提供一种图像相关数据处理的装置、方法和系统，旨在解决现有技术图像相关数据硬件化处理方式的不足，无法灵活处理图像相关数据的问题。

本发明实施例是这样实现的，一种图像相关数据处理的装置，其特征在于，所述装置包括用于对待处理的数据进行处理的可编程处理器，所述待处理的数据包括图像数据和3A数据，所述可编程处理器包括：

数据类别确定单元，用于根据数据处理的需要确定所述待处理的数据的类别；

数据获取单元，用于根据所述数据类别确定单元确定的待处理的数据的类别，获取图像处理器中对应的数据；

数据处理算法接收单元，用于获得用户根据所述数据获取单元获取的数据 设计的数据处理算法；

数据处理单元，用于调用所述数据处理算法接收单元获得的数据处理算法对所述数据获取单元获取的数据进行处理。

本发明实施例的另一目的在于提供一种图像相关数据处理的方法，所述方法包括以下步骤：

根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据；

根据所述确定的待处理的数据的类别，获取图像处理器中对应的数据；

获得用户根据所述获取的数据设计的数据处理算法；

调用所述接收的数据处理算法对所述获取的数据进行处理；

将所述经过处理的数据返回到图像处理器。

本发明实施例的另一目的在于提供一种图像相关数据处理终端，所述终端包括如上所述的装置。

本发明实施例，根据数据处理的需要设计可编程处理器的数据处理算法，获取图像处理器中的数据，对所述数据进行处理，并将处理后的数据返回到所述图像处理器，使得数据处理实现软件化的可编程处理，解决了现有技术因ISP流水线硬件设计的固定性，而无法灵活处理数据的问题。

附图说明

图1是现有技术提供的图像相关数据处理方法的流程图；

图2是本发明实施例提供的图像相关数据处理装置的结构图；

图3是本发明第一举例图像相关数据处理装置的结构图；

图4是本发明第二举例图像相关数据处理装置的结构图；

图5是本发明第三举例图像相关数据处理装置的结构图；

图6是本发明第四举例图像数据处理装置的结构图；

图7是本发明实施例提供的图像相关数据处理方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例，根据数据处理的需要设计可编程处理器的数据处理算法，获取图像处理器中的数据，对所述数据进行处理，并将处理后的数据返回到所述图像处理器，使得数据处理实现软件化的可编程处理，解决了现有技术因ISP流水线硬件设计的固定性，而无法灵活处理数据的问题。

实施例一

如图2所示为本发明实施例提供的图像相关数据处理装置的结构图，为了便于说明仅示出与本发明实施例相关的部分，所述装置包括图像处理器21和可编程处理器22，所述图像处理器21包括位于ISP流水线上的图像数据处理模块，所述图像数据处理模块包括功能处理模块和3A模块，所述可编程处理器为数字信号处理DSP、中央处理器CPU等可编程元件，所述可编程处理器22包括：

数据类别确定单元221，用于根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据。

在本发明实施例中，所述图像处理器21获取的是图像所有的相关数据，因此可编程处理器的数据类别确定单元221根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据，所述图像数据包括：与降噪有关的参数，与去马赛克有关的参数等等与图像本身相关的数据，数据类别确定单元221确定的图像数据为图像数据中的一种或多种的组合；所述3A数据包括：Auto white blanace（自动白平衡）参数、Autoexposure（自动曝光）参数、Auto focus（自动对焦）参数等通过3A算法对图像进行计算后获得的3A数据，3A数据是摄像头的参数，但是必须通过对图像进行3A算法计算来获取 3A参数，以对摄像头的3A参数设置进行调整。数据类别确定单元221确定的3A数据为3A数据中的一种或多种的组合。所述数据类别确定单元221确定的可以是一种数据类别（如图像数据），也可以是多种数据类别（如图像数据和3A数据）。

数据获取单元222，用于根据所述数据类别确定单元221确定的待处理的数据的类别，获取图像处理器21中对应的数据。

在本发明实施例中，数据获取单元222根据数据确定单元221确定的数据的类别，从图像处理器21中获取对应的数据，对于不同的数据，使用不同的方法获取数据，具体包括：

图像数据获取子单元2221，用于根据所述数据类别确定单元221确定的图像数据，确定图像处理器21中对应的功能处理模块，在所述功能处理模块之前获取对应的图像数据；

3A数据获取子单元2222，用于根据所述数据类别确定单元221确定的3A数据，从图像处理器21的ISP流水线上获取对应的3A数据，或者从图像处理器21的3A算法模块中获取对应的3A数据。

对于图像数据的获取，图像处理器21中包含多个对图像数据进行处理的功能处理模块，比如：降噪处理模块、去马赛克处理模块等，数据获取单元222根据所述数据类别确定单元221确定的图像数据，确定图像处理器21中对应的功能处理模块，在所述功能处理模块之前获取对应的第一图像数据。

对于3A数据的获取，图像处理器21中用于处理3A数据的3A模块可以从ISP流水线中获取3A数据，因此数据获取单元222可以从图像处理器21的3A模块中获取3A数据，也可以从图像处理器21的ISP流水线上直接获取3A数据。

数据处理算法接收单元223，用于获得用户根据所述数据获取单元222获取的数据设计的数据处理算法。

在本发明实施例中，用户根据所述数据获取单元222获取的数据，通过计 算机编程设计数据处理算法，数据处理算法接收单元223获得所述用户设计的数据处理算法，详细的算法编译过程，本发明实施例使用现有技术，在此不再赘述。

数据处理单元224，用于调用所述数据处理算法接收单元223获得的数据处理算法对所述数据获取单元222获取的数据进行处理。

数据返回单元225，用于将所述数据处理单元224处理的数据返回到图像处理器21。

在本发明实施例中，数据返回单元225将经过处理的数据返回到图像处理器21，以使图像处理器21在后续的图像处理中获得更好的图像效果，对于不同的数据，使用不同的方法返回数据，具体包括：

图像数据返回子单元2251，用于将经过所述数据处理单元224处理的图像数据，返回到所述图像处理器21对应的功能处理模块之后的ISP流水线；

3A数据返回子单元2252，用于将经过所述数据处理单元224处理的3A数据，返回到所述图像处理器21的3A模块。

对于图像数据，数据返回单元225将经过处理的图像数据，通过axi slave返回到所述图像处理器21对应的功能处理模块之后的ISP流水线上。

对于3A数据，数据返回单元225将经过处理的3A数据，通过axi slave返回到所述图像处理器21的3A模块，以使3A模块根据所述经过处理的3A数据对摄像头进行调整，在下次拍摄时获取更好的拍摄效果。

本发明实施例，根据数据处理的需要设计可编程处理器的数据处理算法，获取图像处理器中的数据，对所述数据进行处理，并将处理后的数据返回到所述图像处理器，使得数据处理实现软件化的可编程处理，解决了现有技术因ISP流水线硬件设计的固定性，而无法灵活处理数据的问题。

作为本发明的一个可选实施例，所述装置还包括：

数据处理算法更新单元226，用于将所述数据处理算法接收单元223获得的数据处理算法更新到可编程处理器的数据库中。

在本发明实施例中，在可编程处理器中设置一个数据库，将用户历次编写的数据处理算法进行更新存储，当遇到需要使用之前编写过的算法时，可以直接从该数据库中调用相关的算法，而不再需要用户重复设计相关数据处理算法。

举例说明：

如图3所示，假设数据处理需要对降噪进行特殊处理，首先将数据类别确定为与降噪有关的图像数据，可编程处理器在图像处理器对应的降噪处理模块之前，通过axi slave获取与降噪有关的图像数据，根据获取的图像数据设计降噪算法，根据设计的降噪算法对获取的图像数据进行处理，并将经过特殊降噪处理的图像数据，返回到图像处理器对应的降噪处理模块之后的ISP流水线上。

如图4所示，假设数据处理需要对降噪和去马赛克进行特殊处理，首先将数据类别确定为与降噪和与去马赛克有关的图像数据，可编程处理器在图像处理器对应的降噪处理模块和去马赛克处理模块之前，通过axi slave获取与降噪和与去马赛克有关的图像数据，根据获取的图像数据设计降噪和去马赛克算法，根据设计的降噪和去马赛克算法对获取的图像数据进行处理，并将经过特殊降噪和去马赛克处理的图像数据，返回到图像处理器对应的降噪处理模块和去马赛克处理模块之后的ISP流水线上。

如图5所示，假设图像数据处理需要对3A数据进行特殊处理，首先将数据类别确定为3A数据，可编程处理器通过axi slave直接从图像处理器的ISP流水线获取3A数据，或者从图像处理器的3A模块获取3A数据，根据获取的3A数据设计3A算法，根据设计的3A算法对获取的3A数据进行处理，并将经过特殊3A算法处理的3A数据，返回到图像处理器的3A模块上，以使3A模块根据经过处理的3A数据对摄像头进行调整，在下次拍摄时获取更好的拍摄效果。

如图6所示，假设数据处理需要对图像数据和3A数据进行特殊处理，首先将数据类别确定为图像数据和3A数据，可编程处理器在图像处理器对应的图像数据处理模块之前，通过axi slave获取图像数据；通过axi slave直接从图 像处理器的ISP流水线获取3A数据，或者从图像处理器的3A模块中获取3A数据，根据获取的数据设计图像数据处理算法和3A算法，根据设计的图像数据处理算法和3A算法对获取的图像数据和3A数据进行处理，并将经过图像数据算法处理的图像数据，返回到图像处理器对应的图像数据处理模块之后的ISP流水线上，将经过特殊3A算法处理的3A数据，返回到图像处理器的3A模块上，以使3A模块根据经过处理的3A数据对摄像头进行调整，在下次拍摄时获取更好的拍摄效果。

实施例二

如图7所示为本发明实施例提供的图像相关数据处理方法的流程图，所述方法包括以下步骤：

在步骤S701中，根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据。

在本发明实施例中，可编程处理器根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据，所述图像数据包括：与降噪有关的参数，与去马赛克有关的参数等与图像本身相关的数据，所述图像数据为图像数据中的一种或多种的组合；所述3A数据包括：Auto white blanace（自动白平衡）参数、Auto exposure（自动曝光）参数、Auto focus（自动对焦）参数等通过3A算法对图像进行计算后获得的3A数据，3A数据是摄像头的参数，但是必须通过对图像进行3A算法计算来获取3A参数，以对摄像头的3A参数设置进行调整，所述3A数据为3A数据中的一种或多种的组合。所述可编程处理器确定的可以是一种数据类别（如图像数据），也可以是多种数据类别（如图像数据和3A图像数据）。

在步骤S702中，根据所述确定的待处理的数据的类别，获取图像处理器中对应的数据。

在本发明实施例中，可编程处理器根据确定的数据的类别，从图像处理器中获取对应的数据，对于不同的数据，使用的不同的方法获取数据，具体为：

根据确定的图像数据，确定图像处理器中对应的功能处理模块，在所述功能处理模块之前获取对应的图像数据；或者，

根据确定的3A数据，从图像处理器的ISP流水线上获取对应的3A数据；或者，

根据确定的3A数据，从图像处理器的3A算法模块中获取对应的3A数据。

对于图像数据的获取，图像处理器中包含多个对图像数据进行处理的功能处理模块，比如：降噪处理模块、去马赛克处理模块等，可编程处理器根据确定的图像数据，确定图像处理器中对应的功能处理模块，在所述功能处理模块之前获取对应的图像数据。

对于3A数据的获取，图像处理器中用于处理3A数据的3A模块可以从ISP流水线中获取3A数据，因此可编程处理器可以从图像处理器的3A模块中获取3A数据，也可以从图像处理器的ISP流水线上直接获取3A数据。

在步骤S703中，获得用户根据所述获取的数据设计的数据处理算法。

在本发明实施例中，用户根据获取的数据，通过计算机编程设计数据处理算法，可编程处理器获得所述用户设计的数据处理算法，详细的算法编译过程，本发明实施例使用现有技术，在此不再赘述。

在步骤S705中，调用所述获得的数据处理算法对所述获取的数据进行处理。

在步骤S706中，将所述经过处理的数据返回到图像处理器。

在本发明实施例中，可编程处理器将经过处理的数据返回到图像处理器，以使图像处理器在后续的图像处理中获得更好的图像效果，对于不同的图像数据，使用不同的方法返回数据，具体为：

将所述经过处理的图像数据，返回到所述图像处理器对应的功能处理模块之后的ISP流水线；或者，

将所述经过处理的3A数据，返回到所述图像处理器的3A模块。

对于图像数据，可编程处理器将经过处理的图像数据，通过axi slave返回 到所述图像处理器对应的功能处理模块之后的ISP流水线上。

对于3A数据，可编程处理器将经过处理的3A数据，通过axi slave返回到图像处理器的3A模块，以使3A模块根据经过处理的3A数据对摄像头进行调整，在下次拍摄时获取更好的拍摄效果。

本发明实施例，根据数据处理的需要设计可编程处理器的数据处理算法，获取图像处理器中的数据，对所述数据进行处理，并将处理后的数据返回到所述图像处理器，使得数据处理实现软件化的可编程处理，解决了现有技术因ISP流水线硬件设计的固定性，而无法灵活处理数据的问题。

作为本发明的一个可选实施例，所述方法还包括以下步骤：

将所述获得的数据处理算法更新到可编程处理器的数据库中。

在本发明实施例中，在可编程处理器中设置一个数据库，将用户历次编写的数据处理算法进行更新存储，当遇到需要使用之前编写过的算法时，可以直接从该数据库中调用相关的算法，而不再需要用户重复设计相关数据处理算法。

本发明实施例还提供一种图像相关数据处理终端，所述终端包括如实施例一所述的可编程处理器。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像相关数据处理的装置，其特征在于，所述装置包括用于对待处理的数据进行处理的可编程处理器，所述待处理的数据包括图像数据和3A数据，其中，所述3A数据是通过3A算法对所述图像数据进行计算后得出的数据，所述3A数据用于对摄像头进行配置，所述可编程处理器包括：

数据类别确定单元，用于根据数据处理的需要确定所述待处理的数据的类别；

数据获取单元，用于根据所述数据类别确定单元确定的待处理的数据的类别，获取图像处理器中对应的数据；

数据处理算法接收单元，用于获得用户根据所述数据获取单元获取的数据设计的数据处理算法；

数据处理单元，用于调用所述数据处理算法接收单元获得的数据处理算法对所述数据获取单元获取的数据进行处理；

数据返回单元，用于将所述数据处理单元处理的数据返回到图像处理器。

2.如权利要求1所述的装置，其特征在于，所述数据获取单元具体包括：

图像数据获取子单元，用于根据所述数据类别确定单元确定的图像数据，确定图像处理器中对应的功能处理模块，在所述功能处理模块之前获取对应的图像数据；

3A数据获取子单元，用于根据所述数据类别确定单元确定的3A数据，从图像处理器的ISP流水线上获取对应的3A数据，或者从图像处理器的3A算法模块中获取对应的3A数据。

3.如权利要求2所述的装置，其特征在于，所述数据类别确定单元确定的图像数据为图像数据中的一种或多种的组合。

4.如权利要求2所述的装置，其特征在于，所述数据类别确定单元确定的3A数据为3A数据中的一种或多种的组合。

5.如权利要求1所述的装置，其特征在于，所述装置还包括：

数据处理算法更新单元，用于将所述数据处理算法接收单元获得的数据处理算法更新到可编程处理器的数据库中。

6.一种图像相关数据处理的方法，其特征在于，所述方法包括以下步骤：

根据数据处理的需要确定待处理的数据的类别，所述数据的类别包括：图像数据和3A数据，其中，所述3A数据是通过3A算法对所述图像数据进行计算后得出的数据，所述3A数据用于对摄像头进行配置；

根据所述确定的待处理的数据的类别，获取图像处理器中对应的数据；

获得用户根据所述获取的数据设计的数据处理算法；

调用所述接收的数据处理算法对所述获取的数据进行处理；

将所述经过处理的数据返回到图像处理器。

7.如权利要求6所述的方法，其特征在于，所述获取图像处理器中对应的数据的步骤，具体包括：

确定图像数据，根据确定的图像数据确定图像处理器中对应的功能处理模块，在所述功能处理模块之前获取对应的图像数据；或者，

确定3A数据，根据确定的3A数据从图像处理器的ISP流水线上获取对应的3A数据；或者，

确定3A数据，根据确定的3A数据从图像处理器的3A算法模块中获取对应的3A数据。

8.如权利要求7所述的方法，其特征在于，所述确定图像数据为图像数据中的一种或多种的组合。

9.如权利要求7所述的方法，其特征在于，所述确定3A数据为3A数据中的一种或多种的组合。

10.如权利要求6所述的方法，其特征在于，在所述获得用户根据所述获取的数据设计的数据处理算法的步骤之后，所述方法还包括以下步骤:

将所述获得的数据处理算法更新到可编程处理器的数据库中。

11.一种图像相关数据处理终端，其特征在于，所述终端包括如权利要求 1-5任一项所述的装置。