CN118115360A - 图像数据的多路处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像数据的多路处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；根据所述各路拆分后图像数据计算出图像调整参数；对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据。采用本方法能够在拼接大数据量时，能够保持图像数据的全局性和完整性，以满足图像和视频的相应的拍摄需求。

Description

图像数据的多路处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像数据的多路处理方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

景物通过镜头生成的光学图像投射到图像传感器表面，然后转为电信号，电信号通过模数转换成数字图像信号，再送到数字信号处理芯片中加工处理，以形成用户所看到的图像。

现有大尺寸图像传感器表面分辨率高(如CMOS的分辨率大于或等于1英寸)，数据量比较大，通过FPGA转接到智能芯片后，采用单路MIPI的数据接入，因而带宽有限，在拼接大数据量的图像数据时，可能会出现图像数据的全局特征丢失，以及图像数据显示不完整的情况。

发明内容

基于此，有必要针对上述技术问题，提供一种在拼接大数据量的图像时时，能够保持图像的全局性和完整性的多路处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种图像数据的多路处理方法。所述方法包括：

对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；

将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；

根据所述各路拆分后图像数据计算出图像调整参数；

对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据。

在其中一个实施例中，所述对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据，包括：

接收感光元件发送的图像数据；

当检测到所述图像数据超过所述智能芯片的带宽时，通过可编辑芯片对所述图像数据进行拆分，得到至少两路的所述拆分后图像数据。

在其中一个实施例中，所述通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据，包括：

通过所述智能芯片，分别转换各路所述拆分后图像数据在各个颜色通道的数据，得到各路所述拆分后图像数据的色度数据和亮度数据；

根据各路所述拆分后图像数据的色度数据和亮度数据，分别生成所述各路所述拆分后图像数据各自对应的转换后图像数据。

在其中一个实施例中，所述至少两路的拆分后图像数据包括第一路拆分后图像数据和第二路拆分后图像数据；所述通过所述智能芯片，分别转换各路所述拆分后图像数据在各个颜色通道的数据，得到各路所述拆分后图像数据的色度数据和亮度数据，包括：

通过所述智能芯片的第一图像信号处理器，对所述第一路拆分后图像数据的颜色通道值进行转换，得到第一路所述拆分后图像数据的第一色度分量、第二色度分量和亮度数据；

通过所述智能芯片的第二图像信号处理器，对所述第二路拆分后图像数据的颜色通道值进行转换，得到第二路所述拆分后图像数据的第一色度分量、第二色度分量和亮度数据。

在其中一个实施例中，所述对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，包括：

将所述至少两路转换后图像数据传输到第一图像信号处理器；控制所述第一图像信号处理器拼接所述至少两路转换后图像数据，得到拼接图像；

将所述至少两路转换后图像数据的图像调整参数传输到第一图像信号处理器；

控制所述第一图像信号处理器，按照所述至少两路转换后图像数据的图像调整参数对所述拼接图像进行调整，得到调整后的图像。

在其中一个实施例中，所述根据所述各路拆分后图像数据计算出图像调整参数，包括：

根据所述各路拆分后图像数据，统计曝光强度调整参数、焦距调整参数或颜色增益值的至少一种图像调整参数；

所述基于所述图像调整参数对拼接所得的结果进行调整，包括：

当所述图像调整参数包括所述曝光强度调整参数时，根据所述曝光强度调整参数对拼接所得的拼接图像进行曝光处理；

当所述图像调整参数包括焦距调整参数时，根据所述焦距调整参数对拼接所得的拼接图像进行对焦处理；

当所述图像调整参数包括所述颜色增益值时，根据所述颜色增益值对拼接所得的拼接图像进行白平衡处理。

在其中一个实施例中，所述对所述各路转换后图像数据进行图像拼接，包括：

从所述各路转换后图像数据中提取特征点；

对所述各路转换后图像数据中的特征点进行匹配，得到拼接位置；

按照所述拼接位置拼接所述各路转换后图像数据。

第二方面，本申请还提供了一种图像数据的多路处理装置。所述装置包括：

图像拆分模块，用于对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；

图像色彩转换模块，用于将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；

调整参数计算模块，用于根据所述各路拆分后图像数据计算出图像调整参数；

图像拼接与调整模块，用于对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意实施例中图像数据的多路处理的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意实施例中图像数据的多路处理的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意实施例中图像数据的多路处理的步骤。

上述图像数据的多路处理方法、装置、计算机设备、存储介质和计算机程序产品，对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；由此，通过不同于智能芯片的部件拆分图像数据，改变了原有的图像拆分策略，其优势涉及处理效率的增强、保留的图像特征较多，图像完整性较优等方面；而将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；根据所述各路拆分后图像数据计算出图像调整参数；由此，基于各路拆分后图像数据进行色彩空间转换，并基于各路拆分后图像数据计算图像调整参数，能够在保留的图像特征较多，图像完整性较优的前提下，实现同步处理；进而对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据，以汇总各路转换后图像数据和相应的图像调整参数，进行图像拼接和图像调整，以使得目标图像数据保留图像特征较多，且图像完整性较优。

附图说明

图1为一个实施例中图像数据的多路处理方法的应用环境图；

图2为一个实施例中图像数据的多路处理方法的流程示意图；

图3为一个实施例中图像数据的多路处理方法的应用环境图；

图4为一个实施例中图像数据的多路处理装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像数据的多路处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。

其中，终端102可以但不限于是各种相机、摄像机、摄像头、个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本方案可以单独依靠终端执行，也可以依靠服务器执行，还可以在终端和服务器的交互中执行。

在一个实施例中，如图2所示，提供了一种图像数据的多路处理方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：

步骤202，对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据。

获取到的图像数据包括至少一帧或多帧图像。当一帧图像的分辨率过高时，其具有较大的数据量，该数据量超过智能芯片所能够处理的预设数据量阈值，以至于直接依靠智能芯片无法拆分该帧图像，更无法对该帧图像进行多路处理。因而需要终端控制不同于智能芯片的部件，将拆分图像数据为至少两路的拆分后图像数据。依靠智能芯片无法拆分该帧图像的原因包括但不限于：处理效率过低、图像特征丢失、图像完整性较差等方面。

在一个可能的实施例中，在获取到的图像数据进行拆分过程中，会按照多种协议进行拆分，在图像数据的拆分过程中，还涉及图像数据的格式转换、协议转换等方面，进而保证上述拆分后图像数据能够符合智能芯片的图像处理规则。示例性地，智能芯片的图像处理规则可以是MIPI协议，也可以是MIPI协议中的MIPI CSI协议。

在一个实施例中，对获取到的图像数据进行拆分，包括：接收感光元件发送的图像数据；当检测到图像数据超过智能芯片的带宽时，通过可编辑芯片对图像数据进行拆分，得到至少两路的拆分后图像数据。

感光元件可以是摄像机采集图像的部件，感光元件所采集到的图像数据往往具有较大的数据量，即使是一帧图像数据，也需要进行拆分，以使智能芯片能够处理拆分后的图像数据。示例性地，图像数据是通过互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)采集的原始图像(RAW Image Format，RAW)；当一帧原始图像的规格为1英寸时，该帧原始图像无法通过智能芯片拆分为至少两路的拆分后图像数据。

可编辑芯片可以是如下芯片的一种或多种：只有与阵列可编程(ProgrammingArray Logic，PAL)；通用阵列逻辑器件(Generic Array Logic，GAL)；可编程逻辑阵列(Programming Logic Array，PLA)等。

在一个实施例中，可编辑芯片是现场可编程逻辑门阵列(Field ProgrammableGate Array，FPGA)；现场可编程逻辑门阵列具有至少两路速度超过2.0Gbits/s的高速MIPI信号接口，能够将原始数据拆分为至少两路的拆分后图像数据，且原始数据拆分之后，能够更好地保留图像特征，提高目标图像数据的完整性。

步骤204，将各路拆分后图像数据输入至智能芯片，并通过智能芯片对各路拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据。

智能芯片至少包括多个图像信号处理器(Image Signal Processing，ISP)与图像编码器。多个图像信号处理器分别用于对各路图像数据进行清晰度处理、色彩空间转换处理等图像处理，各个图像信号处理器分别具有相匹配的图像数据处理方式，使得处理后的图像数据在拼接时是连续的。而图像编码器用于对目标图像数据编码，以预览目标图像数据。示例性地，清晰度处理包括降噪，锐化，色彩增强等处理，以确保至少两路的拆分后图像数据在拼接时是连续的，避免至少两路的拆分后图像数据的颜色、亮度，或者边缘是无法对接的。

色彩空间转换处理，用于保障至少两路转换后图像数据在不同颜色的兼容性较高，以使各路转换后图像数据更好地保留图像特征，提高目标图像数据完整性。示例性地，至少两路转换后图像数据是将颜色通道值分解为亮度和两个色度的组合，通过亮度和两个色度这一组合，更好地保留图像特征，提高目标图像数据的完整性。

各路转换后图像数据是各个图像信号处理器进行色彩空间转换处理所得到的数据，各路转换后图像数据分别由各个图像信号处理器对各自对应的各路图像数据进行处理。各路转换后图像数据能够更好地保留图像特征，提高目标图像数据的完整性。

在一个实施例中，通过智能芯片对各路拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据，包括：通过智能芯片，分别转换各路拆分后图像数据在各个颜色通道的数据，得到各路拆分后图像数据的色度数据和亮度数据；根据各路拆分后图像数据的色度数据和亮度数据，分别生成各路拆分后图像数据各自对应的转换后图像数据。

在一个可选的实施例中，分别转换各路拆分后图像数据在各个颜色通道的数据，包括：将拆分后图像数据在各个颜色通道的亮度数据分别转换到色度数据和亮度数据。示例性地，将拆分后图像数据在各个颜色通道的亮度数据，按照预设的对应关系进行转换，得到色度数据和亮度数据。可选地，色度数包括两个色度分量；一个色度分量为黑色、一个色度分量为白色，以使各路转换后图像数据中的彩色新和黑白信息的兼容性更佳。

在一个可选地实施例中，根据各路拆分后图像数据的色度数据和亮度数据，分别生成各路拆分后图像数据各自对应的转换后图像数据，包括：将各路拆分后图像数据的色度数据和亮度数据，分别作为各路拆分后图像数据各自对应的转换后图像数据；或者，对各路拆分后图像数据的色度数据和亮度数据进行映射，将各路拆分后图像数据映射所得到的数据分别作为各路拆分后图像数据各自对应的转换后图像数据。

在一个具体的实施例中，至少两路的拆分后图像数据包括第一路拆分后图像数据和第二路拆分后图像数据；第一路拆分后图像数据与第二路拆分后图像数据是获取到的图像数据按照某种规则进行拆分所得到的数据，这两路数据在位置上是对称的。其中，该规则可以是位置上的规则，也可以是按照预设标识拆分图像数的规则。示例性地，位置上的规则可以是：将获取到的图像数据拆分为左右并排格式(Side-by-Side)，或者，上下并列格式(Top-and-Bottom)。

相对应的，通过智能芯片，分别转换各路拆分后图像数据在各个颜色通道的数据，得到各路拆分后图像数据的色度数据和亮度数据，包括：通过智能芯片的第一图像信号处理器，对第一路拆分后图像数据的颜色通道值进行转换，得到第一路拆分后图像数据的第一色度分量、第二色度分量和亮度数据；通过智能芯片的第二图像信号处理器，对第二路拆分后图像数据的颜色通道值进行转换，得到第二路拆分后图像数据的第一色度分量、第二色度分量和亮度数据。

颜色通道值是在RGB颜色空间中的色彩信息，该色彩信息是由红(R)、绿(G)、蓝(B)这三个颜色通道中的亮度数据所组成的；由于使用颜色通道值与灰度图的兼容性不佳，容易丢失图像特征，因此对该色彩信息进行色彩空间转换。

各路拆分后图像数据的第一色度分量、第二色度分量和亮度数据是不同于RGB颜色空间的第二色彩信息，第一色度分量和第二色度分量所形成的色度数据是一个维度，而亮度数据本身是另一个维度；由此，形成了兼容灰度图的色彩空间。示例性地，第一路拆分后图像数据的亮度数据用于表征灰度图，这一灰度图由第一色度分量和第二色度分量从不同色度进行调节。

而第一路拆分后图像数据与第二路拆分后图像数据，均属于各路拆分后图像数据。需要了解的是，当智能芯片的第一图像信号处理器和第二图像信号处理器进行同步处理时，能够更好地保留图像特征，提高目标图像数据完整性。

步骤206，根据各路拆分后图像数据计算出图像调整参数。

图像调整参数是依据各路拆分后图像数据计算的调整参数，用于对各路转换后图像数据进行调整，以使各路拆分后图像数据能够更好地确定图像特征，提高目标图像数据完整性。在一个实施例中，图像调整参数包括，曝光强度调整参数、焦距调整参数或颜色增益值的至少一种图像调整参数，这些调整参数分别用于从不同的角度调整图像。其中，图像调整参数与各路转换后图像数据可以是同步生成的，以保留图像特征，增加图像的完整性。

步骤208，对各路转换后图像数据进行图像拼接，并基于图像调整参数对拼接所得的结果进行调整，得到目标图像数据。

目标图像数据具有原始图像的全局特征，且具有较高的完整性。目标图像数据的完整性是指，各路转换后图像数据的内容信息不会随着图像拼接、拼接所得的结果调整而丢失。

在一个实施例中，根据各路拆分后图像数据计算出图像调整参数，包括：根据各路拆分后图像数据，统计曝光强度、焦距或颜色通道值的至少一种图像调整参数；相对应的，基于图像调整参数对拼接所得的结果进行调整，包括：当图像调整参数包括曝光强度调整参数时，根据曝光强度调整参数对拼接所得的拼接图像进行曝光处理；当图像调整参数包括焦距调整参数时，根据焦距调整参数对拼接所得的拼接图像进行对焦处理；当图像调整参数包括颜色增益值时，根据颜色增益值对拼接所得的拼接图像进行白平衡处理。

图像调整参数的统计过程是在智能芯片的各个图像处理器中运行的，而在统计并汇总到某一图像处理器后，才进行图像调整；由此，将图像调整参数的计算过程和图像的调整过程解耦，能够更好地保留图像特征，提高目标图像数据完整性。

在一个可选的实施例中，曝光强度是图像中的光线强度，其涉及感光度(ISO)、光圈及曝光时间，而这些数据组合得到曝光强度；可选地，根据各路拆分后图像数据，统计曝光强度，得到曝光强度调整参数，包括：确定与图像数据的拍摄场景对应的灰度调整数据，根据灰度调整数据确定显示器参数；根据显示器参数对各路拆分后图像数据中的曝光强度进行调整，得到曝光强度调整参数。示例性地，当灰度调整数据为0.18时，则显示器参数是2.2，某路拆分后图像数据中的曝光强度是50，其曝光强度调整参数为122。

在一个可选的实施例中，根据各路拆分后图像数据，统计焦距，得到焦距调整参数，包括：在不同位置和方向的虚拟镜头下，计算各路拆分后图像数据的统计信息(FocusValue，FV)；当统计信息最大时，确定虚拟镜头所在位置拍摄的焦距为焦距调整参数。

在一个可选的实施例中，根据各路拆分后图像数据，统计颜色通道，得到颜色通道的调整参数，包括：基于红色通道值、蓝色通道值，生成红色通道值、蓝色通道值相对应的调整参数；将红色通道值、蓝色通道值相对应的调整参数作为颜色通道的调整参数。

在一个实施例中，对各路转换后图像数据进行图像拼接，包括：从各路转换后图像数据中提取特征点；对各路转换后图像数据中的特征点进行匹配，得到拼接位置；按照拼接位置拼接各路转换后图像数据。

在一个可选地实施例中，从各路转换后图像数据中提取特征点，包括：分别将各路转换后图像数据转换为各路灰度图；按照预设频率采集各路灰度图中的特征点；其中，预设频率可用于表征各路灰度图进行特征点采集的精度，预设频率与特征点的数量正相关。可选地，预设频率是按照海塞矩阵阈值设定的。

在一个可选地实施例中，在各路转换后图像数据中，将进行拼接的两路转换后图像数据，分别确定为第一路转换后图像数据和第二路转换后图像数据；对应的，对各路转换后图像数据中的特征点进行匹配，得到拼接位置，包括：确定第一路转换后图像数据中的第一特征点；根据第一特征点在第一路转换后图像数据的第一特征点位置与特征点匹配距离，在第二路转换后图像数据中，确定第一特征点位置相关的第二特征点位置和第三特征点位置；根据第一特征点位置、第二特征点位置和第三特征点位置确定拼接位置。

上述根据第一特征点位置、第二特征点位置和第三特征点位置确定拼接位置，包括：计算第一特征点与第二特征点的第一间距，并计算第一特征点与第三特征点的第二间距，第一间距小于第二间距；根据第一间距与第二间距的比值是否在预设间距范围内，判断第一特征点和第二特征点是否匹配；当第一特征点和第二特征点匹配时，将匹配的第一特征点和第二特征点分别作为用于对拼接位置进行计算的匹配点集合中的特征点；根据匹配点集合配准第一路转换后图像数据和第二路转换后图像数据的拼接位置。

在一个可选地实施例中，根据匹配点集合配准第一路转换后图像数据和第二路转换后图像数据的拼接位置之前，该方法还包括：将匹配点集合中的特征点转换到同一坐标系，并确定匹配点集合中的特征点为相同规格。

在一个可选地实施例中，根据匹配点集合配准第一路转换后图像数据和第二路转换后图像数据的拼接位置，该方法包括：根据不同位置的映射投影矩阵，对第一路转换后图像数据进行转换，得到配准图；该配准图的位置是第一路转换后图像数据在二路转换后图像数据的拼接位置。

在一个可选地实施例中，按照拼接位置拼接各路转换后图像数据，包括：计算配准图在第二路转换后图像数据中的规格信息，根据该规格信息调整配准图。规格信息包括图像的长、宽等信息。

在一个可选地实施例中，按照拼接位置拼接各路转换后图像数据，还包括：按照配准图的宽度信息，确定配准图的各像素及各像素的颜色通道；根据配准图中的像素的颜色通道计算各像素的权重，按照各像素的权重对各路转换后图像数据进行加权处理，以更好地消除目标图像数据中的裂缝。

可选地，根据配准图中的像素的颜色通道计算各像素的权重，包括：根据目标像素的颜色通道判断目标像素是否表征预设颜色，该预设颜色可以是黑色；若根据目标像素的颜色通道，确定目标像素表征预设颜色，则保持目标像素的权重为预设权重，预设权重可以是1；若根据目标像素的颜色通道，确定目标像素并不用于表征预设颜色，则根据目标像素与配准图的边界之间的距离，计算目标像素的权重；其中，目标像素与配准图的边界之间的距离，以及目标像素的权重，是正相关的。

示例性地，根据目标像素与配准图的边界之间的距离，计算目标像素的权重，其表达式为：alpha＝(processWidth-(j-start))/processWidth；其中，alpha是目标像素的权重，processWidth是配准图的宽度信息，j表征目标像素的位置，start表征配准图的边界位置，(j-start)是目标像素与配准图的边界之间的距离。可选地，上述距离是根据坐标位置计算的。

在一个实施例中，按照各像素的权重对各路转换后图像数据进行加权处理，包括：确定各路转换后图像数据中的重叠区域，将重叠区域的像素值按各像素的权重融合，得到融合后的图像，融合后的图像是更好地去除了拼接缝隙的目标图像数据。

在一个实施例中，对各路转换后图像数据进行图像拼接，并基于图像调整参数对拼接所得的结果进行调整，包括：将至少两路转换后图像数据传输到第一图像信号处理器；控制第一图像信号处理器拼接至少两路转换后图像数据，得到拼接图像；将至少两路转换后图像数据的图像调整参数传输到第一图像信号处理器；控制第一图像信号处理器，按照至少两路转换后图像数据的图像调整参数对拼接图像进行调整，得到调整后的图像。

将各路转换后图像数据汇总到第一图像信号处理器，再通过第一图像信号处理器互相图像拼接，形成拼接图像；而与此同时，将至少两路转换后图像数据的图像调整参数传输到第一图像信号处理器。用这种方式进行同步处理，降低了图像拼接和调整过程的信息损失，能够使得该拼接图像能够保留图像特征，提高完整性。

而控制第一图像信号处理器，按照至少两路转换后图像数据的图像调整参数对拼接图像进行调整；由此，对拼接后的图像进行处理，能够增强图像特征，提高完整性。

上述图像数据的多路处理方法中，对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；由此，通过不同于智能芯片的部件拆分图像数据，改变了原有的图像拆分策略，其优势涉及处理效率的增强、保留的图像特征较多，图像完整性较优等方面；而将各路拆分后图像数据输入至智能芯片，并通过智能芯片对各路拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；根据各路拆分后图像数据计算出图像调整参数；由此，基于各路拆分后图像数据进行色彩空间转换，并基于各路拆分后图像数据计算图像调整参数，能够在保留的图像特征较多，图像完整性较优的前提下，实现同步处理；进而对各路转换后图像数据进行图像拼接，并基于图像调整参数对拼接所得的结果进行调整，得到目标图像数据，以汇总各路转换后图像数据和相应的图像调整参数，进行图像拼接和图像调整，以使得目标图像数据保留图像特征较多，且图像完整性较优。由此，能实现图像的拍照以及录像在某些方面的功能需求。

在一个实施例中，如图3所示的终端执行本方案，该终端是基于FPGA的图像处理方法，该方法包括：可编辑芯片接收由感光元件获取的原始图像，可编辑芯片将原始图像拆分成各路拆分后图像数据，各路拆分后图像数据可以是Side by Side格式或者Top&buttom格式；可编辑芯片将通过两路协议接口1、协议接口2(如MIPI CSI0、MIPI CSI1)，将各路拆分后图像数据分别输出到智能芯片(如安卓芯片)，智能芯片通过两路图像信号处理器对各路拆分后图像数据进行色彩空间转换处理，并汇总到第一路图像信号处理器中；由第一路图像信号处理器进行图像拼接和调整；在拼接所得的结果进行调整完毕后，进行编码或者预览。

其中，调整的过程是某一路图像信号处理器基于图像调整参数进行调整的，以实现自动对焦、自动曝光及自动白平衡处理；而图像调整参数是由各路图像信号处理器计算的；此外，由第二路图像信号处理器汇总到第一路图像信号处理器的数据，包括第二路图像信号处理器基于第二路拆分后图像数据生成的图像调整参数，以及，第二路图像信号处理器基于输入的某路拆分后图像数据生成的图像调整参数，以及该路拆分后图像数据所对应的转换后图像数据。

由此，本发明可以把大画幅的CMOS的图像数据(如1英寸)，通过两路协议接口(MIPI CSI)，接入到智能芯片(Android)的平台，使传输带宽超过10Gbits，图像在ISP处理过程中完成拼接，且进行了自动对焦、自动曝光及自动白平衡处理，能够保留图像特征以及图像完整性。实现图像的拍照以及录像在某些方面的功能需求。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像数据的多路处理方法的图像数据的多路处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像数据的多路处理装置实施例中的具体限定可以参见上文中对于图像数据的多路处理方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种图像数据的多路处理装置，包括：图像拆分模块402、图像色彩转换模块404、调整参数计算模块406和图像拼接与调整模块408，其中：

图像拆分模块402，用于对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；

图像色彩转换模块404，用于将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；

调整参数计算模块406，用于根据所述各路拆分后图像数据计算出图像调整参数；

图像拼接与调整模块408，用于对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据。

在其中一个实施例中，所述图像拆分模块402用于：接收感光元件发送的图像数据；当检测到所述图像数据超过所述智能芯片的带宽时，通过可编辑芯片对所述图像数据进行拆分，得到至少两路的所述拆分后图像数据。

在其中一个实施例中，所述图像色彩转换模块404用于：通过所述智能芯片，分别转换各路所述拆分后图像数据在各个颜色通道的数据，得到各路所述拆分后图像数据的色度数据和亮度数据；根据各路所述拆分后图像数据的色度数据和亮度数据，分别生成所述各路所述拆分后图像数据各自对应的转换后图像数据。

在其中一个实施例中，所述至少两路的拆分后图像数据包括第一路拆分后图像数据和第二路拆分后图像数据；所述图像色彩转换模块404具体用于：通过所述智能芯片的第一图像信号处理器，对所述第一路拆分后图像数据的颜色通道值进行转换，得到第一路所述拆分后图像数据的第一色度分量、第二色度分量和亮度数据；通过所述智能芯片的第二图像信号处理器，对所述第二路拆分后图像数据的颜色通道值进行转换，得到第二路所述拆分后图像数据的第一色度分量、第二色度分量和亮度数据。

在其中一个实施例中，所述图像拼接与调整模块408用于：将所述至少两路转换后图像数据传输到第一图像信号处理器；控制所述第一图像信号处理器拼接所述至少两路转换后图像数据，得到拼接图像；将所述至少两路转换后图像数据的图像调整参数传输到第一图像信号处理器；控制所述第一图像信号处理器，按照所述至少两路转换后图像数据的图像调整参数对所述拼接图像进行调整，得到调整后的图像。

在其中一个实施例中，所述调整参数计算模块406用于：根据所述各路拆分后图像数据，统计曝光强度调整参数、焦距调整参数或颜色增益值的至少一种图像调整参数；相对应的，所述图像拼接与调整模块408用于：当所述图像调整参数包括所述曝光强度调整参数时，根据所述曝光强度调整参数对拼接所得的拼接图像进行曝光处理；当所述图像调整参数包括焦距调整参数时，根据所述焦距调整参数对拼接所得的拼接图像进行对焦处理；当所述图像调整参数包括所述颜色增益值时，根据所述颜色增益值对拼接所得的拼接图像进行白平衡处理。

在其中一个实施例中，所述图像拼接与调整模块408用于：从所述各路转换后图像数据中提取特征点；对所述各路转换后图像数据中的特征点进行匹配，得到拼接位置；按照所述拼接位置拼接所述各路转换后图像数据。

上述图像数据的多路处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像数据的多路处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像数据的多路处理方法，其特征在于，所述方法包括：

对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；

将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；

根据所述各路拆分后图像数据计算出图像调整参数；

对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据。

2.根据权利要求1所述的方法，其特征在于，所述对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据，包括：

接收感光元件发送的图像数据；

当检测到所述图像数据超过所述智能芯片的带宽时，通过可编辑芯片对所述图像数据进行拆分，得到至少两路的所述拆分后图像数据。

3.根据权利要求1所述的方法，其特征在于，所述通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据，包括：

通过所述智能芯片，分别转换各路所述拆分后图像数据在各个颜色通道的数据，得到各路所述拆分后图像数据的色度数据和亮度数据；

根据各路所述拆分后图像数据的色度数据和亮度数据，分别生成所述各路所述拆分后图像数据各自对应的转换后图像数据。

4.根据权利要求3所述的方法，其特征在于，所述至少两路的拆分后图像数据包括第一路拆分后图像数据和第二路拆分后图像数据；所述通过所述智能芯片，分别转换各路所述拆分后图像数据在各个颜色通道的数据，得到各路所述拆分后图像数据的色度数据和亮度数据，包括：

通过所述智能芯片的第一图像信号处理器，对所述第一路拆分后图像数据的颜色通道值进行转换，得到第一路所述拆分后图像数据的第一色度分量、第二色度分量和亮度数据；

通过所述智能芯片的第二图像信号处理器，对所述第二路拆分后图像数据的颜色通道值进行转换，得到第二路所述拆分后图像数据的第一色度分量、第二色度分量和亮度数据。

5.根据权利要求1所述的方法，其特征在于，所述对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，包括：

将所述至少两路转换后图像数据传输到第一图像信号处理器；控制所述第一图像信号处理器拼接所述至少两路转换后图像数据，得到拼接图像；

将所述至少两路转换后图像数据的图像调整参数传输到第一图像信号处理器；

控制所述第一图像信号处理器，按照所述至少两路转换后图像数据的图像调整参数对所述拼接图像进行调整，得到调整后的图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述各路拆分后图像数据计算出图像调整参数，包括：

根据所述各路拆分后图像数据，统计曝光强度调整参数、焦距调整参数或颜色增益值的至少一种图像调整参数；

所述基于所述图像调整参数对拼接所得的结果进行调整，包括：

当所述图像调整参数包括所述曝光强度调整参数时，根据所述曝光强度调整参数对拼接所得的拼接图像进行曝光处理；

当所述图像调整参数包括焦距调整参数时，根据所述焦距调整参数对拼接所得的拼接图像进行对焦处理；

当所述图像调整参数包括所述颜色增益值时，根据所述颜色增益值对拼接所得的拼接图像进行白平衡处理。

7.根据权利要求1所述的方法，其特征在于，所述对所述各路转换后图像数据进行图像拼接，包括：

从所述各路转换后图像数据中提取特征点；

对所述各路转换后图像数据中的特征点进行匹配，得到拼接位置；

按照所述拼接位置拼接所述各路转换后图像数据。

8.一种图像数据的多路处理装置，其特征在于，所述装置包括：

图像拆分模块，用于对获取到的图像数据进行拆分，得到至少两路的拆分后图像数据；

图像色彩转换模块，用于将各路所述拆分后图像数据输入至智能芯片，并通过所述智能芯片对各路所述拆分后图像数据分别进行色彩空间转换处理，得到各路转换后图像数据；

调整参数计算模块，用于根据所述各路拆分后图像数据计算出图像调整参数；

图像拼接与调整模块，用于对所述各路转换后图像数据进行图像拼接，并基于所述图像调整参数对拼接所得的结果进行调整，得到目标图像数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。