CN114270799B - 相机装置以及相机装置的图像生成方法 - Google Patents

Abstract

根据一个实施方式的相机装置可以包括：图像传感器，其用于生成具有第一分辨率的第一拜耳数据；以及处理器，其用于通过使用第一拜耳数据输出具有第二分辨率的第二拜耳数据。

Description

相机装置以及相机装置的图像生成方法

技术领域

本发明涉及相机模块、包括该相机模块的移动终端装置以及图像生成方法，更具体地涉及用于使用深度学习算法从低分辨率图像生成高分辨率图像的技术。

背景技术

随着技术的进步，相机模块的小型化成为可能，并且小型相机模块已经被应用于各种IT装置例如移动电话和PDA以及包括智能电话的类似装置，并且已经被使用。这样的相机模块以诸如CCD和CMOS的图像传感器作为主要部件而制成，并且以使得能够进行焦点调整的方式被制造，从而控制图像的尺寸。

这样的相机模块被配置成包括多个透镜和致动器，并且致动器移动每个透镜以改变相对距离，从而使得可以以调整光学焦距的方式拍摄相对于物体的对象。

具体地，相机模块包括：用于将从外部接收到的光信号转换为电信号的图像传感器；用于将光聚集到图像传感器的透镜和红外(IR)滤光器；用于将它们包含在其中的壳体；以及用于处理图像传感器的信号的印刷电路板，并且通过诸如音圈马达(VCM)致动器或微机电系统(MEMS)致动器等的致动器来调整透镜的焦距。

同时，随着技术的进步，实现高分辨率图像成为可能，并且对能够从远处物体的拍摄图像实现高分辨率图像的技术的需求也在增加。

通常，相机配备有用于拍摄远处物体的变焦功能，并且变焦功能主要分为光学变焦方法和数字变焦方法，在光学变焦方法中，相机内的实际透镜移动以放大物体，数字变焦方法通过以下操作来获得变焦效果：使用数字处理方法来扩大和显示物体的拍摄图像数据的屏幕的一部分。

在使用透镜的移动获得物体的图像的光学变焦的情况下，可以获得具有相对高分辨率的图像，但是这具有以下问题：由于添加了零件，相机的内部结构变得复杂且成本增加。此外，可以使用光学变焦放大物体的区域受到限制，并且对于这部分，正在开发用软件等进行校正的技术。

除了这些方法之外，还存在通过移动相机的内部零件来生成更多像素信息以实现高分辨率图像的技术，比如用音圈马达(VCM)使传感器抖动的传感器移位技术或微机电系统(MEMS)技术、通过用VCM等使透镜抖动来获得像素信息的光学图像稳定器(OIS)技术以及使传感器与透镜之间的滤波器抖动的技术等。

然而，这些技术的缺点在于：它们合成多个视差的数据，因此当拍摄移动对象时，可能发生诸如运动模糊或伪像的现象，从而使得可能出现图像质量降低的问题。

此外，存在以下问题：当用于实现这的复杂装置被插入到相机中时，相机模块的尺寸增大，并且它难以在安装有相机的车辆中使用，因为它通过使零件抖动来实现，因此它只能在静止环境中被使用。

另一方面，使用通常被用在TV中的软件算法的高分辨率实现技术包括单帧超分辨率(SR)技术或多帧超分辨率(SR)技术。

尽管在这些技术的情况下不会出现伪像问题，但是该算法难以应用于可以应用小型相机模块的装置例如移动电话、车辆、IoT等，此外，存在以下问题：这样的技术在不安装单独的图像处理器的情况下难以实现。

发明内容

技术问题

因此，本发明是为了以下而设计的发明：解决如上所述的现有技术的问题，并且提供在不会引起诸如运动模糊或伪像的问题的情况下能够生成高分辨率图像的相机模块和包括该相机模块的移动终端装置。

具体地，它通过以下操作来提供能够更高效地生成高分辨率图像的相机模块和包括该相机模块的移动终端装置：将具有基于深度学习技术的高分辨率实现算法的芯片以即时(on-the-fly)形式安装在相机模块或配备有相机模块的移动终端装置上。

技术方案

根据实施方式的相机装置可以包括：图像传感器，其生成具有第一分辨率的第一拜耳数据；以及处理器，其基于第一拜耳数据执行深度学习以输出具有第二分辨率的第二拜耳数据，第二分辨率高于第一分辨率。

处理器可以通过针对每个波长波段布置第一拜耳数据来生成第一阵列数据，然后可以通过基于已经生成的第一阵列数据执行深度学习来生成第二阵列数据。

处理器可以基于第二阵列数据来生成第二拜耳数据。

处理器可以基于第二拜耳数据来生成具有第二分辨率的图像。

处理器可以包括：第一阵列数据单元，其生成第一阵列数据，在第一阵列数据中，针对每个波长波段布置第一拜耳数据；深度学习处理器，其基于第一阵列数据执行深度学习以输出第二阵列数据；以及第二阵列数据单元，其生成第二拜耳数据，在第二拜耳数据中，以拜耳图案布置第二阵列数据。

处理器可以包括：至少一个第一行缓存器，其针对每个行存储第一拜耳数据；第一数据对齐单元，其接收从第一行缓存器输出的信息并且生成针对每个波长波段布置的第一阵列数据；深度学习处理器，其基于第一阵列数据执行深度学习以生成第二阵列数据；第二数据对齐单元，其生成第二阵列数据，其中以拜耳图案布置第二阵列数据；至少一个第二行缓存器，其针对每个行存储已经从第二数据对齐单元输出的数据。

根据另一实施方式的用于生成相机装置的图像的方法可以产生以下步骤：生成具有第一分辨率的第一拜耳数据；生成针对每个波长波段对第一拜耳数据进行分类的第一阵列数据；通过基于第一阵列数据执行深度学习来生成第二阵列数据，以及基于第二阵列数据生成具有第二分辨率的第二拜耳数据，第二分辨率高于第一分辨率。

用于生成第二拜耳数据的步骤可以包括以下步骤：通过以拜耳图案进行布置来生成第二阵列数据。

在用于生成相机装置的图像的方法中，第一拜耳数据包括多个行数据，并且用于生成第一阵列数据的步骤可以包括以下步骤：基于通过预设的N+1行线输出的第一拜耳数据生成第一阵列数据。

用于通过预设的N+1行线进行输出的步骤可以包括以下步骤：依次存储接收的第一拜耳数据的多个行数据之中的N行数据，然后当发送第N+1行时一起输出N行数据。

有益效果

由于用于实现高分辨率的基于深度学习的算法使用帧缓存器，因此该算法难以在一般PC和服务器上实时运行，然而，根据实施方式的相机模块和包括该相机模块的移动终端装置以及图像生成方法的优点在于：它可以用具有相对小尺寸的芯片来实现，因为通过仅使用很少的行缓存器来实现高分辨率，并且以优化网络配置的方式生成高分辨率图像。

此外，由于应用了本技术的芯片可以被制造成小尺寸，因此它可以根据安装的装置的使用目的以各种方式被安装在各种位置处，从而可能增加设计的自由度。此外，由于不需要昂贵的处理器来执行现有的深度学习算法，因此可以更经济地生成高分辨率图像。

此外，由于本技术可以以能够被安装在图像传感器模块、相机模块和AP模块的任何位置处的方式来实现，因此可以通过将本技术应用于没有变焦的相机模块或仅支持特定放大率的固定变焦的相机模块来使用连续变焦功能。

此外，存在以下效果：通过将本技术应用于仅支持以特定放大率的光学方式的连续变焦的相机模块，可以在更宽的放大率范围内利用连续变焦功能。

此外，在生成高分辨率数据时，由于通过提高作为原始数据而不是RGB图像的拜耳数据的分辨率来执行数字变焦，因此可以获得具有高图像质量的高分辨率图像，因为与针对RGB图像提高分辨率的情况相比存在大量信息。此外，通过输出高分辨率拜耳数据，可以保持数据的线性，从而增强后处理过程中的图像处理的性能。

附图说明

图1是示出根据本发明的第一实施方式的相机模块的一些部件的框图。

图2是示出根据本发明的第一实施方式的图像生成单元的一些部件的图。

图3是示出根据本发明的第一实施方式的执行深度学习训练的过程的图。

图4是示出根据本发明的第一实施方式和另一实施方式的执行深度学习训练的过程的图。

图5是示出被输入至应用深度学习算法的处理器的信息和通过处理器输出的输出信息的图。

图6和图7是示出处理器将具有第一分辨率的第一拜耳图像转换为具有第二分辨率的第二拜耳图像的状态的图。

图8是示出根据本发明的第一实施方式的移动终端装置的一些部件的框图。

图9是示出根据本发明的第一实施方式的包括相机模块的移动终端装置的一些部件的框图。

图10是示出根据本发明的第一实施方式的另一实施方式的包括相机模块的移动终端装置的一些部件的框图。

图11是示出根据本发明的第一实施方式的另一实施方式的包括相机模块的移动终端装置的一些部件的框图。

图12是示出根据本发明的第一实施方式的用于生成图像的方法的序列的流程图。

图13是根据本发明的第二实施方式的图像处理装置的框图。

图14是根据本发明的第二实施方式的图像处理装置中包括的相机模块的框图。

图15是应用了根据本发明的第二实施方式的图像处理装置的配置的移动装置的框图。

图16是根据本发明的第二实施方式的另一实施方式的图像处理装置的框图。

图17是应用了根据本发明的第二实施方式的另一实施方式的图像处理装置的配置的移动装置的框图。

图18是用于说明在根据本发明的第二实施方式的图像处理装置中处理图像的过程的视图。

图19是根据本发明的第二实施方式的又一实施方式的图像处理装置的框图。

图20是根据本发明的第二实施方式的图像处理方法的流程图。

图21是根据本发明的第二实施方式的另一实施方式的图像处理方法的流程图。

具体实施方式

在本说明书中描述的实施方式和附图中示出的配置是所公开的发明的优选示例，并且在提交本申请时，可能存在可以替换本说明书的实施方式和附图的各种修改。

此外，本文中使用的术语用来描述实施方式，并且不旨在限定和/或限制所公开的发明。除非上下文另有明确说明，否则单数表达包括复数表达。

在本申请中，术语“包含”、“包括”或“具有”旨在指定说明书中描述的特征、数字、步骤、操作、部件、部分或其组合的存在，但并不事先排除存在或增加一个或更多个其他特征、数字、步骤、操作、部件、部分或其组合的可能性，并且在本说明书中使用的术语——包括诸如“第一”和“第二”的序数——可以用来描述各种部件，但是部件不受这些术语限制。

在下文中，将参照附图详细描述本发明的实施方式，从而使得本发明所属领域的技术人员可以容易地实践。此外，为了清楚地描述本发明，在附图中省略了与描述无关的部分。

图1至图12是根据本发明的第一实施方式的相机装置和用于生成相机装置的图像的方法的图，图13至图21是根据本发明的第二实施方式的图像处理装置和图像处理方法的图。

图1是示出根据本发明的第一实施方式的相机模块(100)的一些部件的框图；图2是示出根据本发明的第一实施方式的图像生成单元(200)的一些部件的图；图3是示出根据第一实施方式的由处理器(220)执行的深度学习过程的示例的图。

参照图1，根据实施方式的相机模块(100)包括获取外部物体的图像的图像传感器(110)以及将由图像传感器(110)获取的图像发送至图像生成单元(200)的发送单元(120)，图像生成单元(200)可以包括：接收单元(210)，其接收由发送单元(120)发送的图像并将该图像发送至处理器(220)；处理器(220)，其通过应用由于对来自接收单元(210)的接收图像执行深度学习训练而得出的算法来生成具有与接收图像的分辨率不同的分辨率的图像；以及输出单元(230)，其接收由处理器(220)生成的图像并将该图像发送至外部装置等，在此，由于执行深度学习训练而得出的算法可以是上述卷积神经网络。处理器(220)可以是使用基于深度学习的算法进行训练的处理器。它可以包括流水线处理器以及被训练成从第一拜耳数据生成第二拜耳数据的卷积神经网络。

具体地，图像传感器(130)可以包括诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的图像传感器，该图像传感器将通过相机模块的透镜(120)进入的光转换为电信号。

发送单元(120)可以将图像传感器(130)获取的图像发送至图像生成装置(200)的接收单元(210)。在图18中，尽管其被示出为与发送单元(120)和图像传感器(130)不同的部件，但是其不限于此，并且图像传感器(130)还可以同时执行稍后将描述的发送单元(120)的角色。

具体地，发送单元(120)可以从由图像传感器(130)获取的图像中提取拜耳图案的信息，然后将该信息发送至接收单元(210)。

图像生成单元(200)可以包括：发送单元(210)，其接收由发送单元(120)发送的图像并将该图像发送至处理器(220)；处理器(220)，其通过对从发送单元(210)接收的图像使用通过深度学习训练生成的算法来生成具有较高分辨率的图像；输出单元230，其接收由处理器(220)生成的图像并将该图像发送至外部装置；等等。

具体地，在从接收单元(210)接收到具有第一分辨率的拜耳图像之后，处理器(220)使用通过深度学习训练生成的算法来生成具有第二分辨率的拜耳图像，然后可以将所生成的第二拜耳图像发送至输出单元230。在此，第二分辨率是指具有与第一分辨率不同的分辨率值的分辨率，具体地，第二分辨率可以是指比第一分辨率更高或更低的分辨率。用户可以根据用户的目的自由地设置和改变第二分辨率可以具有的分辨率值。

因此，尽管在附图中未示出，但是根据实施方式的相机模块(100)还可以包括接收关于第二分辨率的信息的输入单元，并且用户可以将期望分辨率的信息输入到相机模块(100)中。

例如，如果用户想要获得具有高分辨率的图像，则用户可以将第二分辨率设置为与第一分辨率具有较大差值的分辨率，如果用户想要在相对短的时间内获取新图像，则可以将第二分辨率值自由地设置为与第一分辨率具有较小差值的分辨率。

此外，处理器(220)可以通过存储器(未示出)来实现，在该存储器中存储有通过处理器执行的至少一条程序指令。

具体地，存储器可以包括易失性存储器，例如S-RAM和D-RAM。然而，本发明不限于此，并且在一些情况下，存储器还可以包括非易失性存储器，例如闪存、只读存储器、可擦除可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM)等。

典型的相机装置或相机模块从图像传感器接收拜耳图案，并通过着色(颜色插值或去马赛克)处理以图像的形式输出数据，然而，根据实施方式的发送单元(120)可以从自图像传感器(130)接收的图像中提取包括拜耳图案信息的信息，并将所提取的信息发送至外部。

在此，拜耳图案可以包括由图像传感器(130)输出的原始数据，图像传感器(130)将相机装置或相机模块(100)中包括的光信号转换为电信号。

对此具体而言，通过相机模块(100)中包括的透镜(120)传输的光信号可以通过图像传感器中设置的能够检测R颜色、G颜色和B颜色的每个像素被转换为电信号。

假设相机模块(100)的规格是5百万像素，可以认为相机模块(100)包括图像传感器，该图像传感器包括能够检测R颜色、G颜色和B颜色的5百万像素。尽管像素的数目是5百万，但是该结构可以被视为仅检测黑白亮度的单色像素，而不是实际检测每种颜色与R滤光器、G滤光器和B滤光器中的任何一个相结合。

也就是说，在图像传感器中，R滤色器、G滤色器和B滤色器以特定图案被设置在按像素数目布置的单色像素单元上。因此，R颜色图案、G颜色图案和B颜色图案根据用户(即人)的视觉特性交叉布置，这被称为拜耳图案。

通常，与图像类型数据相比，拜耳图案具有更少的数据量。因此，即使安装有不具有高规格处理器的相机模块的装置可以相比于图像类型数据相对更快地发送和接收拜耳图案图像信息，并且基于此，存在可以被转换为具有各种分辨率的图像的优点。

例如，即使在相机模块被安装在车辆上并且相机模块使用全双工传输速率为100Mbit/s的低压差分信令(LVDS)的环境中，它也不会过载，因此它可能不会对使用车辆的驾驶员或驾驶员的安全构成安全危害，因为不需要很多处理器来处理图像。

此外，由于可以减小由车辆中的通信网络传输的数据的大小，因此即使将相机模块应用于自主车辆，也存在以下效果：可以根据部署在车辆中的多个相机的操作来消除由通信方法、通信速度等引起的问题。

此外，在将拜耳图案的图像信息发送至接收单元(210)时，发送单元(120)可以在从图像传感器(130)接收到拜耳图案类型帧之后发送已经被下采样至1/n大小的信息。

具体地，发送单元(120)可以在通过高斯滤波器等对在下采样之前接收到的拜耳图案的数据执行平滑之后执行下采样。此后，在基于经下采样的图像数据生成帧分组之后，可以将完成的帧分组发送至接收单元(210)。然而，这些功能可以在处理器(220)中同时被执行，而不是在发送单元(120)中被执行。

此外，发送单元(120)可以包括串行器(未示出)，该串行器将拜耳图案转换为串行数据，以便经由诸如低压差分信令方案(LVDS)的串行通信方案发送拜耳图案信息。

串行器通常可以包括临时存储数据的缓存器和形成传输数据的周期的锁相环(PLL)，或者可以一起被实现。

至此，已经描述了根据实施方式的相机模块(100)的一般部件。在下文中，将描述用于生成应用于处理器(220)的算法的方法及其特征。

应用于根据实施方式的相机模块(100)的处理器(220)的算法是生成比输入图像具有更高分辨率的图像的算法，并且该算法可以是指通过重复执行深度学习训练而生成的最优算法。作为通过深度学习训练而生成的算法的卷积神经网络可以被训练成：接收具有第一分辨率的第一拜耳数据并生成具有第二分辨率的第二拜耳数据。

深度学习有时被称为深入学习，深度学习是指与机器学习相关的一组算法，其通过几种非线性变换方法的组合来尝试高级抽象(抽象、概括大量数据或复杂材料中的关键内容或功能)。

具体地，深度学习是如下学习技术，该学习技术以计算机能够理解的形式来表达某个学习数据(例如，在图像的情况下，像素信息被表达为列向量)，以便将该学习技术应用于对许多研究的学习(如何创建更好的表示技术以及如何构建模型来学习它们)，并且深度学习可以包括诸如深度神经网络(DNN)、深度信念网络(DBN)等的学习技术。

例如，深度学习可以首先识别周围环境并将当前环境状态传送至处理器。处理器执行与此相对应的动作，并且环境根据该动作再次向处理器通知补偿值。然后，处理器采取使补偿值最大化的动作。通过该过程，可以重复地执行学习过程。

如前所述，在执行深度学习时使用的学习数据可以是在将具有较低实际分辨率的拜耳图像转换为具有较高分辨率的拜耳图像时获得的结果，或者可以是通过模拟获得的信息。

如果执行模拟处理，则可以通过根据模拟环境(图像的背景、颜色的类型等)调整数据来更快地获得数据。在下文中，通过图3和图4，将详细描述根据实施方式的用于生成应用于处理器(220)的算法的方法。

图3是示出根据实施方式的执行深度学习训练的过程的图，图4是示出根据另一实施方式的执行深度学习训练的过程的图。

图3的深度学习是应用深度神经网络(DNN)算法的深度学习，并且图3是示出在应用DNN算法时生成具有新分辨率的图像的过程的图。

深度神经网络(DNN)可以被指定为：在输入层与输出层之间存在多个隐藏层的深度神经网络；卷积神经网络，其形成神经元之间的连接模式，类似于动物视觉皮层的结构；神经元之间的连接模式，类似于动物视觉皮层的结构；以及循环神经网络，其随着时间每个时刻建立神经网络。卷积神经网络可以是完全卷积网络(FCN)、U-Net、MobileNet、残差密集网络(RDN)和残差通道注意网络(RCAN)中的至少一个的模型。此外，很自然地，有各种模型可用。

具体地，DNN通过以下操作对神经网络进行分类：通过重复卷积和子采样来减少和扭曲数据量。也就是说，DNN通过特征提取和分类动作输出类结果，并且DNN主要用于图像分析和卷积手段图像滤波。

参照图3，当描述由应用了DNN算法的处理器(220)正在执行的处理时，处理器(220)基于从接收单元(210)接收的具有第一分辨率的拜耳图像(10)对区域执行卷积和子采样以增加放大率。

增加放大率是指仅扩大由图像传感器(130)获取的图像的特定部分。因此，由于未被用户选择的部分是用户不感兴趣的部分，因此不需要执行增加分辨率的处理，并且可以仅对由用户选择的部分执行卷积和子采样。

子采样是指减小图像尺寸的过程。作为示例，子采样可以使用最大池化方法(MaxPool method)。Max-Pull是在相应区域中选择最大值的技术，类似于神经元如何响应于最大信号。子采样具有降低噪声和提高学习速度的优点。

当执行卷积和子采样时，如图3所示，可以输出多个图像(20)。此后，可以基于输出的图像使用放大方法来输出具有不同特征的多个图像。放大方法是指使用彼此不同的r²个滤波器将图像增大r*r倍。

当根据如图3所示的放大输出多个图像(30)时，处理器(220)可以基于这样的图像重新组合，以最终输出具有第二分辨率的第二拜耳图像(40)。

图4的深度学习是示出以与图3的深度学习不同的方式执行深度学习的方法的图，具体地，图4是说明生成通过迭代学习形成的算法的过程的图。

在根据图4的深度学习的情况下，在接收到具有彼此不同的分辨率的第一样本数据(X)和第二样本数据(Z)之后，可以基于此执行深度学习训练。

具体地，根据图4的深度学习可以生成如下算法，该算法基于通过比较和分析第二样本数据(Z)和输出数据(Y)而生成的参数来生成具有更高分辨率的图像，输出数据(Y)已经经受了使用第一样本数据(X)作为输入数据的深度学习训练。

在此，输出数据(Y)是通过实际深度学习输出的数据，而第二样本数据(Z)是用户输入的数据，第二样本数据(Z)可以是指当第一样本数据(X)已经被输入至算法时可以最理想地输出的数据。

因此，根据图4的算法将作为输出结果的最理想数据的第二样本数据(Z)和作为实际输出数据的第一输出数据(Y)进行比较和分析以得出差值，然后以偏移差值的方式向算法提供反馈。

具体地，在对影响输出数据的参数进行分析之后，以改变或删除参数或生成新参数的方式提供反馈，使得可以消除作为理想输出数据的第二样本数据(Z)与作为实际输出数据的第一输出数据(Y)之间的差异。

例如，如图4所示，假设存在影响算法的总共三个层(L1,L2,L3)，并且在每个层中存在总共八个参数(P11,P12,P13,P21,P22,P31,P32)。

在这种情况下，当以增加P22的参数值的方式改变参数时，如果作为实际输出的数据的第一输出数据(Y)与作为最理想输出数据的第二样本数据(Z)之间的差值增加，则反馈可以以减小P22的参数的方式改变算法。

相反，当以增加P33的参数值的方式改变参数时，如果作为实际输出的数据的第一输出数据(Y)与作为最理想输出数据的第二样本数据(Z)之间的差值减小，则反馈可以以增加P33的参数的方式改变算法。

也就是说，通过该方法，应用了深度学习的算法可以允许实际被输出的第一输出数据(Y)类似于作为最理想输出数据的第二样本数据(Z)被输出。

在这种情况下，第二样本数据(Z)的分辨率可以与第一输出数据(Y)的分辨率相同或高于第一输出数据(Y)的分辨率，并且第二样本数据(Z)的分辨率可以与第一输出数据(Y)的分辨率相同。

通常，为了用小芯片实现能够深度学习的处理器，深度学习的过程和存储器门的数目应当被最小化，在此，对门的数目有很大影响的因素是算法的复杂度和每时钟处理的数据量，并且由处理器处理的数据量取决于输入分辨率。

因此，为了减少门的数目，根据实施方式的处理器(220)以在降低输入分辨率之后执行放大的方式以较高放大率生成图像，因此存在能够更快地创建图像的优点。

例如，如果输入分辨率为8Mp(百万像素)的图像需要2倍缩放，则通过基于1/4区域(2Mp)将宽度和长度各自放大2倍来执行2倍缩放。然后，将1/4区域(2Mp)缩小1/4，并在使用分辨率为0.5Mp的图像作为输入数据进行深度学习处理之后，如果以基于所生成的图像分别放大宽度和长度的方式执行4倍缩放，则可以生成与2倍缩放相同区域的缩放图像。

因此，根据实施方式的相机模块(100)和用于生成图像的方法以如下方式生成图像：深度学习在学习到与分辨率损失相对应的一样多的放大率之后生成图像，以防止由于输入分辨率的损失而导致的性能劣化，因此存在可以使性能劣化最小化的优点。

此外，用于实现高分辨率图像的基于深度学习的算法通常使用帧缓存器，但是在帧缓存器的情况下，由于其特性，在一般的PC和服务器中可能难以实时操作。

然而，根据实施方式的处理器(220)应用已经通过深度学习生成的算法，因此可以容易地应用于低规格相机模块和包括该低规格相机模块的各种装置，并且在具体应用这样的算法时，由于通过仅使用很少的行缓存器来实现高分辨率，因此还存在用具有相对小尺寸的芯片来实现处理器的效果。

图5是示出根据实施方式的处理器(220)的一些部件的框图。

参照图5，根据实施方式的处理器可以包括：接收第一拜耳数据的多个行缓存器(11)；第一数据对齐单元(221)，其通过针对每个波长带布置通过行缓存器输出的第一拜耳数据来生成第一阵列数据；深度学习处理器(222)，其根据预设算法执行深度学习；第二数据对齐单元(223)，其通过以拜耳图案布置通过深度学习处理器(222)输出的第二阵列数据来生成第二拜耳数据；以及多个行缓存器(12)，其输出通过第二数据对齐单元(223)输出的第二拜耳数据。

第一拜耳数据是包括先前描述的拜耳图案的信息，尽管它在图5中被描述为拜耳数据，但它可以被定义为拜耳图像或拜耳图案。

此外，在图5中，为方便起见，第一数据对齐单元(221)和第二数据对齐单元(223)被示出为单独的部件，但不限于此，并且深度学习处理器(222)还可以执行由第一数据对齐单元(221)和第二数据对齐单元(223)一起执行的功能，这将在稍后描述。

参照图5，具有第一分辨率的第一拜耳数据——其是由用户选择的区域的并由图像传感器(110)接收到的图像信息——可以被发送至(n+1)个行缓存器(11a,11b,～11n,11n+1)。如前所述，由于仅针对由用户选择的区域生成具有第二分辨率的拜耳图像，因此未被用户选择的区域的图像信息不会被发送至行缓存器(11)。

具体地，第一拜耳数据包括多个行数据，并且多个行数据可以通过多个行缓存器(11)被发送至第一数据对齐单元(221)。

例如，如果深度学习处理器(222)要执行深度学习的区域是3×3区域，则总共三个行必须同时被发送至第一数据对齐单元(221)或处理器(220)，从而使得可以执行深度学习。因此，关于三个行之中的第一行的信息被发送至第一行缓存器(11a)，然后被存储在第一行缓存器(11a)中，并且关于三个行之中的第二行的信息可以被发送至第二行缓存器(11b)，然后被存储在第二行缓存器(11b)中。

此后，在第三行的情况下，由于不存在之后接收到的关于该行的信息，因此它可以不被存储在行缓存器(11)中并且可以直接被发送至处理器(220)或第一数据对齐单元(221)。

此时，由于第一数据对齐单元(221)或处理器(220)必须同时接收关于三个行的信息，已经存储在第一行缓存器(11a)和第二行缓存器(11b)中的关于第一行的信息和关于第二行的信息也可以同时被发送至处理器(220)或第一图像对齐单元(219)。

反之，如果深度学习处理器(222)要执行深度学习的区域是(N+1)×(N+1)，则仅当总共(N+1)个行同时发送至第一数据对齐单元(221)或处理器(220)时，才可以执行深度学习。因此，关于(N+1)个行之中的第一行的信息可以在被发送至第一行缓存器(11a)之后被存储在第一行缓存器(11a)中；关于(N+1)个行之中的第二行的信息可以在被发送至第二行缓存器(11b)之后被存储在第二行缓存器(11b)中；并且关于(N+1)个行之中的第N行的信息可以在被发送至第N行缓存器(11n)之后被存储在第N行缓存器(11n)中。

此后，在第(N+1)行的情况下，由于不存在此后接收到的关于该行的信息，因此它可以不被存储在行缓存器(11)中并且可以直接被发送至处理器(220)或第一数据对齐单元(221)，如前所述，此时，由于第一数据对齐单元(221)或处理器(220)必须同时接收关于N+1行的信息，因此已经存储在行缓存器(11a～11n)中的关于第一行至第n行的信息也可以同时被发送至处理器(220)或第一图像对齐单元(219)。

在从行缓存器(11)接收到拜耳数据之后，第一图像对齐单元(219)通过针对每个波长带布置拜耳数据来生成第一阵列数据，然后可以将第一阵列数据发送至深度学习处理器(222)。

第一图像对齐单元(219)可以生成第一阵列数据，通过将接收到的信息分类为特定波长或者红色、绿色或蓝色的特定颜色来布置第一阵列数据。

此后，深度学习处理器(222)可以通过以下操作来生成第二阵列数据：基于已经通过第一图像对齐单元(219)接收的第一阵列数据来执行深度学习。

具体地，如先前通过图3和图4描述的，执行深度学习可以是指以下过程：通过推理或迭代学习生成算法以生成最优算法，但是同时，执行通过这些过程生成的算法也可以说是执行深度学习。

因此，深度学习处理器(222)可以通过以下操作来生成具有第二分辨率的第二阵列数据：基于已经通过第一图像对齐单元(219)接收的第一阵列数据来执行深度学习，第二分辨率具有比第一分辨率更高的分辨率。

例如，如前所述，如果针对3×3区域接收第一阵列数据，则对3×3区域执行深度学习，如果针对(n+1)×(n+1)区域接收第一阵列数据，则可以对(n+1)×(n+1)区域执行深度学习。

此后，由深度学习处理器(222)生成的第二阵列数据被发送至第二数据对齐单元(223)，并且第二数据对齐单元(223)可以将第二阵列数据转换为具有拜耳图案的第二拜耳数据。

此后，经转换的第二拜耳数据通过多个行缓存器(12a)被输出至外部，并且已经被输出的第二拜耳数据可以通过另一处理被生成为具有第二分辨率的图像，第二分辨率是比第一分辨率更高的分辨率。

图6和图7是示出具有第一分辨率的图像的第一拜耳图像被处理器(220)转换为具有第二分辨率的第二拜耳图像的状态的图。

当用户从具有第一分辨率的拜耳图像(10)中选择特定区域时，处理器(220)可以对该区域执行图像转换处理，因此，如图6和图7所示，可以生成具有第二分辨率的拜耳图像(40)。

图8是示出根据实施方式的移动终端装置(400)的一些部件的框图。

参照图8，根据实施方式的移动终端装置(400)可以包括滤光器(110)、透镜(120)、图像传感器(130)、发送单元(140)、驱动器IC(150)、致动器(160)、接收单元(210)、处理器(220)、输出单元(230)和包括ISP(310)的AP(300)。

图像传感器(130)、发送单元(140)、接收单元(210)、处理器(220)和输出单元(230)是起到与图1和图2中描述的配置相同作用的部件，将省略对此的描述。

滤光器(110)用于选择性地阻挡从外部引入的光，并且通常它可以位于透镜(120)的上侧上。

透镜(120)是将诸如玻璃的透明材料的表面精细研磨成球形以收集来自对象的光或使来自对象的光转向以形成光学图像的装置，相机模块(100)中使用的典型透镜(120)可以包括具有彼此不同的特征的多个透镜。

驱动器IC(150)是指将驱动信号和数据作为电信号提供给面板以使得文本或视频图像可以被显示在屏幕上的半导体IC，尽管稍后将对其进行描述，但是驱动器IC可以被设置在移动终端装置(400)的各种位置处。此外，驱动器IC(150m驱动器IC)可以驱动致动器(160)。

致动器可以通过调整透镜或包括透镜的镜筒的位置来调整焦点。例如，致动器(160)可以是音圈马达(VCM)方法。透镜(120)还可以包括变焦距透镜。如果包括变焦距透镜，则驱动器IC可以驱动变焦距透镜。例如，透镜可以包括含有液体的液体透镜，并且在这种情况下，驱动器IC可以通过调整液体透镜中的液体来调整焦点。

应用处理器AP(300)是用于移动装置的存储器芯片，并且是指负责移动终端装置(400)中的各种应用操作和图形处理的核心半导体。AP(300)可以以片上系统SoC的形式来实现，其包括计算机的中央处理单元(CPU)的功能和控制存储器、硬盘、图形卡和其他设备的连接的芯片组的功能两者。

图像信号处理单元(ISP,300)可以使用移动工业处理器接口MIPI通信来接收由处理器(220)生成的第二拜耳图像，并且执行图像信号处理过程。

图像信号处理单元(300)可以在处理图像信号时包括多个子处理。例如，对于接收到的图像，所述多个子处理可以包括伽马校正、颜色校正、自动曝光校正和自动白平衡中的一个或更多个。图9至图11是示出其中驱动器IC(150)和处理器(220)可以被设置在移动终端装置(400)中的各种实施方式的框图。

图9至图11中示出的每个部件先前已经详细地被描述，并且将不再被描述，而是将集中于驱动器IC(150)和处理器(220)可以被设置的位置来进行说明。

在一个实施方式中，如图7所示，驱动器IC(150)和处理器(220)可以独立地被实现为相机模块(100)内的单独模块。

具体地，处理器(220)可以以芯片的形式被实现并且被包括在图像生成单元(200)中，并且驱动器IC(150)可以独立于图像生成单元(200)和处理器(220)被实现为单独芯片。

在图9中，图像生成单元(200)被示出为包括接收单元(210)、处理器(220)和输出单元(230)，但不限于此，并且图像生成单元(200)仅包括处理器(220)，处理器(220)可以同时执行先前描述的接收单元(210)和输出单元(230)的角色。

当以与图9相同的形式实现驱动器IC(150)和处理器(220)时，由于可以以将用图像生成单元(200)实现的芯片插入到现有相机模块中的方式来应用本技术，因此无论现有相机模块的结构如何，都具有可以实现本技术的效果。

在另一实施方式中，如图8所示，驱动器IC(150)和处理器(220)可以一起被实现为相机模块(100)中包括的图像生成单元(200)内的单个模块。

具体地，图像生成单元(200)可以被实现为单个芯片，并且在这种情况下，图像生成单元(200)可以同时执行驱动器IC(150)和处理器(220)的角色。

在图10中，图像生成单元(200)被示出为包括接收单元(210)、处理器(220)和输出单元(230)，但不限于此，图像生成单元(200)仅包括处理器(220)和驱动器IC(150)，并且处理器(220)可以同时执行如前所述的接收单元(210)和输出单元(230)以及驱动器IC(150)的角色。

当以与图10相同的形式实现驱动器IC(150)和处理器(220)时，可以通过使用单个芯片来同时执行驱动器IC(150)的角色和处理器(220)的角色，因此存在可以更经济地制造相机模块(100)的效果。

在另一实施方式中，对于驱动器IC(150)和处理器(220)，如图9所示，驱动器IC(150)可以安装在相机模块(100)内部，并且处理器(220)可以与相机模块(100)分离地设置在移动终端装置(400)内部。

具体地，处理器(220)可以以芯片的形式被实现并且被包括在图像生成单元(200)中，驱动器IC(150)可以被设置在相机模块(100)内部，同时驱动器IC(150)独立于图像生成单元(200)和处理器(220)被实现。

在图11中，图像生成单元(200)被示出为包括接收单元(210)、处理器(220)和输出单元(230)，但不限于此，图像生成单元(200)仅包括处理器(220)，并且处理器(220)可以同时执行如前所述的接收单元(210)和输出单元(230)的角色。

当以与图11相同的形式实现驱动器IC(150)和处理器(220)时，可以以将用图像生成单元(200)实现的芯片插入到现有相机模块中的方式来实现本技术，因此无论现有相机模块的结构如何，都具有可以实现本技术的优点。此外，与高图像传感器相比，存在减小模块本身的厚度的效果。

图12是示出根据实施方式的用于生成图像的方法的序列的流程图。

参照图12，可以从图像传感器(130)接收具有第一分辨率的第一拜耳图像。(S110)

此后，可以从用户接收关于第二分辨率的信息。尽管附图中未示出，但是可以通过单独的输入装置从用户接收关于第二分辨率的信息。(S120)

如果从用户接收到关于第二分辨率的信息，则可以使用通过深度学习生成的算法来生成第二拜耳图像，以生成具有由用户设置的第二分辨率的拜耳图像。(S130，S140)

通过附图，已经描述了相机模块(100)和包括相机模块(100)的移动终端装置(400)以及用于生成图像的方法。

在用于实现高分辨率的基于深度学习的算法的情况下，如果使用帧缓存器，则存在在一般PC和服务器中难以实时操作的问题。然而，根据实施方式的相机模块和包括该相机模块的移动终端装置以及用于生成图像的方法通过仅使用很少的行缓存器来实现高分辨率，因此存在可以用具有相对小尺寸的芯片来实现的优点。

此外，由于应用本技术的芯片可以以小尺寸被制造，因此芯片可以根据要安装的装置的使用目的以各种方式被安装在各种位置处，从而增加设计的自由度，并且存在以下优点：使用嵌入有通过深度学习生成的算法的处理器，从而使得不需要昂贵的处理器，因此可以更经济地生成高分辨率图像。

此外，由于可以通过在相机模块上安装简单的芯片来实现该技术，因此可以通过将该技术应用于不具有变焦功能的相机模块或仅支持特定放大率的固定变焦的相机模块来使用连续变焦功能。

此外，还通过将本技术应用于仅支持特定放大率的光学变焦的相机模块，存在在更宽的放大率范围内利用连续变焦功能的效果。此外，通过使用学习到的卷积神经网络输出的第一拜耳数据被输入至图像信号处理单元。可以通过执行AP的图像信号处理单元的去马赛克RGB转换来生成RGB图像。

从第一拜耳数据生成第二拜耳数据的处理器可以被实现在图像信号处理单元(AP的软件逻辑，即，ISP的前端处的预处理逻辑)的前端处，可以被实现为单独的芯片或者可以被实现在相机模块内。

作为原始数据的拜耳数据具有10位或更高的位分辨率，而在经受了ISP图像处理的RGB数据的情况下，由于在ISP处发生诸如噪声/伪像减少和压缩的数据丢失，RGB数据为8位，因此它包含的信息显著减少。此外，ISP包括诸如色调映射的非线性处理，使得难以处理图像恢复，然而，拜耳数据具有与光成比例的线性，因此可以容易地处理图像恢复。此外，在信噪比(PSNR)的情况下，当使用相同的算法时，使用拜耳数据与使用RGB数据相比时信噪比也高出约2dB至4dB，并且通过此，可以有效地处理在AP中执行的诸如多帧去噪或SR。也就是说，通过使用拜耳数据，可以增强高分辨率转换的性能，并且由于输出拜耳数据，还可以增强AP的附加图像处理性能。

如前所述，参照图1至图12，已经描述了根据本发明的第一实施方式的相机装置和用于生成相机装置的图像的方法。在下文中，参照图13至图18，将描述根据本发明的第二实施方式的图像处理装置和用于处理图像的方法。根据本发明的第二实施方式的图像处理装置和用于处理图像的方法的详细描述基于每个实施方式的详细描述，并且可以与根据本发明的第一实施方式的成像过程、相机模块、图像生成单元、成像装置、移动终端装置、相机装置和用于成像的方法以及名称、术语和功能相同或不同。

图13是根据本发明的第二实施方式的图像处理装置(1130)的框图。根据本发明的第二实施方式的图像处理装置(1130)包括相机模块(1110)和AP模块(1120)，AP模块(1120)包括第一处理单元(1121)和第二处理单元(1122)。此外，它还可以包括一个或更多个处理器或者一个或更多个存储器或通信单元。图像处理装置(1130)是指包括用于处理图像的功能的装置，并且可以是指任何一种电子装置，例如包括从用于处理图像的模块到图像处理单元的移动终端。

相机模块(1110)包括图像传感器。

更具体地，相机模块(1110)输出来自图像传感器的第一分辨率的拜耳数据。如图14所示，相机模块(1110)可以包括透镜(1111)、图像传感器(1112)、其上安装有图像传感器(1112)的传感器板(1113)以及用于向外部发送数据和从外部接收数据的连接器(1114)。上述部件可以形成为单个模块。也就是说，作为与除了相机模块之外的部件相区分的独立装置，它可以以向其他模块发送数据和从其他模块接收数据的形式被实现。

透镜(1120)是将诸如玻璃的透明材料的表面精细研磨成球形以收集来自对象的光或使来自对象的光转向以形成光学图像的装置，相机模块(1100)中使用的典型透镜(1111)可以包括具有彼此不同的特征的多个透镜。起到选择性地阻挡来自外部的光的作用的滤光器可以形成在透镜(1111)的上侧上。

图像传感器(1112)可以包括诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)的图像传感器，其将通过相机模块的透镜进入的光转换为电信号。图像传感器(1112)可以从所获取的图像通过滤色器生成包括拜耳图案的信息的拜耳数据。拜耳数据可以具有根据图像传感器(1112)的规格或在生成相应图像时设置的缩放放大率的第一分辨率。图像传感器(1112)可以形成在传感器板(1113)上。透镜(1111)也可以形成在传感器板(1113)上。

通过透镜(1111)传输的光信号可以通过图像传感器(1112)中设置的能够检测R颜色、G颜色和B颜色的每个像素被转换为电信号。假设相机模块(1110)的规格是5百万像素，可以认为相机模块(1110)包括图像传感器(1112)，图像传感器(1112)包括能够检测R颜色、G颜色和B颜色的5百万像素。尽管像素的数目是5百万，但是该结构可以被视为仅检测黑白亮度的单色像素，而不是实际检测每种颜色与R滤光器、G滤光器和B滤光器中的任何一个相结合。也就是说，在图像传感器(1112)中，R滤光器、G滤光器和B滤光器以特定图案被设置在按像素数目布置的单色像素单元上。因此，R颜色图案、G颜色图案和B颜色图案根据用户(即人)的视觉特性被交叉布置，这被称为拜耳图案。通常，拜耳图案具有比图像类型数据更小的数据量。因此，即使安装有不具有高规格处理器的相机模块(1110)的装置可以相比于图像类型数据相对更快地发送和接收拜耳图案图像信息，并且基于此，存在可以被转换为具有各种分辨率的图像的优点。

例如，即使在相机模块(1110)安装在车辆上并且相机模块(1110)使用全双工传输速率为100Mbit/s的低压差分信令(LVDS)的环境中，它也不会过载，因此它可能不会对使用车辆的驾驶员或驾驶员的安全构成安全危害，因为不需要很多处理器来处理图像。此外，由于可以减小由车辆中的通信网络传输的数据的大小，因此即使将其应用于自主车辆，也存在以下效果：可以根据部署在车辆中的多个相机的操作来消除由通信方法、通信速度等引起的问题。

此外，在将具有拜耳图案的拜耳数据发送至第一处理单元(1121)时，图像传感器(1112)可以在将拜耳图案形状的帧下采样到1/n的大小之后发送数据。可以在通过高斯滤波器等对在下采样之前接收到的拜耳图案的数据执行平滑之后来执行下采样。此后，在基于下采样的图像数据生成帧分组之后，可以将已经完成的帧分组发送至第一处理单元(1121)。然而，该功能可以在第一处理单元(1121)中而不是在图像传感器中被执行。

此外，图像传感器(1112)可以包括串行器(未示出)，该串行器将拜耳图案转换为串行数据，以便经由诸如低压差分信令方案(LVDS)的串行通信方案发送拜耳图案信息。串行器通常可以包括临时存储数据的缓存器和形成传输数据的周期的锁相环(PLL)，或者可以一起被实现。

连接器(1114)将由相机模块(1110)生成的数据输出至外部或者从外部接收数据。连接器(1114)可以形成为通信单元或者可以形成为通信线或数据线。连接器(1114)可以将由图像传感器(1112)生成并输出的拜耳数据发送至第一处理单元(1121)。在此，形成为连接至外部的线路的连接器(1114)可以被实现为移动工业处理器接口MIPI。MIPI是构成移动装置的每个部件之间的接口，并且包括作为具有增强的可重用性和兼容性的接口的显示串行接口DSI和相机串行接口CSI。相机模块(1110)的连接器(1114)可以被实现为CSI。

相机模块(1110)还可以包括驱动器IC和致动器。

驱动器IC是指将驱动信号和数据作为电信号提供给面板以使得文本或视频图像可以被显示在屏幕上的半导体IC，并且可以被设置在移动终端装置的各种位置处。此外，驱动器IC可以驱动致动器。致动器可以通过调整透镜或包括透镜的镜筒的位置来调整焦点。例如，致动器可以是音圈马达(VCM)方法。此时，透镜还可以包括变焦距透镜。如果包括变焦距透镜，则驱动器IC可以驱动变焦距透镜。例如，透镜可以包括含有液体的液体透镜，并且在这种情况下，驱动器IC可以通过调整液体透镜中的液体来调整焦点。

AP模块(1120)接收从相机模块(1110)输出的第一输出数据。

更具体地，AP模块(1120)从相机模块(1110)接收从图像传感器(1112)输出的第一拜耳数据。应用处理器AP(120)是用于移动装置的存储器芯片，并且当图像处理装置(1130)是移动装置时，应用处理器AP(120)是指负责移动装置中的各种应用操作和图形处理的核心半导体。AP模块(1120)可以以片上系统SoC的形式被实现，其包括计算机的中央处理单元(CPU)的所有功能以及控制诸如存储器、硬盘、图形卡等的其他设备的连接的芯片组的功能。

AP模块(1120)包括第一处理单元(1121)和第二处理单元(1122)。

第一处理单元(1121)使用具有第一分辨率的第一拜耳数据来生成具有第二分辨率的第二拜耳数据。

更具体地，第一处理单元(1121)提高拜耳数据的分辨率，拜耳数据是由图像传感器(1112)生成并输出的图像数据。也就是说，从第一分辨率的第一拜耳数据生成第二分辨率的第二拜耳数据。在此，第二分辨率是指具有与第一分辨率不同的分辨率值的分辨率，并且第二分辨率可以高于第一分辨率。第一分辨率可以是由相机模块(1110)输出的拜耳数据的分辨率，并且第二分辨率可以根据用户设置而改变或者可以是预设分辨率。在此，图像传感器(1112)可以是RGB图像传感器。

图像处理装置(1130)还可以包括从用户接收关于分辨率的信息的输入单元(未示出)。用户可以通过输入单元输入关于要由第一处理单元(1121)生成的第二分辨率的信息。例如，如果用户想要获得具有高分辨率的图像，则用户可以将第二分辨率设置为与第一分辨率具有较大差异的分辨率，如果用户想要在相对短的时间内获取新图像，则可以将第二分辨率值设置为与第一分辨率具有较小差异的分辨率。

第一处理单元(1121)可以从具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据以执行超分辨率(SR)。超分辨率是基于低分辨率图像生成高分辨率图像的过程，并且超分辨率用作通过图像处理而不是物理光学变焦从低分辨率图像生成高分辨率图像的数字变焦。超分辨率可以用来改善经压缩的图像或经下采样的图像的质量，或者超分辨率可以用来增强分辨率取决于装置限制的图像的质量。此外，超分辨率可以用来提高各种领域中图像的分辨率。

在执行提高分辨率例如超分辨率的处理时，使用拜耳数据而不是RGB图像来提高分辨率的处理可以改善提高分辨率的结果的质量。由于拜耳数据是由图像传感器(1112)生成并输出的原始数据，因此拜耳数据比通过执行图像处理生成的RGB图像包含更多的信息。

RGB数据也可以用10位或更高位来处理，但是它当前仅应用于显示器等，并且当使用现有的RGB数据时，它对于每个通道具有8位数据。此外，由于在ISP中执行的去马赛克等，信息可能会丢失。然而，另一方面，拜耳数据具有当前在移动电话中使用的未处理格式的10位数据。12位或14位格式的拜耳数据也是可能的。以此方式，当使用拜耳数据时，由于要用于超分辨率的输入的信息量大于RGB数据的信息量，因此与使用RGB图像来提高分辨率相比，使用拜耳数据来提高分辨率在处理质量上更优越。

第一处理单元(1121)可以提高IR数据以及拜耳数据的分辨率。当图像传感器(1112)是ToF传感器时，可以使用由ToF传感器生成并由相机模块(1110)输出的具有第三分辨率的IR数据来生成具有第四分辨率的IR数据。第三分辨率可以是由ToF传感器(1120)输出的IR数据的分辨率，第四分辨率可以根据用户设置而改变或者可以是预设分辨率。第四分辨率可以是与第二分辨率具有相同的分辨率值的分辨率。当使用从IR数据生成的IR图像来改善从拜耳数据生成的RGB图像的图像质量时，可以以如下方式生成IR数据：IR图像和RGB图像的尺寸即分辨率相同，并且IR数据的第四分辨率与第二拜耳数据的第二分辨率相同。

第二处理单元(1122)接收从第一处理单元(1121)输出的第二输出数据并执行图像处理。

更具体地，第二处理单元(1122)通过对从第一处理单元(1121)输出的第二输出数据执行图像信号处理(ISP)来生成图像。第二处理器(1122)可以是图像信号处理器ISP。移动工业处理器接口MIPI通信可以用来接收由第一处理单元(1121)输出的第二输出数据并执行图像信号处理过程。

当第二输出数据是第二拜耳数据时，第二处理单元(1122)可以从第二拜耳数据生成RGB图像。此时，第二处理单元(1122)可以在处理图像信号时执行多个子处理。例如，可以对接收到的图像执行伽马校正、颜色校正、自动曝光校正和自动白平衡中的一个或更多个。

当第一处理单元(1121)输出IR数据以及拜耳数据时，第二处理单元(1122)可以通过从根据作为第一处理单元(1121)的第二输出数据的拜耳数据生成的RGB图像和根据IR数据生成的IR图像进行计算来生成具有改善的图像质量的RGB图像。在弱光环境中，仅从拜耳数据生成的RGB图像具有低亮度或高噪声，这会显著降低图像质量。为了改善在仅利用拜耳数据生成RGB图像时可能发生的图像质量劣化，可以使用IR图像。也就是说，可以通过计算RGB图像和IR图像来生成具有改善的图像质量的第二RGB图像。通过使用包括RGB图像传感器和ToF图像传感器的相机模块(1110)，可以使用高分辨率IR数据以及用于提高每个数据的分辨率的变焦功能来改善RGB图像的低照度。拜耳数据或IR数据可以通过提高分辨率的处理来生成高分辨率RGB图像、高分辨率IR图像和高分辨率深度图像。此外，由于IR图像具有比RGB图像低得多的分辨率(低于11Mp)，因此以高分辨率处理IR数据的处理单元适合于以芯片的形式被实现。为了制造小型化芯片，重要的是使计算所需的算法逻辑和数据存储器最小化，因为相机装置的分辨率与存储器和计算量直接相关。在提高IR数据的分辨率的过程中，可以使用提高拜耳数据的分辨率的第一处理单元(1121)的芯片。在使用第一处理单元(1121)的芯片的一部分时，仅需要改变学习到的权重值以提高IR数据的分辨率。如果使用具有改善的分辨率的IR图像来改善弱光条件下的RGB图像，则可以实现更高的改善，并且当通过深度图像和融合应用于各种应用(例如，面部识别、对象识别、尺寸识别等)时，识别率得到提高。

第一处理单元(1121)可以从第一拜耳数据生成第二拜耳数据。在此，执行深度学习的含义是指使用通过深度学习得出的卷积神经网络来生成第二拜耳数据。可以使用除了深度学习之外提高分辨率的算法从第一拜耳数据生成第二拜耳数据。自然可以使用用于超分辨率(SR)的各种算法。将参照图18和图3至图7详细说明第一处理单元(1121)提高第一输出数据的分辨率的过程。

第一处理单元(1121)可以以与第二处理单元(1122)区分的芯片的形式被实现。用于从第一拜耳数据生成第二拜耳数据的第一处理单元(1121)和用于执行图像信号处理的第二处理单元(1122)可以被实现为单独的芯片。通过将第一处理单元(1121)形成为小芯片并将其应用于AP模块，在不改变AP模块例如作为ISP的第二处理单元(1122)的现有配置的情况下，可以在AP模块上仅添加提高拜耳数据的分辨率的配置。

如图15所示，当图像处理装置(1130)是移动装置时，相机模块(1110)可以是包括在移动装置中的相机装置，并且用于处理移动装置的各种应用的AP模块(1120)形成在移动装置中，并且第一处理单元(1121)可以以与作为ISP处理器的第二处理单元(1122)可区分的单独芯片的形式被实现在AP模块上。

作为由相机模块(1110)生成并输出的第一输出数据的拜耳数据可以是未处理的原始数据，并且此时，拜耳数据可以被表示为拜耳原始数据。由第一处理单元(1121)通过MIPI通信接收拜耳数据，第一处理单元(1121)以芯片的形式形成在AP模块上。第一处理器(1121)使用已经通过执行深度学习而学习到的卷积神经网络从第一拜耳数据生成第二拜耳数据。第一处理单元(1121)可以被表示为深度学习网络芯片。由于第一处理单元(1121)接收并处理低分辨率拜耳行数据，因此不需要考虑MIPI带宽或针对与相机模块分离的控制信号的附加工作。因此，由于可以原样使用现有装置，因此兼容性高并且设计自由度也增加。

第一处理单元(1121)使用第一拜耳数据生成第二拜耳数据，并且第二处理单元(1122)接收从第一处理单元(1121)输出的第二输出数据以执行图像信号处理，从而生成图像。

第一处理单元(1121)可以以与第二处理单元可区分的IP块的形式被实现在AP模块上。

知识产权(IP)块是指可重复使用的逻辑单元、单元或芯片布局设计，并且是指被视为特定方的知识产权的块。IP块可以是IP核心。IP块可以由具有设计中存在的经许可和/或拥有的知识产权(例如，专利、源代码版权、商业秘密、专有技术等)的各方用作IC设计内的构建块。IP块是可应用于相应的芯片以用于设计诸如AP模块的芯片的设计块，并且可以通过使用IP块来促进芯片设计。通过使用多个IP块，可以设计诸如SoC的芯片。

AP模块包括在移动装置上执行功能的各种应用的IP块。它可以包括：执行移动装置所需的功能的应用的IP块，例如LTE调制解调器、图形处理单元(GPU)、Wi-Fi、显示处理单元(DPU)、视频处理单元(VPU)、数字信号处理器(DSP)、六边形矢量扩展(HVX)、全方位感知、音频、中央处理单元(CPU)、位置、安全性等；以及相机图像信号处理器(ISP)，其与对从相机装置接收到的图像信号执行图像信号处理的第二处理单元(1122)相对应。

如图16所示，第一处理单元(1121)和第二处理单元(1122)可以被实现为AP模块的IP块。第二处理单元(1122)可以是图像信号处理(ISP)IP块。从第一拜耳数据生成第二拜耳数据的第一处理单元(1121)可以被配置为IP块并被添加到AP模块的现有芯片。此时，第一处理单元(1121)的IP块可以形成为与作为第二处理单元的图像信号处理IP块可区分。

当第一处理单元(1121)以与第二处理单元可区分的IP块的形式形成在AP模块上时，如图17所示，由AP模块的IP块形成的第一处理单元(1121)接收作为从相机模块(1110)输出的第一输出数据的拜耳数据。此后，在第一处理单元(1121)的IP块中使用第一拜耳数据生成第二拜耳数据，并且第二处理单元(1122)的IP块接收从第一处理单元(1121)的IP块输出的第二输出数据以执行图像信号处理，从而生成图像。

如图18所示，第一处理单元(1121)可以包括深度学习网络(121-1)，深度学习网络(121-1)从具有第一分辨率的第一拜耳数据生成具有第二分辨率的拜耳数据，并且第一处理单元(1121)存储拜耳参数(1121-2)，拜耳参数(1121-2)是深度学习参数并用于从具有第一分辨率的第一拜耳数据生成具有第二分辨率的拜耳数据。深度学习参数(1121-2)可以被存储在存储器中。第一处理单元(1121)可以以芯片的形式被实现，并从第一拜耳数据生成第二拜耳数据。

第一处理单元(1121)可以包括一个或更多个处理器，并且通过处理器执行的至少一条程序指令可以被存储在一个或更多个存储器中。存储器可以包括易失性存储器，例如SRAM和DRAM。然而，本发明不限于此，并且在一些情况下，存储器(1115)还可以包括非易失性存储器，例如闪速存储器、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等。

典型的相机装置或相机模块从图像传感器接收拜耳图案，并通过着色(颜色插值或去马赛克)处理以图像的形式输出数据，可以从图像中提取包括拜耳图案信息的信息并将所提取的信息发送至外部。在此，拜耳图案可以包括由图像传感器输出的原始数据，所述图像传感器将相机装置或相机模块(1110)中包括的光信号转换为电信号。

应用于第一处理单元(1121)的深度学习算法(模型)是生成比已经输入的图像数据具有更高分辨率的图像数据的算法，并且该深度学习算法(模型)可以是指通过借助于深度学习训练重复执行学习而生成的最优算法。

深度学习有时被称为深入学习，深度学习是指与机器学习相关的一组算法，其通过几种非线性变换方法的组合来尝试高级抽象(抽象、概括大量数据或复杂材料中的关键内容或功能)。

具体地，深度学习是如下学习技术，该学习技术以计算机能够理解的形式来表达某个学习数据(例如，在图像的情况下，像素信息被表达为列向量)，以便将其应用于对许多研究的学习(如何创建更好的表示技术以及如何构建模型来学习它们)，并且深度学习可以包括诸如深度神经网络(DNN)、深度信念网络(DBN)等的学习技术。

第一处理单元(1121)从第一拜耳数据生成第二拜耳数据。作为用于从具有第一分辨率的第一拜耳数据生成具有第二分辨率的第二拜耳数据的方法的示例，可以使用图3中的深度学习模型。

图3的深度学习模型是应用深度神经网络(DNN)算法的深度学习模型，并且示出了在应用DNN算法时生成具有新分辨率的数据的过程。

深度神经网络(DNN)可以被指定为：在输入层与输出层之间存在多个隐藏层的深度神经网络；卷积神经网络，其形成神经元之间的连接模式，类似于动物视觉皮层的结构；神经元之间的连接模式，类似于动物视觉皮层的结构；以及循环神经网络，其随着时间每个时刻建立神经网络。

具体地，DNN通过以下操作对神经网络进行分类：通过重复卷积和子采样来减少和扭曲数据量。也就是说，DNN通过特征提取和分类的动作输出类结果并且主要用于图像分析，而卷积是指图像滤波。

当参照图3描述由应用DNN算法的第一处理单元(1121)执行深度学习的过程时，第一处理单元(1121)基于具有第一分辨率的拜耳数据(110)对旨在增加放大率的区域执行卷积和子采样。

增加放大率是指仅扩大第一拜耳数据的特定部分。因此，由于未被用户选择的部分是用户不感兴趣的部分，因此不需要执行提高分辨率的处理，并且可以仅对用户选择的部分执行卷积和子采样。通过这，通过不执行不必要的计算，可以减少计算量，从而提高处理速度。

子采样是指减小图像尺寸的过程。此时，子采样可以使用最大池化方法。Max-Pull是在相应区域中选择最大值的技术，类似于神经元如何响应于最大信号。子采样具有降低噪声和提高学习速度的优点。

当执行卷积和子采样时，如图3所示，可以输出多个图像(120)。在此，多个图像数据(120)可以是特征图。此后，可以基于输出的图像使用放大方法来输出具有不同特征的多个图像。放大方法是指使用彼此不同的r²个滤波器将图像增加r*r倍。

当如图3所示输出多个图像数据(130)时，第一处理单元(1121)可以基于这些图像数据进行重新组合并最终输出具有第二分辨率的第二拜耳数据(140)。

由第一处理单元(1121)用于通过执行深度学习从第一拜耳数据生成第二拜耳数据的深度学习参数可以通过深度学习训练而得出。

深度学习可以分为训练和推理。训练是指通过输入数据学习深度学习模型的过程，推理是指利用学习到的深度学习模型执行图像处理等的过程。也就是说，使用深度学习模型来处理图像，通过训练得出的深度学习模型的参数被应用于该深度学习模型。

为了通过执行深度学习从第一拜耳数据生成第二拜耳数据，必须通过训练得出拜耳数据处理所需的第一深度学习参数。当通过训练得出第一深度学习参数时，可以通过以下操作来执行从第一拜耳数据生成第二拜耳数据的推理：使用应用了相应拜耳参数的深度学习模型来执行深度学习。因此，必须执行训练过程以得出用于执行深度学习的参数。

如图4所示，可以通过重复学习来执行深度学习训练过程。在接收到具有不同分辨率的第一样本数据(X)和第二样本数据(Z)之后，可以基于此来执行深度学习训练。

具体地，可以生成如下算法，该算法基于通过比较和分析第二样本数据(Z)和输出数据(Y)而生成的参数来生成具有较高分辨率的图像，输出数据(Y)已经经受了使用第一样本数据(X)作为输入数据的深度学习训练。

在此，第一输出数据(Y)是通过执行实际深度学习而输出的数据，而第二样本数据(Z)是由用户输入的数据，第二样本数据(Z)可以是指当第一样本数据(X)被输入至算法时可以最理想地输出的数据。在此，第一样本数据(X)可以是具有通过对第二样本数据(Z)进行下采样而降低的分辨率的数据。此时，下采样的程度可以根据通过深度学习要增大的比率即要执行数字变焦的变焦比而变化。例如，当通过深度学习要执行的变焦比为3倍并且第二样本数据(Z)的分辨率为9MP(百万像素)时，第一样本数据(X)的分辨率应为1MP，使得其分辨率通过执行深度学习被增大3倍的第一输出数据(Y)的分辨率变为9MP，9M的第二样本数据(Z)被下采样1/9，从而使得能够生成1MP的第一样本数据(Y)。

通过比较和分析根据第一样本数据(X)的输入通过深度学习输出的第一输出数据(Y)和第二样本数据(Z)，计算这两个数据之间的差值，并以减小这两个数据之间的差值的方式向深度学习模型的参数提供反馈。此时，可以通过均方误差(MSE)方法来计算这两个数据之间的差值，均方误差(MSE)方法是损失函数之一。此外，可以使用各种损失函数，例如交叉熵误差(CEE)。

具体地，在对影响输出数据的参数进行分析之后，以改变或删除参数或生成新参数的方式提供反馈，使得可以消除作为理想输出数据的第二样本数据(Z)与作为实际输出数据的第一输出数据(Y)之间的差异。

如图4所示，假设存在影响算法的总共三个层(L1,L2,L3)，在每个层中存在总共八个参数(P11,P12,P13,P21,P22,P31,P32)。在这种情况下，当以增加P22的参数值的方式改变参数时，如果第一输出数据(Y)与第二样本数据(Z)之间的差值增加，则反馈可以以减小P22的参数的方式改变算法。相反，当以增加P33的参数值的方式改变参数时，如果第一输出数据(Y)与第二样本数据(Z)之间的差值减小，则反馈可以以增加P33的参数的方式改变算法。

也就是说，通过该方法，应用了深度学习的算法可以允许第一输出数据(Y)类似于第二样本数据(Z)被输出。此时，第二样本数据(Z)的分辨率可以与第一输出数据(Y)的分辨率相同或高于第一输出数据(Y)的分辨率，并且第二样本数据(Z)的分辨率可以与第一输出数据(Y)的分辨率相同。

对于深度学习训练，如图4所示，存在输出结果和比较目标，并且可以使用补偿值以及通过与比较目标的比较执行学习来执行训练。在这种情况下，在首先识别周围环境之后，可以将当前环境条件发送至执行深度学习训练的处理器。处理器执行与此相对应的动作，并且环境根据该动作再次向处理器通知补偿值。并且处理器采取使奖励最大化的动作。通过这个过程，可以通过重复进行学习来执行训练。此外，可以使用各种深度学习训练方法来执行深度学习训练。

通常，为了利用小芯片实现能够深度学习的处理器，深度学习的过程和存储器门的数目应当被最小化，在此，对门的数目有很大影响的因素是算法的复杂度和每时钟处理的数据量，并且由处理器处理的数据量取决于输入分辨率。

因此，为了减少门的数目，根据实施方式的处理器(1220)以在降低输入分辨率之后执行放大的方式以较高放大率生成图像，因此存在能够更快地创建图像的优点。

例如，如果输入分辨率为8Mp(百万像素)的图像需要2倍缩放，则通过基于1/4区域(2Mp)将宽度和长度各自放大2倍来执行2倍缩放。然后，将1/4区域(2Mp)缩小1/4，在使用分辨率为0.5Mp的图像作为输入数据进行深度学习处理之后，如果以基于所生成的图像分别放大宽度和长度的方式执行4倍缩放，则可以生成与2倍缩放相同区域的缩放图像。

因此，由于深度学习在学习到与分辨率损失相对应的一样多的放大率之后生成图像，以防止由于输入分辨率的损失而导致性能劣化，因此存在可以使性能劣化最小化的优点。

此外，用于实现高分辨率图像的基于深度学习的算法通常使用帧缓存器，但是在帧缓存器的情况下，由于其特性，在一般的PC和服务器中可能难以实时操作。

然而，根据本发明的第二实施方式的第一处理单元(1121)应用通过深度学习已经生成的算法，因此可以容易地应用于低规格相机模块和包括该相机模块的各种装置，并且在具体应用这样的算法时，由于通过仅使用很少的行缓存器来实现高分辨率，因此还存在利用具有相对小尺寸的芯片来实现处理器的效果。

第一处理单元(1121)包括针对每个行存储第一拜耳数据的至少一个行缓存器，并且当预定数目的第一拜耳数据被存储在行缓存器中时，可以针对存储在行缓存器中的第一拜耳数据执行第二拜耳数据的生成。第一处理单元(1121)逐行分别接收第一拜耳数据，并将按每行分别接收到的第一拜耳数据存储在行缓存器中。在接收到所有行的第一拜耳数据之后，第一处理单元(1121)不会生成第二拜耳数据，并且当特定数目的行的第一拜耳数据被存储时，对于存储在行缓存器中的第一拜耳数据，可以执行第二拜耳数据生成。为了提高与9倍即3倍变焦对应的分辨率，如果在行缓存器中存储了3个行的第一拜耳数据，则针对存储的3个行的第一拜耳数据生成第二拜耳数据。将参照图5来说明形成行缓存器的具体配置。

参照图5，第一处理单元(121)可以包括：接收第一拜耳数据的多个行缓存器(11)；第一数据对齐单元(221)，其生成第一阵列数据，第一阵列数据用于按每个波长波段布置通过行缓存器输出的第一拜耳数据；深度学习处理器(222)，其执行深度学习；第二数据对齐单元(223)，其通过以拜耳图案布置通过深度学习处理器(222)输出的第二阵列数据来生成第二拜耳数据；以及多个行缓存器(12)，其输出通过第二数据对齐单元(223)输出的第二拜耳数据。

第一拜耳数据是包括如先前描述的拜耳图案的信息，尽管它在图5中被描述为拜耳数据，但它可以被定义为拜耳图像或拜耳图案。

此外，在图5中，为了方便起见，第一数据对齐单元(221)和第二数据对齐单元(223)被示出为单独的部件，但不限于此，并且深度学习处理器(222)还可以执行由第一数据对齐单元(221)和第二数据对齐单元(223)执行的功能，这将在稍后描述。

参照图5，具有第一分辨率的第一拜耳数据——其是由用户选择的区域的并由图像传感器(110)接收到的图像信息——可以被发送至(n+1)个行缓存器(11a,11b,～11n,11n+1)。如前所述，由于仅针对由用户选择的区域生成具有第二分辨率的拜耳图像，因此没有被用户选择的区域的图像信息不会被发送至行缓存器(11)。

具体地，第一拜耳数据包括多个行数据，并且多个行数据可以通过多个行缓存器(11)被发送至第一数据对齐单元(221)。

例如，如果深度学习处理器(222)要执行深度学习的区域是3×3区域，则总共三个行必须同时被发送至第一数据对齐单元(221)或深度学习处理器(222)，从而使得可以执行深度学习。因此，关于三个行之中的第一行的信息被发送至第一行缓存器(11a)，然后被存储在第一行缓存器(11a)中，并且关于三个行之中的第二行的信息可以被发送至第二行缓存器(11b)，然后被存储在第二行缓存器(11b)中。

此后，在第三行的情况下，由于不存在之后接收到的关于该行的信息，因此它可以不被存储在行缓存器(11)中并且可以直接被发送至深度学习处理器(222)或第一数据对齐单元(221)。

此时，由于第一数据对齐单元(221)或深度学习处理器(222)必须同时接收关于三个行的信息，因此已经被存储在第一行缓存器(11a)和第二行缓存器(11b)中的关于第一行的信息和关于第二行的信息也可以同时被发送至深度学习处理器(222)或第一图像对齐单元(219)。

反之，如果深度学习处理器(222)要执行深度学习的区域是(N+1)×(N+1)，则仅当总共(N+1)个行同时发送至第一数据对齐单元(221)或深度学习处理器(222)时才可以执行深度学习。因此，关于(N+1)个行之中的第一行的信息可以在被发送至第一行缓存器(11a)之后被存储在第一行缓存器(11a)中；关于(N+1)个行之中的第二行的信息可以在被发送至第二行缓存器(11b)之后被存储在第二行缓存器(11b)中；并且关于(N+1)个行之中的第N行的信息可以在被发送至第N行缓存器(11n)之后被存储在第N行缓存器(11n)中。

此后，在第(N+1)行的情况下，由于不存在此后接收到的关于该行的信息，因此它可以不被存储在行缓存器(11)中并且可以直接被发送至深度学习处理器(222)或第一数据对齐单元(221)，并且如前所述，此时，由于第一数据对齐单元(221)或深度学习处理器(222)必须同时接收关于(N+1)个行的信息，因此已经被存储在行缓存器(11a～11n)中的关于第一行至第n行的信息也可以同时被发送至深度学习处理器(222)或第一图像对齐单元(219)。

在从行缓存器(11)接收到拜耳数据之后，第一图像对齐单元(219)通过针对每个波长波段布置拜耳数据来生成第一阵列数据，然后可以将第一阵列数据发送至深度学习处理器(222)。

第一图像对齐单元(219)可以生成第一阵列数据，通过将接收到的信息分类为特定波长或者红色、绿色或蓝色的特定颜色来布置第一阵列数据。

此后，深度学习处理器(222)可以通过以下操作来生成第二阵列数据：基于已经通过第一图像对齐单元(219)接收的第一阵列数据来执行深度学习。

因此，深度学习处理器(222)可以通过以下操作来生成具有第二分辨率的第二阵列数据：基于已经通过第一图像对齐单元(219)接收的第一阵列数据来执行深度学习，所述第二分辨率具有比第一分辨率更高的分辨率。

例如，如前所述，如果针对3×3区域接收第一阵列数据，则对3×3区域执行深度学习，如果针对(n+1)×(n+1)区域接收第一阵列数据，则可以对(n+1)×(n+1)区域执行深度学习。

此后，由深度学习处理器(222)生成的第二阵列数据被发送至第二数据对齐单元(223)，并且第二数据对齐单元(223)可以将第二阵列数据转换为具有拜耳图案的第二拜耳数据。

此后，经转换的第二拜耳数据通过多个行缓存器(12a)被输出至外部，并且已经被输出的第二拜耳数据可以通过另一处理被生成为具有第二分辨率的图像，所述第二分辨率是比第一分辨率更高的分辨率。

图6和图7是示出具有第一分辨率的图像的第一拜耳图像被处理单元(1121)转换为具有第二分辨率的第二拜耳图像的状态的图。

当用户从具有第一分辨率的拜耳图像(10)中选择特定区域时，第一处理单元(1121)可以转换该区域上的分辨率，并且作为结果，如图6和图7所示，可以生成具有第二分辨率的拜耳图像(40)。

第一处理单元(1121)可以预处理第二拜耳数据。第一处理器(1121)可以使用具有第一分辨率的第一拜耳数据来生成具有第二分辨率的第二拜耳数据，并且可以对已经生成的第二拜耳数据执行预处理。此时，第一处理单元(1121)可以执行白平衡、去噪、散焦、去模糊和双马赛克中的至少一个。此外，可以执行与预处理相对应的各种预处理。

除了第一处理单元(1121)中用于提高拜耳数据的分辨率的超分辨率之外，还可以通过执行可以由第二处理单元(1122)处理的图像预处理来减少第二处理单元(1122)的计算量。也就是说，第二处理单元(1122)的预处理功能由第一处理单元(1121)执行以共享该功能，从而减少ISP的负担。第一处理单元(1121)还可以包括执行预处理的预处理单元。

此时，第一处理单元(1121)可以使用通过执行深度学习而学习到的卷积神经网络来执行第二拜耳数据的预处理。在这种情况下，当在第一处理单元(1121)执行的预处理过程之中存在可以使用与提高拜耳数据的分辨率的过程相同的深度学习网络进行处理的预处理过程时，存储用于预处理过程的深度学习参数，并且可以执行预处理过程。它还可以包括用于一个或更多个预处理过程的单独的深度学习网络以及用于存储相应的深度学习参数的存储器。

第一处理单元(1121)可以预处理第二拜耳数据以生成RGB图像或ycbcr图像。可以通过对具有第二分辨率的第二拜耳数据执行预处理来生成预处理的第三拜耳数据，或者进一步，可以通过预处理来生成RGB图像或从RGB图像转换的ycbcr图像。第一处理单元(1121)执行多个预处理过程，并且可以根据所执行的预处理来输出各种数据。也就是说，可以从第二拜耳数据生成与先前RGB图像相对应的第三拜耳数据。尽管第三拜耳数据不是RGB图像，但是可以通过诸如白平衡的预处理来生成第三拜耳数据，所述第三拜耳数据是已经对其执行白平衡的拜耳数据。替选地，可以通过对第二拜耳数据执行用于生成RGB图像的预处理过程来生成RGB图像。此外，可以通过如上所述生成的RGB图像的ycbcr转换来生成ycbcr图像。当从RGB图像转换为ycbcr图像时，ycbcr图像可以直接被显示在显示器上。

在第一处理单元(1121)中执行的预处理过程可以根据作为第二处理单元(1122)的ISP的使用环境或工作状态、用户设置而改变。第一处理单元(1121)执行预处理以共享作为第二处理单元(1122)的ISP的功能，并且可以根据用户设置来设置要由第一处理单元(1121)执行哪个预处理过程。或者，如果需要根据ISP的使用环境或当前工作情况共享ISP功能，则可以在第一处理单元(1121)中设置要执行的预处理过程。可以通过从一个或更多个处理器接收环境信息来确定用于第一处理单元(1121)中的预处理执行的设置值。替选地，可以通过将根据环境信息等的设置值存储在查找表(LUT)中来应用用于第一处理单元(1121)中的预处理执行的设置值。

如图19所示，根据本发明的另一实施方式的图像处理装置(2100)可以包括相机模块(2110)、拜耳数据处理模块(2120)和AP模块(2130)。图13或图16的图像处理装置(1130)的第一处理单元(1121)可以被配置为拜耳数据处理模块(2120)，该拜耳数据处理模块(2120)作为单独模块，不在AP模块内。除了拜耳数据处理模块(2120)被实现为与AP模块(2130)分离的模块之外，由图19的图像处理装置(2100)执行的图像处理过程对应于在图13的图像处理装置(1130)中执行的图像处理过程，因此在下文中，将省略并简要描述与在图13的图像处理装置(1130)中执行的图像处理过程交叠的图19的图像处理装置(2100)的描述。

相机模块(2110)包括图像传感器，并且拜耳数据处理模块(2120)使用从相机模块(2110)输出的具有第一分辨率的第一拜耳数据来生成具有第二分辨率的第二拜耳数据。拜耳数据处理模块(2120)可以以与AP模块(2130)可区分的单独芯片的形式被实现。

拜耳数据处理模块(2120)可以从第一拜耳数据生成第二拜耳数据，并且拜耳数据处理模块(2120)可以包括对第二拜耳数据进行预处理的预处理单元。此时，预处理单元可以通过对第二拜耳数据进行预处理来生成第三拜耳数据、RGB图像或ycbcr图像中的任一个。

AP模块(2130)接收从拜耳数据处理模块(2120)输出的输出数据并执行图像处理。

根据本发明的另一实施方式的图像处理装置包括第一处理单元，所述第一处理单元使用具有第一分辨率的第一拜耳数据来生成具有第二分辨率的第二拜耳数据，其中，第一处理单元可以与在AP模块中形成的图像信号处理单元相区分地形成。在此，第一处理单元(1121)是与图13或图16的图像处理装置(1130)的第一处理单元(1121)以及图19的图像处理装置(2100)的拜耳数据处理模块(2120)相对应的配置。根据本发明的另一实施方式的图像处理装置可以包括第一处理单元；第一处理单元可以从第一拜耳数据生成第二拜耳数据，并且可以包括用于对第二拜耳数据进行预处理的预处理单元。此时，预处理单元可以通过对第二拜耳数据进行预处理来生成第三拜耳数据、RGB图像或ycbcr图像中的任一个。

图20是根据本发明的第二实施方式的图像处理方法的流程图，图21是根据本发明的另一实施方式的图像处理方法的流程图。由于图20至图21中的每个步骤的详细描述对应于图13至图19的图像处理装置的详细描述，在下文中，将省略交叠的描述。

根据本发明的第二实施方式的图像处理方法涉及用于在包括一个或更多个处理器的图像处理装置中处理图像的方法。

在步骤S11中，接收具有第一分辨率的第一拜耳数据；在步骤S12中，通过使用通过执行深度学习而学习到的卷积神经网络；在步骤S13中，生成具有第二分辨率的第二拜耳数据。

在步骤S13之后，可以在步骤S21中对第二拜耳数据进行预处理，并且在执行预处理之后，在步骤S22中还可以包括用于生成第三拜耳数据、RGB图像或ycbcr图像中的任一个的步骤。此后，它还可以包括通过图像信号处理生成可以输出至显示器的图像的步骤。

根据本实施方式的经修改的实施方式可以共同包括参照图1至图12描述的第一实施方式的一些配置和参照图13至图21描述的第二实施方式的一些配置。也就是说，经修改的实施方式可以包括参照图1至图12描述的实施方式，但是省略了参照图1至图12描述的实施方式的一些配置，并且可以包括参照相应的图13至图21描述的实施方式的一些配置。或者，经修改的实施方式可以省略参照图13至图21描述的实施方式的一些配置，但是可以包括参照相应的图1至图12描述的实施方式的一些配置。

在上述实施方式中描述的特征、结构和效果被包括在至少一个实施方式中，并且不一定限于仅一个实施方式。此外，在每个实施方式中举例说明的特征、结构、效果等可以由具有实施方式所属领域中的普通知识的人员针对其他实施方式进行组合或修改。因此，与这样的组合和修改相关的内容应当被解释为包括在实施方式的范围内。

同时，本发明的实施方式可以以计算机可读记录介质上的计算机可读代码被实现。计算机可读记录介质包括其中存储有计算机系统可读的数据的所有类型的记录装置。

计算机可读记录介质的示例包括诸如ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置，此外，计算机可读记录介质分布在网络耦接的计算机系统上，可以存储和执行可以由计算机以分布式方式读取的代码。此外，本发明所属技术领域的程序员可以容易地推断出用于实现本发明的功能程序、代码和代码段。

尽管到目前为止已经用有限的实施方式和附图描述了实施方式，但是本领域技术人员可以根据以上描述做出各种修改和变化。例如，以与所描述的方法不同的顺序执行所描述的技术，以及/或者以与所描述的方法不同的形式耦合或组合诸如所描述的系统、结构、装置、电路等的组件，或者即使这些组件被另一组件或等同物代替或替换，也能实现适当的效果。因此，其他实施方式和权利要求的等同物也在所附权利要求的范围内。

Claims (14)

1.一种图像处理装置，包括：

图像传感器，所述图像传感器被配置成生成具有第一分辨率的第一拜耳数据；以及

处理器，所述处理器被配置成使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据，

其中，所述处理器包括卷积神经网络，所述卷积神经网络被训练成：使用第一拜耳数据输出具有第二分辨率的第二拜耳数据，

其中，所述卷积神经网络的训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据，并且

其中，所述第二拜耳数据被输出至图像信号处理器，所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据。

2.根据权利要求1所述的图像处理装置，

其中，所述第二分辨率高于所述第一分辨率。

3.根据权利要求1所述的图像处理装置，

其中，所述处理器包括：

接收单元，所述接收单元被配置成接收所述第一拜耳数据；以及

卷积神经网络，所述卷积神经网络被配置成：使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据。

4.根据权利要求1所述的图像处理装置，

其中，所述处理器生成第一阵列数据，在所述第一阵列数据中，针对每个波长波段布置所述第一拜耳数据，并且所述处理器基于所述第一阵列数据生成第二阵列数据，所述第二阵列数据具有与所述第一阵列数据不同的分辨率。

5.根据权利要求4所述的图像处理装置，

其中，所述处理器基于所述第二阵列数据生成所述第二拜耳数据。

6.根据权利要求4所述的图像处理装置，其中，所述处理器包括:

第一数据对齐单元，所述第一数据对齐单元被配置成生成所述第一阵列数据，在所述第一阵列数据中，针对每个波长波段布置所述第一拜耳数据；以及

第二数据对齐单元，所述第二数据对齐单元被配置成生成所述第二拜耳数据，在所述第二拜耳数据中，以拜耳图案布置所述第二阵列数据。

7.根据权利要求4所述的图像处理装置，其中，所述处理器包括:

至少一个第一行缓存器，所述至少一个第一行缓存器被配置成针对每个行存储所述第一拜耳数据；

第一数据对齐单元，所述第一数据对齐单元被配置成：接收从所述第一行缓存器输出并生成针对每个波长波段布置的第一阵列数据的信息；

第二数据对齐单元，所述第二数据对齐单元被配置成生成所述第二拜耳数据，在所述第二拜耳数据中，以拜耳图案布置所述第二阵列数据；以及

至少一个第二行缓存器，所述至少一个第二行缓存器被配置成：针对每个行存储从所述第二数据对齐单元输出的数据。

8.一种图像处理方法，包括以下步骤：

接收具有第一分辨率的第一拜耳数据；以及

使用已经学习到的卷积神经网络根据所述第一拜耳数据输出具有第二分辨率的第二拜耳数据，

其中，所述卷积神经网络被训练成：使用第一拜耳数据输出具有第二分辨率的第二拜耳数据，

其中，所述卷积神经网络的训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据，并且

其中，所述第二拜耳数据被输出至图像信号处理器，所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据。

9.根据权利要求8所述的方法，

其中，所述第一拜耳数据是从图像传感器输出的数据。

10.根据权利要求8所述的方法，

其中，所述第二分辨率高于所述第一分辨率。

11.根据权利要求8所述的方法，

其中，输出第二拜耳数据的步骤包括以下步骤：

生成第一阵列数据，在所述第一阵列数据中，针对每个波长波段对所述第一拜耳数据进行分类；以及

基于所述第一阵列数据生成第二阵列数据，所述第二阵列数据具有与所述第一阵列数据不同的分辨率。

12.根据权利要求11所述的方法，

其中，输出第二拜耳数据的步骤包括以下步骤：

基于所述第二阵列数据生成所述第二拜耳数据。

13.根据权利要求11所述的方法，

其中，所述第一拜耳数据包括多个行数据，以及

其中，生成所述第一阵列数据的步骤包括以下步骤：基于通过预设的N+1行线输出的第一拜耳数据来生成所述第一阵列数据。

14.根据权利要求13所述的方法，

其中，通过预设的N+1数目的行线输出的步骤包括以下步骤：依次存储被接收的第一拜尔数据的多个行数据之中的N行数据，然后当发送第(N+1)行时一起输出所述N行数据。