CN112237002A

CN112237002A - 图像处理方法和设备

Info

Publication number: CN112237002A
Application number: CN201880094442.3A
Authority: CN
Inventors: 陈星�; 曹子晟; 庹伟; 麻军平; 张强
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd; SZ DJI Innovations Technology Co Ltd
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2021-01-15
Also published as: WO2020000333A1; US20210012459A1

Abstract

一种图像处理的方法包括：基于图像中除了感兴趣区域之外的区域来确定上采样区域；以及在上采样区域中执行上采样操作，而不在感兴趣区域中执行上采样操作。

Description

图像处理方法和设备

技术领域

本公开涉及图像处理领域，更具体地，涉及图像处理方法和图像处理设备。

背景技术

高速相机需要高操作速度和高分辨率，以用于拍摄高质量图像。然而，相机的传感器部件的带宽通常受到限制。因此，高操作速度和高分辨率通常相互矛盾。也就是说，当实现了期望的图像分辨率时，可能无法获得期望的帧速率，反之亦然。常规的图像处理技术用于改善诸如相机之类的图像拍摄设备的性能，以增加图像中的像素数。然而，在常规的图像处理技术中，图像中经常出现锯齿、模糊等。

发明内容

根据本公开，提供了一种图像处理的方法。该方法包括：基于图像中除了感兴趣区域之外的区域来确定上采样区域；以及在所述上采样区域中执行上采样操作，而不在所述感兴趣区域中执行上采样操作。

同样根据本公开，提供了一种图像处理设备。该图像处理设备包括处理器和存储指令的存储器。该指令在由处理器执行时，使处理器基于图像中除了感兴趣区域(ROI)之外的区域来确定上采样区域；以及在所述上采样区域中执行上采样操作，而不在所述ROI中执行上采样操作。

附图说明

图1示出了根据本公开的各种公开实施例的图像处理的示例性应用场景的示意图。

图2示出了根据本公开的各种公开实施例的示例性图像处理方法的流程图。

图3示出了根据本公开的各种公开实施例的另一示例性图像处理方法的流程图。

图4A示出了根据本公开的各种公开实施例的示例性上采样区域的示意图。

图4B示出了根据本公开的各种公开实施例的示例性目标区域的示意图。

图5示出了根据本公开的各种公开实施例的包括示例性上采样区域的示例性图像。

图6A示出了通过常规图像处理方法处理之后的图像。

图6B示出了根据本公开的各种公开实施例的在通过示例性图像处理方法处理之后的示例性图像。

图7示出了根据本公开的各种公开实施例的另一示例性图像处理方法的流程图。

图8示出了根据本公开的各种公开实施例的示例性图像处理设备的示例性硬件配置的框图。

具体实施方式

将参考附图描述本公开的技术方案。应理解，所描述的实施例是本公开的一些而非全部实施例。在不付出创造性劳动前提下，本领域普通技术人员基于所描述的实施例所想到的其他实施例应落入本公开的范围内。

将参考附图描述示例性实施例，在附图中，除非另有说明，否则相同的附图标记指代相同或相似的元件。

如本文中所使用的，当第一部件被称为“固定于”第二部件时，其意指第一部件可以直接附接到第二部件，或者可以经由另一部件间接附接到第二部件。当第一部件被称为“连接”到第二部件时，其意指第一部件可以直接连接到第二部件，或者可以经由它们之间的第三部件间接连接到第二部件。本文中所使用的术语“垂直”、“水平”、“左”、“右”和类似表达仅用于描述。

除非另外定义，否则本文中所使用的所有技术和科学术语具有与本领域普通技术人员通常所理解的含义相同或相似的含义。如本文所述，在本公开的说明书中使用的术语旨在描述示例性实施例，而不是限制本公开。本文中所使用的术语“和/或”包括所列的一个或多个相关项目的任何合适的组合。

此外，在本公开中，所公开的实施例和所公开的实施例的特征可以在不存在冲突时进行组合。

图1示出了根据本公开的各种公开实施例的图像处理的示例性应用场景的示意图。如图1所示，可移动平台100包括平台主体101、云台102和拍摄设备103。云台102将拍摄设备103耦接到平台主体101。可移动平台100还包括耦接到拍摄设备103的图像处理设备104。图像处理设备104可以通过有线连接和/或无线连接与拍摄设备103通信。在一些实施例中，拍摄设备103可以与可移动平台100一起移动，并且可以捕捉图像。图像处理设备104可以从拍摄设备103接收图像，并且可以对图像进行处理。

在一些实施例中，如上所述并且如图1所示，平台主体101通过云台102携带拍摄设备103。在一些其他的实施例中，平台主体101可以在没有云台102的情况下携带拍摄设备103。也就是说，拍摄设备103可以直接附接到可移动平台101。

在图1所示的示例中，图像处理设备104在拍摄设备103的外部，即，图像处理设备104和拍摄设备103是分开的设备。在一些实施例中，图像处理设备104可以附接到拍摄设备103。在一些其他的实施例中，图像处理设备104可以远离拍摄设备103。例如，图像处理设备104可以在地面站处或作为遥控器的一部分，并且可以通过有线或无线连接与图像处理设备103通信。

在一些其他的实施例中，图像处理设备104可以是拍摄设备103的一部分，并且可以是例如拍摄设备103的处理器。

在一些其他的实施例中，图像处理设备104可以布置在平台主体101中或之上，并且可以是可移动平台100的处理部件的一部分。

在一些实施例中，可移动平台100可以包括例如有人驾驶载运工具或无人驾驶载运工具。无人驾驶载运工具可以包括基于陆地的无人驾驶载运工具或无人驾驶飞行器(UAV)。

在一些实施例中，拍摄设备103可以包括相机、摄像机等。

图2示出了根据本公开的各种公开实施例的示例性图像处理方法的流程图。可以例如由图像处理设备104处理由拍摄设备103获取的图像来实现该方法。参考图2，该方法描述如下。

在201处，确定图像的上采样区域。

图像可以包括拜耳(Bayer)图像或红绿蓝(RGB)图像中的至少一种。在拜耳图像中，每个像素可以记录三种原色红色(R)、绿色(G)和蓝色(B)之一。通常，拜耳图像中大约50％的像素是绿色，大约25％的像素是红色，大约25％的像素是蓝色。在RGB图像中，每个像素可以包括三个子像素。三个子像素分别对应于红色分量、绿色分量和蓝色分量。

在202处，在上采样区域中执行上采样操作。

利用上采样操作，在上采样区域中像素的数量(也称为“像素数”)增加。经过上采样操作的上采样区域也可以被称为“经上采样的上采样区域”或简称为“经上采样的区域”。

在203处，基于经上采样的上采样区域和非上采样区域来生成目标图像。非上采样区域指代不执行上采样操作的区域，因此，非上采样区域中的像素的数量保持不变。

在一些实施例中，图像处理方法还可以包括输出目标图像。

图3示出了根据本公开的各种公开实施例的另一示例性图像处理方法的流程图。图3中的过程201和203与以上结合图2描述的过程201和203相同或相似。此外，如图3所示，在上采样区域(202)中执行上采样操作包括：在上采样区域中沿第一采样方向执行第一定向上采样(2021)，以及在上采样区域中沿第二采样方向执行第二定向上采样(2022)。

在一些实施例中，第一采样方向可以是水平方向，第二采样方向可以是竖直方向。对应地，第一定向上采样可以包括沿水平方向的上采样，第二定向上采样可以包括沿竖直方向的上采样。

在一些其他的实施例中，第一采样方向可以是竖直方向，第二采样方向可以是水平方向。对应地，第一定向上采样可以包括沿竖直方向的上采样，第二定向上采样可以包括沿水平方向的上采样。

例如，沿诸如第一采样方向或第二采样方向的采样方向执行定向上采样可以包括下述过程。可以确定在上采样区域中沿采样方向的像素数量与目标图像中的目标区域中沿采样方向的目标像素数量的比率。目标区域是与上采样区域相对应的区域。在确定了目标区域中诸如像素的像素坐标和像素值之类的像素信息之后，目标区域便是经上采样的上采样区域。目标区域中的像素也可以被称为“目标像素”。由于目标区域对应于上采样区域，因此目标区域中的每个目标像素可以在目标区域中具有坐标，并且对应于上采样区域中的坐标。上采样区域中的对应坐标被称为目标像素的“反向映射坐标”。可以根据所述比率和目标区域中目标像素的坐标来确定上采样区域中的反向映射坐标。也就是说，可以通过将目标像素的坐标与所述比率相乘来获得反向映射坐标。

例如，图4A示出了包括M1*N1个像素的上采样区域，其中在第一方向上有M1个像素，在第二方向上有N1个像素。出于说明的目的，图4A示出了M1＝4并且N1＝4的示例。此外，图4B示出了第一方向上采样之后的目标区域。该目标区域包括M2×N1个像素，并且在图4B所示的示例中，M2＝8。可以确定上采样区域中沿采样方向的像素数量与目标图像中的目标区域中沿采样方向的目标像素数量的比率，在图4A和图4B所示的示例中为M1/M2＝0.5。对于在目标区域中具有(C1，C2)的坐标的目标像素，目标像素的对应反向映射坐标为(C1*M1/M2，C2)。例如，对于目标区域的最右上角的目标像素，(C1，C2)＝(8，1)。目标像素的对应反向映射坐标为(C1*M1/M2，C2)＝(8*0.5，1)＝(4，1)，其位于上采样区域的最右上角。目标像素的反向映射坐标可以包括整数或非整数。如上所述，(4，1)的反向映射坐标包括整数。对于另一个目标像素(C1，C2)＝(7，1)，对应的反向映射坐标为(3.5，1)，因此包括非整数。

在图4A和图4B中，第一方向指向右，第二方向指向下，这仅出于说明目的，并不旨在限制本公开的范围。例如，在一些实施例中，第一方向可以指向左，和/或第二方向可以指向上。

此外，可以根据目标像素的反向映射坐标来选择一个或多个像素，所述一个或多个像素与目标像素的反向映射坐标相邻和/或在其反向映射坐标处，并且具有与目标像素相同的颜色。在本公开中，术语“相邻”并不一定需要邻接。例如，与目标像素的反向映射坐标相邻的像素可以紧邻该反向映射坐标，或者可以与该反向映射坐标分离一个或多个像素，例如一个到三个像素。此外，在本公开中，与目标像素的反向映射坐标相邻或在其反向映射坐标处的像素也可以被称为“靠近”目标像素的反向映射坐标的像素。上采样区域中的所选择的与目标像素的反向映射坐标相邻或在其反向映射坐标处并且具有与目标像素相同颜色的像素也可以被称为“附近同色像素”。

即使上采样区域中的像素在目标像素的反向映射坐标处，上采样区域中的像素也可以具有或可以不具有与目标像素相同的颜色。仍以图4A和图4B中的上采样区域和目标区域作为示例，目标区域中的像素(8，1)是红色(R)像素。目标像素(8，1)的对应“反向映射坐标”在上采样区域中为(4，1)，并且上采样区域中的(4，1)对应于与目标像素具有相同颜色的红色像素(R)。作为示例，可以选择上采样区域中的红色像素(4，1)，以用于确定目标像素(8，1)的像素值。作为另一示例，可以选择靠近上采样区域中的像素(4，1)的红色像素，例如上采样区域中的像素(2，1)和(4，1)，以用于确定目标像素(8，)的值。

然而，对于作为R像素的另一个目标像素(6，1)，目标像素(6，1)的对应“反向映射坐标”在上采样区域中为(3，1)，并且上采样区域中的(3，1)对应于与目标像素具有不同颜色的G像素。代替上采样区域中的像素(3，1)，可以选择靠近上采样区域中的(3，1)的一个或多个红色像素，以用于确定目标像素(6，1)的像素值。例如，可以选择上采样区域中靠近像素(3，1)的红色像素(2，1)或(4，1)。作为另一示例，可以选择红色像素(2，1)和(4，1)两者。根据各种应用场景，与不同目标像素相对应的一个或多个附近同色像素的数量可以相同或不同。例如，与目标像素相对应的一个或多个附近同色像素的数量可以为1，与另一目标像素相对应的一个或多个附近同色像素的数量可以也为1或可以是不同的数量，例如4。

例如，在拜耳图像中，当在拜耳图像的一行中只有两种颜色时，目标像素的颜色可以由一个方向上的目标像素的坐标除以2的余数来指示。例如，对于图4B中的目标区域的第一行中的8个目标像素，红色像素的对应余数全部为0，绿色像素的对应余数全部为1。对于目标区域中的红色目标像素(8，1)，对应的余数＝8％2＝0。对于目标区域中的绿色目标像素(5，1)，对应的余数＝5％2＝1。类似地，上采样区域中像素的颜色可以由一个方向上的坐标除以2的余数指示。例如，对于图4A中的上采样区域的第一行中的4个像素，红色像素的对应余数全部为0，绿色像素的对应余数全部为1。因此，在目标区域的第一行和上采样区域的第一行中，余数0指示对应的像素是红色像素，余数1指示对应的像素是绿色像素。

作为另一示例，诸如目标像素或上采样区域中的像素之类的像素的颜色可以由通过将像素的一个方向上的坐标除以2的余数加1或减去1而获得的数字来指示。该数字也称为“经修改的数字”。

此外，余数和经修改的数字可以用作用于指示像素颜色的数字，被称为颜色指示数字。例如，在目标区域中，对于第1行和第3行，可以选择余数作为颜色指示数字，对于第2行和第4行，可以选择等于余数加1的经修改的数字作为颜色指示数字。因此，在目标区域中，红色目标像素(8，1)的颜色指示数字为8/2＝0，绿色目标像素(6，1)的颜色指示数字＝1；以及蓝色目标像素(5，2)的颜色指示数字为5/2+1＝2，绿色目标像素(4，2)的颜色指示数字＝4/2+1＝1。在目标区域中，每个红色目标像素的颜色指示数字为0，每个绿色目标像素的颜色指示数字为1，每个蓝色目标像素的颜色指示数字为2。因此，在目标区域中，可以分别使用颜色指示数字0、1或2来指示红色目标像素、绿色目标像素或蓝色目标像素。在上采样区域中，对于第1行和第3行，可以选择余数作为颜色指示数字，对于第2行和第4行，可以选择等于余数加1的经修改的数字作为颜色指示数字。因此，在上采样区域中，可以分别使用颜色指示数字0、1或2来指示上采样区域中的红色像素、绿色像素或蓝色像素。可以参考以上描述。

因此，可以通过确定目标像素的颜色指示数字是否等于上采样区域中的像素的颜色指示数字来确定目标区域中的目标像素是否具有与上采样区域中的像素相同的颜色。如果目标像素的颜色指示数字等于上采样区域中的像素的颜色指示数字，则目标区域中的目标像素可以具有与上采样区域中的像素相同的颜色。如果目标像素的颜色指示数字与上采样区域中的像素的颜色指示数字不同，则目标区域中的目标像素可以具有与上采样区域中的像素不同的颜色。

与像素的一个方向上的坐标除以2的余数相关联的上述方法仅用于说明目的，而不旨在限制本公开的范围。可以根据各种应用场景，选择其他方法来指示上采样区域中的像素的颜色和/或目标区域中的像素的颜色。

此外，可以根据在上采样区域中选择的一个或多个像素来确定目标像素的像素值。例如，可以将目标像素的像素值确定为等于在目标像素的反向映射坐标处并且具有与目标像素相同颜色的像素的值，被称为“等值方法”。作为另一示例，可以通过计算上采样区域中靠近目标像素的反向映射坐标并且具有与目标像素相同颜色的像素的像素值的平均来获得目标像素的像素值，被称为“取平均方法”。

作为另一示例，可以通过计算上采样区域中靠近目标像素的反向映射坐标并且具有与目标像素相同颜色的像素的像素值的加权平均来获得目标像素的像素值，称为“加权平均方法”。在加权平均方法中，上采样区域中所选择的靠近目标像素的反向映射坐标并且具有与目标像素相同颜色的像素可以表示为Pmn，其中m和n是正整数，m＝1、2、3、...、m_max，n＝1、2、3、...、n_max，m_max和n_max是整数，指示上采样区域中所选择的靠近目标像素的反向映射坐标的像素的最大像素索引。像素Pmn的加权因子表示为Wmn，其随着Pmn和反向映射坐标之间的距离增加而减小。这样，像素Pmn的像素值是Vmn，因此加权平均等于

注意，所选择的像素的索引m和n可以与用于标识像素的索引相同或可以与之不同。例如，所选择的像素P21可以是或可以不是上采样区域中的(2，1)处的像素。

上采样区域中靠近目标像素的反向映射坐标并且具有与目标像素相同颜色的像素可以位于反向映射坐标的左侧、右侧、上侧、下侧、左上侧、右上侧、左下侧或右下侧，或位于反向映射坐标处，或其任意组合。

此外，可以通过对上采样区域中的一个或多个附近同色像素应用最近邻插值滤波、双线性插值滤波或双三次插值滤波来获得目标像素的像素值。

在一些实施例中，可以通过应用相同的方法(例如平均方法、加权平均方法、最近邻插值滤波、双线性插值滤波或双三次插值滤波中的一种)来获得目标区域中所有目标像素的像素值。在一些其他的实施例中，可以通过应用不同的方法(例如上述方法中的不同方法)来获得目标区域中不同目标像素的像素值。例如，可以通过使用等值方法来获得目标区域中的一个目标像素的像素值，并且可以通过使用诸如取平均方法之类的另一种方法来获得目标区域中的另一个像素的像素值。

在最近邻插值滤波中，可以确定最靠近目标像素的反向映射坐标并且具有与目标像素相同颜色的上采样区域中的像素，并且该像素可以被称为“最近同色像素”。可以根据该最近同色像素的像素值来获得目标像素的像素值。例如，目标像素的像素值可以等于最近同色像素的像素值。例如，最近同色像素可以位于反向映射坐标的左侧、右侧、上侧、下侧、左上侧、右上侧、左下侧或右下侧。与上面的讨论一致，在一些实施例中，最近同色像素可以在反向映射的坐标处。

作为另一示例，在双线性插值滤波中，可以根据上采样区域中围绕目标像素TP的反向映射坐标(x0，y0)并且具有与目标像素相同颜色的四个像素来确定目标像素的像素值。例如，围绕反向映射坐标(x0，y0)的四个像素可以包括在坐标(x1，y1)处的像素UP11、坐标(x1，y2)处的像素UP12、坐标(x2，y1)处的像素UP21、以及坐标(x2，y2)处的像素UP22。此外，v(UP11)、v(UP12)、v(UP21)和v(UP22)分别表示像素UP11、UP12、UP21和UP22的像素值。为了获得与目标像素的像素值相等的反向映射坐标(x0，y0)处的像素值v(x0，y0)，可以通过在一个方向上执行线性插值滤波，然后在另一个方向上执行线性插值滤波来执行双线性插值滤波。这两个方向可以相互垂直。例如，在X方向上对UP11和UP21进行线性插值滤波可以产生坐标(x0，y1)处的像素值

v(x0，y1)＝({v(UP11)*(x2-x0)+v(UP21)*(x0-x1)})/(x2-x1)。同样，基于UP12和UP22，可以获得坐标(x0，y2)处的值

v(x0，y2)＝{v(UP12)*(x2-x0)+v(UP22)*(x0-x1)}/(x2-x1)。此外，基于v(x0，y1)和v(x0，y2)，在Y方向上的线性插值滤波可以产生坐标(x0，y0)处的像素值

v(x0，y0)＝{v(x0，y1)*(y2-y0)+v(x0，y2)*(y0-y1)}/(y2-y1)，其等于目标像素的像素值。

在双三次插值滤波中，可以根据16个数据点(例如，围绕目标像素TP的反向映射坐标(x0，y0)并且具有与目标像素TP相同颜色的16个像素)来确定目标像素的像素值。例如，这16个像素可以包括坐标(xm，yn)处的像素UPmn，其中m＝1、2、3、4，n＝1、2、3、4，并且v(UPmn)表示像素UPmn的像素值。可以根据目标像素TP的反向映射坐标(x0，y0)来确定(xm，yn)和v(UPmn)。通过在X方向上对UP11、UP21、UP31和UP41进行三次插值滤波，可以获得三次函数

f_y1(x)＝a11*x^3+a21*x^2+a31*x+a41(函数1)的系数a11、a21、a31和a41。此外，可以通过将x0、a11、a21、a31和a41的值插入到函数1中来获得f_y1(x0)的值，即坐标(x0，y1)处的像素值v(x0，y1)。同样，通过对UP12、UP22、UP32和UP42进行三次插值滤波，可以获得三次函数

f_y2(x)＝a12*x^3+a22*x^2+a32*x+a42(函数2)的系数a12、a22、a32和a42。因此，可以通过将x、a12、a22、a32和a42的值插入到函数2中来获得f_y2(x)的值，即坐标(x0，y2)处的像素值v(x0，y2)。像素值v(x0，y3)和像素值v(x0，y4)可以以类似的方式获得，因此省略详细描述。此外，通过基于v(x0，y1)、v(x0，y2)、v(x0，y3)和v(x0，y4)在Y方向上进行三次插值滤波，可以获得三次函数

f(y)＝a1*y^3+a2*y^2+a3*y+a4(函数3)的系数a1、a2、a3和a4。因此，可以通过将y0、a1、a2、a3和a4的值插入到函数3中来获得f(y)的值，即反向映射坐标(x0，y0)处的像素值v(x0，y0)。

在一些实施例中，可以基于除了图像的感兴趣区域(ROI)之外的区域来确定在过程201中描述的上采样区域。也就是说，上采样区域可以不与ROI重叠，例如包括ROI、是ROI的一部分、或与ROI部分重叠。对应地，在上采样区域中执行上采样操作(在过程202处)，而不在ROI中执行上采样操作。ROI可以指代图像中用户感兴趣的部分，例如图像中包含与用户打算研究和/或感兴趣的对象的信息有关的部分。在一些实施例中，上采样区域可以是除了图像的ROI之外的整个区域。在一些其他的实施例中，上采样区域可以是除了图像的ROI之外的区域的一部分。

在将上采样区域确定为在除了图像的ROI之外的区域中的实施例中，上采样区域可以不包括ROI，并且非上采样区域可以包括ROI。在一些实施例中，非上采样区域还可以包括在ROI之外但不包括在上采样区域中的一个或多个区域。

图5示出了根据本公开的各种公开实施例的包括示例性上采样区域的示例性图像。如图5所示，图像301包括边界区域302(图中的阴影区域)，该边界区域302包括包围中心区域303的四个边界带。中心区域可以被认为是例如ROI。上采样区域可以是包括边界区域302的区域或在边界区域302内的区域，例如在四个边界带中的一个或多个内的区域。

在一些实施例中，整个边界区域302构成上采样区域。对应地，非上采样区域可以是包括中心区域303的区域。

ROI和上采样区域不限于上述示例，并且可以根据各种应用场景来选择。

例如，可以将图像中的中心区域确定为上采样区域，并且可以将图像的边界区域确定为ROI。作为另一示例，可以将图像的左侧区域或右侧区域中的一个确定为上采样区域，并且可以将图像的左侧区域或右侧区域中的另一个确定为ROI。作为另一示例，可以将图像的顶部区域或底部区域中的一个确定为上采样区域，并且可以将图像的顶部区域或底部区域中的另一个确定为ROI。

图6A示出了使用与本公开一致的图像处理方法处理后的图像。图6B示出了通过使用常规图像处理方法处理后的图像。在图6A所示的示例中，区域501是ROI。图6A中所示的图像是通过在所确定的不包括区域501的上采样区域中应用上采样操作而获得的，而图6B中所示的图像是通过根据常规图像处理方法对整个图像应用上采样操作而获得的。图6B中的区域502对应于图6A中的区域501。图6A的图像中的区域501具有比图6B的图像中的区域502更好的质量。例如，图6A中低于9和10的区域中的带具有比图6A更高的图像质量。从图6A和图6B可以看出，通过使用与本公开一致的方法来处理图像，可以改变图像的分辨率而不会影响图像中某些区域(例如，ROI)的图像质量。

在另一示例性图像处理方法中，可以将图像中的低频区域确定为上采样区域。低频区域指代具有相对缓慢变化(即，在相对较大距离中变化)的图像数据的区域。高频区域针对具有相对快速变化(即，在相对短距离中变化)的图像数据的区域。图像数据在低频区域中的变化比在高频区域中的变化慢，即，在较大的距离中变化。图像数据指代例如像素值。

图7示出了根据本公开的各种公开实施例的另一示例性图像处理方法的流程图。参考图7，该方法描述如下。

在601处，接收视频的待处理(TBP)图像帧。可以从拍摄设备103接收视频。例如，TBP图像帧可以包括需要由示例性图像处理设备104使用示例性图像处理方法处理的图像。

在602处，接收视频的参考图像帧。参考图像帧在视频中可以在TBP图像帧之前。例如，参考图像帧可以是视频的图像帧序列中紧接在TBP图像帧之前的图像帧。因此，参考图像帧可以与TBP图像帧具有相似性，例如低频区域分布。在一些实施例中，参考图像帧可以包括一个或多个测试区域。测试区域指代要在其上确定频率特性的区域。频率特性指代区域是低频区域还是高频区域。

在603处，可以根据参考图像帧中的测试区域的梯度来确定TBP图像帧中的一个或多个低频区域。

在一些实施例中，可以确定参考图像帧中的每个测试区域的梯度。每个测试区域可以包括一个或多个测试子区域。在一些实施例中，测试子区域可以具有矩形形状或圆形形状之一。对于每个测试区域，可以获得该测试区域中的测试子区域的梯度并取其平均以获得该测试区域的梯度。

在一些实施例中，在参考图像帧中，可以确定具有小于预设值的梯度的测试区域。可以将TBP图像帧中且与梯度小于预设值的测试区域相对应的区域确定为TBP图像帧中的一个或多个低频区域。

在一些实施例中，TBP图像帧可以包括第一拜耳图像，并且参考图像帧可以包括第二拜耳图像。在一个实施例中，可以基于测试子区域中相同颜色的像素来获得测试子区域的梯度。相同颜色可以是红色、绿色或蓝色中的一种。例如，可以基于测试子区域中的红色像素来获得测试子区域的梯度。在另一个实施例中，可以通过计算基于测试子区域中的两种或更多种颜色的像素而获得的梯度的平均(例如，基于测试子区域中的第一颜色的像素获得的第一梯度、基于测试子区域中的第二颜色的像素获得的第二梯度、以及基于测试子区域中的第三颜色的像素获得的第三梯度的平均)来获得测试子区域的梯度。例如，第一颜色可以是红色，第二颜色可以是绿色，第三颜色可以是蓝色。对应地，可以获得第一梯度、第二梯度和第三梯度，并且进一步取其平均以获得测试子区域的梯度。

在一些实施例中，TBP图像帧可以包括第一RGB图像，并且参考图像帧可以包括第二RGB图像。可以基于测试子区域中的像素来获得测试子区域的梯度。例如，可以基于像素的子像素(例如，通过取像素中的子像素的值的平均)来计算每个像素的像素值。此外，可以根据计算出的每个像素的像素值来获得测试子区域的梯度。

在604处，将TBP图像帧中的一个或多个低频区域确定为上采样区域。在一些实施例中，上采样区域可以具有平行四边形形状、圆形形状、三角形形状、不规则形状或另一合适的形状中的一种。此外，平行四边形形状可以包括正方形、矩形或菱形。

此外，执行过程202和203。上面描述了过程202和203，这里省略其描述。

与常规图像处理方法相比，通过将TBP图像中的一个或多个低频区域确定为上采样区域并在上采样区域中执行上采样操作，可以抑制上采样期间图像中的失真。

图8示出了根据本公开的各种公开实施例的示例性图像处理设备104的示例性硬件配置的框图。如图8所示，数据处理设备104包括处理器701和存储器702。存储器702存储指令以供处理器701执行，以执行与本公开一致的方法，例如上述示例性图像处理方法之一。图像处理设备104还可以包括数据通信接口，以从拍摄设备103接收图像帧或视频。

在一些实施例中，处理器701可以包括任何合适的硬件处理器，例如，微处理器、微控制器、中央处理单元(CPU)、图形处理单元(GPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或其他可编程逻辑器件、分立门逻辑器件或晶体管逻辑器件、分立硬件部件。在一些实施例中，存储器702可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(RAM)、只读存储器、闪存、硬盘存储装置或光介质。

在一些实施例中，存储在存储器中的指令在由处理器执行时可以使处理器确定图像的上采样区域。

图像可以包括拜耳(Bayer)图像或红绿蓝(RGB)图像中的至少一种。在拜耳图像中，每个像素可以记录三种原色红色、绿色和蓝色之一。通常，拜耳图像中大约50％的像素是绿色，大约25％的像素是红色，大约25％的像素是蓝色。在RGB图像中，每个像素包括三个子像素。三个子像素分别对应于红色分量、绿色分量和蓝色分量。

在一些实施例中，指令还可以使处理器在上采样区域中执行上采样操作。

利用上采样操作，在上采样区域中像素的数量(即像素数)增加。经过上采样操作的上采样区域也可以被称为“经上采样的上采样区域”。

在一些实施例中，指令还可以使处理器基于上采样区域和非上采样区域来生成目标图像。

非上采样区域指代不执行上采样操作的区域，因此，非上采样区域中的像素的数量保持不变。

指令可以使处理器执行与本公开一致的功能，例如方法实施例中描述的功能。

对于上述装置的功能或装置的模块的功能的细节，可以参考上述方法实施例，在此不再赘述。

本领域普通技术人员应理解，上述示例性元素和算法步骤可以在电子硬件中或在计算机软件和电子硬件的组合中实现。这些功能是以硬件还是软件实现取决于技术解决方案的特定应用和设计约束。本领域普通技术人员可以针对不同的应用场景使用不同的方法来实现所描述的功能，但是这种实现不应认为超出了本公开的范围。

出于简化目的，可以省略对示例性系统、装置和单元的操作的详细描述，并且可以参考对示例性方法的描述。

所公开的系统、设备和方法可以用这里未描述的其他方式实现。例如，上述装置仅是说明性的。例如，单元的划分可以仅是逻辑功能划分，并且可以存在划分单元的其他方式。例如，可以组合多个单元或部件，或者可以将多个单元或部件集成到另一个系统中，或者可以忽略或不执行一些特征。此外，示出或讨论的耦接或直接耦接或通信连接可以包括通过一个或多个接口、装置或单元的直接连接或间接连接或通信连接，所述接口、装置或单元可以是电的、机械的或其他形式。

被描述为分离部件的单元可以是或可以不是物理上分离的，并且示为单元的部件可以是或可以不是物理单元。也就是说，这些单元可以位于一个地方，或者可以分布在多个网络元件上。可以根据实际需要选择一些部件或所有部件以实现本公开的目的。

另外，本公开的各种实施例中的功能单元可以集成在一个处理单元中，或者每个单元可以是物理上独立的单元，或者两个或更多个单元可以集成在一个单元中。

可以以存储在非暂时性计算机可读存储介质中的计算机程序的形式来实现与本公开一致的方法，该计算机程序可以被出售或用作独立产品。该计算机程序可以包括使得诸如处理器、个人计算机、服务器或网络装置之类的计算装置能够执行与本公开相一致的方法的一部分或全部(例如所描述的上述示例性方法之一)的指令。存储介质可以是可以存储程序代码的任何介质，例如USB盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘。

考虑到所公开的实施例的方法和系统的说明书和实践，本公开的其他实施例对本领域技术人员而言将是显而易见的。说明书和示例旨在被认为仅仅是示例性的并且不旨在限制本公开的范围，本发明的真正的范围和精神由随附的权利要求指示。

Claims

1.一种图像处理的方法，包括：

基于图像中除了感兴趣区域ROI之外的区域来确定上采样区域；以及

在所述上采样区域中执行上采样操作，而不在所述ROI中执行所述上采样操作。

2.根据权利要求1所述的方法，其中，所述图像包括拜耳图像或红绿蓝RGB图像中的至少一种。

3.根据权利要求2所述的方法，其中，确定所述上采样区域包括：将原始图像的四个边界带中的一个或多个边界带内的区域确定为所述上采样区域。

4.根据权利要求2所述的方法，其中，确定所述上采样区域包括：将原始图像的边界带内的区域确定为所述上采样区域。

5.根据权利要求1所述的方法，还包括：

将所述图像中的低频区域确定为所述上采样区域。

6.根据权利要求5所述的方法，还包括：在将所述图像中的低频区域确定为所述上采样区域之前执行如下操作：

接收包括一个或多个测试区域的参考图像；

获得所述一个或多个测试区域中的每个测试区域的梯度；

确定所述一个或多个测试区域中的一个测试区域的梯度小于预设值；以及

将所述图像中与所述参考图像中的所述一个或多个测试区域中的所述一个测试区域相对应的区域确定为所述低频区域。

7.根据权利要求6所述的方法，还包括：

接收视频的第一图像帧，

其中：

接收所述参考图像包括：接收所述视频的第二图像帧，所述视频的所述第二图像帧在所述视频中在所述第一图像帧之前。

8.根据权利要求6所述的方法，

其中，测试区域包括一个或多个测试子区域，

其中，获得所述参考图像中的所述测试区域的梯度包括：

获得所述测试区域中的所述一个或多个测试子区域的梯度；以及

取所述测试区域中的所述一个或多个测试子区域的梯度的平均，以获得所述测试区域的梯度。

9.根据权利要求8所述的方法，其中，测试子区域具有矩形形状或圆形形状之一。

10.根据权利要求8所述的方法，

其中，所述图像包括第一拜耳图像，并且所述参考图像包括第二拜耳图像，

其中，获得所述测试区域中的所述一个或多个测试子区域的梯度包括：

基于所述一个或多个测试子区域中相同颜色的像素来获得所述一个或多个测试子区域的梯度。

11.根据权利要求10所述的方法，其中：

所述相同颜色是红色、绿色或蓝色中的一种。

12.根据权利要求1所述的方法，其中，在所述上采样区域中执行所述上采样操作包括：在所述上采样区域中沿第一采样方向执行第一定向上采样。

13.根据权利要求12所述的方法，其中，在所述上采样区域中执行所述上采样操作还包括：在所述上采样区域中沿第二采样方向执行第二定向上采样。

14.根据权利要求13所述的方法，其中：

沿所述第一采样方向执行所述第一定向上采样包括：沿水平方向或竖直方向中的一个方向执行所述第一定向上采样，并且

沿所述第二采样方向执行所述第二定向上采样包括：沿所述水平方向或所述竖直方向中的另一个方向执行所述第二定向上采样。

15.根据权利要求1所述的方法，还包括：

基于所述ROI和所述上采样区域来生成目标图像；以及

输出所述目标图像。

16.一种图像处理设备，包括：

处理器；以及

存储有指令的存储器，所述指令在由所述处理器执行时使所述处理器执行以下操作：

17.根据权利要求16所述的设备，其中，所述图像包括拜耳图像或红绿蓝RGB图像中的至少一种。

18.根据权利要求17所述的设备，其中，所述指令还使所述处理器将原始图像的边界带内的区域确定为所述上采样区域。

19.根据权利要求17所述的设备，其中，所述指令还使所述处理器将原始图像的四个边界带中的一个或多个边界带内的区域确定为所述上采样区域。

20.根据权利要求16所述的设备，其中，所述指令还使所述处理器将所述图像中的低频区域确定为所述上采样区域。

21.根据权利要求20所述的设备，其中，所述指令还使所述处理器在将所述图像中的低频区域确定为所述上采样区域之前执行以下操作：

接收包括一个或多个测试区域的参考图像；

获得所述一个或多个测试区域中的每个测试区域的梯度；

22.根据权利要求21所述的设备，其中，所述指令还使所述处理器执行以下操作：

接收视频的第一图像帧，以及

通过接收所述视频的第二图像帧来接收所述参考图像，所述视频的所述第二图像帧在所述视频中在所述第一图像帧之前。

23.根据权利要求21所述的设备，

其中，测试区域包括一个或多个测试子区域，以及

所述指令还使所述处理器执行以下操作：

24.根据权利要求23所述的设备，其中，测试子区域具有矩形形状或圆形形状之一。

25.根据权利要求23所述的设备，其中，

所述图像包括第一拜耳图像，并且所述参考图像包括第二拜耳图像，以及

所述指令还使所述处理器执行以下操作：

26.根据权利要求25所述的没备，其中，

所述相同颜色是红色、绿色或蓝色中的一种。

27.根据权利要求16所述的设备，其中，所述指令还使所述处理器在所述上采样区域中沿第一采样方向执行第一定向上采样。

28.根据权利要求27所述的设备，其中，所述指令还使所述处理器在所述上采样区域中沿第二采样方向执行第二定向上采样。

29.根据权利要求28所述的设备，其中，所述指令还使所述处理器执行以下操作：

沿水平方向或竖直方向中的一个方向执行所述第一定向上采样，以及

沿所述水平方向或所述竖直方向中的另一个方向执行所述第二定向上采样。

30.根据权利要求16所述的设备，其中，所述指令还使所述处理器执行以下操作：

基于所述ROI和所述上采样区域来生成目标图像；以及

输出所述目标图像。