CN114820314A - 图像处理方法及装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法及装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN114820314A
CN114820314A CN202210453756.6A CN202210453756A CN114820314A CN 114820314 A CN114820314 A CN 114820314A CN 202210453756 A CN202210453756 A CN 202210453756A CN 114820314 A CN114820314 A CN 114820314A
Authority
CN
China
Prior art keywords
image
camera
grid
constraint term
straight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210453756.6A
Other languages
English (en)
Inventor
李政青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210453756.6A priority Critical patent/CN114820314A/zh
Publication of CN114820314A publication Critical patent/CN114820314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，应用于移动终端，移动终端包括第一摄像头和第二摄像头，第一摄像头的视场角小于第二摄像头的视场角。本公开涉及图像处理技术领域。该图像处理方法包括：获取第一摄像头拍摄的第一图像以及第二摄像头拍摄的第二图像，对第一图像进行尺度变换，以得到第三图像；确定第二图像的特征点信息和直线信息，并确定第三图像的特征点信息和直线信息；对第三图像进行网格划分，并结合第二图像和第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格；根据第三图像优化后的网格，对第三图像进行插值处理。本公开可以提高图像对齐效果。

Description

图像处理方法及装置、计算机可读存储介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。
背景技术
图像对齐技术广泛应用于计算机视觉领域的各类任务。目前的图像对齐算法，主要包括基于稠密光流的图像匹配算法以及基于深度模型的匹配算法。
然而，基于稠密光流的图像匹配算法，在重复纹理、弱纹理区域较容易出现光流计算错误，导致图像局部不规则、扭曲明显的问题；基于深度模型的匹配算法，由于网络的不可控性，可能出现局部区域存在伪像的问题。目前普遍存在图像对齐效果差的问题。
发明内容
本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服图像对齐效果差的问题。
根据本公开的第一方面，提供了一种图像处理方法，应用于移动终端，移动终端包括第一摄像头和第二摄像头，第一摄像头的视场角小于第二摄像头的视场角；该图像处理方法包括：获取第一摄像头拍摄的第一图像以及第二摄像头拍摄的第二图像，根据第一摄像头的视场角和第二摄像头的视场角对第一图像进行尺度变换，以将第一图像缩小而得到第三图像；确定第二图像的特征点信息和直线信息，并确定第三图像的特征点信息和直线信息；对第三图像进行网格划分，并结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格；根据第三图像优化后的网格，对第三图像进行插值处理，以得到与第二图像对齐的第四图像。
根据本公开的第二方面，提供了一种图像处理装置，应用于移动终端，移动终端包括第一摄像头和第二摄像头，第一摄像头的视场角小于第二摄像头的视场角；图像处理装置包括：图像获取模块，用于获取第一摄像头拍摄的第一图像以及第二摄像头拍摄的第二图像，根据第一摄像头的视场角和第二摄像头的视场角对第一图像进行尺度变换，以将第一图像缩小而得到第三图像；信息确定模块，用于确定第二图像的特征点信息和直线信息，并确定第三图像的特征点信息和直线信息；网格优化模块，用于对第三图像进行网格划分，并结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格；插值处理模块，用于根据第三图像优化后的网格，对第三图像进行插值处理，以得到与第二图像对齐的第四图像。
根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像处理方法。
根据本公开的第四方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的图像处理方法。
在本公开的一些实施例所提供的技术方案中，获取第一摄像头拍摄的第一图像以及第二摄像头拍摄的第二图像，将第一图像进行尺度变换，得到第三图像，确定第二图像的特征点信息和直线信息，并确定第三图像的特征点信息和直线信息，对第三图像进行网格划分，并结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，再利用优化后的网格对第三图像进行插值处理，以得到与第二图像对齐的第四图像。一方面，本公开方案结合图像的特征点信息和直线信息进行网格优化，来实现图像对齐，相较于仅采用特征点来进行图像对齐的方案，提高了图像对齐的准确度，尤其对于直线特征明显的场景，可以显著提升局部的对齐效果；另一方面，相较于深度模型的图像对齐方案，本公开方案的算法复杂度低，可扩展性强，能够较好匹配移动终端的处理资源，提升用户在影像方面的体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了本公开实施例的实现图像处理方案的移动终端的示意图；
图2示意性示出了根据本公开示例性实施方式的图像处理方法的流程图；
图3示出了本公开实施例的第一图像的示意图；
图4示出了本公开实施例的第二图像的示意图；
图5示出了本公开实施例的第三图像的示意图；
图6示出了本公开实施例的将网格划分为三角形的示意图；
图7示出了本公开实施例的构建目标函数的示意图；
图8示意性示出了根据本公开示例性实施方式的图像处理装置的方框图；
图9示意性示出了根据本公开另一示例性实施方式的图像处理装置的方框图；
图10示意性示出了根据本公开的示例性实施方式的电子设备的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”、“第三”、“第四”、“第五”等仅是为了区分的目的，不应作为本公开内容的限制。
本公开实施方式的图像处理方案应用于移动终端，其中，移动终端包括但不限于智能手机、平板电脑、智能可穿戴设备等，本公开对移动终端的类型不做限制。
图1示出了本公开实施例的实现图像处理方案的移动终端的示意图。
参考图1，移动终端1包括第一摄像头11、第二摄像头12和处理器13。第一摄像头11的视场角小于第二摄像头12的视场角。
在本公开实施方式的图像处理方案中，移动终端1通过第一摄像头11拍摄出第一图像，通过第二摄像头12拍摄出第二图像。其中，第一图像与第二图像针对的拍摄场景相同，第一图像的拍摄时间与第二图像的拍摄时间相同或拍摄时间差小于一时间阈值，该时间阈值通常是一个非常小的值。
处理器13可以获取第一图像和第二图像。在获取到第一图像后，处理器13可以对第一图像进行尺度变换，以将第一图像等比例缩小，缩小后的图像为第三图像。
一方面，处理器13可以对第二图像进行特征点提取，得到第二图像的特征点信息；另一方面，处理器13可以对第二图像进行直线检测，得到第二图像的直线信息。
类似地，处理器13可以确定第三图像的特征点信息和直线信息。
处理器13在确定出第三图像之后，可以对第三图像进行网格划分。在得到第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息的情况下，处理器13可以结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格。
然后，处理器13可以根据第三图像优化后的网格，对第三图像进行插值处理，并将插值处理后的图像确定为第四图像，第四图像是与第二图像对齐的图像。
经过上述图像处理过程，可以实现图像的对齐操作。接下来，可以利用对齐的图像实现图像融合，以达到提升图像的清晰度、减少噪声等效果。
下面将结合附图对本公开实施方式的图像处理方法进行说明。该图像处理方法应用于移动终端，也就是说，由移动终端执行本公开实施方式的图像处理方法的各个步骤。
该移动终端包括第一摄像头和第二摄像头，第一摄像头的视场角小于第二摄像头的视场角。其中，视场角又可称为视野，指摄像头接收影像的角度范围。具体的，以摄像头的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。一般来讲，如果一个物体在摄像头的视场角之外，就不会被该摄像头采集到。
以智能手机为例，第一摄像头和第二摄像头可以均为智能手机的后置摄像头，或者均为智能手机的前置摄像头。
例如，第一摄像头是广角摄像头，第二摄像头是超广角摄像头。又例如，第一摄像头是长焦摄像头，第二摄像头是广角摄像头，等等。
图2示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图2，本公开实施方式的图像处理方法可以包括以下步骤：
S22.获取第一摄像头拍摄的第一图像以及第二摄像头拍摄的第二图像，对根据第一摄像头的视场角和第二摄像头的视场角对第一图像进行尺度变换，以将第一图像缩小而得到第三图像。
移动终端可以通过第一摄像头拍摄得到第一图像，并通过第二摄像头拍摄得到第二图像。图3示例性示出了第一图像，图4示例性示出了对应的第二图像。从图3和图4中也可以明显看出，第一图像包含的图像内容少于第二图像包含的图像内容，也就是说，第一摄像头的视场角小于第二摄像头的视场角。
在获取到第一图像之后，移动终端可以对第一图像进行尺度变换，以将第一图像缩小，并将缩小后的图像记为第三图像。
在一些实施例中，尺度变换仅指的是对第一图像进行等比例缩小的操作。
在另一些实施例中，尺度变换的处理过程，除等比例缩小操作外，还可以至少包括例如仿射变换等处理过程。在这种情况下，尺度变换又可被称为全局对齐。通过全局对齐的方式，有助于后续的图像对齐过程，算法更加准确。
另外，等比例缩小的缩小倍数可以根据第一摄像头与第二摄像头的属性特征预先计算出。具体的，首先，终端设备可以预先根据第一摄像头的视场角和第二摄像头的视场角，计算缩小倍数。接下来，终端设备可以按该缩小倍数对第一图像进行等比例缩小，以得到第三图像。其中，在误差允许的范围内，本公开对计算缩小倍数的具体计算方式不做限制。
图5示例性示出了对图3的第一图像进行尺度变换后的第三图像。由此，第三图像和第二图像处于不同的尺度下，以便实现后续图像对齐的处理过程。
S24.确定第二图像的特征点信息和直线信息，并确定第三图像的特征点信息和直线信息。
在获取到第二图像之后，终端设备可以确定第二图像的特征点信息和直线信息。
针对确定第二图像的特征点的过程，可以采用下述特征点提取算法中的至少一个来实现：SURF(Speeded Up Robust Features，加速稳健特征)、SIFT(Scale-InvariantFeature Transform，尺度不变特征变换)、Harris角点检测等。
另外，特征点还可以包括ORB(Oriented FAST and Rotated BRIEF)特征，该ORB特征可以由关键点和描述子两部分组成，ORB特征的关键点为“Oriented FAST”，OrientedFAST是一种改进的FAST角点，描述子采用了“Rotated BRIEF”，Rotated BRIEF是一种改进的BRIEF描述子。ORB是一种包含方向与旋转信息的高效视觉特征描述子。该ORB特征具有尺度不变性、旋转不变性等，在平移、旋转和缩放的变换下均具有良好的表现，且提取与匹配速度很快，因而，可以有效提高对图像进行处理的速度、准确性和效率。
本公开对特征点的提取算法不做限制。
在提取到第二图像的特征点之后，移动终端还可以采用随机采样一致性RANSAC算法对特征点进行筛选，将置信度大于置信度阈值的特征点的坐标，作为第二图像的特征点信息。本公开对置信度阈值的具体取值不做限制。
针对确定第二图像包含的直线的过程，例如，可以采用下述任意一种直线检测算法：Hough_line直线检测算法、LSD直线检测算法、FLD直线检测算法、LSM直线检测算法等。本公开所说的直线信息包括但不限于直线的起点和终点。
类似地，移动终端还可以确定第三图像的特征点信息和直线信息。
另外，针对第二图像和第三图像的直线检测与匹配的过程，还可以进行重叠区域的直线检测与匹配。
具体的，可以利用从第二图像和第三图像分别提取到的特征点，计算第三图像到第二图像的单应矩阵，即可得到第二图像与第三图像的重叠区域，如图5中非黑色的区域就是重叠区域。
直线匹配指的是从第二图像中分别确定出与第三图像包含的直线对应的直线，本公开对直线匹配的算法不做限制。
S26.对第三图像进行网格划分，并结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格。
在确定出第三图像之后，移动终端可以对第三图像进行网格划分，划分出的网格一般是均匀的，也就是说，每个网格单元的尺寸相同。例如，将第三图像均匀划分为64*48个网格单元。
终端设备可以结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格。
在本公开的示例性实施方式中，可以借助于目标函数，完成网格的优化。
一方面，移动终端可以根据第二图像的特征点信息和第三图像的特征点信息，构建针对特征点的第一约束项，将第一约束项记为Ef。
针对第三图像中的特征点p，确定第二图像中匹配的特征点p′，特征点p的坐标可以用所在网格四个顶点的坐标
Figure BDA0003619878810000081
以及对应的权重系数
Figure BDA0003619878810000082
表示。由此，第一约束项Ef可以表示为公式1：
Figure BDA0003619878810000083
其中，
Figure BDA0003619878810000084
表示第三图像中第i个特征点pi网格形变后的顶点坐标，pi ′表示第二图像中与特征点pi匹配的特征点。可以理解的是，第一约束项Ef表征的是第三图像网格形变前后的对齐误差。
另外，对于上述权重系数，假设一个网格单元的四个顶点分别为v1(x1,y1)、v2(x2,y1)、v3(x2,y2)和v4(x1,y2)，那么特征点p(xp,yp)的坐标可以表示为
Figure BDA0003619878810000085
其中，
Figure BDA0003619878810000086
Figure BDA0003619878810000087
Figure BDA0003619878810000088
Figure BDA0003619878810000089
另一方面，移动终端可以根据第二图像的直线信息和第三直线的直线信息，构建针对直线的第二约束项，将第二约束项记为El。
针对第三图像中的直线l＝[a,b,c]，其中，a、b、c分别是直线l的直线方程ax+by+c＝0中的参数，确定第二图像中匹配的直线l′＝[a′,b′,c′]，对直线l进行均匀采样，认为直线l上的采样点在形变后应该位于直线l′上。由此，第二约束项El可以表示为公式2：
Figure BDA0003619878810000091
其中，pj,k表示第j条直线上的第k个采样点，
Figure BDA0003619878810000092
是所在的四个网格顶点，
Figure BDA0003619878810000093
是对应的权重系数。
在确定出第一约束项和第二约束项之后，移动终端可以结合第一约束项和第二约束项构建对第三图像的网格进行优化的目标函数。
根据本公开的一些实施例，移动终端可以仅利用第一约束项和第二约束项构建目标函数。在这种情况下，目标函数可以表示为公式3：
Figure BDA0003619878810000094
其中，λf和λl均为预先配置的权重。
通过求解该目标函数，即可得到第三图像优化后的网格。
根据本公开的另一些实施例，除上述第一约束项和第二约束项之外，移动终端还可以结合网格形变程度来构建目标函数。
移动终端可以构建与第三图像的网格形变程度相关的第三约束项，将第三约束项记为Eb。第三约束项Eb可以表示为公式4：
Figure BDA0003619878810000095
其中，N(i)表示第i个网格点周围的网格点，9ij为
Figure BDA0003619878810000096
方向的单位向量。
第三约束项可以保证网格形变较小，保持邻域网格在水平和竖直方向的位移偏差较小。
移动终端可以利用第一约束项、第二约束项和第三约束项构建目标函数。在这种情况下，目标函数可以表示为公式5：
Figure BDA0003619878810000097
其中，λb也为预先配置的权重。
通过求解该目标函数，即可得到第三图像优化后的网格。
根据本公开的又一些实施例，除上述第一约束项和第二约束项之外，移动终端还可以结合网格形变前后的网格相似性来构建目标函数。
移动终端可以构建与第三图像的网格形变前后的网格相似性相关的第四约束项，将第四约束项记为Es。该约束项可以被理解为是表征网格平滑项的约束。
参考图6，每个网格[v1,v2,v3,v4]都可以分为两个三角形△v1v2v3和△v4v3v1，其中三角形△v1v2v3中的顶点v1可以表示为公式6：
Figure BDA0003619878810000101
其中，
Figure BDA0003619878810000102
A和B可以根据未形变的原始三角形的坐标计算得到，也就是说，将未形变的原始三角形的坐标代入公式6，即可求得A和B。
在形变前后，每个三角形遵从相似变换。因此，对于形变后的三角形，顶点
Figure BDA0003619878810000103
仍可以用
Figure BDA0003619878810000104
和
Figure BDA0003619878810000105
以及系数(A,B)来表示，因此，第四约束项Es可以表示为公式7：
Figure BDA0003619878810000106
其中，Nt是第三图像中包含三角形的数量。
移动终端可以利用第一约束项、第二约束项和第四约束项构建目标函数。在这种情况下，目标函数可以表示为公式8：
Figure BDA0003619878810000107
其中，λs也为预先配置的权重。
通过求解该目标函数，即可得到第三图像优化后的网格。
根据本公开的再一些实施例，移动终端可以根据第一约束项、第二约束项、第三约束项和第四约束项构建目标函数。在这种情况下，目标函数可以表示为公式9：
Figure BDA0003619878810000108
图7示例性示出了利用本公开上述四种约束项构建目标函数的示意图。参考图7，首先，移动终端可以根据图像的特征点信息构建第一约束项，可以根据图像的直线信息构建第二约束项，并可以根据形变后的网格信息构建出第三约束项和第四约束项。接下来，移动终端可以根据第一约束项、第二约束项、第三约束项和第四约束项构建目标函数。
通过求解该目标函数，即可得到第三图像优化后的网格。
S28.根据第三图像优化后的网格，对第三图像进行插值处理，以得到与第二图像对齐的第四图像。
在基于步骤S26的处理过程对第三图像进行网格优化后，移动终端可以根据第三图像优化后的网格，对第三图像进行插值处理，可以将插值处理后的图像作为与第二图像对齐的第四图像。
首先，移动终端根据优化后网格点的水平方向和竖直方向的位置，通过例如三次样条插值得到水平方向和竖直方向上每个像素点的位置。接下来，在得到这个逐像素的位置关系后，通过remap函数可以实现图像的变形。其中，remap函数是opencv自带的函数。
在得到与第二图像对齐的第四图像之后，可以利用对齐的图像执行图像的后续处理任务。
例如，移动终端可以将第四图像与第二图像融合，以得到第五图像。可以理解的是，第五图像是第二图像清晰度得到提升后的图像。
另外，在实际拍摄的场景中，为了节省存储资源，移动终端可以将经过上述处理过程得到的第五图像进行保存，并删除第一至第四图像。
综上所述，本公开实施方式的图像处理方法，至少结合特征点和直线两方面因素实现图像对齐，在直线特征明显的场景中，可以显著提升局部的对齐效果。
另外，本公开实施方式对于远景等较小视差的场景，图像对齐效果极佳，通过网格形变优化的方式，既可以利用特征点特征、直线特征，又可以融合网格形变程度以及网格形变前后网格相似性的约束，以减小因为特征点匹配或直线匹配异常所带来的对齐问题。相比于例如光流等实现图像对齐的方案，本公开实施方式的图像对齐方案不会出现明显的局部扭曲断层、重复纹理错位等问题。
为了进一步节约移动终端的资源，上述图像对齐处理过程可以仅在远景场景中实现。也就是说，在步骤S22之前，移动终端可以检测当前的拍摄场景是否为远景场景，例如，在拍摄的对象距移动终端的距离大于一距离阈值的情况下，或者在拍摄的所有对象中超过一比例阈值的对象距移动终端的距离大于距离阈值的情况下，则可以认为是远景场景，本公开对距离阈值和比例阈值的具体取值不做限制。在确定出当前拍摄的场景为远景场景时，移动终端再执行上述步骤S22至步骤S28的图像处理方案。
对于检测距离，移动终端可以通过单目或多目测距的方式，或者通过移动终端配备的距离传感器来检测距离，以得到拍摄对象距移动终端的距离，本公开对此不做限制。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中还提供了一种图像处理装置。该图像处理装置应用于移动终端，移动终端包括第一摄像头和第二摄像头，第一摄像头的视场角小于第二摄像头的视场角。
图8示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图8，根据本公开的示例性实施方式的图像处理装置8可以包括图像获取模块81、信息确定模块83、网格优化模块85和插值处理模块87。
具体的，图像获取模块81可以用于获取第一摄像头拍摄的第一图像以及第二摄像头拍摄的第二图像，并根据第一摄像头的视场角和第二摄像头的视场角对第一图像进行尺度变换，以将第一图像缩小而得到第三图像；信息确定模块83可以用于确定第二图像的特征点信息和直线信息，并确定第三图像的特征点信息和直线信息；网格优化模块85可以用于对第三图像进行网格划分，并结合第二图像的特征点信息和直线信息以及第三图像的特征点信息和直线信息，对第三图像的网格进行优化，以得到第三图像优化后的网格；插值处理模块87可以用于根据第三图像优化后的网格，对第三图像进行插值处理，以得到与第二图像对齐的第四图像。
根据本公开的示例性实施例，图像获取模块81得到第三图像的过程可以被配置为执行：根据第一摄像头的视场角和第二摄像头的视场角，计算缩小倍数；按缩小倍数对第一图像进行等比例缩小，以得到第三图像。
根据本公开的示例性实施例，网格优化模块85对第三图像的网格进行优化的过程可以被配置为执行：根据第二图像的特征点信息和第三图像的特征点信息，构建针对特征点的第一约束项；根据第二图像的直线信息和第三图像的直线信息，构建针对直线的第二约束项；结合第一约束项和第二约束项，构建对第三图像的网格进行优化的目标函数；求解目标函数，以得到第三图像优化后的网格。
根据本公开的示例性实施例，网格优化模块85对第三图像的网格进行优化的过程还可以被配置为执行：构建与第三图像的网格形变程度相关的第三约束项；结合第一约束项、第二约束项和第三约束项，构建对第三图像的网格进行优化的目标函数。
根据本公开的示例性实施例，网格优化模块85对第三图像的网格进行优化的过程还可以被配置为执行：构建与第三图像的网格形变前后的网格相似性相关的第四约束项；根据第一约束项、第二约束项、第三约束项和第四约束项，构建对第三图像的网格进行优化的目标函数。
根据本公开的示例性实施例，网格优化模块85对第三图像的网格进行优化的过程还可以被配置为执行：构建与第三图像的网格形变前后的网格相似性相关的第四约束项；根据第一约束项、第二约束项和第四约束项，构建对第三图像的网格进行优化的目标函数。
根据本公开的示例性实施例，参考图9，相比于图像处理装置8，图像处理装置9还可以包括图像融合模块91。
具体的，图像融合模块91可以被配置为执行：将第四图像与第二图像融合，以得到第五图像。
由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。
图10示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式的移动终端可以被配置为如图10的形式。需要说明的是，图10示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。
具体的，如图10所示，电子设备100可以包括：处理器1010、内部存储器1021、外部存储器接口1022、通用串行总线(Universal Serial Bus，USB)接口1030、充电管理模块1040、电源管理模块1041、电池1042、天线1、天线2、移动通信模块1050、无线通信模块1060、音频模块1070、传感器模块1080、显示屏1090、摄像模组1091、指示器1092、马达1093、按键1094以及用户标识模块(Subscriber Identification Module，SIM)卡接口1095等。其中传感器模块1080可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
可以理解的是，本公开实施例示意的结构并不构成对电子设备100的具体限定。在本公开另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器1010可以包括一个或多个处理单元，例如：处理器1010可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器1010中还可以设置存储器，用于存储指令和数据。
电子设备100可以通过ISP、摄像模组1091、视频编解码器、GPU、显示屏1090及应用处理器等实现拍摄功能。在一些实施例中，电子设备100可以包括N个摄像模组1091，N为大于1的正整数，这N个摄像头中有一个可以是主摄像头。例如，本公开实施例中的第一摄像头为主摄像头，第二摄像头为超广角摄像头。
内部存储器1021可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器1021可以包括存储程序区和存储数据区。外部存储器接口1022可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如本公开实施例中所述的方法。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像处理方法，其特征在于，应用于移动终端，所述移动终端包括第一摄像头和第二摄像头，所述第一摄像头的视场角小于所述第二摄像头的视场角；所述图像处理方法包括：
获取所述第一摄像头拍摄的第一图像以及所述第二摄像头拍摄的第二图像，并根据所述第一摄像头的视场角和所述第二摄像头的视场角对所述第一图像进行尺度变换，以将所述第一图像缩小而得到第三图像；
确定所述第二图像的特征点信息和直线信息，并确定所述第三图像的特征点信息和直线信息；
对所述第三图像进行网格划分，并结合所述第二图像的特征点信息和直线信息以及所述第三图像的特征点信息和直线信息，对所述第三图像的网格进行优化，以得到所述第三图像优化后的网格；
根据所述第三图像优化后的网格，对所述第三图像进行插值处理，以得到与所述第二图像对齐的第四图像。
2.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一摄像头的视场角和所述第二摄像头的视场角对所述第一图像进行尺度变换，以将所述第一图像缩小而得到第三图像，包括：
根据所述第一摄像头的视场角和所述第二摄像头的视场角，计算缩小倍数；
按所述缩小倍数对所述第一图像进行等比例缩小，以得到第三图像。
3.根据权利要求1所述的图像处理方法，其特征在于，结合所述第二图像的特征点信息和直线信息以及所述第三图像的特征点信息和直线信息，对所述第三图像的网格进行优化，以得到所述第三图像优化后的网格，包括：
根据所述第二图像的特征点信息和所述第三图像的特征点信息，构建针对特征点的第一约束项；
根据所述第二图像的直线信息和所述第三图像的直线信息，构建针对直线的第二约束项；
结合所述第一约束项和所述第二约束项，构建对所述第三图像的网格进行优化的目标函数；
求解所述目标函数，以得到所述第三图像优化后的网格。
4.根据权利要求3所述的图像处理方法，其特征在于，结合所述第一约束项和所述第二约束项，构建对所述第三图像的网格进行优化的目标函数，包括：
构建与所述第三图像的网格形变程度相关的第三约束项；
结合所述第一约束项、所述第二约束项和所述第三约束项，构建对所述第三图像的网格进行优化的目标函数。
5.根据权利要求4所述的图像处理方法，其特征在于，结合所述第一约束项、所述第二约束项和所述第三约束项，构建对所述第三图像的网格进行优化的目标函数，包括：
构建与所述第三图像的网格形变前后的网格相似性相关的第四约束项；
根据所述第一约束项、所述第二约束项、所述第三约束项和所述第四约束项，构建对所述第三图像的网格进行优化的目标函数。
6.根据权利要求3所述的图像处理方法，其特征在于，结合所述第一约束项和所述第二约束项，构建对所述第三图像的网格进行优化的目标函数，包括：
构建与所述第三图像的网格形变前后的网格相似性相关的第四约束项；
根据所述第一约束项、所述第二约束项和所述第四约束项，构建对所述第三图像的网格进行优化的目标函数。
7.根据权利要求1至6中任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
将所述第四图像与所述第二图像融合，以得到第五图像。
8.一种图像处理装置，其特征在于，应用于移动终端，所述移动终端包括第一摄像头和第二摄像头，所述第一摄像头的视场角小于所述第二摄像头的视场角；所述图像处理装置包括：
图像获取模块，用于获取所述第一摄像头拍摄的第一图像以及所述第二摄像头拍摄的第二图像，并根据所述第一摄像头的视场角和所述第二摄像头的视场角对所述第一图像进行尺度变换，以将所述第一图像缩小而得到第三图像；
信息确定模块，用于确定所述第二图像的特征点信息和直线信息，并确定所述第三图像的特征点信息和直线信息；
网格优化模块，用于对所述第三图像进行网格划分，并结合所述第二图像的特征点信息和直线信息以及所述第三图像的特征点信息和直线信息，对所述第三图像的网格进行优化，以得到所述第三图像优化后的网格；
插值处理模块，用于根据所述第三图像优化后的网格，对所述第三图像进行插值处理，以得到与所述第二图像对齐的第四图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。
10.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至7中任一项所述的图像处理方法。
CN202210453756.6A 2022-04-27 2022-04-27 图像处理方法及装置、计算机可读存储介质和电子设备 Pending CN114820314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210453756.6A CN114820314A (zh) 2022-04-27 2022-04-27 图像处理方法及装置、计算机可读存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210453756.6A CN114820314A (zh) 2022-04-27 2022-04-27 图像处理方法及装置、计算机可读存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN114820314A true CN114820314A (zh) 2022-07-29

Family

ID=82509083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210453756.6A Pending CN114820314A (zh) 2022-04-27 2022-04-27 图像处理方法及装置、计算机可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN114820314A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
WO2018233373A1 (zh) * 2017-06-23 2018-12-27 华为技术有限公司 一种图像处理方法、装置与设备
CN110855957A (zh) * 2019-11-01 2020-02-28 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN110868541A (zh) * 2019-11-19 2020-03-06 展讯通信（上海）有限公司 视场融合方法及装置、存储介质、终端
CN111062881A (zh) * 2019-11-20 2020-04-24 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN111479065A (zh) * 2020-04-16 2020-07-31 北京迈格威科技有限公司 相机视场角同步方法及装置、图像拍摄方法及装置
CN111899164A (zh) * 2020-06-01 2020-11-06 东南大学 一种针对多焦段场景的图像拼接方法
US20210004933A1 (en) * 2019-07-01 2021-01-07 Geomagical Labs, Inc. Method and system for image generation
CN112261387A (zh) * 2020-12-21 2021-01-22 展讯通信（上海）有限公司 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN112435163A (zh) * 2020-11-18 2021-03-02 大连理工大学 一种直线特征保护与网格优化的无人机航拍图像拼接方法
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
WO2018233373A1 (zh) * 2017-06-23 2018-12-27 华为技术有限公司 一种图像处理方法、装置与设备
US20210004933A1 (en) * 2019-07-01 2021-01-07 Geomagical Labs, Inc. Method and system for image generation
CN110855957A (zh) * 2019-11-01 2020-02-28 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN110868541A (zh) * 2019-11-19 2020-03-06 展讯通信（上海）有限公司 视场融合方法及装置、存储介质、终端
CN111062881A (zh) * 2019-11-20 2020-04-24 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN111479065A (zh) * 2020-04-16 2020-07-31 北京迈格威科技有限公司 相机视场角同步方法及装置、图像拍摄方法及装置
CN111899164A (zh) * 2020-06-01 2020-11-06 东南大学 一种针对多焦段场景的图像拼接方法
CN112435163A (zh) * 2020-11-18 2021-03-02 大连理工大学 一种直线特征保护与网格优化的无人机航拍图像拼接方法
CN112261387A (zh) * 2020-12-21 2021-01-22 展讯通信（上海）有限公司 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
迟龙云等: "基于局部单应性矩阵的图像拼接与定位算法研究", 导航定位与授时, no. 03, 15 May 2020 (2020-05-15), pages 62 - 69 *

Similar Documents

Publication Publication Date Title
CN111598993B (zh) 基于多视角成像技术的三维数据重建方法、装置
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN112927362B (zh) 地图重建方法及装置、计算机可读介质和电子设备
US9135678B2 (en) Methods and apparatus for interfacing panoramic image stitching with post-processors
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
WO2017091927A1 (zh) 图像处理方法和双摄像头系统
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN113096185B (zh) 视觉定位方法、视觉定位装置、存储介质与电子设备
CN112270709B (zh) 地图构建方法及装置、计算机可读存储介质和电子设备
CN112270755B (zh) 三维场景构建方法、装置、存储介质与电子设备
CN113256718A (zh) 定位方法和装置、设备及存储介质
CN113140036A (zh) 一种三维建模方法、装置、设备及存储介质
CN112927271A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN116310105B (zh) 基于多视图的物体三维重建方法、装置、设备及存储介质
CN105466399A (zh) 快速半全局密集匹配方法和装置
CN110111364A (zh) 运动检测方法、装置、电子设备及存储介质
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN116630598B (zh) 大场景下的视觉定位方法、装置、电子设备及存储介质
CN111899326A (zh) 一种基于gpu并行加速的三维重建方法
CN115375740A (zh) 位姿确定方法和三维模型的生成方法、装置、设备、介质
CN114820314A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN114119405A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN114677439A (zh) 相机的位姿确定方法、装置、电子设备以及存储介质
CN112288817B (zh) 基于图像的三维重建处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination