CN112819696A - 电子设备及其图像处理方法 - Google Patents

电子设备及其图像处理方法 Download PDF

Info

Publication number
CN112819696A
CN112819696A CN202110126798.4A CN202110126798A CN112819696A CN 112819696 A CN112819696 A CN 112819696A CN 202110126798 A CN202110126798 A CN 202110126798A CN 112819696 A CN112819696 A CN 112819696A
Authority
CN
China
Prior art keywords
image
sub
frame
images
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110126798.4A
Other languages
English (en)
Inventor
袁高阳
聂和平
高仁福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Mobile Communications Technology Co Ltd
Original Assignee
Hisense Mobile Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Mobile Communications Technology Co Ltd filed Critical Hisense Mobile Communications Technology Co Ltd
Priority to CN202110126798.4A priority Critical patent/CN112819696A/zh
Publication of CN112819696A publication Critical patent/CN112819696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种电子设备及其图像处理方法，涉及图像处理技术领域。电子设备能够直接对图像序列包括的第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，以得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。

Description

电子设备及其图像处理方法
技术领域
本申请涉及图像处理技术领域，特别涉及一种电子设备及其图像处理方法。
背景技术
电子设备在拍摄全景图像时，可以采集针对拍摄对象的多帧图像，并对该多帧图像进行拼接，从而得到针对该拍摄对象的全景图像。
相关技术中，由于该多帧图像是在不同的拍摄位置处拍摄得到的图像，即该多帧图像所在的相机坐标系不同。因此为了对该多帧图像进行拼接，电子设备可以先将多帧图像转换至同一相机坐标系，例如柱面坐标系中，之后可以对转换后的多帧图像进行拼接，以得到全景图像。
但是，该种方式得到的全景图像的视场角较小。
发明内容
本申请提供了一种电子设备及其图像处理方法方法，可以解决相关技术的得到的全景图像的视场角较小的问题。所述技术方案如下：
一方面，提供了一种电子设备，所述电子设备包括：处理器和摄像头；
所述摄像头，用于采集图像序列，所述图像序列包括多帧图像；
所述处理器，用于：
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
另一方面，提供了一种电子设备，所述电子设备包括：处理器和广角镜头；
所述广角镜头，用于采集图像序列，所述图像序列包括多帧图像；
所述处理器，用于：
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到拼接图像；
对所述拼接图像进行畸变矫正，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
可选的，所述前一帧图像中的第一子图像为位于所述前一帧图像的第一分割线右侧的子图像，所述后一帧图像中的第二子图像为位于所述后一帧图像的第二分割线左侧的子图像；
其中，所述第一子图像的宽度w1和所述第二子图像的宽度w2均满足：
w1＝w2＝wt+mv-w3-w4；
所述wt为一帧所述图像的宽度，所述mv为所述运动矢量，所述w3为所述第三子图像的宽度，所述w4为所述第四子图像的宽度；
每一帧所述图像的宽度，所述第一子图像的宽度，以及所述第二子图像的宽度均平行于像素行方向，所述前一帧图像的第一分割线，以及所述后一帧图像的第二分割线均平行于像素列方向。
可选的，所述处理器用于：
采用线性融合算法对所述第一子图像和所述第二子图像进行图像融合，得到拼接子图像。
可选的，所述第三子图像为所述第一帧图像的左半部分图像；
所述第四子图像为所述最后一帧图像的右半部分图像；
所述第一子图像的宽度和所述第二子图像的宽度均等于所述运动矢量。
可选的，所述处理器用于：
若所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量处于矢量范围内，则基于所述运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像。
可选的，所述处理器用于：
采用绝对误差和算法，确定所述后一帧图像相对于所述前一帧图像的运动矢量。
又一方面，提供了一种电子设备的图像处理方法，所述电子设备包括：摄像头；所述方法包括：
控制所述摄像头采集图像序列，所述图像序列包括多帧图像；
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
再一方面，提供了一种电子设备的图像处理方法，所述电子设备包括广角镜头；所述方法包括：
控制所述广角镜头采集图像序列，所述图像序列包括多帧图像；
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到拼接图像；
对所述拼接图像进行畸变矫正，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
可选的，所述前一帧图像中的第一子图像为位于所述前一帧图像的第一分割线右侧的子图像，所述后一帧图像中的第二子图像为位于所述后一帧图像的第二分割线左侧的子图像；
其中，所述第一子图像的宽度w1和所述第二子图像的宽度w2均满足：
w1＝w2＝wt+mv-w3-w4；
所述wt为一帧所述图像的宽度，所述mv为所述运动矢量，所述w3为所述第三子图像的宽度，所述w4为所述第四子图像的宽度；
每一帧所述图像的宽度，所述第一子图像的宽度，以及所述第二子图像的宽度均平行于像素行方向，所述前一帧图像的第一分割线，以及所述后一帧图像的第二分割线均平行于像素列方向。
可选的，所述对所述第一子图像和所述第二子图像进行图像融合，得到拼接子图像，包括：
采用线性融合算法对所述第一子图像和所述第二子图像进行图像融合，得到拼接子图像。
再一方面，提供了一种电子设备，所述电子设备包括：存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方面所述的电子设备的图像处理方法。
再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的电子设备的图像处理方法。
再一方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在所述计算机上运行时，使得所述计算机执行上述方面所述的电子设备的图像处理方法。
本申请提供的技术方案带来的有益效果至少包括：
本申请提供了一种电子设备及其图像处理方法，电子设备能够直接对第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，以得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术中的一种图像转换前后的示意图；
图2是相关技术中的一种拼接图像裁剪前后的示意图；
图3是本申请实施例提供的一种电子设备的图像处理方法的流程图；
图4是本申请实施例提供的另一种电子设备的图像处理方法的流程图；
图5是本申请实施例提供的又一种电子设备的图像处理方法的流程图；
图6是本申请实施例提供的一种第一子图像和第二子图像的示意图；
图7是本申请实施例提供的另一种第一子图像和第二子图像的示意图；
图8是本申请实施例提供的一种拼接得到全景图像的示意图；
图9是本申请实施例提供的另一种拼接得到全景图像的示意图；
图10是本申请实施例提供的又一种电子设备的图像处理方法的流程图；
图11是本申请实施例提供的又一种拼接得到全景图像的示意图；
图12是本申请实施例提供的一种电子设备的结构示意图；
图13是本申请实施例提供的另一种电子设备的结构示意图；
图14是本申请实施例提供的一种电子设备的软件结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中，由于在采集针对拍摄对象的多帧图像的过程中，电子设备会运动。相应的，该多帧图像为电子设备在不同的拍摄位置处拍摄得到的图像。因此，该多帧图像所在的相机坐标系不同。为了确保拼接后得到的全景图像的视觉一致性，电子设备可以将该多帧图像均转换至同一相机坐标系中，得到转换后的图像。例如，参见图1，电子设备可以将多帧图像中的每帧图像均转换至同一柱面坐标系中。对比图1中转换前后的图像可以看出，转换后的图像102相比于转换前的图像101，图像的有效信息有所减少，导致转换后的图像102的视场角有所损失，转换后的图像102的视场角较小。
之后，电子设备可以对多帧转换后的图像进行拼接，从而得到拼接图像。例如，电子设备对转换后的图像进行拼接，可以得到图2所示的拼接图像103。从图1和图2可以看出，转换后的图像呈圆柱形，即该转换后的图像的上方的部分图像向上突出，该转换后的图像的下方的部分图像向下突出。
为了确保最终得到的拼接图像的显示效果，电子设备可以对该拼接图像进行裁剪，以裁剪掉该拼接图像的上边缘和下边缘，得到全景图像。例如，电子设备可以对图2所示的拼接图像进行裁剪，得到全景图像。对比图2中裁剪前的图像103(即前述的拼接图像)和裁剪后的图像104(即前述的全景图像)可知，相比于拼接图像，全景图像104的有效信息减少，即全景图像104的视场角有所损失，导致全景图像104的视场角较小，即全景图像104的视野较小，从而导致电子设备的用户的用户体验较差。
本申请实施例提供了一种图像处理方法，该方法可以应用于电子设备。可选的，该电子设备可以为手机、平板电脑、笔记本电脑以及数码相机等，例如该电子设备可以为手机。并且，该电子设备可以包括摄像头。参见图3，该方法可以包括：
步骤201、控制摄像头采集图像序列。
电子设备可以控制其摄像头采集针对拍摄对象的图像序列，相应的，电子设备可以获取该图像序列。
其中，该图像序列可以包括对拍摄对象连续拍摄得到的多帧图像。并且，该多帧图像可以为电子设备的摄像头在不同拍摄位置处采集得到的图像。
步骤202、对于图像序列中的每相邻两帧图像，基于相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。
其中，第一子图像和第二子图像可以重叠，即该第一子图像与第二子图像可以存在相同的部分。
由于电子设备可以基于相邻两帧图像的运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，即可得到拼接子图像。在此过程中，电子设备无需转换每帧图像的相机坐标系，因此可以避免得到的拼接子图像的有效信息的减少，继而可以确保得到的拼接子图像的视场角不会损失。
步骤203、对图像序列中第一帧图像中的第三子图像，得到的至少一个拼接子图像，以及最后一帧图像中第四子图像进行拼接，得到全景图像。
电子设备对每相邻两帧图像中前一帧图像中的第一子图像，以及后一帧图像中的第二子图像进行融合，得到至少一个拼接子图像后，即可对第一帧图像中的第三子图像，该拼接子图像，以及最后一帧图像中的第四子图像进行拼接，从而得到全景图像。
其中，第三子图像不与图像序列中第二帧图像的第一子图像重叠，第四子图像不与图像序列中倒数第二帧图像的第二子图像重叠。
综上所述，本申请实施例提供了一种电子设备的图像处理方法，电子设备能够直接对图像序列包括的第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，以得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
图4是本申请实施例提供的另一种电子设备的图像处理方法的流程图，该方法可以应用于电子设备，该电子设备可以包括广角镜头。参见图4，该方法可以包括：
步骤301、控制广角镜头采集图像序列。
电子设备可以控制其广角镜头采集针对拍摄对象的图像序列，相应的，电子设备即可获取该图像序列。
其中，该图像序列可以包括对拍摄对象连续拍摄得到的多帧图像。并且，该多帧图像可以为电子设备的广角镜头在不同拍摄位置处拍摄得到的图像。
步骤302、对于图像序列中的每相邻两帧图像，基于相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。
其中，第一子图像和第二子图像可以重叠，即该第一子图像与第二子图像可以存在相同的部分。
由于电子设备可以基于相邻两帧图像的运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，即可得到拼接子图像。在此过程中，电子设备无需转换每帧图像的相机坐标系，因此可以避免得到的拼接子图像的有效信息的减少，继而可以确保得到的拼接子图像的视场角不会损失。
步骤303、对图像序列中第一帧图像中的第三子图像，得到的至少一个拼接子图像，以及最后一帧图像中第四子图像进行拼接，得到拼接图像。
电子设备对每相邻两帧图像中前一帧图像中的第一子图像，以及后一帧图像中的第二子图像进行融合，得到至少一个拼接子图像后，可以依次对第一帧图像中的第三子图像，至少一个拼接子图像，以及最后一帧图像中的第四子图像进行拼接，从而得到拼接图像。
其中，第三子图像不与图像序列中第二帧图像的第一子图像重叠，第四子图像不与图像序列中倒数第二帧图像中的第二子图像重叠。
步骤304、对该拼接图像进行畸变矫正，得到全景图像。
由于广角镜头拍摄得到的图像会产生桶形畸变，因此电子设备在得到该拼接图像之后，可以该拼接图像进行畸变矫正，从而得到全景图像。
综上所述，本申请实施例提供了一种电子设备的图像处理方法，电子设备能够直接对第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，并对拼接得到的拼接图像进行畸变矫正得到拼接图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
图5是本申请实施例提供的另一种电子设备的图像处理方法的流程图，该方法可以应用于电子设备，该电子设备可以包括摄像头。参见图5，该方法可以包括：
步骤401、控制摄像头采集图像序列。
电子设备可以控制摄像头采集针对拍摄对象的图像序列，相应的，电子设备即可获取该图像序列。
其中，该图像序列可以包括对该拍摄对象连续拍摄得到的多帧图像。该多帧图像可以为电子设备在不同拍摄位置处拍摄得到针对该拍摄对象的图像。
步骤402、获取该图像序列中第一帧图像中的第三子图像，以及最后一帧图像中的第四子图像。
电子设备在获取针对拍摄对象的图像序列后，可以获取该图像序列包括的第一帧图像中的第三子图像，以及最后一帧图像中的第四子图像。
在本申请实施例中，第一帧图像中的第三子图像可以为位于第一帧图像的中线左侧的部分子图像，且第三子图像的第一边界线与第一帧图像的第一边界线重合。其中，该第三子图像的第一边界线，以及第一帧图像的第一边界线均为图像左侧的边界线。
第四子图像可以为位于最后一帧图像的中线右侧的部分子图像，且第四子图像的第二边界线与最后一帧图像的第二边界线重合。其中，该第四子图像的第二边界线，以及最后一帧图像的第二边界线均可以图像右侧的边界线。
并且，上述第一帧图像中的中线，第一帧图像的第一边界线，第三子图像的第一边界线，最后一帧图像的中线，最后一帧图像的第二边界线以及第四子图像的第二边界线，均平行于图像的像素列方向。
可选的，第三子图像的宽度与第一帧图像的宽度的比值a，以及第四子图像的宽度与最后一帧图像的宽度的比值b均可以大于或等于三分之一，且小于或等于二分之一。即，比值a可以满足：a＝[1/3，1/2]，比值b可以满足：b＝[1/3，1/2]。
也即是，第三子图像的面积与第一帧图像的面积的比值，以及第四子图像的面积与最后一帧图像的面积的比值均可以大于或等于三分之一，且小于或等于二分之一。
例如，第三子图像的宽度与第一帧图像的宽度的比值，以及第四子图像的宽度与最后一帧图像的宽度的比值均可以为1/2。也即是，第三子图像为第一帧图像的左半部分图像，第四子图像为最后一帧图像的右半部分图像。
由此，可以确保后续确定的拼接子图像为最靠近各个图像的中线的部分子图像。由于图像的相机坐标系在转换前后，越靠近图像的中线的部分子图像在转换前后产生的变化越小。即位于图像中间的部分子图像，在其相机坐标系转换前后，不会发生改变。由此，可以确保后续拼接得到全景图像的视觉一致性的前提下，即在确保后续得到的全景图像的显示效果的前提下，确保该全景图像的视场角较大。
步骤403、对于该图像序列中的每相邻两帧图像，确定该相邻的两帧图像中的后一帧图像相对于前一帧图像的运动矢量。
电子设备在采集针对拍摄对象的图像序列之后，对于该图像序列中的每相邻两帧图像，电子设备可以确定该相邻的两帧图像中的后一帧图像相对于前一帧图像的运动矢量(motion vector，MV)。
例如，电子设备可以按照多帧图像的拍摄时间的先后顺序，遍历该图像序列中除第一帧图像之外的其他图像。对于遍历到的每帧图像，电子设备均可以确定该帧图像相对于前一帧图像的运动矢量。
在本申请实施例中，电子设备确定每相邻的两帧图像中的后一帧图像相对于前一帧图像的运动矢量的过程可以包括：电子设备可以获取后一帧图像中的参考子图像，例如电子设备可以将位于后一帧图像中的中间区域的部分子图像确定为该参考子图像。然后，电子设备可以确定前一帧图像中与该参考子图像最匹配(即相似度最高)的目标子图像的位置。之后，电子设备可以基于参考子图像在该后一帧图像中的位置，以及目标子图像在前一帧图像中的位置，确定后一帧图像相对于该前一帧图像的相对位移，即可得到后一帧图像相对于前一帧图像的运动矢量。
其中，该相对位移可以包括水平位移和垂直位移。相应的，该运动矢量可以包括水平分量和垂直分量。该水平位移的移动方向平行于图像的像素行方向，垂直位移的移动方向平行于图像的像素列方向。
可选的，在确定前一帧图像中与后一帧图像中的参考子图像最匹配的目标子图像的位置的过程中，电子设备可以采用全搜索法、多分辨率法、连续消除法、像素子抽样法或固定模式法等算法，从前一帧图像的第一行第一列的像素开始，遍历前一帧图像中与该参考子图像的长度和宽度均相同的备选子图像。并且，在遍历到一个备选子图像后，电子设备可以采用绝对误差和(sum of absolute differences，SAD)算法、平均绝对差(meanabsolute differences，MAD)算法，或均方误差(mean squared error，MSE)算法，确定参考子图像与该备选子图像的相似度，直至完成对该前一帧图像的遍历。之后，电子设备可以基于得到的多个相似度，从前一帧图像的多个备选子图像中，确定与该参考子图像最匹配的目标子图像(即前一帧图像中最大相似度对应的备选子图像)。
其中，电子设备采用SAD算法，确定的该参考子图像与前一帧图像中遍历到一个备选子图像的相似度SAD(i,j)可以满足下述公式(1)。
Figure BDA0002924281840000111
电子设备采用MAD算法，确定的该参考子图像与前一帧图像中遍历到一个备选子图像的相似度MAD(i,j)可以满足下述公式(2)。
Figure BDA0002924281840000112
电子设备采用SAD算法，确定的该参考子图像与前一帧图像中遍历到一个备选子图像的相似度MSE(i,j)可以满足下述公式(3)。
Figure BDA0002924281840000113
上述公式(1)至公式(3)中，M为后一帧图像包括的参考子图像的像素行的总数，N为该参考子图像的像素列的总数。fk(m,n)为位于参考子图像的第m行第n列的像素的像素值。i为前一帧图像中与该参考子图像的长度和宽度均相同的备选子图像中，第一个像素(即位于该备选子图像的左上顶点的像素)在前一帧图像中的行数，j为该第一个像素在前一帧图像中的列数。fk-1(m+i,n+j)为位于该备选子图像中，且与参考子图像中的第m行第n列的像素对应的像素的像素值。
例如，电子设备可以采用全搜素法，遍历前一帧图像中与该参考子图像的长度和宽度均相同的部分子图像。由此，可以确保后续确定的匹配子图像的准确性。
电子设备可以采用SAD算法，确定参考子图像与遍历到每个备选子图像的相似度，继而确定相邻两帧图像中的后一帧图像相对于前一帧图像的运动矢量。由此，提高了确定匹配子图像的效率，继而提高了确定后一帧图像相对于前一帧图像的运动矢量。
步骤404、基于该运动矢量，对相邻两帧图像中的前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。
其中，前一帧图像中的第一子图像可以为位于前一帧图像的第一分割线右侧的子图像。后一帧图像中的第二子图像可以为位于后一帧图像的第二分割线左侧的子图像。
并且，每相邻两帧图像中前一帧图像中第一子图像w1的宽度，以及后一帧图像中的第二子图像的宽度w2均可以满足下述公式：
w1＝w2＝wt+mv-w3-w4 公式(4)
上述公式(4)中，wt为一帧图像的宽度，mv为该运动矢量，w3为第三子图像的宽度，w4为第四子图像的宽度。
其中，前一帧图像与第一帧图像重合后，该第三子图像右侧的边界线(也可以成为第三子图像的第二边界线，该第二边界线与其第一边界线相对)在前一帧图像上的正投影与该前一帧图像的第一分割线重合。后一帧图像与最后一阵图像重合后，该第四子图像左侧的边界线(也可以成为第四子图像的第一边界线，该第一边界线与第四子图像的第二边界线相对)在后一帧图像上的正投影与该后一帧图像中的第二分割线重合。
该图像的宽度方向，第三子图像的宽度方向，以及第四子图像的宽度方向均平行于图像的像素行方向。第一分割线的延伸方向和第二分割线的延伸方向均可以平行于图像的像素列方向。也即是，该图像的宽度方向，第三子图像的宽度方向，以及第四子图像的宽度方向均可以垂直于图像的中线。第一分割线的延伸方向和第二分割线的延伸方向均可以平行于图像的中线。
在本申请实施例中，图像序列中第二帧图像的第一子图像不与第三子图像重叠，图像序列中倒数第二帧图像的第二子图像不与第四子图像重叠。
可选的，对于第一帧图像中的第三子图像为该第一帧图像的左半部分图像，最后一帧图像中的第四子图像为该最后一帧图像的右半部分图像的场景，第一子图像和第二子图像的宽度均可以等于该运动矢量。例如，可以等于该运动矢量的水平分量。并且，前一帧图像的第一分割线即为该前一帧图像的中线，后一帧图像的第二分割线即为该后一帧图像的中线。
可选的，若相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量处于矢量范围内，则电子设备可以基于运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。
其中，矢量范围可以是电子设备中预先存储的，且该矢量范围的上下限均可以与图像的分辨率正相关。也即是，图像的分辨率越高，该矢量范围的上限和下限均越大。图像的分辨率越低，该矢量范围的上限和下限均越小。
若相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量小于该矢量范围的下限，则说明后一帧图像与前一帧图像基本相同，即后一帧图像与前一帧图像的重叠区域过多，该后一帧图像与前一帧图像的帧间距过低。该种情况下，电子设备可以无需基于该相邻两帧图像确定拼接子图像，由此可以避免浪费电子设备的资源。并且，在该种情况下，电子设备可以确定后一帧图像的后一帧图像，相对于该前一帧图像的运动矢量。若电子设备确定该运动矢量处于矢量范围内，则可以对该前一帧图像中的第一子图像和后一帧图像的第二子图像进行融合，得到拼接子图像。
若相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量大于该矢量范围的上限，则说明后一帧图像与前一帧图像相差较大，即后一帧图像与前一帧图像的重叠区域过少(例如小于图像面积的一半)，该后一帧图像与前一帧图像的帧间距过高。该种情况下，电子设备可以无需基于该相邻两帧图像确定拼接子图像，由此可以确保后续拼接得到全景图像的显示效果。
根据上述描述可知，电子设备可以在相邻两帧图像中的后一帧图像与前一帧图像之间的帧间距适中时，即后一帧图像相对于前一帧图像的运动矢量处于矢量范围时，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。由此，可以在避免浪费电子设备的资源，确保后续拼接得到的全景图像的显示效果的前提下，提高后续拼接得到全景图像的效率。
可选的，电子设备可以采用线性融合算法对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行图像融合，得到拼接子图像。由此，可以确保得到拼接子图像的效率。
例如，假设第一子图像为R，R(i，j)表示位于第一子图像中第i行第j列的像素的像素值。第二子图像为S，S(i，j)表示位于第二子图像的第i行，第j列的像素的像素值。电子设备采用线性融合算法对第一子图像和第二子图像进行融合，得到拼接子图像P，P(i，j)表示位于拼接子图像的第i行，第j列的像素的像素值。
其中，P(i，j)满足下述公式(5)：
P(i,j)＝k×R(i,j)+(1-k)×S(i,j) 公式(5)
公式(5)中，i和j均为正整数。k为权重(也可以称为可调因子)，且k可以大于0小于1。并且，k与第一子图像中的像素距前一帧图像的第一分割线的距离负相关。也即是，某一像素距该第一分割线的距离越大，可调因子k便越小。某一像素距该分割线的距离越小，可调因子k便越大。
根据上述公式可以看出，拼接子图像可以由相邻两帧图像中，前一帧图像的第一子图像，与后一帧图像的第二子图像加权平均得到，由此可以确保图像的拼接处的过渡较为自然，避免出现拼接缝隙，从而可以确保后续得到的全景图像的显示效果。
示例的，假设图像序列包括两帧图像，且第一帧图像中的第三子图像为该第一帧图像的左半部分图像，最后一帧图像中的第四子图像为该最后一帧图像的右半部分图像。
则参见图6，图6示出了一种相邻两帧图像中第一子图像和第二子图像的示意图。图6中m11为该相邻两帧图像中前一帧图像11的中线，也为前一帧图像11的第一分割线。m12为相邻两帧图像中后一帧图像12的中线，也为后一帧图像12的第二分割线。w3为第三子图像111的宽度，w4为第四子图像121的宽度。
从图6可以看出，该相邻两帧中后一帧图像12相对于前一帧图像11的运动矢量为mv。第一子图像112为该前一帧图像11中，中线m11与中线m12在该前一帧图像11的正投影之间的部分子图像。第二子图像122为该后一帧图像12中，中线m12与中线m11在该后一帧图像12的正投影之间的部分子图像。
并且，从图6中还可以看出，第一子图像112与第二子图像122的宽度均为mv。
继续以图像序列包括两帧图像为例，假设第一帧图像中的第三子图像的宽度为第一帧图像的宽度的三分之一，最后一帧图像中的第四子图像的宽度为该最后一帧图像的宽度的三分之一。
则参见图7，图7示出了另一种相邻两帧图像中第一子图像和第二子图像的示意图。图7中n13为前一帧图像的第一分割线，n14为后一帧图像的第二分割线。该相邻两帧中后一帧图像14相对于前一帧图像13的运动矢量为mv。第三子图像131的宽度为w3，第四子图像141的宽度为w4。
从图7中可以看出，前一帧图像13中的第一子图像132为该前一帧图像13中，第一分割线n13与第二分割线n14在该前一帧图像13的正投影之间的部分子图像。第二子图像142为该后一帧图像14中，第二分割线n14与第一分割线n13在该后一帧图像14的正投影之间的部分子图像。
并且，前一帧图像13中的第一子图像132的宽度，以及后一帧图像中的第二子图像142的宽度，均为一帧图像的宽度wt，加上运动矢量mv，再减去第三子图像131的宽度w3，以及第四子图像141的宽度w4所得到的数值。
步骤405、对该第三子图像，得到的至少一个拼接子图像，以及该第四子图像进行拼接，得到全景图像。
电子设备对每相邻两帧图像中前一帧图像中的第一子图像，以及后一帧图像中的第二子图像进行融合，得到至少一个拼接子图像后，即可对第一帧图像中的第三子图像，该拼接子图像，以及最后一帧图像中的第四子图像进行拼接，从而得到全景图像。
可选的，电子设备可以先拼接第三子图像，以及基于第二帧图像中的第二子图像和第一帧图像中的第一子图像融合得到的拼接子图像。在此基础上，再拼接基于第三帧图像中的第二子图像和第二帧图像中的第一子图像融合得到的拼接子图像，直至完成第四子图像的拼接，即可得到全景图像。
示例的，假设图像序列包括十帧图像，图8示出了该十帧图像中的四帧图像，该四帧图像分别为图像序列中的第一帧图像01、第二帧图像02、第三帧图像03和最后一帧图像10。以该四帧图像为例，对本申请实施例提供的电子设备的图像处理方法的实现过程进行示例性说明。
图8中m1为第一帧图像01的中线，m2为第二帧图像02的中线，m3为第三帧图像03的中线，m10为最后一帧图像10的中线。假设第三子图像为第一帧图像01的左半部分图像，第四子图像为最后一帧图像10的右半部分图像。则如图8所示，电子设备采集的第三子图像为011，第四子图像为0101。
请参考图8，电子设备遍历到第二帧图像02时，可以确定第一帧图像01中的第一子图像为012，第二帧图像02中的第二子图像为021，并对该第一子图像012和第二子图像021进行融合，得到第一拼接子图像0a。
电子设备遍历到第三帧图像03时，可以确定第二帧图像02中的第一子图像为022，第三帧图像中的第二子图像为031，并对该第一子图012和第二子图像031进行融合，得到第二拼接子图像0b。
以此类推，直至完成对的第十帧图像10的遍历，得到第九拼接子图像。
之后，电子设备可以对该第三子图像011，第一拼接子图像0c至第九拼接子图像，以及第四子图像0101进行拼接，得到图8所示的全景图像00。
对比第一帧图像01至最后一个图像10与拼接得到的全景图像00可以看出，相比于第一帧图像01至最后一个图像10，全景图像00的有效信息并未减少，因此该全景图像00的视场角并未损失，从而可以有效改善用户的用户体验。
图9是本申请实施例提供的一种拼接得到全景图像的示意图。从图9可以看出，摄像头采集了十帧图像，图9仅示出了其中的五帧图像，即图像序列中的第一帧图像11至第四帧图像14，以及最后一帧图像20。图7中m11至m14分别为第一帧图像11至第四帧图像14的中线。m20为最后一帧图像20的中线。
依然以第三子图像为第一帧图像11的左半部分图像，第四子图像为最后一帧图像20的右半部分图像为例，对拼接得到全景图像的过程进行示例性说明，则如图9所示，第三子图像为111，第四子图像为201。
电子设备从该十帧图像中的第二帧图像开始遍历，以确定每相邻两帧图像中前一帧图像的第一子图像，以及后一帧图像的第二子图像。请参考图9，电子设备遍历到第二帧图像12时，可以确定第一帧图像11中的第一子图像为112，第二帧图像12中的第二子图像为121，并对该第一子图像112和第二子图像121进行融合，得到第一拼接子图像1a。
电子设备遍历到第三帧图像03时，可以确定第二帧图像12中的第一子图像为122，第三帧图像中的第二子图像为131，并对该第一子图像112和第二子图像131进行融合，得到第二拼接子图像1b。
电子设备遍历到第四帧图像14时，可以确定第三帧图像13中的第一子图像为132，第四帧图像14中的第二子图像为141，并对该第一子图像为132和第二子图像为141进行融合，得到第三拼接子图像1c。
以此类推，直至完成对的第十帧图像的遍历，得到第九拼接子图像。
之后，电子设备可以对该第三子图像111，第一拼接子图像1c至第九拼接子图像，以及第四子图像201进行拼接，得到图9所示的全景图像100。
对比第一帧图像11至第十帧图像10与拼接得到的全景图像100可以看出，相比于第一帧图像11至第十帧图像10，全景图像100的有效信息并未减少，因此该全景图像100的视场角并未损失，从而可以有效改善用户的用户体验。
还需要说明的是，本申请实施例提供的图像处理方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤403也可以在步骤402之前执行。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供了一种电子设备的图像处理方法，电子设备可以在采集图像序列后，能够直接对第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，以得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
图10是本申请实施例提供的再一种电子设备的图像处理方法的流程图，该方法可以应用于电子设备，该电子设备可以包括广角镜头。参见图10，该方法可以包括：
步骤501、控制广角镜头采集图像序列。
步骤502、获取该图像序列中第一帧图像中的第三子图像，以及最后一帧图像中的第四子图像。
步骤503、对于该图像序列中的每相邻两帧图像，确定该相邻的两帧图像中的后一帧图像相对于前一帧图像的运动矢量。
步骤504、基于该运动矢量，对相邻两帧图像中的前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。
步骤501至步骤504的实现过程可以参考上述步骤401至步骤404的实现过程，本申请实施例在此不再赘述。
步骤505、对该第三子图像，得到的至少一个拼接子图像，以及该第四子图像进行拼接，得到拼接图像。
电子设备对每相邻两帧图像中前一帧图像中的第一子图像，以及后一帧图像中的第二子图像进行融合，得到至少一个拼接子图像后，即可先拼接第三子图像，以及基于第二帧图像中的第二子图像和第一帧图像中的第一子图像融合得到的拼接子图像。在此基础上，再拼接基于第三帧图像中的第二子图像和第二帧图像中的第一子图像融合得到的拼接子图像，直至完成第四子图像的拼接，即可得到拼接图像。
步骤506、对该拼接图像进行畸变矫正，得到全景图像。
在本申请实施例中，由于广角镜头受制于其自身硬件的特性，拍摄得到的图像会产生桶形畸变。因此再得到拼接图像之后，电子设备还可以对拼接图像进行畸变矫正，得到全景图像。
例如，电子设备可以对拼接图像中的第三子图像和第四子图像进行畸变矫正，从而得到全景图像。
由于仅需对第三子图像和第四子图像进行畸变矫正，即可得到全景图像，因此可以确保拼接得到的全景图像的效率。
在本申请实施例中，电子设备对第三子图像和第四子图像进行畸变矫正的过程可以包括：对于第三子图像和第四子图像中的每个子图像，电子设备可以先确定矫正后的子图像在电子设备的图层中的长度和宽度，然后可以确定矫正前的子图像中的每个像素在矫正后的子图像中的坐标。之后，电子设备可以基于该像素的像素值，在图层中的该坐标处进行像素绘制，从而到矫正后的图像。
其中，矫正后的子图像的长度L和宽度W可以满足如下公式：
Ratio＝L/W 公式(6)
Figure BDA0002924281840000181
Figure BDA0002924281840000182
Figure BDA0002924281840000183
其中，f为广角镜头拍摄该子图像时的焦距，θ为该广角镜头拍摄该子图像时的视场角，fL为该矫正后的子图像的对角线的长度的一半。
可选的，电子设备确定矫正前的子图像中每个像素在矫正后的子图像中的坐标的过程可以包括：先确定该像素在球面坐标系中的像高(即该像素距球心的距离)，然后基于该像高确定该像素在投影坐标系中的坐标。之后，电子设备可以基于该像素在投影坐标系中的坐标，以及投影坐标系的原点在像素坐标系中的坐标，确定该像素在像素坐标系(即矫正后的子图像所在坐标系)中的坐标。也即是，像素坐标系可以是指以矫正后的子图像的左上顶点为原点，以像素行方向为X轴正方向，以像素列方向为Y轴正方向所建立的坐标系。
其中，投影坐标系为球面坐标系的球面的正投影所在的坐标系，投影坐标系和球面坐标系的原点相同。该球面坐标系为三维坐标系，该三维坐标系的X轴，Y轴，以及Z轴两两垂直。
像高Rd满足如下公式：
Rd＝fR×R/pFR(s-1) 公式(10)
上述公式(10)中，fR为矫正前的子图像中该像素的像高，R/pFR(s-1)为转换至球面坐标系中的子图像的分辨率与矫正前的子图像的分辨率的比值。并且，fR满足下述公式：
fR＝D(β) 公式(11)
公式(11)中，D为场曲畸变表，β为目标直线与球面坐标系中的Z轴的夹角，该目标直线为该像素在球面坐标系中的坐标与原点的连线。其中，β满足如下公式：
Figure BDA0002924281840000191
公式(12)中，h为该像素在球面坐标系中的z坐标，lx为该像素在该球面坐标系中的x坐标，ly为该像素在该球面坐标系中的y坐标。
若投影坐标系的原点在像素坐标系中的坐标为(x，y)，则该像素在像素坐标系中的横坐标fx，以及该像素在像素坐标系中的纵坐标fy可以满足如下公式：
fx＝Rd×cosα+lx 公式(13)
fy＝Rd×sinα+ly 公式(14)
公式(13)和公式(14)中，α为该目标直线与球面坐标系的XOY平面的夹角，且该α满足下述公式(15)。
Figure BDA0002924281840000192
假设电子设备采集了由广角镜头拍摄得到针对某一拍摄对象的十一帧图像，则参见图11，图11仅示出了其中的五帧图像，即图像序列中的第一帧图像21至第四帧图像24，以及最后一帧图像31。图8中m21至m24分别为第一针图像21至第四帧图像24的中线，m31为最后一帧图像31的中线。
继续以第三子图像为第一帧图像21的左半部分图像，第四子图像为最后一帧图像31的右半部分图像。则如图11所示，电子设备获取的第三子图像为211，第四子图像为311。
假设电子设备从该十一帧图像中的第二帧图像开始遍历，以确定每相邻两帧图像中前一帧图像的第一子图像，以及后一帧图像的第二子图像。
请参考图11，电子设备遍历到第二帧图像22时，可以确定第一帧图像21中的第一子图像为212，第二帧图像中的第二子图像为221，并对该第一子图像212和第二子图像221进行融合，得到第一拼接子图像2a。
电子设备遍历到第三帧图像23时，可以确定第二帧图像22中的第一子图像为222，第三帧图像23中的第二子图像为231，并对该第一子图像222和第二子图像231进行融合，得到第二拼接子图像2b。
电子设备遍历到第四帧图像24时，可以确定第三帧图像23中的第一子图像为232，第四帧图像24中的第二子图像为241，并对该第一子图像为232和第二子图像为241进行融合，得到第三拼接子图像2c。
以此类推，直至完成对的第十一帧图像的遍历，得到第十拼接子图像。
之后，电子设备可以对该第三子图像211，第一拼接子图像2a至第十拼接子图像，以及第四子图像311进行拼接，并对拼接得到的拼接图像进行畸变矫正后，得到图11所示的全景图像200。
对比第一帧图像21至第十一帧图像31与拼接得到的全景图像200可以看出，相比于第一帧图像21至第十一帧图像31，全景图像20的有效信息并未减少，因此该全景图像20的视场角并未损失，视场角较大。
还需要说明的是，本申请实施例提供的图像处理方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减。例如，步骤503也可以在步骤502之前执行。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
综上所述，本申请实施例提供了一种电子设备的图像处理方法，电子设备能够直接对图像序列包括的第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，并对拼接得到的拼接图像进行畸变矫正得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
本申请实施例提供了一种电子设备，该电子设备可以执行上述方法实施例提供的电子设备的图像处理方法。参见图12，该电子设备110可以包括：处理器1101和摄像头121a。
该摄像头121a，可以用于采集图像序列，该图像序列包括多帧图像。
该处理器1101，可以用于：
对于图像序列中的每相邻两帧图像，基于相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，第一子图像和第二子图像重叠；
对图像序列中第一帧图像中的第三子图像，得到的至少一个拼接子图像，以及最后一帧图像中的第四子图像进行拼接，得到全景图像；
其中，第三子图像不与图像序列中第二帧图像的第一子图像重叠，第四子图像不与图像序列中倒数第二帧图像的第二子图像重叠。
可选的，前一帧图像中的第一子图像为位于前一帧图像的中线右侧的子图像，后一帧图像中的第二子图像为位于后一帧图像的中线左侧的子图像；
其中，所述第一子图像的宽度w1和所述第二子图像的宽度w2均满足：
w1＝w2＝wt+mv-w3-w4；
所述wt为一帧所述图像的宽度，所述mv为所述运动矢量，所述w3为所述第三子图像的宽度，所述w4为所述第四子图像的宽度；
每一帧图像的宽度，第一子图像的宽度，以及第二子图像的宽度均平行于像素行方向，前一帧图像的中线，以及后一帧图像的中线均平行于像素列方向。
可选的，该处理器1101可以用于：
采用线性融合算法对第一子图像和第二子图像进行图像融合，得到拼接子图像。
可选的，第三子图像为第一帧图像的左半部分图像；
第四子图像为最后一帧图像的右半部分图像；
第一子图像的宽度和第二子图像的宽度均等于运动矢量。
可选的，该处理器1101可以用于：
若相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量处于矢量范围内，则基于运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像。
可选的，该处理器1101可以用于：
采用绝对误差和算法，确定后一帧图像相对于前一帧图像的运动矢量。
综上所述，本申请实施例提供了一种电子设备，该电子设备能够直接对第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，以得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
本申请实施例话提供了一种电子设备，该电子设备可以用于执行上述方法实施例提供的电子设备的图像处理方法。参见图13，该电子设备可以包括：处理器1101和广角镜头121b。
该广角镜头121b，可以用于采集图像序列，该图像系列包括多帧图像。
该处理1101，可以用于：
对于图像序列中的每相邻两帧图像，基于相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对前一帧图像中的第一子图像和后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，第一子图像和第二子图像重叠；
对图像序列中第一帧图像中的第三子图像，得到的至少一个拼接子图像，以及最后一帧图像中的第四子图像进行拼接，得到拼接图像；
对拼接图像进行畸变矫正，得到全景图像；
其中，第三子图像不与图像序列中第二帧图像的第一子图像重叠，第四子图像不与图像序列中倒数第二帧图像的第二子图像重叠。
综上所述，本申请实施例提供了一种电子设备，该电子设备能够直接对第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像进行拼接，并对拼接得到拼接图像进行畸变矫正得到全景图像。该拼接子图像基于每相邻两帧图像的运动矢量，对两帧图像中的第一子图像和第二子图像进行融合得到。在此过程中，由于无需对图像进行相机坐标系的转换，因此相较于相关技术可以避免损失图像的视场角，从而可以确保拼接得到的全景图像的视场角较大。并且，由于无需对由第一帧图像中的第三子图像，至少一个拼接子图像，以及第四子图像拼接得到的图像进行裁剪，因此进一步确保了得到的全景图像的视场角。
如图12和图13所示，该电子设备110还可以包括：显示单元130、射频(radiofrequency，RF)电路150、音频电路160、无线保真(wireless fidelity，Wi-Fi)模块170、蓝牙模块180和电源190等部件。
其中，处理器1101是电子设备110的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器140内的软件程序，以及调用存储在存储器140内的数据，执行电子设备110的各种功能和处理数据。在一些实施例中，处理器1101可包括一个或多个处理单元；处理器1101还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器1101中。本申请中处理器1101可以运行操作系统和应用程序，可以控制用户界面显示，并可以实现本申请实施例提供的图像处理方法。另外，处理器1101与输入单元和显示单元130耦接。
显示单元130可用于接收输入的数字或字符信息，产生与电子设备110的用户设置以及功能控制有关的信号输入，可选的，显示单元130还可以用于显示由用户输入的信息或提供给用户的信息以及电子设备110的各种菜单的图形用户界面(graphical userinterface，GUI)。显示单元130可以包括设置在电子设备110正面的显示屏131。其中，显示屏131可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。
显示单元130包括：显示屏131和设置在电子设备110正面的触摸屏132。该显示屏131可以用于显示预览图片。触摸屏132可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。其中，触摸屏132可以覆盖在显示屏131之上，也可以将触摸屏132与显示屏131集成而实现电子设备110的输入和输出功能，集成后可以简称触摸显示屏。
存储器140可用于存储软件程序及数据。处理器1101通过运行存储在存储器140的软件程序或数据，从而执行电子设备110的各种功能以及数据处理。存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器140存储有使得电子设备110能运行的操作系统。本申请中存储器140可以存储操作系统及各种应用程序，还可以存储执行本申请实施例提供的图像处理方法的代码。
RF电路150可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器1101处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
音频电路160、扬声器161、麦克风162可提供用户与电子设备110之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。电子设备110还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路150以发送给比如另一终端，或者将音频数据输出至存储器140以便进一步处理。本申请中麦克风162可以采集用户的语音。
Wi-Fi属于短距离无线传输技术，电子设备110可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。
蓝牙模块180，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，电子设备110可以通过蓝牙模块180与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。
电子设备110还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器1101逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。电子设备110还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。
电子设备110可以包括至少一种传感器1110，比如运动传感器11101、距离传感器11102、指纹传感器11103和温度传感器11104。电子设备110还可配置有陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备和各器件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图14是本申请实施例提供的电子设备的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行环境(android runtime，ART)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。如图14所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图14所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以采集显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和采集数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图片，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备110的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，通信终端振动，指示灯闪烁等。
android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：openGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图片文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图片渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序由处理器加载并执行以上述实施例提供的图像处理方法，例如图3、图4、图5或图10所示的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例提供的图像处理方法，例如图3、图4、图5或图10所示的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
应当理解的是，在本文中提及的“和/或”，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。并且，本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。例如，在不脱离各种所述示例的范围的情况下，第一子图像可以被称为第二子图像，并且类似地，第二子图像可以被称为第一子图像。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种电子设备，其特征在于，所述电子设备包括：处理器和摄像头；
所述摄像头，用于采集图像序列，所述图像序列包括多帧图像；
所述处理器，用于：
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
2.一种电子设备，其特征在于，所述电子设备包括：处理器和广角镜头；
所述广角镜头，用于采集图像序列，所述图像序列包括多帧图像；
所述处理器，用于：
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到拼接图像；
对所述拼接图像进行畸变矫正，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
3.根据权利要求1或2所述的电子设备，其特征在于，
所述前一帧图像中的第一子图像为位于所述前一帧图像的第一分割线右侧的子图像，所述后一帧图像中的第二子图像为位于所述后一帧图像的第二分割线左侧的子图像；
其中，所述第一子图像的宽度w1和所述第二子图像的宽度w2均满足：
w1＝w2＝wt+mv-w3-w4；
所述wt为一帧所述图像的宽度，所述mv为所述运动矢量，所述w3为所述第三子图像的宽度，所述w4为所述第四子图像的宽度；
每一帧所述图像的宽度，所述第一子图像的宽度，以及所述第二子图像的宽度均平行于像素行方向，所述前一帧图像的第一分割线，以及所述后一帧图像的第二分割线均平行于像素列方向。
4.根据权利要求3所述的电子设备，其特征在于，
所述第三子图像为所述第一帧图像的左半部分图像；
所述第四子图像为所述最后一帧图像的右半部分图像；
所述第一子图像的宽度和所述第二子图像的宽度均等于所述运动矢量。
5.根据权利要求1或2所述的电子设备，其特征在于，所述处理器用于：
采用线性融合算法对所述第一子图像和所述第二子图像进行融合，得到拼接子图像。
6.根据权利要求1或2所述的电子设备，其特征在于，所述处理器用于：
若所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量处于矢量范围内，则基于所述运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像。
7.根据权利要求1或2所述的电子设备，其特征在于，所述处理器还用于：
采用绝对误差和算法，确定所述后一帧图像相对于所述前一帧图像的运动矢量。
8.一种电子设备的图像处理方法，其特征在于，所述电子设备包括：摄像头；所述方法包括：
控制所述摄像头采集图像序列，所述图像序列包括多帧图像；
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
9.一种电子设备的图像处理方法，其特征在于，所述电子设备包括：广角镜头；所述方法包括：
控制所述广角镜头采集图像序列，所述图像序列包括多帧图像；
对于所述图像序列中的每相邻两帧图像，基于所述相邻两帧图像中后一帧图像相对于前一帧图像的运动矢量，对所述前一帧图像中的第一子图像和所述后一帧图像中的第二子图像进行融合，得到拼接子图像，其中，所述第一子图像和所述第二子图像重叠；
对所述图像序列中第一帧图像中的第三子图像，得到的至少一个所述拼接子图像，以及所述最后一帧图像中的第四子图像进行拼接，得到拼接图像；
对所述拼接图像进行畸变矫正，得到全景图像；
其中，所述第三子图像不与所述图像序列中第二帧图像的第一子图像重叠，所述第四子图像不与所述图像序列中倒数第二帧图像的第二子图像重叠。
10.根据权利要求8或9所述的方法，其特征在于，
所述前一帧图像中的第一子图像为位于所述前一帧图像的第一分割线右侧的子图像，所述后一帧图像中的第二子图像为位于所述后一帧图像的第二分割线左侧的子图像；
其中，所述第一子图像的宽度w1和所述第二子图像的宽度w2均满足：
w1＝w2＝wt+mv-w3-w4；
所述wt为一帧所述图像的宽度，所述mv为所述运动矢量，所述w3为所述第三子图像的宽度，所述w4为所述第四子图像的宽度；
每一帧所述图像的宽度，所述第一子图像的宽度，以及所述第二子图像的宽度均平行于像素行方向，所述前一帧图像的第一分割线，以及所述后一帧图像的第二分割线均平行于像素列方向。
CN202110126798.4A 2021-01-29 2021-01-29 电子设备及其图像处理方法 Pending CN112819696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126798.4A CN112819696A (zh) 2021-01-29 2021-01-29 电子设备及其图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126798.4A CN112819696A (zh) 2021-01-29 2021-01-29 电子设备及其图像处理方法

Publications (1)

Publication Number Publication Date
CN112819696A true CN112819696A (zh) 2021-05-18

Family

ID=75860267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126798.4A Pending CN112819696A (zh) 2021-01-29 2021-01-29 电子设备及其图像处理方法

Country Status (1)

Country Link
CN (1) CN112819696A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272085A (zh) * 2022-09-28 2022-11-01 北京闪马智建科技有限公司 全景图像的确定方法、装置、存储介质及电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393903A (zh) * 2011-07-15 2012-03-28 汉王科技股份有限公司 基于三轴加速计的扫描识别装置和方法
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接系统、方法及全景视频显示装置
CN109509146A (zh) * 2017-09-15 2019-03-22 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
CN111612696A (zh) * 2020-05-21 2020-09-01 网易有道信息技术（北京）有限公司 图像拼接方法、装置、介质及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393903A (zh) * 2011-07-15 2012-03-28 汉王科技股份有限公司 基于三轴加速计的扫描识别装置和方法
CN107396068A (zh) * 2017-08-30 2017-11-24 广州杰赛科技股份有限公司 全景视频同步拼接系统、方法及全景视频显示装置
CN109509146A (zh) * 2017-09-15 2019-03-22 腾讯科技（深圳）有限公司 图像拼接方法及装置、存储介质
CN111612696A (zh) * 2020-05-21 2020-09-01 网易有道信息技术（北京）有限公司 图像拼接方法、装置、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272085A (zh) * 2022-09-28 2022-11-01 北京闪马智建科技有限公司 全景图像的确定方法、装置、存储介质及电子装置
CN115272085B (zh) * 2022-09-28 2023-09-22 北京闪马智建科技有限公司 全景图像的确定方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN111212235B (zh) 一种长焦拍摄的方法及电子设备
CN110290299B (zh) 成像方法、装置、存储介质及电子设备
CN112819696A (zh) 电子设备及其图像处理方法
WO2023231697A1 (zh) 一种拍摄方法及相关设备
CN115147288A (zh) 图像处理方法及电子设备
CN116074620B (zh) 一种拍摄方法及电子设备
CN115442509B (zh) 拍摄方法、用户界面及电子设备
CN114063945B (zh) 移动终端及其图像显示方法
CN115914860A (zh) 一种拍摄方法及电子设备
CN111158563A (zh) 电子终端及图片矫正方法
CN111988530B (zh) 移动终端及其拍照方法
CN113129238B (zh) 拍照终端及图像校正方法
CN111479075B (zh) 拍照终端及其图像处理方法
CN114143456B (zh) 拍照方法及装置
CN114615362B (zh) 相机控制方法、装置和存储介质
CN115631098B (zh) 去反射方法及装置
CN114125197A (zh) 移动终端及其拍照方法
CN116578375B (zh) 卡片显示方法及终端设备
WO2023280077A1 (zh) 图像校正方法、装置及存储介质
CN116723264B (zh) 确定目标位置信息的方法、设备及存储介质
CN112995539B (zh) 一种移动终端及图像处理方法
CN115359105B (zh) 景深扩展图像生成方法、设备及存储介质
CN113179362B (zh) 电子设备及其图像显示方法
CN115601373A (zh) 基于折叠屏的图像处理方法及电子设备
CN116389894A (zh) 一种红外补光图像拍摄方法、终端设备及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210518

RJ01 Rejection of invention patent application after publication