CN111932587B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像处理方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN111932587B
CN111932587B CN202010768044.4A CN202010768044A CN111932587B CN 111932587 B CN111932587 B CN 111932587B CN 202010768044 A CN202010768044 A CN 202010768044A CN 111932587 B CN111932587 B CN 111932587B
Authority
CN
China
Prior art keywords
image
processed
frame
images
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010768044.4A
Other languages
English (en)
Other versions
CN111932587A (zh
Inventor
邹涵江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010768044.4A priority Critical patent/CN111932587B/zh
Publication of CN111932587A publication Critical patent/CN111932587A/zh
Application granted granted Critical
Publication of CN111932587B publication Critical patent/CN111932587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质，所述方法包括：获取多帧图像，从所述多帧图像中选择参考帧图像；根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；所述多帧图像中包含所述各帧待处理图像；基于所述映射关系对所述各帧待处理图像进行配准处理；将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。通过本方案可以克服长曝光所导致的图像过曝现象。

Description

图像处理方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展，利用电子设备进行拍摄已成为人们日常生活的一部分。通过相机的长曝光功能能够拍摄移动的云、流动的水等场景，使得拍摄图像能够体现云移动的轨迹或者水流动的轨迹。但受到电子设备镜头光圈大小的限制，在白天场景下，曝光时间延长所拍摄得到的图像容易产生过曝，影响图像质量。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质，可以通过图像融合使得图像中能够捕获主体的运动轨迹，使图像在不过曝的情况下具备长曝光图像的效果。
一种图像处理方法，包括：
获取多帧图像，从所述多帧图像中选择参考帧图像；
根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；所述多帧图像中包含所述各帧待处理图像；
基于所述映射关系对所述各帧待处理图像进行配准处理；
将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
一种图像处理装置，包括：
获取模块，用于获取多帧图像，从所述多帧图像中选择参考帧图像；
确定模块，用于根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；所述多帧图像中包含所述各帧待处理图像；
配准模块，用于基于所述映射关系对所述各帧待处理图像进行配准处理；
生成模块，用于将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取多帧图像，从所述多帧图像中选择参考帧图像；
根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；所述多帧图像中包含所述各帧待处理图像；
基于所述映射关系对所述各帧待处理图像进行配准处理；
将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取多帧图像，从所述多帧图像中选择参考帧图像；
根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；所述多帧图像中包含所述各帧待处理图像；
基于所述映射关系对所述各帧待处理图像进行配准处理；
将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
上述图像处理方法和装置、电子设备、计算机可读存储介质，获取多帧图像，从多帧图像中选择参考帧图像，并对多帧图像中的待处理图像进行配准，并将配准后的图像和参考帧图像融合，能够最大程度地获取图像中主体的运动轨迹特征，生成包含主体运动轨迹的目标图像，使得该目标图像具有长曝光图像的效果，且克服了单帧图像长曝光所导致的过曝现象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图；
图2为一个实施例中图像处理方法的流程图；
图3为另一个实施例中图像处理方法的流程示意图；
图4为一个实施例中根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像和各帧待处理图像之间的映射关系的流程图；
图5为一个实施例中对待处理图像进行配准的流程示意图；
图6为一个实施例中对待处理图像和参考帧图像进行融合的流程示意图；
图7为一个实施例中图像处理装置的结构框图；
图8为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器140的输出可发送给编码器/解码器160，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器170设备上之前解压缩。编码器/解码器160可由CPU或GPU或协处理器实现。
ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
在一个实施例中，通过成像设备(照相机)110中的透镜112和图像传感器114获取多帧图像，并将多帧图像发送至ISP处理器140。ISP处理器140接收到多帧图像后，从该多帧图像中选择参考帧图像。接着，ISP处理器140根据参考帧图像的特征点和多帧图像中的各帧待处理图像的特征点，确定参考帧图像和各帧待处理图像之间的映射关系。接着，ISP处理器140基于映射关系对各帧待处理图像进行配准处理。ISP处理器140将参考帧图像和配准处理后的各帧待处理图像进行融合，以获得图像中主体的清晰的运动轨迹，从而生成包含主体的运动轨迹的目标图像，使得目标图像克服长曝光所导致的过曝问题，且能够具备长曝光图像的效果。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，该图像处理方法包括步骤202至步骤208。
步骤202，获取多帧图像，从多帧图像中选择参考帧图像。
其中，多帧图像可以是RGB(Red，Green，Blue)图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。其中，YUV图像中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
具体地，电子设备的ISP处理器或中央处理器可设置自动曝光的时间，在避免过曝的情况下通过成像设备对感兴趣区域进行拍摄以获取多帧图像，得到非过曝的多帧图像。过曝就是指由于相机的光圈过大、快门过慢等原因造成的画面中亮度过高、照片泛白的现象。接着，电子设备可从多帧图像中选择参考帧图像。
在本实施例中，电子设备可对运动的主体进行自动曝光拍摄，得到多帧包含主体的图像。运动的主体可以是水流、瀑布、旋转的人等，但不限于此。
步骤204，根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像和各帧待处理图像之间的映射关系；该多帧图像中包含各帧待处理图像。
具体地，电子设备的ISP处理器或中央处理器可从多帧图像中选择待处理图像。接着，电子设备的ISP处理器或中央处理器可提取参考帧图像的特征点，并提取各帧待处理图像中的特征点。电子设备的ISP处理器或中央处理器根据根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像和各帧待处理图像之间的映射关系。
在本实施例中，电子设备的ISP处理器或中央处理器可根据图像的清晰度，从多帧图像中选择待处理图像和参考帧图像。
步骤206，基于映射关系对各帧待处理图像进行配准处理。
具体地，针对每帧待处理图像，电子设备的ISP处理器或中央处理器待处理图像和参考帧图像之间映射关系，将待处理图像进行透视变换处理，以将待处理图像映射至参考帧图像对应的图像空间，从而得到配准后的待处理图像。
步骤208，将参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
具体地，电子设备的ISP处理器或中央处理器获取参考帧图像的特征点，获取配准处理后的各帧待处理图像的特征点，并确定参考帧图像和各帧待处理图像相匹配的特征点。接着，电子设备的ISP处理器或中央处理器将参考帧图像和各帧配准后的待处理图像相匹配的特征点进行融合。按照相同的处理方式，可将参考帧图像和各帧配准后的待处理图像进行融合，得到目标图像。该目标图像中融合了各帧图像中主体运动轨迹的关键特征，从而获得图像中主体的清晰的运动轨迹。
例如，用户设置长曝光时间为1秒，对绽放的烟花进行拍摄，得到的图像中能够体现1秒内烟花绽放的运动轨迹。但长曝光容易导致拍摄得到的图像过线过曝的现象。本实施例中，可设置自动曝光时间为0.1秒，获取烟花绽放的10帧图像，即在1秒内获取10帧图像。从10帧图像中选择一帧图像作为参考帧图像，并对剩余的9帧图像进行配准。接着，将参考帧图像和9帧配准后的图像按照相匹配的特征点进行融合处理，得到融合了10帧图像中烟花绽放的运动轨迹的目标图像，而该目标图像同样为1秒内获得的图像，目标图像中烟花绽放的运动轨迹即为1秒内的运动轨迹。而通过图像配准和图像融合得到的图像，既能达到长曝光拍摄的效果(即体现出1秒内烟花绽放的运动轨迹)，又能避免长曝光所导致的图像过曝的现象。
在本实施例中，在不过曝情况下获取多帧图像，从多帧图像中选择参考帧图像，并对多帧图像中的待处理图像进行配准，使得待处理图像和参考帧图像处于相同的图像空间中。将配准后的图像和参考帧图像融合，能够最大程度地获取图像中主体的运动轨迹特征，生成包含主体运动轨迹的目标图像，使得该目标图像能够达到长曝光图像的效果，且能够避免单帧图像长曝光所导致的过曝现象。
在一个实施例中，基于映射关系对各帧待处理图像进行配准处理，包括：当多帧图像对应的拍摄模式为手持模式时，执行基于映射关系对各帧待处理图像进行配准处理的步骤。
具体地，电子设备的ISP处理器或中央处理器获取多帧图像后，可确定采集该多帧图像时使用的拍摄模式。拍摄模型包括手持模式和脚架模式。当多帧图像对应的拍摄模式为手持模式时，电子设备的ISP处理器或中央处理器可对多帧图像中的参考帧图像和各帧待处理图像进行特征点的提取。根据特征点确定参考帧图像和各待处理图像之间的映射关系，并根据映射关系对各帧待处理图像进行配准。接着，电子设备的ISP处理器或中央处理器可对配准后的待处理图像和参考帧图像进行融合，以获得图像中主体的运动轨迹，生成包含主体运动轨迹的目标图像。
本实施例中，电子设备的ISP处理器或中央处理器可根据电子设备屏幕上的标识确定拍摄模式为手持模式或脚架模式。或者，可根据陀螺仪的抖动参数确定拍摄模式为手持模式或脚架模式。例如，当陀螺仪的抖动次数大于抖动阈值时，判定为手持模式；当陀螺仪的抖动次数小于或等于抖动阈值时，判定为脚架模式。
在本实施例中，可在获取多帧图像前确定拍摄模式。
本实施例中，当多帧图像对应的拍摄模式为手持模式时，执行基于映射关系对各帧待处理图像进行配准处理的步骤，对手持模式下采集的图像进行配准处理，避免用户手部抖动所造成的图像模糊的问题。
在一个实施例中，通过本实施例的图像处理方法拍摄水流，在脚架和手持拍摄下，都能得到图像清晰、画面唯美的行云流水效果图片，丰富了拍照功能性，提升用户在特殊场景拍摄时的拍照体验。
在一个实施例中，当多帧图像对应的拍摄模式为脚架模式时，基于映射关系将参考帧图像和各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
具体地，当多帧图像对应的拍摄模式为脚架模式时，可不对图像进行配准。当多帧图像对应的拍摄模式为脚架模式时，电子设备的ISP处理器或中央处理器可对多帧图像中的参考帧图像和各帧待处理图像进行特征点的提取。根据特征点确定参考帧图像和各待处理图像之间的映射关系，并根据映射关系将待处理图像和参考帧图像进行融合，以获得图像中主体的运动轨迹，生成包含主体运动轨迹的目标图像。
本实施例中，当多帧图像对应的拍摄模式为脚架模式时，基于映射关系将参考帧图像和各帧待处理图像进行融合处理，以快速得到包含主体的运动轨迹的目标图像，使得该目标图像能够达到长曝光图像的效果，且能够避免长曝光所导致的图像过曝现象。
如图3所示，为一个实施例中图像处理方法的流程示意图。电子设备通过自动曝光获取多帧YUV格式的图像。接着，将多帧图像中采集的第一帧图像作为参考帧图像。或者，将多帧图像中采集的第3、5帧图像中清晰度最高的图像作为参考帧图像。接着，判断获取该多帧图像时的拍摄模式为手持模式或脚架模式。当多帧图像对应的拍摄模式为手持模式时，根据参考帧图像对多帧图像中的各帧待处理图像进行配准处理。将参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
当多帧图像对应的拍摄模式为脚架模式时，不进行配准处理。将参考帧图像和各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
在一个实施例中，如图4所示，根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像和各帧待处理图像之间的映射关系，包括：
步骤402，提取参考帧图像中的特征点和各帧待处理图像的特征点。
其中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点例如眼睛、鼻尖、嘴角、痣、物体的中心等，不限于此。
具体地，检测参考帧图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。检测各帧待处理图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。
在一个实施例中，可以根据参考帧图像中的特征点，从各帧待处理图像中提取对应的特征点。在另外一个实施例中，也可以检测待处理图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点，并从其余待处理图像和参考帧图像中提取对应的特征点。
步骤404，根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像分别和各帧待处理图像之间的匹配点对。
具体地，电子设备的ISP处理器或中央处理器将参考帧图像中提取的特征点与各帧待处理图像的对应的特征点组成匹配点对。进一步地，电子设备的ISP处理器或中央处理器确定参考帧图像的特征点和每帧待处理图像的特征点，确定参考帧图像分别和每帧待处理图像之间的匹配点对。
步骤406，根据匹配点对确定参考帧图像和各帧待处理图像之间的单应性矩阵；该单应性矩阵用于表征参考帧图像和各帧待处理图像之间的映射关系。
其中，单应(Homography)是射影几何中的概念，又称为射影变换。它把一个射影平面上的点(三维齐次矢量)映射到另一个射影平面上，并且把直线映射为直线，具有保线性质。单应矩阵则是点和点的映射，使用单应矩阵可以找到像点在另一图像上对应点的确切位置。
具体地，电子设备的ISP处理器或中央处理器可根据确定参考帧图像和每帧待处理图像之间的匹配点对，计算出参考帧图像和每帧待处理图像之间的单应性矩阵。通过单应性矩阵能够将待处理图像映射与参考帧图像相同的图像空间中。
基于映射关系对各帧待处理图像进行配准处理，包括：
步骤408，基于单应性矩阵对各帧待处理图像进行配准处理。
具体地，电子设备的ISP处理器或中央处理将根据参考帧图像和待处理图像之间的单应性矩阵，对该待处理图像进行配准处理，从而得到配准后的待处理图像。按照相同的处理方式，电子设备的ISP处理器或中央处理器可根据参考帧图像分别和各帧待处理图像之间的单应性矩阵，分别对各帧待处理图像进行配准处理，得到各帧配准后的待处理图像。
在本实施例中，根据参考帧图像分别和各帧待处理图像之间的匹配点对，确定参考帧图像和待处理图像之间的单应性矩阵，从而能够将各帧待处理图像映射值参考帧图像的图像空间，使得待处理图像和参考帧图像处于同一视角下，从而准确对待处理图像进行配准。
在一个实施例中，该多帧图像为YUV图像；提取参考帧图像中的特征点和各帧待处理图像的特征点，包括：分别对参考帧图像和各帧待处理图像在Y通道上进行角点检测，得到参考帧图像中的特征点和各帧待处理图像的特征点。
具体地，电子设备的ISP处理器或中央处理可获取多帧YUV图像，从多帧YUV图像中获取待处理图像以及选择参考帧图像。接着，电子设备的ISP处理器或中央处理在参考帧图像的Y通道上进行角点检测，并且在各帧待处理图像的Y通道上进行角点检测。可通过Shi-Tomasi算法或harri算法进行角点检测。
进一步地，电子设备的ISP处理器或中央处理器在参考帧图像上建立坐标轴，利用边缘算子，例如Sobel算子计算出图像在坐标轴x、y方向上的梯度值Ix、Iy。然后计算两个方向梯度的乘积Ix*Iy。接着，电子设备的ISP处理器或中央处理器对Ix*Iy进行均值滤波，得到局部特征矩阵。计算局部特征矩阵的特征值，若两个特征值中较小的一个大于最小阈值，则得到参考帧图像的强角点。强角点为不受噪声干扰的点，电子设备的ISP处理器或中央处理器将该强角点作为参考帧图像的特征点。按照相同的处理方式，可得到各帧待处理图像中的特征点。
在本实施例中，通过对YUV格式的参考帧图像和YUV格式的各帧待处理图像在Y通道上进行角点检测，以得到图像中不受噪声干扰的特征点，使得所提取的图像特征点更准确。
在一个实施例中，根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像分别和各帧待处理图像之间的匹配点对，包括：根据参考帧图像的每一个特征点生成对应的特征描述子；根据各帧待处理图像的每一个特征点生成对应的特征描述子；将参考帧图像对应的特征描述子分别和各帧待处理图像对应的特征描述子进行匹配，得到参考帧图像分别和各帧待处理图像之间的匹配点对。
其中，特征描述子用于表示该特征点的特征。例如，特征描述子可以表示该特征点的像素值，该特征点的特征描述向量，该特征点的方向，该特征点的领域信息等，不限于此。通过获取该特征点的像素值，该特征点的方向，该特征点的领域信息等数据，从而生成该特征点的特征描述子。
特征描述子可以是ORB特征描述子＝Fast特征点(角点)提取+BRIEF特征描述；也可以是SIFT(Scale-invariant feature transform，尺度不变特征变换)特征描述子；还可以是其他的特征描述子，不限于此。
具体地，将参考帧图像的特征描述子分别与待处理图像的特征描述子进行特征的匹配，例如，可以匹配特征点的像素值、特征点的方向，特征点的领域信息等其中的至少一种。匹配的特征越多，则得到的匹配点对越准确。
例如，A(x,y)为检测到的角点，以A点为中心，将其附近邻域作为采样区域，并将采样区域划分为4×4个子区域.在各个子区域内计算4个方向的梯度直方图，统计每个方向梯度方向的累加值，形成一个种子点。共会产生4×4×4＝64个数据，形成角点A的特征描述向量。
本实施例中，将参考帧图像中每个特征点的特征描述子，与各帧待处理图像中每个特征点的特征描述子进行匹配，可以生成更准确的匹配点对。检测到角点后，再利用上角点的邻域信息，增加了匹配点对的可靠性，使得全局配准精度提升，进而多帧合成得到的图像清晰。
在一个实施例中，可以采用RANSAC(Random Sample Consensus)算法对匹配点对进行处理，从而去除一些匹配错误的匹配点对，获取更加准确的匹配点对。
在一个实施例中，基于映射关系对各帧待处理图像进行配准处理，包括：根据映射关系分别对各帧待处理图像进行透视变换处理,得到各帧配准后的图像。
其中，透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
具体地，针对每帧待处理图像，电子设备的ISP处理器或中央处理器待处理图像和参考帧图像之间映射关系，将待处理图像进行透视变换处理，以将待处理图像映射至参考帧图像对应的图像空间，从而准确得到配准后的待处理图像。
如图5所示，为一个实施例中对待处理图像进行配准的流程示意图。电子设备获取YUV格式的多帧图像，从多帧图像中选择参考帧图像和待处理图像。接着，在参考帧图像和各帧待处理图像的Y通道上进行角点检测，得到参考帧图像的特征点和各帧待处理图像的特征点。接着，根据所述参考帧图像的每一个特征点生成对应的特征描述向量，并根据所述各帧待处理图像的每一个特征点生成对应的特征描述向量。接着，通过L1范式或者L2范式计算参考帧图像的特征点对应的特征描述向量，与待处理图像的各特征点对应的特征描述向量之间的距离。根据距离排序，选择距离小的前15％的特征点对确定为参考帧图像和待处理图像的匹配点对。
接着，电子设备选择预设数量的匹配点对，例如4对匹配点对计算参考帧图像和待处理图像之间的单应性矩阵。使用优化算法RANSAC迭代计算筛选出单应性矩阵的最优解。基于单应性矩阵将待处理图像进行透视变换处理，得到配准后的待处理图像。
在一个实施例中，基于映射关系对各帧待处理图像进行配准处理，包括：基于映射关系分别确定各帧待处理图像相对于参考帧图像的偏移量；基于映射关系对偏移量大于偏移量阈值的待处理图像进行配准处理。
具体地，电子设备的ISP处理器或中央处理器将根据参考帧图像和待处理图像之间的映射关系，将待处理图像映射至参考帧图像对应的图像空间中，使得待处理图像和参考帧图像处于同一图像空间，或者同一平面上。接着，ISP处理器或中央处理器以参考帧图像为参照，确定待处理图像相对于参考帧图像的偏移位移，即偏移量。按照相同的处理方式，可得到各帧待处理图像相对于参考帧图像之间的偏移量。
接着，电子设备的ISP处理器或中央处理器获取偏移量阈值，将各帧待处理图像对应的偏移量与偏移量阈值进行比较。电子设备的ISP处理器或中央处理器可确定偏移量大于偏移量阈值的待处理图像，并对偏移量大于偏移量阈值的待处理图像进行配准处理，得到配准后的待处理图像。
本实施例中，确定各帧待处理图像相对于参考帧图像的偏移量，去除偏移量小于或等于偏移量阈值的待处理图像，以避免配准后图像的有效区域太小，影响图像融合的准确性。
在一个实施例中，获取多帧图像，从多帧图像中选择参考帧图像，包括：获取多帧图像，确定多帧图像中清晰度大于清晰度阈值的图像；从清晰度大于或等于清晰度阈值的图像中选择参考帧图像。
具体地，电子设备的ISP处理器或中央处理器可设置自动曝光的时间，在避免过曝的情况下通过成像设备获取多帧图像，得到非过曝的多帧图像。接着，电子设备的ISP处理器或中央处理器可确定每帧图像的清晰度。电子设备的ISP处理器或中央处理器获取清晰度阈值，将每帧图像的清晰度和清晰度阈值进行对比。接着，电子设备的ISP处理器或中央处理器将清晰度小于或等于清晰度阈值的图像删除，保留清晰度大于清晰度阈值的图像。或者，电子设备的ISP处理器或中央处理器从该多帧图像中选择清晰度大于清晰度阈值的图像。
接着，电子设备的ISP处理器或中央处理器确定清晰度大于清晰度阈值的图像中清晰度最高的图像，将清晰度最高的图像确定为参考帧图像。
在本实施例中，电子设备的ISP处理器或中央处理器对多帧图像进行低通滤波处理，并从低通滤波处理后的图像中选择清晰度最高的图像确定为目标图像。该低通滤波处理可为高斯滤波处理。
在本实施例中，通过确定多帧图像中清晰度大于清晰度阈值的图像，去除清晰度不高的图像，从清晰度大于或等于清晰度阈值的图像中选择参考帧图像，以选择清晰度最好的图像作为参考帧图像，能够保证图像配准的精准度。
在一个实施例中，电子设备的ISP处理器或中央处理器可确定多帧图像中采集的第一帧图像，并将所采集的第一帧图像确定为参考帧图像。
在一个实施例中，电子设备的ISP处理器或中央处理器可按照多帧图像采集的先后时间，从前往后获取预设数量的图像，并确定预设数量的图像中各帧图像的清晰度。将预设数量的图像中清晰度最高的图像确定为参考帧图像。进一步地，电子设备的ISP处理器或中央处理器可对预设数量的图像进行低通滤波处理，并从低通滤波处理后的预设数量的图像中选择清晰度最高的图像确定为目标图像。
在一个实施例中，将参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像，包括：基于参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
具体地，电子设备的ISP处理器或中央处理器获取参考帧图像的特征点，获取配准处理后的各帧待处理图像的特征点，并确定参考帧图像和各帧待处理图像相匹配的特征点。接着，电子设备的ISP处理器或中央处理器获取参考帧图像和各帧待处理图像相匹配的特征点所对应的像素值。接着，电子设备的ISP处理器或中央处理器计算相匹配的特征点所对应的像素值的均值。按照相同的处理方式，可将参考帧图像和各帧配准后的待处理图像进行融合，得到目标图像。该目标图像中融合了各帧图像的关键特征，从而获得图像中主体的运动轨迹。
本实施例中，基于参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，以生成包含主体的运动轨迹的目标图像，所生成的目标图像能达到长曝光拍摄的效果，又能避免长曝光所导致的图像过曝的现象。
如图6所示，为一个实施例中对待处理图像和参考帧图像进行融合的流程示意图。接着，将多帧图像中采集的第一帧图像作为参考帧图像。或者，将多帧图像中采集的第3、5帧图像中清晰度最高的图像作为参考帧图像。接着，将多帧图像中除参考帧图像以外的图像作为待处理图像。电子设备判断待处理图像的清晰度是否大于清晰度阈值。当待处理图像的清晰度小于或等于清晰度阈值时，去除该图像。当待处理图像的清晰度大于清晰度阈值时，将该待处理图像向参考帧图像进行配准。在进行配准时确定待处理图像和参考帧图像之间的位移，即偏移量。当位移小于或等于偏移量阈值时，去除该图像。将偏移量大于阈值的待处理图像进行配准处理后，将参考帧图像和各配准后的待处理图像相匹配的像素点(特征点)的像素值求均值，即逐像素做多帧平均值融合，从而将参考帧图像和各帧配准后的待处理图像进行融合，得到包含主体运动轨迹的目标图像。
在一个实施例中，提供了一种图像处理方法，包括：
1、获取多帧图像，确定多帧图像中清晰度大于清晰度阈值的图像；多帧图像为YUV图像。
2、从清晰度大于或等于清晰度阈值的图像中选择参考帧图像。
3、分别对参考帧图像和各帧待处理图像在Y通道上进行角点检测，得到参考帧图像中的特征点和各帧待处理图像的特征点；多帧图像中包含各帧待处理图像。
4、根据参考帧图像的每一个特征点生成对应的特征描述向量，并根据各帧待处理图像的每一个特征点生成对应的特征描述向量。
5、将参考帧图像对应的特征描述向量分别和各帧待处理图像对应的特征描述向量进行匹配，得到参考帧图像分别和各帧待处理图像之间的匹配点对。
6、根据匹配点对确定参考帧图像和各帧待处理图像之间的映射关系。
7、当多帧图像对应的拍摄模式为手持模式时，基于映射关系分别确定各帧待处理图像相对于参考帧图像的偏移量。
8、根据映射关系分别对偏移量大于偏移量阈值的待处理图像进行透视变换处理,得到各帧配准后的图像。
9、基于参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
10、当多帧图像对应的拍摄模式为脚架模式时，基于参考帧图像和各帧待处理图像中相匹配的特征点的像素值进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
本实施例中，从获取的多帧图像中选择清晰度高于清晰度阈值的图像作为参考帧图像，以保证参考帧图像的清晰度。对参考帧图像和各帧待处理图像在Y通道上进行角点检测，以准确获取图像的特征点。根据图像的特征描述向量准确确定参考帧图像和各帧待处理图像之间的匹配点对。根据匹配点对确定参考帧图像和各帧待处理图像之间的单应性矩阵对手持模式下的待处理图像进行透视变换，使得待处理图像能够映射到参考帧图像相同的图像空间或同一平面上。基于参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，能够将各帧图像中所捕获的主体的运动轨迹的关键特征进行融合，以生成包含主体的运动轨迹的目标图像，使得所生成的目标图像能达到长曝光拍摄的效果，又能避免长曝光所导致的图像过曝的现象。
应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例的图像处理装置的结构框图。如图7所示，该图像处理装置包括：获取模块702、确定模块704、配准模块706和生成模块708。其中，
获取模块702，用于获取多帧图像，从多帧图像中选择参考帧图像。
确定模块704，用于根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像和各帧待处理图像之间的映射关系；多帧图像中包含各帧待处理图像。
配准模块706，用于基于映射关系对各帧待处理图像进行配准处理.
生成模块708，用于将参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
在本实施例中，在不过曝情况下获取多帧图像，从多帧图像中选择参考帧图像，并对多帧图像中的待处理图像进行配准，使得待处理图像和参考帧图像处于相同的图像空间中。将配准后的图像和参考帧图像融合，能够最大程度地获取图像中主体的运动轨迹特征，生成包含主体运动轨迹的目标图像，使得该目标图像能够达到长曝光图像的效果，且能够避免单帧图像长曝光所导致的过曝现象。
在一个实施例中，该配准模块706还用于：当多帧图像对应的拍摄模式为手持模式时，执行基于映射关系对各帧待处理图像进行配准处理的步骤。
本实施例中，当多帧图像对应的拍摄模式为手持模式时，执行基于映射关系对各帧待处理图像进行配准处理的步骤，对手持模式下采集的图像进行配准处理，避免用户手部抖动所造成的图像模糊的问题。
在一个实施例中，生成模块708还用于：当多帧图像对应的拍摄模式为脚架模式时，基于映射关系将参考帧图像和各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
本实施例中，当多帧图像对应的拍摄模式为脚架模式时，基于映射关系将参考帧图像和各帧待处理图像进行融合处理，以快速得到包含主体的运动轨迹的目标图像，使得该目标图像能够达到长曝光图像的效果，且能够避免长曝光所导致的图像过曝现象。
在一个实施例中，该确定模块704还用于：提取参考帧图像中的特征点和各帧待处理图像的特征点；根据参考帧图像的特征点和各帧待处理图像的特征点，确定参考帧图像分别和各帧待处理图像之间的匹配点对；根据匹配点对确定参考帧图像和各帧待处理图像之间的单应性矩阵；单应性矩阵用于表征参考帧图像和各帧待处理图像之间的映射关系；
该配准模块706还用于：基于单应性矩阵对各帧待处理图像进行配准处理。
在本实施例中，根据参考帧图像分别和各帧待处理图像之间的匹配点对，确定参考帧图像和待处理图像之间的单应性矩阵，从而能够将各帧待处理图像映射值参考帧图像的图像空间，使得待处理图像和参考帧图像处于同一视角下，从而准确对待处理图像进行配准。
在一个实施例中，该多帧图像为YUV图像；该确定模块704还用于：分别对参考帧图像和各帧待处理图像在Y通道上进行角点检测，得到参考帧图像中的特征点和各帧待处理图像的特征点。
在本实施例中，通过对YUV格式的参考帧图像和YUV格式的各帧待处理图像在Y通道上进行角点检测，以得到图像中不受噪声干扰的特征点，使得所提取的图像特征点更准确。
在一个实施例中，该确定模块704还用于：根据参考帧图像的每一个特征点生成对应的特征描述子；根据各帧待处理图像的每一个特征点生成对应的特征描述子；将参考帧图像对应的特征描述子分别和各帧待处理图像对应的特征描述子进行匹配，得到参考帧图像分别和各帧待处理图像之间的匹配点对。
本实施例中，将参考帧图像中每个特征点的特征描述子，与各帧待处理图像中每个特征点的特征描述子进行匹配，可以生成更准确的匹配点对。
在一个实施例中，该配准模块706用于：根据映射关系分别对各帧待处理图像进行透视变换处理,得到各帧配准后的图像。
将待处理图像进行透视变换处理，以将待处理图像映射至参考帧图像对应的图像空间，从而准确得到配准后的待处理图像。
在一个实施例中，该配准模块706用于：基于映射关系分别确定各帧待处理图像相对于参考帧图像的偏移量；基于映射关系对偏移量大于偏移量阈值的待处理图像进行配准处理。
本实施例中，确定各帧待处理图像相对于参考帧图像的偏移量，去除偏移量小于或等于偏移量阈值的待处理图像，以避免配准后图像的有效区域太小，影响图像融合的准确性。
在一个实施例中，该获取模块702用于：获取多帧图像，确定多帧图像中清晰度大于清晰度阈值的图像；从清晰度大于或等于清晰度阈值的图像中选择参考帧图像。
在本实施例中，通过确定多帧图像中清晰度大于清晰度阈值的图像，去除清晰度不高的图像，从清晰度大于或等于清晰度阈值的图像中选择参考帧图像，以选择清晰度最好的图像作为参考帧图像，能够保证图像配准的精准度。
在一个实施例中，该生成模块708还用于：基于参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，以获得图像中主体的运动轨迹，生成包含主体的运动轨迹的目标图像。
本实施例中，基于参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，以生成包含主体的运动轨迹的目标图像，所生成的目标图像能达到长曝光拍摄的效果，又能避免长曝光所导致的图像过曝的现象。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备或服务器上运行。该计算机程序构成的程序模块可存储在电子设备或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对运动的主体进行拍摄，获得多帧包含所述主体的图像；多帧所述图像为非过曝图像，多帧所述图像为YUV图像；
从多帧包含所述主体的图像中选择参考帧图像和待处理图像；
分别对所述参考帧图像和各帧所述待处理图像在Y通道上进行角点检测，得到所述参考帧图像中的特征点和所述各帧待处理图像的特征点；
根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；
根据陀螺仪的抖动参数确定多帧所述图像的拍摄模式；
当所述拍摄模式为手持模式，基于所述映射关系分别确定所述各帧待处理图像相对于所述参考帧图像的偏移量；
获取偏移量阈值，确定偏移量大于所述偏移量阈值的待处理图像；
基于所述映射关系对偏移量大于所述偏移量阈值的待处理图像进行配准处理；
将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像；
当所述拍摄模式为脚架模式，基于所述映射关系将所述各帧待处理图像和所述参考帧图像进行融合，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系，包括：
根据所述参考帧图像的特征点和所述各帧待处理图像的特征点，确定所述参考帧图像分别和所述各帧待处理图像之间的匹配点对；
根据所述匹配点对确定所述参考帧图像和所述各帧待处理图像之间的单应性矩阵；所述单应性矩阵用于表征所述参考帧图像和所述各帧待处理图像之间的映射关系；
所述基于所述映射关系对所述各帧待处理图像进行配准处理，包括：
基于所述单应性矩阵对所述各帧待处理图像进行配准处理。
3.根据权利要求2所述的方法，其特征在于，所述根据所述参考帧图像的特征点和所述各帧待处理图像的特征点，确定所述参考帧图像分别和所述各帧待处理图像之间的匹配点对，包括：
根据所述参考帧图像的每一个特征点生成对应的特征描述子；
根据所述各帧待处理图像的每一个特征点生成对应的特征描述子；
将所述参考帧图像对应的特征描述子分别和所述各帧待处理图像对应的特征描述子进行匹配，得到所述参考帧图像分别和所述各帧待处理图像之间的匹配点对。
4.根据权利要求1所述的方法，其特征在于，所述基于所述映射关系对偏移量大于所述偏移量阈值的待处理图像进行配准处理，包括：
根据所述映射关系，对偏移量大于所述偏移量阈值的待处理图像进行透视变换处理,得到配准后的图像。
5.根据权利要求1所述的方法，其特征在于，所述从多帧包含所述主体的图像中选择参考帧图像，包括：
确定多帧包含所述主体的图像中清晰度大于清晰度阈值的图像；
从所述清晰度大于或等于所述清晰度阈值的图像中选择参考帧图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像，包括：
基于所述参考帧图像和配准处理后的各帧待处理图像中相匹配的特征点的像素值进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
7.一种图像处理装置，其特征在于，包括：
用于对运动的主体进行拍摄，获得多帧包含所述主体的图像的模块；多帧所述图像为非过曝图像，多帧所述图像为YUV图像；
获取模块，用于从多帧包含所述主体的图像中选择参考帧图像和待处理图像；
确定模块，用于分别对所述参考帧图像和各帧所述待处理图像在Y通道上进行角点检测，得到所述参考帧图像中的特征点和所述各帧待处理图像的特征点；根据所述参考帧图像的特征点和各帧待处理图像的特征点，确定所述参考帧图像和所述各帧待处理图像之间的映射关系；
用于根据陀螺仪的抖动参数确定多帧所述图像的拍摄模式的模块；
配准模块，用于当所述拍摄模式为手持模式，基于所述映射关系分别确定所述各帧待处理图像相对于所述参考帧图像的偏移量；获取偏移量阈值，确定偏移量大于所述偏移量阈值的待处理图像；基于所述映射关系对偏移量大于所述偏移量阈值的待处理图像进行配准处理；
生成模块，用于将所述参考帧图像和配准处理后的各帧待处理图像进行融合处理，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像；
所述生成模块，还用于当所述拍摄模式为脚架模式，基于所述映射关系将所述各帧待处理图像和所述参考帧图像进行融合，以获得图像中主体的运动轨迹，生成包含所述主体的运动轨迹的目标图像。
8.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010768044.4A 2020-08-03 2020-08-03 图像处理方法和装置、电子设备、计算机可读存储介质 Active CN111932587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010768044.4A CN111932587B (zh) 2020-08-03 2020-08-03 图像处理方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010768044.4A CN111932587B (zh) 2020-08-03 2020-08-03 图像处理方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111932587A CN111932587A (zh) 2020-11-13
CN111932587B true CN111932587B (zh) 2024-09-03

Family

ID=73306380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010768044.4A Active CN111932587B (zh) 2020-08-03 2020-08-03 图像处理方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111932587B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598716B (zh) * 2020-12-01 2024-04-05 浙江大华技术股份有限公司 一种多模态图像的配准方法、装置及系统
CN113393505B (zh) * 2021-06-25 2023-11-03 浙江商汤科技开发有限公司 图像配准方法、视觉定位方法及相关装置、设备
CN115701869A (zh) * 2021-07-19 2023-02-14 索尼集团公司 摄影图像处理方法及设备
CN113570531B (zh) * 2021-07-27 2024-09-06 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113674220A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 一种图像差异检测方法、检测装置和存储介质
CN114173055B (zh) * 2021-11-16 2024-07-09 爱芯元智半导体股份有限公司 图像处理方法、装置和电子设备
CN114785957A (zh) * 2022-05-26 2022-07-22 维沃移动通信有限公司 拍摄方法及其装置
CN115174811A (zh) * 2022-06-30 2022-10-11 Oppo广东移动通信有限公司 相机抖动检测方法、装置、设备、存储介质和程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427263A (zh) * 2015-12-21 2016-03-23 努比亚技术有限公司 一种实现图像配准的方法及终端
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
CN111091590A (zh) * 2019-12-18 2020-05-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836433B1 (en) * 2012-04-02 2017-12-05 Rockwell Collins, Inc. Image processing using multiprocessor discrete wavelet transform
CN105915796A (zh) * 2016-05-31 2016-08-31 努比亚技术有限公司 一种电子光圈拍摄方法及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427263A (zh) * 2015-12-21 2016-03-23 努比亚技术有限公司 一种实现图像配准的方法及终端
CN105898159A (zh) * 2016-05-31 2016-08-24 努比亚技术有限公司 一种图像处理方法及终端
CN111091590A (zh) * 2019-12-18 2020-05-01 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111932587A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111932587B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107948519B (zh) 图像处理方法、装置及设备
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108012080B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
CN107509031B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN111986129B (zh) 基于多摄图像融合的hdr图像生成方法、设备及存储介质
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN107493432B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107911682B (zh) 图像白平衡处理方法、装置、存储介质和电子设备
CN108198152B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN110475067B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110866486B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107948617B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN113875219B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110177212B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109257540B (zh) 多摄镜头组的摄影校正方法及摄影装置
CN113298735A (zh) 图像处理方法、装置、电子设备及存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant