CN105556935B - 用于多帧降噪的方法和终端 - Google Patents

用于多帧降噪的方法和终端 Download PDF

Info

Publication number
CN105556935B
CN105556935B CN201480005506.XA CN201480005506A CN105556935B CN 105556935 B CN105556935 B CN 105556935B CN 201480005506 A CN201480005506 A CN 201480005506A CN 105556935 B CN105556935 B CN 105556935B
Authority
CN
China
Prior art keywords
image
camera
registration
frame
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480005506.XA
Other languages
English (en)
Other versions
CN105556935A (zh
Inventor
朱聪超
郑祖全
罗巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN105556935A publication Critical patent/CN105556935A/zh
Application granted granted Critical
Publication of CN105556935B publication Critical patent/CN105556935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

本发明实施例提供一种终端，包括：M个摄像头，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且该M个摄像头在每次拍摄时各同时采集一帧图像；处理器，与该M个摄像头相连，用于根据该K次拍摄获得的图像进行配准，并对该配准后的图像进行时域和空域滤波。本发明实施例中，在终端上安装有多个摄像头，由于每次拍摄时，多个摄像头同时采集图像，因此，终端采集一定数量的图像的时间间隔比单个摄像头短，在该时间间隔内出现手抖动或者物体运动的可能性也相应降低，从而合成后的图像相对于单摄像头连拍采集多帧图像合成的图像质量比较好。

Description

用于多帧降噪的方法和终端
技术领域
本发明实施例涉及图像处理领域，并且更具体地，涉及一种用于多帧降噪的方法和终端。
背景技术
受到终端体积和成本的限制，终端摄像头的镜头和传感器的面积均比较小，拍摄图像的质量较差。在夜景或低照度环境下，由于光线较弱，拍摄图像的质量会更差。
为了提升终端的拍摄效果，多帧降噪技术逐渐被应用于终端的图像处理中。具体地，首先对同一场景进行多次拍摄，得到多帧图像；然后利用不同图像噪点产生部位不同的特点，将多帧图像合为一帧图像，从而达到降噪的目的。
多帧降噪技术需要通过单个摄像头连拍采集多帧图像。但是，受到终端最大帧率的限制，采集多帧图像的时间间隔通常较长。在该时间间隔内，手持终端拍摄发生手抖动，这样采集的多帧图像合成后的图像可能不清楚。
发明内容
本发明实施例提供一种终端，以提高多帧降噪后合成图像的质量。
第一方面，提供一种终端，包括：M个摄像头，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且所述M个摄像头在每次拍摄时各同时采集一帧图像；处理器，与所述M个摄像头相连，用于根据所述K次拍摄获得的图像进行配准，并对所述配准后的图像进行时域和空域滤波。
结合第一方面，在第一方面的一种实现方式中，所述M个摄像头位于同一平面，在所述根据所述K次拍摄获得的图像进行配准之前，所述处理器还用于：获取所述K次拍摄中每次拍摄到的M帧图像之间的平移量；根据所述平移量，配准所述M帧图像；根据配准后的M帧图像生成一帧合成图像；所述根据所述K次拍摄获得的图像进行配准，并对所述配准后的图像进行时域和空域滤波，包括：对所述K次拍摄对应的K帧合成图像进行所述配准，以确定K帧配准图像；对所述K帧配准图像进行所述时域和空域滤波。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述M个摄像头包括第一摄像头和第二摄像头，所述每次拍摄的M帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第二图像，所述处理器，还用于获取所述K次拍摄中每次拍摄的M帧图像之间的平移量，包括：所述处理器，还用于：获取所述第一图像和所述第二图像之间的平移量；所述处理器，还用于根据所述平移量，配准所述M帧图像，包括：所述处理器，还用于：选取所述第一图像作为参考图像；根据所述平移量，对所述第二图像进行平移操作，确定所述第一图像和所述第二图像的公共图像区域。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述处理器，还用于获取所述第一图像和所述第二之间的平移量，包括：所述处理器，还用于：基于L＝(f×(t/d))/u获得所述平移量；其中，L为所述第一图像和所述第二图像之间的平移量，f为所述第一摄像头或所述第二摄像头的焦距，t为所述第一摄像头的镜头和所述第二摄像头的镜头的光心距离，d为所述第一图像的像素尺寸，其中，所述第一图像的像素尺寸和所述第二图像的像素尺寸相同，u为景深。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述处理器，还用于根据配准后的M帧图像生成一帧合成图像，包括：所述处理器，还用于：对所述配准后的M帧图像进行视差校正，以消除所述配准后的M帧图像在对应像素点由所述M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成所述合成图像在所述对应像素点的像素值。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述处理器，还用于对所述配准后的M帧图像进行视差校正，包括：所述处理器，还用于：当所述配准后的M帧图像中除基准图像之外的第j帧图像与所述基准图像在对应像素点的像素值的差异大于预设阈值时，用所述基准图像在所述对应像素点的像素值代替所述第j帧图像在所述对应像素点的像素值；否则，所述第j帧图像在所述对应像素点的像素值保持不变，其中，所述基准图像为所述配准后的M帧图像中的一帧图像，j取值从1至M-1。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，在所述对所述配准后的图像进行时域和空域滤波之前，所述处理器还用于：对所述配准后的图像进行鬼影消除。
结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，K＝3。
第二方面，提供一种用于多帧降噪的方法，包括：采用终端上的M个摄像头对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且所述M个摄像头在每次拍摄时各同时采集一帧图像；根据所述K次拍摄获得的图像进行配准；对所述配准后的图像进行时域和空域滤波。
结合第二方面，在第二方面的一种实现方式中，所述M个摄像头位于同一平面，在所述根据所述K次拍摄获得的图像进行配准之前，所述方法还包括：获取所述K次拍摄中每次拍摄到的M帧图像之间的平移量；根据所述平移量，配准所述M帧图像；根据配准后的M帧图像生成一帧合成图像；所述根据所述K次拍摄获得的图像进行配准，包括：对所述K次拍摄对应的K帧合成图像进行所述配准，以确定K帧配准图像；所述对所述配准后的图像进行时域和空域滤波，包括：对所述K帧配准图像进行所述时域和空域滤波。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述M个摄像头包括第一摄像头和第二摄像头，所述每次拍摄的M帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第二图像，所述获取所述K次拍摄中每次拍摄的M帧图像之间的平移量，包括：获取所述第一图像和所述第二图像之间的平移量；所述根据所述平移量，配准所述M帧图像，包括：选取所述第一图像作为参考图像；根据所述平移量，对所述第二图像进行平移操作，确定所述第一图像和所述第二图像的公共图像区域。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述获取所述第一图像和所述第二之间的平移量，包括：基于L＝(f×(t/d))/u获得所述平移量；其中，L为所述第一图像和所述第二图像之间的平移量，f为所述第一摄像头或所述第二摄像头的焦距，t为所述第一摄像头的镜头和所述第二摄像头的镜头的光心距离，d为所述第一图像的像素尺寸，其中，所述第一图像的像素尺寸和所述第二图像的像素尺寸相同，u为景深。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述根据配准后的M帧图像生成一帧合成图像，包括：对所述配准后的M帧图像进行视差校正，以消除所述配准后的M帧图像在对应像素点由所述M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成所述合成图像在所述对应像素点的像素值。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述对所述配准后的M帧图像进行视差校正，包括：当所述配准后的M帧图像中除基准图像之外的第j帧图像与所述基准图像在对应像素点的像素值的差异大于预设阈值时，用所述基准图像在所述对应像素点的像素值代替所述第j帧图像在所述对应像素点的像素值；否则，所述第j帧图像在所述对应像素点的像素值保持不变，其中，所述基准图像为所述配准后的M帧图像中的一帧图像，j取值从1至M-1。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，在所述对所述配准后的图像进行时域和空域滤波之前，所述方法还包括：对所述配准后的图像进行鬼影消除。
结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，K＝3。
第三方面，提供一种终端，包括：M个摄像头，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且所述M个摄像头在每次拍摄时各同时采集一帧图像；第一配准模块，用于根据所述M个摄像头经过所述K次拍摄获得的图像进行配准；时域和空域滤波模块，对所述第一配准模块配准后的图像进行时域和空域滤波。
结合第三方面，在第三方面的一种实现方式中，所述M个摄像头位于同一平面，所述终端还包括：第二配准模块，用于获取所述K次拍摄中每次拍摄到的M帧图像之间的平移量；根据所述平移量，配准所述M帧图像；合成模块，用于根据所述第二配准模块配准后的M帧图像生成一帧合成图像；所述第一配准模块具体用于对所述K次拍摄对应的K帧合成图像进行所述配准，以确定K帧配准图像；所述时域和空域滤波模块具体用于对所述K帧配准图像进行所述时域和空域滤波。
结合第三方面或其上述实现方式的任一种，在第三方面的另一种实现方式中，所述M个摄像头包括第一摄像头和第二摄像头，所述每次拍摄的M帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第二图像，所述第二配准模块具体用于获取所述第一图像和所述第二图像之间的平移量；选取所述第一图像作为参考图像；根据所述平移量，对所述第二图像进行平移操作，确定所述第一图像和所述第二图像的公共图像区域。
结合第三方面或其上述实现方式的任一种，在第三方面的另一种实现方式中，所述第二配准模块具体用于基于L＝(f×(t/d))/u获得所述平移量；其中，L为所述第一图像和所述第二图像之间的平移量，f为所述第一摄像头或所述第二摄像头的焦距，t为所述第一摄像头的镜头和所述第二摄像头的镜头的光心距离，d为所述第一图像的像素尺寸，其中，所述第一图像的像素尺寸和所述第二图像的像素尺寸相同，u为景深。
结合第三方面或其上述实现方式的任一种，在第三方面的另一种实现方式中，所述合成模块具体用于对所述配准后的M帧图像进行视差校正，以消除所述配准后的M帧图像在对应像素点由所述M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成所述合成图像在所述对应像素点的像素值。
结合第三方面或其上述实现方式的任一种，在第三方面的另一种实现方式中，所述合成模块具体用于当所述配准后的M帧图像中除基准图像之外的第j帧图像与所述基准图像在对应像素点的像素值的差异大于预设阈值时，用所述基准图像在所述对应像素点的像素值代替所述第j帧图像在所述对应像素点的像素值；否则，所述第j帧图像在所述对应像素点的像素值保持不变，其中，所述基准图像为所述配准后的M帧图像中的一帧图像，j取值从1至M-1。
结合第三方面或其上述实现方式的任一种，在第三方面的另一种实现方式中，所述终端还包括：鬼影消除模块，用于对所述配准后的图像进行鬼影消除。
结合第三方面或其上述实现方式的任一种，在第三方面的另一种实现方式中，K＝3。
本发明实施例中，在终端上安装有多个摄像头，由于每次拍摄时，多个摄像头同时采集图像，因此，终端采集一定数量的图像的时间间隔比单个摄像头短，在该时间间隔内出现手抖动或者物体运动的可能性也相应降低，这样合成后的图像质量比较好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的终端的示意性框图。
图2是本发明一个实施例的多帧降噪方法的示意性流程图。
图3是本发明一个实施例的多帧降噪方法的流程图。
图4是本发明一个实施例的用于多帧降噪的方法的示意性流程图。
图5是本发明一个实施例的终端的示意性框图。
图6是原始图像与采用本发明实施例的多帧降噪方法得到的合成图像的对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
图1是本发明一个实施例的终端的示意性框图。图1的终端10包括：
M个摄像头11，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且M个摄像头在每次拍摄时各同时采集一帧图像；
处理器12，与M个摄像头11相连，用于根据K次拍摄获得的图像进行配准，并对配准后的图像进行时域和空域滤波。
本发明实施例中，在终端上安装有多个摄像头，由于每次拍摄时，多个摄像头同时采集图像，因此，终端采集一定数量的图像的时间间隔比单个摄像头短，在该时间间隔内出现手抖动或者物体运动的可能性也相应降低，从而合成后的图像相对于单摄像头连拍采集多帧图像合成的图像质量比较好。另外，这种方式一定程度上，也降低了后续多帧降噪处理时鬼影现象出现的概率。进一步地，即便连拍过程中发生手抖或场景内物体移动，在每次拍摄时，由于多个摄像头采集图像的同步性，手抖或物体移动等现象对多个摄像头的影响是一致的，也就从根源上保证了连拍图像中同一时刻拍摄的图像不存在鬼影现象，一定程度上降低了最终得到的图像的鬼影现象的严重程度。
可选地，作为一个实施例，在上述对配准后的图像进行时域和空域滤波之前，处理器12还可用于：对配准后的图像进行鬼影消除。当拍摄的场景为运动的场景时，可以对配准后的图像进行鬼影消除，例如，可以在图像之间进行运动物体检测与移除，具体可以参考现有的鬼影消除算法；当拍摄静止场景时，可以不进行鬼影消除处理。对配准后的图像进行鬼影消除，能够有效避免拍摄期间运动物体闯入拍摄场景造成的鬼影现象，提高拍摄图像的质量。
应理解，本发明实施例对M和K的数值不作具体限定，例如，M可以是2、3、6等，K可以是2、3、4等。具体地，M的选取可考虑摄像头数目与终端成本的关系，摄像头数目越多，拍摄多帧图像的时间间隔越短，相应终端成本越高。实际中，M可以设置为2。K的选取可考虑连拍图像数目和拍摄这些图像所需时间间隔的关系。实际中，K可以设置为3。
上述M个摄像头11在每次拍摄时各同时采集一帧图像具体可指：每次拍摄时，M个摄像头11中每个摄像头采集一帧图像，共采集M帧图像，且该M帧图像采集的时间相同。
处理器12可以是图像信号处理(Image Signal Processing，ISP)装置，也可以是中央处理单元(Central Processing Unit，CPU)，还可以既包括ISP的装置，也包括CPU，即上述处理器的功能由ISP装置和CPU共同完成。
应理解，本发明实施例对处理器12的处理过程不作具体限定。可选地，作为一种实现方式，可以先采用相机抖动模型对K次拍摄的图像进行运动估计和配准。或者，可以基于SURF特征点匹配与Homography矩阵进行运动估计和配准。然后，可以对配准后图像先进行时域滤波，得到一帧时域降噪后的图像，再对该图像进行空域滤波，得到最终处理结果并呈现给用户；或者对配准后的图像分别进行空域滤波，再将空域滤波后的各个图像通过时域滤波的方式合成，得到最终的处理结果。
图像的时域和空域滤波降噪可参考现有技术，具体地，图像的时域滤波可指利用多帧图像在时间上的关联性，采用多帧图像的对应像素点进行滤波，例如，连拍的多帧图像在对应像素点的像素取均值或中值，或者采用时域的无限脉冲响应(Infinite ImpulseResponse，IIR)滤波器进行滤波；空域滤波可指利用某帧图像中像素点在空间上的关联性对该图像的像素点进行滤波，例如，先将空域模板(或称空域滤波器)在图中漫游，并将模板中心与图中某个像素位置重合；2、将模板上系数与模板下对应的像素相乘；3、将所有乘积相加；4、将相加的和作为模板的输出响应付给图中对应模板中心位置的像素。其中，空域滤波器可采用业界经典的双边滤波器(Bilateral Filter)或者非局部均值滤波器(Non-local Means Filter)等滤波器。
可选地，作为一种实现方式，M个摄像头位于同一平面，处理器12的具体处理过程可以如下：
210、获取K次拍摄中每次拍摄到的M帧图像之间的平移量。
220、根据该平移量，配准上述M帧图像。
以M个摄像头包括两个摄像头：第一摄像头和第二摄像头为例进行说明，每次拍摄的M帧图像包括分别与第一摄像头和第二摄像头对应的第一图像和第二图像，步骤210可包括：获取第一图像和第二图像之间的平移量；步骤220可包括：选取第一图像作为参考图像；根据该平移量，对第二图像进行平移操作，确定第一图像和第二图像的公共图像区域。
由于两个摄像头位于同一平面，所以两个摄像头的光轴平行，并且安装的相对位置固定且已知。因此，第一图像和第二图像的图像平移量可根据已知的相对位置计算，即可以在拍摄图像之前预先计算图像平移量。此处，可以通过下面的方式获得。
第一种：
通过L＝(f×(t/d))/u获得平移量；
其中，L为第一图像和第二图像之间的平移量，f为第一摄像头或第二摄像头的焦距，t为两个摄像头的镜头的光心距离，d为第一图像的像素尺寸，其中，第一图像的像素尺寸和第二图像的像素尺寸相同，u为景深。
其中，第一摄像头的焦距可以与第二摄像头的焦距相同，或者第一摄像头的焦距也可以与第二摄像头的焦距不相同。
第二种：
由于t、f、d的实际值一般与理论值之间会存在误差，还可以采用下面的标定法计算第一图像和第二图像的平移量，具体如下：
在采集第一图像和第二图像时，第一摄像头和第二摄像头可以同时采集棋盘格，那么第一图像和第二图像中显示的内容就是棋盘格，然后再根据第一图像和第二图像中的棋盘格的差异测量出平移量。其次，将测量出的平移量写入摄像模组配置表(摄像模组配置表可以存储在ROM存储器)，拍照时基于该配置表读取第一图像和第二图像的图像平移量。
这种方法的优势在于，由于不同的双摄像头模组之间可能存在批量生产的不一致性，即与理论设计之间的误差，因此，在出厂前对每组双镜头模组进行标定，能够提高图像平移的精度。
230、根据配准后的M帧图像生成一帧合成图像。
可选地，作为一种实现方式，可以对上述配准后的M帧图像在对应像素点的像素值取平均；将对应像素点取平均后获得的图像作为上述合成图像。其中，对配准后的M帧图像在对应像素点的像素值取平均可以降低随机噪声。
以M个摄像头包括两个摄像头：第一摄像头和第二摄像头，每次拍摄的M帧图像包括分别与第一摄像头和第二摄像头对应的第一图像和第二图像为例进行说明，可以采用如下公式获得每次拍摄对应的合成图像在每点的像素值：
I12(x，y)＝(I1(x，y)+I2(x，y))/2
其中，I1(x，y)和I2(x，y)分别为每次拍摄采集到的第一图像和第二图像在(x，y)点的像素值，I12(x，y)为该此次拍摄对应的合成图像在(x，y)点的像素值。
需要说明的是，每次拍摄到的M帧图像均可按照步骤210至步骤230进行图像合成，共得到K帧合成图像，且各次拍摄到的M帧图像进行图像合成的过程可以并行进行，也可以先后进行，本发明实施例对此不作具体限定。
240、对K次拍摄对应的K帧合成图像进行配准，以确定K帧配准图像。
可选地，作为一种实现方式，可以先采用相机抖动模型对K帧合成图像进行运动估计，以配准该K帧合成图像。或者，可以基于SURF特征点匹配与Homography矩阵进行运动估计和配准。
250、对K帧配准图像进行时域和空域滤波。
K帧配准图像的时域和空域滤波降噪可参考现有技术，例如，先对K帧配准图像在对应像素点的像素取均值或中值，或者采用时域的IIR滤波器进行滤波，得到一帧时域降噪后的图像；然后对该时域降噪后的图像采用业界经典的双边滤波器或者非局部均值滤波器等滤波器进行滤波，得到最终的处理结果。
在上述技术方案中，由于位于同一平面的M个摄像头的相对位置已知，再加上M个摄像头每次拍摄时采集图像的同步性，因此，M个摄像头每次拍摄到的M帧图像之间的运动矢量为平移，通过获取每次拍摄到的M帧图像的平移量，利用该平移量进行配准，与传统多帧降噪算法中基于复杂运动估计模型的配准算法相比，能够加快多帧降噪算法的速度，并提高多帧降噪算法的准确度。
可选地，作为一种实现方式，步骤230可包括：对配准后的M帧图像进行视差校正，以消除配准后的M帧图像在对应像素点由M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成合成图像在对应像素点的像素值。当场景中仅存在近景或仅存在远景时，可以不执行该步骤。当场景同时存在近景和远景时，由于不同摄像头的视野不同，不同摄像头可能会存在视差，消除该视差能够进一步提高图像的质量。
具体地，上述配准后的M帧图像进行视差校正可包括：当配准后的M帧图像中除基准图像之外的第j帧图像与基准图像在对应像素点的像素值的差异大于预设阈值时，用基准图像在对应像素点的像素值代替第j帧图像在对应像素点的像素值；否则，第j帧图像在对应像素点的像素值保持不变，其中，基准图像为配准后的M帧图像中的一帧图像，j取值从1至M-1。应理解，上述基准图像可以选取配准后的M帧图像中的任一帧图像，例如，可以选取配准后的M帧图像中的第1帧图像作为上述基准图像。
以M个摄像头包括第一摄像头和第二摄像头，每次拍摄的M帧图像包括分别与第一摄像头和第二摄像头对应的第一图像和第二图像为例进行说明，I1(x，y)和I2(x，y)分别为配准后的第一图像和第二图像在(x，y)点的像素值。第一图像作为基准图像，第二图像在(x，y)点的像素值可以由下式确定：
其中，T为预设阈值，该阈值可以根据经验选取，也可以采用自适应阈值，本发明实施例对此不作具体限定。
下面结合具体例子，更加详细地描述本发明实施例的多帧降噪方法。应注意，图3的例子仅仅是为了帮助本领域技术人员理解本发明实施例，而非要将本发明实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的图3的例子，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本发明实施例的范围内。
图3是本发明一个实施例的多帧降噪方法的示意性流程图。在图3的实施例中，终端10在同一平面安装了两个摄像头(摄像头11a和摄像头11b)，共进行连续的3次拍摄，得到6帧图像。
首先，第1次拍摄时摄像头11a和摄像头11b分别采集第1帧图像和第2帧图像，第2次拍摄时摄像头11a和摄像头11b分别采集第3帧图像和第4帧图像，第3次拍摄时摄像头11a和摄像头11b分别采集第5帧图像和第6帧图像。需要说明的是，这里的第1帧图像、第3帧图像和第5帧图像对应于上述每次拍摄采集到的第一图像；第2帧图像、第4帧图像和第6帧图像对应于上述每次拍摄采集到的第二图像。
接着，将3次拍摄到的图像分成3组：第1帧图像和第2帧图像为1组，第3帧图像和第4帧图像为1组，第5帧图像和第6帧图像为1组。然后对3组图像分别进行图3所示的配准1、视差校正和均值处理操作，需要说明的是，以上3组图像可以并行处理，也可以先后处理，本发明实施例对此不作具体限定。下面以第1组图像的处理过程为例进行说明。
首先，获取第1帧图像和第2帧图像的平移量。由于两个摄像头位于同一平面，所以两个摄像头的光轴平行，并且安装的相对位置固定且已知。因此，第1帧图像和第2帧图像的图像平移量可根据已知的相对位置计算，即可以在拍摄图像之前预先计算图像平移量。此处，可以通过下面的方式获得。
第一种：
通过L＝(f×(t/d))/u获得平移量；
其中，L为第1帧图像和第2帧图像之间的平移量，f为第一摄像头或第二摄像头的焦距，t为摄像头11a和摄像头11b的镜头的光心距离，d为第1帧图像的像素尺寸，其中，第1帧图像的像素尺寸和第2帧图像的像素尺寸相同，u为景深。
第二种：
由于t、f、d的实际值一般与理论值之间会存在误差，还可以采用下面的标定法计算第1帧图像和第2帧图像的平移量，具体如下：
在采集第1帧图像和第2帧图像时，摄像头11a和摄像头11b可以同时采集棋盘格，那么第1帧图像和第2帧图像中显示的内容就是棋盘格，然后再根据第1帧图像和第2帧图像中的棋盘格的差异测量出平移量。其次，将测量出的平移量写入摄像模组配置表(摄像模组配置表可以存储在ROM存储器)，拍照时基于该配置表读取第1帧图像和第2帧图像的图像平移量。
这种方法的优势在于，由于不同的双摄像头模组之间可能存在批量生产的不一致性，即与理论设计之间的误差，因此，在出厂前对每组双镜头模组进行标定，从而提高图像平移的精度。
其次，选取第1帧图像为参考图像，按照计算出的平移量平移第2帧图像，裁减掉第1、2帧图像左右两侧无效的像素区域(即第1、2帧图像配准后未重合的区域)，即可得到配准后的2帧图像。
接着，当场景中既存在近景，又存在远景时，可以对配准后的2帧图像进行视差校正，以补偿摄像头11a和摄像头11b安装位置不同造成的视差。具体地，第1帧图像作为基准图像，第2帧图像在(x，y)点的像素值可以由下式确定：
其中，T为预设阈值，该阈值可以根据经验选取，也可以采用自适应阈值，本发明实施例对此不作具体限定。
然后，对配准后的2帧图像(或视差校正后的2帧图像)进行均值处理，以降低随机噪声，从而获得第1次拍摄对应的合成图像。具体地，可以采用如下公式获得第1次拍摄对应的合成图像在每点的像素值：
I12(x，y)＝(I1(x，y)+I2(x，y))/2
其中，I1(x，y)和I2(x，y)分别为第1帧图像和第2帧图像在(x，y)点的像素值，I12(x，y)为该第1次拍摄对应的合成图像在(x，y)点的像素值。同理可得第2、3次拍摄对应的合成图像。
接下来，对3帧合成图像进行配准2、鬼影消除、时域和空域滤波等处理，得到最终的结果。例如，先采用相机抖动模型对3帧合成图像运动补偿和配准。或者，可以基于SURF特征点匹配与Homography矩阵进行运动补偿和配准。然后，当拍摄运动场景时，可以对配准后的3帧图像进行鬼影消除，例如，可以在图像之间进行运动物体检测与移除，具体可以参考现有的鬼影消除算法；当拍摄静止场景时，可以不进行鬼影消除。接着，对鬼影消除后的3帧图像进行时域滤波，例如，可以将3帧图像每个像素点的像素值取平均，或者采用时域的IIR滤波器进行滤波。空域滤波可以采用业界经典的双边滤波器或者非局部均值滤波器等滤波方式。图6是采集到的原始图像(位于图6的左边)与采用图3方案降噪得到的图像(位于图6的右边)的效果对比图，从图6可以看出，采用本发明实施例得到的合成图像很大程度上降低了原始图像存在的噪声。
下面结合图4，详细描述根据本发明实施例的用于多帧降噪的方法，需要说明的是，图4中用于多帧降噪的方法可以由图1至图3中描述的终端执行，该方法的具体流程与上述终端的处理器的处理流程相同或相应，为避免重复，适当省略重复的描述。
图4是本发明一个实施例的用于多帧降噪的方法的示意性流程图。图4的方法包括：
410、采用终端上的M个摄像头对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且M个摄像头在每次拍摄时各同时采集一帧图像；
420、根据K次拍摄获得的图像进行配准；
430、对配准后的图像进行时域和空域滤波。
本发明实施例中，在终端上安装有多个摄像头，由于每次拍摄时，多个摄像头同时采集图像，因此，终端采集一定数量的图像的时间间隔比单个摄像头短，在该时间间隔内出现手抖动或者物体运动的可能性也相应降低，从而合成后的图像相对于单摄像头连拍采集多帧图像合成的图像质量比较好。另外，这种方式一定程度上，也降低了后续多帧降噪处理时鬼影现象出现的概率。进一步地，即便连拍过程中发生手抖或场景内物体移动，在每次拍摄时，由于多个摄像头采集图像的同步性，手抖或物体移动等现象对多个摄像头的影响是一致的，也就从根源上保证了连拍图像中同一时刻拍摄的图像不存在鬼影现象，一定程度上降低了最终得到的图像的鬼影现象的严重程度。
可选地，作为一个实施例，M个摄像头位于同一平面，在根据K次拍摄获得的图像进行配准之前，图4的方法还可包括：获取K次拍摄中每次拍摄到的M帧图像之间的平移量；根据平移量，配准M帧图像；根据配准后的M帧图像生成一帧合成图像；根据K次拍摄获得的图像进行配准，包括：对K次拍摄对应的K帧合成图像进行配准，以确定K帧配准图像；对配准后的图像进行时域和空域滤波，包括：对K帧配准图像进行时域和空域滤波。
可选地，作为一个实施例，M个摄像头包括第一摄像头和第二摄像头，每次拍摄的M帧图像包括分别于第一摄像头和第二摄像头对应的第一图像和第二图像，获取K次拍摄中每次拍摄的M帧图像之间的平移量，包括：获取第一图像和第二图像之间的平移量；根据平移量，配准M帧图像，包括：选取第一图像作为参考图像；根据平移量，对第二图像进行平移操作，确定第一图像和第二图像的公共图像区域。
在上述技术方案中，由于位于同一平面的M个摄像头的相对位置已知，再加上M个摄像头每次拍摄时采集图像的同步性，因此，M个摄像头每次拍摄到的M帧图像之间的运动矢量为平移，通过获取每次拍摄到的M帧图像的平移量，利用该平移量进行配准，与传统多帧降噪算法中基于复杂运动估计模型的配准算法相比，能够加快多帧降噪算法的速度，并提高多帧降噪算法的准确度。
可选地，作为一个实施例，获取第一图像和第二之间的平移量，包括：基于L＝(f×(t/d))/u获得平移量；其中，L为第一图像和第二图像之间的平移量，f为第一摄像头或第二摄像头的焦距，t为第一摄像头的镜头和第二摄像头的镜头的光心距离，d为第一图像的像素尺寸，其中，第一图像的像素尺寸和第二图像的像素尺寸相同，u为景深。
可选地，作为一个实施例，根据配准后的M帧图像生成一帧合成图像，包括：对配准后的M帧图像进行视差校正，以消除配准后的M帧图像在对应像素点由M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成合成图像在对应像素点的像素值。
可选地，作为一个实施例，对配准后的M帧图像进行视差校正，包括：当配准后的M帧图像中除基准图像之外的第j帧图像与基准图像在对应像素点的像素值的差异大于预设阈值时，用基准图像在对应像素点的像素值代替第j帧图像在对应像素点的像素值；否则，第j帧图像在对应像素点的像素值保持不变，其中，基准图像为配准后的M帧图像中的一帧图像，j取值从1至M-1。
可选地，作为一个实施例，在对配准后的图像进行时域和空域滤波之前，方法还包括：对配准后的图像进行鬼影消除。
可选地，作为一个实施例，上述K＝3。
下面结合图5，详细描述根据本发明实施例的终端，该终端能够实现上述用于多帧降噪的方法的各个步骤，为避免重复，省略重复的描述。
图5是本发明一个实施例的终端的示意性框图。图5的终端500包括：M个摄像头510，第一配准模块520和时域和空域滤波模块530。
M个摄像头510，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且M个摄像头在每次拍摄时各同时采集一帧图像；
第一配准模块520，用于根据M个摄像头510经过K次拍摄获得的图像进行配准；
时域和空域滤波模块530，对第一配准模块520配准后的图像进行时域和空域滤波。
本发明实施例中，在终端上安装有多个摄像头，由于每次拍摄时，多个摄像头同时采集图像，因此，终端采集一定数量的图像的时间间隔比单个摄像头短，在该时间间隔内出现手抖动或者物体运动的可能性也相应降低，从而合成后的图像相对于单摄像头连拍采集多帧图像合成的图像质量比较好。另外，这种方式一定程度上，也降低了后续多帧降噪处理时鬼影现象出现的概率。进一步地，即便连拍过程中发生手抖或场景内物体移动，在每次拍摄时，由于多个摄像头采集图像的同步性，手抖或物体移动等现象对多个摄像头的影响是一致的，也就从根源上保证了连拍图像中同一时刻拍摄的图像不存在鬼影现象，一定程度上降低了最终得到的图像的鬼影现象的严重程度。
可选地，作为一个实施例，M个摄像头位于同一平面，终端还包括：第二配准模块，用于获取K次拍摄中每次拍摄到的M帧图像之间的平移量；根据平移量，配准M帧图像；合成模块，用于根据第二配准模块配准后的M帧图像生成一帧合成图像；第一配准模块具体用于对K次拍摄对应的K帧合成图像进行配准，以确定K帧配准图像；时域和空域滤波模块具体用于对K帧配准图像进行时域和空域滤波。
在上述技术方案中，由于位于同一平面的M个摄像头的相对位置已知，再加上M个摄像头每次拍摄时采集图像的同步性，因此，M个摄像头每次拍摄到的M帧图像之间的运动矢量为平移，通过获取每次拍摄到的M帧图像的平移量，利用该平移量进行配准，与传统多帧降噪算法中基于复杂运动估计模型的配准算法相比，能够加快多帧降噪算法的速度，并提高多帧降噪算法的准确度。
可选地，作为一个实施例，M个摄像头包括第一摄像头和第二摄像头，每次拍摄的M帧图像包括分别与第一摄像头和第二摄像头对应的第一图像和第二图像，第二配准模块具体用于获取第一图像和第二图像之间的平移量；选取第一图像作为参考图像；根据平移量，对第二图像进行平移操作，确定第一图像和第二图像的公共图像区域。
可选地，作为一个实施例，第二配准模块具体用于基于L＝(f×(t/d))/u获得平移量；其中，L为第一图像和第二图像之间的平移量，f为第一摄像头或第二摄像头的焦距，t为第一摄像头的镜头和第二摄像头的镜头的光心距离，d为第一图像的像素尺寸，其中，第一图像的像素尺寸和第二图像的像素尺寸相同，u为景深。
可选地，作为一个实施例，合成模块具体用于对配准后的M帧图像进行视差校正，以消除配准后的M帧图像在对应像素点由M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成合成图像在对应像素点的像素值。
可选地，作为一个实施例，合成模块具体用于当配准后的M帧图像中除基准图像之外的第j帧图像与基准图像在对应像素点的像素值的差异大于预设阈值时，用基准图像在对应像素点的像素值代替第j帧图像在对应像素点的像素值；否则，第j帧图像在对应像素点的像素值保持不变，其中，基准图像为配准后的M帧图像中的一帧图像，j取值从1至M-1。
可选地，作为一个实施例，终端还包括：鬼影消除模块，用于对配准后的图像进行鬼影消除。
可选地，作为一个实施例，上述K＝3。
可以理解的是，上述实施例中的时域滤波可以是利用M个摄像头每次拍摄时，利用时间上的相关性进行降噪。空域滤波可以是利用相邻像素的相关性进行降噪。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域的普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (21)

1.一种用于多帧降噪的方法，其特征在于，包括：
采用终端上的M个摄像头对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且所述M个摄像头在每次拍摄时各同时采集一帧图像；
根据所述K次拍摄获得的图像配准；
对所述配准后的图像进行时域和空域滤波；所述M个摄像头位于同一平面，
在所述根据所述K次拍摄获得的图像进行配准之前，所述方法还包括：
获取所述K次拍摄中每次拍摄到的M帧图像之间的平移量；
根据所述平移量，配准所述M帧图像；
根据配准后的M帧图像生成一帧合成图像；
所述根据所述K次拍摄获得的图像进行配准，包括：
对所述K次拍摄对应的K帧合成图像进行所述配准，以确定K帧配准图像；
所述对所述配准后的图像进行时域和空域滤波，包括：
对所述K帧配准图像进行所述时域和空域滤波。
2.如权利要求1所述的方法，其特征在于，所述M个摄像头包括第一摄像头和第二摄像头，所述每次拍摄的M帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第二图像，
所述获取所述K次拍摄中每次拍摄的M帧图像之间的平移量，包括：
获取所述第一图像和所述第二图像之间的平移量；
所述根据所述平移量，配准所述M帧图像，包括：
选取所述第一图像作为参考图像；
根据所述平移量，对所述第二图像进行平移操作，确定所述第一图像和所述第二图像的公共图像区域。
3.如权利要求2所述的方法，其特征在于，
所述获取所述第一图像和所述第二图像之间的平移量，包括：
基于L＝(f×(t/d))/u获得所述平移量；
其中，L为所述第一图像和所述第二图像之间的平移量，f为所述第一摄像头或所述第二摄像头的焦距，t为所述第一摄像头的镜头和所述第二摄像头的镜头的光心距离，d为所述第一图像的像素尺寸，其中，所述第一图像的像素尺寸和所述第二图像的像素尺寸相同，u为景深。
4.如权利要求1-3中任一项所述的方法，其特征在于，
所述根据配准后的M帧图像生成一帧合成图像，包括：
对所述配准后的M帧图像进行视差校正，以消除所述配准后的M帧图像在对应像素点由所述M个摄像头的视差引起的差异；
根据视差校正后的M帧图像在对应像素点的像素值生成所述合成图像在所述对应像素点的像素值。
5.如权利要求4所述的方法，其特征在于，所述对所述配准后的M帧图像进行视差校正，包括：
当所述配准后的M帧图像中除基准图像之外的第j帧图像与所述基准图像在对应像素点的像素值的差异大于预设阈值时，用所述基准图像在所述对应像素点的像素值代替所述第j帧图像在所述对应像素点的像素值；否则，所述第j帧图像在所述对应像素点的像素值保持不变，其中，所述基准图像为所述配准后的M帧图像中的一帧图像，j取值从1至M-1。
6.如权利要求1-3或5中任一项所述的方法，其特征在于，
在所述对所述配准后的图像进行时域和空域滤波之前，所述方法还包括：
对所述配准后的图像进行鬼影消除。
7.如权利要求1-3或5中任一项所述的方法，其特征在于，K＝3。
8.一种终端，其特征在于，包括：
M个摄像头，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且所述M个摄像头在每次拍摄时各同时采集一帧图像；
第一配准模块，用于根据所述M个摄像头经过所述K次拍摄获得的图像进行配准；
时域和空域滤波模块，对所述第一配准模块配准后的图像进行时域和空域滤波；所述M个摄像头位于同一平面，所述终端还包括：
第二配准模块，用于获取所述K次拍摄中每次拍摄到的M帧图像之间的平移量；根据所述平移量，配准所述M帧图像；
合成模块，用于根据所述第二配准模块配准后的M帧图像生成一帧合成图像；
所述第一配准模块，具体用于对所述K次拍摄对应的K帧合成图像进行所述配准，以确定K帧配准图像；
所述时域和空域滤波模块具体用于对所述K帧配准图像进行所述时域和空域滤波。
9.如权利要求8所述的终端，其特征在于，所述M个摄像头包括第一摄像头和第二摄像头，所述每次拍摄的M帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第二图像，
所述第二配准模块具体用于获取所述第一图像和所述第二图像之间的平移量；选取所述第一图像作为参考图像；根据所述平移量，对所述第二图像进行平移操作，确定所述第一图像和所述第二图像的公共图像区域。
10.如权利要求9所述的终端，其特征在于，
所述第二配准模块具体用于基于L＝(f×(t/d))/u获得所述平移量；其中，L为所述第一图像和所述第二图像之间的平移量，f为所述第一摄像头或所述第二摄像头的焦距，t为所述第一摄像头的镜头和所述第二摄像头的镜头的光心距离，d为所述第一图像的像素尺寸，其中，所述第一图像的像素尺寸和所述第二图像的像素尺寸相同，u为景深。
11.如权利要求8-10中任一项所述的终端，其特征在于，
所述合成模块具体用于对所述配准后的M帧图像进行视差校正，以消除所述配准后的M帧图像在对应像素点由所述M个摄像头的视差引起的差异；根据视差校正后的M帧图像在对应像素点的像素值生成所述合成图像在所述对应像素点的像素值。
12.如权利要求11所述的终端，其特征在于，所述合成模块具体用于当所述配准后的M帧图像中除基准图像之外的第j帧图像与所述基准图像在对应像素点的像素值的差异大于预设阈值时，用所述基准图像在所述对应像素点的像素值代替所述第j帧图像在所述对应像素点的像素值；否则，所述第j帧图像在所述对应像素点的像素值保持不变，其中，所述基准图像为所述配准后的M帧图像中的一帧图像，j取值从1至M-1。
13.如权利要求8-10或12中任一项所述的终端，其特征在于，所述终端还包括：
鬼影消除模块，用于对所述配准后的图像进行鬼影消除。
14.如权利要求8-10或12中任一项所述的终端，其特征在于，K＝3。
15.一种终端，其特征在于，包括：
M个摄像头，用于对相同的场景进行连续的K次拍摄，其中，M≥2，K≥2，且所述M个摄像头在每次拍摄时各同时采集一帧图像；
处理器，与所述M个摄像头相连，用于根据所述K次拍摄获得的图像进行配准，并对所述配准后的图像进行时域和空域滤波；所述M个摄像头位于同一平面，
在所述根据所述K次拍摄获得的图像进行配准之前，所述处理器还用于：
获取所述K次拍摄中每次拍摄到的M帧图像之间的平移量；
根据所述平移量，配准所述M帧图像；
根据配准后的M帧图像生成一帧合成图像；
所述根据所述K次拍摄获得的图像进行配准，并对所述配准后的图像进行时域和空域滤波，包括：
对所述K次拍摄对应的K帧合成图像进行所述配准，以确定K帧配准图像；
对所述K帧配准图像进行所述时域和空域滤波。
16.如权利要求15所述的终端，其特征在于，所述M个摄像头包括第一摄像头和第二摄像头，所述每次拍摄的M帧图像包括分别与所述第一摄像头和所述第二摄像头对应的第一图像和第二图像，
所述处理器，还用于获取所述K次拍摄中每次拍摄的M帧图像之间的平移量，包括：所述处理器，还用于：
获取所述第一图像和所述第二图像之间的平移量；
所处处理器，还用于根据所述平移量，配准所述M帧图像，包括：所述处理器，还用于：
选取所述第一图像作为参考图像；
根据所述平移量，对所述第二图像进行平移操作，确定所述第一图像和所述第二图像的公共图像区域。
17.如权利要求16所述的终端，其特征在于，
所述处理器，还用于获取所述第一图像和所述第二图像之间的平移量，包括：所述处理器，还用于：
基于L＝(f×(t/d))/u获得所述平移量；
其中，L为所述第一图像和所述第二图像之间的平移量，f为所述第一摄像头或所述第二摄像头的焦距，t为所述第一摄像头的镜头和所述第二摄像头的镜头的光心距离，d为所述第一图像的像素尺寸，其中，所述第一图像的像素尺寸和所述第二图像的像素尺寸相同，u为景深。
18.如权利要求15-17中任一项所述的终端，其特征在于，
所述处理器，还用于根据配准后的M帧图像生成一帧合成图像，包括：所述处理器，还用于：
对所述配准后的M帧图像进行视差校正，以消除所述配准后的M帧图像在对应像素点由所述M个摄像头的视差引起的差异；
根据视差校正后的M帧图像在对应像素点的像素值生成所述合成图像在所述对应像素点的像素值。
19.如权利要求18所述的终端，其特征在于，所述处理器，还用于对所述配准后的M帧图像进行视差校正，包括：所述处理器，还用于：
当所述配准后的M帧图像中除基准图像之外的第j帧图像与所述基准图像在对应像素点的像素值的差异大于预设阈值时，用所述基准图像在所述对应像素点的像素值代替所述第j帧图像在所述对应像素点的像素值；否则，所述第j帧图像在所述对应像素点的像素值保持不变，其中，所述基准图像为所述配准后的M帧图像中的一帧图像，j取值从1至M-1。
20.如权利要求15-17或19中任一项所述的终端，其特征在于，
在所述对所述配准后的图像进行时域和空域滤波之前，所述处理器还用于：
对所述配准后的图像进行鬼影消除。
21.如权利要求15-17或19中任一项所述的终端，其特征在于，K＝3。
CN201480005506.XA 2014-05-15 2014-05-15 用于多帧降噪的方法和终端 Active CN105556935B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/077599 WO2015172366A1 (zh) 2014-05-15 2014-05-15 用于多帧降噪的方法和终端

Publications (2)

Publication Number Publication Date
CN105556935A CN105556935A (zh) 2016-05-04
CN105556935B true CN105556935B (zh) 2019-04-19

Family

ID=54479185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005506.XA Active CN105556935B (zh) 2014-05-15 2014-05-15 用于多帧降噪的方法和终端

Country Status (5)

Country Link
US (1) US10257450B2 (zh)
EP (1) EP3099044B1 (zh)
JP (1) JP6376618B2 (zh)
CN (1) CN105556935B (zh)
WO (1) WO2015172366A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405747A (zh) 2012-11-28 2023-07-07 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
CN109040553B (zh) 2013-06-13 2021-04-13 核心光电有限公司 双孔径变焦数字摄影机
EP3779564B1 (en) 2013-07-04 2024-04-10 Corephotonics Ltd. Miniature telephoto lens assembly
WO2015015383A2 (en) 2013-08-01 2015-02-05 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
CN112327463B (zh) 2015-01-03 2022-10-14 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
EP3492958B1 (en) 2015-04-02 2022-03-30 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
CN112305833A (zh) 2015-04-16 2021-02-02 核心光电有限公司 紧凑型折叠式相机中的自动对焦和光学图像稳定
EP3722860B1 (en) 2015-05-28 2023-04-19 Corephotonics Ltd. Bi-directional stiffness for optical image stabilization and auto-focus in a digital camera
US10230898B2 (en) 2015-08-13 2019-03-12 Corephotonics Ltd. Dual aperture zoom camera with video support and switching / non-switching dynamic control
US10070060B2 (en) 2015-09-06 2018-09-04 Corephotonics Ltd Auto focus and optical image stabilization with roll compensation in a compact folded camera
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
KR102291525B1 (ko) 2015-12-29 2021-08-19 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
WO2017208090A1 (en) 2016-05-30 2017-12-07 Corephotonics Ltd. Rotational ball-guided voice coil motor
CN107925728B (zh) 2016-06-19 2020-12-08 核心光电有限公司 双孔径摄影机系统中的帧同步
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
EP4224233A1 (en) 2016-07-07 2023-08-09 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
CN114051092A (zh) 2016-12-28 2022-02-15 核心光电有限公司 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机
EP3789810B1 (en) 2017-01-12 2022-09-28 Corephotonics Ltd. Compact folded camera
EP3579040B1 (en) 2017-02-23 2021-06-23 Corephotonics Ltd. Folded camera lens designs
CN114137791A (zh) 2017-03-15 2022-03-04 核心光电有限公司 具有全景扫瞄范围的照相装置及移动装置
CN107403413B (zh) * 2017-04-14 2021-07-13 杭州当虹科技股份有限公司 一种视频多帧去噪及增强方法
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
KR20190032818A (ko) * 2017-09-20 2019-03-28 삼성전자주식회사 롤링 셔터 방식을 이용한 복수의 카메라를 포함하는 전자 장치
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN108024054B (zh) * 2017-11-01 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN107948500A (zh) * 2017-11-01 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
KR102104761B1 (ko) 2017-11-23 2020-04-27 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
CN107959778B (zh) * 2017-11-30 2019-08-20 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
CN107948520A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 图像处理方法和装置
EP3848749A1 (en) 2018-02-05 2021-07-14 Corephotonics Ltd. Reduced height penalty for folded camera
CN111448793B (zh) 2018-02-12 2021-08-31 核心光电有限公司 具有光学图像稳定化的折叠摄像机
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP3822588B1 (en) 2018-04-23 2022-09-07 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
CN111316346B (zh) 2018-08-04 2022-11-29 核心光电有限公司 摄像机上方的可切换连续显示信息系统
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
KR102242437B1 (ko) 2019-01-07 2021-04-20 코어포토닉스 리미티드 슬라이딩 조인트를 갖는 회전 메커니즘
EP4224841A1 (en) 2019-03-09 2023-08-09 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
CN110363714B (zh) * 2019-06-19 2023-03-28 南京谱数光电科技有限公司 自适应学习速率的基于场景帧间配准的非均匀性校正方法
CN110233970B (zh) * 2019-06-27 2021-03-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
CN114641983A (zh) 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
CN111091513B (zh) * 2019-12-18 2023-07-25 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN114945936A (zh) * 2020-01-09 2022-08-26 Oppo广东移动通信有限公司 多帧降噪方法、终端、以及系统
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
CN117372248A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
EP4045960A4 (en) 2020-07-15 2022-12-14 Corephotonics Ltd. CORRECTING THE ABERRATION OF VIEWPOINTS IN A FOLDED SCANNING CAMERA
WO2022023914A1 (en) 2020-07-31 2022-02-03 Corephotonics Ltd. Hall sensor - magnet geometry for large stroke linear position sensing
CN112102190A (zh) * 2020-09-14 2020-12-18 努比亚技术有限公司 图像处理方法、移动终端及计算机可读存储介质
US11756285B2 (en) 2021-06-10 2023-09-12 Bank Of America Corporation Image processing system and method for image noise removal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997981A (zh) * 2010-11-01 2011-03-30 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
CN103268596A (zh) * 2013-05-30 2013-08-28 华南理工大学 一种降低图像噪声和使颜色接近标准的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
AU2003226047A1 (en) * 2002-04-10 2003-10-27 Pan-X Imaging, Inc. A digital imaging system
JP4665781B2 (ja) * 2006-02-02 2011-04-06 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
EP2192546A1 (en) * 2008-12-01 2010-06-02 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO Method for recognizing objects in a set of images recorded by one or more cameras
US8704932B2 (en) * 2009-10-23 2014-04-22 Broadcom Corporation Method and system for noise reduction for 3D video content
WO2011112633A1 (en) * 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
US8744420B2 (en) 2010-04-07 2014-06-03 Apple Inc. Establishing a video conference during a phone call
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9030528B2 (en) * 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
JP5076002B1 (ja) * 2011-04-27 2012-11-21 株式会社東芝 画像処理装置及び画像処理方法
JP2013059016A (ja) * 2011-08-12 2013-03-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP5917054B2 (ja) 2011-09-12 2016-05-11 キヤノン株式会社 撮像装置、画像データ処理方法、およびプログラム
JP5766077B2 (ja) * 2011-09-14 2015-08-19 キヤノン株式会社 ノイズ低減のための画像処理装置及び画像処理方法
US10109063B2 (en) * 2012-07-04 2018-10-23 Apple Inc. Image processing in a multi-channel camera
CN104010183B (zh) * 2012-11-21 2017-03-01 豪威科技股份有限公司 包括至少一个拜耳型摄像机的阵列系统及关联的方法
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9100586B2 (en) * 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
CN103685951A (zh) * 2013-12-06 2014-03-26 华为终端有限公司 一种图像处理方法、装置及终端
WO2015081563A1 (zh) * 2013-12-06 2015-06-11 华为终端有限公司 一种生成图片的方法及一种双镜头设备
US9900509B2 (en) * 2014-10-21 2018-02-20 Bae Systems Information And Electronic Systems Integration Inc. Frame registration for imaging sensors in motion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997981A (zh) * 2010-11-01 2011-03-30 惠州Tcl移动通信有限公司 一种基于手机摄像头的宽容度实现方法及手机
CN103268596A (zh) * 2013-05-30 2013-08-28 华南理工大学 一种降低图像噪声和使颜色接近标准的方法

Also Published As

Publication number Publication date
US20170019616A1 (en) 2017-01-19
JP2017516358A (ja) 2017-06-15
EP3099044A4 (en) 2017-01-25
US10257450B2 (en) 2019-04-09
JP6376618B2 (ja) 2018-08-22
WO2015172366A1 (zh) 2015-11-19
CN105556935A (zh) 2016-05-04
EP3099044A1 (en) 2016-11-30
EP3099044B1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
CN105556935B (zh) 用于多帧降噪的方法和终端
CN105100615B (zh) 一种图像的预览方法、装置及终端
CN102959945B (zh) 根据通过图像捕捉设备的阵列获得的数据产生虚拟输出图像的方法和系统
KR101429371B1 (ko) 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘
CN105340267A (zh) 一种生成图片的方法及一种双镜头设备
JP2020528700A (ja) デュアルカメラを使用する画像処理のための方法および移動端末
CN107948520A (zh) 图像处理方法和装置
WO2012104759A1 (en) Method of recording an image and obtaining 3d information from the image, camera system
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN101969533B (zh) 一种移动终端摄像头的防抖方法及装置
CN106683174B (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
CN108024054A (zh) 图像处理方法、装置及设备
CN103546665A (zh) 基于多摄像头的图像清晰度增强方法
JP2015102794A (ja) 複眼撮像装置
CN108769523A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109559272A (zh) 一种图像处理方法及装置、电子设备、存储介质
CN104427212B (zh) 用于消除失真的装置和方法
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
JP2015046678A (ja) 画像処理装置、画像処理方法、および撮像装置
CN109523456A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN104754316B (zh) 一种3d成像方法、装置及成像系统
CN111353982A (zh) 一种深度相机图像序列筛选方法及装置
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
CN115546043B (zh) 视频处理方法及其相关设备
CN109360176A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210420

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right