CN110958363A - 图像处理方法及装置、计算机可读介质和电子设备 - Google Patents

图像处理方法及装置、计算机可读介质和电子设备 Download PDF

Info

Publication number
CN110958363A
CN110958363A CN201911227463.0A CN201911227463A CN110958363A CN 110958363 A CN110958363 A CN 110958363A CN 201911227463 A CN201911227463 A CN 201911227463A CN 110958363 A CN110958363 A CN 110958363A
Authority
CN
China
Prior art keywords
image
pixel
value
pixel value
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911227463.0A
Other languages
English (en)
Other versions
CN110958363B (zh
Inventor
刘高强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN201911227463.0A priority Critical patent/CN110958363B/zh
Publication of CN110958363A publication Critical patent/CN110958363A/zh
Application granted granted Critical
Publication of CN110958363B publication Critical patent/CN110958363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理装置、计算机可读介质和电子设备,涉及图像处理技术领域。该图像处理方法包括:获取不同曝光值的多帧第一图像;获取第二图像,其中,第二图像的像素数量大于第一图像的像素数量;基于多帧第一图像生成第三图像,第三图像的像素数量大于或等于第二图像的像素数量;利用第三图像对第二图像进行去噪处理。本公开可以有效去除图像中的噪点。

Description

图像处理方法及装置、计算机可读介质和电子设备
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种图像处理方法、图像处理装置、计算机可读介质和电子设备。
背景技术
随着移动终端的发展,人们对移动终端的拍照性能要求越来越高,双摄、多摄的出现,不断丰富了拍摄模式及拍摄效果的同时,也存在一些需要优化的问题。
受限于摄像头模组传感器的尺寸规格以及搭载环境(如,手机便携性)的约束,在摄像头模组由低像素向高像素的产品迭代过程中,实际感光面积的增长速度远低于像素增长的速度,像素密度大大增加,而单位像素的感光面积越来越小,信噪比越来越低,严重限制了高像素传感器的应用场景。
发明内容
本公开提供一种图像处理方法、图像处理装置、计算机可读介质和电子设备,进而至少在一定程度上克服拍摄图像中噪点较多的问题。
根据本公开的第一方面,提供了一种图像处理方法,包括:获取不同曝光值的多帧第一图像;获取第二图像,其中,第二图像的像素数量大于第一图像的像素数量;基于多帧第一图像生成第三图像,第三图像的像素数量大于或等于第二图像的像素数量;利用第三图像对第二图像进行去噪处理。
根据本公开的第二方面,提供了一种图像处理装置,包括:第一图像获取模块,用于获取不同曝光值的多帧第一图像;第二图像获取模块,用于获取第二图像,其中,第二图像的像素数量大于第一图像的像素数量;图像生成模块,用于基于多帧第一图像生成第三图像,第三图像的像素数量大于或等于第二图像的像素数量;图像去噪模块,用于利用第三图像对第二图像进行去噪处理。
根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述图像处理方法。
根据本公开的第四方面,提供一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述图像处理方法。
在本公开的一些实施例所提供的技术方案中,获取不同曝光值的多帧第一图像,获取像素数量大于第一图像的第二图像,基于多帧第一图像生成像素数量大于或等于第二图像像素数量的第三图像,并利用第三图像对第二图像进行去噪处理。一方面,利用不同曝光值下的第一图像生成第三图像,避免图像出现局部过暗或过曝的情况,并且结合高像素的第二图像对第三图像进行去噪,这种考虑多帧进行处理的构思,可以有效减少暗光环境下的噪点,成像更加清晰;另一方面,采用本公开方案能够有效去除图像噪点,使得高像素摄像模组可以应用于弱光环境下,大大扩展了高像素摄像模组的应用场景;再一方面,本公开方案无需辅助工具或硬件上改动,易于实施。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图;
图2示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图;
图3示意性示出了根据本公开的示例性实施方式的图像处理方法的流程图;
图4示意性示出了摄像模组拍摄的基准第一图像与生成的中间图像的对比图;
图5示出了根据本公开的示例性实施方式的图像处理过程的示意图;
图6示意性示出了根据本公开的示例性实施方式的图像处理装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”、“第三”等仅是为了区分的目的,不应作为本公开内容的限制。
图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统架构的示意图。
如图1所示,系统架构1000可以包括终端设备1001、1002、1003中的一种或多种,网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器1005可以是多个服务器组成的服务器集群等。
用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互,以接收或发送消息等。终端设备1001、1002、1003可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
在以终端设备1001、1002、1003实现本公开示例性实施方式的图像处理方法中,终端设备1001、1002、1003可以获取不同曝光值的多帧第一图像以及像素数量大于第一图像的像素数量的第二图像。应当理解的是,本公开所述的各个图像通常针对的是同一拍摄场景。
根据本公开的一个实施例,在终端设备1001、1002、1003的摄像模组为6400万摄像模组的情况下,可以利用其Remosaic传感器输出上述低像素的多帧第一图像和高像素的第二图像。其中,第一图像为1600万像素,第二图像为6400万像素。
根据本公开的另一个实施例,终端设备1001、1002、1003可以利用例如像素四合一(九合一等)的算法,结合摄像模组拍摄的高像素第二图像,得到低像素的第一图像。
此外,需要说明的是,在第一图像与第二图像均由摄像模组拍摄而得到的情况下,终端设备1001、1002、1003可以具有至少两个摄像模组,分别拍摄出第一图像和第二图像。
终端设备1001、1002、1003可以基于多帧第一图像生成中间图像,在此过程中,将不同曝光值的图像进行合成,可以避免局部过暗或过曝的情况发生。接下来,对中间图像进行插值处理,得到第三图像,其中,第三图像的像素数量可以大于或等于第二图像的像素数量。
随后,可以利用第三图像对第二图像进行去噪处理。具体的,可以确定出第二图像中的噪点和非噪点,针对噪点,利用第三图像中对应的像素值来替代;针对非噪点,可以利用第二图像的像素值与第三图像的像素值的加权结果来进行替代。由此,大大减少了输出图像中的噪点数量。
可以理解的是,本公开示例性实施方式的图像处理方法一般由终端设备1001、1002、1003执行,具体的,通常由例如手机的移动终端执行。相应地,下面描述的图像处理装置一般配置在终端设备1001、1002、1003中。
然而,需要说明的是,本公开示例性实施方式的图像处理过程,除可以由终端设备1001、1002、1003执行外,还可以由服务器1005执行。
具体的,终端设备1001、1002、1003获取上述多帧第一图像和一个第二图像后,可以将这些图像发送至服务器1005。服务器1005可以对多帧第一图像进行合成处理,得到中间图像,并通过插值的方法,生成第三图像。随后,利用第三图像对第二图像进行去噪处理,以得到去噪后的第二图像。接下来,服务器1005可以将去噪后的第二图像发送给终端设备1001、1002、1003,以便进行格式转换、展示、编辑、保存等操作。
图2示出了适于用来实现本公开示例性实施方式的电子设备的计算机系统的结构示意图。
需要说明的是,图2示出的电子设备的计算机系统200仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图2所示,计算机系统200包括中央处理单元(CPU)201,其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中,还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205:包括键盘、鼠标等的输入部分206;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207;包括硬盘等的存储部分208;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器210上,以便于从其上读出的计算机程序根据需要被安装入存储部分208。
在以手机等终端设备实现本公开方案的情况下,系统结构中还可以包括摄像模组。具体的,可以包括双摄、三摄、四摄等,丰富拍摄的模式,满足不同拍摄场景需求。
特别地,根据本公开的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分209从网络上被下载和安装,和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。
图3示意性示出了本公开的示例性实施方式的图像处理方法的流程图。参考图3,图像处理方法可以包括以下步骤:
S32.获取不同曝光值的多帧第一图像。
终端设备可以响应用户的拍摄操作,利用摄像模组对当前场景进行拍摄。在这种情况下,拍摄模组可以在不同曝光值下拍摄多个图像,本公开将这些基于不同曝光值而拍摄的图像记为第一图像。需要说明的是,第一图像还可以是高像素图像通过合并像素的算法而得到。例如,第一图像为1600万像素的图像。
可以利用HDR(High-Dynamic Range,高动态范围)技术实现不同曝光值的图像拍摄。
根据本公开的一些实施例,可以设置三个曝光值,记为-EV、0EV和+EV,分别表示负补偿曝光值、曝光值为0和正补偿曝光值。对应的,可以拍摄出与这三个曝光值分别对应的3个第一图像。
需要说明的是,本公开实施例中,正补偿对应的数值与负补偿对应的数值通常相同,例如,都是1,正补偿为+1,负补偿为-1。
根据本公开的另一些实施例,可以设置五个曝光值,对应的补偿值可以分别为-2、-1、0、1、2,在这种情况下,摄像模组可以对应拍摄5个第一图像。
S34.获取第二图像,其中,第二图像的像素数量大于第一图像的像素数量。
根据本公开的一些实施例,可以借助于与获取第一图像不同的摄像模组来采集第二图像。具体的,终端设备可以配置有高像素的摄像模组和低像素的摄像模组,通过高像素的摄像模组来采集第二图像,通过低像素的摄像模组来采集第一图像。
根据本公开的另一些实施例,终端设备配置有高像素的摄像模组,利用该摄像模组采集第二图像,并根据第二图像来确定出上述第一图像,例如,可以通过像素四合一等算法来实现由第二图像转化为第一图像的过程。
在第一图像为1600万像素的情况下,第二图像为6400万像素。
另外,针对上述不同曝光值的多帧第一图像,第二图像可以例如为曝光补偿值为0对应的高像素图像。然而,不限于此,第二图像还可以是其他曝光补偿值对应的高像素图像。
应当理解的是,虽然,第一图像与第二图像所对应的拍摄场景通常相同。然而,应当理解的是,在利用两种图像进行去噪的过程中,第二图像对应的拍摄场景还可能与第一图像的拍摄场景存在差异。
S36.基于多帧第一图像生成第三图像,第三图像的像素数量大于或等于第二图像的像素数量。
首先,终端设备可以基于多帧第一图像生成中间图像,该中间图像的像素数量通常与第一图像的像素数量一致。接下来,对中间图像进行插值处理,得到第三图像。
针对生成中间图像的过程:
可以从多帧第一图像对应的曝光值中确定出基准曝光值,并将该基准曝光值对应的第一图像确定为基准第一图像。具体的,通常将曝光值为0作为基准曝光值,也就是说,曝光补偿为0。然而,应当理解的是,本公开所述的基准曝光值还可以是曝光补偿为正补偿或负补偿中的任意数值,根据采用的多个曝光值的正负分布不同,基准曝光值可能存在变化,本公开对此不做限制。
将基准第一图像中各像素点的像素值分别与像素阈值进行比较,并结合比较结果对基准第一图像的像素值进行调整,并将调整像素值后的图像,作为中间图像。
根据本公开的一些实施例,在设置三个曝光值进行拍摄的示例中,像素阈值可以包括第一像素阈值和第二像素阈值。在这种情况下,可以采用下式确定出中间图像:
Figure BDA0002302634850000091
其中,x为0EV情况下第一图像的像素值,f(x)是中间图像对应像素点的像素值,th1表示第一像素阈值,th2表示第二像素阈值。
也就是说,如果基准第一图像中的像素值小于第一像素阈值,则将该像素值替换为正补偿曝光值拍摄出的第一图像中对应的像素值;如果基准第一图像中的像素值大于等于第一像素阈值且小于等于第二像素阈值,则保持基准第一图像中的该像素值不变;如果基准第一图像中的像素值大于第二像素阈值,则将该像素值替换为负补偿曝光值拍谁出的第一图像中对应的像素值。
遍历基准第一图像的所有像素点执行上述过程,由此,可以确定出中间图像。
根据本公开的另一些实施例,如果多帧第一图像中存在至少两个正补偿曝光值拍摄出的第一图像,如上所述设置五个曝光值的情况,则终端设备可以根据正补偿曝光值确定正补偿曝光值拍摄的第一图像的像素权重,具体的,正补偿曝光值的数值越大,权重越小,本公开对权重的具体数值不做限制。
接下来,可以根据像素权重,计算至少两个正补偿曝光值拍摄出的第一图像中与基准第一图像的像素值对应的像素加权平均值,也就是说,确定正补偿曝光值的第一图像中与基准第一图像的像素点对应像素值,进行加权平均计算。随后,利用该加权平均值替换基准第一图像的像素值。
另外,还可以将各正补偿曝光值拍摄出的第一图像的像素权重设置为同一权重值。
根据本公开又一些实施例,如果多帧第一图像中存在至少两个负补偿曝光值拍摄出的第一图像,如上所述设置五个曝光值的情况,则终端设备可以根据负补偿曝光值确定负补偿曝光值拍摄的第一图像的像素权重,具体的,负补偿曝光值的绝对值越大,权重越小,本公开对权重的具体数值不做限制。
接下来,可以根据像素权重,计算至少两个负补偿曝光值拍摄出的第一图像中与基准第一图像的像素值对应的像素加权平均值,也就是说,确定负补偿曝光值的第一图像中与基准第一图像的像素点对应像素值,进行加权平均计算。随后,利用该加权平均值替换基准第一图像的像素值。
另外,还可以将各负补偿曝光值拍摄出的第一图像的像素权重设置为同一权重值。
参考图4,示意性示出了基准第一图像与中间图像的对比图。通过利用多帧第一图像生成中间图像,一方面,可以避免图像出现局部偏暗或局部过曝的现象;另一方面,还可以达到多帧降噪的效果。
针对通过插值处理由中间图像生成第三图像的过程:
在利用基于不同曝光值确定出的多帧第一图像合成中间图像后,在本公开的示例性实施方式中,可以采用双线性插值的方法将低像素的中间图像转化为高像素的第三图像。
双线性插值采用的是水平和垂直方向像素值的加权求和的原理。由于每个插值的新像素均是在原来像素的水平或垂直方向,边缘像素可以由邻近像素直接代替,因此,计算量较小,耗时较短。
在本公开的另一些实施例中,除双线性插值外,还可以采用双三次插值、拉格朗日插值、最近邻点插值法等方法实现将中间图像插值为第三图像,本公开对此不做限制。
应当注意的是,第三图像的像素数量通常与第二图像的像素数量一致。然而,在下面利用第三图像对第二图像进行去噪处理的过程中,第三图像的像素数量还可以大于第二图像的像素数量,本公开对此不做限制。
S38.利用第三图像对第二图像进行去噪处理。
首先,从第二图像中确定出噪点,以得到噪点坐标。具体的,针对第二图像中任一像素点,计算其周围像素点对应像素值的平均值,并计算该平均值与该像素点的像素值的差异,如果该差异大于一差异阈值,则可以将该像素点确定为噪点。其中,差异阈值可以预先设定,本公开对其取值不做限制。
接下来,基于第二图像中噪点的噪点坐标,确定出第三图像对应的目标像素点,并获取目标像素点的像素值。这里所述的对应指的是位置一致。例如,第二图像中一个噪点的坐标为(56,90),则在第三图像中确定坐标为(56,90)的像素点为目标像素点。
随后,终端设备可以利用目标像素点的像素值替换第二图像中噪点的像素值。
由此,遍历第二图像所有的噪点,执行上述去噪过程,得到噪点处理后的第二图像。
另外,本公开的另一些实施例中,还包括对第二图像中非噪点的处理过程。
具体的,首先,可以获取第二图像中非噪点的像素点的像素值,作为第一像素值,并获取第三图像中与该非噪点位置对应的像素点的像素值,作为第二像素值。
接下来,对第一像素值与第二像素值进行加权处理,得到第三像素值。其中,可以人为配置第二图像与第三图像的权重,作为第一像素值与第二像素值的权重。
随后,可以利用第三像素值替换第一像素值。由此,遍历第二图像所有的非噪点,执行上述去噪过程,得到除噪点外其他像素点处理后的第二图像。
结合上述噪点的处理过程以及非噪点的处理过程,可以得到与第二图像对应的处理后的图像。
下面将参考图5对本公开示例性实施方式的图像处理过程进行说明。
首先,获取不同曝光值下的低像素图像501,这些图像的格式为RAW格式,对这些低像素图像501进行合成处理,得到上述中间图像502,再对中间图像502进行插值处理,得到与中间图像502对应的高像素图像503。
接下来,利用高像素图像503对拍摄时直接输出的高像素图像504进行去噪处理,得到去噪后的图像505。
随后,可以对去噪后的图像505进行转换,生成最终展示的图像506,图像506的格式例如为JPEG格式。
综上所述,采用本公开示例性实施方式的图像处理方法,一方面,利用不同曝光值下的第一图像生成第三图像,避免图像出现局部过暗或过曝的情况,并且结合高像素的第二图像对第三图像进行去噪,这种考虑多帧进行处理的构思,可以有效减少暗光环境下的噪点,成像更加清晰;另一方面,采用本公开方案能够有效去除图像噪点,使得高像素摄像模组可以应用于弱光环境下,大大扩展了高像素摄像模组的应用场景;再一方面,本公开方案无需辅助工具或硬件上改动,易于实施。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
进一步的,本示例实施方式中还提供了一种图像处理装置。
图6示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图6,根据本公开的示例性实施方式的图像处理装置6可以包括第一图像获取模块61、第二图像获取模块63、图像生成模块65和图像去噪模块67。
具体的,第一图像获取模块61可以用于获取不同曝光值的多帧第一图像;第二图像获取模块63可以用于获取第二图像,其中,第二图像的像素数量大于第一图像的像素数量;图像生成模块65可以用于基于多帧第一图像生成第三图像,第三图像的像素数量大于或等于第二图像的像素数量;图像去噪模块67可以用于利用第三图像对第二图像进行去噪处理。
基于本公开示例性实施方式图像处理装置,一方面,利用不同曝光值下的第一图像生成第三图像,避免图像出现局部过暗或过曝的情况,并且结合高像素的第二图像对第三图像进行去噪,这种考虑多帧进行处理的构思,可以有效减少暗光环境下的噪点,成像更加清晰;另一方面,采用本公开方案能够有效去除图像噪点,使得高像素摄像模组可以应用于弱光环境下,大大扩展了高像素摄像模组的应用场景;再一方面,本公开方案无需辅助工具或硬件上改动,易于实施。
根据本公开的示例性实施例,图像生成模块65基于多帧第一图像生成第三图像的过程可以被配置为执行:利用多帧第一图像生成中间图像,中间图像的像素数量与第一图像的像素数量一致;对中间图像进行插值处理,得到第三图像。
根据本公开的示例性实施例,图像生成模块65利用多帧第一图像生成中间图像的过程可以被配置为执行:从多帧第一图像对应的曝光值中确定出基准曝光值,并将与基准曝光值对应的第一图像确定为基准第一图像;将基准第一图像中的像素值与像素阈值进行比较,结合比较结果对基准第一图像的像素值进行调整,以生成中间图像。
根据本公开的示例性实施例,像素阈值包括第一像素阈值和第二像素阈值,第一像素阈值小于第二像素阈值。在这种情况下,图像生成模块65结合比较结果对基准第一图像的像素值进行调整的过程可以被配置为执行:如果基准第一图像中的像素值小于第一像素阈值,则将像素值替换为正补偿曝光值拍摄出的第一图像中对应的像素值;如果基准第一图像中的像素值大于等于第一像素阈值且小于等于第二像素阈值,则保持像素值不变;如果基准第一图像中的像素值大于第二像素阈值,则将像素值替换为负补偿曝光值拍摄出的第一图像中对应的像素值。
根据本公开的示例性实施例,多帧第一图像中存在至少两个正补偿曝光值拍摄出的第一图像。在这种情况下,图像生成模块65将像素值替换为正补偿曝光值拍摄出的第一图像中对应的像素值的过程可以被配置为执行:根据正补偿曝光值确定至少两个正补偿曝光值拍摄出的第一图像的像素权重;根据像素权重,计算至少两个正补偿曝光值拍摄出的第一图像中与基准第一图像的像素值对应的像素加权平均值,并利用像素加权平均值替换基准第一图像的像素值。
根据本公开的示例性实施例,图像去噪模块67可以被配置为执行:确定第二图像中的噪点,得到噪点坐标;获取第三图像中与噪点坐标对应的目标像素点的像素值;利用目标像素点的像素值替换第二图像中噪点的像素值。
根据本公开的示例性实施例,图像去噪模块67还可以被配置为执行:获取第二图像中非噪点的像素点的像素值,作为第一像素值;获取第三图像中与非噪点的像素点对应像素值,作为第二像素值;对第一像素值与第二像素值进行加权处理,得到第三像素值;利用第三像素值替换第一像素值,以对第二图像中非噪点的像素点进行处理。
由于本公开实施方式的图像处理装置的各个功能模块与上述方法实施方式中相同,因此在此不再赘述。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
获取不同曝光值的多帧第一图像;
获取第二图像,其中,所述第二图像的像素数量大于所述第一图像的像素数量;
基于所述多帧第一图像生成第三图像,所述第三图像的像素数量大于或等于所述第二图像的像素数量;
利用所述第三图像对所述第二图像进行去噪处理。
2.根据权利要求1所述的图像处理方法,其特征在于,基于所述多帧第一图像生成第三图像包括:
利用所述多帧第一图像生成中间图像,所述中间图像的像素数量与所述第一图像的像素数量一致;
对所述中间图像进行插值处理,得到所述第三图像。
3.根据权利要求2所述的图像处理方法,其特征在于,利用所述多帧第一图像生成中间图像包括:
从所述多帧第一图像对应的曝光值中确定出基准曝光值,并将与所述基准曝光值对应的第一图像确定为基准第一图像;
将所述基准第一图像中的像素值与像素阈值进行比较,结合比较结果对所述基准第一图像的像素值进行调整,以生成所述中间图像。
4.根据权利要求3所述的图像处理方法,其特征在于,所述像素阈值包括第一像素阈值和第二像素阈值,所述第一像素阈值小于所述第二像素阈值;其中,结合比较结果对所述基准第一图像的像素值进行调整包括:
如果所述基准第一图像中的像素值小于所述第一像素阈值,则将所述像素值替换为正补偿曝光值拍摄出的第一图像中对应的像素值;
如果所述基准第一图像中的像素值大于等于所述第一像素阈值且小于等于所述第二像素阈值,则保持所述像素值不变;
如果所述基准第一图像中的像素值大于所述第二像素阈值,则将所述像素值替换为负补偿曝光值拍摄出的第一图像中对应的像素值。
5.根据权利要求4所述的图像处理方法,其特征在于,所述多帧第一图像中存在至少两个正补偿曝光值拍摄出的第一图像;其中,将所述像素值替换为正补偿曝光值拍摄出的第一图像中对应的像素值包括:
根据正补偿曝光值确定所述至少两个正补偿曝光值拍摄出的第一图像的像素权重;
根据所述像素权重,计算所述至少两个正补偿曝光值拍摄出的第一图像中与所述基准第一图像的像素值对应的像素加权平均值,并利用所述像素加权平均值替换所述基准第一图像的像素值。
6.根据权利要求1至5中任一项所述的图像处理方法,其特征在于,利用所述第三图像对所述第二图像进行去噪处理包括:
确定所述第二图像中的噪点,得到噪点坐标;
获取所述第三图像中与所述噪点坐标对应的目标像素点的像素值;
利用所述目标像素点的像素值替换所述第二图像中噪点的像素值。
7.根据权利要求6所述的图像处理方法,其特征在于,所述图像处理方法还包括:
获取所述第二图像中非噪点的像素点的像素值,作为第一像素值;
获取所述第三图像中与所述非噪点的像素点对应像素值,作为第二像素值;
对所述第一像素值与所述第二像素值进行加权处理,得到第三像素值;
利用所述第三像素值替换所述第一像素值,以对所述第二图像中非噪点的像素点进行处理。
8.一种图像处理装置,其特征在于,包括:
第一图像获取模块,用于获取不同曝光值的多帧第一图像;
第二图像获取模块,用于获取第二图像,其中,所述第二图像的像素数量大于所述第一图像的像素数量;
图像生成模块,用于基于所述多帧第一图像生成第三图像,所述第三图像的像素数量大于或等于所述第二图像的像素数量;
图像去噪模块,用于利用所述第三图像对所述第二图像进行去噪处理。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一项所述的图像处理方法。
CN201911227463.0A 2019-12-04 2019-12-04 图像处理方法及装置、计算机可读介质和电子设备 Active CN110958363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911227463.0A CN110958363B (zh) 2019-12-04 2019-12-04 图像处理方法及装置、计算机可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911227463.0A CN110958363B (zh) 2019-12-04 2019-12-04 图像处理方法及装置、计算机可读介质和电子设备

Publications (2)

Publication Number Publication Date
CN110958363A true CN110958363A (zh) 2020-04-03
CN110958363B CN110958363B (zh) 2022-04-15

Family

ID=69979715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911227463.0A Active CN110958363B (zh) 2019-12-04 2019-12-04 图像处理方法及装置、计算机可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN110958363B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756954A (zh) * 2020-07-14 2020-10-09 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN112488311A (zh) * 2020-11-30 2021-03-12 泰康保险集团股份有限公司 图像的处理方法、装置、介质及电子设备
CN116703772A (zh) * 2023-06-15 2023-09-05 山东财经大学 一种基于自适应插值算法的图像去噪方法、系统及终端机

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228064A1 (en) * 2002-06-06 2003-12-11 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序
CN103201766A (zh) * 2010-11-03 2013-07-10 伊斯曼柯达公司 产生高动态范围图像的方法
US20140140617A1 (en) * 2012-11-20 2014-05-22 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20150003749A1 (en) * 2013-06-28 2015-01-01 Samsung Electronics Co., Ltd. Image processing device and image processing method
US20150015669A1 (en) * 2011-09-28 2015-01-15 Pelican Imaging Corporation Systems and methods for decoding light field image files using a depth map
CN104349067A (zh) * 2013-08-07 2015-02-11 联想(北京)有限公司 一种信息处理的方法及电子设备
CN104823437A (zh) * 2014-06-12 2015-08-05 深圳市大疆创新科技有限公司 一种图片处理方法、装置
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN105827964A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
KR20160108928A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
CN106454149A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 图像拍摄方法、装置及终端设备
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN107770438A (zh) * 2017-09-27 2018-03-06 维沃移动通信有限公司 一种拍照方法及移动终端
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
US20190005622A1 (en) * 2016-03-18 2019-01-03 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and storage medium
CN110062160A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN110246101A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 图像处理方法和装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030228064A1 (en) * 2002-06-06 2003-12-11 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
CN103201766A (zh) * 2010-11-03 2013-07-10 伊斯曼柯达公司 产生高动态范围图像的方法
CN102780849A (zh) * 2011-05-13 2012-11-14 索尼公司 图像处理装置、图像摄取装置、图像处理方法及程序
US20150015669A1 (en) * 2011-09-28 2015-01-15 Pelican Imaging Corporation Systems and methods for decoding light field image files using a depth map
US20140140617A1 (en) * 2012-11-20 2014-05-22 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20150003749A1 (en) * 2013-06-28 2015-01-01 Samsung Electronics Co., Ltd. Image processing device and image processing method
CN104349067A (zh) * 2013-08-07 2015-02-11 联想(北京)有限公司 一种信息处理的方法及电子设备
CN104823437A (zh) * 2014-06-12 2015-08-05 深圳市大疆创新科技有限公司 一种图片处理方法、装置
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
KR20160108928A (ko) * 2015-03-09 2016-09-21 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
US20190005622A1 (en) * 2016-03-18 2019-01-03 Canon Kabushiki Kaisha Image processing apparatus, control method thereof, and storage medium
CN105827964A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106454149A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 图像拍摄方法、装置及终端设备
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN107770438A (zh) * 2017-09-27 2018-03-06 维沃移动通信有限公司 一种拍照方法及移动终端
CN107809582A (zh) * 2017-10-12 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、电子装置和计算机可读存储介质
CN110062160A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 图像处理方法和装置
CN110246101A (zh) * 2019-06-13 2019-09-17 Oppo广东移动通信有限公司 图像处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵蓝飞: ""高动态范围图像处理相关方法研究"", 《中国博士学位论文全文数据库(电子期刊)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111756954A (zh) * 2020-07-14 2020-10-09 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN111756954B (zh) * 2020-07-14 2022-07-15 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质
CN112488311A (zh) * 2020-11-30 2021-03-12 泰康保险集团股份有限公司 图像的处理方法、装置、介质及电子设备
CN116703772A (zh) * 2023-06-15 2023-09-05 山东财经大学 一种基于自适应插值算法的图像去噪方法、系统及终端机
CN116703772B (zh) * 2023-06-15 2024-03-15 山东财经大学 一种基于自适应插值算法的图像去噪方法、系统及终端机

Also Published As

Publication number Publication date
CN110958363B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110163237B (zh) 模型训练及图像处理方法、装置、介质、电子设备
CN110958363B (zh) 图像处理方法及装置、计算机可读介质和电子设备
US8576295B2 (en) Image processing apparatus and image processing method
US9041834B2 (en) Systems and methods for reducing noise in video streams
US10257449B2 (en) Pre-processing for video noise reduction
CN112767290B (zh) 图像融合方法、图像融合装置、存储介质与终端设备
CN110889809B9 (zh) 图像处理方法及装置、电子设备、存储介质
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN113658065B (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN113674193A (zh) 图像融合方法、电子设备和存储介质
CN113962859A (zh) 一种全景图生成方法、装置、设备及介质
CN114298942A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN112801882B (zh) 图像处理方法及装置、存储介质和电子设备
Xin et al. Video face super-resolution with motion-adaptive feedback cell
Lapray et al. Hardware-based smart camera for recovering high dynamic range video from multiple exposures
CN108629739B (zh) Hdr图像的生成方法、装置及移动终端
Li et al. Rendering nighttime image via cascaded color and brightness compensation
CN115205157B (zh) 图像处理方法和系统、电子设备和存储介质
CN113538268A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN113645419A (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN112887597A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN110599437A (zh) 用于处理视频的方法和装置
WO2024164736A1 (zh) 视频处理方法及装置、计算机可读介质和电子设备
WO2024130715A1 (zh) 视频处理方法、视频处理装置和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant