CN107395991A - 图像合成方法、装置、计算机可读存储介质和计算机设备 - Google Patents

图像合成方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN107395991A
CN107395991A CN201710775162.6A CN201710775162A CN107395991A CN 107395991 A CN107395991 A CN 107395991A CN 201710775162 A CN201710775162 A CN 201710775162A CN 107395991 A CN107395991 A CN 107395991A
Authority
CN
China
Prior art keywords
image
contrast images
pending
moving area
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710775162.6A
Other languages
English (en)
Other versions
CN107395991B (zh
Inventor
丁佳铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710775162.6A priority Critical patent/CN107395991B/zh
Publication of CN107395991A publication Critical patent/CN107395991A/zh
Application granted granted Critical
Publication of CN107395991B publication Critical patent/CN107395991B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像合成方法、装置、计算机可读存储介质和计算机设备。所述方法包括:获取待处理图像及对应的清晰度;根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。上述图像合成方法、装置、计算机可读存储介质和计算机设备,可以提高图像合成处理的精确度,从而减少图像失真。

Description

图像合成方法、装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像合成方法、装置、计算机可读存储介质和计算机设备。
背景技术
通常情况下,拍照的环境是复杂多变的,有时候在光线充足色彩鲜亮的环境中拍摄,有时候会在光线昏暗色彩暗淡的环境中拍摄。无论在光线充足还是在光线昏暗的场景中拍摄,得到的图像中都可能会产生一定的噪声,这些噪声往往是随机的。在实际拍摄过程中,为了克服随机噪声,通常会针对同一个场景连续拍摄多张图像,并将多张图像进行叠加合成以消除随机噪声。
然而,通过叠加合成来进行降噪的处理,需要将每一张图像对应像素点的值进行叠加,然后再求取叠加后的平均值。因此,如果用于合成的图像不对应,就会导致在每个像素点合成的时候,严重偏离了图像本身所呈现的场景,这样会导致合成之后的图像严重失真。
发明内容
本申请实施例提供一种图像合成方法、装置、计算机可读存储介质和计算机设备,可以减少图像失真。
一种图像合成方法,所述方法包括:
获取待处理图像及对应的清晰度;
根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及
将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
一种图像合成装置,所述装置包括:
图像获取模块,用于获取待处理图像及对应的清晰度;
区域获取模块,用于根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;
图像合成模块,用于将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如下步骤:
获取待处理图像及对应的清晰度;
根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及
将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
获取待处理图像及对应的清晰度;
根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及
将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
本申请实施例提供的图像合成方法、装置、计算机可读存储介质和计算机设备,根据待处理图像的清晰度选取基础图像和对比图像,再将每一张对比图像跟基础图像进行比较,得到每一张待处理图像中的移动区域,并将待处理图像中移动区域之外的区域进行合成。这样可以避免将待处理图像中不对应的像素点进行叠加合成,减少了因为叠加合成造成的图像不清晰,提高了图像合成处理的精确度,从而减少了图像失真。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构示意图;
图2为一个实施例中图像合成方法的流程图;
图3为另一个实施例中图像合成方法的流程图;
图4为一个实施例中图像合成装置的结构示意图;
图5为另一个实施例中图像合成装置的结构示意图;
图6为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、非易失性存储介质、内存储器、显示屏和输入装置。其中,电子设备的非易失性存储介质存储有操作系统和计算机可读指令。该计算机可读指令被处理器执行时以实现一种图像合成方法。该处理器用于提供计算和控制能力,支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机可读指令的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。其中,显示屏可以用于显示合成的图像,输入装置可以用于输入图像合成指令。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图2为一个实施例中图像合成方法的流程图。如图2所示,该图像合成方法包括步骤202至步骤206。其中:
步骤202,获取待处理图像及对应的清晰度。
在本申请提供的实施例中,待处理图像是指被用于进行合成处理的图像,其中合成处理是指通过一定的方式将若干张待处理图像合成一张图像的处理。可以理解的是,用于合成处理的待处理图像可以是一张或多张。
可以理解的是,获取的待处理图像是由若干个像素点构成的,每一个像素点都有对应的像素值,可以表示该像素点的亮度、颜色等信息。例如,像素值可以是像素点对应的灰度值,还可以是像素点对应的RGB通道值等。
根据待处理图像中的像素值,可以获取待处理图像的清晰度。清晰度是用于表示图像清晰程度的参数。一般来讲,针对同一场景的图像,像素点之间的像素值差异越大,图像就越清晰。
步骤204,根据清晰度在待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将对比图像与基础图像进行比较,得到每一张对比图像中的移动区域。
在一个实施例中,基础图像是指在图像合成的过程中作为基准,将待处理图像进行比较的图像。将待处理图像的清晰度进行比较,根据清晰度在待处理图像中选取基础图像。并将除基础图像之外的其他待处理图像作为对比图像。例如,可以选取清晰度最高的待处理图像作为基础图像,假设有五张待处理图像,编号分别为1到5,1号待处理图像清晰度最高,则将1号待处理图像作为基础图像,4~5号待处理图像作为对比图像。可以理解的是,在本申请提供的其他实施例中,步骤204具体还可以是:根据清晰度在待处理图像中选取基础图像,并将待处理图像与基础图像进行比较,得到每一张待处理图像中的移动区域。
由于在拍摄图像的过程中,场景中可能存在运动的物体,因此拍摄出来的若干张图像可能不是完全对应的。也就是说,运动物体会发生位移,导致这若干张待处理图像中运动物体的位置不一样。在确定基础图像和对比图像之后,将对比图像与基础图像进行对比,获取每一张对比图像中移动区域。该移动区域是对比图像中相对于基础图像发生变化的区域。
具体地,获取每一张对比图像与基础图像的差值,并根据差值得到每一张对比图像中的移动区域。若对比图像中的像素值与基础图像中对应的像素值不同,则说明对应像素点所呈现的物体在发生变化。获取每一张对比图像与基础图像的差值,即获取对比图像中每一个像素点的像素值与基础图像中对应的像素点的像素值的差值。可以理解的是,在其他实施例中,可以将所有待处理图像与基础图像进行对比,获取每一张待处理图像中的移动区域,那么得到的结果中,基础图像对应的那张待处理图像中就不存在移动区域。
该差值可以反映像素点的变化程度,当差值在小范围内时,可以认为像素点的变化较小。若差值大于预设差值,则说明该像素点对应的像素值在发生变化。预设差值是预先设置的用于判断像素点是否变化的差值取值。可以理解的是,该预设差值可以取零,也可以取非零的值,具体取值可以根据实际情况进行调整。
更进一步,获取对比图像中每一个像素点与基础图像中对应像素点的差值,根据每一个像素点对应的差值获取差值图像;根据差值图像中的连通区域获取移动区域。可以理解的是,由于差值图像是根据对比图像和基础图像中每一个对应像素点的差值得到的,因此差值图像中的像素点与对比图像和基础图像中的像素点是一一对应的。
差值图像可以是一个二值化图像,即差值图像中的像素值只取0或者255。在根据差值获取差值图像时,将差值小于预设差值的像素点赋值为0,将差值大于或等于预设差值的像素点赋值为255,从而得到差值图像。连通区域是指差值图像中形成的封闭的区域,可以将差值图像中面积大于预设面积的连通区域作为移动区域。
步骤206,将去除移动区域之后的待处理图像进行合成处理,得到合成图像。
在一个实施例中,待处理图像中包含了对比图像和基础图像,可以根据步骤204的处理结果,将待处理图像中的移动区域进行去除,其中基础图像中不存在移动区域,因此去除移动区域之后的基础图像与去除移动区域之前的基础图像保持不变。去除待处理图像中的移动区域之后,每一张待处理图像中的剩余区域中的像素点是对应的。剩余区域是指待处理图像中除移动区域之外的区域。将待处理图像中的剩余区域进行合成处理,得到最终的合成图像。
将图像进行合成是指根据预设的合成算法将多张图像合成为一张图像。例如,将所有图像进行叠加,然后求取平均值,形成最终合成的图像。具体地,待处理图像是由若干像素点组成的,则将每张待处理图像中对应像素进行叠加,再对叠加的结果求平均值,得到最终合成的图像。
在本发明实施例中,将待处理图像中的剩余区域进行合成处理,某些像素点可能在每一张待处理图像的剩余区域中都存在,某些像素点可能只在部分待处理图像的剩余区域中存在。那么就可以在对每个像素点进行合成处理的时候,首先判断该像素点在待处理图像的剩余区域中存在的个数,然后再将待处理图像中的该像素点的像素值进行叠加,再将叠加结果除以个数得到该像素点的平均值。
上述图像合成方法,根据待处理图像的清晰度选取基础图像和对比图像,再将每一张对比图像跟基础图像进行比较,得到每一张待处理图像中的移动区域,并将待处理图像中移动区域之外的区域进行合成。这样可以避免将待处理图像中不对应的像素点进行叠加合成,减少了因为叠加合成造成的图像不清晰,提高了图像合成处理的精确度,从而减少了图像失真。
图3为另一个实施例中图像合成方法的流程图。如图3所示,该图像合成方法包括步骤302至步骤310。其中:
步骤302,获取待处理图像及对应的清晰度。
在本申请提供的实施例中,该待处理图像可以是直接从存储空间中获取,也可以是直接在拍摄过程中获取的。在拍摄过程中,拍摄装置往往会定时采集当前拍摄场景对应的图像,采集的图像会形成一个图像序列,每一张图像为一帧图像。当检测到拍照指令时,以当前时刻为起点获取预设帧数的图像,作为待处理图像。
根据预设清晰度算法获取待处理图像中的清晰度。具体地,根据图像中像素点的像素值与相邻像素点的像素值的灰度差,得到图像的清晰度。例如,假设待处理图像为f(x,y),用Df表示对应的清晰度。其中,x和y分别表示待处理图像中对应像素的横坐标和纵坐标。则可以首先计算待处理图像中的像素点与相邻两个像素点的灰度值的平方差,再根据获取平方差获得待处理图像的清晰度。具体可以根据如下公式进行计算:
Df=∑yx|f(x+2,y)-f(x,y)|2
根据上述公式可以计算出待处理图像的清晰度,计算的该清晰度用一个具体的数值进行表示。一般地,清晰度的取值越大,说明图像中像素点的差异越大,即图像越清晰;清晰度的取值越小,说明图像中像素点的差异越小,即图像越模糊。例如,清晰度为1050.36的图像,比清晰度为791.45的图像更清晰。
步骤304,根据清晰度在待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,获取每一张对比图像对应的颜色分量与基础图像对应的颜色分量的差值,并根据个该差值得到每一张对比图像中的移动区域。
在一个实施例中,颜色分量是指待处理图像在某个颜色空间中的分量值,该分量值可以反映待处理图像颜色信息。根据不同的划分标准,可以得到不同的颜色分量。也就是说,图像对应的颜色分量有一个或多个。颜色分量可以是指图像的YUV、RGB、CMY、HSV等颜色空间中的颜色分量,其中,YUV、RGB、CMY、HSV等颜色空间之间是可以相互转换的。
例如,颜色分量可以是HSV空间中的颜色分量,具体包括图像中色彩的色调(H)、饱和度(S)、明度(V)等分量。其中,色彩的色调是指色彩的角度度量,其取值范围为0°~360°,从红色开始按逆时针方向计算,红色为0°,绿色为120°,蓝色为240°。饱和度是指色彩接近光谱的程度,一般饱和度越高,色彩越鲜艳;饱和度越低,色彩越暗淡。明度则表示色彩的明亮程度。
根据对比图像和基础图像的颜色分量获取差值,根据差值能够更准确地获取对比图像中的移动区域。具体可以根据对比图像和基础图像中某一个颜色分量的差值,获取对比图像中的移动区域,还可以是根据对比图像和基础图像中多个颜色分量的差值,获取对比图像中的移动区域。
更进一步,获取每一张对比图像对应的亮度分量与基础图像对应的亮度分量的差值,根据差值大于预设差值的像素点获取对比图像中的移动区域。即将对比图像中的亮度分量和基础图像的亮度分量进行比较,将差值大于预设差值的像素点作为移动区域中的一个像素点。
例如,图像用YUV颜色空间表示的时候,可以通过比较对比图像和基础图像中每一个像素的Y颜色分量,若得到的该像素的Y颜色分量的差值大于某个值,则说明对比图像和基础图像中的该像素差异比较大,则将该像素作为移动区域中的一个像素。然后遍历对比图像中的所有像素点,通过上述方法获取所有满足条件的像素点,从而得到对比图像中的移动区域。
步骤306,获取移动区域对应的区域面积小于面积阈值的待处理图像,并作为待合成图像。
在本申请实施例中,将对比图像和基础图像进行比较,可以得到每一张对比图像中的移动区域。然后遍历每一张待处理图像中的移动区域,获取移动区域的区域面积小于面积阈值的待处理图像,作为待合成图像。其中,区域面积是指移动区域所占的面积的大小。移动区域是由待处理图像中的若干像素点构成的,因此区域面积可以用所占像素点的数量表示,也可以用移动区域与待处理图像的像素点数量的比例来表示。面积阈值就是用于筛选待处理图像的区域面积的取值。若区域面积大于一定值,则说明待处理图像中物体变化比较大。对于移动区域面积较大的待处理图像,则不用作合成处理。
步骤308,将去除移动区域之后的待合成图像进行合成处理,得到合成图像。
在对待合成图像进行合成的过程中,可以对获取的待合成图像进行加权合成。也就是说,给每张图像设置一个权重,并根据该权重将待合成图像进行叠加。具体可以包括:根据移动区域的面积获取待合成图像的权重,根据该权重将去除移动区域之后的待合成图像进行合成处理,得到合成图像。合成图像就是指将待合成图像进行合成处理后得到的图像。
移动区域的面积与权重具有对应关系,根据移动区域的面积和该对应关系可以获取待合成图像的权重。每张待合成图像对应的权重可以相同,也可以不同。一般地,移动区域的面积越大,对应的权重越小。所有待合成图像的权重之和为1。
步骤310,获取合成图像中的移动物体区域,并将合成图像中的移动物体区域进行降噪处理。
在一个实施例中,移动物体区域是指待处理图像中发生变化的物体在合成图像中所对应的区域。例如,人像在待处理图像中的位移是发生变化的,那么在最后形成的合成图像中,移动物体区域就是该人像所在的区域。降噪处理是指将合成图像中的移动物体区域进行减少噪声的处理。可以根据预设的降噪算法对移动物体区域进行降噪处理,例如常用的降噪算法有高斯降噪算法、双边滤波降噪算法等。
上述图像合成方法,根据待处理图像的清晰度选取基础图像和对比图像,再将每一张对比图像跟基础图像的颜色分量进行比较,得到每一张对比图像中的移动区域,并将待处理图像中移动区域之外的区域进行合成。这样可以避免将待处理图像中不对应的像素点进行叠加合成,减少了因为叠加合成造成的图像不清晰,提高了图像合成处理的精确度,从而减少了图像失真。然后对合成图像中的移动物体区域进行单独的降噪处理,进一步减少了图像中的噪声,减少图像失真。
图4为一个实施例中图像合成装置的结构示意图。如图4所示,该图像合成装置400包括图像获取模块402、区域获取模块404和图像合成模块406。其中:
图像获取模块402,用于获取待处理图像及对应的清晰度。
区域获取模块404,用于根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域。
图像合成模块406,用于将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
上述图像合成装置,根据待处理图像的清晰度选取基础图像和对比图像,再将每一张对比图像跟基础图像进行比较,得到每一张待处理图像中的移动区域,并将待处理图像中移动区域之外的区域进行合成。这样可以避免将待处理图像中不对应的像素点进行叠加合成,减少了因为叠加合成造成的图像不清晰,提高了图像合成处理的精确度,从而减少了图像失真。
图5为另一个实施例中图像合成装置的结构示意图。如图5所示,该图像合成装置包括图像获取模块502、区域获取模块504、图像合成模块506和降噪模块508。其中:
图像获取模块502,用于获取待处理图像及对应的清晰度。
区域获取模块504,用于根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域。
图像合成模块506,用于将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
降噪模块508,还用于获取所述合成图像中的移动物体区域,并将所述合成图像中的移动物体区域进行降噪处理。
上述图像合成方法,根据待处理图像的清晰度选取基础图像和对比图像,再将每一张对比图像跟基础图像进行比较,得到每一张待处理图像中的移动区域,并将待处理图像中移动区域之外的区域进行合成。这样可以避免将待处理图像中不对应的像素点进行叠加合成,减少了因为叠加合成造成的图像不清晰,提高了图像合成处理的精确度,从而减少了图像失真。然后对合成图像中的移动物体区域进行单独的降噪处理,进一步减少了图像中的噪声,减少图像失真。
在一个实施例中,区域获取模块504还用于获取每一张对比图像与基础图像的差值,并根据所述差值得到每一张对比图像中的移动区域。
在其中一个实施例中,区域获取模块504还用于获取每一张对比图像对应的颜色分量与基础图像对应的颜色分量的差值,并根据所述差值得到每一张对比图像中的移动区域。
在本申请实施例中,图像合成模块506还用于获取所述移动区域对应的区域面积小于面积阈值的待处理图像,作为待合成图像;将去除所述移动区域之后的待合成图像进行合成处理。
上述图像合成装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像合成装置按照需要划分为不同的模块,以完成上述图像合成装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以下步骤:
获取待处理图像及对应的清晰度;
根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及
将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
在一个实施例中,被处理器执行的所述将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域包括:
获取每一张对比图像与基础图像的差值,并根据所述差值得到每一张对比图像中的移动区域。
在其中一个实施例中,被处理器执行的所述将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域包括:
获取每一张对比图像对应的颜色分量与基础图像对应的颜色分量的差值,并根据所述差值得到每一张对比图像中的移动区域。
在又一个实施例中,被处理器执行的所述将去除所述移动区域之后的待处理图像进行合成处理包括:
获取所述移动区域对应的区域面积小于面积阈值的待处理图像,作为待合成图像;
将去除所述移动区域之后的待合成图像进行合成处理。
在其他实施例中,被处理器执行的所述方法包括:
获取所述合成图像中的移动物体区域,并将所述合成图像中的移动物体区域进行降噪处理。
本发明实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image SignalProcessing,图像信号处理)管线的各种处理单元。图6为一个实施例中图像处理电路的示意图。如图6所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图6所示,图像处理电路包括ISP处理器640和控制逻辑器650。成像设备610捕捉的图像数据首先由ISP处理器640处理,ISP处理器640对图像数据进行分析以捕捉可用于确定和/或成像设备610的一个或多个控制参数的图像统计信息。成像设备610可包括具有一个或多个透镜612和图像传感器614的照相机。图像传感器614可包括色彩滤镜阵列(如Bayer滤镜),图像传感器614可获取用图像传感器614的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器640处理的一组原始图像数据。传感器620(如陀螺仪)可基于传感器620接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器640。传感器620接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。
此外,图像传感器614也可将原始图像数据发送给传感器620,传感器620可基于传感器620接口类型把原始图像数据提供给ISP处理器640进行处理,或者传感器620将原始图像数据存储到图像存储器630中。
ISP处理器640按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器640可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器640还可从图像存储器630接收像素数据。例如,传感器620接口将原始图像数据发送给图像存储器630,图像存储器630中的原始图像数据再提供给ISP处理器640以供处理。图像存储器630可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器614接口或来自传感器620接口或来自图像存储器630的原始图像数据时,ISP处理器640可进行一个或多个图像处理操作,如时域滤波。ISP处理器640处理后的图像数据可发送给图像存储器630,以便在被显示之前进行另外的处理。ISP处理器640从图像存储器630接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器680,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器640的输出还可发送给图像存储器630,且显示器680可从图像存储器630读取图像数据。在一个实施例中,图像存储器630可被配置为实现一个或多个帧缓冲器。此外,ISP处理器640的输出可发送给编码器/解码器670,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器680设备上之前解压缩。
ISP处理后的图像数据可发送给合成模块660,以便在被显示之前对图像进行合成处理。合成模块660对图像数据合成处理可包括根据清晰度在待处理图像中选取基础图像,并将待处理图像与基础图像进行比较,得到每一张待处理图像中的移动区域;以及将去除移动区域之后的待处理图像进行合成处理,得到合成图像等。合成模块660将图像数据进行合成处理后,可将合成处理后的图像数据发送给编码器/解码器670,以便编码/解码图像数据。编码的图像数据可被保存,并在显示与显示器680设备上之前解压缩。可以理解的是,合成模块660处理后的图像数据可以不经过编码器/解码器670,直接发给显示器680进行显示。ISP处理器640处理后的图像数据还可以先经过编码器/解码器670处理,然后再经过合成模块660进行处理。其中,合成模块660或编码器/解码器670可为移动终端中CPU(CentralProcessing Unit,中央处理器)或GPU(Graphics Processing Unit,图形处理器)等。
ISP处理器640确定的统计数据可发送给控制逻辑器650单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜612阴影校正等图像传感器614统计信息。控制逻辑器650可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备610的控制参数以及ISP处理器640的控制参数。例如,成像设备610的控制参数可包括传感器620控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜612控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜612阴影校正参数。
以下为运用图6中图像处理技术实现图像合成方法的步骤:
获取待处理图像及对应的清晰度;
根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及
将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
在一个实施例中,所述将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域包括:
获取每一张对比图像与基础图像的差值,并根据所述差值得到每一张对比图像中的移动区域。
在其中一个实施例中,所述将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域包括:
获取每一张对比图像对应的颜色分量与基础图像对应的颜色分量的差值,并根据所述差值得到每一张对比图像中的移动区域。
在又一个实施例中,所述将去除所述移动区域之后的待处理图像进行合成处理包括:
获取所述移动区域对应的区域面积小于面积阈值的待处理图像,作为待合成图像;
将去除所述移动区域之后的待合成图像进行合成处理。
在其他实施例中,所述方法包括:
获取所述合成图像中的移动物体区域,并将所述合成图像中的移动物体区域进行降噪处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像合成方法,其特征在于,所述方法包括:
获取待处理图像及对应的清晰度;
根据所述清晰度在所述待处理图像中选取基础图像,将除所述基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;以及
将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
2.根据权利要求1所述的图像合成方法,其特征在于,所述将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域包括:
获取每一张对比图像与基础图像的差值,并根据所述差值得到每一张对比图像中的移动区域。
3.根据权利要求1所述的图像合成方法,其特征在于,所述将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域包括:
获取每一张对比图像对应的颜色分量与基础图像对应的颜色分量的差值,并根据所述差值得到每一张对比图像中的移动区域。
4.根据权利要求1所述的图像合成方法,其特征在于,所述将去除所述移动区域之后的待处理图像进行合成处理包括:
获取所述移动区域对应的区域面积小于面积阈值的待处理图像,作为待合成图像;
将去除所述移动区域之后的待合成图像进行合成处理。
5.根据权利要求1至4任一项所述的图像合成方法,其特征在于,所述方法包括:
获取所述合成图像中的移动物体区域,并将所述合成图像中的移动物体区域进行降噪处理。
6.一种图像合成装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像及对应的清晰度;
区域获取模块,用于根据所述清晰度在所述待处理图像中选取基础图像,将除基础图像之外的待处理图像作为对比图像,并将所述对比图像与基础图像进行比较,得到每一张对比图像中的移动区域;
图像合成模块,用于将去除所述移动区域之后的待处理图像进行合成处理,得到合成图像。
7.根据权利要求6所述的图像合成装置,其特征在于,所述区域获取模块还用于获取每一张对比图像与基础图像的差值,并根据所述差值得到每一张对比图像中的移动区域。
8.根据权利要求6所述的图像合成装置,其特征在于,所述区域获取模块还用于获取每一张对比图像对应的颜色分量与基础图像对应的颜色分量的差值,并根据所述差值得到每一张对比图像中的移动区域。
9.根据权利要求6所述的图像合成装置,其特征在于,所述图像合成模块还用于获取所述移动区域对应的区域面积小于面积阈值的待处理图像,作为待合成图像;将去除所述移动区域之后的待合成图像进行合成处理。
10.根据权利要求6至9任一项所述的图像合成装置,其特征在于,所述装置包括:
降噪模块,还用于获取所述合成图像中的移动物体区域,并将所述合成图像中的移动物体区域进行降噪处理。
11.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的图像合成方法。
12.一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述的图像合成方法。
CN201710775162.6A 2017-08-31 2017-08-31 图像合成方法、装置、计算机可读存储介质和计算机设备 Expired - Fee Related CN107395991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710775162.6A CN107395991B (zh) 2017-08-31 2017-08-31 图像合成方法、装置、计算机可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710775162.6A CN107395991B (zh) 2017-08-31 2017-08-31 图像合成方法、装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN107395991A true CN107395991A (zh) 2017-11-24
CN107395991B CN107395991B (zh) 2020-01-10

Family

ID=60348738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710775162.6A Expired - Fee Related CN107395991B (zh) 2017-08-31 2017-08-31 图像合成方法、装置、计算机可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN107395991B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109510941A (zh) * 2018-12-11 2019-03-22 努比亚技术有限公司 一种拍摄处理方法、设备及计算机可读存储介质
CN109733329A (zh) * 2019-01-22 2019-05-10 南京信息职业技术学院 一种基于机器视觉的汽车除雾方法及除雾装置
CN110689502A (zh) * 2019-10-09 2020-01-14 深圳看到科技有限公司 一种图像处理方法及相关装置
CN111145309A (zh) * 2019-12-18 2020-05-12 万翼科技有限公司 图像叠加方法及相关设备
CN112511735A (zh) * 2019-09-13 2021-03-16 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及存储介质
CN112672056A (zh) * 2020-12-25 2021-04-16 维沃移动通信有限公司 图像处理方法及装置
CN115409753A (zh) * 2022-11-01 2022-11-29 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2024044936A1 (en) * 2022-08-30 2024-03-07 Qualcomm Incorporated Composition for layer roi processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605208A (zh) * 2008-06-13 2009-12-16 富士胶片株式会社 图像处理设备、成像设备、图像处理方法及程序
US20150161773A1 (en) * 2012-05-09 2015-06-11 Hitachi Kokusai Electric Inc. Image processing device and image processing method
CN105227851A (zh) * 2015-11-09 2016-01-06 联想(北京)有限公司 图像处理方法及图像采集装置
CN106210542A (zh) * 2016-08-16 2016-12-07 深圳市金立通信设备有限公司 一种照片合成的方法及终端
CN106412321A (zh) * 2016-10-31 2017-02-15 维沃移动通信有限公司 一种图像处理方法和移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605208A (zh) * 2008-06-13 2009-12-16 富士胶片株式会社 图像处理设备、成像设备、图像处理方法及程序
US20150161773A1 (en) * 2012-05-09 2015-06-11 Hitachi Kokusai Electric Inc. Image processing device and image processing method
CN105227851A (zh) * 2015-11-09 2016-01-06 联想(北京)有限公司 图像处理方法及图像采集装置
CN106210542A (zh) * 2016-08-16 2016-12-07 深圳市金立通信设备有限公司 一种照片合成的方法及终端
CN106412321A (zh) * 2016-10-31 2017-02-15 维沃移动通信有限公司 一种图像处理方法和移动终端

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109510941A (zh) * 2018-12-11 2019-03-22 努比亚技术有限公司 一种拍摄处理方法、设备及计算机可读存储介质
CN109510941B (zh) * 2018-12-11 2021-08-03 努比亚技术有限公司 一种拍摄处理方法、设备及计算机可读存储介质
CN109733329A (zh) * 2019-01-22 2019-05-10 南京信息职业技术学院 一种基于机器视觉的汽车除雾方法及除雾装置
CN112511735A (zh) * 2019-09-13 2021-03-16 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法及存储介质
CN110689502A (zh) * 2019-10-09 2020-01-14 深圳看到科技有限公司 一种图像处理方法及相关装置
CN111145309A (zh) * 2019-12-18 2020-05-12 万翼科技有限公司 图像叠加方法及相关设备
CN112672056A (zh) * 2020-12-25 2021-04-16 维沃移动通信有限公司 图像处理方法及装置
WO2024044936A1 (en) * 2022-08-30 2024-03-07 Qualcomm Incorporated Composition for layer roi processing
CN115409753A (zh) * 2022-11-01 2022-11-29 北京开运联合信息技术集团股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN107395991B (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN107395991A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP6395810B2 (ja) 動きゴーストフィルタリングのための基準画像選択
US20200045219A1 (en) Control method, control apparatus, imaging device, and electronic device
US8339475B2 (en) High dynamic range image combining
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN109005364A (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN108322669A (zh) 图像的获取方法及装置、成像装置、计算机可读存储介质和计算机设备
KR20190004270A (ko) 모노 및 컬러 이미지들에 대한 강도 등화의 수행
CN108833804A (zh) 成像方法、装置和电子设备
US11671715B2 (en) High dynamic range technique selection for image processing
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN108419022A (zh) 控制方法、控制装置、计算机可读存储介质和计算机设备
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
CN107872663B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN110166707A (zh) 图像处理方法、装置、电子设备以及存储介质
CN107704798A (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN107563979A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108900785A (zh) 曝光控制方法、装置和电子设备
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
CN108259754A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107454317A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107959843B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107277369B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110930440B (zh) 图像对齐方法、装置、存储介质及电子设备
CN111340736B (zh) 图像处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200110