CN108322648B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像处理方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN108322648B CN108322648B CN201810108121.6A CN201810108121A CN108322648B CN 108322648 B CN108322648 B CN 108322648B CN 201810108121 A CN201810108121 A CN 201810108121A CN 108322648 B CN108322648 B CN 108322648B
- Authority
- CN
- China
- Prior art keywords
- images
- image
- scene
- scene information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 105
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 230000003796 beauty Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005215 recombination Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000020154 Acnes Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Abstract
本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质,获取在同一场景下所拍摄的多张图像,根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,将图像处理后生成的图像输出。因为获取了同一场景下所拍摄的多张图像,这些图像具有相同或相似的场景信息。获取上述多张图像的场景信息,这样获取到的场景信息就会比较全面完整准确,避免了获取单张图像的场景信息导致的误差。再根据对多张图像进行场景检测所得的场景信息,分别对多张图像进行图像处理,将图像处理后生成的图像输出。这样根据比较全面完整准确的场景信息,对这些多张图像中的每一张图像进行图像处理,自然就会大大提高图像的质量。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着移动终端的普及和移动互联网的迅速发展,移动终端的用户使用量越来越大。而拍照功能已经成为移动终端的重要功能之一,属于用户使用频率极高的功能。在对所拍摄的图像进行处理的过程中,根据所拍摄图像的场景对拍摄图像进行处理,由于其可以根据不同的场景对所拍摄的图像进行与场景相应的处理,所以图像处理的效果很好。因此,根据场景对图像进行处理,就逐渐成为主流的图像处理方法。但是,由于拍摄场景本身的复杂性以及光照、天气等因素的影响,传统的场景识别及图像处理方法还不能够准确地识别出拍摄场景,以至于对后续的图像处理的质量也造成了影响。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质,可以提高场景识别准确性以及提高图像的质量。
一种图像处理方法,包括:
获取在同一场景下所拍摄的多张图像;
根据对所述多张图像进行场景检测所得的场景信息,对所述多张图像中的每一张图像进行图像处理;
将图像处理后生成的图像输出。
一种图像处理装置,所述装置包括:
图像获取模块,用于获取在同一场景下所拍摄的多张图像;
图像处理模块,用于根据对所述多张图像进行场景检测所得的场景信息,对所述多张图像中的每一张图像进行图像处理;
图像输出模块,用于将图像处理后生成的图像输出。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述指令被所述处理器执行时,使得所述处理器执行如上所述的图像处理方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像处理方法的步骤。
上述图像处理方法和装置、电子设备、计算机可读存储介质,获取在同一场景下所拍摄的多张图像,根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,将图像处理后生成的图像输出。因为获取了同一场景下所拍摄的多张图像,这些图像具有相同或相似的场景信息。因此获取上述多张图像的场景信息,这样获取到的场景信息就会比较全面完整准确,避免了获取单张图像的场景信息导致的误差。再根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,将图像处理后生成的图像输出。这样根据比较全面完整准确的场景信息,对这些多张图像中的每一张图像进行图像处理,自然就会大大提高所生成的图像的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图;
图2为一个实施例中电子设备的部分结构的框图;
图3为一个实施例中图像处理方法的流程图;
图4为图3中根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理方法的流程图;
图5为一个实施例中图像处理方法的一个具体实施例的流程图;
图6为一个实施例中图像处理装置的结构示意图;
图7为图6中图像处理模块的结构示意图;
图8为一个实施例中拍摄电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
图1为一个实施例中图像处理方法的应用环境示意图。如图1所示,电子设备10可通过摄像头102对拍摄对象20进行拍摄得到拍摄出的图像。其中,摄像头102中可包括第一摄像头及第二摄像头。电子设备10接收拍摄图像的指令,响应指令拍摄图像。获取在同一场景下所拍摄的多张图像,根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,将图像处理后生成的图像输出。
图2为一个实施例中电子设备的内部结构示意图。如图2所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
在一个实施例中,如图3所示,提供了一种图像处理方法,以该方法应用于图2中的电子设备为例进行说明,包括:
步骤302,获取在同一场景下所拍摄的多张图像。
用户在使用电子设备进行拍摄照片的时候,一般会在同一个场景连续拍摄多张照片。同一场景指的是在设定的较短的时间内所拍摄的,且在进行拍摄时候的背景相似或相同,但是由于每次拍摄时的拍摄角度、拍摄光线可能有所不同,而导致拍摄出的图像效果不同。例如,在黑夜中的广场进行拍摄人像,黑夜对应的场景信息为“夜景”,广场对应的场景信息为“室外”即非室内。黑夜下拍摄,由于光线不足本来拍摄难度就较大,再加之每次拍摄时的拍摄角度、拍摄光线可能有所不同,所以拍摄出的图像有的只能体现出黑夜,有的既能够体现出黑夜又能够体现出广场。因为可能这些图像的图像效果各有不同,因此,为了完整真实地反应该场景,就需要获取在同一场景下所拍摄的多张图像,具体可以从电子设备的内存中获取所拍摄的多张图像。
步骤304,根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理。
分别对多张图像进行场景检测,得到各自对应的场景信息。具体地,若拍摄出的图像只能体现出“夜景”这一个场景信息,那么对该图像进行场景检测也就只能得到“夜景”这一场景信息。若拍摄出的图像既能够体现出“夜景”又能够体现出“室外”这两个场景信息,那么对该图像进行场景检测就能得到“夜景”和“室外”这两个场景信息。将获取的在同一场景下所拍摄的多张图像的场景信息进行整合,得到整合后的场景信息。根据整合后的场景信息对多张图像中的每一张图像,采用与整合后的场景信息相对应的图像处理算法进行图像处理。
步骤306,将图像处理后生成的图像输出。
采用与整合后的场景信息相对应的图像处理算法对图像进行图像处理后生成新的图像,将新生成的图像输出。
本申请实施例中,获取在同一场景下所拍摄的多张图像,根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,将图像处理后生成的图像输出。因为获取了同一场景下所拍摄的多张图像,这些图像具有相同或相似的场景信息。因此获取上述多张图像的场景信息,这样获取到的场景信息就会比较全面完整准确,避免了获取单张图像的场景信息导致的误差。再根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,将图像处理后生成的图像输出。这样根据比较全面完整准确的场景信息,对这些多张图像中的每一张图像进行图像处理,自然就会大大提高所生成的图像的质量。
在一个实施例中,如图4所示,根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理,包括:
步骤304a,分别对多张图像进行场景检测,得到各自对应的场景信息。
分别对多张图像进行AI场景检测,其中AI(Artificial Intelligence,人工智能),它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。在本申请实施例中,采用基于对象的场景分类方法,这种分类方法以对象为识别单位,根据场景中出现的特定对象来区分不同的场景。例如,特定对象可以是蓝天、山、湖水或河水或大海、黑夜、雪景、人像、广场、建筑物、草地、人像等。分别对多张图像进行场景检测,得到各自对应的场景信息。例如,若从拍摄出的图像中只能提取到“黑夜”这一个特定对象,那么对该图像进行场景检测也就只能得到夜景这一场景信息。若从拍摄出的图像中既能够提取到“黑夜”这个特定对象,还能够提取到“广场”这个特定对象,那么对该图像进行场景检测就可以得到夜景和室外这两个场景信息。
步骤304b,将多张图像各自的场景信息进行整合,得到整合后的场景信息。
将获取的在同一场景下所拍摄的多张图像的场景信息进行整合,得到整合后的场景信息。例如,对同一场景下所拍摄的多张图像中,若从部分拍摄出的图像中只能提取到黑夜这一个特定对象,那么对该图像进行场景检测也就只能得到“夜景”这一场景信息。若从拍摄出的部分图像中既能够提取到黑夜这个特定对象,还能够提取到广场这个特定对象,那么对该图像进行场景检测就可以得到“夜景”和“室外”这两个场景信息。将同一场景下所拍摄的多张图像的不同的场景信息进行整合,整合出完整的场景信息。
步骤304c,根据整合后的场景信息对多张图像中的每一张图像,采用与整合后的场景信息相对应的图像处理算法进行图像处理。
在整合之后得到了完整的场景信息之后,根据完整的场景信息对同一场景所拍摄的多张图像中的每一张图像进行处理。具体地,采用与整合后的场景信息相对应的图像处理算法对同一场景所拍摄的多张图像中的每一张图像进行图像处理。每一个场景都对应一种图像处理算法,例如,场景信息为“夜景”,则会采用多帧降噪算法对该场景下的图像进行处理。多帧降噪就是在夜景或者暗光环境下,相机在按快门到成像的时候会采集多张/多帧照片或者影像,在不同的帧数下找到不同的带有噪点性质的像素点,通过加权合成后得到一张较为干净、纯净的夜景或者暗光照片。通俗地说,就是手机在拍摄夜景或者暗光环境的时候,会进行多个帧数的噪点数量和位置的计算和筛选,将有噪点的地方用没有噪点的帧数替换位置,经过反复加权、替换,就得到一张很干净的照片,其实最终成像的照片是由多个帧数的影像合成的。
例如,拍摄场景为“广场”,则因为广场属于室外环境,所以会采用适合室外的图像处理算法进行图像处理。即不会错误地采用适合室内的图像处理算法进行图像处理。在将采用“夜景”对应的多帧降噪算法及“广场”对应的适合室外的图像处理算法进行图像处理之后,生成的图像输出。
本申请实施例中,对同一场景所拍摄的多张图像分别进行场景检测,每一张图像都会得到自身的拍摄场景。由于每张图像的拍摄角度、拍摄光线可能有所不同,而导致拍摄出的图像效果不同,有的图像可以完整的体现出拍摄的真实场景信息,有的图像却只能体现出部分拍摄场景信息。因此,再对同一场景所拍摄的多张图像的不同的拍摄场景进行整合,最终最大限度地得到拍摄时完整真实的场景信息。再根据该完整真实的场景信息,得到每个场景对应的图像处理方法,再分别采用这些图像处理方法对同一场景所拍摄的多张图像都进行相同的图像处理。如此,因为这些图像实际都具有同一场景,所以经过完整真实的场景信息对应的图像处理算法处理之后的图像,自然就会大大提高所生成的图像的质量,最大限度的反应出实际的图像效果。避免了单独对一张图像进行处理,假设该图像的场景信息不完整真实,那么采用该图像的场景信息对应的图像处理算法进行处理,则处理之后的图像效果就会出现较大的误差。
在一个实施例中,分别对多张图像进行场景检测,得到各自对应的场景信息,包括:
分别对多张图像进行特征提取;
根据提取的特征进行场景检测,得到各自对应的场景信息。
具体地,采用基于对象的场景分类方法,这种分类方法以对象为识别单位,根据场景中出现的特定对象来区分不同的场景。将同一场景所拍摄的多张图像构成一个图像集,首先,对一个图像集中的每一张图像进行特征提取。然后,再对从一个图像中所提取出的特征进行重组。最后,根据重组之后的特征对图像中的对象进行识别,根据识别出的对象对图像进行场景识别。例如,若从拍摄出的图像中既能够提取到“黑夜”这个特定对象,还能够提取到“广场”这个特定对象,那么对该图像进行场景检测就可以得到夜景和室外这两个场景信息。若从拍摄出的图像中既能够提取到“蓝天”这个特定对象,那么对该图像进行场景检测就可以得到白天这个场景信息。
本申请实施例中,对需要进行场景检测的图像进行特征提取、再进行特征重组、最后再进行对象识别,最终根据识别出的对象得出图像对应的拍摄场景信息。这种分类方法以对象为识别单位,根据场景中出现的特定对象来区分不同的场景,从图像中的对象去反应拍摄场景,能够比较准确地得出拍摄场景信息。
在一个实施例中,将多张图像各自的场景信息进行整合,得到整合后的场景信息,包括:
从多张图像各自的场景信息中获取重复率达到设定阈值的场景信息;
将重复率达到设定阈值的场景信息进行整合,得到整合后的场景信息。
具体地,将同一场景所拍摄的多张图像构成一个图像集,在对图像集中的每一张图像进行场景识别出场景信息之后,将图像集中的每一张图像的场景信息构成一个集合。该场景信息所构成的集合中,将会存在大量重复的场景信息。计算每一个重复场景信息在该集合中的重复率。对重复率设定一个阈值,将重复率低于该阈值的场景信息进行去除。然后,将该集合中重复率达到该阈值的场景信息进行去重整合,得到整合后的场景信息。
本申请实施例中,对同一场景所拍摄的多张图像进行场景识别出场景信息之后,将重复率低于设定阈值的场景信息进行去除。再将该集合中重复率达到(高于或等于)该阈值的场景信息进行去重整合,得到整合后的场景信息。重复率低于设定阈值的场景信息便是拍摄中产生的噪声,如此便能够将拍摄中产生的噪声进行去除,避免噪声对后续图像处理造成的干扰,进一步提高了处理后图像的质量。
在一个实施例中,获取在同一场景下所拍摄的多张图像,包括:
获取拍摄时间间隔小于设定阈值的图像,将拍摄时间间隔小于设定阈值的图像作为同一场景下所拍摄的图像。
具体地,用户在使用电子设备进行拍摄照片的时候,一般会在同一个场景连续拍摄多张照片。这些所拍摄的图像的拍摄时间间隔一般较小,在此处预先根据用户使用习惯设置一个时间阈值,设定拍摄时间间隔小于该时间阈值的图像视为在同一场景下所拍摄的图像。例如,时间阈值可以设置为10s、或者20s乃至于30s,当然还可以是其他合理的数值。假设在该时间间隔内用户还不能够有足够的时间换到另一个拍摄场景。
例如,在此取时间阈值为10s,即设定拍摄时间间隔小于10s的图像视为在同一场景下所拍摄的图像。用户在时刻起始时拍摄了第一张图像,然后在9s时候拍摄了第二张图像,接着又在15s时候拍摄了第三张图像,22s时候拍摄了第四张图像,30s时候拍摄了第五张图像,36s时候拍摄了第六张图像,40s时候拍摄了第七张图像,59s时候拍摄了第八张图像。可知第一张至第七张图像因为其与前一张图像的拍摄时间间隔都是小于10s的,因此都视为在同一场景下所拍摄的图像。而第八张图像,因为其与前一张图像的拍摄时间大于时间阈值10s,在该时间间隔中用户可能已经走到了另外一个拍摄场景中,因此不能视为在同一场景下所拍摄的图像。
本申请实施例中,根据用户使用习惯设置一个时间阈值,设定拍摄时间间隔小于该时间阈值的图像视为在同一场景下所拍摄的图像。如此,便可以获取到比较接近是在同一场景下所拍摄的图像。避免了将很多不属于同一场景下所拍摄的图像错误地视为同一场景下所拍摄的图像,而导致后续的场景识别出现很大的误差,以至于后续误差被放大,根据错误的场景进行图像处理,所得的图像的质量也不高。
在一个实施例中,获取在同一场景下所拍摄的多张图像,还包括:
从拍摄时间间隔小于设定阈值的图像中获取图像内容相似度达到设定阈值的图像,将图像内容相似度达到设定阈值的图像作为同一场景下所拍摄的图像。
具体地,用户在使用电子设备进行拍摄照片的时候,一般会在同一个场景连续拍摄多张照片。这些所拍摄的图像的拍摄时间间隔一般较小,在此处预先根据用户使用习惯设置一个时间阈值,设定拍摄时间间隔小于该时间阈值的图像视为在同一场景下所拍摄的图像。获取了拍摄时间间隔小于该时间阈值的图像之后,进一步获取这些图像的图像内容,图像内容可以包括图像中的对象。对每一张图像的内容之间的相似度进行计算。预先对图像内容相似度进行设置,例如,将图像内容相似度达到60%的视为同一场景下所拍摄的图像,当然还可以是其他合理的数值。
本申请实施例中,在根据用户使用习惯设置一个时间阈值,设定拍摄时间间隔小于该时间阈值的图像视为在同一场景下所拍摄的图像之后,进一步对拍摄时间间隔小于该时间阈值的图像的图像内容的相似度进行计算,将图像内容的相似度达到(高于或等于)设定阈值的图像视为在同一场景下所拍摄的图像。将图像内容的相似度低于设定阈值的图像视为不在同一场景下所拍摄的图像。因此,通过两重筛选几乎可以实现将不在同一场景下所拍摄的图像进行彻底地去除。
在一个实施例中,场景信息包括白天、黑夜、室内或室外。
本申请实施例中,在分别对多张图像进行场景检测,得到各自对应的场景信息中,采用的是基于对象的场景分类方法。这种分类方法以对象为识别单位,根据场景中出现的特定对象来区分不同的场景。例如,特定对象可以是蓝天、山、湖水或河水或大海、黑夜、雪景、人像、广场、建筑物、草地、人像等。假设图像中存在“蓝天”这个特定对象,那么对该图像进行场景检测就可以得到白天这个场景信息;假设图像中存在“黑夜”这个特定对象,那么对该图像进行场景检测就可以得到夜景这个场景信息。假设图像中存在“建筑物、草地、湖水或河水或大海”中的任何一个或多个,则几乎可以确定该图像的场景信息是室外;假设图像中存在“灯光、墙壁(房间)、桌子”中的任何一个或多个,则几乎可以确定该图像的场景信息是室内。
在一个具体实施例中,如图5所示,提供了一种图像处理方法,以该方法应用于图2中的电子设备为例进行说明,具体包括:
步骤501,判断电子设备中所拍摄图像的拍摄时间间隔是否小于设定时间阈值,若是,则进入步骤502,若否,则进入步骤503;
步骤502,获取拍摄时间间隔小于设定阈值的多张图像;
步骤503,舍弃该图像;
步骤504,判断拍摄时间间隔小于设定阈值的多张图像的图像内容相似度是否达到设定阈值,若是,则进入步骤505,若否,则进入步骤503;
步骤505,获取图像内容相似度达到设定阈值的图像,将图像内容相似度达到设定阈值的图像作为同一场景下所拍摄的图像,构成图像集;
步骤506,分别对图像集中的每张图像进行特征提取、再进行特征重组、最后再进行对象识别,最终根据识别出的对象得出每张图像对应的拍摄场景信息;
步骤507,判断得出的每一拍摄场景信息在图像集内所有图像中的重复率,是否达到设定阈值,若是,则进入步骤508,若否,则进入步骤509;
步骤508,将所述重复率达到设定阈值的场景信息进行整合,得到整合后的场景信息;
步骤509,舍弃该拍摄场景信息;
步骤510,根据所述整合后的场景信息对所述多张图像中的每一张图像,采用与所述整合后的场景信息相对应的图像处理算法进行图像处理。
在本申请实施例中,在获取同一场景下所拍摄的图像时,先获取拍摄时间间隔小于设定时间阈值的图像,再从中筛选出图像内容相似度达到设定阈值的图像作为同一场景下所拍摄的图像。因此,通过两重筛选几乎可以实现将不在同一场景下所拍摄的图像进行彻底地去除。然后分别对图像集中的每张图像进行特征提取、再进行特征重组、最后再进行对象识别,最终根据识别出的对象得出每张图像对应的拍摄场景信息。再对每一拍摄场景信息在图像集内所有图像中的重复率进行判断,将所述重复率达到设定阈值的场景信息进行整合,得到整合后的场景信息。根据重复率进一步提高了整合出的场景信息的准确性,最后,采用与所述整合后的场景信息相对应的图像处理算法对图像集中的每一张图像进行图像处理。避免了单独对一张图像进行处理,假设该图像的场景信息不完整真实,那么采用该图像的场景信息对应的图像处理算法进行处理,则处理之后的图像效果就会出现较大的误差。
在一个实施例中,如图6所示,提供了一种图像处理装置600,装置包括图像获取模块602、图像处理模块604及图像输出模块606。其中,
图像获取模块602,用于获取在同一场景下所拍摄的多张图像;
图像处理模块604,用于根据对多张图像进行场景检测所得的场景信息,对多张图像中的每一张图像进行图像处理;
图像输出模块606,用于将图像处理后生成的图像输出。
在一个实施例中,如图7所示,图像处理模块604包括:
场景检测模块604a,用于分别对多张图像进行场景检测,得到各自对应的场景信息;
场景信息整合模块604b,用于将多张图像各自的场景信息进行整合,得到整合后的场景信息;
根据整合后的场景信息对图像进行处理模块604c,用于根据整合后的场景信息对多张图像中的每一张图像,采用与整合后的场景信息相对应的图像处理算法进行图像处理。
在一个实施例中,场景检测模块604a还用于分别对多张图像进行特征提取;根据提取的特征进行场景检测,得到各自对应的场景信息。
在一个实施例中,场景信息整合模块604b,还用于从多张图像各自的场景信息中获取重复率达到设定阈值的场景信息;将重复率达到设定阈值的场景信息进行整合,得到整合后的场景信息。
在一个实施例中,图像获取模块602,还用于获取拍摄时间间隔小于设定阈值的图像,将拍摄时间间隔小于设定阈值的图像作为同一场景下所拍摄的图像。
在一个实施例中,图像获取模块602,还用于从拍摄时间间隔小于设定阈值的图像中获取图像内容相似度达到设定阈值的图像,将图像内容相似度达到设定阈值的图像作为同一场景下所拍摄的图像。
在一个实施例中,场景信息包括白天、黑夜、室内或室外。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述图像处理方法。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述图像处理方法。
本申请实施例提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例所提供的图像处理方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。其上存储有计算机程序,计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括拍摄电路,拍摄电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图8为一个实施例中拍摄电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的拍摄技术的各个方面。
如图8所示,拍摄电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一组或多组透镜812和图像传感器814的照相机,其中,如果成像设备810为包括一组透镜和图像传感器的照相机,则对应的ISP处理器840可以为一个;如果成像设备810为包括两组透镜和图像传感器的照相机,则对应的ISP处理器840可以为两个;如果成像设备810为包括多组透镜和图像传感器的照相机,则对应的ISP处理器840可以为多个。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的拍摄的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个拍摄操作、收集关于图像数据的统计信息。其中,拍摄操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个拍摄操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840还可从图像存储器830接收处理数据,对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器880可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。
ISP处理器840处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器840处理后的图像数据可发送给美颜模块860,以便在被显示之前对图像进行美颜处理。美颜模块860对图像数据美颜处理可包括:美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中,美颜模块860可为移动终端中CPU(Central Processing Unit,中央处理器)、GPU或协处理器等。美颜模块860处理后的数据可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。其中,美颜模块860还可位于编码器/解码器870与显示器880之间,即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器870可为移动终端中CPU、GPU或协处理器等。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数以及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
运用图8中拍摄技术可实现如上的图像白平衡处理方法。
本申请中所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取在同一场景下所拍摄的多张图像;
分别对所述多张图像进行场景检测,得到各自对应的场景信息;
将所述多张图像各自的场景信息进行整合,得到整合后的场景信息;
根据所述整合后的场景信息对所述多张图像中的每一张图像,采用与所述整合后的场景信息相对应的图像处理算法进行图像处理;
将图像处理后生成的图像输出。
2.根据权利要求1所述的方法,其特征在于,所述分别对所述多张图像进行场景检测,得到各自对应的场景信息,包括:
采用基于对象的场景分类方法分别对所述多张图像进行场景检测,得到各自对应的场景信息。
3.根据权利要求1所述的方法,其特征在于,所述分别对所述多张图像进行场景检测,得到各自对应的场景信息,包括:
分别对所述多张图像进行特征提取;
根据提取的特征进行场景检测,得到各自对应的场景信息。
4.根据权利要求1所述的方法,其特征在于,所述将所述多张图像各自的场景信息进行整合,得到整合后的场景信息,包括:
从所述多张图像各自的场景信息中获取重复率达到设定阈值的场景信息;
将所述重复率达到设定阈值的场景信息进行整合,得到整合后的场景信息。
5.根据权利要求1所述的方法,其特征在于,所述获取在同一场景下所拍摄的多张图像,包括:
获取拍摄时间间隔小于设定阈值的图像,将所述拍摄时间间隔小于设定阈值的图像作为同一场景下所拍摄的图像。
6.根据权利要求5所述的方法,其特征在于,所述获取在同一场景下所拍摄的多张图像,还包括:
从所述拍摄时间间隔小于设定阈值的图像中获取图像内容相似度达到设定阈值的图像,将所述图像内容相似度达到设定阈值的图像作为同一场景下所拍摄的图像。
7.根据权利要求1所述的方法,其特征在于,所述场景信息包括白天、黑夜、室内或室外。
8.一种图像处理装置,其特征在于,所述装置包括:
图像获取模块,用于获取在同一场景下所拍摄的多张图像;
图像处理模块,用于分别对所述多张图像进行场景检测,得到各自对应的场景信息;将所述多张图像各自的场景信息进行整合,得到整合后的场景信息;根据所述整合后的场景信息对所述多张图像中的每一张图像,采用与所述整合后的场景信息相对应的图像处理算法进行图像处理;
图像输出模块,用于将图像处理后生成的图像输出。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810108121.6A CN108322648B (zh) | 2018-02-02 | 2018-02-02 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810108121.6A CN108322648B (zh) | 2018-02-02 | 2018-02-02 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108322648A CN108322648A (zh) | 2018-07-24 |
CN108322648B true CN108322648B (zh) | 2020-06-30 |
Family
ID=62902161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810108121.6A Expired - Fee Related CN108322648B (zh) | 2018-02-02 | 2018-02-02 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108322648B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109167915A (zh) * | 2018-09-29 | 2019-01-08 | 南昌黑鲨科技有限公司 | 图像处理方法、系统及计算机可读存储介质 |
CN111294502A (zh) * | 2018-12-07 | 2020-06-16 | 中国移动通信集团终端有限公司 | 拍照方法、具有拍照功能的装置、设备及存储介质 |
CN109993737A (zh) * | 2019-03-29 | 2019-07-09 | 联想(北京)有限公司 | 一种处理方法、设备及计算机可读存储介质 |
CN110460773B (zh) * | 2019-08-16 | 2021-05-11 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103945088A (zh) * | 2013-01-21 | 2014-07-23 | 华为终端有限公司 | 场景识别方法及装置 |
CN105407281A (zh) * | 2015-11-13 | 2016-03-16 | 努比亚技术有限公司 | 一种基于场景的拍照装置、方法 |
CN106101547A (zh) * | 2016-07-06 | 2016-11-09 | 北京奇虎科技有限公司 | 一种图像数据的处理方法、装置和移动终端 |
CN107332981A (zh) * | 2017-06-14 | 2017-11-07 | 广东欧珀移动通信有限公司 | 图像处理方法及相关产品 |
CN107566749A (zh) * | 2017-09-25 | 2018-01-09 | 维沃移动通信有限公司 | 拍摄方法及移动终端 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI399081B (zh) * | 2006-10-16 | 2013-06-11 | Casio Computer Co Ltd | 攝像裝置、連續攝影方法、以及記憶有程式之記憶媒體 |
US8170279B2 (en) * | 2008-06-23 | 2012-05-01 | Raytheon Company | Adaptive match metric selection for automatic target recognition |
JP5667061B2 (ja) * | 2008-10-03 | 2015-02-12 | スリーエム イノベイティブ プロパティズ カンパニー | 複数の視点のシーン解析のシステム及び方法 |
CN105118081B (zh) * | 2015-09-15 | 2018-05-01 | 北京金山安全软件有限公司 | 图片合成视频的处理方法和装置 |
CN106791274A (zh) * | 2016-12-14 | 2017-05-31 | 天脉聚源(北京)科技有限公司 | 一种场景检测方法及装置 |
-
2018
- 2018-02-02 CN CN201810108121.6A patent/CN108322648B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103945088A (zh) * | 2013-01-21 | 2014-07-23 | 华为终端有限公司 | 场景识别方法及装置 |
CN105407281A (zh) * | 2015-11-13 | 2016-03-16 | 努比亚技术有限公司 | 一种基于场景的拍照装置、方法 |
CN106101547A (zh) * | 2016-07-06 | 2016-11-09 | 北京奇虎科技有限公司 | 一种图像数据的处理方法、装置和移动终端 |
CN107332981A (zh) * | 2017-06-14 | 2017-11-07 | 广东欧珀移动通信有限公司 | 图像处理方法及相关产品 |
CN107566749A (zh) * | 2017-09-25 | 2018-01-09 | 维沃移动通信有限公司 | 拍摄方法及移动终端 |
Also Published As
Publication number | Publication date |
---|---|
CN108322648A (zh) | 2018-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764208B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN107948519B (zh) | 图像处理方法、装置及设备 | |
CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108810413B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108024107B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108322648B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108712608B (zh) | 终端设备拍摄方法和装置 | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110290323B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN110072052B (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
CN108805198B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN108108415B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN108717530B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN107862658B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN109712177B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
CN107424117B (zh) | 图像美颜方法、装置、计算机可读存储介质和计算机设备 | |
CN110177212B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN111932587A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109242794B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN108848306B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108093170B (zh) | 用户拍照方法、装置及设备 | |
CN108052883B (zh) | 用户拍照方法、装置及设备 | |
CN107682611B (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200630 |
|
CF01 | Termination of patent right due to non-payment of annual fee |