CN113132639A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113132639A CN113132639A CN202110438314.XA CN202110438314A CN113132639A CN 113132639 A CN113132639 A CN 113132639A CN 202110438314 A CN202110438314 A CN 202110438314A CN 113132639 A CN113132639 A CN 113132639A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- images
- brightness
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000001502 supplementing effect Effects 0.000 claims abstract description 100
- 239000013589 supplement Substances 0.000 claims abstract description 73
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000007499 fusion processing Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims description 51
- 230000004927 fusion Effects 0.000 claims description 29
- 238000000926 separation method Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000002156 mixing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- 238000004364 calculation method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- PUAQLLVFLMYYJJ-UHFFFAOYSA-N 2-aminopropiophenone Chemical compound CC(N)C(=O)C1=CC=CC=C1 PUAQLLVFLMYYJJ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置、电子设备及存储介质。该方法包括:当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;依次控制补光部件基于任一补光光强进行补光,同时控制采集部件在任一补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;对至少两张初始采集图像进行图像融合处理,生成目标图像。本发明实施例中,生成的目标图像由于融合了多张不同补光光强的初始采集图像的信息,能够更全面、完整的体现出采集对象的特征,生成的目标图像的图像效果更好,图像质量更高。
Description
技术领域
本发明实施例涉及图像处理领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的迅猛发展,利用摄像头拍摄图像,然后对图像进行计算机视觉算法处理是当前比较常见的应用方式。在实际应用中,拍摄环境经常会遇到光线不足的情况,这种条件下摄像头采集的图像质量较差,将对后续的计算机视觉算法带来较大的影响。
现有技术中,为弥补暗光环境下对采集到的图像产生的影响,通常采用补光装置在拍摄时对当前环境进行单一光照补偿,然后对单一光照条件下的图像进行处理。
但是,现有技术中通过补光装置在单一光照条件下进行拍摄,得到的原始拍摄图像存在曝光、亮斑等情况,导致采集图像中的观测目标被亮斑淹没。由于原始拍摄图像本身图像质量较差,且只能依据唯一的一张图像进行处理,因此即使进行图像处理后,得到的图像依旧受到原始拍摄图像的影响,图片质量较差。
发明内容
本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质,以实现在暗光环境下对采集到的图像进行处理,能够更全面、完整的体现出采集对象的特征,生成的目标图像的图像效果更好、图像质量更高。
第一方面,本发明实施例提供了一种图像处理方法,可以包括:
当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;
依次控制补光部件基于任一所述补光光强进行补光,同时控制采集部件在任一所述补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;
对至少两张所述初始采集图像进行图像融合处理,生成目标图像。
第二方面,本发明实施例提供了一种图像处理装置,可以包括:
暗光检测模块,用于当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;
图像采集模块,用于依次控制补光部件基于任一所述补光光强进行补光,同时控制采集部件在任一所述补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;
图像融合模块,用于对至少两张所述初始采集图像进行图像融合处理,生成目标图像。
第三方面,本发明实施例提供了一种电子设备,可以包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的图像处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本发明任意实施例所提供的图像处理方法。
本发明实施例所提供的一种图像处理方法,当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;依次控制补光部件基于任一补光光强进行补光,在每一种补光光强形成的补光环境下,均控制采集部件进行图像采集,从而得到具有不同补光光强的至少两张初始采集图像;对具有不同补光光强的初始采集图像进行图像融合处理,生成目标图像。生成的目标图像由于融合了多张不同补光光强的初始采集图像的信息,能够基于多张不同补光光强的初始采集图像进行图像处理,因此生成的目标图像能够更全面、完整的体现出采集对象的特征,避免了仅采用一种补光光强进行图像采集时,易出现的曝光、亮斑等影响图像处理效果的情况,处理效果更好、图像质量更高。
此外,本发明所提供的一种图像处理装置、电子设备及存储介质与上述方法对应,具有同样的有益效果。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程图;
图2为本发明实施例提供的另一种图像处理方法的流程图;
图3为本发明实施例提供的另一种图像处理方法的流程图;
图4为本发明实施例提供的一种图像处理装置的结构图;
图5为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
本发明的核心是提供一种图像处理方法、装置、电子设备及存储介质,以实现在暗光环境下对采集到的图像进行处理,能够更全面、完整的体现出采集对象的特征,生成的目标图像的图像效果更好、图像质量更高。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
实施例一
图1是本发明实施例提供的一种图像处理方法的流程图。该方法可以由本发明实施例提供的图像处理装置来执行,该装置可以由软件和/或硬件的方式实现,该装置可以集成在各种用户终端设备或服务器上。
用户终端设备包括但不限于手机、平板电脑或者智能手表等设备,该设备上可以是配置有采集部件、补光部件和控制器,其中,采集部件具有图像采集功能,包括但不限于摄像头、摄像机、相机和图像采集卡等图像采集设备,该采集部件可以是设备本身自带的,也可以是设备外接的,本发明实施例不做限定,补光部件具有补光功能,包括但不限于闪光灯、LED补光灯等补光设备,该补光部件可以是设备本身自带的,也可以是设备外接的,本发明实施例不做限定。控制器通过控制采集部件和补光部件执行上述图像处理方法。
如图1所示,本发明实施例的方法具体包括如下步骤:
S101、当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强。
在具体实施中,首先需要检测当前拍摄环境是否为暗光环境。可选的,可通过光传感器检测当前拍摄环境是否为暗光环境。本领域技术人员可根据实际应用情况确定采用的光传感器种类,本发明实施例不做限定。
可选的,也可通过在当前拍摄环境条件下拍摄测试图像,基于测试图像确定当前拍摄环境是否为暗光环境。在一个实施例中,检测当前拍摄环境为暗光环境,包括:通过采集部件在当前拍摄环境下进行图像采集以得到测试图像;计算测试图像的各像素点的亮度值,基于亮度值计算测试图像的亮度均值;基于亮度均值与时间相关因子,计算当前拍摄环境下的亮度历史值;当亮度历史值小于预设阈值时,将当前拍摄环境检测为暗光环境。
在具体实施中,可在当前拍摄环境下采集测试图像,对采集的测试图像,计算该测试图像的各像素点的亮度值,对该测试图像的各像素点的亮度值求平均得到该测试图像对应的亮度均值。基于亮度均值与用于控制更新的时间相关因子计算当前拍摄环境下的亮度历史值,并将亮度历史值与预设阈值进行判断,当亮度历史值小于预设阈值时,可确定当前拍摄环境为暗光环境,则需控制补光部件进行补光。在一些实施例中,为获取高质量的视频,采集部件依次采集拍摄环境下的测试图像,对当前测试图像判断对应的当前拍摄环境,若当前拍摄环境为暗光环境,则控制补光部件进行补光,同时控制采集部件在补光环境下进行图像采集,得到至少两张初始采集图像,然后融合初始采集图像,得到当前测试图像对应的高质量的目标图像;对后续采集的下一张测试图像,同样执行上述处理,判断下一张测试图像对应的拍摄环境是否为暗光环境,以此类推,通过本发明实施例,对依次采集的每一张测试图像执行上述步骤,可以得到多张高质量图像组成的视频。需要说明的是,本领域技术人员可根据实际应用情况,设定暗光环境的预设阈值,本发明实施例不做限定。
示例性的,亮度历史值fv的计算公式如下:
fv=fv*×alpha+(1–alpha)×mv
其中,mv为亮度平均值,mv的取值范围为[0,255];alpha为时间相关因子,取值范围为(0,1],用于控制更新的时间,alpha越大更新所需时间越长;fv为当前拍摄环境下对应的当前测试图像的亮度历史值,fv*为前一测试图像对应的前一亮度历史值;第一张测试图像对应的fv值为0或者为第一张测试图像的mv;fv_thresh为预设阈值,取值范围为[80,200],在一些实施例中,fv_thresh的推荐取值为140。对每张测试图像对应的fv,与fv_thresh进行比较,若fv大于或等于fv_thresh时,说明该张测试图像对应的当前拍摄环境为正常光线环境;当fv小于fv_thresh时,判断该张测试图像对应的当前拍摄环境为暗光环境。
可选的,本发明实施例提出的亮度值可为测试图像转换至YUV空间后,各像素点对应的Y分量值,计算测试图像的各像素点的亮度值,即为计算各像素点对应的Y分量值。YUV空间中,Y表示明亮度;而U和V表示的则是色度,用于描述影像色彩及饱和度。
可选的,本发明实施例提出的亮度值可为测试图像转换至HSV空间后,各像素点对应的V分量值;计算测试图像的各像素点的亮度值,即为计算各像素点对应的V分量值。HSV空间中,H表示色调,S表示饱和度,V表示明度。
可选的,本发明实施例提出的亮度值可为测试图像对应的灰度图中,各像素点对应的灰度值;计算测试图像的各像素点的亮度值,即为计算测试图像对应的灰度图中,各像素点对应的灰度值。
在一个实施例中,采集到的测试图像为RGB图像模式下的图像,可选的,本发明实施例提出的亮度值可为在RGB图像模式下,各像素点对应的RGB值,直接将各像素点对应的RGB值,作为测试图像的各像素点的亮度值,不需要对测试图像进行颜色空间的转换。
可选的,当亮度历史值大于或等于预设阈值时,可确定当前拍摄环境为亮光环境,则无需控制补光部件进行补光,直接控制采集部件进行下一张测试图像采集即可。
S102、依次控制补光部件基于任一补光光强进行补光,同时控制采集部件在任一补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像。
在具体实施中,根据确定出的补光光强,控制补光部件对当前拍摄环境依次进行补光。控制补光部件基于任一补光光强进行补光的同时,控制采集部件在任一补光光强形成的补光环境下进行图像采集。具体的,可在每种补光光强形成的补光环境下均进行图像采集,也可任意选取至少两种补光光强,在选取的各补光光强的各补光环境下,采集初始采集图像。可选的,可控制采集部件在任一补光光强形成的补光环境下采集至少一张初始采集图像。
需要说明的是,本发明实施例并不限定控制补光部件基于不同补光光强进行补光的顺序;可以控制补光部件按照补光光强由弱到强的顺序进行补光,也可控制补光部件按照补光光强由强到弱的顺序进行补光,或可以采用随机顺序选定补光光强进行补光,只要满足选取的补光光强均完成了补光操作,并控制采集部件完成了选取的补光光强对应的补光环境下的图像采集即可。
S103、对至少两张初始采集图像进行图像融合处理,生成目标图像。
可选的,选取全部的初始采集图像进行图像融合处理,也可在初始采集图像中选取至少两张在不同补光光强形成的补光环境下采集到的图像进行图像融合处理,本发明实施例不做限定。
示例性的,当各补光光强形成的补光环境下采集了多张初始采集图像时,可在每个补光环境下选取一张初始采集图像,例如,选取第一张、随机选取或者选择图像噪音最小的初始采集图像,本发明实施例不做限定,将各补光环境下的选取出的初始采集图像进行融合。
本发明实施例所提供的一种图像处理方法,当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;依次控制补光部件基于任一补光光强进行补光,在每一种补光光强形成的补光环境下,均控制采集部件进行图像采集,从而得到具有不同补光光强的至少两张初始采集图像;对具有不同补光光强的初始采集图像进行图像融合处理,生成目标图像。生成的目标图像由于融合了多张不同补光光强的初始采集图像的信息,能够基于多张不同补光光强的初始采集图像进行图像处理,因此生成的目标图像能够更全面、完整的体现出采集对象的特征,避免了仅采用一种补光光强进行图像采集时,易出现的曝光、亮斑等影响图像处理效果的情况,成像效果更好、成像质量更高。
实施例二
本实施例以上述各技术方案为基础进行优化。可选的,确定至少两种补光光强,包括确定补光部件的补光光强范围;根据补光光强的数量,在补光光强范围内确定对应的补光光强。可选的,对至少两张初始采集图像进行图像融合处理,生成目标图像,包括:将各初始采集图像转换为色亮分离模式下的亮度图像和色度图像,并基于各亮度图像确定亮度分量,基于各色度图像确定色度分量;对亮度分量和色度分量进行合并处理,得到色亮分离模式的融合图像,对融合图像进行模式复原处理,生成目标图像。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
图2为本发明实施例提供的另一种图像处理方法的流程图;如图2所示,本发明实施例的方法具体包括如下步骤:
S201、当检测到当前拍摄环境为暗光环境时,确定补光部件的补光光强范围;根据补光光强的数量,在补光光强范围内确定对应的补光光强。
可选的,当前拍摄环境为暗光环境时,可基于补光部件的最大补光光强和最小补光光强确定补光部件的补光光强范围。示例性的,补光部件在无补光输出时,补光光强为0,产生的补光光强最小;可将0至最大补光光强组成范围作为补光部件的补光光强范围。
可选的,可基于当前拍摄环境的暗光系数确定暗光系数对应的最大补光光强。暗光系数用于表示当前拍摄环境的暗光程度,根据当前拍摄环境的暗光程度不同,可设定不同的最大补光光强。
示例性的,可将暗光系数分为低暗光、中暗光、高暗光三个等级,暗光系数越大,表示当前拍摄环境越暗。当当前拍摄环境的暗光系数为高暗光时,表示当前拍摄环境光线最暗,可将补光部件能够输出的最大补光光强设定为高暗光对应的最大补光光强;当拍摄环境暗光系数为中暗光时,可将补光部件能够输出的最大补光光强的三分之二设定为中暗光对应的最大补光光强;当拍摄环境暗光系数为低暗光时,可将补光部件能够输出的最大补光光强的一半设定为低暗光对应的最大补光光强,以避免采集图像时出现大量的过度曝光图像。基于暗光系数对应的最大补光光强和补光部件的最小补光光强确定补光光强范围。
在具体实施中,可根据补光光强的数量,在补光光强范围内随机确定数量对应的补光光强,其中,各补光光强不同。例如,补光光强的数量为5,则在补光光强范围内随机确定5个不同的补光光强进行补光。
可选的,可根据补光光强的数量,在补光光强范围内均匀间隔地确定数量对应的补光光强。为了使采集图像的拍摄环境的补光光强有较为明显的区分,可根据补光光强的数量和补光光强范围确定出补光光强间隔,在补光光强范围内,按照补光光强间隔进行均匀确定数量的补光光强。
可选的,可根据补光光强的数量,将补光光强范围划分为数量的光强子范围,在各光强子范围内分别确定一补光光强。例如,补光光强的数量为5,则可将补光光强范围划分为5个光强子范围,每个光强子范围的范围长度相同,在各光强子范围中可分别随机确定一补光光强。
S202、依次控制补光部件基于任一补光光强进行补光,同时控制采集部件在任一补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像。
S203、将各初始采集图像转换为色亮分离模式下的亮度图像和色度图像,并基于各亮度图像确定亮度分量,基于各色度图像确定色度分量。
在具体实施中,色亮分离模式具体为YUV模式,需要说明的是,本领域技术人员可根据实际应用情况确定HSV等其它模式作为色亮分离模式,本发明实施例不做限定。将各初始采集图像转换到YUV空间,得到对应数量的亮度图像和色度图像。基于各亮度图像,可得到各亮度图像融合后的亮度分量,基于各色度图像,可确定各色度图像融合后的色度分量。
可选的,基于亮度图像序列,对于任一像素位置,依次确定亮度图像序列中相邻两张亮度图像之间对应像素位置的亮度差分值;基于各亮度差分值确定亮度图像中对应像素位置的亮度融合系数,基于亮度图像中对应像素位置的亮度值以及对应的亮度融合系数进行亮度融合,得到对应像素位置的亮度分量。
具体的,可对各亮度图像进行随机排序,得到亮度图像序列;也可基于亮度图像对应的初始采集图像在采集时的补光光强确定。示例性的,按照初始采集图像在采集时的补光光强由弱到强的顺序,对对应的亮度图像进行排序,生成亮度图像序列。
示例性的,补光光强的数量为5,采集5种补光光强对应的初始采集图像,并分别转换到YUV空间,得到5张亮度图像,亮度图像序列分别为0号、1号、2号、3号和4号亮度图像,对于5张亮度图像中的任一像素位置,分别确定0号和1号之间、1号和2号之间、2号和3号之间、3号和4号之间对应像素位置的亮度差分值,分别记为d1、d2、d3和d4。本申请实施例中(x,y)像素位置处的亮度差分值di(x,y)的计算公式如下(即所述亮度差分值为亮度图像序列中相邻的两张亮度图像在(x,y)像素位置处的亮度值相减得到的差值的绝对值):
di(x,y)=|Yi(x,y)-Yi-1(x,y)|
其中,Yi(x,y)和Yi-1(x,y)为亮度图像序列中相邻的两张(第i张和第i-1张)亮度图像在(x,y)像素位置处的亮度值。
可得,d1(x,y)=|Y1(x,y)–Y0(x,y)|,…,d4(x,y)=|Y4(x,y)–Y3(x,y)|,对于一个像素位置,共得到四个亮度差分值。
可选的,将任一亮度图像中对应像素位置对应的亮度差分指数值,与各亮度图像中对应像素位置的亮度差分指数值之和的比值,确定为任一亮度图像中对应像素位置的亮度融合系数;其中,亮度差分指数值包括以自然常数e为底,以亮度差分值的相反数为指数得到的数值。
需要说明的是,由于亮度差分值是通过相邻两图像帧计算得到,而亮度融合系数基于亮度差分值计算得到,因此亮度融合系数的数量要比亮度图像的数量少一个。示例性的,可将基于亮度图像序列中0号和1号亮度图像之间的亮度差分值计算得到的亮度融合系数称为1号亮度图像对应的亮度融合系数,以此类推。
示例性的,亮度图像序列中分别为0号、1号、2号、3号和4号亮度图像,对应像素位置的亮度差分值分别为d1、d2、d3和d4。1号亮度图像对应像素位置的亮度融合系数alph1的计算公式如下:
以此类推,可分别计算得到2号、3号和4号亮度图像对应像素位置的亮度融合系数alph2、alph3和alph4。基于亮度图像中(x,y)像素位置的亮度值Y1(x,y)、Y2(x,y)、Y3(x,y)、Y4(x,y)以及对应(x,y)像素位置的亮度融合系数进行亮度融合,得到(x,y)像素位置的亮度分量。
示例性的,(x,y)像素位置亮度分量Yd(x,y)的计算公式如下:Yd(x,y)=alph1(x,y)×Y1(x,y)+alph2(x,y)×Y2(x,y)+alph3(x,y)×Y3(x,y)
+alph4(x,y)×Y4(x,y)
其中,x、y为亮度图像中的像素位置的坐标。以此类推,可以计算得到亮度图像中所有像素位置的亮度分量。
可选的,对于任一像素位置,基于至少两个色度图像在对应像素位置的色度值确定色度平均值,基于各像素位置的色度平均值作为融合处理后的色度分量。需要说明的是,在YUV空间中,色度图像包括U图像和V图像,可基于至少两个U图像在对应像素位置的U值确定U平均值,将各像素位置的U平均值作为融合处理后的U分量;可基于至少两个V图像在对应像素位置的V值确定V平均值,将各像素位置的V平均值作为融合处理后的V分量。U分量和V分量可称为色度分量。在一些实施例中,可基于所有补光强度对应的初始采集图像确定色度分量。
可选的,在基于至少两个色度图像在对应像素位置的色度值确定色度平均值时,可确定补光光强大于预设强度阈值的至少两个初始采集图像,基于确定的初始采集图像对应的色度图像在对应像素位置的色度值确定色度平均值。由于补光强度太弱将对UV通道颜色产生影响,图像效果较差,因此可选择补光光强大于预设强度阈值的初始采集图像对应的色度图像,对选中的色度图像确定色度平均值。可选的,本领域技术人员可根据实际应用情况,将不影响色度图像效果的最小补光光强确定为预设强度阈值,具体数值本实施例不做限定。
可选的,在基于至少两个色度图像在对应像素位置的色度值确定色度平均值时,可基于补光光强由大到小确定预设数量的初始采集图像,基于确定的初始采集图像对应的色度图像在对应像素位置的色度值确定色度平均值,其中,预设数量大于等于2,且小于或等于初始采集图像的总数量。本发明实施例可根据预设数量,选取补光光强较大的预设数量的初始采集图像对应的色度图像,从而放弃了补光强度值较低的色度图像,有利于提高确定色度平均值的准确度。
示例性的,初始采集图像的总数量为5,预设数量可设为3,在基于至少两个色度图像在对应像素位置的色度值确定色度平均值时,可选取补光光强由大到小的顺序确定的3张初始采集图像,并基于确定出的3张初始采集图像对应的色度图像确定色度平均值。也可去除初始采集图像中补光光强最弱和补光光强最强的两张初始采集图像,选取剩余的3张初始采集图像对应的色度图像确定色度平均值。
S204、对亮度分量和色度分量进行合并处理,得到色亮分离模式的融合图像,对融合图像进行模式复原处理,生成目标图像。
可选的,将确定出的亮度分量和色度分量按照对应的像素位置的关系,进行合并处理,得到色亮分离模式的融合图像,从而实现基于采集到的至少两张初始采集图像融合为一张融合图像。此时的融合图像仍处于色亮分离模式,需要对融合图像进行模式复原处理,才能得到与初始采集图像的图像模式相同的目标图像。示例性的,当采集到的初始采集图像为RGB模式,色亮分离模式为YUV模式时,对亮度分量和色度分量进行合并处理包括对Y分量、U分量和V分量进行合并处理,从而得到YUV模式下的融合图像。再对融合图像进行从YUV模式向RGB模式的复原处理,生成RGB模式的目标图像。YUV模式和RGB模式互相转换的公式如下:
Y=0.299R+0.587G+0.114B
U=-0.147R-0.289G+0.436B
V=0.615R-0.515G-0.100B
R=Y+1.14V
G=Y-0.39U-0.58V
B=Y+2.03U
本发明实施例所提供的一种图像处理方法,将各初始采集图像转换为色亮分离模式下的亮度图像和色度图像,并基于各亮度图像的亮度分量、各色度图像的色度分量,生成目标图像。本发明实施例选取了补光光强有较为明显的区分的初始采集图像,并基于初始采集图像确定出补光强度值较大、成像效果较好的色度图像进行计算,确保了生成的目标图像的准确度和成像效果。
实施例三
本实施例以上述各技术方案为基础进行优化。可选的,在对至少两张初始采集图像进行图像融合处理之前,还可以包括对各初始采集图像进行降噪处理。可选的,在对至少两张初始采集图像进行图像融合处理之前,还可以包括对各初始采集图像进行图像对齐操作。其中,与上述各实施例相同或相应的术语的解释在此不再赘述。
图3为本发明实施例提供的另一种图像处理方法的流程图;如图3所示,本发明实施例的方法具体包括如下步骤:
S301、当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强。
S302、依次控制补光部件基于任一补光光强进行补光,同时控制采集部件在任一补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像。
S303、对各初始采集图像进行降噪处理。
可选的,通过低通滤波的方式对初始采集图像进行平滑降噪处理,从而得到平滑的初始采集图像。具体的,可采用线性的均值滤波器、高斯滤波器,非线性的双边滤波器、中值滤波器等滤波器实现对初始采集图像的降噪处理。本实施例通过低通滤波的方式,保证初始采集图像的图像质量,去除掉不需要的信息,减少噪声对生成目标图像过程的干扰。
S304、对降噪处理后的各初始采集图像进行图像对齐操作。
可选的,在对各初始采集图像进行图像对齐操作时,首先对完成降噪处理的各初始采集图像进行特征点提取。具体的,特征点包括但不限于sift(Scale-invariantfeature transform,尺度不变特征变换)特征点、orb特征点和surf(Speeded up robustfeature,加速稳健特征)特征点等特征点。通常来说,选取的特征点数量越多,对齐的准确度越精确。本领域技术人员可综合考虑对齐精度和计算量两方面因素确定选取特征点的数量,本发明实施例不做限定。
进一步的,在各初始采集图像中确定出目标采集图像;可在各初始采集图像中随机确定一张初始采集图像作为目标采集图像,将该目标采集图像作为基准,使各剩余初始采集图像向该目标采集图像进行对齐。为了便于计算,也可直接将最后一张获取到的初始采集图像作为目标采集图像,将获取到的前几张初始采集图像作为剩余初始采集图像。
在进行剩余初始采集图像向目标采集图像进行对齐操作时,可对目标采集图像中的特征点与各剩余初始采集图像中的特征点进行匹配操作。具体的,可采用RANSAC(RandomSample Consensus,随机采样一致性算法),完成各剩余初始采集图像中的特征点与目标采集图像中的特征点之间的匹配。根据匹配结果,计算目标采集图像与各剩余初始采集图像之间的单应性变换关系;基于各单应性变换关系,将各剩余初始采集图像进行变换处理,完成各剩余初始采集图像的对齐变换处理,从而便于进行后续的各初始采集图像的融合处理。
S305、对至少两张初始采集图像进行图像融合处理,生成目标图像。
步骤S304中对剩余初始采集图像执行对齐变换处理,将对齐变换处理后的初始采集图像和目标采集图像进行图像融合处理,生成目标图像。
在一些实施例中,步骤S303可省,当步骤S302得到至少两张初始采集图像后,即可执行步骤S304,对得到至少两张初始采集图像进行图像对齐操作,然后再通过步骤S305对至少两张初始采集图像进行图像融合处理,生成目标图像。
本发明实施例所提供的一种图像处理方法,对初始采集图像进行了降噪处提高了初始采集图像的图像效果,确保了生成的目标图像的成像效果;并对降噪后的初始采集图像进行了图像对齐操作,便于进行后续的图像融合处理。
实施例四
上文中对于图像处理方法对应的实施例进行了详细描述,为了使本领域技术人员进一步清楚本方法的技术方案,下文中给出具体的应用场景。
在一个应用场景中,将手机自带的摄像头作为图像采集部件,在当前拍摄环境下,开启摄像头开始采集RGB模式下的测试图像,计算测试图像的各像素点的灰度值,基于各像素点的灰度值计算测试图像的灰度均值;根据灰度均值和时间相关因子,计算当前拍摄环境下的亮度历史值;将亮度历史值和预设阈值进行比较,当亮度历史值小于预设阈值时,将当前拍摄环境检测为暗光环境。
当前拍摄环境为暗光环境时,选择5种强弱不同的补光光强。向补光部件输入[0,100]范围内的整型参数来控制补光光强,补光部件可为手机自带的闪光灯等部件。0代表无补光输出,100代表输出补光强度最大。依次输入补光部件的参数为0,25,50,75,100,并在每个参数输入后采集一张图像作为初始采集图像,按照补光光强的由弱到强的顺序,采集的5张图像形成暗光环境下的初始采集图像序列。
对初始采集图像序列中的各初始采集图像进行低通滤波以实现降噪处理,对降噪处理后的各初始采集图像提取sift特征点,从5张初始采集图像中任选一张初始采集图像作为目标采集图像。例如,以补光输入参数为100时,采集的图像为目标采集图像,对其它四张初始采集图像进行图像对齐处理。具体的,采用RANSAC算法把其它四张初始采集图像与目标采集图像进行匹配,根据匹配结果,计算单应性变换,根据单应性变换,对其它四张初始采集图像进行变换,得到一组对齐的图像,包括第一张初始采集图像对齐后的图像、第二张初始采集图像对齐后的图像、第三张初始采集图像对齐后的图像、第四张初始采集图像对齐后的图像。
将对齐后的四张初始采集图像和目标采集图像转化到YUV空间,得到5个Y分量的亮度图像和5个U分量、5个V分量的色度图像。基于亮度图像上的任一像素位置,计算该像素位置的亮度图像序列中相邻两张亮度图像的亮度差分值,基于四个亮度差分值计算对应的融合系数,根据融合系数和亮度图像的亮度值,计算融合处理后的Y分量。选择色度图像序列中的后三张色度图像,分别计算U平均值和V平均值作为融合图像的U分量和V分量。将Y分量、U分量和V分量进行融合处理,得到合并后的YUV图像,根据YUV和RGB互相转换的公式,将YUV图像转换为RGB空间的目标图像进行输出。
本发明实施例选取了补光光强有较为明显的区分的5张初始采集图像,并基于初始采集图像确定出补光光强较大、成像效果较好的色度图像进行计算,确保了生成的目标图像的准确度和成像效果,提高了用户体验感。
实施例五
图4为本发明实施例提供的图像处理装置的结构图,该装置用于执行上述任意实施例所提供的图像处理方法。该装置与上述各实施例的图像处理方法属于同一个发明构思,在图像处理装置的实施例中未详尽描述的细节内容,可以参考上述图像处理方法的实施例。参见图4,该装置具体可包括:
暗光检测模块10,用于当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;
图像采集模块11,用于依次控制补光部件基于任一补光光强进行补光,同时控制采集部件在任一补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;
图像融合模块12,用于对至少两张初始采集图像进行图像融合处理,生成目标图像。
在本发明实施例任一可选实施方案的基础上,暗光检测模块10包括:
第一确定单元,用于确定补光部件的补光光强范围;
第二确定单元,用于根据补光光强的数量,在补光光强范围内确定对应的补光光强。
在本发明实施例任一可选实施方案的基础上,第二确定单元包括:
随机确定单元,用于根据补光光强的数量,在补光光强范围内随机确定数量对应的补光光强,其中,各补光光强不同;或者,
均匀确定单元,用于根据补光光强的数量,在补光光强范围内均匀间隔地确定数量对应的补光光强;或者,
子范围确定单元,用于根据补光光强的数量,将补光光强范围划分为数量的光强子范围,在各光强子范围内分别确定一补光光强。
在本发明实施例任一可选实施方案的基础上,补光光强的数量为5。
在本发明实施例任一可选实施方案的基础上,图像融合模块12包括:
转换单元,用于将各初始采集图像转换为色亮分离模式下的亮度图像和色度图像,并基于各亮度图像确定亮度分量,基于各色度图像确定色度分量;
合并单元,用于对亮度分量和色度分量进行合并处理,得到色亮分离模式的融合图像,对融合图像进行模式复原处理,生成目标图像。
在本发明实施例任一可选实施方案的基础上,转换单元包括:
确定亮度差分值单元,用于基于亮度图像序列,对于任一像素位置,依次确定亮度图像序列中相邻两张亮度图像之间对应像素位置的亮度差分值;
确定亮度分量单元,用于基于各亮度差分值确定亮度图像中对应像素位置的亮度融合系数,基于亮度图像中对应像素位置的亮度值以及对应的亮度融合系数进行亮度融合,得到对应像素位置的亮度分量。
在本发明实施例任一可选实施方案的基础上,确定亮度分量单元包括:
确定亮度融合系数单元,用于将任一亮度图像中对应像素位置对应的亮度差分指数值,与各亮度图像中对应像素位置的亮度差分指数值之和的比值,确定为任一亮度图像中对应像素位置的亮度融合系数;其中,亮度差分指数值包括以自然常数e为底,以亮度差分值的相反数为指数得到的数值。
在本发明实施例任一可选实施方案的基础上,亮度图像序列基于亮度图像对应的初始采集图像在采集时的补光光强确定。
在本发明实施例任一可选实施方案的基础上,转换单元包括:
色度分量确定单元,用于对于任一像素位置,基于至少两个色度图像在对应像素位置的色度值确定色度平均值,基于各像素位置的色度平均值作为融合处理后的色度分量。
在本发明实施例任一可选实施方案的基础上,色度分量确定单元包括:
第一确定色度平均值单元,用于确定补光光强大于预设强度阈值的至少两个初始采集图像,基于确定的初始采集图像对应的色度图像在对应像素位置的色度值确定色度平均值;或者,
第二确定色度平均值单元,用于基于补光光强由大到小确定预设数量的初始采集图像,基于确定的初始采集图像对应的色度图像在对应像素位置的色度值确定色度平均值,其中,预设数量大于等于2,且小于或等于初始采集图像的总数量。
在本发明实施例任一可选实施方案的基础上,图像处理装置还包括:
降噪模块,用于在对至少两张初始采集图像进行图像融合处理之前,对各初始采集图像进行降噪处理。
在本发明实施例任一可选实施方案的基础上,图像处理装置还包括:
对齐模块,用于在对至少两张初始采集图像进行图像融合处理之前,对各初始采集图像进行图像对齐操作。
在本发明实施例任一可选实施方案的基础上,对齐模块包括:
特征点提取单元,用于对各初始采集图像进行特征点提取,在各初始采集图像中确定出目标采集图像;
特征点匹配单元,用于对目标采集图像中的特征点与各剩余初始采集图像中的特征点进行匹配操作;
确定变换关系单元,用于根据各剩余初始采集图像的特征点与目标采集图像的特征点之间的匹配操作得到的结果,计算目标采集图像与各剩余初始采集图像之间的单应性变换关系;
对齐变换单元,用于基于各单应性变换关系,将各剩余初始采集图像进行对齐变换处理。
在本发明实施例任一可选实施方案的基础上,暗光检测模块10包括:
图像采集单元,用于通过采集部件在当前拍摄环境下进行图像采集以得到测试图像;
计算亮度均值单元,用于计算测试图像的各像素点的亮度值,基于亮度值计算测试图像的亮度均值;
计算亮度历史值单元,用于基于亮度均值与时间相关因子,计算当前拍摄环境下的亮度历史值;
比较单元,用于当亮度历史值小于预设阈值时,将当前拍摄环境检测为暗光环境。
在本发明实施例任一可选实施方案的基础上,计算亮度均值单元包括:
计算Y分量值单元,用于计算测试图像转换至YUV空间后,各像素点对应的Y分量值;或者,
计算V分量值单元,用于计算测试图像转换至HSV空间后,各像素点对应的V分量值;或者,
计算灰度值单元,用于计算测试图像对应的灰度图中,各像素点对应的灰度值;或者,
计算RGB值单元,用于计算测试图像在RGB图像模式下,各像素点对应的RGB值。
本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述图像处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例六
图5为本发明实施例提供的电子设备的结构图,图5为本发明实施例提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性电子设备20的框图。图5显示的电子设备20仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,电子设备20以通用计算设备的形式表现。电子设备20的组件可以包括但不限于:一个或者多个处理器或者处理单元201,系统存储器202,连接不同系统组件(包括系统存储器202和处理单元201)的总线203。
总线203表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备20典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备20访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器202可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)204和/或高速缓存存储器205。电子设备20可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统206可以用于读写不可移动的、非易失性磁介质。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如―软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线203相连。存储器202可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块207的程序/实用工具208,可以存储在例如存储器202中,这样的程序模块207包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块207通常执行本发明所描述的实施例中的功能和/或方法。
电子设备20也可以与一个或多个外部设备209(例如键盘、指向设备、显示器210等)通信,还可与一个或者多个使得用户能与该电子设备20交互的设备通信,和/或与使得该电子设备20能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口211进行。并且,电子设备20还可以通过网络适配器212与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器212通过总线203与电子设备20的其它模块通信。应当明白,尽管图5中未示出,可以结合电子设备20使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元201通过运行存储在系统存储器202中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的图像处理方法。
本发明所提供的一种电子设备,能够实现如下方法:当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;依次控制补光部件基于任一所述补光光强进行补光,同时控制采集部件在任一所述补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;对至少两张所述初始采集图像进行图像融合处理,生成目标图像。
本发明实施例所提供的电子设备可执行本发明任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。
实施例七
本发明实施例提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法,该方法包括:
当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;依次控制补光部件基于任一所述补光光强进行补光,同时控制采集部件在任一所述补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;对至少两张所述初始采集图像进行图像融合处理,生成目标图像。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如―C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (18)
1.一种图像处理方法,其特征在于,包括:
当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;
依次控制补光部件基于任一所述补光光强进行补光,同时控制采集部件在任一所述补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;
对至少两张所述初始采集图像进行图像融合处理,生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述确定至少两种补光光强,包括:
确定所述补光部件的补光光强范围;
根据所述补光光强的数量,在所述补光光强范围内确定对应的补光光强。
3.根据权利要求2所述的方法,其特征在于,所述根据所述补光光强的数量,在所述补光光强范围内确定对应的补光光强,包括:
根据所述补光光强的数量,在所述补光光强范围内随机确定所述数量对应的补光光强,其中,各所述补光光强不同;或者,
根据所述补光光强的数量,在所述补光光强范围内均匀间隔地确定所述数量对应的补光光强;或者,
所述根据所述补光光强的数量,将所述补光光强范围划分为所述数量的光强子范围,在各所述光强子范围内分别确定一补光光强。
4.根据权利要求1-3中任一所述的方法,其特征在于,补光光强的数量为5。
5.根据权利要求1所述的方法,其特征在于,所述对至少两张所述初始采集图像进行图像融合处理,生成目标图像,包括:
将各所述初始采集图像转换为色亮分离模式下的亮度图像和色度图像,并基于各所述亮度图像确定亮度分量,基于各所述色度图像确定色度分量;
对所述亮度分量和所述色度分量进行合并处理,得到色亮分离模式的融合图像,对所述融合图像进行模式复原处理,生成所述目标图像。
6.根据权利要求5所述的方法,其特征在于,基于各所述亮度图像确定亮度分量,包括:
基于亮度图像序列,对于任一像素位置,依次确定所述亮度图像序列中相邻两张亮度图像之间对应像素位置的亮度差分值;
基于各所述亮度差分值确定所述亮度图像中所述像素位置的亮度融合系数,基于所述亮度图像中所述像素位置的亮度值以及对应的所述亮度融合系数进行亮度融合,得到所述像素位置的亮度分量。
7.根据权利要求6所述的方法,其特征在于,所述基于各所述亮度差分值确定所述亮度图像中所述像素位置的亮度融合系数,包括:
将任一亮度图像中所述像素位置对应的亮度差分指数值,与各亮度图像中所述像素位置的亮度差分指数值之和的比值,确定为所述任一亮度图像中所述像素位置的亮度融合系数;其中,所述亮度差分指数值包括以自然常数为底,以亮度差分值的相反数为指数得到的数值。
8.根据权利要求6所述的方法,其特征在于,所述亮度图像序列基于亮度图像对应的初始采集图像在采集时的补光光强确定。
9.根据权利要求5所述的方法,其特征在于,所述基于各所述色度图像确定色度分量,包括:
对于任一像素位置,基于至少两个所述色度图像在所述像素位置的色度值确定色度平均值,基于各所述像素位置的所述色度平均值作为融合处理后的色度分量。
10.根据权利要求9所述的方法,其特征在于,所述基于至少两个所述色度图像在所述像素位置的色度值确定色度平均值,包括:
确定补光光强大于预设强度阈值的至少两个初始采集图像,基于确定的所述初始采集图像对应的色度图像在所述像素位置的色度值确定色度平均值;或者,
基于补光光强由大到小确定预设数量的初始采集图像,基于确定的所述初始采集图像对应的色度图像在所述像素位置的色度值确定色度平均值,其中,所述预设数量大于等于2,且小于或等于所述初始采集图像的总数量。
11.根据权利要求1所述的方法,其特征在于,在对至少两张所述初始采集图像进行图像融合处理之前,还包括:
对各所述初始采集图像进行降噪处理。
12.根据权利要求1或11所述的方法,其特征在于,在对至少两张所述初始采集图像进行图像融合处理之前,还包括:
对各所述初始采集图像进行图像对齐操作。
13.根据权利要求12所述的方法,其特征在于,所述对各所述初始采集图像进行图像对齐操作,包括:
对各所述初始采集图像进行特征点提取,在各所述初始采集图像中确定出目标采集图像;
对所述目标采集图像中的特征点与各剩余初始采集图像中的特征点进行匹配操作;
根据各所述剩余初始采集图像的特征点与所述目标采集图像的特征点之间的匹配操作得到的结果,计算所述目标采集图像与各所述剩余初始采集图像之间的单应性变换关系;
基于各所述单应性变换关系,将各所述剩余初始采集图像进行对齐变换处理。
14.根据权利要求1所述的方法,其特征在于,检测当前拍摄环境为暗光环境,包括:
通过所述采集部件在所述当前拍摄环境下进行图像采集以得到测试图像;
计算所述测试图像的各像素点的亮度值,基于所述亮度值计算所述测试图像的亮度均值;
基于所述亮度均值与时间相关因子,计算所述当前拍摄环境下的亮度历史值;
当所述亮度历史值小于预设阈值时,将当前拍摄环境检测为所述暗光环境。
15.根据权利要求14所述的方法,其特征在于,所述计算所述测试图像的各像素点的亮度值,包括:
计算所述测试图像转换至YUV空间后,各像素点对应的Y分量值;或者,
计算所述测试图像转换至HSV空间后,各像素点对应的V分量值;或者,
计算所述测试图像对应的灰度图中,各像素点对应的灰度值;或者,
计算所述测试图像在RGB图像模式下,各像素点对应的RGB值。
16.一种图像处理装置,其特征在于,包括:
暗光检测模块,用于当检测到当前拍摄环境为暗光环境时,确定至少两种补光光强;
图像采集模块,用于依次控制补光部件基于任一所述补光光强进行补光,同时控制采集部件在任一所述补光光强形成的补光环境下进行图像采集,得到至少两张初始采集图像;
图像融合模块,用于对至少两张所述初始采集图像进行图像融合处理,生成目标图像。
17.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-15中任一所述的图像处理方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-15中任一所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110438314.XA CN113132639B (zh) | 2021-04-22 | 2021-04-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110438314.XA CN113132639B (zh) | 2021-04-22 | 2021-04-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113132639A true CN113132639A (zh) | 2021-07-16 |
CN113132639B CN113132639B (zh) | 2023-02-03 |
Family
ID=76779343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110438314.XA Active CN113132639B (zh) | 2021-04-22 | 2021-04-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113132639B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506283A (zh) * | 2021-07-26 | 2021-10-15 | 浙江大华技术股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN114302068A (zh) * | 2022-01-06 | 2022-04-08 | 重庆紫光华山智安科技有限公司 | 图像拍摄方法及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104092955A (zh) * | 2014-07-31 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集设备 |
CN104376545A (zh) * | 2013-08-16 | 2015-02-25 | 联想(北京)有限公司 | 一种信息处理的方法及一种电子设备 |
US20160125630A1 (en) * | 2014-10-30 | 2016-05-05 | PathPartner Technology Consulting Pvt. Ltd. | System and Method to Align and Merge Differently Exposed Digital Images to Create a HDR (High Dynamic Range) Image |
CN106204513A (zh) * | 2016-08-15 | 2016-12-07 | 厦门美图之家科技有限公司 | 图像处理的方法、装置和系统 |
CN107590791A (zh) * | 2017-09-22 | 2018-01-16 | 深圳市华星光电半导体显示技术有限公司 | 图像增强方法以及图像处理装置 |
CN111726542A (zh) * | 2020-06-12 | 2020-09-29 | Oppo广东移动通信有限公司 | 一种摄像头补光方法及终端、存储介质 |
CN111885304A (zh) * | 2020-07-16 | 2020-11-03 | 深圳传音控股股份有限公司 | 拍摄方法、移动终端和计算机存储介质 |
CN112188175A (zh) * | 2020-08-25 | 2021-01-05 | 北京旷视科技有限公司 | 拍摄设备及图像处理方法 |
-
2021
- 2021-04-22 CN CN202110438314.XA patent/CN113132639B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376545A (zh) * | 2013-08-16 | 2015-02-25 | 联想(北京)有限公司 | 一种信息处理的方法及一种电子设备 |
CN104092955A (zh) * | 2014-07-31 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集设备 |
US20160125630A1 (en) * | 2014-10-30 | 2016-05-05 | PathPartner Technology Consulting Pvt. Ltd. | System and Method to Align and Merge Differently Exposed Digital Images to Create a HDR (High Dynamic Range) Image |
CN106204513A (zh) * | 2016-08-15 | 2016-12-07 | 厦门美图之家科技有限公司 | 图像处理的方法、装置和系统 |
CN107590791A (zh) * | 2017-09-22 | 2018-01-16 | 深圳市华星光电半导体显示技术有限公司 | 图像增强方法以及图像处理装置 |
CN111726542A (zh) * | 2020-06-12 | 2020-09-29 | Oppo广东移动通信有限公司 | 一种摄像头补光方法及终端、存储介质 |
CN111885304A (zh) * | 2020-07-16 | 2020-11-03 | 深圳传音控股股份有限公司 | 拍摄方法、移动终端和计算机存储介质 |
CN112188175A (zh) * | 2020-08-25 | 2021-01-05 | 北京旷视科技有限公司 | 拍摄设备及图像处理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113506283A (zh) * | 2021-07-26 | 2021-10-15 | 浙江大华技术股份有限公司 | 图像处理方法及装置、存储介质、电子装置 |
CN114302068A (zh) * | 2022-01-06 | 2022-04-08 | 重庆紫光华山智安科技有限公司 | 图像拍摄方法及设备 |
CN114302068B (zh) * | 2022-01-06 | 2023-09-26 | 重庆紫光华山智安科技有限公司 | 图像拍摄方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113132639B (zh) | 2023-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8965121B2 (en) | Image color matching and equalization devices and related methods | |
CN107451969A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN113132639B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
KR20050009694A (ko) | 브래킷된 이미지 시퀀스로부터 고 동적 범위 이미지를생성하는 시스템 및 프로세스 | |
CN107690804B (zh) | 一种图像处理方法及用户终端 | |
Qian et al. | Video background replacement without a blue screen | |
CN112541868B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN112116542B (zh) | 图像对比度增强方法、装置、电子设备和存储介质 | |
CN113962859B (zh) | 一种全景图生成方法、装置、设备及介质 | |
CN107317967A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN113538223A (zh) | 噪声图像生成方法、装置、电子设备及存储介质 | |
CN115082350A (zh) | 频闪图像处理方法、装置、电子设备和可读存储介质 | |
CN116823674B (zh) | 一种跨模态融合的水下图像增强方法 | |
CN113610720A (zh) | 视频去噪方法及装置、计算机可读介质和电子设备 | |
CN107392870A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN107424134A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN111970501A (zh) | 纯色场景ae色彩处理方法、装置、电子设备及存储介质 | |
CN112488933B (zh) | 一种视频的细节增强方法、装置、移动终端和存储介质 | |
CN116263942A (zh) | 一种调整图像对比度的方法、存储介质及计算机程序产品 | |
CN114359166A (zh) | 屏幕颜色检测方法、装置、设备及存储介质 | |
CN112243118B (zh) | 白平衡校正方法、装置、设备及存储介质 | |
CN113674158A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114638951B (zh) | 房屋模型的展示方法、装置、电子设备和可读存储介质 | |
CN116962890B (zh) | 点云图像的处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Patentee after: CHINA ELECTRONICS STANDARDIZATION INSTITUTE Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Patentee before: CHINA ELECTRONICS STANDARDIZATION INSTITUTE |
|
CP02 | Change in the address of a patent holder |