CN107734246A - 一种图像处理方法、装置及相关电路 - Google Patents

Abstract

本发明实施例属于图像处理领域，涉及图像处理方法、装置及相关电路，其中所述图像处理方法包括获取同一场景多幅图像；获取所述多幅图像中像素的颜色值；根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。所述图像处理装置包括图像采集模块、图像信息获取模块、图像合成模块。所述图像处理电路包括依次连接的图像采集电路模块、存储电路模块、图像信息获取电路模块、图像合成电路模块。根据本发明实施例提供的图像处理方法、装置及相关电路，图像处理方法所采用的算法可在FPGA上实现，从而快速实现多幅LDR图像的合成，得到HDR图像，在一幅图像中同时展现暗部和亮部细节。

Description

一种图像处理方法、装置及相关电路

技术领域

本发明属于图像处理领域，尤其涉及一种图像处理方法、装置及相关电路。

背景技术

通过摄像机进行图片或者视频拍摄时，通过胶片或感光元件所捕捉的画面并不能真实展现现实环境中的视觉效果，这是因为在现实场景内光线的亮度范围很大，现实场景中存在的亮度差的数量级为10⁸，人眼所能看到的亮度范围的数量级在10⁵左右，而摄像机仅能表示256种不同层次的亮度，其能展现的亮度范围很窄，因此通过摄像机捕捉的图像为低动态范围(LDR，Low-Dynamic Range)图像，LDR图像只能对较窄的亮度范围清晰成像，对于大动态范围的现实环境，无法兼顾场景中的暗部细节和亮部细节。

为了尽可能展现现实场景的细节，现有技术一般通过合成多幅LDR图像得到高动态范围(HDR，High-Dynamic Range)图像，而其合成过程主要通过软件算法来实现，存在的主要问题是算法复杂，计算量大，其处理过程受限于合成处理设备的性能。

发明内容

基于上述背景，本发明实施例提供一种图像处理方法、装置及相关电路，该图像处理方法所采用的算法可在FPGA上实现，可解决现有处理算法复杂，计算量大，消耗系统资源的问题。

本发明实施例提供的基于FPGA的图像处理方法具体包括：

获取同一场景多幅图像，其中，所述多幅图像的曝光时间不同；

获取所述多幅图像中像素的颜色值；

根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。

进一步地，所述方法还包括对所述合成图像执行颜色校正操作

进一步地，所述颜色校正操作包括：

校正所述多幅图像中像素对应景物光的色彩值；

计算合成图像像素对应景物光的最佳色彩值；

根据所述最佳色彩值计算合成图像的校正颜色值。

进一步地，所述合成图像像素颜色值通过下式获得：

其中，为所述多幅图像的像素颜色值，R_x,G_x,B_x为合成图像的颜色值，和R_x对应为红光分量，和G_x对应为绿光分量，和B_x对应为蓝光分量。

进一步地，所述最佳色彩值通过下式获得：

其中为红光最佳色彩值，为绿光最佳色彩值，为蓝光最佳色彩值，为校正参数，a_r、a_g、a_b为常量。

进一步地，所述校正颜色值通过下式获得：

另一方面，本发明实施例还提供一种图像处理装置，包括：

图像采集模块，用于获取同一场景多幅图像，其中，所述多幅图像的曝光时间不同；

图像信息获取模块，获取所述多幅图像中像素的颜色值；

图像合成模块，用于根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。

进一步地，所述装置还包括图像校正模块，用于对所述合成图像执行颜色校正操作。

进一步地，所述图像校正模块包括：

色彩值校正单元，用于校正所述多幅图像中像素对应景物光的色彩值；

最佳色彩值获取单元，用于计算合成图像像素对应景物光的最佳色彩值；

校正颜色值获取单元，用于根据所述最佳色彩值计算合成图像的校正颜色值。

另一方面，本发明实施例还提供一种用于图像处理的FPGA电路，包括依次连接的图像采集电路模块、存储电路模块、图像信息获取电路模块、图像合成电路模块；

其中，所述图像采集电路模块用于获取同一场景多幅图像后，将所述多幅图像保存至所述存储电路模块；所述图像信息获取电路模块用于从所述存储电路模块中获取所述多幅图像，以获取所述多幅图像中像素的颜色值；所述图像合成电路模块用于根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。

进一步地，所述电路还包括图像校正电路模块，用于对所述合成图像执行颜色校正操作。

根据本发明实施例提供的图像处理方法、装置及相关电路，该图像处理方法所采用的算法可在FPGA上实现，从而快速实现多幅LDR图像的合成，得到HDR图像，在一幅图像中同时展现暗部和亮部细节。

附图说明

为了更清楚地说明本发明或现有技术中的方案，下面将对实施例或现有技术描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像处理方法的流程图。

图2为本发明实施例提供的图像处理方法的另一流程图。

图3为光电传感器的光电转换曲线。

图4为本发明实施例提供的图像颜色校正流程图。

图5为置信度与亮度的关系曲线。

图6为本发明实施例提供的图像处理装置的结构框图。

图7为本发明实施例提供的图像校正模块的结构框图。

图8为本发明实施例提供的实现图像处理方法的FPGA电路框图。

图9为本发明实施例提供合成HDR图像中像素点的FPGA实现框图。

图10为本发明实施例提供的获得最佳色彩值的FPGA实现框图。

图11为本发明实施例提供的校正HDR图像颜色的FPGA实现框图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行全面的描述。但是，本发明也可以采用其他多种不同的形式来实现，并不限于本文所描述的实施例。

除非另有定义，本文使用的技术术语与本领域技术人员通常理解的含义相同。

自然场景内，景物光的亮度范围很大，常见的摄像头只能对较窄的亮度范围清晰成像(LDR)，由多幅在不同亮度范围(摄像头采用不同曝光时间)清晰成像的LDR图像可以合成一幅对很宽亮度范围(HDR)清晰成像的图像。下面通过具体实施例对本发明的技术内容加以说明。

本发明实施例中，参见图1所示流程图，图示为本发明实施例提供一种图像处理方法，具体包括：

S01、获取同一场景多幅图像，其中，所述多幅图像的曝光时间不同；

采用不同曝光时间获取不同亮度范围的LDR图像，具体的，通过依次增加曝光时间的方式获取，优选地，依次获取的LDR图像对应的曝光时间为一等差数列。

S02、获取所述多幅图像中像素的颜色值；

具体地，本发明实施例的技术方案基于RGB空间实现，通过红光分量、绿光分量、蓝光分量来表征现实场景的亮度和色彩。根据RGB颜色模型，现实场景中景物H发出的景物光对应的光值可以用H＝[l_r,l_g,l_b]表示，其中l_r、l_g、l_b分别为景物H发出的景物光中的红光分量、绿光分量、蓝光分量。摄像头拍摄时，红光、绿光、蓝光通过摄像头镜头的过滤光片分离，并由光电传感器分别采集这三个分量的光强度，将光信号转换为电信号，经光电传感器得到的电信号将用于生成黑白或者彩色图像，具体通过景物光到图像颜色值的映射关系来实现。

当把现实场景中景物H发出的景物光用亮度与色彩表征时，则景物光的亮度值可由红光、绿光、蓝光三个分量的和值表征，具体为L＝l_r+l_g+l_b；景物光的色彩值可由红光、绿光、蓝光三个分量的比值表征，具体为P＝l_r:l_g:l_b。

下面将给出景物H发出的景物光的光值到图像颜色值的一个简单映射关系。

在本发明实施例中，对于一幅LDR图像，给定景物光的光值H＝[l_r,l_g,l_b]，经摄像头成像后，生成的图像对应的像素点的颜色值为[r,g,b]，则景物光的光值与图像的像素点的颜色值对应关系如下：

r＝ψ(a_rl_r)+n， (1)

g＝ψ(a_gl_g)+n， (2)

b＝ψ(a_bl_b)+n， (3)

其中，n为噪声，a_r、a_g、a_b对于一个给定的摄像头是常量。

相应地，生成的图像对应的像素点的亮度值为l＝r+g+b。

S03、根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值和亮度值。

具体地，把多幅LDR图像中相同位置的像素点对应像素颜色值相加，把各LDR图像中清晰成像的信息集中到一幅HDR图像中。

当一组LDR图像合成一幅HDR图像时，把这组LDR图像对应像素颜色值相加，就能很紧凑的把每一幅LDR图像中清晰成像的信息集中到同一幅HDR图像中。根据本发明实施例，现有N幅LDR图像，分别用I₁、I₂、…、I_j、…I_N表示，p_x为LDR图像中任意位置的像素点，在各LDR图像中各像素点的颜色值为其中j为对应LDR图像的标号。在合成的HDR图像中的像素点p_x的新颜色值为[R_x,G_x,B_x]，则有下述公式：

相应地，通过式(4)、式(5)、式(6)可获得在合成的HDR图像中像素点p_x的亮度值为

在本实施例中，参见图2，图示为本发明实施例提供的图像处理方法的流程图。

第一方面，在式(1)、式(2)、式(3)中，由于摄像头的滤光片对红光分量、绿光分量、蓝光分量三个分量的滤光程度不相同等原因，a_r、a_g、a_b这三个常量的值将不相等，这也是摄像头需要白平衡的重要原因；

第二方面，式(1)、式(2)、式(3)中的函数ψ(x)大体上体现了光电传感器的光电转换性能，如图3所示，当光强度过大时会进入光电转换的饱和区，而在进入饱和区前，函数ψ(x)大体上体现线性函数的特性，在本发明实施例中对应为

第三方面，摄像头在拍摄照片或视频时，存在噪声。

综上所述，由于a_r、a_g、a_b三个常量的值不相同，以及光电转换存在的饱和区，以及噪声等原因，摄像头获得的LDR图像会出现颜色失真现象。

由于各LDR图像中像素颜色在采集过程中原本失真，因此前述发明实施例合成的HDR会出现色彩失真现象。基于上述内容，进一步地，基于FPGA的图像处理方法还包括步骤：

S05、HDR图像颜色校正。

具体地，如图4所示，所述HDR图像颜色校正步骤包括：

S051、校正所述LDR图像中各像素点对应景物光的色彩值；

具体地，由于现实场景中的景物光的色彩值可由红光分量、绿光分量、蓝光分量这三个分量的比值表征，所以为了校正失真的色彩，需要获取HDR图像中各像素点对应景物光中红光分量、绿光分量、蓝光分量三个分量的正确比值，而HDR图像由LDR图像合成而来，在求取HDR图像对应的景物光的正确色彩值前，需获得每一幅LDR图像对应景物光的校正色彩值，即LDR图像对应的景物光的l_r:l_g:l_b的正确值，而l_r:l_g:l_b的正确值可通过a_r、a_g、a_b三个常量的比值来获得，在求取l_r:l_g:l_b的正确值前，首先求取a_r、a_g、a_b三个常量的比值。

可选的，在式(1)、式(2)、式(3)中构成的景物光的光值到图像颜色值的映射关系中，a_r、a_g、a_b这三个常量的比值可以通过白平衡求得。通过白平衡获得a_r、a_g、a_b三个常量的比值后，进而可获得正确的l_r:l_g:l_b的值。在本发明实施例中，可通过灰卡成像获得标准的a_r、a_g、a_b三个常量的比值。

具体地，摄像头对一张灰卡成像，需要灰卡成像不在光电传感器的饱和区内，同时灰度值也不能太小(噪声比重会较大)，优选地，采用18％灰卡成像，灰卡对应像素点的颜色值为[y_r,y_g,y_b]，在本发明实施例中，有：

a_r:a_g:a_b＝y_r:y_g:y_b， (7)

忽略图像中的噪声时，由式(1)、式(2)、式(3)，知

r:g:b＝ψ(a_rl_r):ψ(a_gl_g):ψ(a_bl_b)， (8)

在函数ψ(x)的线性区，有如下等式：

ψ(a_rl_r):ψ(a_gl_g):ψ(a_bl_b)＝a_rl_r:a_gl_g:a_bl_b， (9)

所以当忽略图像中的噪声时，根据公式(8)和公式(9)，得到一幅LDR图像的三个分量的比值如下：

通过18％灰卡成像获得的颜色值[y_r,y_g,y_b]，可以获得a_r、a_g、a_b这三个常量的比值，结合公式(7)、公式(10)，以及LDR图像像素的颜色值[r,g,b]，可得到校正的l_r:l_g:l_b的值为：

S052、计算合成图像像素对应的景物光的最佳色彩值；

给定一组N幅的LDR图像的编号为I₁、I₂、…、I_j、…、I_N，对应这N幅图像中位置相同的某一像素点p_x，可以分别计算出N个校正后的景物光的色彩值：

P^j＝l_rj:l_g ^j:l_bj，

通过前述步骤获得的校正后的N幅LDR图像对应的景物光的色彩值后，进一步地获取HDR图像中像素对应的景物光的最佳色彩值，该最佳色彩值无限逼近景物光的真实色彩值。

假如在合成的HDR图像中相应位置的像素点p_x，其所的对应景物光的最佳色彩值为可以知道，当景物光的亮度值在ψ(x)的饱和区时，校正的色彩值Pⁱ将偏离真实色彩值，而当景物光的亮度值偏小时，由于LDR图像中像素点的颜色值噪声比重大，同样得到的校正的色彩值Pⁱ将偏离真实色彩值。

对亮度L^j归一化处理后，LDR图像I_j计算出来的校正色彩值Pⁱ为真实色彩值的置信度θ(L^j)大体呈高斯分布，如图5所示。

进一步的，将置信度θ(L^j)作为校正参数来计算最佳色彩值最佳色彩值可由最大似然定理计算获得，或者通过加权和得到。在本发明实施例中，以加权和的方式具体进行说明，计算公式具体如下式：

其中为景物光的校正色彩值Pⁱ为真实色彩值的置信度，r^j,g^j,b^j为图像像素颜色值的三个分量。

用表示，对于图像中某像素点p_x，则最终获得红光最佳色彩值为：

绿光最佳色彩值为：

蓝光最佳色彩值为：

S053、根据所述最佳色彩值计算合成图像的校正颜色值；

前面通过简单相加得到的HDR图像颜色值为[R_x,G_x,B_x]，令校正后的颜色值用[R'_x,G'_x,B'_x]表示，则：

由此得到了校正颜色的HDR图像。

在本发明实施例中，当HDR图像通过显示器显示时，由于显示器能够显示的动态范围有限，需要重新将HDR图像转换成LDR图像后才能在显示器上显示。比如4幅颜色通道为8位的LDR图像，经过本方法处理后得到颜色通道为10位的HDR图像，而现在常见的显示器单个颜色通道也是8位，在显示器上显示HDR图像时，HDR图像需要重新转换成一幅LDR图像，为了尽可能多的保留图像的信息，在转换的过程中，采用对比度增强方法可以增强图像细节信息(比如边缘、纹理等信息)，本发明采用对比度增强方法增强HDR图像，如对比度受限局部直方图均衡(CLAHE)，然后把增强后的HDR图像颜色值线性地压缩到显示器颜色通道的取值区间，以获得可以显示、同时保存了较多图像信息的LDR图像。

在本发明实施例中，提供一种图像处理装置，如图6所示框图，包括图像采集模块01，图像信息获取模块02，图像合成模块03。优选地，所述图像处理装置还包括图像校正模块04，用于校正HDR图像颜色。

其中所述图像采集模块01用于获取同一场景多幅图像，其中，所述多幅图像的曝光时间不同；具体的，所获取的图像均为LDR图像。

所述图像信息获取模块02用户获取所述多幅图像中各像素的颜色值；

对于一幅LDR图像，给定景物光的光值H＝[l_r,l_g,l_b]，经摄像头成像后，生成的图像对应的像素的颜色值为[r,g,b]，则图像信息获取模块02根据下式获取图像像素的颜色值：

r＝ψ(a_rl_r)+n，

g＝ψ(a_gl_g)+n，

b＝ψ(a_bl_b)+n，

其中，n为噪声，a_r、a_g、a_b对于一个给定的摄像头是常量。

相应地，图像信息获取模块02还基于l＝r+g+b得到的图像像素的亮度值。

所述图像合成模块03用于根据所述多幅图像中相同位置的像素点的色彩值和亮度值，，得到合成图像中对应位置像素的颜色值和亮度值。

具体的，图像合成模块03把多幅LDR图像中相同位置的像素点对应像素颜色值相加，把各LDR图像中清晰成像的信息集中到一幅HDR图像中。

在本实施例中，图像合成模块03基于下式获得合成图像像素的颜色值：

相应的，图像合成模块03通过下式获得合成图像像素的亮度值：

由于现实场景中的景物光的色彩值可由红光分量、绿光分量、蓝光分量这三个分量的比值表征，所以为了校正失真的色彩，需要获取HDR图像中各像素点对应景物光中红光分量、绿光分量、蓝光分量三个分量的正确比值，而HDR图像由LDR图像合成而来，在求取HDR图像对应的景物光的正确色彩值前，需获得每一幅LDR图像对应景物光的校正色彩值，即LDR图像对应的景物光的l_r:l_g:l_b的正确值，而l_r:l_g:l_b的正确值可通过a_r、a_g、a_b三个常量的比值来获得，在求取l_r:l_g:l_b的正确值前，首先求取a_r、a_g、a_b三个常量的比值。具体的，如图7所示，所述图像校正模块04包括色彩值校正单元041、最佳色彩值获取单元042、校正颜色值获取单元043。

所述色彩值校正单元041通过白平衡方式获得a_r、a_g、a_b三个常量的比值后，进而获得正确的l_r:l_g:l_b的值。基于前述实施例相关技术内容，可知色彩值校正单元041最终求得l_r:l_g:l_b的值为在此不再赘述。

同样地，基于前述实施例相关技术内容，所述最佳色彩值获取单元042基于下式得到最佳色彩值：

其中θ(L^j)为校正色彩值Pⁱ为真实色彩值的置信度，r^j,g^j,b^j为LDR图像像素颜色值的三个分量。

用表示，对于图像中某像素点p_x，则最终获得红光最佳色彩值为：

绿光最佳色彩值为：

蓝光最佳色彩值为：

令校正后的颜色值用[R'_x,G'_x,B'_x]表示，校正颜色值获取单元043基于下式获得合成图像的校正颜色值：

可选的，还包括图像映射单元05，用于将合成的HDR图像重新映射为LDR图像，以便在显示器上显示。

在本发明实施例中，提供一种实现前述图像处理方法的FPGA电路。具体如图8所示框图，所述FPGA电路包括依次连接的图像采集电路模块11，存储电路模块12，图像信息获取电路模块13，图像合成电路模块14。

所述图像采集电路模块和图像信息获取电路模块均连接至存储电路模块，所述图像采集电路模块采集现实场景中的图像后，将生成的LDR图像保存至存储电路模块，图像信息获取电路模块从所述存储模块中读取LDR图像信息，所述存储模块包括但不限于静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘等。

基于前述实施例提供的图像处理方法中的相关技术内容可知，所述图像合成电路模块14通过下式获得HDR图像像素的颜色值：

具体的，合成HDR图像中像素点的FPGA实现框图如图9所示。

优选地，所述FPGA电路还包括图像校正电路模块15，基于前述实施例提供的图像处理方法中的相关技术内容可知，所述图像校正电路模块15通过下式获得HDR图像对于景物光的最佳色彩值：

其中，用表示，对于图像中某像素点p_x，红光最佳色彩值为：

绿光最佳色彩值为：

蓝光最佳色彩值为：

具体地，获得最佳色彩值的FPGA实现框图如图10所示。

获得最佳色彩值后，令校正后的颜色值用[R'_x,G'_x,B'_x]表示，所述图像校正电路模块15通过下式进一步获得合成图像的校正颜色值：

由此得到了校正颜色的HDR图像。其FPGA框图如图11所示。

可选的，所述FPGA电路还包括图像映射电路模块16，用于将合成的HDR图像重新映射为LDR图像，以便在显示器上显示。’

根据本发明实施例提供的图像处理方法、装置及相关电路，该图像处理方法所采用的算法可在FPGA上实现，从而快速实现多幅LDR图像的合成，得到HDR图像，在一幅图像中同时展现暗部和亮部细节。

以上仅为本发明的优选实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括:

获取同一场景多幅图像，其中，所述多幅图像的曝光时间不同；

获取所述多幅图像中像素的颜色值；

根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括对所述合成图像执行颜色校正操作。

3.根据权利要求2所述图像处理方法，其特征在于，所述颜色校正操作包括：

校正所述多幅图像中像素对应景物光的色彩值；

计算合成图像像素对应景物光的最佳色彩值；

根据所述最佳色彩值计算合成图像的校正颜色值。

4.根据权利要求1至3任意一项所述的图像处理方法，其特征在于，所述合成图像像素颜色值通过下式获得：

其中，为所述多幅图像的像素颜色值，R_x,G_x,B_x为合成图像的颜色值，和R_x对应为红光分量，和G_x对应为绿光分量，和B_x对应为蓝光分量。

5.根据权利要求4所述的图像处理方法，其特征在于，所述最佳色彩值通过下式获得：

其中为红光最佳色彩值，为绿光最佳色彩值，为蓝光最佳色彩值，为校正参数，a_r、a_g、a_b为常量。

6.根据权利要求5所述的图像处理方法，其特征在于，所述校正颜色值通过下式获得：

其中，R_x,G_x,B_x为校正前合成图像的颜色值，R'_x,G'_x,B'_x为校正后合成图像的颜色值。

7.一种图像处理装置，其特征在于，包括：

图像采集模块，用于获取同一场景多幅图像，其中，所述多幅图像的曝光时间不同；

图像信息获取模块，获取所述多幅图像中像素的颜色值；

图像合成模块，用于根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。

8.根据权利要求7所述的图像处理装置，其特征在于还包括图像校正模块，用于对所述合成图像执行颜色校正操作。

9.根据权利要求8所述的图像处理装置，其特征在于，所述图像校正模块包括：

色彩值校正单元，用于校正所述多幅图像中像素对应景物光的色彩值；

最佳色彩值获取单元，用于计算合成图像像素对应景物光的最佳色彩值；

校正颜色值获取单元，用于根据所述最佳色彩值计算合成图像的校正颜色值。

10.一种用于图像处理的FPGA电路，其特征在于，所述电路包括依次连接的图像采集电路模块、存储电路模块、图像信息获取电路模块、图像合成电路模块；

其中，所述图像采集电路模块用于获取同一场景多幅图像后，将所述多幅图像保存至所述存储电路模块；所述图像信息获取电路模块用于从所述存储电路模块中获取所述多幅图像，以获取所述多幅图像中像素的颜色值；所述图像合成电路模块用于根据所述多幅图像中相同位置的像素的颜色值，得到合成图像中对应位置像素的颜色值。

11.根据权利要求10所述的用于图像处理的FPGA电路，其特征在于，所述电路还包括图像校正电路模块，用于对所述合成图像执行颜色校正操作。