CN105282529B - 一种基于raw空间的数字宽动态方法及装置 - Google Patents

一种基于raw空间的数字宽动态方法及装置 Download PDF

Info

Publication number
CN105282529B
CN105282529B CN201510689629.6A CN201510689629A CN105282529B CN 105282529 B CN105282529 B CN 105282529B CN 201510689629 A CN201510689629 A CN 201510689629A CN 105282529 B CN105282529 B CN 105282529B
Authority
CN
China
Prior art keywords
image
raw
spaces
histogram
wide dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510689629.6A
Other languages
English (en)
Other versions
CN105282529A (zh
Inventor
羊海龙
王智玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201510689629.6A priority Critical patent/CN105282529B/zh
Publication of CN105282529A publication Critical patent/CN105282529A/zh
Application granted granted Critical
Publication of CN105282529B publication Critical patent/CN105282529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种基于RAW空间的数字宽动态方法,该方法应用于监控设备,包括采集原始RAW空间图像,并在原始RAW空间图像送入监控设备的图像处理单元之前进行数字宽动态处理,其中,数字宽动态处理将图像从RAW空间转换到YCrCb空间后进行图像分割,接着对分割后的子区域进行直方图统计、调整直方图和累积直方图的处理获得区域中心点直方图映射曲线,并利用插值法得出任意点直方图映射曲线,对区域图像的原始点进行曲线映射,并将映射处理后的图像转换到RAW空间。本发明利用该方法还公开了一种基于RAW空间的数字宽动态装置。本发明的数字宽动态直接作用于RAW空间图像,使得数字宽动态处理易于整合到主流IP相机中。

Description

一种基于RAW空间的数字宽动态方法及装置
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于RAW空间的数字宽动态的方法及装置。
背景技术
动态范围是指给定场景中最亮区域与最暗区域的光照强度差异,目前广泛应用的传统数字图像所能表示的动态范围是非常有限的,这使得场景中的高亮区域由于曝光过度丢失了细节,而黑暗区域由于曝光不足,细节信息也有丢失。对于室内那些明暗反差很大的场景,传统的IP相机(Internet Protocol camera,网络相机)受CCD或CMOS感光特性所限,亮区和暗区的细节均难以保持,严重影响图像质量。
在安防领域,相机夜间的宽动态效果逐渐成为一项重要指标。目前,提升夜间宽动态效果普遍采用的方式有两种。第一种方式是采用感光性好的图像传感器,这种方式对提升夜间宽动态的效果非常显著,但是这种图像传感器价格较高。第二种方式是采用数字图像处理的方式增加暗区的亮度,并防止亮区过曝。常用的提升宽动态数字图像处理方法分为多帧宽动态处理和数字宽动态处理。
多帧宽动态处理是通过对图像传感器进行曝光时间的控制,获取一组不同曝光度的图像,再通过图像融合对这组图像进行多帧宽动态合成,使最终呈现的图像亮区和暗区细节均能得到体现,保留了尽可能多的物体信息。具体地,在暗区域增大相机的曝光时间,在亮区域减小相机的曝光时间,再将获得的暗区域图像和亮区域图像进行融合,多帧宽动态处理需要对多幅图像进行计算,计算量大,实现难度较高。
数字宽动态处理则要简单很多,直接通过区域直方图调整即可实现相机夜间宽动态的提升。直方图调整的条件是图像的暗区和亮区均存在细节。直方图调整是将暗区亮度提高,将隐藏在暗区的细节被呈现,将亮区亮度减弱,防止亮区过爆。直方图调整并不是增加原始图像的细节,而是通过调整将图像中已有的细节呈现。
现有IP相机数字宽动态处理的方案通常采用ASIC芯片(Application SpecificIntegrated Circuit,特殊应用集成电路)来完成对采集到的图像进行数字宽动态处理的全部工作。参见图1,图像传感器采集物体RAW(RAW Image Format,即原始图像编码数据)空间图像,将RAW空间图像输入ASIC芯片,ASIC芯片中的ISP(Image Signal Processing,即图像信号处理)模块将RAW格式图像进行处理获得图像的YCrCb空间(颜色空间的一种表示模型,Y表示亮度,Cr表示色调,Cb表示饱和度)数据,接着利用数字宽动态处理对该图像的YCrCb空间数据进行处理,经数字宽动态处理的图像再通过ASIC芯片中的编码模块,由编码模块进行编码压缩成数字信号后通过网络总线传输到服务器供用户操作。该数字宽动态处理的方案成本低,技术难度小。但数字宽动态处理必须作用于图像的YCrCb空间,即必须在ASIC芯片集成的ISP模块之后,编码模块之前,而主流IP相机中的ASIC芯片在集成一定的功能后难以对其功能进行修改和增加,这意味着很难将数字宽动态处理整合到主流IP相机中。
发明内容
为了解决现监控设备(这里指IP相机)中图像传感器采集到的图像一般位于RAW空间,而数字宽动态处理只能作用于图像的YCrCb空间,不易于整合到现有监控设备中的问题,本发明提供了一种基于RAW空间的数字宽动态方法及装置。
一种基于RAW空间的数字宽动态方法,该方法应用于监控设备,包括采集原始RAW空间图像的步骤,还包括在原始RAW空间图像送入监控设备的图像处理单元之前进行数字宽动态处理,所述数字宽动态处理包括:
将图像从RAW空间转换到YCrCb空间;
将图像进行分割,形成多个子区域;
对每个子区域依次进行直方图统计、调整直方图以及累积直方图的处理,获得区域中心点直方图映射曲线;
对区域中心点直方图映射曲线进行插值计算出任意点直方图映射曲线;
通过任意点直方图映射曲线对图像分割后每个子区域图像的原始点进行曲线映射;
将映射处理后的图像转换到RAW空间。
本发明所采用的基于RAW空间数字的宽动态方法改变了现有技术中的数字宽动态处理不能直接作用于RAW空间图像的缺点,本发明的数字宽动态处理将RAW空间图像转换到YCrCb空间后进行后续图像处理的步骤,数字宽动态处理直接作用于RAW空间图像,易于整合到现有的IP相机中。
进一步地,所述调整直方图的处理包括步骤:
Step1.给每个子区域设定一个门槛值Nthd,所述门槛值Nthd为像素数量超标时的像素数量;
Step2.将大于Nthd的像素数量记做S,将S平均分配到直方图亮度区间[0,Y0]和[Y1,255]上,即亮度区间[0,Y0]和[Y1,255]中每个亮度值对应的像素数量增加同样的值,Y0和Y1是像素数量为门槛值Nthd时对应的亮度值,调整之后,直方图中像素数量超出门槛值Nthd的记做Snext
Step3.新的像素数量S=Snext,重复Step2小于等于2次,若有剩余像素数量S,则将像素数量S平均分配到直方图亮度区间[0,255]上,即亮度区间[0,255]中每个亮度值对应的像素数量增加同样的值。
现有技术中在对图像原始直方图进行调整时,每个区域的门槛值Nthd是统一设定的,不能根据各自区域的亮度情况相应作出调整,导致“暗区亮度提升”和“亮区控制过曝”无法完美平衡的弊端。故作为一种优选,所述调整直方图的处理是根据每个子区域的区域亮度平均值调整每个子区域的门槛值Nthd的,给每个子区域设定一亮度阈值,当该子区域的区域亮度平均值小于该子区域的亮度阈值时,减小该区域的门槛值Nthd;反之,保持原门槛值Nthd。通过对分割后每个区域的门槛值Nthd的动态调整,根据各自区域亮度均值,分区域自适应调节直方图门槛值Nthd,既能有效提高暗区亮度,又能有效控制亮区过曝。
为了得到图像亮度分量,方便对图像的YCrCb空间直方图进行处理,进一步地,将图像从RAW空间转换到YCrCb空间的步骤包括:
将原始RAW空间图像的横向分辨率和纵向分辨率分别缩小1/2,获得图像的R、G和B分量;
进行色度空间转换处理,计算图像的亮度分量Y,将图像从RGB空间转换到YCrCb空间。
现有的ASIC芯片一般对RAW空间图像进行处理,故在对图像进行数字宽动态处理后需要将图像再转换到RAW空间后再输入ASIC芯片,进一步地,将映射处理后的图像转换到RAW空间的步骤包括:
利用比例映射方法将图像转换到RGB空间;
将RGB图像恢复到原始RAW空间图像的分辨率大小,获得RAW空间图像。
利用本发明的方法,本发明另外提供了一种基于RAW空间的数字宽动态装置,将数字宽动态处理作用于RAW空间,在不破坏现有IP相机方案中的ASIC芯片内部流程的基础上获得宽动态的较好的图像。
一种基于RAW空间的数字宽动态装置,该装置应用于监控设备,包括用于采集原始RAW空间图像的图像传感器,还包括在原始RAW空间图像送入监控设备的图像处理单元之前进行数字宽动态处理的数字宽动态处理单元;所述数字宽动态处理单元包括:
将原始RAW空间图像转换到YCrCb空间的色度空间转换单元;
将图像分割成多个子区域的图像分割单元;
对每个子区域依次进行直方图统计、调整直方图以及累积直方图的处理,获得区域中心点直方图映射曲线的区域中心点映射曲线计算单元;
对区域中心点直方图映射曲线进行插值计算出任意点直方图映射曲线的任意点直方图映射曲线计算单元;
通过任意点直方图映射曲线对图像分割单元的每个子区域图像的原始点进行曲线映射的曲线映射单元;
将曲线映射单元输出的图像转换到RAW空间的反映射单元。
进一步地,所述调整直方图的处理是根据每个子区域的门槛值调整的,所述门槛值为像素数量超标时的像素数量;所述数字宽动态处理还包括:
计算每个子区域亮度平均值的平均亮度计算单元;
根据每个子区域的亮度平均值来调整每个子区域的门槛值的门槛值调整单元,所述门槛值调整单元给每个子区域设定一亮度阈值,当该子区域的区域亮度平均值小于该子区域的亮度阈值时,减小该区域的门槛值Nthd;反之,保持原门槛值Nthd
进一步地,所述色度空间转换单元包括:
将原始RAW空间图像的横向分辨率和纵向分辨率分别缩小1/2,获取图像的R、G和B分量的RGB分量获取单元;
计算图像的亮度分量Y,将图像从RGB空间转换到YCrCb空间的亮度分量获取单元。
进一步地,所述反映射单元包括:
利用比例映射方法图像转换到RGB空间的比例映射单元;
将RGB空间图像恢复到原始RAW空间图像的分辨率大小,获得RAW空间图像的图像恢复单元。
进一步地,基于RAW空间的数字宽动态装置还包括对数字宽动态处理后的图像进行3D降噪的图像降噪单元。
本发明的基于RAW空间的数字宽动态装置中的数字宽动态处理单元能直接对图像传感器采集的原始RAW空间图像数据进行数字宽动态的处理,解决了现有技术中数字宽动态只能作用于YCrCb空间图像的缺点,易于将经数字宽动态处理整合到监控设备中。同时,在现有监控设备的图像传感器和图像处理单元之间增加数字宽动态处理单元,数字宽动态处理单元对原始RAW空间图像进行一系列处理后输出RAW空间图像发送至现有的图像处理单元,在不破坏现有图像处理单元内部流程的情况下对RAW空间图像进行数字宽动态处理,易于将经数字宽动态处理整合到监控设备中。
利用数字宽动态处理单元控制调整直方图步骤中循环次数,将调整直方图步骤中的循环次数设置为小于等于2次,使得数字宽动态处理容易于实现,避免了常规区域直方图调整中的多次循环迭代操作,进一步避免了过多的循环占用空间,拖慢处理数据的速度,不利于数据的传输,严重时可能导致IP相机卡死。
通过对分割后每个区域的门槛值Nthd的动态调整,根据各自区域亮度均值,分区域自适应调节直方图门槛值Nthd,既能有效提高暗区亮度,又能有效控制亮区过曝,解决了现有技术中在对图像原始直方图进行调整时,每个区域的门槛值Nthd是统一设定的,且不能根据各自区域的亮度情况相应作出调整,导致“暗区亮度提升”和“亮区控制过曝”无法完美平衡的弊端。
经数字宽动态处理获得的图像虽然提高了暗区域的能见度,但噪声也随之变得严重,为了有效抑制暗区亮度提高后的噪声,对经数字宽动态处理后的图像进行3D降噪,有效抑制暗区能见度提高后的噪声,从而显示出比较纯净细腻的画面。并且根据图像区域亮度平均值对不同区域图像3D降噪的权重进行了配置,实现了对图像的亮区和暗区进行有针对性的噪声去除,能够获得较高品质的图像。
附图说明
图1为现有技术的IP相机方案示意图;
图2为本发明实施例的IP相机方案示意图;
图3为本发明实施例的基于RAW空间的数字宽动态FPGA芯片处理框架示意图;
图4为本发明实施例的调整直方图示意图;
图5为本发明实施例的调整直方图示意图;
图6为本发明实施例的直方图映射曲线插值示意图;
图7为本发明实施例的基于RAW空间的数字宽动态FPGA芯片处理过程中的图像颜色空间示意图。
具体实施方式
为了对本发明进行详细的解释,现结合说明书附图及实施例对本发明进行进一步的阐述。
本实施例在现有监控设备(这里指IP相机)中的图像传感器和图像处理单元之间增加一个用于实现对RAW空间图像进行数字宽动态处理的数字宽动态处理单元,当前实施例的数字宽动态处理单元采用FPGA芯片(Field-Programmable Gate Array,即现场可编程门阵列),当然也可以采用DSP或ARM,现有主流IP相机中的图像处理单元一般为ASIC芯片,将传统的作用于ASIC芯片的ISP模块和编码模块之间的数字宽动态处理移动到灵活性强的FPGA芯片中进行,在不破坏现有IP相机方案中的ASIC芯片内部流程的基础上获得宽动态较好的图像,使得数字宽动态处理易于整合到主流IP相机方案中。当然,也可以将ASIC芯片中的图像处理过程全部移动到FPGA芯片中,由FPGA芯片执行所有的图像处理过程,但这样会导致FPGA芯片的工作量很大,不利于系统运行。相对于FPGA芯片,ASIC芯片功能较好,有些功能FPGA芯片实现不了。由于ASIC芯片功能固定后,难以对其功能进行修改或增加,而FPGA芯片可编程灵活性强。
参见图2,一种基于RAW空间的数字宽动态装置,图像传感器将采集的原始RAW空间图像输入FPGA芯片中,FPGA芯片对RAW空间图像进行数字宽动态处理并将处理得到的RAW空间图像发送至现有的ASIC芯片,ASIC芯片中的ISP模块将RAW空间图像进行处理,主要包括去黑电平、噪声去除、坏点去除、白平衡、去马赛克、色彩还原等,获得图像的YCrCb空间图像,再通过ASIC芯片中的编码模块,由编码模块进行编码压缩后通过网络总线传输到服务器供用户操作,编码模块的设置是为了便于网络传输数据流。其中,图像传感器可为CCD或CMOS,当前实施例的图像传感器为CCD。
参见图3,FPGA芯片对图像进行数字宽动态处理,包括如下步骤:
步骤一,将图像传感器采集的图像分割成多个子区域;
这一步骤利用FPGA芯片中的图像分割单元对待处理的RAW空间图像进行区域分割,区域分割采用现有技术中常规的图像区域分割法。通过图像分割,减少后续处理的数据量。
步骤二,获取区域中心直方图映射曲线,计算出每个区域中心点的映射曲线,步骤二由区域中心点映射曲线计算单元完成,具体步骤为:
1)直方图统计,对每个子区域的图像进行直方图统计,统计图像中每个亮度值对应的像素数量,获得图像的原始直方图。
2)调整直方图,对步骤1)的原始直方图进行调整,具体步骤为:
Step1.给每个子区域设定一个门槛值Nthd,即设定一个标准的像素数量,当原始直方图中像素数量超过该门槛值Nthd时,表示该像素的数量超标,门槛值Nthd用于抑制像素数量过多区域的图像亮度。
Step2.参见图4,横坐标为亮度值,纵坐标为像素数量,直方图边界上点的坐标为(亮度值,该亮度值对应的像素数量)。将大于Nthd的像素数量记做S,将S平均分配到直方图亮度区间[0,Y0]和[Y1,255]中每个亮度值对应的像素数量上,即亮度区间[0,Y0]和[Y1,255]中每个亮度值对应的像素数量增加同样的值,其中Y0和Y1是像素数量为门槛值Nthd时对应的亮度值。调整之后,在Y0和Y1附近有一部分像素数量会超出门槛值Nthd,超出部分的像素数量记做Snext,没有超出的部分记做Sset,进入Step3;
Step3.经过Step2之后,新的S=Snext,并且Y0发生了左移,Y1发生了右移,形成了新的Y0和Y1,重复Step2。
当Step2重复小于等于2次后,如果S>0,则将S均匀地分配到直方图亮度区间[0,255]上,即亮度区间[0,255]中每个亮度值对应的像素数量增加同样的值。
循环i(i为整数且i>0)次记为第i轮,参见图5,横坐标为亮度值,纵坐标为像素数量,阴影的内边界为第i轮直方图边界,阴影外边界为将S平均分配到亮度区间[0,Y0]和[Y1,255]后的直方图边界,图5中圆圈部分为超出部分Snext,阴影部分为未超出部分Sset。第i轮的S值记为Si
Si=Si+1+Sseti
式中,Si+1为第i+1轮的S值,Sseti为第i轮的Sset值。
Step4.经过Step3之后,呈现的直方图状态。
现有技术中此步骤是通过Step2和Step3多次循环,使得最终的S=0,本实施例利用FPGA芯片控制Step2和Step3的循环次数,当循环次数到第2次时强制结束循环,避免了常规区域直方图调整中的循环迭代操作,进一步避免了过多的循环占用FPGA芯片的空间,拖慢FPGA芯片处理数据的速度,不利于数据的传输,严重时可能导致IP相机卡死。
现有技术中门槛值Nthd是统一设置的,本实施例对Step1中门槛值Nthd的设定进行了改进,具体地,数字宽动态处理还包括平均亮度计算单元和门槛值调整单元。具体为:在步骤一后,平均亮度计算单元分别对每个子区域所有像素的亮度求和取平均值获得每个子区域的亮度平均值,并将计算获得的每个子区域的亮度平均值发送至门槛值调整单元,门槛值调整单元根据每个子区域的亮度平均值分别调整每个子区域的门槛值Nthd。给分割后的每个子区域设定一亮度阈值,当区域亮度均值小于该亮度阈值时,减小该区域的门槛值Nthd,使得该区域暗区的细节凸显出来;反之,保持原门槛值Nthd,保证该区域亮区不过曝。将调整后的门槛值Nthd输入到步骤二的第2)步中,利用该门槛值Nthd调整分割后每个子区域图像的原始直方图。
3)累积直方图,对步骤2)输出的图像进行累积直方图处理,最终生成映射曲线。累积直方图采用现有的累积直方图处理方法。
步骤二在调整直方图时动态调整分割后每个区域的门槛值Nthd,根据各自区域亮度均值,分区域自适应调节直方图门槛值Nthd,既能有效提高暗区亮度,又能有效控制亮区过曝,解决了现有技术中在对图像原始直方图进行调整时,门槛值Nthd是统一设定的,且不能根据各自区域的亮度情况相应作出调整,导致“暗区亮度提升”和“亮区控制过曝”无法完美平衡的弊端。并且,在调整直方图时,将现有的直方图调整方法进行了改进,当step2和step3循环到第2次时,将剩余的大于Nthd的像素数量S均匀地分配到整个直方图的亮度区间。改进后的直方图调整方法避免了过多次数的循环,便于FPGA芯片实现。
步骤三,通过任意点直方图映射曲线计算单元计算出每个子区域图像任意点直方图映射曲线,当前实施例采用插值法,插值法的数学描述如下:
fobj=k(d1)×f1+k(d2)×f2+k(d3)×f3+k(d4)×f4
式中,fobj——区域中心点以外图中任意点的直方图映射曲线;
f1、f2、f3、f4——任意点邻近4个区域中心点的直方图映射曲线;
d1、d2、d3、d4——任意点到其邻近4个区域中心点的距离;
k(d1)、k(d2)、k(d3)、k(d4)——与距离相关的权重系数。
各个参数的示意参见图6,在区域中心点直方图映射曲线的基础上进行插值,图像中每个点都会生成独有的直方图映射曲线,且相邻两个点之间的直方图映射曲线不会突变,避免了区域块效应。
步骤四,曲线映射单元通过每个子区域图像任意点直方图映射曲线对步骤一中子区域图像的原始点进行直方图曲线映射,将子区域图像原始点的亮度值通过任意点直方图映射曲线映射得到映射后亮度值大小,实现数字宽动态。
为了能将数字宽动态处理直接作用于图像的RAW空间,在利用FPGA芯片进行数字动态处理前还需将图像从RAW空间转换到YCrCb空间,当前实施例通过色度空间转换单元将原始RAW空间图像转换到YCrCb空间,为了得到图像亮度分量,方便对图像的YCrCb空间直方图进行处理,色度空间转换单元包括RGB分量获取单元和亮度分量获取单元。
利用RGB分量获取单元将原始RAW空间图像的横向分辨率和纵向分辨率分别缩小1/2倍,即RAW的每个“田”单位,变成一个RGB像素,图像数据从RAW空间转换到RGB空间。该步骤能节省处理资源并简化计算。图像传感器输出的RAW图像由四种颜色组合而成,组成构造参见图7,R为红色,B为蓝色,Gr与Gb均为绿色,经该步处理得到的RGB空间图像像素的三原色分量(红色R分量、绿色G分量以及蓝色B分量)的刺激量计算公式为:
R=RAW(R);G=RAW(Gr+Gb)/2;B=RAW(B);
式中,R、G、B为减小分辨率获得的RGB空间图像像素的三原色的刺激量;RAW(R)为RAW空间像素红色的刺激量,RAW(B)为RAW空间像素蓝色的刺激量,RAW(Gr+Gb)/2为RAW空间像素绿色刺激量Gr和Gb的均值。
在缩小图像的分辨率后,亮度分量获取单元利用色度空间转换(CSC,Color spaceconversion)将图像从RGB空间转换到YCrCb空间,图像从RGB空间转换到YCrCb空间后的像素亮度值的计算公式为:
Y=0.30*RGB_R+0.59*RGB_G+0.11*RGB_B;
式中,Y为图像从RGB空间转换到YCrCb空间后的像素亮度值;
RGB_R=R,RGB_G=G,RGB_B=B,RGB_R、RGB_G、RGB_B为减小分辨率获得的RGB空间图像的像素三原色的刺激量。
在将图像从RAW空间转换成YCrCb空间后,再利用数字宽动态处理对其进行处理,获得经数字宽动态处理后的图像像素亮度值为Y’。而现有的IP相机方案中的ASIC芯片只能处理RAW空间图像数据,故在利用FPGA芯片对图像进行数字宽动态处理后需要将经数字宽动态处理获得的图像转换到RAW空间,将经数字宽动态处理获得的RAW空间图像输入ASIC芯片。将经数字宽动态处理处理获得的YCrCb空间图像数据再转化为RAW空间图像数据包括:
反映射单元,在FPGA芯片发送图像至ASIC芯片前将图像转换到RAW空间,其包括比例映射单元和图像恢复单元。其中,比例映射单元利用比例映射法将图像数据从YCrCb空间反映射到RGB空间。图像恢复单元将RGB空间图像恢复到原始RAW空间图像分辨率大小。
由于在对图像进行数字宽动态处理前对原始RAW空间图像作了减小分辨率的处理,图像分辨率损失很多,为了避免分辨率损失传递,本实施例利用比例映射单元,采用比例映射法对曲线映射单元输出的图像进行处理,获得的RGB空间图像像素的三原色刺激量的计算公式为:
R’=R*(Y’/Y);G’=G*(Y’/Y);B’=B*(Y’/Y);
式中,R’、G’、B’为图像经比例映射法处理后获得的RGB空间图像像素的三原色刺激量;R、G、B为减小分辨率获得的RGB空间图像像素的三原色刺激量;Y为图像从RGB空间转换到YCrCb空间后的像素亮度值;Y’为经数字宽动态处理后的YCrCb空间图像像素亮度值。
由于ASIC芯片一般处理的是RAW空间图像,故在将图像输入ASIC芯片前需要将图像转换到RAW空间,在本实施例中,在将图像从YCrCb空间转换成RGB空间后需要对图像再进行恢复分辨率的操作。具体是通过图像恢复单元将RGB空间图像恢复到原始RAW空间图像分辨率大小,恢复分辨率后的RAW空间图像像素的颜色刺激量公式为:
RAW(R’)=R’;RAW(Gr’)=G’;RAW(Gb’)=G’;RAW(B’)=B’;
式中,RAW(R’)、RAW(B’)、RAW(Gr’)、RAW(Gb’)为恢复分辨率后的RAW空间图像像素的R、B、Gr、Gb的刺激量,R’、G’、B’为图像经比例映射方法处理后获得RGB空间图像的三原色刺激量。
至此,图像数据已经恢复成RAW空间数据格式,可以直接输入现有的ASIC芯片进行后续处理传输到网络中。
对图像进行数字宽动态处理之后,暗区的细节被增强,不可避免地噪声也会被增强,考虑到输出图像的品质,本实施例在FPGA芯片将图像数据输入ASIC芯片前,利用FPGA芯片对图像的进行3D降噪。3D降噪采用现有是3D降噪方法。为了对图像的亮区和暗区进行有针对性的噪声去除,以获得较高品质的图像,在本实施例中,对图像不同区域3D降噪的权重进行了配置,具体地,根据区域的亮度平均值设定不同区域3D降噪的权重:区域亮度平均值较大的,一般噪声较小,需要减小3D降噪的权重;区域亮度平均值较小的,一般噪声较大,需要增加3D降噪的权重。
本发明的基于RAW空间的数字宽动态方法及装置改变了现有技术中不能直接对采集到的RAW空间图像进行数字宽动态处理的缺点,通过将现有技术中在ASIC芯片中完成的数字宽动态处理转移到FPGA芯片中进行,由于FPGA芯片可编程的灵活性,利用FPGA芯片将RAW空间图像转换到YCrCb空间,对YCrCb空间图像进行数字宽动态处理,再将经数字宽动态处理的图像转换为RAW空间图像,然后输入ASIC芯片,在不破坏现有ASIC芯片内部流程的情况下对RAW空间图像进行数字宽动态处理,易于将经数字宽动态处理整合到主流IP相机中。

Claims (8)

1.一种基于RAW空间的数字宽动态方法,该方法应用于监控设备,包括采集原始RAW空间图像的步骤,其特征在于,还包括在原始RAW空间图像送入监控设备的图像处理单元之前进行数字宽动态处理,所述数字宽动态处理包括:
将图像从RAW空间转换到YCrCb空间;
将图像进行分割,形成多个子区域;
对每个子区域依次进行直方图统计、调整直方图以及累积直方图的处理,获得区域中心点直方图映射曲线;
对区域中心点直方图映射曲线进行插值计算出任意点直方图映射曲线;
通过任意点直方图映射曲线对图像分割后每个子区域图像的原始点进行曲线映射;
将映射处理后的图像转换到RAW空间;
所述调整直方图的处理包括步骤:
Step1.给每个子区域设定一个门槛值Nthd,所述门槛值Nthd为像素数量超标时的像素数量;
Step2.将大于Nthd的像素数量记做S,将S平均分配到直方图亮度区间[0,Y0]和[Y1,255]上,即亮度区间[0,Y0]和[Y1,255]中每个亮度值对应的像素数量增加同样的值,Y0和Y1是像素数量为门槛值Nthd时对应的亮度值,调整之后,直方图中像素数量超出门槛值Nthd的记做Snext
Step3.新的像素数量S=Snext,重复Step2小于等于2次,若有剩余像素数量S,则将像素数量S平均分配到直方图亮度区间[0,255]上,即亮度区间[0,255]中每个亮度值对应的像素数量增加同样的值。
2.如权利要求1所述基于RAW空间的数字宽动态方法,其特征在于,所述调整直方图的处理是根据每个子区域的区域亮度平均值调整每个子区域的门槛值Nthd的,给每个子区域设定一亮度阈值,当该子区域的区域亮度平均值小于该子区域的亮度阈值时,减小该区域的门槛值Nthd;反之,保持原门槛值Nthd
3.如权利要求1所述基于RAW空间的数字宽动态方法,其特征在于,将图像从RAW空间转换到YCrCb空间的步骤包括:
将原始RAW空间图像的横向分辨率和纵向分辨率分别缩小1/2,获得图像的R、G和B分量;
进行色度空间转换处理,计算图像的亮度分量Y,将图像从RGB空间转换到YCrCb空间。
4.如权利要求1所述基于RAW空间的数字宽动态方法,其特征在于,将映射处理后的图像转换到RAW空间的步骤包括:
利用比例映射方法将图像转换到RGB空间;
将RGB图像恢复到原始RAW空间图像的分辨率大小,获得RAW空间图像。
5.一种基于RAW空间的数字宽动态装置,该装置应用于监控设备,包括用于采集原始RAW空间图像的图像传感器,其特征在于,还包括在原始RAW空间图像送入监控设备的图像处理单元之前进行数字宽动态处理的数字宽动态处理单元;所述数字宽动态处理单元包括:
将原始RAW空间图像转换到YCrCb空间的色度空间转换单元;
将图像分割成多个子区域的图像分割单元;
对每个子区域依次进行直方图统计、调整直方图以及累积直方图的处理,获得区域中心点直方图映射曲线的区域中心点映射曲线计算单元;
对区域中心点直方图映射曲线进行插值计算出任意点直方图映射曲线的任意点直方图映射曲线计算单元;
通过任意点直方图映射曲线对图像分割单元的每个子区域图像的原始点进行曲线映射的曲线映射单元;
将曲线映射单元输出的图像转换到RAW空间的反映射单元;
所述调整直方图的处理是根据每个子区域的门槛值调整的,所述门槛值为像素数量超标时的像素数量;所述数字宽动态处理还包括:
计算每个子区域亮度平均值的平均亮度计算单元;
根据每个子区域的亮度平均值来调整每个子区域的门槛值的门槛值调整单元,所述门槛值调整单元给每个子区域设定一亮度阈值,当该子区域的区域亮度平均值小于该子区域的亮度阈值时,减小该区域的门槛值Nthd;反之,保持原门槛值Nthd
6.如权利要求5所述的基于RAW空间的数字宽动态装置,其特征在于,所述色度空间转换单元包括:
将原始RAW空间图像的横向分辨率和纵向分辨率分别缩小1/2,获取图像的R、G和B分量的RGB分量获取单元;
计算图像的亮度分量Y,将图像从RGB空间转换到YCrCb空间的亮度分量获取单元。
7.如权利要求5所述的基于RAW空间的数字宽动态装置,其特征在于,所述反映射单元包括:
利用比例映射方法图像转换到RGB空间的比例映射单元;
将RGB空间图像恢复到原始RAW空间图像的分辨率大小,获得RAW空间图像的图像恢复单元。
8.如权利要求5所述的基于RAW空间的数字宽动态装置,其特征在于,还包括对数字宽动态处理后的图像进行3D降噪的图像降噪单元。
CN201510689629.6A 2015-10-22 2015-10-22 一种基于raw空间的数字宽动态方法及装置 Active CN105282529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510689629.6A CN105282529B (zh) 2015-10-22 2015-10-22 一种基于raw空间的数字宽动态方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510689629.6A CN105282529B (zh) 2015-10-22 2015-10-22 一种基于raw空间的数字宽动态方法及装置

Publications (2)

Publication Number Publication Date
CN105282529A CN105282529A (zh) 2016-01-27
CN105282529B true CN105282529B (zh) 2018-01-16

Family

ID=55150744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510689629.6A Active CN105282529B (zh) 2015-10-22 2015-10-22 一种基于raw空间的数字宽动态方法及装置

Country Status (1)

Country Link
CN (1) CN105282529B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257452B (zh) * 2017-07-21 2019-03-26 浙江大华技术股份有限公司 一种图像处理方法、装置及计算设备
CN107680050A (zh) * 2017-09-14 2018-02-09 遵义师范学院 一种用于amoled驱动的色彩还原方法
CN108156433B (zh) * 2017-12-28 2020-01-14 江苏移动信息系统集成有限公司 一种图片处理方法、终端及计算机可读存储介质
CN111107274B (zh) * 2018-10-26 2021-01-08 北京图森智途科技有限公司 一种图像亮度统计方法及成像设备
CN109462732B (zh) * 2018-10-29 2021-01-15 努比亚技术有限公司 一种图像处理方法、设备及计算机可读存储介质
CN110278419B (zh) * 2019-05-30 2021-07-09 厦门硅图科技有限公司 一种基于线阵相机的视觉检测方法、装置、系统及存储介质
CN111756972A (zh) * 2020-05-15 2020-10-09 深圳市汇顶科技股份有限公司 图像传感器和电子设备
CN113630586A (zh) * 2021-07-28 2021-11-09 英特灵达信息技术(深圳)有限公司 一种单光源全彩摄像机
CN114584701A (zh) * 2021-11-26 2022-06-03 钧捷科技(北京)有限公司 采用fpga实现图像直方图的调节以及动态范围扩展的方法
CN116132824B (zh) * 2023-04-13 2023-06-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970549A (zh) * 2012-09-20 2013-03-13 华为技术有限公司 图像处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Adaptive Histogram Equalization and Its Variations;STEPHEN M.PIZER等;《COMPUTER VISION,GRAPHICS,AND IMAGE PROCESSING》;19871231;全文 *
基于FPGA的实时视频增强;杨光 等;《电视技术》;20131231;第37卷(第19期);参见第19-22页 *
对比度受限自适应直方图均衡方法;张丽;《电脑知识与技术》;20100331;第6卷(第9期);全文 *

Also Published As

Publication number Publication date
CN105282529A (zh) 2016-01-27

Similar Documents

Publication Publication Date Title
CN105282529B (zh) 一种基于raw空间的数字宽动态方法及装置
US11218630B2 (en) Global tone mapping
US9538093B2 (en) Forming high-dynamic-range (HDR) images using single-channel data
CN106897981A (zh) 一种基于引导滤波的低照度图像增强方法
CN102075688B (zh) 单帧双曝光图像宽动态处理方法
US11632525B2 (en) Image processing method and filter array including wideband filter elements and narrowband filter elements
US10863156B2 (en) Image processing
CN107424198A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN104618700B (zh) 一种彩色高动态范围图像增强显示的方法
CN104661008A (zh) 低照度条件下彩色图像质量提升的处理方法和装置
CN101626454B (zh) 一种增强视频可视性的方法
CN103714520A (zh) 基于fpga实现数字视频图像增强系统及其方法
WO2019104047A1 (en) Global tone mapping
CN111209775B (zh) 信号灯图像处理方法、装置、设备及存储介质
CN111970432A (zh) 一种图像处理方法及图像处理装置
CN107087163A (zh) 一种提升hdr视频主观质量的编码方法
CN110290370A (zh) 图像处理方法及装置
CN106686320B (zh) 一种基于数密度均衡的色调映射方法
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN115239578A (zh) 图像处理方法及装置、计算机可读存储介质、终端设备
CN112598609B (zh) 一种动态图像的处理方法及装置
CN102510502B (zh) 用于生成高动态范围图像的方法及系统
CN104732507B (zh) 基于纹理信息重构的不同光照两帧图像融合方法
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
Yu et al. Color constancy-based visibility enhancement in low-light conditions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant