CN113766205B - 色调映射电路及图像处理装置 - Google Patents
色调映射电路及图像处理装置 Download PDFInfo
- Publication number
- CN113766205B CN113766205B CN202111044331.1A CN202111044331A CN113766205B CN 113766205 B CN113766205 B CN 113766205B CN 202111044331 A CN202111044331 A CN 202111044331A CN 113766205 B CN113766205 B CN 113766205B
- Authority
- CN
- China
- Prior art keywords
- tone mapping
- division operation
- image
- adjustment parameter
- divider
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 155
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000001914 filtration Methods 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 9
- 238000011045 prefiltration Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 3
- 235000019557 luminance Nutrition 0.000 description 37
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- SOPYTFSYTUAGFR-OEAKJJBVSA-N chembl2431390 Chemical compound C1=CC=C2C(/C=N/NC(=O)CCN3C4=CC=CC=C4N=C3C)=C(O)C=CC2=C1 SOPYTFSYTUAGFR-OEAKJJBVSA-N 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种色调映射电路及图像处理装置。在对待映射图像进行色调映射时,所述色调映射电路的色调映射部分可以通过第一除法运算得到第一调整参数,并通过第二除法运算得到第二调整参数,继而利用第一调整参数和第二调整参数进行局部色调映射,第一除法运算与像素点的滤波前亮度值和滤波后亮度值的比值相关,第二除法运算与图像的亮度平均值和像素点的滤波后亮度值的比值相关,并且,所述色调映射部分通过使第一除法器复用实现所述第一除法运算和所述第二除法运算,因而电路面积较小,优化了色调映射电路,有助于应用装置的小型化。所述图像处理装置包括上述色调映射电路。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种色调映射电路以及一种图像处理装置。
背景技术
动态范围(Dynamic Range)用来表征场景中最亮部分和最暗部分之间的相对比值。动态范围越大,图片包含的亮度信息越丰富,图片的明暗和色彩表现也更生动。高动态范围(HDR)图像是一种亮度范围非常广的图像,它记录了实际场景的亮度信息(亮度数量级可达2的16次方或更高),能够较好地记录人在真实环境中的视觉效果。但是,一般的显示器只能够表示256个亮度值,不能直接显示高动态范围图像。为此,现已提出了色调映射技术,它是一种压缩高动态范围图像,并尽可能地保留高动态范围图像内的对比度、颜色等信息的技术,通过色调映射,来得到满足传统的显示设备能进行显示的范围的图像。
目前色调映射技术主要包括全局色调映射和局部色调映射两种,全局色调映射是对整幅图像中所有的像素点采用相同的变换函数进行处理,也就是说原始图像中相同的像素点,在进行处理之后仍然是相同的数值,这样可以保留整幅图片的全局对比度,同时全局映射算法的计算比较简单,处理的速度也比较快,但是全局映射算法的主要缺陷是无法获得图像的全局对比度以及原始HDR图像中良好的细节。
局部色调映射相比于全局色调映射来说,更能提高色调映射输出图片的质量,因为在局部色调映射中不止是采用全局的对比度构建,还要考虑局部的对比度构建,从而使图片能呈现更好的细节。因此,在原始图像中具有相同亮度的像素点,在进行局部色调映射处理之后亮度可能是不同的数值。但是,由于局部色调映射的算法处理较全局色调映射更复杂,例如需要多次采用除法运算,且除法运算处理的数据位宽较大,现有的色调映射电路对每次除法运算均设置一个除法器,导致实现局部色调映射的电路面积比较大。
发明内容
为了优化色调映射电路,缩小实现局部色调映射的电路面积,本发明提供一种色调映射电路。另外提供一种包括所述色调映射电路的图像处理装置。
一方面,本发明提供一种色调映射电路,所述色调映射电路包括前处理部分和色调映射部分,所述前处理部分用于接收待映射图像,根据所述待映射图像中像素点的像素值获得相应像素点的滤波前亮度值和滤波后亮度值,并为所述待映射图像配置一亮度平均值;所述色调映射部分用于通过第一除法运算得到第一调整参数,并通过第二除法运算得到第二调整参数,继而利用所述第一调整参数和所述第二调整参数进行局部色调映射,所述第一除法运算与相应像素点的滤波前亮度值和滤波后亮度值的比值相关,所述第二除法运算与所述亮度平均值和相应像素点的滤波后亮度值的比值相关;其中,所述色调映射部分包括第一除法器,所述第一除法运算和所述第二除法运算由所述第一除法器分时完成。
可选的,所述色调映射部分包括时序调整模块、除法器输入模块、除法器输出模块以及存储器模块;所述时序调整模块用于根据系统时钟信号生成计数时钟信号,所述系统时钟信号与所述计数时钟信号同相位且频率是所述计数时钟信号的两倍;所述除法器输入模块用于根据所述计数时钟信号的节拍交替向所述第一除法器输入所述第一除法运算对应的一组被除数和除数以及所述第二除法运算对应的一组被除数和除数;所述除法器输出模块用于根据所述计数时钟信号的节拍交替读取所述第一除法器得到的所述第一除法运算的结果和所述第二除法运算的结果;所述存储器模块包括分别存储有所述第一调整参数和所述第二调整参数的地址,所述第一除法运算的结果对应于所述第一调整参数的地址,所述第二除法运算的结果对应于所述第二调整参数的地址,所述存储器模块根据所述第一除法运算的结果输出相应地址的第一调整参数,根据所述第二除法运算的结果输出相应地址的第二调整参数。
可选的,所述除法器输出模块还用于将同一像素点对应的所述第一除法运算和所述第二除法运算的结果按照所述系统时钟信号进行同步处理,然后再输入所述存储器模块。
可选的,所述存储器模块为只读存储器。
可选的,所述第一除法器在获得所述第一除法运算或所述第二除法运算的输入数据后,延时至少三个计数时钟信号周期得到运算结果。
可选的,所述前处理部分包括预处理模块和滤波模块;所述预处理模块用于将所述待映射图像的像素点转换至YUV空间,并进行位宽压缩,得到相应像素点的滤波前亮度值;所述滤波模块用于根据相应像素点的滤波前亮度值进行滤波,得到相应像素点的滤波后亮度值。
可选的,所述色调映射部分包括第二除法器;在利用所述第一调整参数和所述第二调整参数进行局部色调映射时,所述色调映射部分利用所述第二除法器进行第三除法运算,所述第三除法运算用于执行如下关系式中的除法:
其中,x和y分别为所述色调映射部分当前处理的像素点在所述待映射图像的行方向和列方向上的位置,Vin(x,y)和Vout(x,y)分别为相应像素点在色调映射前和色调映射后的像素值,ImgY(x,y)为相应像素点的滤波前亮度值,Coef为校正系数,K1为所述第一调整参数,K2为所述第二调整参数,AvgY为所述待映射图像对应的亮度平均值,floor代表向下取整函数。
可选的,所述前处理部分包括均值计算模块,所述均值计算模块用于通过第四除法运算得到所述待映射图像中全部像素点的滤波前亮度值的平均值,并配置为后一帧图像对应的亮度平均值;为所述待映射图像配置的亮度平均值为对所述待处理图像的前一帧图像进行所述第四除法运算得到的值。
可选的,所述待映射图像对应的亮度平均值在所述前处理部分接收所述待映射图像之前通过所述第四除法运算获得,所述第二除法器还用于完成所述第四除法运算。
另一方面,本发明提供一种图像处理装置,所述图像处理装置采用了上述色调映射电路。
本发明提供的色调映射电路包括前处理部分和色调映射部分,所述色调映射部分可以通过第一除法运算得到第一调整参数,并通过第二除法运算得到第二调整参数,继而利用所述第一调整参数和所述第二调整参数进行局部色调映射,所述第一除法运算与相应像素点的滤波前亮度值和滤波后亮度值的比值相关,所述第二除法运算与所述亮度平均值和相应像素点的滤波后亮度值的比值相关,并且,所述色调映射部分包括第一除法器,所述第一除法运算和所述第二除法运算采用所述第一除法器分时完成。相对于分别设置一个除法器进行第一除法运算和第二除法运算的电路来说,本发明通过使第一除法器复用实现两次除法运算,因而电路面积较小,优化了色调映射电路,有助于应用装置的小型化。
进一步的,本发明的色调映射电路中,利用所述第一调整参数和所述第二调整参数进行局部色调映射时还采用第二除法器进行第三除法运算,并且,所述第二除法器还可以用来进行第四除法运算,所述第四除法运算用来计算待映射图像的前一帧图像全部像素点的亮度平均值,通过所述第二除法器的复用,进而可以进一步缩小本发明的色调映射电路的面积。
本发明提供的图像处理装置采用了上述色调映射电路,由于所述色调映射电路面积较小,有助于所述图像处理装置实现小型化及性能优化。
附图说明
图1是本发明实施例进行局部色调映射的流程示意图。
图2是本发明实施例的色调映射电路的方块示意图。
图3是本发明实施例的色调映射电路进行第一除法运算和第二除法运算采用的时序图。
图4是本发明实施例的色调映射电路执行多次除法运算的示意图。
具体实施方式
以下结合附图和具体实施例对本发明的色调映射电路和图像处理装置作进一步详细说明。根据下面的说明,本发明的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施例的目的。需要说明的是,说明书中的术语“第一”、“第二”等用于在类似要素之间进行区分,且未必是用于描述特定次序或时间顺序。要理解,在适当情况下,如此使用的这些术语可替换,例如可使得本文所述的本发明实施例能够不同于本文所述的或所示的其它顺序来操作。
显示设备(例如电视机、电脑、手机、平板电脑等)使用的成像技术可能与图像捕获设备(例如相机、录像机等)不同,例如,由图像捕获设备采集的高动态范围(HDR)格式的原始(RAW)图像在给定的显示设备上进行显示时,需要采用色调映射技术对原始图像进行处理,以尽可能地保留高动态范围图像内的对比度、颜色等信息,再在给定的显示设备上显示。
本发明的色调映射电路可以连接在上述图像捕获设备和显示设备之间,用来实现色调映射技术,将高动态范围图像在给定显示设备上显示。目前的色调映射技术中,局部色调映射较全局色调映射可能获得更好地色调映射效果,本发明的色调映射电路可以用来完成局部色调映射。图1是本发明实施例进行局部色调映射的流程示意图。以下首先结合图1介绍所述色调映射电路执行的局部色调映射的流程。
参见图1,所述局部色调映射的流程包括第一步骤,色调映射电路接收原始图像数据。所述原始图像数据例如来自摄像机或相机,所述原始图像数据可以是逐帧发送的视频数据,所述原始图像数据也可以是图片数据。本实施例主要以视频图像数据为例进行说明,具体以对一帧图像进行色调映射为例进行说明,该帧图像称为待映射图像。
参见图1,所述局部色调映射的流程包括第二步骤,色调映射电路对原始图像进行预处理。本发明实施例中,待映射图像例如为浮点RGB图像(称为RAW格式),待映射图像的数据存储在缓存中。所述预处理首先进行空间域转换,以更容易地在色调映射电路的通道上压缩和发送。本发明实施例中,可以将原始格式的待映射图像转换为每个像素点具有对数亮度值(表示为LogY)的图像,称为Y变换,具有对数亮度值(以下简称亮度值)的图像例如在YUV色彩空间。Y变换可以采用本领域公开的方法,例如3×3矩阵计算。作为示例,一幅待映射图像中,每个像素点从RAW格式经过Y变换后,具有20bit位宽,所述第二步骤中,所述预处理还将像素点从20bit位宽压缩到12bit,以仅保留亮度(灰度)数据,所述亮度数据对应的灰度区间范围为0~2047。
参见图1,所述局部色调映射的流程包括第三步骤,在所述第三步骤,对经过上述Y变换的各个像素点的亮度值进行滤波处理,得到每个像素点滤波后的亮度值。第二步骤和第三步骤可以在系统时钟信号的控制下同时进行,完成第二步骤预处理的像素点按照系统时钟信号逐行从左至右逐个发送到滤波模块进行处理即可。待映射图像的大小例如为W×H,即行方向上包括W个像素,列方向上包括H个像素。另外为了区分,可以按照每个像素点在待映射图像的行方向和列方向上的位置来表示该像素点,例如,将位于行方向上从左至右第x个且位于列方向上从上到下第y个的像素点表示为(x,y),x和y均为自然数。所述滤波处理的方法例如为3*3滤波,滤波处理可以采用硬件电路实现。一实施例中,为了进行3*3滤波,先获得以要进行滤波的像素点为中心的5*5(5行5列个像素点)的窗口,则对所述待映射图像进行处理时,需要先在缓存中存储4行Y变换后的像素点数据,然后在接收到第5行后,得到5*5窗口,并将5*5窗口中心的3*3(3行3列个像素点)大小作为滤波窗口,进行滤波(例如加权滤波),以得到位于滤波窗口中心的像素点的滤波后亮度值。
参照图1,所述局部色调映射的流程包括第四步骤,计算所述待映射图像的经过上述预处理的各个像素点的亮度值(即滤波前亮度值)的平均值,即计算所述待映射图像的亮度平均值。所述亮度平均值可以用于对得到其的待映射图像进行色调映射,也可以错开一帧,即所述亮度平均值配置给后一帧图像进行色调映射。而当前待映射图像进行色调映射采用前一帧图像计算得到的亮度平均值。所述第四步骤可以在预处理之后的帧处理阶段进行,也可以在帧间间隔进行。
参照图1,所述局部色调映射的流程包括第五步骤,计算第一调整参数K1和第二调整参数K2。所述第一调整参数K1和第二调整参数K2用于提高局部映射的效果。
本实施例中,第一调整参数K1和第二调整参数K2均为10的指数次方,并且,与第一调整函数K1对应的10的指数表示为indexK1,与第二调整函数K2对应的10的指数表示为indexK2,indexK1和indexK2分别满足如下关系式(1)和(2):
其中,floor代表向下取整函数。imgY(x,y)为位于待映射图像中的像素点(x,y)经过上述预处理后得到的亮度值,称为滤波前亮度值,imgYfilter(x,y)为像素点(x,y)经过预处理以及滤波处理后的亮度值,称为滤波后亮度值。AvgV为待映射图像对应的亮度平均值(本实施例中,待映射图像对应的亮度平均值为均值计算模块根据前一帧图像计算得到的亮度平均值)。A1和A2用来表示局部色调映射的强度,其中通过调整A1可以控制暗部细节的亮度,A1越大,暗部亮度提升越大,A2可以控制高亮部分的亮度,A2越大,高亮部分亮度提升越大,A1和A2与待映射图像的增益相关。一实施例中,A1和A2均取-0.301。
可以看出,关系式(1)包括除法运算,本实施例称为第一除法运算,关系式(2)包括除法运算,本实施例称为第二除法运算。所述第五步骤中,在根据关系式(1)和(2)计算出indexK1和indexK2后,可以进一步根据10的指数次方得到K1和K2的值。
参照图1,所述局部色调映射的流程包括第六步骤,在得到第一调整参数K1和第二调整参数K2后,进行局部色调映射。局部色调映射要得到各像素点在预处理前的空间域(如RGB色彩空间)对应的像素数据(即预处理前的像素值)。局部色调映射具体包括如下过程:
设定当前处理的像素点在待映射图像中的位置为(x,y),且当像素点(x,y)的滤波前亮度值ImgY(x,y)为0时,局部色调映射后的像素数据(即局部色调映射后的像素值)Vout(x,y)为0。当像素点(x,y)的滤波前亮度值不为0时,首先利用关系式(3)得到像素点(x,y)局部色调映射后的亮度值ImgYnew(x,y):
其中,ImgYnew(x,y)为当前像素点(x,y)的经过局部色调映射后的亮度值,AvgV代表为待处理图像配置的亮度平均值。Coef为校正系数,Coef可以根据当前像素点的滤波前亮度值对应设置。
然后,再利用关系式(4)得到当前像素点(x,y)在预处理前的空间域(对应RAW格式)的像素值Vout(x,y):
合并关系式(3)和关系式(4),可以得到关系式(5):
根据关系式(5),可以得到待映射图像每个像素点局部色调映射后的像素值。需要说明的是,在计算关系式(3)和(5)时,根据实际位宽的分布情况,可能需要进行移位处理。本实施例中,经过色调映射后的像素值Vout(x,y)的计算结果的位宽与预处理前相同,均为20bit数据,若需要输出12bit数据,则直接截取Vout(x,y)的高12位即可。
上述局部色调映射过程在两种情况下不对当前帧图像进行局部色调映射处理,而是直接输出原图像,一种情况是当映射处理的使能操作从关闭状态切换到开启状态时,另一种情况是图像从黑白模式切换到彩色模式或者从彩色模式切换到黑白模式时。
上述局部色调映射过程中,除了第一除法运算和第二除法运算,在第六步骤处理关系式(5)时也需要用到除法运算,本实施例记为第三除法运算。另外在第四步骤计算亮度平均值时,可以通过累加待映射图像中全部像素点的滤波前亮度值,再除以全部像素点的个数得到,也即第四步骤也需要用到除法运算,本实施例记为第四除法运算。
为了执行上述第一至第四除法运算,局部色调映射电路的常规设计中,需要各自采用一个除法器来实现第一至第四除法运算,而且每个除法器处理的数据位宽也较大,为此需要预留较大的面积(甚至超过整个电路面积的50%),这对于图像处理芯片的集成以及应用设备的小型化不利,因此,业界存在缩小电路面积的需求。本发明的色调映射电路在不影响色调映射的实现效果的基础上,可以通过除法器复用,减少除法器的数量,从而有助于缩小电路面积。以下作进一步详细说明。
图2是本发明实施例的色调映射电路的模块示意图。参见图2,本发明实施例包括一种色调映射电路,所述色调映射电路包括前处理部分和色调映射部分。所述前处理部分用于接收待映射图像,根据所述待映射图像中像素点的像素值获得相应像素点的滤波前亮度值(表示为ImgY(x,y))和滤波后亮度值(表示为ImgYfilter(x,y)),并为所述待映射图像配置一亮度平均值(表示为AvgY))。此处“相应像素点”指的是由所述前处理部分根据像素值得到滤波前亮度值和滤波后亮度值的具体的像素点。所述色调映射部分用于通过第一除法运算得到第一调整参数(K1表示),并通过第二除法运算得到第二调整参数(K2表示),继而利用所述第一调整参数K1和所述第二调整参数K2进行局部色调映射,所述第一除法运算与相应像素点的滤波前亮度值和滤波后亮度值的比值相关,所述第二除法运算与所述亮度平均值和相应像素点的滤波后亮度值的比值相关;所述色调映射部分包括第一除法器,所述第一除法运算和所述第二除法运算由所述第一除法器分时完成。
具体的,上述色调映射过程中的第一步骤、第二步骤、第四步骤均可以采用所述色调映射电路的前处理部分来实现。相应的,参见图2,所述前处理部分可包括预处理模块和滤波模块,所述预处理模块用于将所述待映射图像进行空间域转换以及位宽压缩,得到相应像素点的滤波前亮度值;所述滤波模块用于根据相应像素点的滤波前亮度值进行滤波,得到相应像素点的滤波后亮度值。所述预处理模块可按照系统时钟信号(图3中用clka表示)输出每个像素点的滤波器前亮度值。另外,所述前处理部分还可包括均值计算模块,所述均值计算模块用于通过上述第四除法运算得到所述待映射图像中全部像素点的滤波前亮度值的平均值。本实施例中,所述均值计算模块基于当前的待映射图像计算得到的亮度平均值作为其后一帧图像进行第三步骤(参见关系式(1)和(2))和第五步骤(参见关系式(5))时采用的亮度平均值,对于当前处理的所述待映射图像来说,为其配置的亮度平均值(即所述待映射图像对应的亮度平均值)采用前一帧图像经过所述第四除法运算得到的值。
上述色调映射过程中的第三步骤和第五步骤可以采用所述色调映射部分来实现,由前述的色调映射流程可知,在第三步骤获得第一调整参数K1的过程采用了第一除法运算,获得第二调整参数K2的过程采用了第二除法运算。本实施例中,所述色调映射电路的色调映射部分包括第一除法器,所述第一除法运算和所述第二除法运算由所述第一除法器分时完成。
图3是本发明实施例的色调映射电路进行第一除法运算和第二除法运算采用的时序图。图4是本发明实施例的色调映射电路执行多次除法运算的示意图。结合图1至图4,以下介绍所述色调映射部分的模块结构以及利用第一除法器分时完成上述第一除法运算和第二除法运算的过程。
参见图2,除了第一除法器,所述色调映射部分还包括时序调整模块、除法器输入模块、除法器输出模块和存储器模块。
本实施例中,所述时序调整模块用于根据系统时钟信号clka生成计数时钟信号clkb,所述系统时钟信号与所述计数时钟信号同相位且频率是所述计数时钟信号的两倍。作为示例,所述时序调整模块采用锁相环根据系统时钟信号clka产生一个同相位的两倍频率的时钟信号作为计数时钟信号clkb。
所述除法器输入模块用于根据所述计数时钟信号的节拍交替向所述第一除法器输入所述第一除法运算对应的一组被除数和除数以及所述第二除法运算对应的一组被除数和除数。所述第一除法器分时进行所述第一除法运算和所述第二除法运算,并分时输出所述第一除法运算和所述第二除法运算的结果。参照关系式(1)及图3,本实施例中,第一除法运算对应的一组被除数和除数分别为A1*imgY(x,y)和imgYfilter(x,y),在通过第一除法器进行第一除法运算之前,所述除法器输入模块可以通过乘法器使A1和当前处理的像素点的滤波前亮度值进行相乘获得A1*imgY(x,y)的值。但不限于此,另一实施例中,所述第一除法运算对应的一组被除数和除数分别为imgY(x,y)和imgYfilter(x,y),所述除法器输入模块可以在完成第一除法运算之后,将得到的商与A1相乘。参照关系式(2),本实施例中,第二除法运算对应的一组被除数和除数分别为A2*AvgY和imgYfilter(x,y),在通过第一除法器进行第二除法运算之前,所述除法器输入模块可以通过乘法器使A2和当前待映射图像对应的亮度平均值进行相乘获得A2*AvgY的值。但不限于此,另一实施例中,所述第二除法运算对应的一组被除数和除数分别为AvgY和imgYfilter(x,y),所述除法器输入模块在完成第二除法运算之后,将得到的商与A2相乘。
如图3所示,所述第一除法器对应于所述第一除法运算输入的值用q1表示,对应于所述第二除法运算输入的值用p1表示。本实施例中,首先按照系统时钟信号clka得到第一除法运算的被除数(如图3中的mult_A1信号),从而得到q1,同时按照系统时钟信号clka对当前像素点计算第二除法运算的被除数(如图3中的mult_A2信号),从而得到p1。q1和p1按照计数时钟信号clkb的节拍被交替输入第一除法器(如图3中的div_in_clkb信号)。所述除法器输入模块可设置有第一计数器count0,所述第一计数器count0例如按照二进制计数,输出0或1,div_in_clkb信号在第一计数器count0输出0时向第一除法器输入p1,在第一计数器count0输出1时向第一除法器输入q1,或者,div_in_clkb信号在第一计数器count0输出1时向第一除法器输入p1,而在第一计数器count0输出0时向第一除法器输入q1,只要按照计数时钟信号clkb的节拍交替输入即可。
第一除法器根据计数时钟信号clkb工作,在不同节拍获得第一除法运算和第二除法运算的输入后,按照计数时钟信号clkb分时计算得到所述第一除法运算和所述第二除法运算的结果。
所述除法器输出模块用于根据所述计数时钟信号的节拍交替读取所述第一除法器得到的所述第一除法运算的结果和所述第二除法运算的结果。为了优化时序,本实施例中选用的第一除法器在获得所述第一除法运算或所述第二除法运算的输入后,延时至少三个计数时钟信号周期方得到除法运算结果。示例的,如图3的div_out_clkb信号所示,第一除法器对应于q1的输出(q1_d表示)在q1之后的第三个周期得到,对应于p1的输出(p1_d表示)在p1之后的第三个周期得到,即该第一除法器在被除数和除数输入到除法器后,三个周期后才会计算得到结果。
为了获得第一除法运算和第二除法运算的结果,所述除法器输出模块按照div_out_clkb信号获得第一除法运算的结果(即indexK1)和第二除法运算的结果(即indexK2)。所述除法器输出模块可包括第二计数器count1,第二计数器count1在当前处理行图像的第一个q1输入第一除法器之后的第三个周期按照二进制开始计数,分别输出0和1,所述除法器输出模块在所述第二计数器count1输出为0时,得到q1对应的输出值q1_d,在第二计数器count1输出为1时,得到p1对应的输出值p1_d。q1对应的输出值q1_d和p1对应的输出值p1_d可以随后被输入存储器模块。
可选的,可以在获得第一除法运算和第二除法运算的结果之后,将第一除法器的输出同步到系统时钟信号clka。本实施例中,所述除法器输出模块还用于将同一像素点对应的所述第一除法运算和所述第二除法运算的结果按照所述系统时钟信号进行同步处理,然后再输入所述存储器模块。参见图3,在第二计数器count1输出为0时得到的q1_d在紧随的第二计数器count1输出为1的时段被锁存一拍(如图3中的index_K1_clkb信号),达到系统时钟信号clka的周期长度。在第二计数器count1输出为1时得到的p1_d在紧随的第二计数器count1输出为0的时段被锁存一拍(如图3中的index_K2_clkb信号),达到系统时钟信号clka的周期长度,然后调整为同步输出(如图3中的index_K1_clka信号和index_K2_clka信号)。
参见前述的色调映射的流程,所述第一除法运算的结果和所述第二除法运算的结果在经过进一步计算后,即可得到第一调整参数K1和第二调整参数K2。然而,考虑到在此处设置计算模块会导致电路面积和功耗的增加,本实施例中,在色调映射电路中省去由indexK1和indexK2得到K1和K2的计算模块,而是直接通过indexK1和indexK2的值读取存储器模块中相应地址的K1和K2。
具体的,所述存储器模块包括分别存储有所述第一调整参数K1和所述第二调整参数K2的地址,所述第一除法运算的结果对应于所述第一调整参数K1的地址,所述第二除法运算的结果对应于所述第二调整参数K2的地址,所述存储器模块根据所述第一除法运算的结果输出相应地址的第一调整参数K1,根据所述第二除法运算的结果输出相应地址的第二调整参数K2。
所述存储器模块可以选用只读存储器(ROM)或随机存取存储器(RAM),优选为只读存储器,以便于缩小电路面积。作为示例,所述存储器模块中存储有查找表LUT[n],n为整数,n的范围可以根据色调映射的要求设置,例如0≦n≦1023。所述第一除法运算和所述第二除法运算的结果对应于该查找表的地址。对于某些特殊情况,如第一除法器输出的indexK1≧4096或者indexK2≧4096时,所述色调映射电路可以直接指定对应的K1或K2,例如设置当indexK1≧4096时,K1为0,当indexK2≧4096时,K2为0。
本发明实施例的色调映射电路还用于执行前述色调映射流程的第三除法计算。参见图4以及关系式(5),上述存储器模块将第一调整参数K1和第二调整参数K2输出,然后通过关系式(5)计算当前处理的像素点映射后的像素值。具体参见图2及图4,可以先利用加法器得到关系式(5)中K1和K2的和,利用乘法器得到关系式(5)中(Coff*(K1+K2)*AvgY)的值,进而得到关系式(5)中的除数的值,所述色调映射部分还包括第二除法器,所述第二除法器用来进行第三除法运算,以得到关系式(5)中的Vout(x,y)。在获得待映射图像中每个位置的像素点映射后的像素值(Vout(x,y))后,可以将每个像素点按照映射后的像素值进行输出,得到色调映射后的图像,并在显示设备上显示。
进一步的,本实施例中,通过设置所述待映射图像在进行第三步骤和第五步骤时采用前一帧图像经过所述第四除法运算得到的亮度平均值进行计算,前一帧图像的亮度平均值只要在当前帧图像进行第三步骤之前获得即可,例如可以在前一帧图像获得各个像素点的滤波前亮度值之后的帧处理阶段或者前一帧和当前帧图像的帧间间隔进行第四除法计算。可见,利用前一帧图像的图像数据进行第四除法计算的过程与利用当前帧图像的图像数据进行第三除法计算的过程可以设置在不同时间段进行,因此,参见图4,本实施例中,所述第三除法计算和所述第四除法计算可以采用设置在色调映射电路内的第二除法器分时完成。从而,上述第一至第四除法运算仅采用两个除法器来实现,可以使色调映射电路的面积得到进一步缩小。
可以理解的是,本发明实施例的色调映射电路中,所述前处理部分中的预处理模块、均值计算模块、滤波模块,以及所述色调映射部分中的时序调整模块、除法器输入模块、除法器输出模块可以合并为一个模块实现,或者其中的任意一个模块可以被拆分成多个模块。对于一个或两个以上的这些模块,可以将其至少部分功能与其它模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,所述前处理部分中的预处理模块、均值计算模块、滤波模块,以及所述色调映射部分中的时序调整模块、除法器输入模块、除法器输出模块中的至少一个可以至少被部分地实现为硬件电路(例如现场可编程门阵列FPGA、复杂可编程逻辑器件CPLD、专用集成电路ASIC)或者以软件和硬件电路的适当组合来实现,或者,所述前处理部分中的预处理模块、均值计算模块、滤波模块,以及所述色调映射部分中的时序调整模块、除法器输入模块、除法器输出模块中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
本发明实施例还包括一种图像处理装置,包括本发明实施例上述的色调映射电路。所述图像处理装置可以装配有集成了所述色调映射电路的芯片,例如可用于对医学图像、雷达图像等高动态范围图像进行色调映射。由于所述色调映射电路面积较小,有助于所述图像处理装置实现小型化及性能优化。
本实施例中的结构采用递进的方式描述,在后的结构重点描述说明的是与在前的结构的不同之处,相关之处可以参照理解。
上述描述仅是对本发明较佳实施例的描述,并非对本发明权利范围的任何限定,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (9)
1.一种色调映射电路,其特征在于,包括:
前处理部分,用于接收待映射图像,根据所述待映射图像中像素点的像素值获得相应像素点的滤波前亮度值和滤波后亮度值,并为所述待映射图像配置一亮度平均值;所述前处理部分包括预处理模块和滤波模块;所述预处理模块用于将所述待映射图像进行空间域转换以及位宽压缩,得到相应像素点的滤波前亮度值;所述滤波模块用于根据相应像素点的滤波前亮度值进行滤波,得到相应像素点的滤波后亮度值;以及,
色调映射部分,用于通过第一除法运算得到第一调整参数,并通过第二除法运算得到第二调整参数,继而利用所述第一调整参数和所述第二调整参数进行局部色调映射,所述第一除法运算与相应像素点的滤波前亮度值和滤波后亮度值的比值相关,所述第二除法运算与所述亮度平均值和相应像素点的滤波后亮度值的比值相关;
其中,所述色调映射部分包括第一除法器,所述第一除法运算和所述第二除法运算由所述第一除法器分时完成;
所述色调映射部分包括:
时序调整模块,用于根据系统时钟信号生成计数时钟信号,所述系统时钟信号与所述计数时钟信号同相位且频率是所述计数时钟信号的两倍;
除法器输入模块,用于根据所述计数时钟信号的节拍交替向所述第一除法器输入所述第一除法运算对应的一组被除数和除数以及所述第二除法运算对应的一组被除数和除数;
除法器输出模块,用于根据所述计数时钟信号的节拍交替读取所述第一除法器得到的所述第一除法运算的结果和所述第二除法运算的结果;以及,
存储器模块,包括分别存储有所述第一调整参数和所述第二调整参数的地址,所述第一除法运算的结果对应于所述第一调整参数的地址,所述第二除法运算的结果对应于所述第二调整参数的地址,所述存储器模块根据所述第一除法运算的结果输出相应地址的第一调整参数,根据所述第二除法运算的结果输出相应地址的第二调整参数。
2.如权利要求1所述的色调映射电路,其特征在于,所述除法器输出模块还用于将同一像素点对应的所述第一除法运算和所述第二除法运算的结果按照所述系统时钟信号进行同步处理,然后再输入所述存储器模块。
3.如权利要求1所述的色调映射电路,其特征在于,所述存储器模块为只读存储器。
4.如权利要求1所述的色调映射电路,其特征在于,所述第一除法器在获得所述第一除法运算或所述第二除法运算的输入数据后,延时至少三个计数时钟信号周期得到运算结果。
5.如权利要求1至4任一项至所述的色调映射电路,其特征在于,所述预处理模块用于将所述待映射图像的像素点转换至YUV空间,并进行位宽压缩,得到相应像素点的滤波前亮度值。
6.如权利要求5所述的色调映射电路,其特征在于,所述色调映射部分包括第二除法器;在利用所述第一调整参数和所述第二调整参数进行局部色调映射时,所述色调映射部分利用所述第二除法器进行第三除法运算,所述第三除法运算用于执行如下关系式中的除法:
其中,x和y分别为所述色调映射部分当前处理的像素点在所述待映射图像的行方向和列方向上的位置,Vin(x,y)和Vout(x,y)分别为相应像素点在色调映射前和色调映射后的像素值,ImgY(x,y)为相应像素点的滤波前亮度值,Coef为校正系数,K1为所述第一调整参数,K2为所述第二调整参数,AvgY为所述待映射图像对应的亮度平均值,floor代表向下取整函数。
7.如权利要求6所述的色调映射电路,其特征在于,所述前处理部分包括均值计算模块,所述均值计算模块用于通过第四除法运算得到所述待映射图像中全部像素点的滤波前亮度值的平均值,并配置为后一帧图像对应的亮度平均值;为所述待映射图像配置的亮度平均值为对待处理图像的前一帧图像进行所述第四除法运算得到的值。
8.如权利要求7所述的色调映射电路,其特征在于,所述待映射图像对应的亮度平均值在所述前处理部分接收所述待映射图像之前通过所述第四除法运算获得,所述第二除法器还用于完成所述第四除法运算。
9.一种图像处理装置,其特征在于,所述图像处理装置采用了如权利要求1至8任一项所述的色调映射电路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111044331.1A CN113766205B (zh) | 2021-09-07 | 2021-09-07 | 色调映射电路及图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111044331.1A CN113766205B (zh) | 2021-09-07 | 2021-09-07 | 色调映射电路及图像处理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113766205A CN113766205A (zh) | 2021-12-07 |
CN113766205B true CN113766205B (zh) | 2024-02-13 |
Family
ID=78793498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111044331.1A Active CN113766205B (zh) | 2021-09-07 | 2021-09-07 | 色调映射电路及图像处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113766205B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109194307A (zh) * | 2018-08-01 | 2019-01-11 | 南京中感微电子有限公司 | 数据处理方法及系统 |
CN109461125A (zh) * | 2018-09-30 | 2019-03-12 | 南京信息工程大学 | 基于fpga的点二维高斯滤波器及图像处理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2013206601A1 (en) * | 2013-06-28 | 2015-01-22 | Canon Kabushiki Kaisha | Variable blend width compositing |
US9979895B2 (en) * | 2015-09-04 | 2018-05-22 | Disney Enterprises, Inc. | High dynamic range tone mapping |
-
2021
- 2021-09-07 CN CN202111044331.1A patent/CN113766205B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109194307A (zh) * | 2018-08-01 | 2019-01-11 | 南京中感微电子有限公司 | 数据处理方法及系统 |
CN109461125A (zh) * | 2018-09-30 | 2019-03-12 | 南京信息工程大学 | 基于fpga的点二维高斯滤波器及图像处理方法 |
Non-Patent Citations (2)
Title |
---|
An FPGA-based architecture for a local tone-mapping operator;Firas Hassan;J Real-Time Image Proc;全文 * |
低照度图像去雾算法的FPGA实现;蒲坤;张家树;;微电子学与计算机(10);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113766205A (zh) | 2021-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7397944B2 (en) | Processing pipeline of pixel data of a color image acquired by a digital sensor | |
CN1093669C (zh) | 运动图像对比度增强的直方图均衡装置及其方法 | |
US20030234795A1 (en) | Apparatus and method for converting of pixels from YUV format to RGB format using color look-up tables | |
US20070133902A1 (en) | Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts | |
CN105493497A (zh) | 用于流送环境中的高效视频处理的方法和处理器 | |
WO2021148057A1 (zh) | 低比特位宽hdr图像的生成方法及装置、存储介质、终端 | |
US20110134291A1 (en) | Image-processing device for color image data and method for the image processing of color image data | |
US20110310302A1 (en) | Image processing apparatus, image processing method, and program | |
WO2018126861A1 (zh) | 显示屏的驱动电路、显示方法及显示器件 | |
US7751642B1 (en) | Methods and devices for image processing, image capturing and image downscaling | |
JP3322613B2 (ja) | 映像信号変換器 | |
US20080285868A1 (en) | Simple Adaptive Wavelet Thresholding | |
JPH0773308A (ja) | デジタル画像処理装置 | |
CN109345464B (zh) | 一种在Bayer数据域实现HDR的图像处理的方法和系统 | |
KR100500069B1 (ko) | 표시 장치 및 그 제어 회로 | |
JPH10208030A (ja) | 画像処理装置および処理方法 | |
CN113766205B (zh) | 色调映射电路及图像处理装置 | |
CN117768774A (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
US20020176011A1 (en) | On-screen device for subject of interest in portable electronic device, and method of controlling same | |
US6542429B2 (en) | Method of controlling line memory | |
CN115511709A (zh) | 一种自适应的超分辨率图像采样系统 | |
CN110874816B (zh) | 一种图像处理方法、装置、移动终端及存储介质 | |
Licciardo et al. | Design and FPGA implementation of a real-time processor for the HDR conversion of images and videos | |
JP4540191B2 (ja) | 画像処理装置 | |
CN113724174A (zh) | 直方图均衡系统及图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |