CN114240782A - 图像校正方法、系统及电子设备 - Google Patents

图像校正方法、系统及电子设备 Download PDF

Info

Publication number
CN114240782A
CN114240782A CN202111546576.4A CN202111546576A CN114240782A CN 114240782 A CN114240782 A CN 114240782A CN 202111546576 A CN202111546576 A CN 202111546576A CN 114240782 A CN114240782 A CN 114240782A
Authority
CN
China
Prior art keywords
image data
image
coefficient
tone mapping
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111546576.4A
Other languages
English (en)
Inventor
刘建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aixin Technology Co ltd
Original Assignee
Beijing Aixin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aixin Technology Co ltd filed Critical Beijing Aixin Technology Co ltd
Priority to CN202111546576.4A priority Critical patent/CN114240782A/zh
Publication of CN114240782A publication Critical patent/CN114240782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

本申请提供一种图像校正方法、系统及电子设备，涉及图像色调映射领域，该方法包括：将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数；基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值；根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。采用本申请实施例中提供的图像校正方法能够解决在将HDR图像进行色调映射后，图像质量低的问题。

Description

图像校正方法、系统及电子设备
技术领域
本申请涉及图像色调映射领域，具体而言，涉及一种图像校正方法、系统及电子设备。
背景技术
显示设备只有有限的显示动态范围，在有限动态范围媒介上近似显示高动态范围图像时需要使用到色调映射，如HDR(High Dynamic Range Imaging)图像与视频有着更高的亮度、更深的位深、更广的色域，而在LDR(Low Dynamic Range Imaging)显示设备中显示HDR图像时，需要对HDR图像进行色调映射(Tone Mapping)，使高动态范围HDR图像能够适应低动态范围LDR显示器，需要将HDR图像的色度，亮度，动态范围等参数全部映射到LDR图像的标准范围内。在色调映射的过程中，使用线性映射会丢失原始图像的一些重要信息，例如全局与局部的对比度和重要的细节等，因此目前存在将HDR图像进行色调映射后，图像质量低的问题。
发明内容
本申请实施例的目的在于提供一种图像校正方法、系统及电子设备，用以解决在将HDR图像进行色调映射后，图像质量低的问题。
第一方面，本申请实施例提供一种图像校正方法，包括：
将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数；
基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值；
根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。
在上述实现过程中，能够基于分块以及插值的方式确定图像数据中每个像素的补偿值，并基于该补偿值对图像数据中的每个像素点进行补偿，从而在对HDR图像进行色调映射时，校正图像各个分区中的亮度，通过格点系数对每个像素进行校正，尤其能够实现在高对比度场景下既保留图像数据中暗区的细节，也能防止亮区过曝，提高传感器的图像质量。
可选地，在所述根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据之前，所述方法还可以包括：
基于插值后的所述格点系数数据建立格点系数表格；
检测所述图像数据中是否发生场景变化，在发生场景变化时，切换所述格点系数表格，以基于切换后的所述格点系数表格中的所述格点系数对所述图像数据进行校正。
在上述实现过程中，通过切换格点系数实现视频数据的校正，基于格点系数的变换匹配视频数据的时域特性，能够防止在对视频数据进行色调映射时出现帧间闪烁现象，能够实现对视频数据的实时色调映射，提高经过色调映射后的视频质量。
可选地，所述将图像数据进行分块，获得格点系数数据可以包括：
分别对所述图像数据在RAW域中的多个颜色分量进行分块，获得所述图像数据每个颜色分量对应的格点系数数据；
所述根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据可以包括：
对于每个所述颜色分量，将所述颜色分量中的每个像素点乘以与所述像素点对应的所述格点系数，得到校正后的颜色分量数据，以在所有颜色分量校正完成后得到校正后的所述图像数据。
在上述实现过程中，通过对图像数据的每个颜色通道进行校正，能够消除图像数据中的由于光波长而导致的色彩偏差问题，能够进一步提高图像数据的质量。
可选地，在所述得到校正后的所述图像数据之后，所述方法还可以包括：
将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式。
在所述将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式之后，所述方法还包括：
基于预设色彩校正矩阵得到所述图像数据经过校正后的红、绿和蓝颜色通道的亮度值，所述预设色彩校正矩阵的运算公式为：
Figure BDA0003415913980000031
其中，R、G和B分别为所述图像数据校正前的红、绿和蓝颜色通道的亮度值，R′、G′和B′分别为所述图像数据校正后的红、绿和蓝颜色通道的亮度值，m为颜色通道中的色彩分量；
基于经过校正后的红、绿和蓝颜色通道的亮度值对所述图像数据进行伽马校正，为在色域的所述图像数据的每一个像素点增加对应的增益，得到阶调映射图像。
在上述实现过程中，通过对图像数据进行色彩校正以及伽马校正，可以校正光谱响应的交叉效应和响应强度，使前端传感器捕获的图像数据与人眼视觉在色彩上保持一致，且提升图像数据的暗部细节，能够进一步提升色调映射中的图像质量。
可选地，在所述得到阶调映射图像之后，所述方法还可以包括：
将所述阶调映射图像转换为直方图，统计所述直方图中每个分区的Bin值；
对所述阶调映射图像做全局色彩色调映射，并确定所述阶调映射图像中每个区域的位置权重；
基于所述Bin值与所述位置权重计算得到初步局部阶调映射图像；
对所述初步局部阶调映射图像进行反伽马运算，得到目标局部阶调映射图像。
在上述实现过程中，可以提高传感器的图像质量，对视频数据进行实时色调映射，从而将高动态范围的HDR图像能够兼容地放映在低动态范围的LDR显示设备中。
可选地，在所述将图像数据进行分块，获得格点系数数据之前，所述方法还可以包括：
接收从多路传感器发送的多个所述图像数据，以对多个所述图像数据进行图像校正。
在上述实现过程中，可以同时接收多路传感器数据，并对数据进行处理，能够提高图像校正以及图像色调映射的效率。
第二方面，本申请实施例提供一种图像校正系统，包括：
分块模块，用于将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数；
插值模块，用于基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值；
阴影校正模块，用于根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。
在上述实现过程中，能够基于分块以及插值的方式确定图像数据中每个像素的补偿值，并基于该补偿值对图像数据中的每个像素点进行补偿，从而在对HDR图像进行色调映射时，校正图像各个分区中的亮度，通过格点系数对每个像素进行校正，尤其能够实现在高对比度场景下既保留图像数据中暗区的细节，也能防止亮区过曝，提高传感器的图像质量。
可选地，所述系统还可以包括：
白平衡配置模块，用于将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式；
色彩校正模块，用于基于预设色彩校正矩阵得到所述图像数据经过校正后的红、绿和蓝颜色通道的亮度值；
伽马校正模块，用于基于经过校正后的红、绿和蓝颜色通道的亮度值对所述图像数据进行伽马校正，为在色域的所述图像数据的每一个像素点增加对应的增益，得到阶调映射图像；
直方图计算模块，用于将所述阶调映射图像转换为直方图，统计所述直方图中每个分区的Bin值；
全局色彩色调映射模块，用于对所述阶调映射图像做全局色彩色调映射，并确定所述阶调映射图像中每个区域的位置权重，以及基于所述Bin值与所述位置权重计算得到初步局部阶调映射图像；
反伽马校正模块，用于对所述初步局部阶调映射图像进行反伽马运算，得到目标局部阶调映射图像。
可选地，分块模块可以具体用于：
基于插值后的所述格点系数数据建立格点系数表格；以及检测所述图像数据中是否发生场景变化，在发生场景变化时，切换所述格点系数表格，以使阴影校正模块基于切换后的所述格点系数表格中的所述格点系数对所述图像数据进行校正。
在上述实现过程中，通过切换格点系数实现视频数据的校正，基于格点系数的变换匹配视频数据的时域特性，能够防止在对视频数据进行色调映射时出现帧间闪烁现象，能够实现对视频数据的实时色调映射，提高经过色调映射后的视频质量。
可选地，分块模块还可以具体用于：
分别对所述图像数据在RAW域中的多个颜色分量进行分块，获得所述图像数据每个颜色分量对应的格点系数数据。
阴影校正模块可具体用于：
对于每个所述颜色分量，将所述颜色分量中的每个像素点乘以与所述像素点对应的所述格点系数，得到校正后的颜色分量数据，以在所有颜色分量校正完成后得到校正后的所述图像数据。
在上述实现过程中，通过对图像数据的每个颜色通道进行校正，能够消除图像数据中的由于光波长而导致的色彩偏差问题，能够进一步提高图像数据的质量。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像校正方法的步骤示意图；
图2为本申请实施例提供的针对图像数据多个颜色通道校正的步骤示意图；
图3为本申请实施例提供的对图像数据进行色彩校正的步骤示意图；
图4为本申请实施例提供的一种对阶调映射图像进行局部阶调映射的步骤示意图；
图5为本申请实施例提供的图像校正系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
申请人在研究的过程中发现，入门级的显示器与播放设备(例如电视、电脑以及智能手机屏幕等)的对比度很低，只有大约200：1，性能更好的LCD显示器能达到更高的对比度，大约10000：1，但是，这些设备通常都会将一个色彩通道离散化到8-bit，少数10-bit的色度区间内。这些设备的色度区间只有255个层级，因此无法显示色域更广的HDR图像。
在LDR显示设备中显示HDR图像时，需要对HDR图像进行色调映射，在色调映射的过程中，使用线性映射会丢失原始图像的一些重要信息，例如全局与局部的对比度和重要的细节。
因此，本申请实施例提供一种图像校正方法，通过在对HDR图像进行色调映射时校正图像各个分区中的亮度，从而提高图像质量。请参看图1，图1为本申请实施例提供的图像校正方法的步骤示意图，图像校正方法的步骤可以包括：
在步骤S11中，将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数。
在步骤S12中，基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值。
在步骤S13中，根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。
其中，由于传感器(Sensor)本身的机械特性或在图像数据收集的过程中光源的入射角度的影响，会造成影像中各个区域亮度不一致，导致亮度阴影(Luma Shading)的现象，影响色调映射后的图像质量，在对区域进行亮度补偿时会造成暗处的噪声同样被放大，因此，本申请实施例引入格点系数平衡对图像的亮度以及噪声的校正。
由于采集的图像尺寸较大，将图像中全部的格点系数预存在随机存取存储器(Random Access Memory，RAM)中或实施从图像中读取都会消耗大量计算资源，因此本申请实施例采用对图像数据分块的方式，确定每个分块交点的格点系数(Mesh)。
示例性地，Sensor可以是半导体芯片的图像传感器，在步骤S11中，可以将图像数据划分为16×12的分块，分别得到17×13的格点系数，可以基于双线性插值的方式计算每个像素点的格点系数。在具体实现过程中，可以根据视频的分辨率选择划分图像的分块数，如本申请中支持两路Camera Sensor数据同时输入，主摄支持最大5184像素的横向分辨率及4:3对应的3888像素的纵向分辨率；副摄支持最大4352像素的横向分辨率和3024像素的纵向分辨率，因此最多可以将图像数据划分为横向16，纵向12的分块，分块的大小也可以根据图像的比例或亮度分布进行调整，如可以设置使亮度高的部分分块偏大，而亮度低的部分分块偏小，也可以设置图像中心的分块偏大而靠近边缘的分块偏小。
经过步骤S11后划分出的格点系数数据可以全部预存在芯片的静态随机存取存储器(Static Random-Access Memory，SRAM)中，然后通过图像数据中的像素位置信息对格点系数数据进行插值得到全图每个像素点对应的系数值，可以基于cos4次方曲面拟合插值，也可以使用双线性插值的方法得到图像数据中每个像素点对应格点系数的值。
针对步骤S13，根据图像数据的每个像素点的格点系数对每个像素点的像素值进行校正可以是将图像数据的每个像素点乘以与该像素点对应的格点系数，将亮度补偿到图像数据中，得到校正后的图像数据，在实际实现过程中，也可以基于格点系数的预设百分比对图像数据进行补偿，预设百分比可以是60％、80％等的百分比，从而防止过高补偿导致噪声偏大或暗处偏红的问题。
由此可见，本申请实施例中提供的图像校正方式能够基于分块以及插值的方式确定图像数据中每个像素的补偿值，并基于该补偿值对图像数据中的每个像素点进行补偿，从而在对HDR图像进行色调映射时，校正图像各个分区中的亮度，通过格点系数对每个像素进行校正，尤其能够实现在高对比度场景下既保留图像数据中暗区的细节，也能防止亮区过曝，提高传感器的图像质量。
在一可选的实施例中，图像数据可以是视频数据，在对视频数据进行色调映射时，本质上可以看作对视频中的每一帧进行图像色调映射，但是，由于视频独有的时域特性以及时域联系，不能简单地将图像色调映射的步骤直接应用于视频当中，否则可能容易出现帧间闪烁现象，导致视频质量降低。因此，本申请实施例提供一种针对视频数据的校正方式，在步骤S12之前，可以基于插值后的所述格点系数数据建立格点系数表格，检测所述图像数据中是否发生场景变化，在发生场景变化时，切换所述格点系数表格，以基于切换后的所述格点系数表格中的所述格点系数对所述图像数据进行校正。
在对视频数据进行校正时，可以基于乒乓缓冲机制实现帧间格点系数的切换，通过实现将格点系数随场景的变化而变化，从而能够将视频数据划分为一帧一帧的图像数据进行校正，或在场景变化小时基于同一格点系数进行校正。
由此可见，本申请实施例通过切换格点系数实现视频数据的校正，基于格点系数的变换匹配视频数据的时域特性，能够防止在对视频数据进行色调映射时出现帧间闪烁现象，能够实现对视频数据的实时色调映射，提高经过色调映射后的视频质量。
在一可选的实施例中，Sensor采集的图像数据为在RAW域中基于拜耳阵列排列(Bayer Pattern)的四颜色通道数据，在Sensor的数据采集过程中，由于不同颜色的波长不同，因此经过透镜折射后，不同颜色对光的折射角度不同，因此图像数据除了具有亮度阴影(Luma Shading)外还有色彩偏差(Color Shading)，因此，本申请实施例还提供针对图像数据多个颜色通道的校正方式，请参看图2，图2为本申请实施例提供的针对图像数据多个颜色通道校正的步骤示意图，对图像数据多个颜色通道进行校正的流程可以包括以下步骤：
在步骤S21中，分别对所述图像数据在RAW域中的多个颜色分量进行分块，获得所述图像数据每个颜色分量对应的格点系数数据。
在步骤S22中，对于每个所述颜色分量，将所述颜色分量中的每个像素点乘以与所述像素点对应的所述格点系数，得到校正后的颜色分量数据，以在所有颜色分量校正完成后得到校正后的所述图像数据。
其中，针对每个颜色通道的分块以及基于格点系数对每个颜色通道中的像素点进行校正的步骤可以具体参看上述步骤S11至步骤S13，此处不再赘述。
由此可见，本申请实施例通过对图像数据的每个颜色通道进行校正，能够消除图像数据中的由于光波长而导致的色彩偏差问题，能够进一步提高图像数据的质量。
可选地，本申请实施例还提供基于图像校正之后的图像色调映射步骤，在步骤S13之后，可以将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式。
其中，目前常用的传感器为CMOS传感器或CCD感光器，CMOS传感器以及CCD感光器输出的数据格式为bayer数据格式，每个像素点只有三个颜色通道中的一个，因此，可以基于Demosaic(CFA插值)将bayer数据格式转换为RGB三通道数据格式，以便在显示设备上输出。
可选地，在对图像数据进行色调映射时，将bayer数据格式转换为RGB数据格式之后，还可以对图像数据进行色彩校正，以校正光谱响应的交叉效应和响应强度，使传感器捕获的图像与人眼视觉在色彩上保持一致。本申请实施例还提供对图像数据进行色彩校正的实现方式，请参看图3，图3为本申请实施例提供的对图像数据进行色彩校正的步骤示意图，对图像数据进行色彩校正的实现方式可以包括如下步骤：
在步骤S31中，基于预设色彩校正矩阵得到所述图像数据经过校正后的红、绿和蓝颜色通道的亮度值。
其中，所述预设色彩校正矩阵的运算公式为：
Figure BDA0003415913980000131
R、G和B分别为所述图像数据校正前的红、绿和蓝颜色通道的亮度值，R′、G′和B′分别为所述图像数据校正后的红、绿和蓝颜色通道的亮度值，m为颜色通道中的色彩分量。
其中，在不同色温的光源下，白色在传感器中的相应会偏蓝或偏红，通过调整R、G、B三个颜色通道的强度，将不同色温下的白色校正到统一的白色，传感器对光谱的响应在RGB各分量上与人眼对光谱的响应通常是有偏差的，因此可以通过上述色彩校正矩阵校正光谱响应的交叉效应和响应强度，使前端传感器捕获的图像与人眼视觉在色彩上保持一致。可以使用RGB值与软件预设配置的RGB权重值乘加得到最终的亮度值，通过调整颜色通道中的色彩分量调整对应颜色的饱和度，如mRB就是红色中的蓝色分量，该值越大则表征红色通道中的蓝色的饱和度越多，也就是红色会越偏品红。
在步骤S32中，基于经过校正后的红、绿和蓝颜色通道的亮度值对所述图像数据进行伽马校正，为在色域的所述图像数据的每一个像素点增加对应的增益，得到阶调映射图像。
其中，可以使用伽马变换进行图像增强，提升图像数据的暗部细节，通过非线性变换，让图像数据从曝光强度的线性响应变得更接近人眼感受的响应，矫正漂白或过暗的图像。
另外，作为一些可选的实施方式，本申请实施例还提供一些图像色彩校正的方法，具体地，可以基于多项式回归法对图像进行色彩校正，可以基于后向传播(BackPropagation，BP)网络进行色彩校正，也可以使用向量支持机进行支持向量回归以对图像进行色彩校正。
示例性地，本申请提供还一种基于后向传播网络进行色彩校正的实现方式，基于后向传播网络进行色彩校正的实现过程可以具体分为训练阶段和测试阶段，在训练阶段中，利用色卡色块值进行训练，从待校正的色卡图片上提取出RGB值作为输入，并以色卡的标准值作为监督值。每块色卡图片上都有24个色块，于是后向传播网络的输入样本总数即为24，每个样本有R、G、B的3个输入值，经过BP网络的隐层最后输出是3个值，作为BP校正的结果，将输出的值和色卡的标准值进行比较并计算误差，修正BP网络层中各层的权值，再从输入层输入数据，经过隐层到输出层，计算误差直到达到终止标准，得到训练完成的BP网络。在测试阶段中，基于训练完成的BP网络，获取待校正的图像数据，对图像中的每个像素值进行带入网络计算，每个像素的R、G、B值作为一个输入，输出为该像素校正之后图像的R、G、B值。
其中，可以选择单隐层的网络结构，设置3个输入神经元以及3个输出神经元，分别尝试多个隐层神经元个数以基于校正结果选择隐层神经元个数。网络隐层中可以使用正切S型函数tan-sigmoid，输出层可以使用线性转移函数purelin。数据训练时可以基于随机分组的方式进行训练，根据激活函数选择初始化方式，可以使用initnw曲线函数作为激活函数，以及基于LM(Levenberg-Marquardt)算法BP网络中更新权值和偏置。训练的最大循环次数以及误差可以根据实际情况具体设计，本申请实施例对此不做限定。
由此可见，本申请实施例通过对图像数据进行色彩校正以及伽马校正，可以校正光谱响应的交叉效应和响应强度，使前端传感器捕获的图像数据与人眼视觉在色彩上保持一致，且提升图像数据的暗部细节，能够进一步提升色调映射中的图像质量。
在一可选的实施例中，在对图像进行色彩校正以及伽马校正得到阶调映射图像后，本申请实施例还提供一种对阶调映射图像进行局部阶调映射的实现方式，请参看图4，图4为本申请实施例提供的一种对阶调映射图像进行局部阶调映射的步骤示意图，局部阶调映射的步骤可以包括：
在步骤S41中，将所述阶调映射图像转换为直方图，统计所述直方图中每个分区的Bin值。
在步骤S42中，对所述阶调映射图像做全局色彩色调映射，并确定所述阶调映射图像中每个区域的位置权重。
在步骤S43中，基于所述Bin值与所述位置权重计算得到初步局部阶调映射图像。
在步骤S44中，对所述初步局部阶调映射图像进行反伽马运算，得到目标局部阶调映射图像。
在步骤S41中，直方图算法块(block)的大小可以为64，128，256，512或1024个像素的正方形，以算法定义块大小为512×512、分辨率为8M，3264×2448，亮度log值分辨率为1632×1224为例，正方形为256×256的大小，其余为全图画256像素整数倍正方形块后位于边界处的矩形块。在按块做直方图统计时，第0个block行的第0个block为(0，1，7，8)，第1个block为(1，2，8，9)，依此类推，第5个block为(5，6，12，13)；第1个block行的第0个block为(7，8，14，15)，第1个block为(8，9，15，16)，依此类推第3个block行的第5个block为(26，27，33，34)，这是全图最后一个block，全图总共为6×4＝24个block。分别统计每个block中的灰度值作为该分区中的Bin值。
在步骤S42中，可以基于公式
Figure BDA0003415913980000161
Figure BDA0003415913980000162
其中，Dmax和Dmin一般为255和0，I为图像数据的像素，Imax和Imin为图像像素的最大值和最小值，τ为设置的参数，该参数越大则图像越暗，参数越小则图像越亮。
将Bin值与对应区域位置权重做运算即可得到初步局部阶调映射图像，并对初步局部阶调映射图像进行反伽马运算从而得到目标局部阶调映射图像。反伽马变换与伽马变换类似，用于调整图像数据的光照细节。
由此可见，采用本申请实施例提供的图像色调映射方法，可以提高传感器的图像质量，对视频数据进行实时色调映射，从而将高动态范围的HDR图像能够兼容地放映在低动态范围的LDR显示设备中。
在一可选的实施例中，在步骤S11之前，本申请实施例提供的方法还可以包括接收从多路传感器发送的多个所述图像数据，以对多个所述图像数据进行图像校正。
由此可见，本申请实施例提供的图像校正方法可以同时接收多路传感器数据，并对数据进行处理，能够提高图像校正以及图像色调映射的效率。
基于同一发明构思，本申请实施例还提供一种图像校正系统50，请参看图5，图5为本申请实施例提供的图像校正系统的示意图，该图像校正系统50可以包括：
分块模块51，用于将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数。
插值模块52，用于基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值。
阴影校正模块53，用于根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。
可选地，图像校正系统50还可以包括：
白平衡配置模块，用于将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式；
色彩校正模块，用于基于预设色彩校正矩阵得到所述图像数据经过校正后的红、绿和蓝颜色通道的亮度值；
伽马校正模块，用于基于经过校正后的红、绿和蓝颜色通道的亮度值对所述图像数据进行伽马校正，为在色域的所述图像数据的每一个像素点增加对应的增益，得到阶调映射图像；
直方图计算模块，用于将所述阶调映射图像转换为直方图，统计所述直方图中每个分区的Bin值；
全局色彩色调映射模块，用于对所述阶调映射图像做全局色彩色调映射，并确定所述阶调映射图像中每个区域的位置权重，以及基于所述Bin值与所述位置权重计算得到初步局部阶调映射图像；
反伽马校正模块，用于对所述初步局部阶调映射图像进行反伽马运算，得到目标局部阶调映射图像。
可选地，分块模块51可以具体用于：
基于插值后的所述格点系数数据建立格点系数表格；以及检测所述图像数据中是否发生场景变化，在发生场景变化时，切换所述格点系数表格，以使阴影校正模块53基于切换后的所述格点系数表格中的所述格点系数对所述图像数据进行校正。
可选地，分块模块51还可以具体用于：
分别对所述图像数据在RAW域中的多个颜色分量进行分块，获得所述图像数据每个颜色分量对应的格点系数数据。
阴影校正模块53可具体用于：
对于每个所述颜色分量，将所述颜色分量中的每个像素点乘以与所述像素点对应的所述格点系数，得到校正后的颜色分量数据，以在所有颜色分量校正完成后得到校正后的所述图像数据。
基于同一发明构思，本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
所述计算机可读存储介质可以是随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像校正方法，其特征在于，包括：
将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数；
基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值；
根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据之前，所述方法还包括：
基于插值后的所述格点系数数据建立格点系数表格；
检测所述图像数据中是否发生场景变化，在发生场景变化时，切换所述格点系数表格，以基于切换后的所述格点系数表格中的所述格点系数对所述图像数据进行校正。
3.根据权利要求1所述的方法，其特征在于，所述将图像数据进行分块，获得格点系数数据包括：
分别对所述图像数据在RAW域中的多个颜色分量进行分块，获得所述图像数据每个颜色分量对应的格点系数数据；
所述根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据包括：
对于每个所述颜色分量，将所述颜色分量中的每个像素点乘以与所述像素点对应的所述格点系数，得到校正后的颜色分量数据，以在所有颜色分量校正完成后得到校正后的所述图像数据。
4.根据权利要求1-3任一项所述的方法，其特征在于，在所述得到校正后的所述图像数据之后，所述方法还包括：
将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式。
5.根据权利要求4所述的方法，其特征在于，在所述将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式之后，所述方法还包括：
基于预设色彩校正矩阵得到所述图像数据经过校正后的红、绿和蓝颜色通道的亮度值，所述预设色彩校正矩阵的运算公式为：
Figure FDA0003415913970000021
其中，R、G和B分别为所述图像数据校正前的红、绿和蓝颜色通道的亮度值，R′、G′和B′分别为所述图像数据校正后的红、绿和蓝颜色通道的亮度值，m为颜色通道中的色彩分量；
基于经过校正后的红、绿和蓝颜色通道的亮度值对所述图像数据进行伽马校正，为在色域的所述图像数据的每一个像素点增加对应的增益，得到阶调映射图像。
6.根据权利要求5所述的方法，其特征在于，在所述得到阶调映射图像之后，所述方法还包括：
将所述阶调映射图像转换为直方图，统计所述直方图中每个分区的Bin值；
对所述阶调映射图像做全局色彩色调映射，并确定所述阶调映射图像中每个区域的位置权重；
基于所述Bin值与所述位置权重计算得到初步局部阶调映射图像；
对所述初步局部阶调映射图像进行反伽马运算，得到目标局部阶调映射图像。
7.根据权利要求1所述的方法，其特征在于，在所述将图像数据进行分块，获得格点系数数据之前，所述方法还包括：
接收从多路传感器发送的多个所述图像数据，以对多个所述图像数据进行图像校正。
8.一种图像校正系统，其特征在于，包括：
分块模块，用于将图像数据进行分块，获得格点系数数据，所述格点系数为各个分块交点对应像素点的校正系数；
插值模块，用于基于所述图像数据的像素位置信息对所述格点系数数据进行插值，得到所述图像数据中每个像素点对应格点系数的值；
阴影校正模块，用于根据所述图像数据的每个像素点的所述格点系数对每个像素点的像素值进行校正，得到校正后的所述图像数据。
9.根据权利要求8所述的图像校正系统，其特征在于，所述系统还包括：
白平衡配置模块，用于将所述图像数据从RAW域转换至色域，基于预设插值算法将呈拜耳阵列排列的所述图像数据转换为RGB数据格式；
色彩校正模块，用于基于预设色彩校正矩阵得到所述图像数据经过校正后的红、绿和蓝颜色通道的亮度值；
伽马校正模块，用于基于经过校正后的红、绿和蓝颜色通道的亮度值对所述图像数据进行伽马校正，为在色域的所述图像数据的每一个像素点增加对应的增益，得到阶调映射图像；
直方图计算模块，用于将所述阶调映射图像转换为直方图，统计所述直方图中每个分区的Bin值；
全局色彩色调映射模块，用于对所述阶调映射图像做全局色彩色调映射，并确定所述阶调映射图像中每个区域的位置权重，以及基于所述Bin值与所述位置权重计算得到初步局部阶调映射图像；
反伽马校正模块，用于对所述初步局部阶调映射图像进行反伽马运算，得到目标局部阶调映射图像。
10.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述方法中的步骤。
CN202111546576.4A 2021-12-16 2021-12-16 图像校正方法、系统及电子设备 Pending CN114240782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111546576.4A CN114240782A (zh) 2021-12-16 2021-12-16 图像校正方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111546576.4A CN114240782A (zh) 2021-12-16 2021-12-16 图像校正方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN114240782A true CN114240782A (zh) 2022-03-25

Family

ID=80757416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111546576.4A Pending CN114240782A (zh) 2021-12-16 2021-12-16 图像校正方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN114240782A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116419076A (zh) * 2022-06-07 2023-07-11 上海玄戒技术有限公司 图像处理方法、装置、电子设备及芯片
CN117115114A (zh) * 2023-08-29 2023-11-24 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN117649661A (zh) * 2024-01-30 2024-03-05 青岛超瑞纳米新材料科技有限公司 一种碳纳米管制备状态图像处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116419076A (zh) * 2022-06-07 2023-07-11 上海玄戒技术有限公司 图像处理方法、装置、电子设备及芯片
CN117115114A (zh) * 2023-08-29 2023-11-24 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN117115114B (zh) * 2023-08-29 2024-01-30 南京晓庄学院 基于yolo的电力电子器件生产工艺目标识别与缺陷检测方法
CN117649661A (zh) * 2024-01-30 2024-03-05 青岛超瑞纳米新材料科技有限公司 一种碳纳米管制备状态图像处理方法
CN117649661B (zh) * 2024-01-30 2024-04-12 青岛超瑞纳米新材料科技有限公司 一种碳纳米管制备状态图像处理方法

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
US10916036B2 (en) Method and system of generating multi-exposure camera statistics for image processing
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN114240782A (zh) 图像校正方法、系统及电子设备
US8023014B2 (en) Method and apparatus for compensating image sensor lens shading
US20160366386A1 (en) Prevention of highlight clipping
US20070047803A1 (en) Image processing device with automatic white balance
US20100177203A1 (en) Apparatus and method for local contrast enhanced tone mapping
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
KR20060000715A (ko) 이미지 센서의 화질 개선장치 및 방법
US8411943B2 (en) Method and apparatus for image signal color correction with reduced noise
CN102883108B (zh) 摄像设备及其控制方法、图像处理设备和方法
US8144211B2 (en) Chromatic aberration correction apparatus, image pickup apparatus, chromatic aberration amount calculation method, and chromatic aberration amount calculation program
US8559747B2 (en) Image processing apparatus, image processing method, and camera module
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
WO2019104047A1 (en) Global tone mapping
KR101353863B1 (ko) 화상 처리 장치, 화상 처리 방법 및 카메라 모듈
CN108259754A (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
JP2018112936A (ja) Ｈｄｒ画像処理装置および方法
CN115802183B (zh) 图像处理方法及其相关设备
JP2006333113A (ja) 撮像装置
CN110602420B (zh) 相机、黑电平调整方法及装置
CN113096046A (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination