CN111562010A - 一种用于自动化图像色彩校准的方法和装置 - Google Patents
一种用于自动化图像色彩校准的方法和装置 Download PDFInfo
- Publication number
- CN111562010A CN111562010A CN202010407013.6A CN202010407013A CN111562010A CN 111562010 A CN111562010 A CN 111562010A CN 202010407013 A CN202010407013 A CN 202010407013A CN 111562010 A CN111562010 A CN 111562010A
- Authority
- CN
- China
- Prior art keywords
- color
- card
- block
- positioning
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000005286 illumination Methods 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 8
- 239000003086 colorant Substances 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000004519 manufacturing process Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 241000872198 Serjania polyphylla Species 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000013461 design Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/462—Computing operations in or between colour spaces; Colour management systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J2003/467—Colour computing
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明公布了一种用于自动化图像色彩校准的装置和方法，通过分析色块在D65光源下的基准色值与图像采集环境下的观测色值之间的关系进行色彩校正；包括：针对特定应用领域设计的色卡、色卡的色块在D65标准光照环境下的基准色值、色块定位程序模块、色彩校准程序模块。采用本发明技术方案，可为各种应用场景定制低成本的专用色卡，并通过配套的色块定位程序模块、色彩校准程序模块，可实现图像色彩校准流程的自动化，可实现图像色彩校准流程的自动化。
Description
技术领域
本发明涉及颜色校准和图像处理技术领域，具体涉及一种用于自动化图像色彩校准的装置和方法。
背景技术
数字图像的颜色受到环境光照，采集设备等因素的影响。同样的对象在不同的光照条件下或由不同的采集设备采集得到的颜色并不一致。因此在许多与图像分析相关的应用场景中，例如基于图像的AI医生诊断、艺术品数字化等等，维持色彩一致性是必不可少的一个环节。基于色卡的色彩校准就是旨在解决因采集设备和环境色温不同造成的色彩不一致问题的一种方法。
目前常用的色彩校准设备是美国爱色丽公司出品的ColorChecker系列色卡。这类色卡通常由24个色块组成，爱色丽公司提供了这些色块在标准光源下的色值信息。在进行图像采集时，首先在拍摄场景中放置一块ColorChecker色卡，然后将拍摄到的色块的观测色值与爱色丽公司提供的基准色值进行比较来达到调整白平衡和色彩校准的目的。不过ColorChecker系列色卡存在以下三个方面的不足：
第一是ColorChecker系列色卡的色块颜色的选择考虑了日常生活中各种常见的色彩，但是各种应用场景的常见色值各有不同。例如婴儿肤色鉴定的场景中，需要对于黄色系的颜色进行重点关注，如果能够提供更多黄色系的色块将对该应用场景有更大的帮助。由此可见通用色卡很难满足多样化的应用需求。
第二是ColorChecker的色卡在使用中还比较依赖人手动定位图片中色块的位置，这给使用带来了不便。该系列色卡在设计上也没有加入辅助计算机程序自动定位的设计元素，不利于开发通用的色块定位程序。
第三是这类专业色卡价格昂贵，不适合用在一些容易对色卡产生损耗的场景下，也不利于向大众推广。
发明内容
为了克服上述现有技术中通用色卡存在各种的缺陷，本发明提出一种用于自动化图像色彩校准的装置和方法，可为各种应用场景定制低成本的专用色卡，并且通过配套的色块定位程序模块、色彩校准程序模块，可实现图像色彩校准流程的自动化。
本发明中，色块共有三种色值，第一种是在色卡设计过程中通过聚类分析得到的期望色值；第二种是色卡制作完成以后，将色卡放置在D65光源下观测到的基准色值；第三种是在正常图像采集环境下，观测到的观测色值。本发明通过分析基准色值与观测色值之间的关系进行色彩校正。本发明提供的用于自动化图像色彩校准装置包括以下几个部分：针对特定应用领域设计的专用色卡、该色卡的各个色块(具体实施时色块数量为26个)在D65标准光照环境下的基准色值信息、色块定位程序模块、色彩校准程序模块。在使用该装置进行自动化图像色彩校准时，首先扫描色卡背面的二维码，获得色卡的基准色值信息，自动对色块定位程序模块和色彩校准程序模块进行配置。然后将色卡放置在与采集对象相同的光照环境中，使用图像采集设备拍摄一张包含完整色卡的照片PA，之后进行正常的图像采集工作。通过色块定位程序模块分析照片PA，程序将自动定位该照片中各个色块的位置，并返回照片中各色块的观测色值信息。最后将色块定位程序模块的输出结果导入色彩校准程序模块，即完成校准程序的配置工作。将正常采集的图片输入色彩校准程序模块，即可输出色彩校准以后的结果。
本发明的技术方案是：
一种用于自动化图像色彩校准的方法，通过分析色块在D65光源下的基准色值与图像采集环境下的观测色值之间的关系进行色彩校正；包括如下步骤：
1)确定应用场景及色卡的色块数量N，并通过聚类分析确定N个色块的期望色值。
本方案提供一套色卡的设计模板，由定位块、辅助定位标识以及色块组成。色块的数量N
可以根据需求改变。具体实施时，色块数量为26。
2)印制色卡并获取该色卡色块在D65标准光照环境下的基准色值，记为β；
D65标准光源又称国际标准人工日光(Artificial Daylight)，其色温为6500K。
3)采用色块自动定位方法对图像进行色块定位，并获取色块的观测色值信息，记为α；
本发明提出的色块自动定位方法是一种基于定位块的通用色块定位方法。色块的颜色不影响定位效果，以保证在处理为不同应用场景定制的色卡时，都能获得一致的定位结果。
4)分析步骤3)获得的色块观测色值α和步骤2)获得的基准色值β之间的关系，确定一个连续函数F，实现从观测色值到基准色值的映射，即β≈F(α)。给定一张需要进行色彩校准的图片，将图片中的每一个像素上的色值v替换为F(v)，即完成图片的色彩校准工作。
上述用于自动化图像色彩校准的方法中，步骤1)定制色卡的方法具体为：
A1.明确色卡的具体应用场景，例如壁画图像采集。
A2.获取该应用场景下的一组图片；
在这个场景中按正常的图像采集流程采集一组照片，数量不少于50张。亦可使用网络上相关的图像数据集。
A3.获取步骤A2中每张图片的每个像素的RGB色值。
A4.将步骤A3的RGB色值转化为CIE Lab色彩空间中的色值。其中使用三元组(L,a,b)来描述颜色的色值，其中L表示色彩的亮度，a和b颜色对立维度，例如，a表示从洋红色到绿色的范围，b表示从黄色到蓝色的范围。
A5.使用K-Means聚类方法对步骤A4的(L,a,b)色值进行聚类。聚类中心数量K与色卡中色块的数量N一致，例如针对26色色卡，设置K＝26。在K-Means中使用CIEDE2000色差公式计算两个颜色的差异。
A6.获得N个聚类中心，分别作为色卡中N个色块的期望色值。将聚类获得的N个色值按照L值(即颜色的亮度)升序排序，编号为1至N。
步骤2)印制色卡并获取该色卡色块在D65标准光照环境下的基准色值。印制色卡指的是本发明基于步骤1)的期望色值确定色卡的设计方案，并打印色卡。将打印好的色卡放置在D65标准光源下观测得到各色块的基准色值。本发明对每张色卡都提供一套色块基准色值信息。具体包括以下操作：
B1.将步骤A6中获得的期望色值对应的颜色按顺序(如以从左到右、从上到下的顺序)依次填入空白色卡模板中的色块，得到填好色块的色卡模板。
B2.将填好色块的色卡模板的四个标准定位块和辅助定位标识设置为白底黑色，得到专用色卡的设计图。
B3.使用潘通色彩覆盖率98％以上的打印机印制步骤B2的设计图得到色卡。
B4.因为打印过程不可避免的会出现色差，我们以打印出来的色卡在D65光源下观察到的颜色作为色卡的基准色值。具体的，将步骤B3打印出来的色卡放置在D65光源下，对色卡使用数码相机采集多张图片(一般不少于3张)。
B5.获取B4采集的每张图片中色卡的各个色块的CIE Lab色值。以所有图片中同一编号的色块的平均色值作为该色块的基准色值。
B6.将步骤B5得到的色块的基准色值信息生成二维码，打印在色卡背面，即完成色卡的制作。
因为各种应用场景定制的色卡色块颜色各异，加大了色块定位的难度。本方案提供一种基于定位块的通用色块定位方法，能够实现色彩不敏感的色块定位效果。上述用于自动化图像色彩校准的方法中，步骤3)色块自动定位方法具体为：
C1.使用上述制作色卡的方法制作一张色块颜色均为白色，包含四个标准定位块的色卡。
C2.将C1制成的色卡放置在不同光照环境下，从不同角度，不同距离采集多张色卡图片，作为图像训练集。
C3.人工标注出C2采集的图像训练集中每张图片的四个标准定位块的位置，作为图像训练集的标签信息。
C4.将C2图像训练集中的彩色图片均转化为灰度图。
C5.使用Gamma变换来调整灰度图的曝光。
Gamma值由下面的公式确定，其中γ为Gamma值；m是单张灰度图的所有像素的灰度均值：
C6.对C5处理后得到的每张图片，使用Harris角点检测方法(Chris Harris,MikeStephens.A combined corner and edge detector[C]//Alvey visionconference.1988.)得到每个像素点上的角点得分。在图片的每个像素位置填入该像素的角点得分，即获得了该图片的角点得分特征图。
C7.以C6的特征图作为输入，C3标注的标签信息作为标签，使用随机梯度下降方法训练一个检测标准定位块的Faster R-CNN神经网络模型，得到训练好的定位块检测模型。
C8.基于训练好的定位块检测模型，实现色块定位并获取色块的观测色值。具体执行操作C9～C14：
C9.给定一张包含步骤2)制作的专用色卡的图片，首先将其通过C4、C5、C6步骤的处理，得到该图片的角点得分特征图。
C10.将C9的角点得分特征图输入训练好的定位块检测模型，得到四个标准定位块的中心点坐标(图像坐标)。
设左上角定位块A的中心点坐标设置为(x1,y1)，右上角定位块B的中心点坐标设置为(x2,y2)，左下角定位块C的中心点坐标设置为(x3,y3)，右下角定位块D的中心点坐标设置为(x4,y4)。
C11.建立坐标系来将四个标准定位块的中心点坐标与标准定位块在色卡中的行列坐标对应起来，建立标准定位块的中心点坐标与标准定位块在色卡中的行列坐标的对应变换关系，中心点坐标记为(x，y)，行列坐标记为R行C列。
具体实施时，以图1所示的26色色卡为例，定位块A在色卡中的位置为1行1列，记为(1，1)。定位块B在色卡中的位置为1行6列，记为(1，6)。定位块C在色卡中的位置为5行1列，记为(5，1)。定位块D在色卡中的位置为5行6列，记为(5，6)。通过求解方程组实现从色卡行列坐标到C10中的图像坐标的变换。
C12.根据C11的变换关系，对R行C列的色块，求解得到R行C列色块在图像中的坐标(x，y)。
C13.对所有色块执行步骤C12计算得到色块在图像中的坐标，然后以该坐标为中心，选取宽w高h的采样窗口，通过采样窗口进行采样，计算得到采样窗口中的色值平均值，作为该色块的观测色值。
C14.按顺序输出编号1至N的色块的位置和相应色块的观测色值，即完成色块自动定位和色块观测色值信息获取。
上述用于自动化图像色彩校准的方法中，步骤4)色彩校准方法具体为：
D1.将步骤2)制作的专用色卡放置在与采集对象相同的光照环境中，使用图像采集设备拍摄一张包含完整色卡的照片PA。之后移除色卡对采集对象进行图像采集，得到1张或多张照片，记作照片集PB。例如，在敦煌壁画数字化的应用场景中，首先在壁画的光照环境下拍摄一张色卡的照片PA，之后可以脱离色卡，对壁画进行图像采集，得到照片集PB。
D2.扫描专用色卡背面的二维码，获得色块的基准色值信息。
D3.将PA通过步骤C9～C14的色块自动定位处理，得到色块观测色值信息。
D4.将D3获得的观测色值信息{α1，α2，…，α26}和D2获得的基准色值信息{β1，β2，…，β26}按色块序号进行配对，得到26对配对数据，表示为H＝{(α1，β1)，(α2，β2)，…，(α26，β26)}。
D5.基于H计算一个高斯过程回归(Gaussian Process Regression)模型F，然后使用F进行色彩校准。具体的，给定一个不在H中的观测色值αt，使用步骤D6～D8计算与其对应的校准色值βt＝F(αt；H)。
D6.计算H的协方差矩阵
这里的k是色卡色块的数量，对于26色色卡k＝26。矩阵C中第i行j列的元素计算方法如下，其中λ为超参数，通常取1：
D7.计算观测色值αt关于H的协方差列向量
P的第i个元素的计算方法为：
D8.使用下列公式计算F(αt；H)，其中列向量B＝[β1,β2,…,βk]T：
F(αt；H)＝PTC-1B
D9.将D2中采集的照片集PB中的每一个像素的色值αt替换成经过模型F的修正值F(αt；H)后，完成图像的色彩校准工作。
本发明还提供一种用于自动化图像色彩校准的装置，包括：针对特定应用领域设计的26色色卡、色卡的26个色块在D65标准光照环境下的基准色值、色块定位程序模块、色彩校准程序模块；其中：
26色色卡的色块颜色是通过分析特定应用领域中经常出现的关键颜色确定的。相较于通用色卡，本发明的定制色卡能够为特定任务提供更精确的色彩校准结果。色卡的26个色块在D65标准光源下测量的基准色值信息以二维码的形式印刷在色卡背后，这些基准色值信息是色彩校准程序模块进行色彩校准的依据。
色块定位程序模块用于在色彩校准任务中定位照片中26个色块的位置并获得色块的观测色值信息。给定一张特定环境中拍摄的色卡照片，色块定位程序模块利用色卡上的定位块和辅助定位标识确定照片中1至26号色块中心所在的位置，并对该位置附近的颜色进行采样以获得对应色块的观测色值信息。
色彩校准程序模块通过分析色卡附带的基准色值信息和色块定位程序模块输出的观测色值信息之间的关系，确定一个从观测色值到基准色值的映射函数F，并基于F来完成图像色彩的校准工作。结合使用色块定位程序模块和色彩校准程序模块即可实现色彩校准工作流程的自动化。
与现有技术相比，本发明的技术方案的有益效果：
本发明提供的用于自动化图像色彩校准的技术方案考虑了各种应用场景的特殊性，提供了一种定制专用色卡的方法。在CIE Lab色彩空间中进行K-Means聚类可以提供更加符合人类视觉感受的结果。通过为每张色卡测量该卡专用的基准色值的方式，降低对于色卡打印设备的色准精度控制要求，进而降低色卡的制作成本。自动化的色块定位程序和色彩校准程序让本装置的使用方式简单且可批量操作。色卡的辅助定位设计，和基于角点特征图的色块定位算法，让定位程序在处理不同领域定制的色卡时都能够给出较为准确的定位结果。
附图说明
下面对本文说明书各附图和所表达的内容及图中的标注做出简要说明：
图1是本发明实施例制作的色卡示意图。
图中：①为定位块A；②为定位块B；③为定位块C；④为定位块D；⑤为+型辅助定位标识，能够在角点检测中给出高响应，用于提高定位模型准确性；⑥为x型辅助定位标识，用于提高定位模型准确性；⑦为色块区域，内部填充色块颜色。
图2是本发明实施例采用的色卡的制作方法流程框图。
图3是使用本发明提供的自动化图像色彩校准装置进行色彩校准的流程框图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明提供一种用于自动化图像色彩校准的方法，图3所示是使用本发明提供的自动化图像色彩校准装置进行色彩校准的流程，包括如下步骤：
1)定制色卡，该色卡为包含26个色块的26色色卡；
2)获取该定制色卡在D65标准光照环境下的基准色值；
D65标准光源又称国际标准人工日光(Artificial Daylight)，其色温为6500K。
3)采用色块自动定位方法对图像进行色块定位，实现色彩不敏感的色块定位，并获取色块的色值信息；
本发明提出的色块自动定位方法是一种基于定位块的通用色块定位方法。
4)针对需要进行色彩校准的图片，对图片中的每一个像素，采用色彩校准方法，得到校准后的色值信息；再将图片中的每一个像素的色值替换为校准后的色值信息，即得到校准后的图片。
图1是本发明实施例制作的色卡示意图，图2所示是该色卡制作的方法流程。定制色卡的方法具体为：
A.为专门领域定制色卡的设计方案，包括如下操作：
A1.明确色卡的具体应用场景，例如壁画图像采集。
A2.获取该应用场景下的一组图片；
在这个场景中按正常的图像采集流程采集一组照片，数量不少于50张。亦可使用网络上相关的图像数据集。
A3.获取步骤A2中每张图片的每个像素的RGB色值。
A4.将RGB色彩空间的图像变换至CIE Lab色彩空间。所述变换包含两个步骤，首先将图像从RGB空间转换至CIE XYZ色彩空间，然后再转换至CIE Lab色彩空间。具体步骤如下：
A4(a)从RGB色彩空间转换至CIE XYZ色彩空间
CIE XYZ色彩空间(也叫做CIE 1931色彩空间)由国际照明委员会(CIE)于1931年创立，该色彩空间使用(X,Y,Z)三元组描述颜色。参考OpenCV中对于8比特数字图像的色彩空间转换算法，RGB-XYZ的变换如下，其中R,G,B的取值范围为0～1。
A4(b)从CIE XYZ色彩空间转换至CIE Lab色彩空间
CIE Lab是一种基于生理特征的颜色系统，它用数字化的方法来描述人的视觉感应，致力于颜色感知的均匀性。Lab颜色空间中使用三元组(L,a,b)描述颜色。L分量用于表示像素的亮度，取值范围是[0，100]，表示从纯黑到纯白；a分量表示从红色到绿色，取值范围是[-128，127]；b分量表示从黄色到蓝色，取值范围是[-128,127]。RGB和Lab色彩空间之间没有直接的转换公式，其必须使用XYZ颜色空间作为中间层。参考OpenCV中对于8比特数字图像的色彩空间转换算法，XYZ-Lab的变换如下：
X＝X/0.950456
Z＝Z/1.088754
a＝500(f(X)-f(Y))+128
b＝200(f(Y)-f(Z))+128
其中
(L,a,b)即为完成色彩空间转换以后的结果。
A5.使用K-Means聚类方法对步骤A4处理得到的(L,a,b)色值进行聚类，聚类中心数量K取色卡中色块的数量，针对26色色卡，设置K＝26。在K-Means中使用CIEDE2000色差公式计算两个颜色的差异。
A6.获得26个聚类中心，分别作为色卡中26个色块的色值。将聚类获得的26个色值按照L值升序排序，编号为1至26。
通过以下操作制作色卡并获取定制色卡在D65标准光照环境下的基准色值：
B.色卡的制作方案。本方案对每张色卡都提供一套色块基准色值信息，以容许打印设备存在一定程度的打印误差，达到降低色卡的制造成本的目的。
B1.将步骤A6中获得的色彩按顺序以从左到右、从上到下的顺序依次填入图1所示的色卡模板中的色块区域。
B2.图1中色卡模板的四个定位块，“+”型及“x”型辅助定位表示设置为白底黑色。
B3.使用潘通色彩覆盖率98％以上的打印机印制色卡。
B4.将步骤B3打印出来的色卡放置在D65光源下，采集3张照片。
B5.获取B4采集的每张图片中26色卡色块的CIE Lab色值。以所有图片中同一编号的色块的平均色值作为该色块的基准色值。
B6.将步骤B5得到的26色色块的基准色值信息生成二维码，打印在26色色卡背面，即完成26色色卡的制作。。
上述用于自动化图像色彩校准的方法中，步骤3)色块自动定位方法具体为：
C.色块自动定位程序设计方案。因为各种应用场景定制的色卡色块颜色各异，加大了色块定位的难度。本方案提供一种基于定位块的通用色块定位方法，旨在实现色彩不敏感的色块定位效果。
C1.使用方案B制作一张色块颜色均为白色，包含四个标准定位块和辅助定位标识的色卡。
C2.将色卡放置在不同光照环境下，从不同角度，不同距离采集色卡图片，作为训练集。
C3.人工标注出C2采集的图像中的四个定位块的位置，作为训练集的标签信息。
C4.将C2中采集的图片转化为灰度图。
C5.使用Gamma变换来调整C4灰度图的曝光。Gamma值由下面的公式确定，其中m是单张灰度图的所有像素的灰度均值：
C6.对C5处理后得到的每张图片，使用Harris角点检测方法(Chris Harris,MikeStephens.A combined corner and edge detector[C]//Alvey visionconference.1988.)得到每个像素点上的角点得分。在图片的每个像素位置填入该像素的角点得分，即获得了该图片的角点得分特征图。
C7.以C6的特征图作为输入，C3的标注信息作为标签，使用随机梯度下降方法训练一个检测标准定位块的Faster R-CNN神经网络模型，得到训练好的定位块检测模型。
C8.基于训练好的定位块检测模型，实现色块定位。具体执行操作C9～C14：
C9.输入一张包含色卡的图片，色块定位程序首先通过C4、C5、C6步骤的处理，得到角点得分特征图。
C10.将角点得分特征图输入训练好的定位块检测模型，得到四个标准定位块的中心点坐标(图像坐标)。假设左上角定位块A的中心坐标设置为(x1,y1)，右上角定位块B的中心坐标设置为(x2,y2)，左下角定位块C的中心坐标设置为(x3,y3)，右下角定位块D的中心坐标设置为(x4,y4)。
C11.建立坐标系来将四个标准定位块的中心点坐标与标准定位块在色卡中的行列坐标对应起来。定位块A在色卡中的位置为1行1列，记为(1,1)。定位块B在色卡中的位置为1行6列，记为(1,6)。定位块C在色卡中的位置为5行1列，记为(5,1)。定位块D在色卡中的位置为5行6列，记为(5,6)。通过解下列方程组实现从色卡行列坐标到C10中的图像坐标的变换。
通过带入C10中的4个点坐标，解得a1至a8共8个系数。
C12.针对R行C列的色块，解下列方程
再根据x＝xw/w,y＝yw/w，得到R行C列色块在图像中的坐标(x,y)。
C13.对所有色块使用步骤C12计算坐标，然后以该坐标为中心，通过宽w高h窗口进行采样，计算采样窗口中的色值平均值作为该色块的观测色值。w和h通过下述公式确定：
C14.按顺序输出编号1至26的色块的位置和其观测色值信息，色块自动定位程序执行完毕。
上述用于自动化图像色彩校准的方法中，步骤4)色彩校准方法具体为：
D.色彩校准程序设计方案。
D1.通过扫描色卡背面的二维码获得色块基准色值信息。
D2.输入色块自动定位程序处理得到的色块观测色值信息。
D3.将色块观测色值作为输入，色块基准设置作为标签，得到26对匹配数据。
D4.将这26对匹配数据作为训练数据，拟合一个高斯过程模型。
D5.输入需要进行色彩校准的图片。
D6.对D5输入图片中的每一个像素，将其色值输入步骤D4的高斯过程回归模型，得到校准后的色值。
D7.将D5输入图片中的每一个像素的色值替换为D6得到的校准后的色值信息，得到校准后的图片。色彩校准程序执行完成。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (10)
1.一种用于自动化图像色彩校准的方法，通过分析色块在D65光源下的基准色值与图像采集环境下的观测色值之间的关系进行色彩校正，包括如下步骤：
1)确定应用场景及色卡的色块数量N，并通过聚类分析确定N个色块的期望色值；制作定制色卡，该色卡包含多个色块及相应色块的期望色值；
2)印制色卡并获取该色卡色块在D65标准光照环境下的基准色值，记为β；
3)采用色块自动定位方法对图像进行色块定位，并获取色块的观测色值信息，记为α；
所述色块自动定位方法基于定位块进行色块定位，色块颜色不影响定位效果，处理不同应用场景定制的色卡均能获得一致的定位结果，实现色彩不敏感的色块定位效果；具体包括如下过程：
C1.使用上述制作色卡的方法制作一张色块颜色均为白色、包含四个标准定位块的色卡；
C2.将C1制成的色卡放置在不同光照环境下，采集多张色卡图片作为图像训练集；
C3.对图像训练集中每张图片人工标注出四个标准定位块的位置，作为图像训练集的标签信息；
C4.将C2图像训练集中的彩色图片均转化为灰度图；
C5.使用Gamma变换调整灰度图的曝光；
C6.对C5处理后得到的每张图片，使用角点检测方法处理得到每个像素点上的角点得分；在图片的每个像素位置填入该像素的角点得分，即获得该图片的角点得分特征图；
C7.将角点得分特征图作为输入，将C3的标签信息作为标签，采用随机梯度下降方法训练一个检测标准定位块的神经网络模型Faster R-CNN，得到训练好的定位块检测模型；
C8.基于训练好的定位块检测模型，实现色块定位并获取色块的观测色值；具体执行操作C9～C14：
C9.将一张包含步骤1)定制色卡的图片，通过C4、C5、C6的处理，得到该图片的角点得分特征图；
C10.将C9的角点得分特征图输入C7训练好的定位块检测模型，得到四个标准定位块的中心点坐标，即图像坐标；左上角定位块A的中心点坐标记为(x1,y1)，右上角定位块B的中心点坐标记为(x2,y2)，左下角定位块C的中心点坐标记为(x3,y3)，右下角定位块D的中心点坐标记为(x4,y4)；
C11.建立坐标系，对四个标准定位块的中心点坐标与标准定位块在色卡中的行列坐标建立对应变换关系；中心点坐标记为(x,y)，行列坐标记为R行C列；
C12.根据C11的对应变换关系，对R行C列的色块，求解得到该色块在图像中的坐标(x,y)；
C13.对所有色块执行C12计算得到色块在图像中的坐标，再以该坐标为中心，选取宽为w、高为h的采样窗口，通过采样窗口进行采样，计算得到采样窗口中的色值平均值，作为该色块的观测色值；
C14.按顺序输出所有色块的位置和相应色块的观测色值，即完成色块自动定位和色块观测色值信息获取；
4)分析步骤3)获得的色块观测色值α和步骤2)获得的基准色值β之间的关系，确定一个连续函数F，实现从观测色值到基准色值的映射，即β≈F(α)；
给定一张待进行色彩校准的图片，将该图片中的每一个像素上的色值v更新为F(v)，即得到校准后的图片，完成图片的色彩校准工作。
2.如权利要求1所述用于自动化图像色彩校准的方法，其特征是，步骤1)定制色卡的方法具体为：
A1.明确色卡的具体应用场景；
A2.获取该应用场景下的一组图片，数量不少于50张；
A3.获取每张图片的每个像素的RGB色值；
A4.将图片的RGB色值转化为CIE Lab色彩空间中的色值，使用三元组(L,a,b)描述颜色的色值；其中L表示色彩的亮度，a和b表示对立维度的颜色；
A5.使用K-Means聚类方法对步骤A4的(L,a,b)色值进行聚类；聚类中心数量K取色卡中色块的数量；在K-Means中使用CIEDE2000色差公式计算两个颜色的差异；
A6.获得多个聚类中心，分别作为色卡中相应色块的色值；并将聚类获得的多个色值按照L值升序排序和编号。
3.如权利要求1所述用于自动化图像色彩校准的方法，其特征是，步骤2)获取定制色卡在D65标准光照环境下的基准色值，具体包括以下操作：
B1.将步骤1)定制色卡中的期望色值进行排序，再按顺序依次填入空白色卡模板中的色块，得到填好色块的色卡模板；
B2.将填好色块的色卡模板的四个标准定位块设置为白底黑色，设计定制色卡；
B3.使用潘通色彩覆盖率98％以上的打印机印制步骤B2得到的色卡；
B4.将步骤B3打印出来的色卡放置在D65光源下，对色卡使用数码相机采集不少于3张的多张图片；
B5.获取B4采集的每张图片中的色卡色块的CIE Lab色值，以所有图片中同一编号的色块的平均色值作为该色块的基准色值。
4.如权利要求3所述用于自动化图像色彩校准的方法，其特征是，将步骤B5得到的多个色块的基准色值信息生成二维码，打印在色卡背面，即完成色卡的制作。
5.如权利要求1所述用于自动化图像色彩校准的方法，其特征是，步骤4)所述色彩校准方法具体为：
D1.通过定制色卡获得色块在D65光源下的基准色值信息；
D2.将色卡放置在与采集对象相同的光照环境中，使用图像采集设备拍摄一张包含完整色卡的照片PA；之后移除色卡进行正常的图像采集，得到照片集PB；
D3.将PA通过步骤C9～C14的色块自动定位处理，得到色块观测色值信息；
D4.将D3获得的观测色值信息{α1,α2,…,α26}和D1获得的基准色值信息{β1,β2,…,β26}按色块序号进行配对，得到26对配对数据，表示为H＝{(α1,β1),(α2,β2),…,(α26,β26)}；
D5.基于H计算一个高斯过程回归模型F，使用F进行色彩校准；设置一个不在H中的观测色值αt，使用步骤D6～D8计算与其对应的校准色值βt＝F(αt；H)；
D6.计算H的协方差矩阵
k是色卡色块的数量；矩阵C中第i行j列的元素Cij的计算方法如下，
其中，λ为超参数，通常取值为1；
D7.计算观测色值αt关于H的协方差列向量
P的第i个元素Pi的计算方法为：
D8.使用下列公式计算F(αt；H)，其中列向量B＝[β1,β2,…,βk]T：
F(αt；H)＝PTC-1B
D9.将D2中采集的照片集PB中的每一个像素的色值αt替换成经过模型F的修正值F(αt；H)后，即完成图像的色彩校准工作。
6.如权利要求1所述用于自动化图像色彩校准的方法，其特征是，步骤1)定制色卡为包含26个色块的26色色卡；步骤C11中，具体地，定位块A在色卡中的位置为1行1列，记为(1,1)；定位块B在色卡中的位置为1行6列，记为(1,6)；定位块C在色卡中的位置为5行1列，记为(5,1)；定位块D在色卡中的位置为5行6列，记为(5,6)；通过求解方程组实现从色卡行列坐标到C10中的图像坐标的变换。
7.如权利要求1所述用于自动化图像色彩校准的方法，其特征是，步骤C5使用Gamma变换，其中，Gamma值γ通过下式计算得到：
式中，m是单张灰度图的所有像素的灰度均值。
8.如权利要求1所述用于自动化图像色彩校准的方法，其特征是，步骤C6具体采用Harris角点检测方法得到每个像素点上的角点得分。
9.一种用于自动化图像色彩校准的装置，包括：针对特定应用领域制作的26色色卡、色卡的26个色块在D65标准光照环境下的基准色值、色块定位程序模块、色彩校准程序模块；其中：
色卡的色块颜色通过分析特定应用领域中经常出现的关键颜色确定；色卡的色块在D65标准光源下测量的基准色值信息以二维码的形式印刷在色卡背后；
色块定位程序模块用于在色彩校准任务中定位照片中色块的位置并获得色块的观测色值信息；对于一张特定环境中拍摄的色卡照片，色块定位程序模块利用色卡上的定位块和辅助定位标识确定照片中色块中心所在的位置，并对该位置附近的颜色进行采样，以获得对应色块的观测色值信息；
色彩校准程序模块通过分析色卡附带的基准色值信息和色块定位程序模块输出的观测色值信息之间的关系，确定色彩修正函数；使用修正函数修改该应用场景中拍摄的照片，即完成图像色彩校准工作。
10.如权利要求9所述用于自动化图像色彩校准的装置，其特征是，针对特定应用领域制作的色卡包括26个色块，为26色色卡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010407013.6A CN111562010B (zh) | 2020-05-14 | 2020-05-14 | 一种用于自动化图像色彩校准的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010407013.6A CN111562010B (zh) | 2020-05-14 | 2020-05-14 | 一种用于自动化图像色彩校准的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111562010A true CN111562010A (zh) | 2020-08-21 |
| CN111562010B CN111562010B (zh) | 2021-04-30 |
Family
ID=72068130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010407013.6A Active CN111562010B (zh) | 2020-05-14 | 2020-05-14 | 一种用于自动化图像色彩校准的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111562010B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222971A (zh) * | 2021-05-31 | 2021-08-06 | 深圳市蝶讯网科技股份有限公司 | 一种色彩和搭配浏览款式的方法、计算机设备及存储介质 |
| CN113873210A (zh) * | 2021-09-29 | 2021-12-31 | 苏州市测绘院有限责任公司 | 一种色彩还原真实性精度检测方法 |
| CN114513585A (zh) * | 2022-03-08 | 2022-05-17 | 卡乐微视科技(云南)有限公司 | 一种从照相机到打印机颜色再现方法 |
| KR20230168015A (ko) * | 2022-06-03 | 2023-12-12 | 인제대학교 산학협력단 | 연합 학습 방법을 활용한 컬러 캘리브레이션 방법 및 그 시스템 |
| CN117549938A (zh) * | 2023-12-13 | 2024-02-13 | 中国铁道科学研究院集团有限公司 | 用于记录列控车载设备灯位状态信息的智能诊断分析系统 |
| CN117730655A (zh) * | 2024-02-20 | 2024-03-22 | 云南省农业科学院质量标准与检测技术研究所 | 水稻种子活力定量分析方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940597B2 (en) * | 2002-08-19 | 2005-09-06 | Imperial Chemical Industries Plc | Method for obtaining an approximate standard color definition for a sample color |
| CN101221073A (zh) * | 2008-01-08 | 2008-07-16 | 北京大学 | 多功能颜色测量和观察系统 |
| JP2012035067A (ja) * | 2010-07-15 | 2012-02-23 | Rigio Waki | モニタ使用による色感特性検査法 |
| CN102137272B (zh) * | 2011-03-21 | 2012-11-28 | 西安理工大学 | 一种开放环境下的多相机间的颜色校准方法 |
| CN105938015A (zh) * | 2015-03-03 | 2016-09-14 | 精工爱普生株式会社 | 分光测定装置、图像形成装置以及分光测定方法 |
| CN106510882A (zh) * | 2015-09-10 | 2017-03-22 | 北京大学深圳医院 | 12色标四环素牙瓷修复专用比色板 |
| CN107389194A (zh) * | 2017-07-12 | 2017-11-24 | 蔚彩信息科技（上海）有限公司 | 基于色卡的开放光环境下颜色高保真数字成像系统 |
| US20190068840A1 (en) * | 2017-08-23 | 2019-02-28 | Seiko Epson Corporation | Profile adjustment system, profile adjustment device, and profile adjustment method |
| CN110044485A (zh) * | 2019-04-17 | 2019-07-23 | 江阴芗菲服饰有限公司 | 一种图像式织物颜色测量方法 |
| CN110300291A (zh) * | 2018-03-22 | 2019-10-01 | 宝视纳股份公司 | 确定色彩值的装置和方法、数字相机、应用和计算机设备 |
-
2020
- 2020-05-14 CN CN202010407013.6A patent/CN111562010B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6940597B2 (en) * | 2002-08-19 | 2005-09-06 | Imperial Chemical Industries Plc | Method for obtaining an approximate standard color definition for a sample color |
| CN101221073A (zh) * | 2008-01-08 | 2008-07-16 | 北京大学 | 多功能颜色测量和观察系统 |
| JP2012035067A (ja) * | 2010-07-15 | 2012-02-23 | Rigio Waki | モニタ使用による色感特性検査法 |
| CN102137272B (zh) * | 2011-03-21 | 2012-11-28 | 西安理工大学 | 一种开放环境下的多相机间的颜色校准方法 |
| CN105938015A (zh) * | 2015-03-03 | 2016-09-14 | 精工爱普生株式会社 | 分光测定装置、图像形成装置以及分光测定方法 |
| CN106510882A (zh) * | 2015-09-10 | 2017-03-22 | 北京大学深圳医院 | 12色标四环素牙瓷修复专用比色板 |
| CN107389194A (zh) * | 2017-07-12 | 2017-11-24 | 蔚彩信息科技（上海）有限公司 | 基于色卡的开放光环境下颜色高保真数字成像系统 |
| US20190068840A1 (en) * | 2017-08-23 | 2019-02-28 | Seiko Epson Corporation | Profile adjustment system, profile adjustment device, and profile adjustment method |
| CN110300291A (zh) * | 2018-03-22 | 2019-10-01 | 宝视纳股份公司 | 确定色彩值的装置和方法、数字相机、应用和计算机设备 |
| CN110044485A (zh) * | 2019-04-17 | 2019-07-23 | 江阴芗菲服饰有限公司 | 一种图像式织物颜色测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| LAN HAI-BIN ET.AL.: "Image match algorithm based on hue component of color image", 《APPLICATION RESEARCH OF COMPUTERS》 * |
| 李瑞娟: "RGB到CIEXYZ色彩空间转换的研究", 《包装工程》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222971A (zh) * | 2021-05-31 | 2021-08-06 | 深圳市蝶讯网科技股份有限公司 | 一种色彩和搭配浏览款式的方法、计算机设备及存储介质 |
| CN113873210A (zh) * | 2021-09-29 | 2021-12-31 | 苏州市测绘院有限责任公司 | 一种色彩还原真实性精度检测方法 |
| CN113873210B (zh) * | 2021-09-29 | 2024-02-23 | 苏州市测绘院有限责任公司 | 一种色彩还原真实性精度检测方法 |
| CN114513585A (zh) * | 2022-03-08 | 2022-05-17 | 卡乐微视科技(云南)有限公司 | 一种从照相机到打印机颜色再现方法 |
| KR20230168015A (ko) * | 2022-06-03 | 2023-12-12 | 인제대학교 산학협력단 | 연합 학습 방법을 활용한 컬러 캘리브레이션 방법 및 그 시스템 |
| KR102622395B1 (ko) * | 2022-06-03 | 2024-01-08 | 인제대학교 산학협력단 | 연합 학습 방법을 활용한 컬러 캘리브레이션 방법 및 그 시스템 |
| CN117549938A (zh) * | 2023-12-13 | 2024-02-13 | 中国铁道科学研究院集团有限公司 | 用于记录列控车载设备灯位状态信息的智能诊断分析系统 |
| CN117730655A (zh) * | 2024-02-20 | 2024-03-22 | 云南省农业科学院质量标准与检测技术研究所 | 水稻种子活力定量分析方法、装置、设备及存储介质 |
| CN117730655B (zh) * | 2024-02-20 | 2024-05-14 | 云南省农业科学院质量标准与检测技术研究所 | 水稻种子活力定量分析方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111562010B (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111562010B (zh) | 一种用于自动化图像色彩校准的方法和装置 | |
| CN111292246B (zh) | 图像颜色校正方法、存储介质及内窥镜 | |
| US6295374B1 (en) | Method and system for detecting a flaw in a sample image | |
| CN110400278B (zh) | 一种图像颜色和几何畸变的全自动校正方法、装置及设备 | |
| US7463757B2 (en) | Tooth locating within dental images | |
| US20040228528A1 (en) | Image editing apparatus, image editing method and program | |
| CN110110131B (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
| CN108846869B (zh) | 一种基于自然图像色彩的服装自动配色方法 | |
| CN109816629B (zh) | 一种基于k-means聚类的苔质分离方法和装置 | |
| CN108769505A (zh) | 一种图像处理集方法及电子设备 | |
| Montenegro et al. | A comparative study of color spaces in skin-based face segmentation | |
| CN110702615B (zh) | 一种彩色数码透射显微镜颜色校正方法 | |
| CN113724339A (zh) | 一种基于颜色空间特征的少样本瓷砖分色方法 | |
| JP4505213B2 (ja) | コンピュータグラフィックス画像から塗色を特定する方法 | |
| CN112488997A (zh) | 基于特征插值的古代绘画印刷品颜色复现检测和评价方法 | |
| CN106652898A (zh) | Led显示逐点校正方法 | |
| CN110726536B (zh) | 一种彩色数码反射显微镜颜色校正方法 | |
| CN113873210B (zh) | 一种色彩还原真实性精度检测方法 | |
| WO2002103634A1 (en) | Apparatus and method for machine vision | |
| KR102399939B1 (ko) | 검출 방법 및 검출 패드 | |
| KR102226943B1 (ko) | 검출 방법 및 검출 패드 | |
| WO2021256458A1 (ja) | カラーチャート | |
| CN110300291B (zh) | 确定色彩值的装置和方法、数字相机、应用和计算机设备 | |
| CN108734703B (zh) | 基于机器视觉的抛光砖打印图样检测方法、系统及装置 | |
| CN115984261B (zh) | 基于牙齿图像的识别跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |