CN109785397B - 一种图像中色卡颜色提取方法及装置 - Google Patents

Abstract

本发明实施例提供一种图像中色卡颜色提取方法及装置。对图像中色卡颜色提取和设定模型进行了巧妙结合与应用，针对从设定模型中获取到的掩膜图像进行一系列处理，从而能够更加准确的定位色卡的位置，进而以使颜色提取更加精确。

Description

一种图像中色卡颜色提取方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像中色卡颜色提取方法及装置。

背景技术

基于色卡的颜色校正方法最重要的一个环节是正确提取24个色块颜色的RGB值，经研究发现，传统基于色卡的颜色校正方法在图像中出现与色卡类似的特征点或色卡周边出现与标准值不一致的参照物时很容易定位错误，从而提取错误的颜色值。

发明内容

有鉴于此，本发明实施例提供一种图像中色卡颜色提取方法及装置。

本发明实施例提供一种图像中色卡颜色提取方法，所述方法包括：

获取至少一个包括有色卡区域的待处理图像，并对所述待处理图像进行压缩以获取压缩图像；

将所述压缩图像输入设定模型，得到从所述设定模型输出的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置；

根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取。

可选的，针对所述掩膜图像进行图像处理，获取到处理后图像的步骤包括：

针对掩膜图像进行高斯滤波处理以及形态学处理；

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像。

可选的，所述掩膜图像包括位于色卡区域边角区域的四个角点；将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像的步骤包括：

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点检测，识别出色卡区域的四个角点，并根据所述待处理图像中的四个角点的位置对掩膜图像中的四个角点的位置进行修正，获取到处理后图像。

可选的，根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取的步骤包括：

根据修正后的四个角点的位置估算出待处理图像中的色卡区域内包含的每个色块的中心点的位置，并提取所述待处理图像中各色块的RGB值。

可选的，所述设定模型通过以下步骤获得：

获取多个包括有色卡区域的图像，对所述多个图像中的每一个图像的色卡区域进行标注，将标注后的图像进行压缩处理获得压缩图像；

针对每一个压缩图像，制作该压缩图像对应的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

基于所述多个压缩图像与所述多个压缩图像对应的各掩膜图像应用下采样和上采样的全卷积网络结构的模型进行训练，获取到设定模型。

可选的，所述多个图像包括至少一个图像，以及针对该至少一个图像进行旋转、平移或亮度处理后的图像。

可选的，所述设定模型中的损失函数为Focal Loss，所述设定模型中的优化器为Adam。

本发明实施例还提供一种图像中色卡颜色提取装置，所述装置包括：

获取压缩图像模块：用于获取至少一个包括有色卡区域的待处理图像，并对所述待处理图像进行压缩以获取压缩图像；

获取掩膜图像模块：用于将所述压缩图像输入设定模型，得到从所述设定模型输出的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

图像处理模块，用于针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置；

颜色提取模块，用于根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取。

可选的，图像处理模块通过以下方式针对所述掩膜图像进行图像处理，获取到处理后的图像：

针对掩膜图像进行高斯滤波处理以及形态学处理；

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像。

可选的，所述掩膜图像包括位于色卡区域边角区域的四个角点；图像处理模块通过以下方式将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像：

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点检测，识别出色卡区域的四个角点，并根据所述待处理图像中的四个角点的位置对掩膜图像中的四个角点的位置进行修正，获取到处理后图像。

本发明实施例提供一种图像中色卡颜色提取方法及装置。对图像中色卡颜色提取和设定模型进行了巧妙结合与应用，针对从设定模型中获取到的掩膜图像进行一系列处理，从而能够更加准确的定位色卡的位置，进而以使颜色提取更加精确。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的电子设备的方框示意图；

图2为本发明实施例所提供的一种图像中色卡颜色提取方法的流程示意图；

图3为图2中步骤S130包括的子步骤的流程示意图；

图4为本发明实施例所提供的设定模型构建方法的流程示意图；

图5至图8为本发明实施例所提供的模型结构示意图；

图9为本发明实施例所提供的一种图像中色卡颜色提取装置的方框示意图；

图10为本发明实施例提供的一种图像中色卡颜色提取方法的实施流程示意图。

图标：100-电子设备；110-存储器；120-处理器；200-图像中色卡颜色提取装置；210-获取压缩图像模块；220-获取掩膜图像模块；230-图像处理模块；240-颜色提取模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“中”、“上”、“平行”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电性连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本发明实施例提供的电子设备100的方框示意图。在本发明实施例中，所述电子设备100可以包括存储器110和处理器120。

所述存储器110和处理器120各元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110中存储有图像中色卡颜色提取装置200，所述图像中色卡颜色提取装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本发明实施例中的图像中色卡颜色提取装置200，从而执行各种功能应用以及数据处理，即实现本发明实施例中的图像中色卡颜色提取方法。

其中，所述存储器110可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。所述处理器120以及其他可能的组件对存储器110的访问可直接进行。

所述处理器120可能是一种集成电路芯片，具有信号的处理能力。上述的处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，图2是本发明实施例提供的图像中色卡颜色提取方法的流程示意图。所述图像中色卡颜色提取方法应用于电子设备100，可以由处理器120执行。下面对图像中色卡颜色提取方法的具体流程进行详细阐述。

步骤S110，获取至少一个包括有色卡区域的待处理图像，并对待处理图像进行压缩以获取压缩图像。

获取至少一个包括有色卡的待处理图像，并对待处理图像进行压缩以获取压缩图像。其中，获取方法可以为工作人员将需要进行颜色提取的图像上传，并对待处理图像进行压缩处理，将待处理图像压缩为512*512大小的格式。

步骤S120，将所述压缩图像输入设定模型，得到从设定模型输出的掩膜图像。

在本发明实施例中，将所述压缩图像输入设定模型，用设定模型来预测所述压缩图像中的色卡位置，得到从设定模型输出的掩膜图像，其中输出的掩膜图像包括色卡位置和非色卡区域。

可选的，输出的掩膜图像为512*512的矩阵，矩阵中每个值为0～1的概率。最大值为这个矩阵中的最大值，将掩膜图像中小于最大值*75％的值设为0，大于最大值*75％的值设为1，所述值为1的区域为预测的色卡区域。

步骤S130，针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置。

本发明实施例中，针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置。

请参照图3，图3为图2中步骤S130包括的子步骤的流程示意图。步骤S130包括子步骤S131和S132。

子步骤S131，针对掩膜图像进行高斯滤波处理以及形态学处理。

本发明实施例中，通过高斯滤波处理以及形态学处理对所述掩膜图像进行降噪，同时可以使掩膜图像的边缘变得平滑。

其中降噪的过程可以为先开运算去除背景噪声，再继续闭运算填充目标内孔洞。

子步骤S132，将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像。

在本发明实施例中将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点检测，识别出色卡区域的四个角点，并根据所述待处理图像中的四个角点的位置对掩膜图像中的四个角点的位置进行修正，获取到处理后图像。

可选的，由于掩膜图像通过形态学处理，其中的色卡区域平均会向內收缩3个像素点，其中角点修正的过程则为将色卡区域的坐标向外扩张3个像素点。

步骤S140，根据处理后的图像中的四个角点的位置，对待处理图像进行颜色提取。

本发明实施例中，根据修正后的四个角点的位置估算出待处理图像中的色卡区域内包含的每个色块的中心点的位置，并提取所述待处理图像中各色块的RGB值。其中距中心点为5的矩形块的RGB均值作为该色块的RGB值。

请参阅图4，图4为本发明实施例所提供的设定模型构建方法的流程示意图。下面对设定模型构建方法的具体流程进行详细阐述。

步骤S210，获取多个包括有色卡区域的图像，对多个图像中的每一个图像的色卡区域进行标注，将标注后的图像进行压缩处理获得压缩图像。

本发明实施例中，通过数据库中的、工作人员输入的多个图像，多个样本图像包括有多个色块。对多个图像中的每一个图像的色卡区域进行标注，将标注后的图像进行压缩处理获得压缩图像。

可选的，可以通过数据库中的和工作人员输入的图像进行旋转、平移或亮度调节获取到新的图像，进而增加训练模型的样本数量。

步骤S220，针对每一个压缩图像，制作该压缩图像对应的掩膜图像。

本发明实施例中，针对每一个压缩图像，制作该压缩图像对应的多个掩膜图像。所述压缩图像的规格为512*512，所述压缩图像作为设定模型的输入图像，同时所述压缩图像对应的掩膜图像作为设定模型的输出图像。

可选的，在将数据库中的和工作人员输入的图像进行旋转、平移或亮度调节获取到新的图像时，将输入的图像对应的掩膜图像也进行旋转和平移，获取多个掩膜图像，以使与多个输入的图像一一对应。

步骤S230，基于所述多个压缩图像与所述多个压缩图像对应的各掩膜图像应用下采样和上采样的全卷积网络结构的模型进行训练，获取到设定模型。

本发明实施例中，基于多个压缩后图像与多个压缩后图像对应的各掩膜图像应用下采样和上采样的全卷积网络结构的模型进行训练，获取到设定模型。结合参阅5至图8，图5至图8为本发明实施例中所提供的模型结构示意图。其中，训练的模型为卷积神经网络，卷积神经网络采用的是一个包含下采样和上采样的全卷积网络结构。

可选的，由于掩膜图像中色卡区域的比例和非色卡区域的比例严重不平衡，模型中的损失函数采用Focal Loss。

可选的，模型中的优化器为Adam，此模型的学习率为1e-5。

请参照图9，图9为本发明实施例提供的一种图像中色卡颜色提取装置的方框示意图。所述图像中色卡颜色提取装置可以包括获取压缩图像模块210、获取掩膜图像模块220、图像处理模块230、颜色提取模块240。

获取压缩图像模块210，用于获取至少一个包括有色卡区域的待处理图像，并对所述待处理图像进行压缩以获取压缩图像。

在本发明实施例中，获取压缩图像模块210用于执行图2的步骤S110，关于所述获取压缩图像模块210的具体描述可以参照图2中步骤S110的描述。

获取掩膜图像模块220，用于将所述压缩图像输入设定模型，得到从所述设定模型输出的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域。

在本发明实施例中，获取掩膜图像模块220用于执行图2的步骤S120，关于所述获取掩膜图像模块220的具体描述可以参照图2中步骤S120的描述。

图像处理模块230，用于针对所述掩膜图像进行图像处理，获取到处理后的图像。

在本发明实施例中，图像处理模块230用于执行图2的步骤S130，关于所述图像处理模块230的具体描述可以参照图2中步骤S130的描述。

颜色提取模块240，用于根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取。

在本发明实施例中，颜色提取模块240用于执行图2的步骤S140，关于所述颜色提取模块240的具体描述可以参照图2中步骤S140的描述。

请结合参照图10，图10为本发明实施例提供的一种图像中色卡颜色提取方法的实施流程示意图。

步骤(1)，获取到输入的需要进行颜色提取的图像，并将图像压缩成512*512规格的压缩图像，将所述压缩图像输入至设定模型中，获取到预测所述压缩图像色卡区域的掩膜图像。

步骤(2)，将所述掩膜图像进行高斯滤波处理和形态学处理。

步骤(3)，将进行高斯滤波处理和形态学处理后的掩膜图像进行角点修正。

步骤(4)，根据角点修正后的图像中的四个角点的位置，对需要进行颜色提取的图像估算24个色块中心点的位置并提取各色块的RGB值。

综上所述，本发明实施例提供的一种图像中色卡颜色提取方法及装置。所述方法包括：获取至少一个包括有色卡区域的待处理图像，并对所述待处理图像进行压缩以获取压缩图像；将所述压缩图像输入设定模型，得到从所述设定模型输出的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置；根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取。由此，能够更加准确的定位色卡的位置，进而以使颜色提取更加精确。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其它的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.一种图像中色卡颜色提取方法，其特征在于，所述方法包括：

获取至少一个包括有色卡区域的待处理图像，并对所述待处理图像进行压缩以获取压缩图像；

将所述压缩图像输入设定模型，得到从所述设定模型输出的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

所述掩膜图像为矩阵；所述矩阵中的每个值为0～1的概率；将所述掩膜图像中小于矩阵最大值的预设倍数的值设为0，将所述掩膜图像中大于所述矩阵最大值的所述预设倍数的值设为1，其中所述值为1的区域为所述色卡区域；

针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置；

根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取；

所述设定模型通过以下步骤获得：

获取多个包括有色卡区域的图像，对所述多个图像中的每一个图像的色卡区域进行标注，将标注后的图像进行压缩处理获得压缩图像；

针对每一个压缩图像，制作该压缩图像对应的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

基于所述多个压缩图像与所述多个压缩图像对应的各掩膜图像应用下采样和上采样的全卷积网络结构的模型进行训练，获取到设定模型。

2.根据权利要求1所述的图像中色卡颜色提取方法，其特征在于，针对所述掩膜图像进行图像处理，获取到处理后图像的步骤包括：

针对掩膜图像进行高斯滤波处理以及形态学处理；

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像。

3.根据权利要求2所述的图像中色卡颜色提取方法，其特征在于，所述掩膜图像包括位于色卡区域边角区域的四个角点；将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像的步骤包括：

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点检测，识别出色卡区域的四个角点，并根据所述待处理图像中的四个角点的位置对掩膜图像中的四个角点的位置进行修正，获取到处理后图像。

4.根据权利要求3所述的图像中色卡颜色提取方法，其特征在于，根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取的步骤包括：

根据修正后的四个角点的位置估算出待处理图像中的色卡区域内包含的每个色块的中心点的位置，并提取所述待处理图像中各色块的RGB值。

5.根据权利要求1所述的图像中色卡颜色提取方法，其特征在于，所述多个图像包括至少一个图像，以及针对该至少一个图像进行旋转、平移或亮度处理后的图像。

6.根据权利要求1所述的图像中色卡颜色提取方法，其特征在于，所述设定模型中的损失函数为Focal Loss，所述设定模型中的优化器为Adam。

7.一种图像中色卡颜色提取装置，其特征在于，所述装置包括：

获取压缩图像模块：用于获取至少一个包括有色卡区域的待处理图像，并对所述待处理图像进行压缩以获取压缩图像；

获取掩膜图像模块：用于将所述压缩图像输入设定模型，得到从所述设定模型输出的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

所述掩膜图像为矩阵；所述矩阵中的每个值为0～1的概率；图像处理模块，用于将所述掩膜图像中小于矩阵最大值的预设倍数的值设为0，将所述掩膜图像中大于所述矩阵最大值的所述预设倍数的值设为1，其中所述值为1的区域为所述色卡区域；

所述图像处理模块，用于针对所述掩膜图像进行图像处理，获取到处理后的图像，所述处理后的图像包括四个角点的位置；

颜色提取模块，用于根据所述处理后的图像中的四个角点的位置，对所述待处理图像进行颜色提取；

所述设定模型通过以下方式获得：

所述获取掩膜图像模块还用于获取多个包括有色卡区域的图像，对所述多个图像中的每一个图像的色卡区域进行标注，将标注后的图像进行压缩处理获得压缩图像；

所述获取掩膜图像模块还用于针对每一个压缩图像，制作该压缩图像对应的掩膜图像，其中，所述掩膜图像包括色卡区域和非色卡区域；

所述获取掩膜图像模块还用于基于所述多个压缩图像与所述多个压缩图像对应的各掩膜图像应用下采样和上采样的全卷积网络结构的模型进行训练，获取到设定模型。

8.根据权利要求7所述的图像中色卡颜色提取装置，其特征在于，图像处理模块通过以下方式针对所述掩膜图像进行图像处理，获取到处理后的图像：

针对掩膜图像进行高斯滤波处理以及形态学处理；

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像。

9.根据权利要求8所述的图像中色卡颜色提取装置，其特征在于，所述掩膜图像包括位于色卡区域边角区域的四个角点；图像处理模块通过以下方式将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点修正处理，获取到处理后的图像：

将进行高斯滤波处理以及形态学处理后的掩膜图像进行角点检测，识别出色卡区域的四个角点，并根据所述待处理图像中的四个角点的位置对掩膜图像中的四个角点的位置进行修正，获取到处理后图像。

Images