CN111462255A - 一种多尺度颜色恒常性计算的算法 - Google Patents

一种多尺度颜色恒常性计算的算法 Download PDF

Info

Publication number
CN111462255A
CN111462255A CN201910598159.0A CN201910598159A CN111462255A CN 111462255 A CN111462255 A CN 111462255A CN 201910598159 A CN201910598159 A CN 201910598159A CN 111462255 A CN111462255 A CN 111462255A
Authority
CN
China
Prior art keywords
color constancy
scale
color
network
constancy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910598159.0A
Other languages
English (en)
Inventor
李晓强
朱雅琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910598159.0A priority Critical patent/CN111462255A/zh
Publication of CN111462255A publication Critical patent/CN111462255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多尺度颜色恒常性计算的算法，要解决的是现有颜色恒定性计算的算法得到的结果不准确的问题。本发明具体步骤如下：步骤一，准备充分多的需要计算颜色恒常性的图片并且对需要计算颜色恒常性的图片进行预处理；步骤二，通过特征聚合网络获得特征金字塔；步骤三，利用网络训练获得颜色恒常性计算结果。本方法通过神经网络将底层特征和高层特征相结合并使用多个尺度做预测，既能够学习到物体的语义信息，又能够定位物体的具体位置，即获得了多尺度的语义信息，这能够获得更加准确的估计结果；本方法可以在具有任意尺度的物体的图片集的情况下准确估计颜色恒常性，使用前景广阔。

Description

一种多尺度颜色恒常性计算的算法
技术领域
本发明涉及计算机视觉系统领域，具体是一种多尺度颜色恒常性计算的算法。
背景技术
为了提高计算机视觉系统的稳定性，计算机学者们将颜色恒常性理论引入计算机视觉，提出了颜色恒常性计算理论。颜色恒常性是当物体的颜色因光照条件改变而改变时，个体对该物体表面的颜色知觉仍趋于一致的知觉特性。颜色恒常性计算的目的就是要消除光照对图像颜色的影响，从而得到物体表面与光照无关的颜色特性，为计算机视觉系统提供类似于人类视觉系统的颜色恒常性感知功能。
颜色恒定性计算的算法可以分为基于统计的算法和基于学习的算法两类。基于统计的算法主要基于自然场景的某些统计假设,其中典型的方法是White-Patch(白块假设)。它假设RGB通道的最大响应是由白色补丁引起的。Van De Weijer等人提出了一个基于统计的算法的统一框架，包括max-RGB(RGB最大值方法)，Gray-World(灰度世界方法)，GeneralGray-World(广义灰度世界方法)和Shades of Gray(灰度阴影方法)等。基于学习的方法从训练数据中学习模型以估计光源颜色。这些方法相对于基于统计的方法具有相对较高的准确性。Bianco等人将非重叠图像块馈送到CNN(卷集神经网络)以获得一组局部光源估计，并且将图像块的局部估计汇总以获得全局光源。Hu等人提出了一种完全卷积的网络结构，该方法先从高级特征中学习局部颜色估计和相应的置信度权重，然后将局部估计置信加权汇总产生全局光源估计。FC4(带置信加权池的完全卷积颜色恒常性)模型中，Hu(胡)等人从高层中提取高级语义特征，这个特征可以学习到图片中的对象，而学习到具有固有颜色对象的有利于颜色恒常性的计算。但是高层特征图尺度过小缺乏对对象(尤其是小物体)具体位置的学习，因此会对光照颜色的估计产生影响，影响结果的准确性。
发明内容
本发明实施例的目的在于提供一种多尺度颜色恒常性计算的算法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明实施例提供如下技术方案：
一种多尺度颜色恒常性计算的算法，具体步骤如下：
步骤一，准备充分多的需要计算颜色恒常性的图片并且对需要计算颜色恒常性的图片进行预处理；
步骤二，通过特征聚合网络获得特征金字塔：从自上向下将网络高层的语义信息传递到网络底层，从而使得每一个尺度的特征都具有强语义，然后再进行颜色恒常性计算，卷积神经网络的高层包含了语义特征，而语义特征能够使网络正确区分图片中物体是什么，从而进一步估计该物体表面光照的颜色；而卷积神经网络的底层包含了具体的细节特征，能够使网络准确定位所学习到的物体的具体位置，这有利于局部光照的估计，因此，可以将高层语义信息和底层空间信息相结合得到特征金字塔；
步骤三，利用网络训练获得颜色恒常性计算结果。
作为本发明实施例进一步的方案：步骤一中需要计算颜色恒常性的图片采用颜色恒常性开源数据集中的图片。
作为本发明实施例进一步的方案：颜色恒常性开源数据集包括reprocessedColor Checker(重新处理的颜色板)、NUS(纳斯)和Cube(多维)数据集。
作为本发明实施例进一步的方案：步骤一中预处理为对需要计算颜色恒常性的图片做翻转、旋转、裁剪、颜色变换等数据增强操作，然后统一缩放到预设大小w*h。
作为本发明实施例进一步的方案：获得特征金字塔的具体步骤如下：首先将需要计算颜色恒常性的图片输入到一个基础网络中，基础网络对需要计算颜色恒常性的图片进行处理操作，获得具有不同尺度的特征图，高层的特征图具有较高的语义信息能够识别物体时什么但却缺少位置信息，底层的特征图有较强的位置空间信息但缺少语义信息，采用特征聚合模块将特征图自上而下增强，得到不同尺度的具有强语义信息的特征图，这些特征图不仅具有语义信息而且包含位置信息，有利于对物体的颜色估计。
作为本发明实施例进一步的方案：基础网络采用残差网络，基础网络对需要计算颜色恒常性的图片进行卷积和下采样等操作。
作为本发明实施例进一步的方案：网络训练的具体步骤如下：通过特征聚合网络获得具有强语义的多尺度特征金字塔，根据多尺度特征金字塔分别通过颜色估计网络计算颜色恒常性，获得多个不同尺度特征图的估计结果，对不同尺度特征图的计算结果求均值，得到最终的估计结果。
作为本发明实施例进一步的方案：颜色估计网络首先通过特征图学习输入需要计算颜色恒常性的图片的每个图像块的局部颜色估计和相应置信度权重，然后将局部估计置信加权汇总，产生全局光源估计。
与现有技术相比，本发明实施例的有益效果是：
本方法通过神经网络将底层特征和高层特征相结合并使用多个尺度做预测，既能够学习到物体的语义信息，又能够定位物体的具体位置，即获得了多尺度的语义信息，这能够获得更加准确的估计结果；
本方法可以在具有任意尺度的物体的图片集的情况下准确估计颜色恒常性，使用前景广阔。
附图说明
图1为多尺度颜色恒常性计算的算法中获得特征金字塔的工作流程图。
图2为多尺度颜色恒常性计算的算法中网络训练的工作流程图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
实施例1
一种多尺度颜色恒常性计算的算法，具体步骤如下：
步骤一，准备reprocessed Color Checker、NUS和Cube数据集中的图片并且对需要计算颜色恒常性的图片进行翻转、旋转、裁剪、颜色变换等数据增强操作，然后统一缩放到预设大小w*h；
步骤二，通过特征聚合网络获得特征金字塔：首先将需要计算颜色恒常性的图片输入到残差网络中，基础网络对需要计算颜色恒常性的图片进行卷积和下采样的操作，获得具有不同尺度的特征图，高层的特征图具有较高的语义信息能够识别物体是什么但却缺少位置信息，底层的特征图有较强的位置空间信息但缺少语义信息，采用特征聚合模块将特征图自上而下增强，得到不同尺度的具有强语义信息的特征图，这些特征图不仅具有语义信息而且包含位置信息，有利于对物体的颜色估计，从自上向下将网络高层的语义信息传递到网络底层，从而使得每一个尺度的特征都具有强语义，然后再进行颜色恒常性计算，卷积神经网络的高层包含了语义特征，而语义特征能够使网络正确区分图片中物体是什么，从而进一步估计该物体表面光照的颜色；而卷积神经网络的底层包含了具体的细节特征，能够使网络准确定位所学习到的物体的具体位置，这有利于局部光照的估计，因此，可以将高层语义信息和底层空间信息相结合得到特征金字塔；
步骤三，利用网络训练获得颜色恒常性计算结果。
实施例2
一种多尺度颜色恒常性计算的算法，具体步骤如下：
步骤一，准备充分多的需要计算颜色恒常性的图片并且对需要计算颜色恒常性的图片进行预处理；
步骤二，通过特征聚合网络获得特征金字塔：从自上向下将网络高层的语义信息传递到网络底层，从而使得每一个尺度的特征都具有强语义，然后再进行颜色恒常性计算，卷积神经网络的高层包含了语义特征，而语义特征能够使网络正确区分图片中物体是什么，从而进一步估计该物体表面光照的颜色；而卷积神经网络的底层包含了具体的细节特征，能够使网络准确定位所学习到的物体的具体位置，这有利于局部光照的估计，因此，可以将高层语义信息和底层空间信息相结合得到特征金字塔；
步骤三，利用网络训练获得颜色恒常性计算结果：网络训练的具体步骤如下：通过特征聚合网络获得具有强语义的多尺度特征金字塔，根据多尺度特征金字塔分别通过颜色估计网络计算颜色恒常性，颜色估计网络首先通过特征图学习输入需要计算颜色恒常性的图片的每个图像块的局部颜色估计和相应置信度权重，然后将局部估计置信加权汇总，产生全局光源估计，获得多个不同尺度特征图的估计结果，对不同尺度特征图的计算结果求均值，得到最终的估计结果。
本发明的方法学习了强大的语义和详细的空间信息，因此对尺度更具有鲁棒性。CNN的更深层编码高级语义知识而浅层则捕获空间信息，这些信息突出了物体的区域，即使对于小物体也是如此。本发明的方法有效地统一了具有强语义的多尺度特征图，并且可以捕获具有固有颜色的对象(例如草莓)，包含这些对象的区域通常提供更可靠的颜色估计，进而获得更为准确的估计结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种多尺度颜色恒常性计算的算法，其特征在于，具体步骤如下：
步骤一，准备充分多的需要计算颜色恒常性的图片并且对需要计算颜色恒常性的图片进行预处理；
步骤二，通过特征聚合网络获得特征金字塔；
步骤三，利用网络训练获得颜色恒常性计算结果。
2.根据权利要求1所述的多尺度颜色恒常性计算的算法，其特征在于，所述步骤一中需要计算颜色恒常性的图片采用颜色恒常性开源数据集中的图片。
3.根据权利要求2所述的多尺度颜色恒常性计算的算法，其特征在于，所述颜色恒常性开源数据集包括reprocessed Color Checker、NUS和Cube数据集。
4.根据权利要求1所述的多尺度颜色恒常性计算的算法，其特征在于，所述步骤一中预处理为对需要计算颜色恒常性的图片做翻转、旋转、裁剪、颜色变换的操作，然后统一缩放到预设大小。
5.根据权利要求1所述的多尺度颜色恒常性计算的算法，其特征在于，所述获得特征金字塔的具体步骤如下：首先将需要计算颜色恒常性的图片输入到一个基础网络中，基础网络对需要计算颜色恒常性的图片进行处理操作，获得具有不同尺度的特征图，采用特征聚合模块将特征图自上而下增强，得到不同尺度的具有强语义信息的特征图。
6.根据权利要求5所述的多尺度颜色恒常性计算的算法，其特征在于，所述基础网络采用残差网络，基础网络对需要计算颜色恒常性的图片进行卷积和下采样的操作。
7.根据权利要求1所述的多尺度颜色恒常性计算的算法，其特征在于，所述网络训练的具体步骤如下：通过特征聚合网络获得具有强语义的多尺度特征金字塔，根据多尺度特征金字塔分别通过颜色估计网络计算颜色恒常性，获得多个不同尺度特征图的估计结果，对不同尺度特征图的计算结果求均值，得到最终的估计结果。
CN201910598159.0A 2019-07-04 2019-07-04 一种多尺度颜色恒常性计算的算法 Pending CN111462255A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910598159.0A CN111462255A (zh) 2019-07-04 2019-07-04 一种多尺度颜色恒常性计算的算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910598159.0A CN111462255A (zh) 2019-07-04 2019-07-04 一种多尺度颜色恒常性计算的算法

Publications (1)

Publication Number Publication Date
CN111462255A true CN111462255A (zh) 2020-07-28

Family

ID=71679919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910598159.0A Pending CN111462255A (zh) 2019-07-04 2019-07-04 一种多尺度颜色恒常性计算的算法

Country Status (1)

Country Link
CN (1) CN111462255A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052978A1 (en) * 2001-06-25 2003-03-20 Nasser Kehtarnavaz Automatic white balancing via illuminant scoring autoexposure by neural network mapping
CN101706964A (zh) * 2009-08-27 2010-05-12 北京交通大学 一种基于图像导数结构的颜色恒常性计算方法及系统
CN108388905A (zh) * 2018-03-21 2018-08-10 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法
CN108960255A (zh) * 2018-06-28 2018-12-07 西安工程大学 基于颜色相似性和位置聚集性的显著性织物疵点检测方法
CN109146983A (zh) * 2018-08-30 2019-01-04 天津科技大学 一种多光源图像颜色恒常性计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030052978A1 (en) * 2001-06-25 2003-03-20 Nasser Kehtarnavaz Automatic white balancing via illuminant scoring autoexposure by neural network mapping
CN101706964A (zh) * 2009-08-27 2010-05-12 北京交通大学 一种基于图像导数结构的颜色恒常性计算方法及系统
CN108388905A (zh) * 2018-03-21 2018-08-10 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法
CN108960255A (zh) * 2018-06-28 2018-12-07 西安工程大学 基于颜色相似性和位置聚集性的显著性织物疵点检测方法
CN109146983A (zh) * 2018-08-30 2019-01-04 天津科技大学 一种多光源图像颜色恒常性计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TSUNG-YI LIN ET AL.: "Feature Pyramid Networks for Object Detection" *

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
WO2020199931A1 (zh) 人脸关键点检测方法及装置、存储介质和电子设备
CN108229519B (zh) 图像分类的方法、装置及系统
CN108805064A (zh) 一种基于深度学习的鱼类定位检测和识别方法及系统
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN112613343B (zh) 一种基于改进YOLOv4的河道废弃物监测方法
CN110853070A (zh) 基于显著性与Grabcut的水下海参图像分割方法
CN111127360B (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN113297988B (zh) 一种基于域迁移和深度补全的物体姿态估计方法
CN112508079B (zh) 海洋锋面的精细化识别方法、系统、设备、终端及应用
WO2021077947A1 (zh) 图像处理方法、装置、设备及存储介质
CN112418216A (zh) 一种复杂自然场景图像中的文字检测方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
CN112651423A (zh) 一种智能视觉系统
CN114677323A (zh) 一种室内动态场景下基于目标检测的语义视觉slam定位方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN114627290A (zh) 一种基于改进DeepLabV3+网络的机械零部件图像分割算法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN110930384A (zh) 基于密度信息的人群计数方法、装置、设备以及介质
CN109241893B (zh) 基于人工智能技术的道路选择方法、装置及可读存储介质
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN108805838A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN115641584B (zh) 一种雾天图像识别方法及装置
CN111462255A (zh) 一种多尺度颜色恒常性计算的算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination