CN105354581B - 融合颜色特征与卷积神经网络的彩色图像特征提取方法 - Google Patents

融合颜色特征与卷积神经网络的彩色图像特征提取方法 Download PDF

Info

Publication number
CN105354581B
CN105354581B CN201510759561.4A CN201510759561A CN105354581B CN 105354581 B CN105354581 B CN 105354581B CN 201510759561 A CN201510759561 A CN 201510759561A CN 105354581 B CN105354581 B CN 105354581B
Authority
CN
China
Prior art keywords
vector
color
channel
red
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510759561.4A
Other languages
English (en)
Other versions
CN105354581A (zh
Inventor
宋彬
王宇
田方
赵梦洁
秦浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201510759561.4A priority Critical patent/CN105354581B/zh
Publication of CN105354581A publication Critical patent/CN105354581A/zh
Application granted granted Critical
Publication of CN105354581B publication Critical patent/CN105354581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合颜色特征与卷积神经网络的图像特征提取方法，主要解决现有技术下颜色特征提取不全面和卷积神经网络特征提取对颜色不敏感的问题。其实现步骤为：(1)输入彩色图像；(2)获取主体图像；(3)获取颜色特征向量；(4)获取归一化卷积神经网络特征向量；(5)获取融合特征向量。本发明能够同时发挥颜色特征提取和卷积神经网络特征提取的优势，可用于图像处理技术领域。

Description

融合颜色特征与卷积神经网络的彩色图像特征提取方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像分类技术领域中的一种融合颜色特征与卷积神经网络的图像特征提取方法。经本发明提取的彩色图像特征可用于对彩色图像的分类、彩色图片库的检索。
背景技术
目前，彩色图像特征提取已经成为图像处理技术领域里的一个很重要的研究主题。彩色图像的特征提取有很广泛的应用，如目标识别与检测，图像聚类，大数据检索等领域。由于彩色图像的内容复杂，种类繁多，不同图像的特征侧重点不同，导致了彩色图像特征提取具有很大的挑战性。
近期彩色图像特征提取方法中应用比较广泛的是基于图像颜色的颜色特征提取和基于深度学习的卷积神经网络特征提取。二者都从各自不同的层面完成了彩色图像的特征提取。
张悦、霍宏等人在其发表的论文“基于生物视觉的颜色直方图特征提取”(高技术通讯，2014，第4期P407-413)中公开了一种基于颜色直方图的彩色图像特征提取方法。该方法根据人类视觉通路对颜色的感知过程，建立了颜色感知的层次性描述模型，用该模型模拟了自然光经眼睛进入视网膜(RETINA)到侧膝体(LGN),再到V1阶段的处理过程，最终在V1阶段的神经元响应下形成具有方向信息的颜色特征。提出了描述具有对比度敏感、具有方向选择性和颜色恒常性的层次性颜色特征的方法，具有颜色恒常性和更好的稳定性。虽然该方法有效的利用了颜色直方图这一颜色特征提取工具，但是仍然存在的不足之处是，该方法忽略了背景等无关要素对颜色特征提取的影响，提取到的颜色特征带有巨大的背景噪声。而且与现有的卷积神经网络特征提取方法相比，该方法虽然偏重色彩特征，但与卷积神经网络等主流的深度学习特征提取工具相比，该方法的特征提取效果并不好，提取到的特征用于分类和检索的准确率不高。
无锡南理工科技发展有限公司提出的专利申请“一种基于改进型特征卷积神经网络图像识别方法”(专利申请号CN201310137496.2，公开号CN104112113A)中公开了一种局域改进型特征卷积神经网络图像识别方法。该方法首先对待输入的图像进行预处理；其次在卷积神经网络结构中加入特征提取层，将特征放大；然后，将特征放大的图像数据输入卷积神经网络，对图像中的特征进行卷积操作学习辨认，得到卷积神经网络的输出，并且将所述第一步骤中预处理后的图像进行偏移操作，得到图像的纹理特征；最后，分析纹理特征后输出结果，并将卷积神经网络的输出进行融合，得到最终结果进行输出。通过添加特征提取层，将图像的特征增强，有利于某些特征不明显的图像的提取，从而能够有效的提升图像识别率，并且能够为图像搜索，提高识别效率。该方法虽然改进了卷积神经网络特征提取方法，但是，仍然存在的不足之处是，该方法本质上并没有涉及图像色彩特征的特征提取，而对于色彩特征不敏感正是目前卷积神经网络特征提取方法的最大弊端。该方法对于内容相似但存在颜色差异的彩色图像特征提取效果并不好，得到的彩色图像特征用于分类和检索的效果也并不理想。
发明内容
本发明针对上述论文及专利申请所公开的方法的不足，提出融合颜色特征与卷积神经网络的彩色图像特征提取方法，提高彩色图像特征提取的性能。
实现本发明目的的技术方案是：将输入的彩色图像提取出主体图像，运用颜色直方图法和颜色矩法共同提取图像的颜色特征向量，通过颜色特征向量和卷积神经网络特征向量的融合，以提高特征提取的性能，其具体步骤如下：
(1)输入彩色图像：
选取任意大小、任意分辨率的彩色图像作为输入图像；
(2)获取主体图像：
(2a)将输入图像按4行4列的规格平均分割成16个大小相等，互不重叠的子块；
(2b)从16个子块中选取位于最中心的4个子块，将所选取的4个子块拼接，得到的图像作为输入图像的主体图像；
(3)获取颜色特征向量：
(3a)采用颜色直方图法，得到主体图像的规格为1行258列的颜色直方向量；利用向量归一化公式，对颜色直方向量进行归一化，得到归一化颜色直方向量；
(3b)采用颜色矩法，得到主体图像的规格为1行9列的颜色矩向量；利用向量归一化公式，对颜色矩向量进行归一化，得到归一化颜色矩向量；
(3c)将归一化颜色直方向量的直方向量权值设为1，将归一化颜色矩向量的矩向量权值设为28；
(3d)将归一化颜色直方向量与直方向量权值相乘，得到赋权颜色直方向量；将归一化颜色矩向量与矩向量权值相乘，得到赋权颜色矩向量；
(3e)将赋权颜色矩向量拼接在赋权颜色直方向量的后面，组成颜色拼接向量；利用向量归一化公式，对颜色拼接向量进行归一化，得到颜色特征向量；
(4)获取归一化卷积神经网络特征向量：
(4a)采用卷积神经网络特征提取算法，获取输入图像的卷积神经网络特征向量；
(4b)利用向量归一化公式，对卷积神经网络特征向量进行归一化，得到归一化卷积神经网络特征向量；
(5)获取融合特征向量：
(5a)将颜色特征向量的特征权值设为2，将归一化卷积神经网络特征向量的神经网络权值设为1；
(5b)将颜色特征向量与特征权值相乘，得到赋权颜色特征向量，将归一化卷积神经网络特征向量与神经网络权值相乘，得到赋权卷积神经网络向量；
(5c)将赋权颜色特征向量拼接到赋权卷积神经网络向量的后面，组成融合拼接向量；
(5d)利用向量归一化公式，对融合拼接向量进行归一化，得到融合特征向量。
本发明与现有的技术相比具有以下优点：
第一，由于本发明提取了输入彩色图像的主体图像，并且运用颜色直方图法和颜色矩法共同提取颜色特征，克服了现有技术颜色特征提取方法提取到的颜色特征带有巨大的背景噪声的缺点，使得本发明所提取的颜色特征背景噪声很小。
第二，由于本发明融合了颜色特征提取和卷积神经网络特征提取，既克服了现有技术颜色特征提取方法提取的特征用于分类时准确率低的缺点，也克服了现有技术卷积神经网络特征提取方法对颜色特征不敏感的缺点，使得本发明提取的彩色图像特征具有特征提取准确，而且提取到的图像特征用于分类和检索时准确率很高的优点。
附图说明
图1是本发明的流程图；
图2是应用本发明得到的融合特征向量结构图；
图3是本发明的仿真结果图。
具体实施方式
下面结合附图对本发明做进一步的描述。
结合附图1，对实现本发明的具体步骤描述如下。
步骤1，输入彩色图像。
选取任意大小、任意分辨率的彩色图像作为输入图像。
本发明的实施例中所选取的输入图像是标准类库256_ObjectCategories中的232_0138.jpg图像,标准类库256_ObjectCategories可从网站http://homepages.inf.ed.ac.uk/rbf/CVonline/Imagedbase.htm中下载得到。
步骤2.获取主体图像。
将输入图像按4行4列的规格平均分割成16个大小相等，互不重叠的子块。
从16个子块中选取位于最中心的4个子块，将所选取的4个子块拼接，得到的图像作为输入图像的主体图像。
步骤3.获取颜色特征向量。
采用颜色直方图法，得到主体图像的规格为1行258列的颜色直方向量。利用向量归一化公式，对颜色直方向量进行归一化，得到归一化颜色直方向量。
取出主体图像的红黄蓝RGB通道中的红色R通道矩阵，绿色G通道矩阵和蓝色B通道矩阵，分别获取红色R通道行向量、绿色G通道行向量、蓝色B通道行向量。
本发明实施例中红色R通道矩阵、绿色G通道矩阵和蓝色B通道矩阵都是113行118列的二维矩阵，下面以红色R通道矩阵为例，说明获取红色R通道行向量的具体实施过程：
第1步，取出主体图像的红绿蓝RGB通道中的红色R通道矩阵，得到一个二维矩阵。
第2步，将0到255个像素的区间，以3个像素为间隔，平均划分为85个区间，共86个端点。
第3步，对于R通道矩阵中不属于86个端点值之一的每一个像素点，根据像素值的大小，从85个区间中找到与该像素点所对应的区间。
第4步，对于R通道矩阵中像素值等于85个非零端点值之一的像素点，将该像素点对应的区间设为与该像素点像素值相等的端点值就近的左侧区间。
第5步，分别统计85个区间中每个区间包含的像素点个数，得到85个整数，连同R通道矩阵中像素值为0的像素点个数一起，顺次拼接，得到一个1行86列的红色R通道行向量。
采用上述第1步、第2步、第3步、第4步、第5步中处理红色R通道矩阵相同的处理方法，分别处理绿色G通道和蓝色B通道，得到1行86列的绿色G通道行向量和蓝色B通道行向量。
按照红色R通道行向量、绿色G通道行向量、蓝色B通道行向量的顺序将三个行向量依次拼接，得到一个1行258列的颜色直方向量。
按照下式，将得到的1行258列的颜色直方向量通过向量归一化公式进行归一化，得到归一化颜色直方向量：
其中，V2表示归一化的向量，表示开平方根操作，N表示未归一化向量V1的列数，Σ表示累加操作，ei表示未归一化向量V1中的第i列元素，V1表示未归一化的向量。
采用颜色矩法，得到主体图像的规格为1行9列的颜色矩向量；利用向量归一化公式，对颜色矩向量进行归一化，得到归一化颜色矩向量。
第1步，从主体图像的红绿蓝RGB通道中取出红色R通道矩阵，得到一个二维矩阵。
第2步，按照下式，计算红色R通道一阶矩值：
其中，uR表示红色R通道一阶矩值，sR表示红色R通道矩阵中所有像素点的像素值之和，sp表示红色R通道像素点的总数。
第3步，将红色R通道矩阵中每一个像素点的行列位置不变，用每一个像素点的像素值分别减去红色R通道一阶矩值uR，对得到的每一个差值进行平方操作，得到红色R通道差值平方矩阵。
第4步，将红色R通道差值平方矩阵中所有元素求和，得到差值平方矩阵的和值。
第5步，按照下式，计算红色R通道二阶矩值：
其中，tR表示红色R通道二阶矩值，表示开平方根操作，ss表示差值平方矩阵的和值，sp表示红色R通道像素点的总数。
第6步，将红色R通道矩阵中每一个像素点行列位置不变，每一个像素点的像素值分别减去红色R通道一阶矩值uR，得到每一个像素点的差值，再对于每一个差值进行立方运算，得到R通道差值立方矩阵。
第7步，将红色R通道差值立方矩阵中所有元素求和，得到差值立方矩阵和值。
第8步，按照下式，计算红色R通道三阶矩值：
其中，cR表示红色R通道矩阵三阶矩值，表示开立方根操作，sc表示差值立方矩阵和值，sp表示红色R通道像素点的总数。
第9步，将红色R通道一阶矩值、红色R通道二阶矩值、红色R通道三阶矩值，依次拼接，组成一个1行3列的红色R通道矩向量。
第10步，采用第1步、第2步、第3步、第4步、第5步、第6步、第7步、第8步、第9步中处理红色R通道矩阵相同的处理方法，分别处理绿色G通道矩阵和蓝色B通道，得到一个1行3列的绿色G通道矩向量和一个1行3列的蓝色B通道矩向量。
第11步，依次将红色R通道矩向量、绿色G通道矩向量、蓝色B通道矩向量的顺序拼接成1行9列的颜色矩向量。
第12步，利用向量归一化公式对颜色矩向量进行归一化，得到归一化颜色矩向量。
将归一化颜色直方向量的直方向量权值设为1，将归一化颜色矩向量的矩向量权值设为28。
将归一化颜色直方向量与直方向量权值相乘，得到赋权颜色直方向量；将归一化颜色矩向量与矩向量权值相乘，得到赋权颜色矩向量。
将赋权颜色矩向量拼接在赋权颜色直方向量的后面，组成颜色拼接向量；利用向量归一化公式，对颜色拼接向量进行归一化，得到颜色特征向量。
步骤4.获取归一化卷积神经网络特征向量。
采用卷积神经网络特征提取算法，获取输入图像的卷积神经网络特征向量。
所述的卷积神经网络特征提取算法，是现有的一种成熟的特征提取算法，其具体算法包括有视觉几何群(vgg)模型训练法、谷歌网络(googlenet)模型训练法、艾利克斯网络(alexnet)模型训练法等。
本发明实施例采用的是视觉几何群(vgg)模型训练法，选取神经网络层数为7层。
利用向量归一化公式，对卷积神经网络特征向量进行归一化，得到归一化卷积神经网络特征向量。
步骤5.获取融合特征向量。
将颜色特征向量的特征权值设为2，将归一化卷积神经网络特征向量的神经网络权值设为1。
将颜色特征向量与特征权值相乘，得到赋权颜色特征向量，将归一化卷积神经网络特征向量与神经网络权值相乘，得到赋权卷积神经网络向量。
将赋权颜色特征向量拼接到赋权卷积神经网络向量的后面，组成融合拼接向量。
利用向量归一化公式，对融合拼接向量进行归一化，得到融合特征向量。最终得到的融合特征向量的向量结构如附图2所示。
本发明的效果可以通过以下仿真进一步说明：
1.仿真条件：
本发明仿真的硬件环境是：CPU AMD Athlon(tm)ⅡX2 280Processor 3.60GHz，4GB内存；软件环境：Windows7，MatlabR2014b；参考图像：232_0138.jpg,分辨率：472*455；参考类库：256_ObjectCategories。
2.仿真内容和结果分析：
仿真1.通过现有技术对附图3(a)232_0138.jpg和256_ObjectCategories库内的所有图片分别提取颜色直方向量和卷积神经网络特征向量，计算附图3(a)232_0138.jpg颜色直方特征向量与每一个256_ObjectCategories库图片颜色直方特征向量的欧氏距离。取出与附图3(a)232_0138.jpg颜色直方特征向量距离最小的12张图片，计算附图3(a)232_0138.jpg卷积神经网络特征向量与每一个256_ObjectCategories库图片卷积神经网络特征向量的欧氏距离取出与232_0138.jpg距离最小的12张图片。
本发明仿真实验1的结果如附图3所示。其中，附图3(a)是原始232_0138.jpg图像。附图3(b)是通过传统颜色直方向量进行距离计算得出的匹配结果图。附图3(c)是通过视觉几何群(vgg)模型训练法提取的卷积神经网络特征向量进行距离计算得出的匹配结果图。
附图3(a)232_0138.jpg图像的颜色标签为“红色系”，内容标签为“T恤”。附图3(b)中搜索出的12幅图像中，只有开始的四幅图像的颜色标签是“红色系”。其余8幅图像由于背景干扰，8幅图像的颜色标签都不是“红色系”，说明现有技术提取的颜色特征背景噪声对图片主体特征干扰很大。虽然附图3(c)搜索出来的12幅图像的内容标签都是“T恤”，但其中只有三件的颜色标签是“红色系”，说明传统的卷积神经网络对于颜色特征匹配是很不敏感的。
仿真2.通过本发明提出的方法对附图3(a)232_0138.jpg和256_ObjectCategories库内所有的图片分别求取颜色特征向量和融合特征向量，分别计算附图3(a)232_0138.jpg颜色特征向量与每一个256_ObjectCategories库图片颜色特征向量的欧氏距离，取出与附图3(a)232_0138.jpg颜色特征向量距离最小的12张图片；分别计算附图3(a)232_0138.jpg融合特征向量与每一个256_ObjectCategories库图片融合特征向量的欧氏距离，取出与附图3(a)232_0138.jpg融合特征向量距离最小的12张图片。
本发明仿真实验2的结果如附图3所示。其中附图3(d)是通过本发明颜色特征向量进行距离计算得出的匹配结果图。附图3(e)是通过本发明提出的融合特征向量进行距离计算得出的匹配结果图。
附图3(a)232_0138.jpg图像的颜色标签为“红色系”，内容标签为“T恤”。附图3(d)中12幅图像的颜色标签全部是“红色系”，说明本发明提出的方法提取的颜色特征比较全面，抗背景噪声干扰能力强。附图3(e)中的12幅图像的内容标签全部为“T恤”，而且搜索出的12幅T恤图像中有10幅图像的颜色标签为“红色系”，颜色匹配准确率由25％提升到83.3％，充分说明了相较于现有方法，本发明的方法拥有更好的特征提取性能。
上述两个仿真实验表明，本发明的方法提取的彩色图像的融合特征向量应用于图像检索的内容匹配准确率为100％，颜色匹配准确率由现有方法的25％提升到83.3％。充分说明本发明提出的融合颜色特征与卷积神经网络的彩色图像特征提取方法可以更好的完成图像特征提取。

Claims (4)

1.一种融合颜色特征与卷积神经网络的彩色图像特征提取方法，包括如下步骤：
(1)输入彩色图像：
选取任意大小、任意分辨率的彩色图像作为输入图像；
(2)获取主体图像：
(2a)将输入图像按4行4列的规格平均分割成16个大小相等，互不重叠的子块；
(2b)从16个子块中选取位于最中心的4个子块，将所选取的4个子块拼接，得到的图像作为输入图像的主体图像；
(3)获取颜色特征向量：
(3a)采用颜色直方图法，得到主体图像的规格为1行258列的颜色直方向量；利用向量归一化公式，对颜色直方向量进行归一化，得到归一化颜色直方向量；
(3b)采用颜色矩法，得到主体图像的规格为1行9列的颜色矩向量；利用向量归一化公式，对颜色矩向量进行归一化，得到归一化颜色矩向量；
(3c)将归一化颜色直方向量的直方向量权值设为1，将归一化颜色矩向量的矩向量权值设为28；
(3d)将归一化颜色直方向量与直方向量权值相乘，得到赋权颜色直方向量；将归一化颜色矩向量与矩向量权值相乘，得到赋权颜色矩向量；
(3e)将赋权颜色矩向量拼接在赋权颜色直方向量的后面，组成颜色拼接向量；利用向量归一化公式，对颜色拼接向量进行归一化，得到颜色特征向量；
(4)获取归一化卷积神经网络特征向量：
(4a)采用卷积神经网络特征提取算法，获取输入图像的卷积神经网络特征向量；
(4b)利用向量归一化公式，对卷积神经网络特征向量进行归一化，得到归一化卷积神经网络特征向量；
(5)获取融合特征向量：
(5a)将颜色特征向量的特征权值设为2，将归一化卷积神经网络特征向量的神经网络权值设为1；
(5b)将颜色特征向量与特征权值相乘，得到赋权颜色特征向量，将归一化卷积神经网络特征向量与神经网络权值相乘，得到赋权卷积神经网络向量；
(5c)将赋权颜色特征向量拼接到赋权卷积神经网络向量的后面，组成融合拼接向量；
(5d)利用向量归一化公式，对融合拼接向量进行归一化，得到融合特征向量。
2.根据权利要求1所述的融合颜色特征与卷积神经网络的彩色图像特征提取方法，其特征在于，步骤(3a)中所述的采用颜色直方图法，获取主体图像的红绿蓝颜色直方向量Vh的具体步骤如下：
第1步，取出主体图像的红绿蓝RGB通道中的红色R通道矩阵，得到一个二维矩阵；
第2步，将0到255个像素的区间，以3个像素为间隔，平均划分为85个区间，共86个端点；
第3步，对于R通道矩阵中不属于86个端点值之一的每一个像素点，根据像素值的大小，从85个区间中找到与该像素点所对应的区间；
第4步，对于R通道矩阵中像素值等于85个非零端点值之一的像素点，将该像素点对应的区间设为与该像素点像素值相等的端点值就近的左侧区间；
第5步，分别统计85个区间中每个区间包含的像素点个数，得到85个整数，连同R通道矩阵中像素值为0的像素点个数一起，顺次拼接，得到一个1行86列的红色R通道行向量；
第6步，采用第1步、第2步、第3步、第4步、第5步中处理红色R通道矩阵相同的处理方法，分别处理绿色G通道和蓝色B通道，得到1行86列的绿色G通道行向量和蓝色B通道行向量；
第7步，按照红色R通道行向量、绿色G通道行向量、蓝色B通道行向量的顺序将三个行向量依次拼接，得到一个1行258列的颜色直方向量。
3.根据权利要求1所述的融合颜色特征与卷积神经网络的彩色图像特征提取方法，其特征在于：步骤(3a)、步骤(3b)、步骤(3e)、步骤(4b)、步骤(5d)中所述的向量归一化公式如下：
其中，V2表示归一化的向量，表示开平方根操作，N表示未归一化向量V1的列数，Σ表示累加操作，ei表示未归一化向量V1中的第i列元素，V1表示未归一化的向量。
4.根据权利要求1所述的融合颜色特征与卷积神经网络的彩色图像特征提取方法，其特征在于，步骤(3b)中所述的颜色矩法的具体步骤如下：
第1步，从主体图像的红绿蓝RGB通道中取出红色R通道矩阵，得到一个二维矩阵；
第2步，按照下式，计算红色R通道一阶矩值：
其中，uR表示红色R通道一阶矩值，sR表示红色R通道矩阵中所有像素点的像素值之和，sp表示红色R通道像素点的总数；
第3步，将红色R通道矩阵中每一个像素点的行列位置不变，用每一个像素点的像素值分别减去红色R通道一阶矩值uR，对得到的每一个差值进行平方操作，得到红色R通道差值平方矩阵；
第4步，将红色R通道差值平方矩阵中所有元素求和，得到差值平方矩阵的和值；
第5步，按照下式，计算红色R通道二阶矩值：
其中，tR表示红色R通道二阶矩值，表示开平方根操作，ss表示差值平方矩阵的和值，sp表示红色R通道像素点的总数；
第6步，将红色R通道矩阵中每一个像素点行列位置不变，每一个像素点的像素值分别减去红色R通道一阶矩值uR，得到每一个像素点的差值，再对于每一个差值进行立方运算，得到R通道差值立方矩阵；
第7步，将红色R通道差值立方矩阵中所有元素求和，得到差值立方矩阵和值；
第8步，按照下式，计算红色R通道三阶矩值：
其中，cR表示红色R通道矩阵三阶矩值，表示开立方根操作，sc表示差值立方矩阵和值，sp表示红色R通道像素点的总数；
第9步，将红色R通道一阶矩值、红色R通道二阶矩值、红色R通道三阶矩值，依次拼接，组成一个1行3列的红色R通道矩向量；
第10步，采用第1步、第2步、第3步、第4步、第5步、第6步、第7步、第8步、第9步中处理红色R通道矩阵相同的处理方法，分别处理绿色G通道矩阵和蓝色B通道，得到一个1行3列的绿色G通道矩向量和一个1行3列的蓝色B通道矩向量；
第11步，依次将红色R通道矩向量、绿色G通道矩向量、蓝色B通道矩向量的顺序拼接成1行9列的颜色矩向量。
CN201510759561.4A 2015-11-10 2015-11-10 融合颜色特征与卷积神经网络的彩色图像特征提取方法 Active CN105354581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510759561.4A CN105354581B (zh) 2015-11-10 2015-11-10 融合颜色特征与卷积神经网络的彩色图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510759561.4A CN105354581B (zh) 2015-11-10 2015-11-10 融合颜色特征与卷积神经网络的彩色图像特征提取方法

Publications (2)

Publication Number Publication Date
CN105354581A CN105354581A (zh) 2016-02-24
CN105354581B true CN105354581B (zh) 2018-11-16

Family

ID=55330548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510759561.4A Active CN105354581B (zh) 2015-11-10 2015-11-10 融合颜色特征与卷积神经网络的彩色图像特征提取方法

Country Status (1)

Country Link
CN (1) CN105354581B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106067019A (zh) * 2016-05-27 2016-11-02 北京旷视科技有限公司 针对图像进行文字识别的方法及装置
CN106022295B (zh) * 2016-05-31 2019-04-12 北京奇艺世纪科技有限公司 一种数据位置的确定方法及装置
CN106485717A (zh) * 2016-09-12 2017-03-08 上海影城有限公司 一种基于卷积神经网络的图像特征提取方法及系统
CN106951908B (zh) * 2017-03-24 2020-06-26 爱保科技有限公司 一种有效的目标识别装置
CN108664849A (zh) * 2017-03-30 2018-10-16 富士通株式会社 视频中事件的检测装置、方法以及图像处理设备
CN108172278B (zh) * 2018-01-24 2021-09-10 北京航空航天大学 一种he染色病理图像颜色归一化方法
CN108829692B (zh) * 2018-04-09 2019-12-20 华中科技大学 一种基于卷积神经网络的花卉图像检索方法
CN108805872B (zh) * 2018-07-23 2021-07-06 珠海格力智能装备有限公司 产品的检测方法和装置
CN109712127B (zh) * 2018-12-21 2023-07-28 云南电网有限责任公司电力科学研究院 一种用于机巡视频流的输电线路故障检测方法
CN110705653A (zh) * 2019-10-22 2020-01-17 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN113526282B (zh) * 2021-06-28 2022-09-06 江苏威尔曼科技有限公司 一种电梯中长期老化故障诊断方法、装置、介质和设备
CN116580446B (zh) * 2023-07-11 2023-10-24 武汉大学人民医院（湖北省人民医院） 一种泛血管疾病虹膜特点识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100788643B1 (ko) * 2001-01-09 2007-12-26 삼성전자주식회사 색과 질감의 조합을 기반으로 하는 영상 검색 방법
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN103400147A (zh) * 2013-07-25 2013-11-20 中国农业大学 基于图像处理的目标鱼识别方法及系统
CN104573628A (zh) * 2014-12-02 2015-04-29 苏州福丰科技有限公司 一种三维人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100788643B1 (ko) * 2001-01-09 2007-12-26 삼성전자주식회사 색과 질감의 조합을 기반으로 하는 영상 검색 방법
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN103400147A (zh) * 2013-07-25 2013-11-20 中国农业大学 基于图像处理的目标鱼识别方法及系统
CN104573628A (zh) * 2014-12-02 2015-04-29 苏州福丰科技有限公司 一种三维人脸识别方法

Also Published As

Publication number Publication date
CN105354581A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354581B (zh) 融合颜色特征与卷积神经网络的彩色图像特征提取方法
Deng et al. Learning to predict crisp boundaries
CN105320965B (zh) 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
CN109325443B (zh) 一种基于多实例多标签深度迁移学习的人脸属性识别方法
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
CN109190643A (zh) 基于卷积神经网络中药识别方法及电子设备
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
CN107679466B (zh) 信息输出方法和装置
Basaran et al. An efficient framework for visible–infrared cross modality person re-identification
CN106204779A (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN108596256B (zh) 一种基于rgb-d物体识别分类器构造方法
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN106408037A (zh) 图像识别方法及装置
CN110096991A (zh) 一种基于卷积神经网络的手语识别方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
Waldamichael et al. Coffee disease detection using a robust HSV color‐based segmentation and transfer learning for use on smartphones
CN108268890A (zh) 一种高光谱图像分类方法
CN103678552A (zh) 基于显著区域特征的遥感影像检索方法及系统
CN108921071A (zh) 人脸活体检测方法、装置、存储介质及处理器
Uddin et al. Bangla sign language interpretation using bag of features and Support Vector Machine
CN103778430B (zh) 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法
CN107886110A (zh) 人脸检测方法、装置及电子设备
Suárez et al. Cross-spectral image patch similarity using convolutional neural network
CN108537109A (zh) 基于OpenPose的单目相机手语识别方法
CN105844605B (zh) 基于自适应表示的人脸画像合成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant