CN111401453A - 一种马赛克图像分类识别方法及系统 - Google Patents

一种马赛克图像分类识别方法及系统 Download PDF

Info

Publication number
CN111401453A
CN111401453A CN202010190801.4A CN202010190801A CN111401453A CN 111401453 A CN111401453 A CN 111401453A CN 202010190801 A CN202010190801 A CN 202010190801A CN 111401453 A CN111401453 A CN 111401453A
Authority
CN
China
Prior art keywords
image
mosaic
classification
mosaic image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010190801.4A
Other languages
English (en)
Inventor
张学聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010190801.4A priority Critical patent/CN111401453A/zh
Publication of CN111401453A publication Critical patent/CN111401453A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请一种马赛克图像分类识别方法及系统,利用马赛克图像直接进行网络训练而完成分类识别,无需对马赛克图像进行解调重建,从马赛克图像中转换出对应的相位图像并生成更大的特征图,方便神经网络更好地进行特征提取和分类训练,相比现有技术中采用全彩图像作为训练样本训练效率更高,算法运行功耗更低,计算量也明显减少,同时避免了解调中原始信息丢失的问题,保留了更完整的深度学习所需特征,提高分类识别准确度。

Description

一种马赛克图像分类识别方法及系统
技术领域
本申请涉及数字图像处理技术领域,具体为一种马赛克图像分类识别方法及系统。
背景技术
卷积神经网络(CNN)已在计算机视觉和图像处理中得到了成熟的应用,常常被应用于对图像进行分类、识别、分割、轮廓提取、超分辨率、去噪等。在CNN训练过程中需要大量的图像训练样本,这些训练样本通常为全彩图像,而全彩图像大多通过对马赛克图像进行解调获得,目前传统的基于CNN的图像识别方法通过对马赛克图像进行颜色解调重建,再利用重建完毕的全彩图像训练和测试CNN。
在需要人工干预的图像处理中为了适应人眼,对图像解调重建是有必要的,然而随着设备趋向智能化和便携化,例如在长期勘探、侦察、监视等应用情境中时,低层的图像处理已不是关注的焦点,越来越多的端到端应用只要求对图像分类、识别和理解,用户并不关注全彩图像参与的低层图像处理,这种情况下仍然对马赛克图像解调重建很明显会增加网络训练的计算量和复杂度,功耗也会增加。
另外,对全彩图像进行例如色彩去噪等处理时并未对图像信息进行修改或其余处理,仅仅是对全彩图像进行估计以获得良好的视觉感受,此时容易丢失一些图像的原始信息,导致深度学习得到的特征减少,影响识别准确度。
发明内容
因此,本发明提出一种马赛克图像分类识别方法及系统,以解决上述所提及的利用全彩图像进行网络训练分类识别而导致的计算量大、算法复杂、功耗高、原始信息丢失等技术问题,利用马赛克图像作为训练样本进行分类识别,以适应端到端的深度学习应用的需求。
为实现上述目的,本发明提供一种马赛克图像分类识别方法,包括:
获取马赛克图像;
根据马赛克图像的像素阵列的颜色通道生成马赛克图像所对应的相位图像作为第一神经网络的卷积层输入,经过卷积得到与所述相位图像对应的图像特征图;
把图像特征图作为第二神经网络的输入进行分类识别。
优选地,在第一神经网络的卷积层得到图像特征图包括:
对相位图像依次进行空洞卷积和亚像素卷积得到若干个子特征图,选取若干个子特征图中像素点进行重排和矩阵放大得到图像特征图。
优选地,根据子特征图进行重排和矩阵放大得到图像特征图包括:
根据亚像素卷积核遍历顺序取同一相位图像的子特征图的相同位置的像素点从左至右、从上至下排列为n×n矩阵,矩阵共m个,把m个矩阵按像素点位置从左至右从上至下组合成图像特征图,其中m表示单张子特征图上的像素点数,n×n表示子特征图数量。
优选地,马赛克图像经色彩滤波阵列中的三种基本颜色拼接后获得。
优选地,空洞卷积的卷积核设置为3×3,空洞值为1,卷积步长为2。
优选地,亚像素卷积的尺度为4。
优选地,为了找到全局最优解,把图像特征图作为第二神经网络的输入进行分类识别包括:
利用随机梯度下降优化器把损失函数最小化以获得分类识别的最优解。
优选地,根据以下更新公式降低优化器的学习率,
Figure BDA0002415819950000021
LearningRate表示学习率,decay表示每次更新后的学习率衰减值,epoch表示当前迭代次数。
优选地,本发明中进行分类识别的第二神经网络采用标准VGG-19网络。
优选地,采用Bayer阵列作为色彩滤波阵列以获得马赛克图像。
另一方面本发明还提供一种马赛克图像分类识别系统,包括:
马赛克图像获取单元;
相位图像生成单元,用于根据马赛克图像的像素阵列的颜色通道生成马赛克图像所对应的相位图像作为第一神经网络的卷积层输入;
图像特征图生成单元,用于根据所述相位图像生成对应的图像特征图;
分类识别单元,利用所述图像特征图对马赛克图像进行分类识别。
本发明提供的一种马赛克分类识别方法及系统,利用马赛克图像直接进行网络训练而完成分类识别,无需对马赛克图像进行解调重建,从马赛克图像中转换出对应的相位图像并生成更大的特征图,方便神经网络更好地进行特征提取和分类训练,相比现有技术中采用全彩图像作为训练样本训练效率更高,算法运行功耗更低,计算量也明显减少,同时避免了解调中原始信息丢失的问题,保留了更完整的深度学习所需特征,提高分类识别准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1本发明一个实施例中马赛克图像分类识别系统的结构框图
图2本发明另一实施例中马赛克图像分类识别方法实施流程图
图3本发明另一个实施例中马赛克图像分类识别神经网络框架原理图
图4本发明另一个实施例中马赛克图像分类识别神经网络框架示意图
图5本发明另一个实施例中相位图像转换示意图
图6本发明另一个实施例子特征图示意图
图7本发明另一个实施例像素矩阵重排示意图
图8本发明另一个实施例图像特征图生成示意图
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,本实施例提供一种马赛克图像分类识别系统,包括:
马赛克图像获取单元100;
相位图像生成单元110,用于根据马赛克图像的像素阵列的颜色通道生成马赛克图像所对应的相位图像作为第一神经网络的卷积层输入;
图像特征图生成单元120,用于根据所述相位图像生成对应的图像特征图;
分类识别单元130,利用所述图像特征图对马赛克图像进行分类识别。
该系统通过获取单元100获取到若干张马赛克图像,这里所提及的马赛克图像应理解为经过色彩滤波阵列(Color Filter Array,CFA)中三种基本颜色RGB通道拼接得到的图像,在本实施例中采用Bayer阵列,,像素阵列为RGGB,包括1个红光R、1个蓝光B和2个绿光G,在实际应用中采用半导体CMOS或者CCD传感器进行图像信号采集。
相位图像生成单元110根据Bayer阵列的像素点的颜色通道,利用四种不同的填充方式生成马赛克图像对应的相位图像,在本实施例中采用了Bayer阵列,故共生成4幅相位图像,分别为R相位、G1相位、G2相位、B相位,生成单元110从获取单元100处直接获取马赛克图像。
而在进一步的实施例中获取单元100可将马赛克图像进行云端或本地存储,生成单元110此时通过网络或服务器或线路进行图像获取。
4幅相位图像被传输至图像特征图生成单元120进行特征图生成,以R相位图像为例,相位图像将经过空洞卷积和亚像素卷积得到对应的16张子特征图,对该16张特征图进行矩阵放大,得到水平轴和垂直轴都放大相同倍数的特征图,其余3幅相位图像的特征图生成以此类推,因此生成单元120将会输出4张分别对应4个相位的图像特征图。
分类识别单元130利用图像特征图进行网络训练和结果预测,得到图像的分类识别结果。
应当被理解的是,本实施例所提供的马赛克分类识别系统可借助软件加必需的硬件平台或外设实现,也可以把各单元的功能在同一个或多个软件和/或硬件中实现,则本实施例的技术方案本质上可以以软件产品的形式呈现,该软件产品被存储于可被计算机读取的存储介质中,例如ROM/RAM、硬盘、光盘、磁碟等,并包括若干指令用以使得一台计算机设备例如PC、服务器、网络设备等执行各单元的功能。
请参考图2-图8,本实施例具体提供一种马赛克图像分类识别方法,包括:
本实施例采用标准VGG-19网络作为第二神经网络进行样本训练,网络框架图如图3和图4所示。
利用CMOS或CCD等图像传感器获取马赛克图像信号,经过CFA三种基本颜色RGB通道拼接得到马赛克图像,对马赛克图像进行预处理,预处理的结果包括相位图像和图像特征图。
具体来说,如图5所示,本实施例采用Bayer阵列,阵列方式为RGGB,通过4种不同的填充方式将转换得4幅相位图像,分别为R相位、G1相位、G2相位、B相位。以R相位图像为例,对相位图像在卷积层进行卷积核为3×3的空洞卷积,考虑到Bayer阵列的通道排列为RGGB,空洞值为1,卷积步长设置为2,相当于7×7的卷积核,因此该相位图像将经过16次7×7的核遍历得到16张子特征图,对这16张子特征图进行尺度为4的亚像素卷积,把子特征图相同位置的像素点按照亚像素卷积的核遍历顺序从左至右,从上至下重新排列为4×4的矩阵,对于R相位将会得到若干个这样的4×4矩阵,根据像素点的选取顺序把若干个矩阵组合为图像特征图。
为了更清晰的说明图像特征图的生成过程,仍然以R相位为例,请参阅图6,表示获得的R相位的16张子特征图A~P,这里假设单张子特征图上有4个像素点,以子特征图A为例则有像素点A1~A4;取子特征图相同位置的像素点按照亚像素卷积的核遍历顺序将得到4个4×4矩阵,如图6所示,单个4×4矩阵即为各子特征图同位置的像素点按顺序排列,共有4个这样的矩阵;再根据像素点的位置从左至右从上至下把4个矩阵组合得到在水平轴和垂直轴均放大4倍的图像特征图如图7所示,其余3个相位的图像特征图获取以此类推,最终获得分别对应4个相位的图像特征图。
完成对马赛克图像的预处理后VGG-19将根据特征图进行训练,具体为在卷积层之后的若干个全连接层把图像特征图映射为一固定长度的特征向量,并利用随机梯度下降优化器最小化损失函数,根据以下更新公式降低网络深度学习的学习率,经标准VGG-19网络训练得到马赛克图像的分类识别结果。
Figure BDA0002415819950000061
LearningRate表示学习率,decay表示每次更新后的学习率衰减值,epoch表示当前迭代次数。
本实施例提供的马赛克图像分类识别方法利用马赛克图像直接进行网络训练而完成分类识别,无需对马赛克图像进行解调重建,相比现有技术中采用全彩图像作为训练样本训练效率更高,算法运行功耗更低,计算量也明显减少,同时避免了解调中原始信息丢失的问题,保留了更完整的深度学习所需特征,提高分类识别准确度。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种马赛克图像分类识别方法,其特征在于,包括:
获取马赛克图像;
根据马赛克图像的像素阵列的颜色通道生成马赛克图像所对应的相位图像作为第一神经网络的卷积层输入,经过卷积得到与所述相位图像对应的图像特征图;
把图像特征图作为第二神经网络的输入进行分类识别。
2.根据权利要求1所述的马赛克图像分类识别方法,其特征在于,所述在第一神经网络的卷积层经过卷积得到与所述相位图像对应的图像特征图包括:
对所述相位图像依次进行空洞卷积和亚像素卷积得到若干个子特征图,对子特征图中像素点进行重排和矩阵放大得到图像特征图。
3.根据权利要求2所述的马赛克图像分类识别方法,其特征在于,所述对子特征图中像素点进行重排和矩阵放大得到图像特征图包括:
根据亚像素卷积核遍历顺序取同一相位图像的子特征图的相同位置的像素点从左至右、从上至下排列为n×n矩阵共m个,把m个矩阵按像素点位置从左至右从上至下组合成图像特征图,其中m表示单张子特征图上的像素点数,n×n表示子特征图数量。
4.根据权利要求2所述的马赛克图像分类识别方法,其特征在于,所述空洞卷积的卷积核设置为3×3,空洞值为1,卷积步长为2。
5.根据权利要求2所述的马赛克图像分类识别方法,其特征在于,所述亚像素卷积的尺度为4。
6.根据权利要求1所述的马赛克图像分类识别方法,其特征在于,所述把图像特征图作为第二神经网络的输入进行分类识别包括:
利用随机梯度下降优化器把所述第二神经网络的损失函数最小化得到分类识别的最优解。
7.根据权利要求6所述的马赛克图像分类识别方法,其特征在于,根据以下更新公式降低所述随机梯度下降优化器的学习率,
Figure FDA0002415819940000021
LearningRate表示学习率,decay表示每次更新后的学习率衰减值,epoch表示当前迭代次数。
8.根据权利要求1所述的马赛克图像分类识别方法,其特征在于,所述第二神经网络为标准VGG-19网络。
9.根据权利要求1所述的马赛克图像分类识别方法,其特征在于,所述马赛克图像采用Bayer阵列作为色彩滤波阵列以获得。
10.一种马赛克图像分类识别系统,其特征在于,包括:
马赛克图像获取单元;
相位图像生成单元,用于根据马赛克图像的像素阵列的颜色通道生成马赛克图像所对应的相位图像作为第一神经网络的卷积层输入;
图像特征图生成单元,用于根据所述相位图像生成对应的图像特征图;
分类识别单元,利用所述图像特征图在第二神经网络对马赛克图像进行分类识别。
CN202010190801.4A 2020-03-18 2020-03-18 一种马赛克图像分类识别方法及系统 Pending CN111401453A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010190801.4A CN111401453A (zh) 2020-03-18 2020-03-18 一种马赛克图像分类识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010190801.4A CN111401453A (zh) 2020-03-18 2020-03-18 一种马赛克图像分类识别方法及系统

Publications (1)

Publication Number Publication Date
CN111401453A true CN111401453A (zh) 2020-07-10

Family

ID=71434350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010190801.4A Pending CN111401453A (zh) 2020-03-18 2020-03-18 一种马赛克图像分类识别方法及系统

Country Status (1)

Country Link
CN (1) CN111401453A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965636A (zh) * 2020-07-20 2020-11-20 重庆大学 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112862717A (zh) * 2021-02-10 2021-05-28 山东英信计算机技术有限公司 一种图像的去噪模糊化方法、系统及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231258A (ja) * 1993-01-29 1994-08-19 Video Res:Kk ニューラルネットワークを用いた画像認識装置
CN106530227A (zh) * 2016-10-27 2017-03-22 北京小米移动软件有限公司 图像复原方法及装置
CN108010102A (zh) * 2017-12-19 2018-05-08 刘邵宏 马赛克图像生成方法、装置、终端设备及存储介质
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法
US10424048B1 (en) * 2019-02-15 2019-09-24 Shotspotter, Inc. Systems and methods involving creation and/or utilization of image mosaic in classification of acoustic events

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06231258A (ja) * 1993-01-29 1994-08-19 Video Res:Kk ニューラルネットワークを用いた画像認識装置
CN106530227A (zh) * 2016-10-27 2017-03-22 北京小米移动软件有限公司 图像复原方法及装置
CN108010102A (zh) * 2017-12-19 2018-05-08 刘邵宏 马赛克图像生成方法、装置、终端设备及存储介质
US10424048B1 (en) * 2019-02-15 2019-09-24 Shotspotter, Inc. Systems and methods involving creation and/or utilization of image mosaic in classification of acoustic events
CN109978788A (zh) * 2019-03-25 2019-07-05 厦门美图之家科技有限公司 卷积神经网络生成方法、图像去马赛克方法及相关装置
CN110009590A (zh) * 2019-04-12 2019-07-12 北京理工大学 一种基于卷积神经网络的高质量彩色图像去马赛克方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
汤漫等: "基于快速残差插值和卷积神经网络的去马赛克算法", 《南华大学学报(自然科学版)》 *
汪成龙等: "基于深度学习的马铃薯畸形检测方法研究", 《惠州学院学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111965636A (zh) * 2020-07-20 2020-11-20 重庆大学 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112862717A (zh) * 2021-02-10 2021-05-28 山东英信计算机技术有限公司 一种图像的去噪模糊化方法、系统及介质
CN112862717B (zh) * 2021-02-10 2022-09-20 山东英信计算机技术有限公司 一种图像的去噪模糊化方法、系统及介质

Similar Documents

Publication Publication Date Title
CN110717851B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
US11537873B2 (en) Processing method and system for convolutional neural network, and storage medium
EP4109392A1 (en) Image processing method and image processing device
US10579908B2 (en) Machine-learning based technique for fast image enhancement
CN109064396A (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN108921942B (zh) 对图像进行2d转制3d的方法及装置
CN109523470A (zh) 一种深度图像超分辨率重建方法及系统
RU2697928C1 (ru) Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN111401453A (zh) 一种马赛克图像分类识别方法及系统
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
US10452955B2 (en) System and method for encoding data in an image/video recognition integrated circuit solution
CN112381711A (zh) 光场图像重建模型训练及快速超分辨率重建方法
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN111160478B (zh) 一种基于深度学习的高光谱目标显著性检测方法
CN115601281A (zh) 基于深度学习的遥感图像时空融合方法、系统及电子设备
Shen et al. AFFNet: attention mechanism network based on fusion feature for image cloud removal
CN116543227A (zh) 基于图卷积网络的遥感图像场景分类方法
US20190220699A1 (en) System and method for encoding data in an image/video recognition integrated circuit solution
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN110472732B (zh) 基于优化特征提取装置的图像特征提取系统
CN116469172A (zh) 一种多时间尺度下的骨骼行为识别视频帧提取方法及系统
CN110675320A (zh) 一种空间参数变化及复杂场景下目标图像清晰化方法
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240220