CN109086806A - 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法 - Google Patents
一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法 Download PDFInfo
- Publication number
- CN109086806A CN109086806A CN201810778973.6A CN201810778973A CN109086806A CN 109086806 A CN109086806 A CN 109086806A CN 201810778973 A CN201810778973 A CN 201810778973A CN 109086806 A CN109086806 A CN 109086806A
- Authority
- CN
- China
- Prior art keywords
- low resolution
- compressed
- neural networks
- iot
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明涉及一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，首先通过设备的采集端进行图像采集，获得原始图像；接着将步骤S1采集到的原始图像经过低分辨率压缩，减少数据量，并将压缩后的图像数据传输至设备的推理端；最后设备的推理端利用已经训练好的卷积神经网络进行推理识别，并将推理识别结果实时显示出来。本发明能够在不怎么损失精度的情况下，大幅度的减少了计算量和参数数量。
Description
技术领域
本发明涉及IOT设备设计领域，特别是一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法。
背景技术
近年来，随着人工智能技术发展和相关硬件性能的提升，卷积神经网络已经广泛应用于视觉识别领域。而基于视觉识别的IOT便携式设备一直是人们研究的一个焦点，但由于IOT便携式设备属于低功耗设备，在计算量、存储量上都有一定的限制，不适合直接将计算复杂、参数数量庞大的卷积神经网络运行在设备中，而且在某些情况下设备需要达到实时性要求，这势必需要加快卷积神经网络的计算时间。
针对以上提出的问题，目前已经有许多在IOT便携式设备上加速卷积神经网络视觉识别的方法。一种方案是对IOT便携式设备的图像采集端设计符合的硬件，提出了角度敏感像素代替传统相机，它是一种基于光学边缘滤波的图像传感器，能够直接将采集到的数据作为卷积神经网络的第一层，节省了图像传感器功耗，数据带宽和卷积神经网络的计算复杂度。但角度敏感像素在降低分辨率、低亮光时，识别效果相对较差。
另一种方案通过现场可编程门阵列平台加速卷积神经网络，能够根据硬件资源快速设计出针对卷积神经网络加速的硬件处理单元，例如部分计算并行化处理、量化参数、软硬件协同设计等，处理单元相对于通用处理器有高性能、低功耗特点。但该方案由于需要大量的对硬件架构进行优化，设计难度大，开发时间周期长。
还有一种方案是优化卷积神经网络算法，通过结构化稀疏学习方法来正则化卷积神经网络中卷积层的滤波器、通道、滤波器形状、深度结构，结构化稀疏学习能够从卷积神经网络中学习紧凑的结构，减少计算开销，能够获得一种硬件友好的卷积神经网络结构稀疏性，有效加速了卷积神经网络在CPU或GPU的运行，同时能够改进分类识别的精度。该方案在计算时间上有了很大的优势，但由于只针对卷积层进行优化，对卷积神经网络全连接层中庞大的参数问题并没有得到解决，无法有效的应用到IOT便携式设备中。
发明内容
有鉴于此，本发明的目的是提出一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，在不怎么损失精度的情况下，大幅度的减少了计算量和参数数量。
本发明采用以下方案实现：一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，包括以下步骤：
步骤S1：通过设备的采集端进行图像采集，获得原始图像；
步骤S2：将步骤S1采集到的原始图像经过低分辨率压缩，减少数据量，并将压缩后的图像数据传输至设备的推理端；
步骤S3：设备的推理端利用已经训练好的卷积神经网络进行推理识别，并将推理识别结果实时显示出来。
本发明从优化卷积神经网络输入单元的角度出发，利用降低图像分辨率的方法，将原始图像进行低分辨率压缩，在保留每帧图像主要特征的前提下实现了减少了数据量，并将低分辨率压缩后的数据作为卷积神经网络的输入单元，保持原有卷积神经网络模型，在不怎么损失精度的情况下，大幅度的减少了计算量和参数数量，因此适合应用在IOT便携式设备上加速视觉识别。
进一步地，所述步骤S2中，采用M×N的高斯随机矩阵对原始图像进行低分辨率压缩，该矩阵中的元素服从均值为0、方差为1的正态分布，且元素间相互独立，其中M为低分辨率压缩后图像像素个数，N为原始图像像素个数。
进一步地，步骤S3中，将经过低分辨率压缩得到的图像数据作为卷积神经网络的输入单元，将经过低分辨率压缩的一维数据重新调整成二维数据并作为卷积神经网络的输入。
进一步地，步骤S3中，所述卷积神经网络采用LeNet-5结构，包括卷积层1、池化层1、卷积层2、池化层2、全连接层3以及全连接层4；其中，卷积层1、卷积层2分别由32个和64个大小为5×5、步长为1的滤波器组成，采用padding进行补零操作，保证卷积层输入维度和输出维度一致；池化层1、池化层2均由大小为2×2、步长为2的滤波器组成，采用最大池化方式下采样；全连接层3和全连接层4分别产生256×1和10×1的有效特征向量。
进一步地，步骤S3中，所述卷积神经网络使用ReLU作为激活函数，最终经过softmax分类器选择向量最大值确定识别内容。
进一步地，所述卷积神经网络的训练具体为：利用55000张MNIST手写数字图像作为训练集，卷积神经网络每次输入样本的批尺寸大小为100，为了防止过拟合现象，全连接层FC3中设置dropout为0.7，损失函数采用交叉熵，并使用Adam优化算法,学习率设置为0.0001进行权重参数优化，利用不同的5000张MNIST图像作为验证集，进行超参数调整，通过不断的迭代，达到最佳的识别精度。
与现有技术相比，本发明有以下有益效果：
1、本发明利用低分辨率压缩的图像，降低了图像的数据维度，减少IOT便携式设备从采集端到推理端数据传输时间和带宽。
2、本发明利用低分辨率压缩后的图像作为卷积神经网络模型的输入单元，极大程度地减少了模型的计算量和模型参数数量，能够实现在IOT便携式设备上实现视觉识别加速。
附图说明
图1为本发明实施例的方法流程示意图1。
图2为本发明实施例的方法流程示意图2。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1以及图2所示，本实施例提供了一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，包括以下步骤：
步骤S1：通过设备的采集端进行图像采集，获得原始图像；
步骤S2：将步骤S1采集到的原始图像经过低分辨率压缩，减少数据量，并将压缩后的图像数据传输至设备的推理端；
步骤S3：设备的推理端利用已经训练好的卷积神经网络进行推理识别，并将推理识别结果实时显示出来。
本实施例从优化卷积神经网络输入单元的角度出发，利用降低图像分辨率的方法，将原始图像进行低分辨率压缩，在保留每帧图像主要特征的前提下实现了减少了数据量，并将低分辨率压缩后的数据作为卷积神经网络的输入单元，保持原有卷积神经网络模型，在不怎么损失精度的情况下，大幅度的减少了计算量和参数数量，因此适合应用在IOT便携式设备上加速视觉识别。
在本实施例中，所述步骤S2中，采用M×N的高斯随机矩阵对原始图像进行低分辨率压缩，该矩阵中的元素服从均值为0、方差为1的正态分布，且元素间相互独立，其中M为低分辨率压缩后图像像素个数，N为原始图像像素个数。M远小于N，因此大大降低了图像数据量，由于低分辨率压缩是线性映射，能够保留大部分原始图像的信息，特别是重要特征信息，对于后续图像快速识别是切实可行的方案。
在本实施例中，步骤S3中，将经过低分辨率压缩得到的图像数据作为卷积神经网络的输入单元，将经过低分辨率压缩的一维数据重新调整成二维数据并作为卷积神经网络的输入。相比于使用原始图像数据作为输入单元，识别过程中计算量和模型参数数量都有明显减少，因此能够在IOT便携式设备上实现了视觉识别加速。
在本实施例中，步骤S3中，所述卷积神经网络采用LeNet-5结构，包括卷积层1、池化层1、卷积层2、池化层2、全连接层3以及全连接层4；其中，卷积层1、卷积层2分别由32个和64个大小为5×5、步长为1的滤波器组成，采用padding进行补零操作，保证卷积层输入维度和输出维度一致；池化层1、池化层2均由大小为2×2、步长为2的滤波器组成，采用最大池化方式下采样；全连接层3和全连接层4分别产生256×1和10×1的有效特征向量。
在本实施例中，步骤S3中，所述卷积神经网络使用ReLU作为激活函数，最终经过softmax分类器选择向量最大值确定识别内容。通过上述方式修改模型参数，能够更适合目前的场景。
在本实施例中，所述卷积神经网络的训练具体为：利用55000张MNIST手写数字图像作为训练集，卷积神经网络每次输入样本的批尺寸大小为100，为了防止过拟合现象，全连接层FC3中设置dropout为0.7，损失函数采用交叉熵，并使用Adam优化算法,学习率设置为0.0001进行权重参数优化，利用不同的5000张MNIST图像作为验证集，进行超参数调整，通过不断的迭代，达到最佳的识别精度。在推理阶段则直接利用训练好的参数进行识别，与输入原始图像相比，经过低分辨率压缩的图像在不怎么损失识别精度的情况下，减少了参数数量，提高了识别速度。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (6)
1.一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，其特征在于：包括以下步骤：
步骤S1：通过设备的采集端进行图像采集，获得原始图像；
步骤S2：将步骤S1采集到的原始图像经过低分辨率压缩，减少数据量，并将压缩后的图像数据传输至设备的推理端；
步骤S3：设备的推理端利用已经训练好的卷积神经网络进行推理识别，并将推理识别结果实时显示出来。
2.根据权利要求1所述的一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，其特征在于：所述步骤S2中，采用M×N的高斯随机矩阵对原始图像进行低分辨率压缩，该矩阵中的元素服从均值为0、方差为1的正态分布，且元素间相互独立，其中M为低分辨率压缩后图像像素个数，N为原始图像像素个数。
3.根据权利要求1所述的一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，其特征在于：步骤S3中，将经过低分辨率压缩得到的图像数据作为卷积神经网络的输入单元，将经过低分辨率压缩的一维数据重新调整成二维数据并作为卷积神经网络的输入。
4.根据权利要求1所述的一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，其特征在于：步骤S3中，所述卷积神经网络采用LeNet-5结构，包括卷积层1、池化层1、卷积层2、池化层2、全连接层3以及全连接层4；其中，卷积层1、卷积层2分别由32个和64个大小为5×5、步长为1的滤波器组成，采用padding进行补零操作，保证卷积层输入维度和输出维度一致；池化层1、池化层2均由大小为2×2、步长为2的滤波器组成，采用最大池化方式下采样；全连接层3和全连接层4分别产生256×1和10×1的有效特征向量。
5.根据权利要求4所述的一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，其特征在于：步骤S3中，所述卷积神经网络使用ReLU作为激活函数，最终经过softmax分类器选择向量最大值确定识别内容。
6.根据权利要求4所述的一种基于低分辨率压缩图像的IOT便携式设备视觉识别加速方法，其特征在于：所述卷积神经网络的训练具体为：利用55000张MNIST手写数字图像作为训练集，卷积神经网络每次输入样本的批尺寸大小为100，为了防止过拟合现象，全连接层FC3中设置dropout为0.7，损失函数采用交叉熵，并使用Adam优化算法,学习率设置为0.0001进行权重参数优化，利用不同的5000张MNIST图像作为验证集，进行超参数调整，通过不断的迭代，达到最佳的识别精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810778973.6A CN109086806A (zh) | 2018-07-16 | 2018-07-16 | 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810778973.6A CN109086806A (zh) | 2018-07-16 | 2018-07-16 | 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109086806A true CN109086806A (zh) | 2018-12-25 |
Family
ID=64838037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810778973.6A Pending CN109086806A (zh) | 2018-07-16 | 2018-07-16 | 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086806A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222717A (zh) * | 2019-05-09 | 2019-09-10 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110288030A (zh) * | 2019-06-27 | 2019-09-27 | 重庆大学 | 基于轻量化网络模型的图像识别方法、装置及设备 |
| CN110987189A (zh) * | 2019-11-21 | 2020-04-10 | 北京都是科技有限公司 | 对目标对象进行温度检测的方法、系统以及装置 |
| CN112291477A (zh) * | 2020-11-03 | 2021-01-29 | 浙江大华技术股份有限公司 | 多媒体信息处理方法、装置、存储介质及电子装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793620A (zh) * | 2015-04-17 | 2015-07-22 | 中国矿业大学 | 基于视觉特征捆绑和强化学习理论的避障机器人 |
| CN105373785A (zh) * | 2015-11-30 | 2016-03-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
| CN106997463A (zh) * | 2017-03-29 | 2017-08-01 | 浙江师范大学 | 一种基于压缩感知域和卷积神经网络的路牌识别方法 |
| CN107018422A (zh) * | 2017-04-27 | 2017-08-04 | 四川大学 | 基于深度卷积神经网络的静止图像压缩方法 |
-
2018
- 2018-07-16 CN CN201810778973.6A patent/CN109086806A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793620A (zh) * | 2015-04-17 | 2015-07-22 | 中国矿业大学 | 基于视觉特征捆绑和强化学习理论的避障机器人 |
| CN105373785A (zh) * | 2015-11-30 | 2016-03-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
| CN106997463A (zh) * | 2017-03-29 | 2017-08-01 | 浙江师范大学 | 一种基于压缩感知域和卷积神经网络的路牌识别方法 |
| CN107018422A (zh) * | 2017-04-27 | 2017-08-04 | 四川大学 | 基于深度卷积神经网络的静止图像压缩方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222717A (zh) * | 2019-05-09 | 2019-09-10 | 华为技术有限公司 | 图像处理方法和装置 |
| CN110288030A (zh) * | 2019-06-27 | 2019-09-27 | 重庆大学 | 基于轻量化网络模型的图像识别方法、装置及设备 |
| CN110288030B (zh) * | 2019-06-27 | 2023-04-07 | 重庆大学 | 基于轻量化网络模型的图像识别方法、装置及设备 |
| CN110987189A (zh) * | 2019-11-21 | 2020-04-10 | 北京都是科技有限公司 | 对目标对象进行温度检测的方法、系统以及装置 |
| CN112291477A (zh) * | 2020-11-03 | 2021-01-29 | 浙江大华技术股份有限公司 | 多媒体信息处理方法、装置、存储介质及电子装置 |
| CN112291477B (zh) * | 2020-11-03 | 2022-06-14 | 浙江大华技术股份有限公司 | 多媒体信息处理方法、装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
| CN109886225B (zh) | 一种基于深度学习的图像手势动作在线检测与识别方法 | |
| CN110119686B (zh) | 一种基于卷积神经网络的安全帽实时检测方法 | |
| CN107977932B (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
| CN109086806A (zh) | 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法 | |
| CN107239514A (zh) | 一种基于卷积神经网络的植物识别方法及系统 | |
| CN108805839A (zh) | 基于卷积神经网络的联合估计图像去雾方法 | |
| CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN107909008A (zh) | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 | |
| CN109753996A (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
| CN104063686A (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
| CN113420794B (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
| CN110991349A (zh) | 一种基于度量学习的轻量级车辆属性识别方法 | |
| CN110096976A (zh) | 基于稀疏迁移网络的人体行为微多普勒分类方法 | |
| CN114972753A (zh) | 基于上下文信息聚合和辅助学习的轻量级语义分割方法及系统 | |
| CN109086707A (zh) | 一种基于DCNNs-LSTM模型的表情追踪方法 | |
| CN111160327B (zh) | 一种基于轻量化卷积神经网络的表情识别方法 | |
| CN112488963A (zh) | 一种用于农作物病害数据的增强方法 | |
| CN108875555A (zh) | 基于神经网络的视频兴趣区域和显著目标提取与定位系统 | |
| CN116630387A (zh) | 基于注意力机制的单目图像深度估计方法 | |
| CN116485646A (zh) | 一种基于微注意力的轻量化图像超分辨率重建方法及装置 | |
| Zeng et al. | Masanet: Multi-angle self-attention network for semantic segmentation of remote sensing images | |
| CN116309221A (zh) | 一种多光谱图像融合模型的构建方法 | |
| CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| CN114187495A (zh) | 一种基于图像的服装流行趋势预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181225 |