CN111612058A - 一种基于深度学习的人工智能学习方法 - Google Patents

一种基于深度学习的人工智能学习方法 Download PDF

Info

Publication number
CN111612058A
CN111612058A CN202010424850.XA CN202010424850A CN111612058A CN 111612058 A CN111612058 A CN 111612058A CN 202010424850 A CN202010424850 A CN 202010424850A CN 111612058 A CN111612058 A CN 111612058A
Authority
CN
China
Prior art keywords
target object
video stream
picture information
network
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010424850.XA
Other languages
English (en)
Inventor
郭扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Institute of Architectural Technology
Jiangsu Jianzhu Institute
Original Assignee
Jiangsu Jianzhu Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jianzhu Institute filed Critical Jiangsu Jianzhu Institute
Priority to CN202010424850.XA priority Critical patent/CN111612058A/zh
Publication of CN111612058A publication Critical patent/CN111612058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开的属于人工智能技术领域，具体为一种基于深度学习的人工智能学习方法，该基于深度学习的人工智能学习方法的具体步骤如下：S1：获取视频流或者输入图片信息，以视频流或者图片信息作为识别检测的输入数据，且视频流或者图片信息内具有目标物，视频流或者图片信息输入到人工智能识别端；S2：通过深度学习的方式对输入的图片信息或者视频流进行区域定位，S3：基于深度学习识别判断，获取目标物裁剪区域后，有多尺度特征融合的思想，具有模型小，速度快，精度高等特点；加入一部分无目标物的视频流或者图片信息到训练样本集以避免网络发生误检；对图片信息或者视频流不同旋转角度，不同尺度的身份证图像遮挡判断准确度都较高。

Description

一种基于深度学习的人工智能学习方法
技术领域
本发明涉及人工智能技术领域，具体为一种基于深度学习的人工智能学习方法。
背景技术
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。
现有车牌照、身份证、各种卡片的识别扫描设备，常常会出现由于设备安装角度导致拍摄不当造成目标物受到物体遮挡或者图像不完整进而影响识别精度的情况。
发明内容
本发明的目的在于提供一种基于深度学习的人工智能学习方法，以解决上述背景技术中提出的现有车牌照、身份证、各种卡片的识别扫描设备，常常会出现由于设备安装角度导致拍摄不当造成目标物受到物体遮挡或者图像不完整进而影响识别精度的问题。
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的人工智能学习方法，该基于深度学习的人工智能学习方法的具体步骤如下：
S1：获取视频流或者输入图片信息，以视频流或者图片信息作为识别检测的输入数据，且视频流或者图片信息内具有目标物，视频流或者图片信息输入到人工智能识别端；
S2：通过深度学习的方式对输入的图片信息或者视频流进行区域定位，人工智能识别端使用Tiny-DSOD网络对视频流或者图片信息进行区域定位，Tiny-DSOD使用了针对Denseblock进行改进的深度可分离卷积，训练样本的准备：Tiny-DSOD网络所使用的训练样本为各种场景的目标物拍摄图片或者视频流，用水平框对样本进行标注，同时加入一部分无目标物的视频流或者图片信息到训练样本集以避免网络发生误检；
Tiny-DSOD网络训练好后，输入待检测目标物的图片信息或者视频流，Tiny-DSOD网络输出图片中目标物外接框的坐标信息，可以通过这些坐标信息对目标物区域进行裁剪；
S3：基于深度学习识别判断，获取目标物裁剪区域后，训练一个分类网络对目标物是否受到遮挡进行判断，选用MobileNet-v2作为分类模型，MobileNet-v2将深度可分离卷积应用到残差网络结构；
原始的MobileNet-v2在最后输出一个1×1000×1×1的张量并用于1000类物体的分类，将其改为1×2×1×1即可用于2分类；
训练数据的准备：用前面定位模块训练好的网络对原始目标物样本进行处理后可得到裁剪后的目标物图片，人工将受遮挡和未遮挡的样本分开，再使用旋转、模糊等多种手段对数据进行增广，以获得足够多的训练数据，将这两类数据输入到网络进行训练，模型收敛后网络即可正确判断输入目标物图片是否受到遮挡。
优选的，所述视频流、图片信息由外接图像采集设备采集并或者集成到人工智能识别端上。
优选的，所述Tiny-DSOD网络对不同目标物需要针对性设置识别标签。
优选的，所述视频流中目标物区域定位还可以采用机器学习方法k最近邻识别不同帧中的同一目标，具体为：计算下一帧中所有检测到的目标到该目标物的距离，最近的目标即可认为与目标物是相同个体，从而得到每个目标在视频中的运行轨迹。
优选的，所述视频流或者图片信息处于逆光时，人工智能识别端采取逆光下目标物细节丢失的位置进行正反样本的搭配，对所有采集的目标物进行人工标注丢失位置，并且以VOC格式进行存储，然后使用深度学习对标注的数据使用残差平方和作为损失函数来进行训练与学习。
优选的，所述步骤S1和S2的模型均用Caffe框架进行实现与训练，训练完成后用NCNN神经网络前向计算框架对模型进行格式转换，使其可用于移动端部署。
与现有技术相比，本发明的有益效果是：
1)有多尺度特征融合的思想，具有模型小，速度快，精度高等特点，适合移动端部署Tiny-DSOD网络；
2)加入一部分无目标物的视频流或者图片信息到训练样本集以避免网络发生误检；
3)对图片信息或者视频流不同旋转角度，不同尺度的身份证图像遮挡判断准确度都较高。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例：
请参阅图1，本发明提供一种技术方案：一种基于深度学习的人工智能学习方法，该基于深度学习的人工智能学习方法的具体步骤如下：
S1：获取视频流或者输入图片信息，以视频流或者图片信息作为识别检测的输入数据，且视频流或者图片信息内具有目标物，视频流或者图片信息输入到人工智能识别端；
S2：通过深度学习的方式对输入的图片信息或者视频流进行区域定位，人工智能识别端使用Tiny-DSOD网络对视频流或者图片信息进行区域定位，Tiny-DSOD使用了针对Denseblock进行改进的深度可分离卷积，训练样本的准备：Tiny-DSOD网络所使用的训练样本为各种场景的目标物拍摄图片或者视频流，用水平框对样本进行标注，同时加入一部分无目标物的视频流或者图片信息到训练样本集以避免网络发生误检；
Tiny-DSOD网络训练好后，输入待检测目标物的图片信息或者视频流，Tiny-DSOD网络输出图片中目标物外接框的坐标信息，可以通过这些坐标信息对目标物区域进行裁剪；
S3：基于深度学习识别判断，获取目标物裁剪区域后，训练一个分类网络对目标物是否受到遮挡进行判断，选用MobileNet-v2作为分类模型，MobileNet-v2将深度可分离卷积应用到残差网络结构；
原始的MobileNet-v2在最后输出一个1×1000×1×1的张量并用于1000类物体的分类，将其改为1×2×1×1即可用于2分类；
训练数据的准备：用前面定位模块训练好的网络对原始目标物样本进行处理后可得到裁剪后的目标物图片，人工将受遮挡和未遮挡的样本分开，再使用旋转、模糊等多种手段对数据进行增广，以获得足够多的训练数据，将这两类数据输入到网络进行训练，模型收敛后网络即可正确判断输入目标物图片是否受到遮挡。
进一步地，视频流、图片信息由外接图像采集设备采集并或者集成到人工智能识别端上。
进一步地，Tiny-DSOD网络对不同目标物需要针对性设置识别标签。
进一步地，视频流中目标物区域定位还可以采用机器学习方法k最近邻识别不同帧中的同一目标，具体为：计算下一帧中所有检测到的目标到该目标物的距离，最近的目标即可认为与目标物是相同个体，从而得到每个目标在视频中的运行轨迹。
进一步地，视频流或者图片信息处于逆光时，人工智能识别端采取逆光下目标物细节丢失的位置进行正反样本的搭配，对所有采集的目标物进行人工标注丢失位置，并且以VOC格式进行存储，然后使用深度学习对标注的数据使用残差平方和作为损失函数来进行训练与学习。
进一步地，步骤S1和S2的模型均用Caffe框架进行实现与训练，训练完成后用NCNN神经网络前向计算框架对模型进行格式转换，使其可用于移动端部署。
已对车牌照识别为例(小区门禁处，能够识别受到遮挡物遮挡的车牌)：
一、车牌照区域定位模块。
使用Tiny-DSOD网络对身份证进行区域定位，Tiny-DSOD网络使用了针对Denseblock进行改进的深度可分离卷积，Tiny-DSOD网络设计也有多尺度特征融合的思想，具有模型小，速度快，精度高等特点，适合移动端部署。
训练样本的准备：Tiny-DSOD网络所使用的训练样本为各种场景的车牌照拍摄图片，用水平矩形框对样本进行标注，同时加入一部分无车牌照的图片到训练样本集以避免Tiny-DSOD网络发生误检。
Tiny-DSOD可以检测多类物体，只需要对车牌照这一类物体进行检测，因此将所有样本的类别标签都设置为相同值。训练样本准备好后即对Tiny-DSOD网络进行训练。
Tiny-DSOD网络训练好后，输入待检测车牌照图片，Tiny-DSOD网络应能输出图片中车牌照外接矩形框的坐标信息，可以通过这些坐标信息对车牌照区域进行裁剪，但考虑到遮挡物体往往出现在车牌照的边缘区域，为了保留这一可能存在的重要信息，先对检测框进行适当比例的扩充再裁剪，这样得到车牌照裁剪图像既紧凑，又保留了遮挡物的信息。
二、车牌照遮挡判断模块
获取车牌照裁剪区域后，训练一个分类网络对车牌照是否受到遮挡进行判断，我们选用MobileNet-v2作为分类模型，MobileNet-v2将深度可分离卷积应用到残差网络结构，具有模型体量小，效果好等特点。
MobileNet-v2一般用于多物体分类，只用于车牌照图片的遮挡和非遮挡情况的分类，原始的MobileNet-v2在最后输出一个1×1000×1×1的张量并用于1000类物体的分类，在这里将其改为1×2×1×1即可用于2分类。
训练数据的准备：用前面定位模块训练好的Tiny-DSOD网络对原始车牌照样本进行处理后可得到裁剪后的车牌照图片。人工将受遮挡和未遮挡的样本分开，再使用旋转，模糊等多种手段对数据进行增广，以获得足够多的训练数据。将这两类数据输入到网络进行训练，模型收敛后网络即可正确判断输入车牌照图片是否受到遮挡。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于深度学习的人工智能学习方法，其特征在于：该基于深度学习的人工智能学习方法的具体步骤如下：
S1：获取视频流或者输入图片信息，以视频流或者图片信息作为识别检测的输入数据，且视频流或者图片信息内具有目标物，视频流或者图片信息输入到人工智能识别端；
S2：通过深度学习的方式对输入的图片信息或者视频流进行区域定位，人工智能识别端使用Tiny-DSOD网络对视频流或者图片信息进行区域定位，Tiny-DSOD使用了针对Denseblock进行改进的深度可分离卷积，训练样本的准备：Tiny-DSOD网络所使用的训练样本为各种场景的目标物拍摄图片或者视频流，用水平框对样本进行标注，同时加入一部分无目标物的视频流或者图片信息到训练样本集以避免网络发生误检；
Tiny-DSOD网络训练好后，输入待检测目标物的图片信息或者视频流，Tiny-DSOD网络输出图片中目标物外接框的坐标信息，可以通过这些坐标信息对目标物区域进行裁剪；
S3：基于深度学习识别判断，获取目标物裁剪区域后，训练一个分类网络对目标物是否受到遮挡进行判断，选用MobileNet-v2作为分类模型，MobileNet-v2将深度可分离卷积应用到残差网络结构；
原始的MobileNet-v2在最后输出一个1×1000×1×1的张量并用于1000类物体的分类，将其改为1×2×1×1即可用于2分类；
训练数据的准备：用前面定位模块训练好的网络对原始目标物样本进行处理后可得到裁剪后的目标物图片，人工将受遮挡和未遮挡的样本分开，再使用旋转、模糊等多种手段对数据进行增广，以获得足够多的训练数据，将这两类数据输入到网络进行训练，模型收敛后网络即可正确判断输入目标物图片是否受到遮挡。
2.根据权利要求1所述的一种基于深度学习的人工智能学习方法，其特征在于：所述视频流、图片信息由外接图像采集设备采集并或者集成到人工智能识别端上。
3.根据权利要求1所述的一种基于深度学习的人工智能学习方法，其特征在于：所述Tiny-DSOD网络对不同目标物需要针对性设置识别标签。
4.根据权利要求1所述的一种基于深度学习的人工智能学习方法，其特征在于：所述视频流中目标物区域定位还可以采用机器学习方法k最近邻识别不同帧中的同一目标，具体为：计算下一帧中所有检测到的目标到该目标物的距离，最近的目标即可认为与目标物是相同个体，从而得到每个目标在视频中的运行轨迹。
5.根据权利要求1所述的一种基于深度学习的人工智能学习方法，其特征在于：所述视频流或者图片信息处于逆光时，人工智能识别端采取逆光下目标物细节丢失的位置进行正反样本的搭配，对所有采集的目标物进行人工标注丢失位置，并且以VOC格式进行存储，然后使用深度学习对标注的数据使用残差平方和作为损失函数来进行训练与学习。
6.根据权利要求1所述的一种基于深度学习的人工智能学习方法，其特征在于：所述步骤S1和S2的模型均用Caffe框架进行实现与训练，训练完成后用NCNN神经网络前向计算框架对模型进行格式转换，使其可用于移动端部署。
CN202010424850.XA 2020-05-19 2020-05-19 一种基于深度学习的人工智能学习方法 Pending CN111612058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424850.XA CN111612058A (zh) 2020-05-19 2020-05-19 一种基于深度学习的人工智能学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424850.XA CN111612058A (zh) 2020-05-19 2020-05-19 一种基于深度学习的人工智能学习方法

Publications (1)

Publication Number Publication Date
CN111612058A true CN111612058A (zh) 2020-09-01

Family

ID=72196047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424850.XA Pending CN111612058A (zh) 2020-05-19 2020-05-19 一种基于深度学习的人工智能学习方法

Country Status (1)

Country Link
CN (1) CN111612058A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116687A (zh) * 2020-09-30 2020-12-22 上海商米科技集团股份有限公司 一种基于虚拟车牌的面向移动端部署的车牌识别方法
CN112613425A (zh) * 2020-12-24 2021-04-06 山东船舶技术研究院 一种面向小样本水下图像的目标识别方法及系统
CN112883911A (zh) * 2021-03-17 2021-06-01 高新兴科技集团股份有限公司 一种无牌车辆判别方法、装置以及电子设备
WO2022121963A1 (zh) * 2020-12-08 2022-06-16 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110554614A (zh) * 2019-08-30 2019-12-10 唐山市智维信息咨询服务有限公司 一种人体特征自适应调节的智能家具集成系统
CN110647880A (zh) * 2019-08-12 2020-01-03 深圳市华付信息技术有限公司 一种移动端身份证图像遮挡判断方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647880A (zh) * 2019-08-12 2020-01-03 深圳市华付信息技术有限公司 一种移动端身份证图像遮挡判断方法
CN110554614A (zh) * 2019-08-30 2019-12-10 唐山市智维信息咨询服务有限公司 一种人体特征自适应调节的智能家具集成系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毛亮等: "自然场景下的挖掘机实时监测方法", 《农业工程学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116687A (zh) * 2020-09-30 2020-12-22 上海商米科技集团股份有限公司 一种基于虚拟车牌的面向移动端部署的车牌识别方法
WO2022121963A1 (zh) * 2020-12-08 2022-06-16 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质
CN112613425A (zh) * 2020-12-24 2021-04-06 山东船舶技术研究院 一种面向小样本水下图像的目标识别方法及系统
CN112613425B (zh) * 2020-12-24 2022-03-22 山东船舶技术研究院 一种面向小样本水下图像的目标识别系统
CN112883911A (zh) * 2021-03-17 2021-06-01 高新兴科技集团股份有限公司 一种无牌车辆判别方法、装置以及电子设备

Similar Documents

Publication Publication Date Title
CN111612058A (zh) 一种基于深度学习的人工智能学习方法
Andrew et al. Visual localisation and individual identification of holstein friesian cattle via deep learning
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
Benedek et al. Building development monitoring in multitemporal remotely sensed image pairs with stochastic birth-death dynamics
CN106845430A (zh) 基于加速区域卷积神经网络的行人检测与跟踪方法
CN109949316A (zh) 一种基于rgb-t融合的电网设备图像弱监督实例分割方法
CN110175528B (zh) 人体跟踪方法及装置、计算机设备及可读介质
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111046732A (zh) 一种基于多粒度语义解析的行人重识别方法及存储介质
CN105260734A (zh) 一种具有自建模功能的商品油表面激光标码识别方法
CN110647880A (zh) 一种移动端身份证图像遮挡判断方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN110348505B (zh) 车辆颜色分类模型训练方法、装置和车辆颜色识别方法
US20220148292A1 (en) Method for glass detection in real scenes
Chandran et al. Missing child identification system using deep learning and multiclass SVM
CN109558790B (zh) 一种行人目标检测方法、装置及系统
CN107038400A (zh) 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN110008919A (zh) 基于视觉的四旋翼无人机人脸识别系统
CN103106414A (zh) 一种智能视频监控中行人的检测方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN111383286A (zh) 定位方法、装置、电子设备及可读存储介质
CN113269038B (zh) 一种基于多尺度的行人检测方法
CN114049541A (zh) 基于结构化信息特征解耦与知识迁移的视觉场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901

RJ01 Rejection of invention patent application after publication