CN111738257B - 一种基于深度学习的不同网络模型级联目标精确推理系统及方法 - Google Patents

一种基于深度学习的不同网络模型级联目标精确推理系统及方法 Download PDF

Info

Publication number
CN111738257B
CN111738257B CN202010560342.4A CN202010560342A CN111738257B CN 111738257 B CN111738257 B CN 111738257B CN 202010560342 A CN202010560342 A CN 202010560342A CN 111738257 B CN111738257 B CN 111738257B
Authority
CN
China
Prior art keywords
image
target
module
network model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010560342.4A
Other languages
English (en)
Other versions
CN111738257A (zh
Inventor
胡丽莹
郭躬德
陈黎飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN202010560342.4A priority Critical patent/CN111738257B/zh
Publication of CN111738257A publication Critical patent/CN111738257A/zh
Application granted granted Critical
Publication of CN111738257B publication Critical patent/CN111738257B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的不同网络模型级联目标精确推理系统及方法，通过图像采集带有目标物体的图像，并利用目标检测网络模型进行目标检测确定目标物体的位置和类别。再通过目标分割网络模型模块进行目标分割，最终合并得到目标的面积、周长、长度、宽度、类别和位置形成结果序列发送至外部接收设备。本发明方法不仅可以快速、精确实现目标定位，而且可以大大降低部署成本。

Description

一种基于深度学习的不同网络模型级联目标精确推理系统及 方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的不同网络模型级联目标精确推理系统及方法。
背景技术
基于深度学习的目标检测的任务是找出图像中所有感兴趣的目标，确定它们的位置和大小，是机器学习领域的核心问题之一。由于各类物体有不同的外观、形状、姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是机器学习领域最具有挑战性的问题。目标检测要解决的核心问题是如何使用低成本的配置快速、准确地找到目标，只有解决了这两个关键问题才能够满足工业领域产品质量智能化检测的需求。目前常规的方法（如采用高性能的显卡和复杂深度学习网络结构等）无法满足这种需求。这就迫切需要提出一种实时且高精度的目标检测方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度学习的不同网络模型级联目标精确推理系统及方法。
本发明采用的技术方案是：
一种基于深度学习的不同网络模型级联目标精确推理系统，其包括图像采集模块、图像预处理模块、目标检测网络模型模块、ROI图像提取模块、目标分割网络模型模块、结果分析模块和通讯模块；
图像采集模块用于实时采集当前场景的图像，
图像预处理模块用于对实时采集的图像进行图像预处理消除噪声信号，
目标检测网络模型模块用于对图像预处理后的图像进行目标检测，得到目标的位置和类别，
ROI图像提取模块用于将目标检测模块得到的ROI矩形框内的图像拷贝到图像缓存序列，
目标分割网络模型模块用于对ROI图像提取模块得到的图像缓存序列的每个ROI图像进行目标分割，得到目标的精确面积，周长，宽度和高度信息，
结果分析模块用于对目标检测网络模块得到的坐标位置、类别和目标分割网络模型得到的目标精确面积，周长，宽度和高度进行结果合并并保存到结果序列，
通讯模块用于将结果分析模块合并的结果序列发送给外部接收设备。
进一步地，图像采集模块包括图像文件读取、视频文件读取和相机拍摄图像读取。
进一步地，图像预处理模块由高斯模糊，均值滤波，中值滤波，双边滤波组成。
进一步地，目标检测网络模型模块由FasterRCNN、SSD、YOLO三个目标检测网络模型组成，图像预处理后的图像由目标检测网络模型模块中的三个目标检测网络模型之一（譬如：SSD）进行目标检测。
进一步地，目标的位置信息用ROI矩形框四个点坐标来表示，类别用序号0，1，2，…来表示。
进一步地，ROI图像提取模块用于在当前场景图像根据目标检测网络模型模块检测到的目标坐标位置的图像拷贝出来并存储在图像缓存序列。
进一步地，目标分割网络模型网络模块由MaskRCNN、Unet和DeepLab三个目标分割网络模型组成，目标分割网络模型网络模块用于对图像缓存序列的每个图像进行三个网络模型之一（譬如：MaskRCNN），进行目标分割。
进一步地，结果分析模块用于对目标检测网络模块得到的坐标位置、类别信息和目标分割网络模型得到的目标精确面积、周长、宽度和高度进行结果合并并存储到结果序列中。
进一步地，通讯模块包括以太网芯片、3G/4G芯片、蓝牙芯片，外部接收设备包括服务器、PLC，通讯模块用于将合并的结果序列发送到外部接收设备。
一种基于深度学习的不同网络模型级联目标精确推理方法，包括以下步骤：
步骤1：调整相机位置使之对准拍摄物体，如一盘电子元器件；
步骤2：采集流水线平台上电子元器件的图像；
步骤3：对一次图像进行图像中值滤波处理得到消除噪声后的图像；
步骤4：对步骤3的图像使用SSD目标检测网络模型进行推理得到图像中电子元器件的矩形框位置和类别；
步骤5：根据电子元器件的矩形框位置拷贝出不同位置的图像并存储在缓存中；
步骤6：对缓存中的ROI图像依次使用Mask RCNN目标分割网络模型进行目标分割得到目标的面积、周长、长度和宽度；
步骤7： 对步骤6和步骤4的结果信息合并得到目标的面积、周长、长度、宽度、类别和位置，保存到结果序列中；
步骤8：将轮廓中心点和轮廓面积信息发送到外部接收设备。
本发明采用以上技术方案，通过图像采集带有目标物体的图像，并利用目标检测网络模型进行目标检测确定目标物体的位置和类别。再通过目标分割网络模型模块进行目标分割，最终合并得到目标的面积、周长、长度、宽度、类别和位置形成结果序列发送至外部接收设备。相较于目前常规的方法用单个复杂网络模型FasterRCNN结合高性能显卡才能保证实时推理，譬如Nvidia GTX 1080 Ti。本发明方法只要低端的1050显卡就能够完成实时推理，且检测的精度达到像素级，远高于常规的方法。本发明方法不仅可以快速、精确实现目标定位，而且可以大大降低部署成本。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明一种基于深度学习的不同网络模型级联目标精确推理方法的流程示意图。
具体实施方式
如图1所示，本发明公开了一种基于深度学习的不同网络模型级联目标精确推理系统，其包括图像采集模块、图像预处理模块、目标检测网络模型模块、ROI图像提取模块、目标分割网络模型模块、结果分析模块和通讯模块；
图像采集模块用于实时采集当前场景的图像，
图像预处理模块用于对实时采集的图像进行图像预处理消除噪声信号，
目标检测网络模型模块用于对图像预处理后的图像进行目标检测，得到目标的位置和类别，
ROI图像提取模块用于将目标检测模块得到的ROI矩形框内的图像拷贝到图像缓存序列，
目标分割网络模型模块用于对ROI图像提取模块得到的图像缓存序列的每个ROI图像进行目标分割，得到目标的精确面积，周长，宽度和高度信息，
结果分析模块用于对目标检测网络模块得到的坐标位置、类别和目标分割网络模型得到的目标精确面积，周长，宽度和高度进行结果合并并保存到结果序列，
通讯模块用于将结果分析模块合并的结果序列发送给外部接收设备。
进一步地，图像采集模块包括图像文件读取、视频文件读取和相机拍摄图像读取。
进一步地，图像预处理模块由高斯模糊，均值滤波，中值滤波，双边滤波组成。
进一步地，目标检测网络模型模块由FasterRCNN、SSD、YOLO三个目标检测网络模型组成，图像预处理后的图像由目标检测网络模型模块中的三个目标检测网络模型之一（譬如：SSD）进行目标检测。
进一步地，目标的位置信息用ROI矩形框四个点坐标来表示，类别用序号0，1，2，…来表示。
进一步地，ROI图像提取模块用于在当前场景图像根据目标检测网络模型模块检测到的目标坐标位置的图像拷贝出来并存储在图像缓存序列。
进一步地，目标分割网络模型网络模块由MaskRCNN、Unet和DeepLab三个目标分割网络模型组成，目标分割网络模型网络模块用于对图像缓存序列的每个图像进行三个网络模型之一（譬如：MaskRCNN），进行目标分割。
进一步地，结果分析模块用于对目标检测网络模块得到的坐标位置、类别信息和目标分割网络模型得到的目标精确面积、周长、宽度和高度进行结果合并并存储到结果序列中。
进一步地，通讯模块包括以太网芯片、3G/4G芯片、蓝牙芯片，外部接收设备包括服务器、PLC，通讯模块用于将合并的结果序列发送到外部接收设备。
一种基于深度学习的不同网络模型级联目标精确推理方法，包括以下步骤：
步骤1：调整相机位置使之对准拍摄物体，如一盘电子元器件；
步骤2：采集流水线平台上电子元器件的图像；
步骤3：对一次图像进行图像中值滤波处理得到消除噪声后的图像；
步骤4：对步骤3的图像使用SSD目标检测网络模型进行推理得到图像中电子元器件的矩形框位置和类别；
步骤5：根据电子元器件的矩形框位置拷贝出不同位置的图像并存储在缓存中；
步骤6：对缓存中的ROI图像依次使用Mask RCNN目标分割网络模型进行目标分割得到目标的面积、周长、长度和宽度；
步骤7： 对步骤6和步骤4的结果信息合并得到目标的面积、周长、长度、宽度、类别和位置，保存到结果序列中；
步骤8：将轮廓中心点和轮廓面积信息发送到外部接收设备。
本发明采用以上技术方案，通过图像采集带有目标物体的图像，并利用目标检测网络模型进行目标检测确定目标物体的位置和类别。再通过目标分割网络模型模块进行目标分割，最终合并得到目标的面积、周长、长度、宽度、类别和位置形成结果序列发送至外部接收设备。相较于目前常规的方法用单个复杂网络模型FasterRCNN结合高性能显卡才能保证实时推理，譬如Nvidia GTX 1080 Ti。本发明方法只要低端的1050显卡就能够完成实时推理，且检测的精度达到像素级，远高于常规的方法。本发明方法不仅可以快速、精确实现目标定位，而且可以大大降低部署成本。
尽管已经结合实施例对本发明进行了详细地描述，但是本领域技术人员应当理解的是，本发明并非仅限于特定实施例，相反，在没有超出本申请精神和实质的各种修正、变形和替换都落入到本申请的保护范围之中。

Claims (7)

1.一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：其包括图像采集模块、图像预处理模块、目标检测网络模型模块、ROI图像提取模块、目标分割网络模型模块、结果分析模块和通讯模块；
图像采集模块用于实时采集当前场景的图像，
图像预处理模块用于对实时采集的图像进行图像预处理消除噪声信号，
目标检测网络模型模块用于对图像预处理后的图像进行目标检测，得到目标的位置和类别，目标检测网络模型模块由FasterRCNN、SSD、YOLO三个目标检测网络模型组成，图像预处理后的图像由目标检测网络模型模块中的三个目标检测网络模型之一进行目标检测；目标的位置信息用ROI矩形框四个点坐标来表示，类别用序号0，1，2，…来表示；
ROI图像提取模块用于将目标检测网络模型模块得到的ROI矩形框内的图像拷贝到图像缓存序列，
目标分割网络模型模块用于对ROI图像提取模块得到的图像缓存序列的每个ROI图像进行目标分割，得到目标的精确面积，周长，宽度和高度信息，目标分割网络模型模块由MaskRCNN、Unet和DeepLab三个目标分割网络模型组成，目标分割网络模型模块用于对图像缓存序列的每个图像进行三个网络模型之一进行目标分割；
结果分析模块用于对目标检测网络模块得到的坐标位置、类别和目标分割网络模型得到的目标精确面积，周长，宽度和高度进行结果合并并保存到结果序列，
通讯模块用于将结果分析模块合并的结果序列发送给外部接收设备。
2.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：图像采集模块包括图像文件读取、视频文件读取和相机拍摄图像读取。
3.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：图像预处理模块由高斯模糊、均值滤波、中值滤波和双边滤波组成。
4.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：ROI图像提取模块用于在当前场景图像根据目标检测网络模型模块检测到的目标坐标位置的图像拷贝出来并存储在图像缓存序列。
5.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：结果分析模块用于对目标检测网络模块得到的坐标位置、类别信息和目标分割网络模型得到的目标精确面积、周长、宽度和高度进行结果合并并存储到结果序列中。
6.根据权利要求1所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：通讯模块包括以太网芯片、3G/4G芯片、蓝牙芯片，外部接收设备包括服务器、PLC，通讯模块用于将合并的结果序列发送到外部接收设备。
7.一种基于深度学习的不同网络模型级联目标精确推理方法，采用了权利要求1至6任一所述的一种基于深度学习的不同网络模型级联目标精确推理系统，其特征在于：方法包括以下步骤：
步骤1：调整图像采集模块位置使之对准拍摄物体；
步骤2：采集获取目标物体的一次图像；
步骤3：对一次图像进行图像中值滤波处理得到消除噪声后的图像；
步骤4：消除噪声后的图像使用SSD目标检测网络模型进行推理得到图像中目标物体的矩形框位置和类别；
步骤5：根据目标物体的矩形框位置拷贝出不同位置的图像并存储在缓存中；
步骤6：对缓存中的ROI图像依次使用Mask RCNN目标分割网络模型进行目标分割得到目标的面积、周长、长度和宽度；
步骤7： 对步骤6和步骤4的结果信息合并得到目标的面积、周长、长度、宽度、类别和位置，保存到结果序列中；
步骤8：将轮廓中心点和轮廓面积信息发送到外部接收设备。
CN202010560342.4A 2020-06-18 2020-06-18 一种基于深度学习的不同网络模型级联目标精确推理系统及方法 Active CN111738257B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010560342.4A CN111738257B (zh) 2020-06-18 2020-06-18 一种基于深度学习的不同网络模型级联目标精确推理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010560342.4A CN111738257B (zh) 2020-06-18 2020-06-18 一种基于深度学习的不同网络模型级联目标精确推理系统及方法

Publications (2)

Publication Number Publication Date
CN111738257A CN111738257A (zh) 2020-10-02
CN111738257B true CN111738257B (zh) 2023-05-23

Family

ID=72649778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010560342.4A Active CN111738257B (zh) 2020-06-18 2020-06-18 一种基于深度学习的不同网络模型级联目标精确推理系统及方法

Country Status (1)

Country Link
CN (1) CN111738257B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403183A (zh) * 2017-07-21 2017-11-28 桂林电子科技大学 整合目标检测和图像分割为一体的智能分割方法
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN109948607A (zh) * 2019-02-21 2019-06-28 电子科技大学 基于深度学习反卷积网络的候选边框生成和目标检测方法
EP3579147A1 (en) * 2018-06-08 2019-12-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and electronic device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335313A (zh) * 2018-02-26 2018-07-27 阿博茨德（北京）科技有限公司 图像分割方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403183A (zh) * 2017-07-21 2017-11-28 桂林电子科技大学 整合目标检测和图像分割为一体的智能分割方法
EP3579147A1 (en) * 2018-06-08 2019-12-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and electronic device
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法
CN109948607A (zh) * 2019-02-21 2019-06-28 电子科技大学 基于深度学习反卷积网络的候选边框生成和目标检测方法

Also Published As

Publication number Publication date
CN111738257A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN107133969B (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
CN109145803B (zh) 手势识别方法及装置、电子设备、计算机可读存储介质
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN106651849A (zh) 基于面阵相机的pcb裸板缺陷检测方法
CN110991360B (zh) 一种基于视觉算法的机器人巡检点位智能配置方法
CN112131982A (zh) 一种基于卷积神经网络的茶树嫩芽识别方法
CN104749801B (zh) 高精度自动光学检测方法和系统
CN113781526A (zh) 一种家畜计数识别系统
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN115760893A (zh) 一种基于核相关滤波算法的单雾滴粒径和速度测量方法
CN114331961A (zh) 用于对象的缺陷检测的方法
CN112833821B (zh) 高密度ic焊点的微分几何立体微视觉检测系统及方法
CN104614372B (zh) 一种太阳能硅片检测方法
CN207752527U (zh) 一种机器人动态抓取系统
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN111738257B (zh) 一种基于深度学习的不同网络模型级联目标精确推理系统及方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN114638835B (zh) 一种基于深度相机的轨枕异物检测方法
CN106546196A (zh) 一种光轴实时校准方法及系统
CN114693556B (zh) 一种高空抛物帧差法运动目标检测去拖影方法
CN116188763A (zh) 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
CN108038849A (zh) 一种识别性能优良的机器人视觉系统
CN109919863B (zh) 一种全自动菌落计数仪、系统及其菌落计数方法
CN110136104B (zh) 基于无人机地面站的图像处理方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant