CN109242826A - 基于目标检测的移动设备端签状物根数计数方法及系统 - Google Patents

基于目标检测的移动设备端签状物根数计数方法及系统 Download PDF

Info

Publication number
CN109242826A
CN109242826A CN201810892643.XA CN201810892643A CN109242826A CN 109242826 A CN109242826 A CN 109242826A CN 201810892643 A CN201810892643 A CN 201810892643A CN 109242826 A CN109242826 A CN 109242826A
Authority
CN
China
Prior art keywords
shape object
label shape
classification
target detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810892643.XA
Other languages
English (en)
Other versions
CN109242826B (zh
Inventor
高龑
方宏坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810892643.XA priority Critical patent/CN109242826B/zh
Publication of CN109242826A publication Critical patent/CN109242826A/zh
Application granted granted Critical
Publication of CN109242826B publication Critical patent/CN109242826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了基于目标检测的移动设备端签状物根数计数方法及系统，所述签状物根数计数系统包括：移动设备摄相设备、采集图像所得照片传入模块、目标检测识别模块、签状物的根数计算模块及计数结果输出模块。本发明实施例基于人工智能中的目标检测算法，利用一些深度神经网络结构对图片进行特征提取，并完成对于每根签状物的自动标注，利用大量训练数据将测试准确率提升至98％以上，减少了手工计数的人力耗散，提升串串香火锅店对竹签计数效率和准确率。

Description

基于目标检测的移动设备端签状物根数计数方法及系统
技术领域
本发明涉及智能餐饮技术领域，具体涉及基于目标检测的移动设备端签状物根数计数方法及系统。
背景技术
目前，市场上大部分串串香火锅店在进行串串香计数方法上大部分采用人工计数方法，耗时耗力；少部分串串香店在计数时采用称重方式进行计数，该方法计数准确度较低，难以取信食客。上述两种方法均存在明显缺陷，除了这两种方法以外并没有其他智能化实现计数的方法可以完成该任务。
发明内容
本发明实施例的目的在于提供基于目标检测的移动设备端签状物根数计数方法及系统，用以解决目前签状物根数计数缺少智能化而耗时耗力或计数准确度低的问题。
为实现上述目的，本发明实施例提供了基于目标检测的移动设备端签状物根数计数方法，所述签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，打开闪光灯对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数和带框标注的签状物图片。
进一步地，利用所述移动设备摄相设备采集图像时，在摄像界面加入一个位于中心的圆框，用于辅助拍照时将所有签状物置于摄像视野中心；采集图像后，进行裁剪，只保留圆框的外切正方形区域，裁剪对图像进行缩放，使得图像边长最大为1000像素值。
进一步地，所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第一目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；根据签状物特征图生成多个签状物的矩形候选框；对生成的候选框进行一次分类并得出目标分类概率得分；对一次分类后的候选框进行一次位置修正；将生成的候选框映射到签状物特征图上并从签状物特征图中得到候选框的特征；根据候选框的特征对候选框进行二次分类并得出目标分类概率得分；对候选框进行二次位置修正；及输出经二次位置修正后二次分类目标分类概率得分超过预定阈值的候选框或取经二次位置修正后按二次分类目标分类概率得分从高至低排序的前N个候选框输出。
进一步地，所述一次分类和所述二次分类的方法包括：对生成的候选框进行前景和背景分类，预测生成的候选框属于目标前景和背景的概率；及根据预测的候选框属于前景分类的概率得出目标分类概率得分；其中，所述一次分类后判断前景分类是否为一类；当一次分类后前景分类判断为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分。
进一步地，所述一次分类和所述二次分类后均对生成的候选框进行非极大抑制去除高重叠度的候选框。
进一步地，所述多个签状物的矩形候选框的生成方法包括：在图像中按照不同长宽比和不同面积大小生成多个的矩形候选框，其包括：经过一个3×3的卷积层使得签状物特征图上像素点感知范围扩展为以原图上stride＝(M,M)的像素点为中心的一大片区域；针对签状物特征图中的每个像素以一个预定面积为基础，生成多种不同长宽比的矩形候选框；及将预定面积依次扩大成多个不同大小的面积再分别生成多种不同长宽比的矩形候选框。
进一步地，所述一次位置修正和所述二次位置修正的方法包括：利用像素点的特征来预测该像素点生成的多个候选框的精确位置，所述像素点的特征是像素点的N_CHANNEL的值，其中，所述利用像素点的特征来预测该像素点生成的多个候选框的精确位置的方法包括：利用Bounding Box Regression方法通过一层全连接层来回归dx、dy、dw、dh四个值，然后利用dx、dy、dw、dh四个值来对候选框的位置进行修正，其中，dx和dy为边框中心点坐标修正值，dw边框宽度修正值，dh边框高度修正值。
进一步地，当所述一次分类后前景分类判断为至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第二目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；将签状物特征图池化成128×128、64×64或32×32的网格；在网格中每个像素点多尺度生成多个签状物的矩形候选框；通过一个3×3的卷积层直接预测出候选框的各类前景分类及背景分类概率得分和位置修正值；及输出经位置修正后目标前景分类概率得分超过预定阈值的候选框或取经二次位置修正后按目标前景分类概率得分从高至低排序的前N个候选框输出。
本发明实施例还提供了基于目标检测的移动设备端签状物根数计数系统，所述签状物根数计数系统包括：移动设备摄相设备，用于打开闪光灯对手中所握签状物端面拍照进行图像采集；采集图像所得照片传入模块，用于将采集图像所得照片传入目标检测识别模块；目标检测识别模块，用于利用目标检测算法神经网络对签状物进行目标检测识别；签状物的根数计算模块，用于根据目标检测识别结果计算识别的签状物的根数；及计数结果输出模块，用于输出并显示签状物的总根数和带框标注的签状物图片。
进一步地，所述目标检测识别模块包括：第一目标检测识别模块，用于通过第一目标检测算法神经网络对签状物进行目标检测识别；前景分类数量判断模块，用于判断所述第一目标检测识别模块一次分类结果中前景分类是否为一类；及第二目标检测识别模块，用于通过第二目标检测算法神经网络对签状物进行目标检测识别；其中，所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则继续利用所述第一目标检测识别模块根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分并得出目标检测识别结果；及所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则通过所述采集图像所得照片传入模块将所述采集图像所得照片传入所述第二目标检测算法神经网络对签状物进行目标检测识别。
本发明实施例具有如下优点：
本发明实施例基于人工智能中的目标检测算法，利用一些深度神经网络结构对图片进行特征提取，并完成对于每根签状物的自动标注，利用大量训练数据将测试准确率提升至98％以上，减少了手工计数的人力耗散，提升串串香火锅店对竹签计数效率和准确率。
附图说明
图1为本发明实施例公开的基于目标检测的移动设备端签状物根数计数方法的流程图。
图2为本发明实施例公开的目标检测算法神经网络对签状物进行目标检测识别的方法的第一实施例的流程图。
图3为本发明实施例公开的目标检测算法神经网络对签状物进行目标检测识别的方法的第二实施例的流程图。
图4为本发明实施例公开的基于目标检测的移动设备端签状物根数计数系统的逻辑结构图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
参考图1，本实施例公开的基于目标检测的移动设备端签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数和带框标注的签状物图片。
进一步地，采集图像通过手持移动设备摄相设备完成，为了降低环境光照对后续计数的影响，这里设定在闪光灯常亮的情况下采集图像，这样采集的图像光照情况相对统一。另外，为了保证采集到的签状物不被相互遮挡，利用所述移动设备摄相设备采集图像时，在摄像界面加入一个位于中心的圆框，用于辅助拍照时将所有签状物置于摄像视野中心；采集图像后，进行裁剪，只保留圆框的外切正方形区域，裁剪对图像进行缩放，使得图像边长最大为1000像素值，这两步都是为了减少计算量，加快识别计数过程。
参考图2，所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第一目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图(feature map，是指经过卷积操作后产生的高维张量(多维数组)，在图像中多为多层的立方体结构)；根据签状物特征图生成多个签状物的矩形候选框；对生成的候选框进行一次分类并得出目标分类概率得分；对一次分类后的候选框进行一次位置修正；将生成的候选框映射到签状物特征图上并从签状物特征图中得到候选框的特征；根据候选框的特征对候选框进行二次分类并得出目标分类概率得分；对候选框进行二次位置修正；及输出经二次位置修正后二次分类目标分类概率得分超过预定阈值的候选框或取经二次位置修正后按二次分类目标分类概率得分从高至低排序的前N个候选框输出。
进一步地，第一目标检测算法神经网络为Faster-RCNN算法神经网络，Faster-RCNN算法神经网络框架分为特征提取网络、区域建议网络(Regionproposal Network，RPN)，ROI Pooling层(兴趣区域池化，目的是将不规则的感兴趣区域池化成为固定大小的输出，是目标检测中常用的一种网络结构，用于目标区域的特征提取，其基本原理是：以7×7举例，将目标区域划分成7×7的网格，然后每一个网格中取最大值作为该网络的代表值，最后构成一个7×7共49个像素的区域)、第二Softmax分类层(Softmax函数为软最大值函数，是一种用于将向量进行归一化的函数，通过Softmax函数处理的向量具有归一化(和为1)的特性，在神经网络中经过Softmax函数处理的向量，可以认为表示一种概率，通常用于分类网络的输出层)以及bbox_pred层(窗口回归层/包围盒预测网络层)这几个部分组成。经过特征提取网络提取的图像特征进入区域建议网络，区域建议网络生成多个签状物的矩形候选框，然后通过ROI Pooling层从feature map中得到矩形框的特征，最后进入第二Softmax分类层对候选框进行二次分类，同时通过bbox_pred层精确修正候选框的位置，最后输出经二次位置修正后二次分类目标分类概率得分超过预定阈值的候选框或取经二次位置修正后按二次分类目标分类概率得分从高至低排序的前N个候选框输出。
特征提取网络是VGGNet、ResNet、MobileNet等通用分类网络的卷积网络部分，用于提取图像的特征表达，一般是由多个卷积、池化、激活层组成。本实施例采用resnet101作为特征提取网络，其基本结构是由残差单元堆叠而成的。
进一步地，区域建议网络生成多个签状物的矩形候选框的方法包括：在图像中按照不同长宽比和不同面积大小生成多个的矩形候选框，其包括：经过一个3×3的卷积层使得签状物特征图上像素点感知范围扩展为以原图上stride＝(M,M)的像素点为中心的一大片区域；针对签状物特征图中的每个像素以一个预定面积为基础，生成多种不同长宽比的矩形候选框；及将预定面积依次扩大成多个不同大小的面积再分别生成多种不同长宽比的矩形候选框。
进一步地，所述一次分类和所述二次分类的方法包括：对生成的候选框进行前景和背景分类，预测生成的候选框属于目标前景和背景的概率；及根据预测的候选框属于前景分类的概率得出目标分类概率得分；其中，所述一次分类后判断前景分类是否为一类；当一次分类后前景分类判断为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分。
优选地，一次分类和二次分类后均对生成的候选框进行非极大抑制(nms，nonmaximum suppression，一种从多个重叠的目标区域中筛选出最优区域的方法，其基本过程是：先计算两个矩形区域重叠区域的大小，如果重叠区域的面积和两框中较小框的面积比值超过某阈值a，则认为两个区域存在较大重叠，需要丢弃其中一个；然后选择分类概率评分较低的区域丢弃。在签状物检测中，经过实验和计算，当a取0.2时效果最好)去除高重叠度的候选框。
进一步地，所述一次位置修正和所述二次位置修正的方法包括：利用像素点的特征来预测该像素点生成的多个候选框的精确位置，所述像素点的特征是像素点的N_CHANNEL的值，其中，所述利用像素点的特征来预测该像素点生成的多个候选框的精确位置的方法包括：利用Bounding Box Regression方法通过一层全连接层来回归dx、dy、dw、dh四个值，然后利用dx、dy、dw、dh四个值来对候选框的位置进行修正，其中，dx和dy为边框中心点坐标修正值，dw边框宽度修正值，dh边框高度修正值。经过一次位置修正的候选框进入ROI Pooling层来得到该框对应的特征，因为后续使用的分类层是全连接层，所以ROIPooling层的输出特征图大小必须是固定的，ROI Pooling层的处理方法是：例如，假设输出的特征尺寸是7×7，那么将候选框映射回到feature-map，然后将对应位置的feature-map划分成7×7的网格，在网格中的每个小格进行max-pooling处理，也就是取最大值，然后输出7×7的特征给第二Softmax分类层和最后的bbox_pred层。
第一目标检测算法神经网络网络在GPU上通过反向传播算法进行端到端的训练，损失函数由下面几部分构成：一次分类损失、一次位置修正回归损失、二次分类损失、二次位置修正回归损失及正则项。通过Momentum动量优化算法进行训练优化，网络训练时的训练样本由人工标注图像中每一个竹签的包围框，本实施例对训练样本进行了图像增强，以获得更多的训练样本，来提高模型质量。图像增强方法包括：旋转、对称、平移、椒盐噪声及高斯噪声。经过增强后，一张标注图像可以扩展为24张标注图像，训练共30000轮，初始学习率为0.001，之后随着训练过程逐步递减，每3000轮衰减为原来学习率的0.99，训练的batch_size为128。
参考图4，本发明实施例公开的基于目标检测的移动设备端签状物根数计数系统包括：移动设备摄相设备1，用于打开闪光灯对手中所握签状物端面拍照进行图像采集；采集图像所得照片传入模块2，用于将采集图像所得照片传入目标检测识别模块；目标检测识别模块3，用于利用目标检测算法神经网络对签状物进行目标检测识别；签状物的根数计算模块4，用于根据目标检测识别结果计算识别的签状物的根数；及计数结果输出模块5，用于输出并显示签状物的总根数和带框标注的签状物图片。
进一步地，目标检测识别模块3包括：第一目标检测识别模块31，用于通过第一目标检测算法神经网络对签状物进行目标检测识别；及前景分类数量判断模块33，用于判断所述第一目标检测识别模块一次分类结果中前景分类是否为一类；其中，所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则继续利用所述第一目标检测识别模块根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分并得出目标检测识别结果。
实施例2
参考图1，本实施例公开的基于目标检测的移动设备端签状物根数计数方法包括：握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；利用移动设备摄相设备，打开闪光灯对手中所握签状物端面拍照进行图像采集；将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；根据目标检测识别结果计算识别的签状物的根数；及输出并显示签状物的总根数和带框标注的签状物图片。
进一步地，采集图像通过手持移动设备摄相设备完成，为了降低环境光照对后续计数的影响，这里设定在闪光灯常亮的情况下采集图像，这样采集的图像光照情况相对统一。另外，为了保证采集到的签状物不被相互遮挡，利用所述移动设备摄相设备采集图像时，在摄像界面加入一个位于中心的圆框，用于辅助拍照时将所有签状物置于摄像视野中心；采集图像后，进行裁剪，只保留圆框的外切正方形区域，裁剪对图像进行缩放，使得图像边长最大为1000像素值，这两步都是为了减少计算量，加快识别计数过程。
参考图3，所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：输入采集图像照片至第一目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；根据签状物特征图生成多个签状物的矩形候选框；对生成的候选框进行一次分类；所述一次分类后判断前景分类是否为一类；当所述一次分类后前景分类判断为至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则输入采集图像照片至第二目标检测算法神经网络；经过特征提取网络提取图像特征形成签状物特征图；将签状物特征图池化成128×128、64×64或32×32的网格；在网格中每个像素点多尺度生成多个签状物的矩形候选框；通过一个3×3的卷积层直接预测出候选框的各类前景分类及背景分类概率得分和位置修正值；及输出经位置修正后目标前景分类概率得分超过预定阈值的候选框或取经二次位置修正后按目标前景分类概率得分从高至低排序的前N个候选框输出。
进一步地，第二目标检测算法神经网络为SSD(Single Shot MultiBox Detector，单次浏览多包围盒检测器)算法神经网络，是一种端到端的目标检测方法，相比于先生成region proposal(目标区域建议)再进行精确分类的方法的Faster-RCNN算法神经网络。SSD算法神经网络只使用一个端到端的卷积神经网络就可以直接得到检测结果。
SSD算法神经网络结构可以分为两个阶段，第一个阶段与Faster-RCNN算法神经网络相同，用一个基础网络，如VGG16、ResNet101等,进行特征提取得到一个feature-map，本实施例中的基础网络是VGG16，但是去掉了普通VGG16的最后一层pooling层和全连接层，换用卷积层代替(conv6代替fc6，conv7代替fc7)。
得到feature map之后，SSD算法神经网络再将feature-map进行池化，池化成128×128、64×64或32×32的网格，然后在网格上生成候选框，然后通过一个3×3的卷积层直接预测出候选框的各类前景分类及背景分类概率得分和位置修正值，举例来讲，如果要网格中每个点生成K个候选框，检测的目标有20个分类，加上背景一共21个分类，位置修正值为四个(dx、dy、dw、dh)，那么3×3卷积的输出通道就是K×(21+4)，表示以这个点为中心的K个候选框的21个分类得分和4个位置修正值。
SSD算法神经网络采用了多尺度feature map生成候选框的方法，一般SSD在conv8_2、conv9_2、conv10_2、conv11_2这四个层次feature map上都生成了候选框，然后预测这些候选框的分类得分和位置修正。通过在多层次的feature map上生成候选框，可以对多尺度的物体更好的检测。候选框的尺寸要与要检测的物体的尺寸相接近，这样网络才能更容易训练，可以通过聚类或者统计的方法得到候选框的尺寸。同时，低层次的featuremap上生成较小的候选框，而在高层次的feature map上生成较大的候选框，因为高层次的feature map的感受野更大。由于竹签的形状单一，不需要高层次的语义信息就可以被检出，所以本实施例中去掉了SSD算法神经网络中的conv8_2高层次feature map，只留下conv9_2、conv10_2、conv11_2三个feature map来产出候选框。
SSD算法神经网络的训练包括目标配准和损失函数。目标配准是一个将候选框(default-box)与训练集中的标注框(ground-truth)配准的过程，也就是说决定每个候选框的预测目标是训练集中哪一个标注框，在SSD算法神经网络中目标配准是通过计算IOU(Intersection over Union)也就是两个框的交集占两个框的并集的比例来完成的，对于每个候选框di，计算它和每个标注框gj的IOU，取其中IOU最大的一个标注框为其配准框，对于一个候选框，如果有标注框与其配准，那么认为该候选框是正面的(Positive)，如果没有任何一个标注框与其配准，那么认为这个候选框没有配准框(Negative)。用一个二维数组X(Xij＝0或1)来表示候选框和标注框的配准关系，如果di和gj配准，那么Xij＝1，否则为0。经过目标配准，我们知道了每个候选框和标注框的配准关系，然后就可以计算误差，从而计算梯度，反向传播更新网络参数，达到学习的目的。此外，由于训练中往往Negative的候选框的数目远远多于Positive的候选框的树苗，导致训练样本正负不均衡，所以SSD算法神经网络对Negative的候选框进行了采样，取背景分类置信度最高的前N个候选框，使得正负样本比例稳定在1:3。
SSD算法神经网络的训练损失函数由分类损失和位置损失两部分构成，分类损失是指每个候选框与其配准框的分类的差异，这里定义为交叉熵损失函数，对于有配准框的候选框(Positive)，计算它和配准框所在分类的交叉熵损失，对于没有配准框的候选框(Negative)，计算他和背景类的交叉熵损失。位置损失只针对Positive的候选框，其中，每个候选框和其配准框的损失定义为四个修正值cx、cy、w、h的平滑-范数损失(smoothL1)的和，smoothL1的定义如下：
这里使用smoothL1损失是为了在预测值和真实值的差距x较小时(x<1)，误差更小，而不是线性减小，所以这样对于已经比较接近真实值的预测的惩罚就较小，有助于防止网络过拟合。
参考图4，本发明实施例公开的基于目标检测的移动设备端签状物根数计数系统包括：移动设备摄相设备1，用于打开闪光灯对手中所握签状物端面拍照进行图像采集；采集图像所得照片传入模块2，用于将采集图像所得照片传入目标检测识别模块；目标检测识别模块3，用于利用目标检测算法神经网络对签状物进行目标检测识别；签状物的根数计算模块4，用于根据目标检测识别结果计算识别的签状物的根数；及计数结果输出模块5，用于输出并显示签状物的总根数和带框标注的签状物图片。
进一步地，目标检测识别模块3包括：第一目标检测识别模块31，用于通过第一目标检测算法神经网络对签状物进行目标检测识别；前景分类数量判断模块33，用于判断所述第一目标检测识别模块一次分类和所述二次分类结果中前景分类是否为一类；及第二目标检测识别模块32，用于通过第二目标检测算法神经网络对签状物进行目标检测识别；其中，前景分类数量判断模块33判断第一目标检测识别模块31一次分类结果中前景分类至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则通过采集图像所得照片传入模块33将采集图像所得照片传入第二目标检测算法神经网络对签状物进行目标检测识别。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述签状物根数计数方法包括：
握住需要计数的签状物，使得签状物一端面尽量平整，并将该端面朝上；
利用移动设备摄相设备，打开闪光灯对手中所握签状物端面拍照进行图像采集；
将采集图像所得照片传入目标检测算法神经网络对签状物进行目标检测识别；
根据目标检测识别结果计算识别的签状物的根数；及
输出并显示签状物的总根数和带框标注的签状物图片。
2.根据权利要求1所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，利用所述移动设备摄相设备采集图像时，在摄像界面加入一个位于中心的圆框，用于辅助拍照时将所有签状物置于摄像视野中心；采集图像后，进行裁剪，只保留圆框的外切正方形区域，裁剪对图像进行缩放，使得图像边长最大为1000像素值。
3.根据权利要求1所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：
输入采集图像照片至第一目标检测算法神经网络；
经过特征提取网络提取图像特征形成签状物特征图；
根据签状物特征图生成多个签状物的矩形候选框；
对生成的候选框进行一次分类并得出目标分类概率得分；
对一次分类后的候选框进行一次位置修正；
将生成的候选框映射到签状物特征图上并从签状物特征图中得到候选框的特征；
根据候选框的特征对候选框进行二次分类并得出目标分类概率得分；
对候选框进行二次位置修正；及
输出经二次位置修正后二次分类目标分类概率得分超过预定阈值的候选框或取经二次位置修正后按二次分类目标分类概率得分从高至低排序的前N个候选框输出。
4.根据权利要求3所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述一次分类和所述二次分类的方法包括：
对生成的候选框进行前景和背景分类，预测生成的候选框属于目标前景和背景的概率；及
根据预测的候选框属于前景分类的概率得出目标分类概率得分；
其中，所述一次分类后判断前景分类是否为一类；当一次分类后前景分类判断为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分。
5.根据权利要求4所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述一次分类和所述二次分类后均对生成的候选框进行非极大抑制去除高重叠度的候选框。
6.根据权利要求3所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述多个签状物的矩形候选框的生成方法包括：在图像中按照不同长宽比和不同面积大小生成多个的矩形候选框，其包括：
经过一个3×3的卷积层使得签状物特征图上像素点感知范围扩展为以原图上stride＝(M,M)的像素点为中心的一大片区域；
针对签状物特征图中的每个像素以一个预定面积为基础，生成多种不同长宽比的矩形候选框；及
将预定面积依次扩大成多个不同大小的面积再分别生成多种不同长宽比的矩形候选框。
7.根据权利要求3所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，所述一次位置修正和所述二次位置修正的方法包括：利用像素点的特征来预测该像素点生成的多个候选框的精确位置，所述像素点的特征是像素点的N_CHANNEL的值，其中，所述利用像素点的特征来预测该像素点生成的多个候选框的精确位置的方法包括：利用Bounding Box Regression方法通过一层全连接层来回归dx、dy、dw、dh四个值，然后利用dx、dy、dw、dh四个值来对候选框的位置进行修正，其中，dx和dy为边框中心点坐标修正值，dw边框宽度修正值，dh边框高度修正值。
8.根据权利要求4所述的基于目标检测的移动设备端签状物根数计数方法，其特征在于，当所述一次分类后前景分类判断为至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则所述目标检测算法神经网络对签状物进行目标检测识别的方法包括：
输入采集图像照片至第二目标检测算法神经网络；
经过特征提取网络提取图像特征形成签状物特征图；
将签状物特征图池化成128×128、64×64或32×32的网格；
在网格中每个像素点多尺度生成多个签状物的矩形候选框；
通过一个3×3的卷积层直接预测出候选框的各类前景分类及背景分类概率得分和位置修正值；及
输出经位置修正后目标前景分类概率得分超过预定阈值的候选框或取经二次位置修正后按目标前景分类概率得分从高至低排序的前N个候选框输出。
9.基于目标检测的移动设备端签状物根数计数系统，其特征在于，所述签状物根数计数系统包括：
移动设备摄相设备，用于打开闪光灯对手中所握签状物端面拍照进行图像采集；
采集图像所得照片传入模块，用于将采集图像所得照片传入目标检测识别模块；
目标检测识别模块，用于利用目标检测算法神经网络对签状物进行目标检测识别；
签状物的根数计算模块，用于根据目标检测识别结果计算识别的签状物的根数；及
计数结果输出模块，用于输出并显示签状物的总根数和带框标注的签状物图片。
10.根据权利要求9所述的基于目标检测的移动设备端签状物根数计数系统，其特征在于，所述目标检测识别模块包括：
第一目标检测识别模块，用于通过第一目标检测算法神经网络对签状物进行目标检测识别；
前景分类数量判断模块，用于判断所述第一目标检测识别模块一次分类结果中前景分类是否为一类；及
第二目标检测识别模块，用于通过第二目标检测算法神经网络对签状物进行目标检测识别；
其中，所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类为一类时，目标前景分类的检测识别不受目标前景之外前景分类的干扰，则继续利用所述第一目标检测识别模块根据预测的候选框属于前景分类的概率得出一次分类目标分类概率得分并得出目标检测识别结果；及所述前景分类数量判断模块判断所述第一目标检测识别模块一次分类结果中前景分类至少两类时，目标前景分类的检测识别受到目标前景之外前景分类的干扰，则通过所述采集图像所得照片传入模块将所述采集图像所得照片传入所述第二目标检测算法神经网络对签状物进行目标检测识别。
CN201810892643.XA 2018-08-07 2018-08-07 基于目标检测的移动设备端签状物根数计数方法及系统 Active CN109242826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810892643.XA CN109242826B (zh) 2018-08-07 2018-08-07 基于目标检测的移动设备端签状物根数计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810892643.XA CN109242826B (zh) 2018-08-07 2018-08-07 基于目标检测的移动设备端签状物根数计数方法及系统

Publications (2)

Publication Number Publication Date
CN109242826A true CN109242826A (zh) 2019-01-18
CN109242826B CN109242826B (zh) 2022-02-22

Family

ID=65070749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810892643.XA Active CN109242826B (zh) 2018-08-07 2018-08-07 基于目标检测的移动设备端签状物根数计数方法及系统

Country Status (1)

Country Link
CN (1) CN109242826B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348318A (zh) * 2019-06-18 2019-10-18 北京大米科技有限公司 图像识别方法、装置、电子设备及介质
CN111028251A (zh) * 2019-12-27 2020-04-17 四川大学 一种牙科图片剪裁方法、系统、设备及存储介质
WO2020258977A1 (zh) * 2019-06-28 2020-12-30 北京海益同展信息科技有限公司 一种对象统计方法和装置
CN112204613A (zh) * 2019-02-01 2021-01-08 株式会社计数技研 计数装置、学习器制造装置、计数方法和学习器制造方法
CN116958053A (zh) * 2023-06-21 2023-10-27 三峡大学 一种基于yolov4-tiny的竹签计数方法
US12022805B2 (en) 2020-10-06 2024-07-02 Plainsight Technologies Inc. System and method of counting livestock

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903006A (zh) * 2014-03-05 2014-07-02 中国科学院合肥物质科学研究院 一种基于Android平台的农作物害虫识别方法及系统
CN106384357A (zh) * 2016-10-25 2017-02-08 张志能 一种签签计数方法及设备
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN108108688A (zh) * 2017-12-18 2018-06-01 青岛联合创智科技有限公司 一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法
CN108288047A (zh) * 2018-02-07 2018-07-17 成都新舟锐视科技有限公司 一种行人/车辆检测方法
CN108334815A (zh) * 2018-01-11 2018-07-27 深圳供电局有限公司 电力二次设备的巡检方法、开关状态识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903006A (zh) * 2014-03-05 2014-07-02 中国科学院合肥物质科学研究院 一种基于Android平台的农作物害虫识别方法及系统
CN106384357A (zh) * 2016-10-25 2017-02-08 张志能 一种签签计数方法及设备
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN108108688A (zh) * 2017-12-18 2018-06-01 青岛联合创智科技有限公司 一种基于低维时空特征提取与主题建模的肢体冲突行为检测方法
CN108334815A (zh) * 2018-01-11 2018-07-27 深圳供电局有限公司 电力二次设备的巡检方法、开关状态识别方法及系统
CN108288047A (zh) * 2018-02-07 2018-07-17 成都新舟锐视科技有限公司 一种行人/车辆检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112204613A (zh) * 2019-02-01 2021-01-08 株式会社计数技研 计数装置、学习器制造装置、计数方法和学习器制造方法
CN110348318A (zh) * 2019-06-18 2019-10-18 北京大米科技有限公司 图像识别方法、装置、电子设备及介质
WO2020258977A1 (zh) * 2019-06-28 2020-12-30 北京海益同展信息科技有限公司 一种对象统计方法和装置
CN111028251A (zh) * 2019-12-27 2020-04-17 四川大学 一种牙科图片剪裁方法、系统、设备及存储介质
US12022805B2 (en) 2020-10-06 2024-07-02 Plainsight Technologies Inc. System and method of counting livestock
CN116958053A (zh) * 2023-06-21 2023-10-27 三峡大学 一种基于yolov4-tiny的竹签计数方法
CN116958053B (zh) * 2023-06-21 2024-05-14 三峡大学 一种基于yolov4-tiny的竹签计数方法

Also Published As

Publication number Publication date
CN109242826B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN109242826A (zh) 基于目标检测的移动设备端签状物根数计数方法及系统
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN110287960B (zh) 自然场景图像中曲线文字的检测识别方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN109034044B (zh) 一种基于融合卷积神经网络的行人再识别方法
CN106897738B (zh) 一种基于半监督学习的行人检测方法
CN106815604B (zh) 基于多层信息融合的注视点检测方法
CN109902806A (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN106372666B (zh) 一种目标识别方法及装置
CN110263705A (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测方法
CN108304873A (zh) 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN107729854A (zh) 一种机器人的手势识别方法、系统及机器人
CN109684906B (zh) 基于深度学习的检测红脂大小蠹的方法
CN107273832B (zh) 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN106650731A (zh) 一种鲁棒的车牌、车标识别方法
CN107316036A (zh) 一种基于级联分类器的害虫识别方法
CN104156734A (zh) 一种基于随机蕨分类器的全自主在线学习方法
CN106295532B (zh) 一种视频图像中的人体动作识别方法
CN113128335B (zh) 微体古生物化石图像检测、分类及发现方法、系统及应用
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法
CN107194418A (zh) 一种基于对抗特征学习的水稻蚜虫检测方法
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN108647695A (zh) 基于协方差卷积神经网络的低对比度图像显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant