CN113033481B - 基于一阶全卷积目标检测算法的手持棍棒的检测方法 - Google Patents

基于一阶全卷积目标检测算法的手持棍棒的检测方法 Download PDF

Info

Publication number
CN113033481B
CN113033481B CN202110424841.5A CN202110424841A CN113033481B CN 113033481 B CN113033481 B CN 113033481B CN 202110424841 A CN202110424841 A CN 202110424841A CN 113033481 B CN113033481 B CN 113033481B
Authority
CN
China
Prior art keywords
human body
stick
detection
image
fcos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110424841.5A
Other languages
English (en)
Other versions
CN113033481A (zh
Inventor
谢红刚
杨明
严伯伦
万湘奎
丰励
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202110424841.5A priority Critical patent/CN113033481B/zh
Publication of CN113033481A publication Critical patent/CN113033481A/zh
Application granted granted Critical
Publication of CN113033481B publication Critical patent/CN113033481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，用于实时监控视频，对人手持棍棒情况进行检测与识别并及时预警。本方法包括以下步骤：①获取现场视频图像；②用人体形态检测模型对图像进行检测；③用基于长宽比优先的FCOS模型对图像进行检测；④根据手持棍棒联合检测方法来判定并生成消息；⑤将检测识别结果进行展示。本发明用人工标注的人体站立、坐着、蹲着三种不同形态下图像训练的YOLOv4人体检测模型，有助于检测人体的手部位置，除此之外，采用结合长宽比优先的FCOS网络结构来训练模型，有助于改善棍棒这类细长物体检测的准确性，最后，通过手持棍棒联合检测方法来判定，在一定程度上降低了本发明对手持棍棒的误检率。

Description

基于一阶全卷积目标检测算法的手持棍棒的检测方法
技术领域
本发明涉及视频识别检测领域，更具体的说，涉及一种基于一阶全卷积目标检测算法的手持棍棒的检测方法。
背景技术
目前，机器视觉对大目标与人体的检测效果还是不错的，但是它对棍棒这一类细长物体及细长物体与人手部相结合的形态行为的检测效果欠佳，为此，本发明提供一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，旨在解决这些问题。
本发明首先利用摄像头实时监控并采集图像，在采集到图像之后，用人工标注的人体站立、坐着或蹲着三种不同形态下图像学习训练建立的人体检测模型来对图像进行检测，与传统的人体检测方法相比，有助于检测人体的手部位置。然后采用结合长宽比优先的FCOS网络结构来训练模型，再加载FCOS棍棒检测模型对图像进行检测，与传统的棍棒检测方法相比，有助于提高棍棒这类细长物体检测的准确性。最后，提出了手持棍棒联合检测判定方法，通过双条件来联合判定，在一定程度上降低了对手持棍棒的误检率。
发明内容
本发明的目的就在于提供一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法。
本发明的目的是这样实现的：
一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，包括以下步骤：
步骤1、取现场视频图像：通过摄像头对现场进行视频监控，然后对现场的监控视频进行图像采样；
步骤2、用人体形态检测模型对图像进行检测：通过训练学习建立的人体检测模型对现场视频图像进行检测，判断图像里面是否有人；
步骤3、用基于长宽比优先的FCOS模型对图像进行检测；
步骤4、根据手持棍棒联合检测方法来判定并生成消息；
步骤5、将检测识别结果进行展示。
在上述的一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，步骤2具体包括
步骤2.1、训练学习建立人体检测模型，包括
b、从数据集里面挑选出不同形态下的人体图像；
从COCO、ImageNet、PASCAL VOC数据集选取含有人体站立、坐着、蹲着三种不同形态下图像数据，并补充部分收集图像数据；
b、人工标注出人体站立、坐着、蹲着三种不同形态的图像内容和格式；
c、基于YOLOv4网络训练学习人体形态检测模型；
用人工标注的图像训练YOLOv4人体形态检测模型，其中YOLOv4算法使用的损失函数如下所示：
Figure GDA0004182403710000021
Figure GDA0004182403710000022
Figure GDA0004182403710000023
式(1)中，LCIOU为损失函数，IOU是交并比(图像预测框和真实框重叠区域的比值)，d代表的是计算两个中心点之间的欧式距离，κ代表的是闭包的对角线距离；式(2)中，σ是衡量长宽比一致性的参数，wgt和hgt为真实框的宽、高，w和h为预测框的宽、高；式(3)中，
Figure GDA0004182403710000024
用于做权衡的参数；
d、获得训练优化后的YOLOv4人体形态检测模型；
步骤2.2、加载人体形态检测模型对图像进行检测，并获得检测结果，根据获得的检测结果判断是否有人，是则将图像进行步骤3的处理，否则返回重新图像采样。
在上述的一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，步骤3具体包括
步骤3.1、训练优化后的FCOS棍棒检测模型，包括
b、从数据集里面挑选出含有各种长条形棍棒样式的图像；
从COCO、ImageNet、PASCAL VOC数据集选取含有各种长条形棍棒样式的图像数据，并补充部分收集图像数据；
b、人工标注出各种长条形棍棒样式的图像内容和格式；
c、采用结合长宽比优先的FCOS网络结构，训练模型；
FCOS的模型结构由主干网络CNN、特征金字塔网络和head(获取网络输出内容的网络)这三部分组成；
FCOS模型用到的损失函数公式为：
Figure GDA0004182403710000031
Figure GDA0004182403710000032
Lreg＝1-IOU (6)
式(4)中，LFCOS为损失函数，p(x,y)为预测分类概率，t(x,y)为预测框的回归信息，Lcls是分类损失，Lreg是回归损失，Npos表示正样本数量(点(x,y)落在棍棒对应的真实目标框中称为正样本),λ是回归损失Lreg的平衡系数，可将λ设为1；两个求和
Figure GDA0004182403710000034
是指对特征图上的所有点(x,y)所对应的损失进行求和；β是/>
指示函数：当点(x,y)落在棍棒对应的真实目标框中,指示函数取1，否则取0；式(5)中，ξ>0为可调节因子，式(6)中，IOU为交并比；
为了提高损失函数的回归精度，将FCOS算法扩展至长宽比优先，该调整参数计算公式为：
Figure GDA0004182403710000033
式(7)中，l、r、t、b分别是到预测边界框左边界、右边界、上边界和下边界的距离,τ是物体的长宽比，其计算公式为：
τ＝min(w,h)/max(w,h) (8)
式(8)中，w和h是真实物体标注矩形框的宽度和高度；
d、获得训练优化后的FCOS棍棒检测模型；
步骤3.2、
加载FCOS棍棒检测模型对图像进行检测并获得检测结果，根据获得的检测结果判断是否有棍棒，是则将图像上传到下一模块，否则返回重新图像采样。
在上述的一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，步骤4具体包括
b、用轮廓跟踪参数从图像中提取棍棒和人体的轮廓；
图像中的人体和棍棒在之前的YOLOv4人体检测模型和FCOS棍棒检测模型都已经分别被检测过了，可以得到对应的矩形检测框，再用轮廓跟踪参数从图像中提取棍棒和人体的轮廓；轮廓跟踪的方法是：先根据“探测准则”找出目标物体轮廓上的第一个像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体上的其它像素；提取到人体站立、坐着、蹲着三种不同形态下的轮廓是不一样的，其中人体站立和蹲着对应的这两者轮廓差别最大；
b、得到棍棒和人体这两个四边形的四个顶点坐标；
用轮廓跟踪参数，把棍棒和人体的轮廓从图像中提取出来，棍棒和人体的轮廓都是不规则的四边形，进而得到对应四边形的四个凹点以及对应的顶点坐标；
c、用四边形的重心公式算出棍棒重心和人体重心；
四边形的重心坐标(Xg，Yg)计算公式为：
Figure GDA0004182403710000041
Figure GDA0004182403710000042
式中(xi,yj)(i＝1,2,3,4)为四边形的四个顶点坐标，通过公式(9)、(10)计算可得棍棒对应的重心坐标(Xg1,Yg1)，同理可得人体对应的重心坐标(Xg2,Yg2)；
d、用欧式公式算出两个重心之间的距离差；
棍棒重心和人体重心的欧式距离计算公式是：
Figure GDA0004182403710000043
式(11)中，将棍棒重心坐标(Xg1,Yg1)和人体重心坐标(Xg2,Yg2)代入进去计算可得棍棒重心和人体重心之间的距离差d(Xg,Yg)，将d(Xg,Yg)的阈值记为γ，γ数值的具体大小应该结合实际情况而定，只有检测过程中的人体重心和棍棒重心之间的距离差数值小于阈值γ才算满足要求；
c、计算棍棒检测框和人体检测框相并部分的面积；
矩形框A为棍棒的检测框，矩形框B为人体的检测框，两个矩形框的位置关系图如图5所示；矩形框A和B相并部分面积为：
S并＝S2+S3-S1 (12)
其中S1为矩形框A和B相交的阴影部分的面积，S2为矩形框A的面积，S3为矩形框B的面积；
d、计算人体棍棒联合比例系数(422)；
根据所述人体区域和棍棒区域的相并部分面积和重叠面积来计算人体棍棒联合比例系数，对应公式为：
Figure GDA0004182403710000051
Φunion为人体棍棒联合比例系数，其中Φunion的阈值记为
Figure GDA0004182403710000052
只有检测过程中的人体棍棒联合比例系数的数值大于/>
Figure GDA0004182403710000053
才算满足要求；
是否人体棍棒联合比例系数大于预设阈值
Figure GDA0004182403710000054
并且棍棒重心和人体重心之间的距离差小于所述预设阈值γ(401)，是则手持棍棒(402)，否则未手持棍棒(403)，最后生成消息(404)。
在上述的一种结合长宽比优先的一阶全卷积目标检测(FCOS)算法的手持棍棒的检测方法，步骤5中将检测识别结果进行展示的具体方法是框定手持棍棒发生的区域，并给出报警信息。
本发明具有下列优点和有益效果：
①本发明的人体检测模型是用人工标注的人体站立、坐着或蹲着三种不同形态下图像学习训练建立的；传统的人体检测模型只是用含有站立形态的人体图像进行学习训练，形态单一，不利于检测人体的手部位置，但用多形态下的人体图像学习训练建立的人体检测模型，有助于检测人体的手部位置。
②采用结合长宽比优先的FCOS网络结构来训练模型，再用基于长宽比优先的FCOS模型对棍棒这类细长物体进行检测；传统的FCOS模型是基于中心优先来对细长物体进行检测，由于细长物体的长边衰减较慢，而短边的衰减较快，会导致细长物体定位不准，但用基于长宽比优先的FCOS棍棒检测模型，有助于提高棍棒这类细长物体检测的准确性。
③提出了手持棍棒联合检测判定方法，即人体棍棒联合比例系数大于预设阈值
Figure GDA0004182403710000061
并且棍棒重心和人体重心之间的距离差小于所述预设阈值γ时，才算满足要求；传统的判定只需要单一的条件，不够严谨并且容易出现误检的情况，但用手持棍棒联合检测判定方法，用双条件来联合判定，在一定程度上降低了对手持棍棒的误检率。/>
附图说明
图1为本发明的检测流程图；
图2为本发明的人体形态检测模型检测流程图；
图3为基于长宽比优先的FCOS棍棒模型检测流程图；
图4为手持棍棒联合状态方法检测流程图；
图5为棍棒和人体的检测框的位置关系图。
具体实施方式
一、方法
1、本方法的步骤
如图1，本方法包括以下步骤：
步骤一、获取现场视频图像—101；
步骤二、用人体形态检测模型对图像进行检测—102；
步骤三、用基于长宽比优先的FCOS模型对图像进行检测—103；
步骤四、根据手持棍棒联合检测方法来判定并生成消息—104；
步骤五、将检测识别结果进行展示—105。
2、工作机理
传统的人体检测模型只是用含有站立形态的人体图像进行学习训练，形态单一，不利于检测人体的手部位置，因此需要用人工标注的人体站立、坐着或蹲着三种不同形态下的图像学习训练，有助于检测人体的手部位置。检测到人体后，将图像传到基于长宽比优先的FCOS棍棒检测模型做进一步检测，检测到棍棒后，再用手持棍棒联合检测判定并生成消息，最后将检测识别结果进行展示。
首先通过摄像头对现场进行视频监控，然后对现场的监控视频进行图像采样。
采样图像后，把图像上传到基于YOLOv4网络训练学习建立的人体形态检测模型，来对图像进行检测，其中人体形态检测模型是是用人工标注的人体站立、坐着或蹲着三种不同形态下的图像学习训练建立的，采用多形态下的人体图像学习建立的人体形态检测模型，有助于检测人体的手部位置。若检测不到人体，则返回重新图像采样，若检测到人体，则将图像上传到基于长宽比优先的FCOS棍棒检测模型。
然后，用基于长宽比优先的FCOS棍棒检测模型对检测到人体的图像做进一步检测。在检测过程中，由于细长物体的长边衰减较慢，而短边的衰减较快，会导致细长物体定位不准，而提出的FCOS模型长宽比优先的概念，有助于解决这一问题。若检测不到棍棒，则返回重新图像采样，若检测到棍棒，则再用手持棍棒联合检测方法来判定并生成消息。
之后，用手持棍棒联合检测方法来判定并生成消息。即只有所述人体棍棒联合比例系数大于预设阈值
Figure GDA0004182403710000071
和所述人体区域和棍棒区域的距离小于所述预设阈值γ时，才判定为手持棍棒，其它情况视为未手持棍棒，并生成对应的消息。通过双条件来判定，降低了检测的误检率。
3、子步骤
1)获取现场视频图像101
通过摄像头对现场进行视频监控，然后对现场的监控视频进行图像采样。
2)用人体检测模型对图像进行检测102
用人工标注的人体站立、坐着或蹲着三种不同形态下图像学习训练基于YOLOv4网络结构的人体形态检测模型，再用学习训练建立的人体形态检测模型对图像进行检测，若检测不到人体，则返回重新图像采样，若检测到人体，则将图像上传到基于长宽比优先的FCOS棍棒检测模型。
如图2，其流程如下：
a、从数据集里面挑选出不同形态下的人体图像201；
c、人工标注出人体站立、坐着、蹲着三种不同形态的图像内容和格式202；
c、基于YOLOv4网络训练学习人体形态检测模型203；
d、获得训练优化后的YOLOv4人体形态检测模型204；
e、加载人体形态检测模型对图像进行检测205；
f、获得检测结果206；
g、根据获得的检测结果206，判断是否有人207，是则将图像进行步骤3的处理208，否则返回重新图像采样209。
3)用基于长宽比优先的FCOS模型对图像进行检测103
采用结合长宽比优先的FCOS网络结构来训练模型，再用基于长宽比优先的FCOS棍棒检测模型对已检测到人体的图像做进一步检测，若检测不到棍棒，则返回重新图像采样，若检测到棍棒，则再用手持棍棒联合检测方法来判定并生成消息。
为了提高损失函数的回归精度，将FCOS算法扩展至长宽比优先，该调整参数计算公式为：
Figure GDA0004182403710000081
其中l、r、t、b分别是到预测边界框左边界、右边界、上边界和下边界的距离,τ是物体的长宽比，其计算公式为：
τ＝min(w,h)/max(w,h)
w和h是真实物体标注矩形框的宽度和高度。
如图3，其流程如下：
a、从数据集里面挑选出含有各种长条形棍棒样式的图像301；
b、人工标注出各种长条形棍棒样式的图像内容和格式302；
c、采用结合长宽比优先的FCOS网络结构，训练模型303；
d、获得训练优化后的FCOS棍棒检测模型304；
e、加载FCOS棍棒检测模型对图像进行检测305；
f、获得检测结果306；
g、根据获得的检测结果306判断是否有棍棒307，是则将图像上传到下一模块308，否则返回重新图像采样309。
4)根据手持棍棒联合检测方法来判定并生成消息104
用轮廓跟踪参数从图像中提取棍棒和人体的轮廓，并进一步得到对应棍棒和人体的顶点坐标，然后通过重心公式和欧式距离公式计算出人体区域和棍棒区域的距离；根据棍棒预测框和人体预测框的重叠面积和相并部分面积的比值来计算人体棍棒联合比例系数。只有所述人体棍棒联合比例系数大于预设阈值
Figure GDA0004182403710000091
和所述人体区域和棍棒区域的距离小于所述预设阈值γ时，才判定为手持棍棒，其它情况视为未手持棍棒，并生成对应的消息。
如图4，其流程如下：
a、用轮廓跟踪参数从图像中提取棍棒和人体的轮廓411；
b、得到棍棒和人体这两个四边形的四个顶点坐标412；
c、用四边形的重心公式算出棍棒重心和人体重心413；
d、用欧式公式算出两个重心之间的距离差414；
a、计算棍棒检测框和人体检测框相并部分的面积421；
b、计算人体棍棒联合比例系数422；
Ⅰ、是否人体棍棒联合比例系数大于预设阈值
Figure GDA0004182403710000092
并且棍棒重心和人体重心之间的距离差小于所述预设阈值γ401，是则手持棍棒402，否则未手持棍棒403；
Ⅱ、生成消息(404)。
4)将检测识别结果进行展示105
框定手持棍棒发生的区域，并给出报警信息。
二、创新点
1：本发明的人体形态检测模型是用人工标注的人体站立、坐着、蹲着三种不同形态下图像学习训练建立的，用多形态下的人体图像学习建立的人体形态检测模型，有助于检测人体的手部位置。
2：采用结合长宽比优先的FCOS网络结构来训练模型，用基于长宽比优先的FCOS模型对棍棒进行检测，有助于提高棍棒这类细长物体检测的准确性。
3：提出了手持棍棒联合检测判定方法，即人体棍棒联合比例系数大于预设阈值
Figure GDA0004182403710000101
并且棍棒重心和人体重心之间的距离差小于所述预设阈值γ时，才算满足要求。用双条件来联合判定，在一定程度上降低了对手持棍棒的误检率。/>

Claims (4)

1.一种结合长宽比优先的一阶全卷积目标检测算法的手持棍棒的检测方法，包括以下步骤：
步骤1、取现场视频图像(101)：通过摄像头对现场进行视频监控，然后对现场的监控视频进行图像采样；
步骤2、用人体形态检测模型对图像进行检测(102)：通过训练学习建立的人体检测模型对现场视频图像进行检测，判断图像里面是否有人；
步骤3、用基于长宽比优先的FCOS模型对图像进行检测(103)；
步骤4、根据手持棍棒联合检测方法来判定并生成消息(104)；
步骤5、将检测识别结果进行展示(105)；
步骤3具体包括
步骤3.1、训练优化后的FCOS棍棒检测模型，包括
a、从数据集里面挑选出含有各种长条形棍棒样式的图像(301)；
从COCO、ImageNet、PASCAL VOC数据集选取含有各种长条形棍棒样式的图像数据，并补充部分收集图像数据；
b、人工标注出各种长条形棍棒样式的图像内容和格式(302)；
c、采用结合长宽比优先的FCOS网络结构，训练模型(303)；
FCOS的模型结构由主干网络CNN、特征金字塔网络和head这三部分组成，head指获取网络输出内容的网络；
FCOS模型用到的损失函数公式为：
Figure FDA0004136586350000011
Figure FDA0004136586350000012
Lreg＝1-IOU (6)
式(4)中，LFCOS为损失函数，p(x,y)为预测分类概率，t(x,y)为预测框的回归信息，Lcls是分类损失，Lreg是回归损失，Npos表示正样本数量，点(x,y)落在棍棒对应的真实目标框中称为正样本,λ是回归损失Lreg的平衡系数，可将λ设为1；两个求和
Figure FDA0004136586350000013
是指对特征图上的所有点(x,y)所对应的损失进行求和；β是指示函数：当点(x,y)落在棍棒对应的真实目标框中,指示函数取1，否则取0；式(5)中，ξ>0为可调节因子，式(6)中，IOU为交并比；
为了提高损失函数的回归精度，将FCOS算法扩展至长宽比优先，调整参数计算公式为：
Figure FDA0004136586350000021
式(7)中，l、r、t、b分别是到预测边界框左边界、右边界、上边界和下边界的距离,τ是物体的长宽比，其计算公式为：
τ＝min(w,h)/max(w,h) (8)
式(8)中，w和h是真实物体标注矩形框的宽度和高度；
d、获得训练优化后的FCOS棍棒检测模型(304)；
步骤3.2、
加载FCOS棍棒检测模型对图像进行检测(305)并获得检测结果(306)，根据获得的检测结果(306)判断是否有棍棒(307)，是则将图像上传到下一模块(308)，否则返回重新图像采样(309)。
2.根据权利要求1所述的一种结合长宽比优先的一阶全卷积目标检测算法的手持棍棒的检测方法，其特征在于：步骤2具体包括
步骤2.1、训练学习建立人体检测模型，包括
a、从数据集里面挑选出不同形态下的人体图像(201)；
从COCO、ImageNet、PASCAL VOC数据集选取含有人体站立、坐着、蹲着三种不同形态下图像数据，并补充部分收集图像数据；
b、人工标注出人体站立、坐着、蹲着三种不同形态的图像内容和格式(202)；
c、基于YOLOv4网络训练学习人体形态检测模型(203)；
用人工标注的图像训练YOLOv4人体形态检测模型，其中YOLOv4算法使用的损失函数如下所示：
Figure FDA0004136586350000022
Figure FDA0004136586350000031
Figure FDA0004136586350000032
式(1)中，LCIOU为损失函数，IOU是交并比，交并比是图像预测框和真实框重叠区域的比值，d代表的是计算两个中心点之间的欧式距离，κ代表的是闭包的对角线距离；式(2)中，σ是衡量长宽比一致性的参数，wgt和hgt为真实框的宽、高，w′和h′为预测框的宽、高；式(3)中，
Figure FDA0004136586350000033
用于做权衡的参数；
d、获得训练优化后的YOLOv4人体形态检测模型(204)；
步骤2.2、加载人体形态检测模型对图像进行检测(205)，并获得检测结果(206)，根据获得的检测结果(206)判断是否有人(207)，是则将图像进行步骤3的处理(208)，否则返回重新图像采样(209)。
3.根据权利要求1所述的一种结合长宽比优先的一阶全卷积目标检测算法的手持棍棒的检测方法，其特征在于：步骤4具体包括
a、用轮廓跟踪参数从图像中提取棍棒和人体的轮廓(411)；
图像中的人体和棍棒在之前的YOLOv4人体检测模型和FCOS棍棒检测模型都已经分别被检测过了，可以得到对应的矩形检测框，再用轮廓跟踪参数从图像中提取棍棒和人体的轮廓；轮廓跟踪的方法是：先根据“探测准则”找出目标物体轮廓上的第一个像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体上的其它像素；提取到人体站立、坐着、蹲着三种不同形态下的轮廓是不一样的，其中人体站立和蹲着对应的这两者轮廓差别最大；
b、得到棍棒和人体这两个四边形的四个顶点坐标(412)；
用轮廓跟踪参数，把棍棒和人体的轮廓从图像中提取出来，棍棒和人体的轮廓都是不规则的四边形，进而得到对应四边形的四个凹点以及对应的顶点坐标；
c、用四边形的重心公式算出棍棒重心和人体重心(413)；
四边形的重心坐标(Xg，Yg)计算公式为：
Figure FDA0004136586350000041
Figure FDA0004136586350000042
式中(xi,yj)(i＝1,2,3,4)为四边形的四个顶点坐标，通过公式(9)、(10)计算可得棍棒对应的重心坐标(Xg1,Yg1)，同理可得人体对应的重心坐标(Xg2,Yg2)；
d、用欧式公式算出两个重心之间的距离差(414)；
棍棒重心和人体重心的欧式距离计算公式是：
Figure FDA0004136586350000043
式(11)中，将棍棒重心坐标(Xg1,Yg1)和人体重心坐标(Xg2,Yg2)代入进去计算可得棍棒重心和人体重心之间的距离差d(Xg,Yg)，将d(Xg,Yg)的阈值记为γ，γ数值的具体大小应该结合实际情况而定，只有检测过程中的人体重心和棍棒重心之间的距离差数值小于阈值γ才算满足要求；
a、计算棍棒检测框和人体检测框相并部分的面积(421)；
矩形框A为棍棒的检测框，矩形框B为人体的检测框；矩形框A和B相并部分面积为：
S并＝S2+S3-S1 (12)
其中S1为矩形框A和B相交的阴影部分的面积，S2为矩形框A的面积，S3为矩形框B的面积；
b、计算人体棍棒联合比例系数(422)；
根据所述人体区域和棍棒区域的相并部分面积和重叠面积来计算人体棍棒联合比例系数，对应公式为：
Figure FDA0004136586350000051
Φunion为人体棍棒联合比例系数，其中Φunion的阈值记为
Figure FDA0004136586350000052
只有检测过程中的人体棍棒联合比例系数的数值大于/>
Figure FDA0004136586350000053
才算满足要求；
是否人体棍棒联合比例系数大于预设阈值
Figure FDA0004136586350000054
并且棍棒重心和人体重心之间的距离差小于所述预设阈值γ(401)，是则手持棍棒(402)，否则未手持棍棒(403)，最后生成消息(404)。
4.根据权利要求1所述的一种结合长宽比优先的一阶全卷积目标检测算法的手持棍棒的检测方法，其特征在于：步骤5中将检测识别结果进行展示(105)的具体方法是框定手持棍棒发生的区域，并给出报警信息。
CN202110424841.5A 2021-04-20 2021-04-20 基于一阶全卷积目标检测算法的手持棍棒的检测方法 Active CN113033481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424841.5A CN113033481B (zh) 2021-04-20 2021-04-20 基于一阶全卷积目标检测算法的手持棍棒的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424841.5A CN113033481B (zh) 2021-04-20 2021-04-20 基于一阶全卷积目标检测算法的手持棍棒的检测方法

Publications (2)

Publication Number Publication Date
CN113033481A CN113033481A (zh) 2021-06-25
CN113033481B true CN113033481B (zh) 2023-06-02

Family

ID=76457041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424841.5A Active CN113033481B (zh) 2021-04-20 2021-04-20 基于一阶全卷积目标检测算法的手持棍棒的检测方法

Country Status (1)

Country Link
CN (1) CN113033481B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743273B (zh) * 2021-08-27 2024-04-05 西安交通大学 基于视频图像目标检测的实时跳绳计数方法、装置和设备
CN113591811A (zh) * 2021-09-28 2021-11-02 湖南大学 零售货柜商品搜索识别方法、系统及计算机可读存储介质
CN113971811B (zh) * 2021-11-16 2023-06-06 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN116229191B (zh) * 2023-03-13 2023-08-29 东莞理工学院 一种基于归一化角点距离和目标前景信息的目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN109035305A (zh) * 2018-08-10 2018-12-18 中北大学 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111289B2 (en) * 2002-07-15 2012-02-07 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
CN106372662B (zh) * 2016-08-30 2020-04-28 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN111723786B (zh) * 2020-08-21 2020-12-25 之江实验室 一种基于单模型预测的安全帽佩戴检测方法及装置
CN111985621A (zh) * 2020-08-24 2020-11-24 西安建筑科技大学 口罩佩戴实时检测的神经网络模型的搭建方法及实施系统
CN112347895A (zh) * 2020-11-02 2021-02-09 北京观微科技有限公司 一种基于边界优化神经网络的舰船遥感目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法
CN109035305A (zh) * 2018-08-10 2018-12-18 中北大学 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾婧 ; 吴宏刚 ; 张翔 ; .一种融合预测过采样的运动目标检测算法.电讯技术.2017,(11),全文. *

Also Published As

Publication number Publication date
CN113033481A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033481B (zh) 基于一阶全卷积目标检测算法的手持棍棒的检测方法
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN104482860B (zh) 鱼类形态参数自动测量装置和方法
CN108764257A (zh) 一种多视角的指针式仪表识别方法
CN111724355B (zh) 一种鲍鱼体型参数的图像测量方法
CN113435282B (zh) 基于深度学习的无人机影像麦穗识别方法
KR20190068266A (ko) 영상을 이용한 가축 무게 측정 장치 및 방법
CN111462058B (zh) 一种水稻有效穗快速检测方法
CN111012353A (zh) 一种基于人脸关键点识别的身高检测方法
CN113137923A (zh) 立定跳远运动成绩测量方法
CN110490161B (zh) 一种基于深度学习的圈养动物行为分析方法
CN114916964A (zh) 一种咽拭子采样有效性检测方法及自助式咽拭子采样方法
EP1445005B1 (en) Image based measurement of swimming stroke information
CN108682000B (zh) 基于Kinect视频的猪体长体宽检测方法
CN114812418A (zh) 一种便携式植株密度和株距测量系统
US10873699B2 (en) Method and device for imaging a plant, and method for determining a characteristic of a plant
CN110580697B (zh) 一种从超声视频图像中测量胎儿颈背透明物厚度的视频图像处理方法及系统
CN101021948A (zh) 人体对称性运动图像中关节的自动识别装置及方法
CN110051384B (zh) 结合医学统计信息的胎儿颈背透明物位置检测方法及系统
CN111141215A (zh) 影像的目标尺寸测量系统及其使用方法
CN115294482B (zh) 一种基于无人机遥感图像的食用菌产量估算方法
CN110181174A (zh) 基于机器视觉的水下有鳞鱼激光打标方法
CN114119662A (zh) 鱼类检测视觉系统中的图像处理方法及其系统
CN113807129A (zh) 一种作物区域识别方法、装置、计算机设备和存储介质
CN110189301A (zh) 一种发电机定子铁心钢片叠装平台的异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant