CN111160220B - 一种基于深度学习的包裹检测方法、装置、存储介质 - Google Patents

一种基于深度学习的包裹检测方法、装置、存储介质 Download PDF

Info

Publication number
CN111160220B
CN111160220B CN201911368237.4A CN201911368237A CN111160220B CN 111160220 B CN111160220 B CN 111160220B CN 201911368237 A CN201911368237 A CN 201911368237A CN 111160220 B CN111160220 B CN 111160220B
Authority
CN
China
Prior art keywords
package
parcel
image
calculating
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911368237.4A
Other languages
English (en)
Other versions
CN111160220A (zh
Inventor
张光斌
高志鹏
尤俊生
赵建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN201911368237.4A priority Critical patent/CN111160220B/zh
Publication of CN111160220A publication Critical patent/CN111160220A/zh
Application granted granted Critical
Publication of CN111160220B publication Critical patent/CN111160220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的包裹检测方法、装置及存储介质，该方法包括：获取视频源中的一帧图像；使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸；如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；如果存在大件包裹或无主包裹则发出警报。即本发明使用与传统背景建模完全不同的技术，不需要区分前景和背景，因此可用于机器人移动场景下的包裹检测，使得机场的包裹检测不留死角，且不需要安装大量的摄像头，节约了成本。

Description

一种基于深度学习的包裹检测方法、装置、存储介质
技术领域
本发明涉及人工智能技术领域，一种基于深度学习的包裹检测方法、装置、存储介质。
背景技术
近几年随着人工智能的快速发展，尤其是深度学习在视频图像上取得了骄人的成绩，在机器视觉方面已经达到了可实际使用的水平。目标检测作为人工智能的一个方向，目前的研究主要在提升准确率和提升检测速度两个方向。近一两年，在准确率能够满足要求，速度较快的新算法不断被提出，使得目标检测可应用到视频的实时处理领域。例如在安防领域，检测车辆、行人等，已经达到了相对高的准确率和实时性。
机场作为安防的一个重点区域，是否存在异常包裹是机场的一个关注点。机场关注的异常包裹常见有以下两种情况：在进入安检区，不得携带超出规格的行李箱(超过指定大小的箱子必须托运)；在机场任何地方，都不允许出现无人认领的包裹(无主包裹)。
智能机器人近年来也发展迅速，但主要集中在语音方面的智能，视觉方面的智能主要还是集中在人脸识别、行人检测等方面。如何使机器人在机器视觉领域能够满足机场对异常包裹检测方面的要求，目前还没有相关的解决方案。
对于大件行李的报警，目前还是依靠机场人员去发现，然后指导旅客去柜台托运，这一方面还没有智能化的解决方案。
对于无人认领的包裹，目前的方案是采用背景建模的方法，原理是获取一段时间的帧图像，通过相邻两帧做差值来获取帧间的变化，由于邻近帧图像之间的背景是不变的，图像相减之后不变的地方值为0，有变化的地方值非0，以此来判断是否有多出物体，之后再判断物体的滞留时间是否超出阈值，超时则报警。但是这种方案只适用于固定摄像头，并且固定摄像头监控区域有限，需要大量安装。而机器人由于一直处于运动状态，无法使用背景建模的方式来检测无主包裹，目前也没有在移动场景下的解决方案。
可见，在现有技术中，还没有使用机器人自动识别超规格或者无主包裹的案例，更没有提出如何使用机器人进行自动计算包裹大小或者判断是否是无主包裹的算法。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种基于深度学习的包裹检测方法，该方法包括：
获取步骤，获取视频源中的一帧图像；
包裹检测步骤，使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸；
判断步骤，如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；
行人检测步骤，检测所述图像中是否存在行人，如果是，则计算所述行人与所述包裹的距离，如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；
报警步骤，如果存在大件包裹或无主包裹则发出警报。
更进一步地，所述视频源为移动机器人上的图像采集装置所拍摄的视频。
更进一步地，所述图像采集装置为摄像头或摄像机。
更进一步地，所述计算包裹的尺寸的操作为：设所述图像上的像素点与原点的像素距离为Lp，真实空间中包裹到图像采集装置的距离为Lt，则Lp与Lt映射公式为：
Lt＝k1Lp 3+k2Lp 2+k3Lp+k4 (1)；
所述图像上水平方向的值x对Lp的取值忽略不计，Lp使用取竖直方向的值y来代替，将图像采集装置固定在机器人上后，做一次标定，标定4个点，通过这4个点的Lp和Lt值求解出k1到k4；
对式(1)的Lp进行求导，可以得到微分方程：
dLt＝(3k1Lp 2+2k2Lp+k3)*K*dLp (2)；
其中，dLt表示物体的实际大小，dLp表示物体在图像上的像素点，K为修正系数，K通过标定的数据进行求解；当检测到包裹时，可以得到包裹在图像上的位置和长宽的像素点数量；通过式(1)计算得到包裹到图像采集装置的实际距离，基于物体的长宽像素点数量和所述实际距离基于式(2)计算得到物体的实际大小。
更进一步地，所述计算所述行人与所述包裹的距离采用所述式(1)和所述式(2)计算。
本发明还提出了一种基于深度学习的包裹检测装置，该装置包括：
获取单元，用于获取视频源中的一帧图像；
包裹检测单元，用于使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸；
判断单元，用于如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；
行人检测单元，用于检测所述图像中是否存在行人，如果是，则计算所述行人与所述包裹的距离，如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；
报警单元，用于如果存在大件包裹或无主包裹则发出警报。
更进一步地，所述视频源为移动机器人上的图像采集装置所拍摄的视频。
更进一步地，所述图像采集装置为摄像头或摄像机。
更进一步地，所述计算包裹的尺寸的操作为：设所述图像上的像素点与原点的像素距离为Lp，真实空间中包裹到图像采集装置的距离为Lt，则Lp与Lt映射公式为：
Lt＝k1Lp 3+k2Lp 2+k3Lp+k4 (1)；
所述图像上水平方向的值x对Lp的取值忽略不计，Lp使用取竖直方向的值y来代替，将图像采集装置固定在机器人上后，做一次标定，标定4个点，通过这4个点的Lp和Lt值求解出k1到k4；
对式(1)的Lp进行求导，可以得到微分方程：
dLt＝(3k1Lp 2+2k2Lp+k3)*K*dLp (2)；
其中，dLt表示物体的实际大小，dLp表示物体在图像上的像素点，K为修正系数，K通过标定的数据进行求解；当检测到包裹时，可以得到包裹在图像上的位置和长宽的像素点数量；通过式(1)计算得到包裹到图像采集装置的实际距离，基于物体的长宽像素点数量和所述实际距离基于式(2)计算得到物体的实际大小。
更进一步地，所述计算所述行人与所述包裹的距离采用所述式(1)和所述式(2)计算。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的装置。
本发明的技术效果在于：本发明的一种基于深度学习的包裹检测方法，该方法包括：获取视频源中的一帧图像；使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸；如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；如果存在大件包裹或无主包裹则发出警报。即本发明通过搭载在机器人上的摄像头获取视频图像，检测图像中的包裹，基于包裹在图像上的大小和位置，结合摄像头镜头的参数，计算出包裹的实际大小，以此来判断包裹是否超标；检测检测图像中的包裹和行人，基于包裹在图像上的位置、行人的位置，结合摄像头镜头的参数，计算出包裹与行人的位置关系，以此来判断包裹周围是否有人，并可以报警后机器人自动追踪超规格包裹或无主包裹。由于本发明使用与传统背景建模完全不同的技术，不需要区分前景和背景，因此可用于机器人移动场景下的包裹检测，使得机场的包裹检测不留死角，且不需要安装大量的摄像头，节约了成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种基于深度学习的包裹检测方法流程图。
图2是根据本发明的实施例的一种基于深度学习的包裹检测装置的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种基于深度学习的包裹检测方法，该方法包括：
获取步骤S101，获取视频源中的一帧图像；本发明的所述视频源为移动机器人上的图像采集装置所拍摄的视频。所述图像采集装置为摄像头或摄像机。即本发明的中的图像采集装置是安装在机器人上，随机器人进行移动的，而不是固定的摄像头，所采集的图像需要进行预处理，比如，色彩、色差校正等等处理。
包裹检测步骤S102，使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸。深度神经网络模型使用前需要训练，以形成行人和包裹的检测模型，包裹具体再细分为行李箱、背包、购物袋等。本发明采用了yolov3-mobilenet模型，该模型是目前基于深度学习的目标检测算法中准确率和检测速度都较高的一种模型，更适合于本发明中面临的实时性高，机器性能差的场合。通过人工标注上万张包含行人和各种包裹的图片，使用这些标注好的数据训练该模型，使模型具有准确检测以上物体的能力。至此，完成了方案实施前的模型训练工作。
由于普通摄像头拍摄的图片没有物体的深度信息，也就是不知道物体离镜头的远近。同一个物体离镜头近，在图像上就更大，远则更小。需要确定物体的大小，必须得知道物体在图像上的深度。本发明在不依赖其它硬件(例如景深摄像头、双目摄像头等)的情况下，根据实际场景中的一些条件来估算物体的远近：大件行李和行人通常情况都是与地面接触的，机场地面都是水平的，可以将地面不同位置在图像上的像素位置来做对应，因此可以通过物体在图像上的像素位置来确定物体在实际环境中的远近，有了远近的位置信息就可以计算出物体的实际大小。即使得了本发明仅使用普通摄像头采集的图像就可以完成包裹大小的计算。
判断步骤S103，如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；所述第一阈值为机场规定的需要托运的包裹大小，比如1.3m等等。
行人检测步骤S104，检测所述图像中是否存在行人，如果是，则计算所述行人与所述包裹的距离，如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；采用计算包裹大小的方法同样计算所述行人与所述包裹的距离，第二阈值，一般可以设为2m等等。
报警步骤S105，如果存在大件包裹或无主包裹则发出警报，警报可以是向中控室发送警报数据，提示存在大件包裹或无主包裹，并将大件包裹或无主包裹的图片发送至中控室，当然也可以语音发出警报，提示周围的行人别遗漏包裹，当发现大件包裹或无主包裹时，机器人可以对其进行追踪，比如，追踪到大件包裹时，提示主人进行托运。
本发明的核心点在于不依赖景深摄像头或双摄像头，即仅用一个普通摄像头完成计算包裹的大小，所述计算包裹的尺寸的操作为：设所述图像上的像素点与原点的像素距离为Lp，真实空间中包裹到图像采集装置的距离为Lt，则Lp与Lt映射公式为：Lt＝k1Lp n1+k2Lp n2+…+km-1Lp+km，其中，k1、k2…km以及n1、n2…等都是未知数，需要通过实际标定结果得到，一般，用三阶多项式即可较好拟合映射关系，即：
Lt＝k1Lp 3+k2Lp 2+k3Lp+k4 (1)；
所述图像上水平方向的值x对Lp的取值忽略不计，Lp使用取竖直方向的值y来代替，将图像采集装置固定在机器人上后，做一次标定，标定4个点，通过这4个点的Lp和Lt值求解出k1到k4；
对式(1)的Lp进行求导，可以得到微分方程：
dLt＝(3k1Lp 2+2k2Lp+k3)*K*dLp (2)；
其中，dLt表示物体的实际大小，dLp表示物体在图像上的像素点，K为修正系数，K通过标定的数据进行求解；当检测到包裹时，可以得到包裹在图像上的位置和长宽的像素点数量；通过式(1)计算得到包裹到图像采集装置的实际距离，基于物体的长宽像素点数量和所述实际距离基于式(2)计算得到物体的实际大小。
即在实际计算中，Lt的作用为解出未知数k1到k4，得出公式(2)；同样的，所述计算所述行人与所述包裹的距离采用所述式(1)和所述式(2)计算。计算方式为：在计算行人与包裹的位置Lt(人)和Lt(包)，如果Lt(人)-Lt(包)大于阈值，说明人和包裹在Y方向距离很远，即可判断无主，如果小于阈值，再计算X方向，即代入公式(2)计算X方向的距离。公式(2)说明的是在Lp位置(也是Lt位置)，dLp个像素对应的实际长度为dLt。
本发明的方法通过搭载在机器人上的摄像头获取视频图像，检测图像中的包裹，基于包裹在图像上的大小和位置，结合摄像头镜头的参数，计算出包裹的实际大小，以此来判断包裹是否超标；检测检测图像中的包裹和行人，基于包裹在图像上的位置、行人的位置，结合摄像头镜头的参数，计算出包裹与行人的位置关系，以此来判断包裹周围是否有人，并可以报警后机器人自动追踪超规格包裹或无主包裹。由于本发明使用与传统背景建模完全不同的技术，不需要区分前景和背景，因此可用于机器人移动场景下的包裹检测，使得机场的包裹检测不留死角，且不需要安装大量的摄像头，节约了成本，这是本发明的重要发明点。
图2示出了本发明的一种基于深度学习的包裹检测装置，该装置包括：
获取单元201，用于获取视频源中的一帧图像；本发明的所述视频源为移动机器人上的图像采集装置所拍摄的视频。所述图像采集装置为摄像头或摄像机。即本发明的中的图像采集装置是安装在机器人上，随机器人进行移动的，而不是固定的摄像头，所采集的图像需要进行预处理，比如，色彩、色差校正等等处理。
包裹检测单元202，用于使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸。深度神经网络模型使用前需要训练，以形成行人和包裹的检测模型，包裹具体再细分为行李箱、背包、购物袋等。本发明采用了yolov3-mobilenet模型，该模型是目前基于深度学习的目标检测算法中准确率和检测速度都较高的一种模型，更适合于本发明中面临的实时性高，机器性能差的场合。通过人工标注上万张包含行人和各种包裹的图片，使用这些标注好的数据训练该模型，使模型具有准确检测以上物体的能力。至此，完成了方案实施前的模型训练工作。
由于普通摄像头拍摄的图片没有物体的深度信息，也就是不知道物体离镜头的远近。同一个物体离镜头近，在图像上就更大，远则更小。需要确定物体的大小，必须得知道物体在图像上的深度。本发明在不依赖其它硬件(例如景深摄像头、双目摄像头等)的情况下，根据实际场景中的一些条件来估算物体的远近：大件行李和行人通常情况都是与地面接触的，机场地面都是水平的，可以将地面不同位置在图像上的像素位置来做对应，因此可以通过物体在图像上的像素位置来确定物体在实际环境中的远近，有了远近的位置信息就可以计算出物体的实际大小。即使得了本发明仅使用普通摄像头采集的图像就可以完成包裹大小的计算。
判断单元203，用于如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；所述第一阈值为机场规定的需要托运的包裹大小，比如1.3m等等。
行人检测单元204，用于检测所述图像中是否存在行人，如果是，则计算所述行人与所述包裹的距离，如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；采用计算包裹大小的装置同样计算所述行人与所述包裹的距离，第二阈值，一般可以设为2m等等。
报警单元205，用于如果存在大件包裹或无主包裹则发出警报，警报可以是向中控室发送警报数据，提示存在大件包裹或无主包裹，并将大件包裹或无主包裹的图片发送至中控室，当然也可以语音发出警报，提示周围的行人别遗漏包裹，当发现大件包裹或无主包裹时，机器人可以对其进行追踪，比如，追踪到大件包裹时，提示主人进行托运。
本发明的核心点在于不依赖景深摄像头或双摄像头，即仅用一个普通摄像头完成计算包裹的大小，所述计算包裹的尺寸的操作为：设所述图像上的像素点与原点的像素距离为Lp，真实空间中包裹到图像采集装置的距离为Lt，则Lp与Lt映射公式为：Lt＝k1Lp n1+k2Lp n2+…+km-1Lp+km，其中，k1、k2…km以及n1、n2…等都是未知数，需要通过实际标定结果得到，一般，用三阶多项式即可较好拟合映射关系，即：
Lt＝k1Lp 3+k2Lp 2+k3Lp+k4 (1)；
所述图像上水平方向的值x对Lp的取值忽略不计，Lp使用取竖直方向的值y来代替，将图像采集装置固定在机器人上后，做一次标定，标定4个点，通过这4个点的Lp和Lt值求解出k1到k4；
对式(1)的Lp进行求导，可以得到微分方程：
dLt＝(3k1Lp 2+2k2Lp+k3)*K*dLp (2)；
其中，dLt表示物体的实际大小，dLp表示物体在图像上的像素点，K为修正系数，K通过标定的数据进行求解；当检测到包裹时，可以得到包裹在图像上的位置和长宽的像素点数量；通过式(1)计算得到包裹到图像采集装置的实际距离，基于物体的长宽像素点数量和所述实际距离基于式(2)计算得到物体的实际大小。
即在实际计算中，Lt的作用为解出未知数k1到k4，得出公式(2)；同样的，所述计算所述行人与所述包裹的距离采用所述式(1)和所述式(2)计算。计算方式为：在计算行人与包裹的位置Lt(人)和Lt(包)，如果Lt(人)-Lt(包)大于阈值，说明人和包裹在Y方向距离很远，即可判断无主，如果小于阈值，再计算X方向，即代入公式(2)计算X方向的距离。公式(2)说明的是在Lp位置(也是Lt位置)，dLp个像素对应的实际长度为dLt。
本发明的装置通过搭载在机器人上的摄像头获取视频图像，检测图像中的包裹，基于包裹在图像上的大小和位置，结合摄像头镜头的参数，计算出包裹的实际大小，以此来判断包裹是否超标；检测检测图像中的包裹和行人，基于包裹在图像上的位置、行人的位置，结合摄像头镜头的参数，计算出包裹与行人的位置关系，以此来判断包裹周围是否有人，并可以报警后机器人自动追踪超规格包裹或无主包裹。由于本发明使用与传统背景建模完全不同的技术，不需要区分前景和背景，因此可用于机器人移动场景下的包裹检测，使得机场的包裹检测不留死角，且不需要安装大量的摄像头，节约了成本，这是本发明的重要发明点。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的装置。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于深度学习的包裹检测方法，其特征在于，该方法包括：
获取步骤，获取视频源中的一帧图像，所述视频源为移动机器人上的图像采集装置所拍摄的视频；
包裹检测步骤，使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸，
所述计算包裹的尺寸的操作为：设所述图像上的像素点与原点的像素距离为Lp，真实空间中包裹到图像采集装置的距离为Lt，则Lp与Lt映射公式为：
Lt＝k1Lp 3+k2Lp 2+k3Lp+k4 (1)；
所述图像上水平方向的值x对Lp的取值忽略不计，Lp使用取竖直方向的值y来代替，将图像采集装置固定在机器人上后，做一次标定，标定4个点，通过这4个点的Lp和Lt值求解出k1到k4；
对式(1)的Lp进行求导，可以得到微分方程：
dLt＝(3k1Lp 2+2k2Lp+k3)*K*dLp (2)；
其中，dLt表示物体的实际大小，dLp表示物体在图像上的像素点，K为修正系数，K通过标定的数据进行求解；当检测到包裹时，可以得到包裹在图像上的位置和长宽的像素点数量；通过式(1)计算得到包裹到图像采集装置的实际距离，基于物体的长宽像素点数量和所述实际距离基于式(2)计算得到物体的实际大小；
判断步骤，如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；
行人检测步骤，检测所述图像中是否存在行人，如果是，则计算所述行人与所述包裹的距离，如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；
报警步骤，如果存在大件包裹或无主包裹则发出警报。
2.根据权利要求1所述的方法，其特征在于，所述图像采集装置为摄像头或摄像机。
3.根据权利要求1所述的方法，其特征在于，所述计算所述行人与所述包裹的距离采用所述式(1)和所述式(2)计算，计算方式为：计算行人与包裹的位置Lt(人)和Lt(包)，如果Lt(人)-Lt(包)大于阈值，则判断包裹无主，如果小于阈值，则根据公式(2)计算所述图像上水平方向的值x。
4.一种基于深度学习的包裹检测装置，其特征在于，该装置包括：
获取单元，用于获取视频源中的一帧图像，所述视频源为移动机器人上的图像采集装置所拍摄的视频；
包裹检测单元，用于使用训练后的深度神经网络模型检测所述图像中是否存在包裹，如果是，则计算包裹的尺寸，
所述计算包裹的尺寸的操作为：设所述图像上的像素点与原点的像素距离为Lp，真实空间中包裹到图像采集装置的距离为Lt，则Lp与Lt映射公式为：
Lt＝k1Lp 3+k2Lp 2+k3Lp+k4 (1)；
所述图像上水平方向的值x对Lp的取值忽略不计，Lp使用取竖直方向的值y来代替，将图像采集装置固定在机器人上后，做一次标定，标定4个点，通过这4个点的Lp和Lt值求解出k1到k4；
对式(1)的Lp进行求导，可以得到微分方程：
dLt＝(3k1Lp 2+2k2Lp+k3)*K*dLp (2)；
其中，dLt表示物体的实际大小，dLp表示物体在图像上的像素点，K为修正系数，K通过标定的数据进行求解；当检测到包裹时，可以得到包裹在图像上的位置和长宽的像素点数量；通过式(1)计算得到包裹到图像采集装置的实际距离，基于物体的长宽像素点数量和所述实际距离基于式(2)计算得到物体的实际大小；
判断单元，用于如果所述包裹的尺寸超过第一阈值，则将该包裹标记为大件包裹，否则进行行人检测；
行人检测单元，用于检测所述图像中是否存在行人，如果是，则计算所述行人与所述包裹的距离，如果所述距离大于第二阈值，则将所述包裹标记为无主包裹；
报警单元，用于如果存在大件包裹或无主包裹则发出警报。
5.根据权利要求4所述的装置，其特征在于，所述图像采集装置为摄像头或摄像机。
6.根据权利要求4所述的装置，其特征在于，所述计算所述行人与所述包裹的距离采用所述式(1)和所述式(2)计算，计算方式为：计算行人与包裹的位置Lt(人)和Lt(包)，如果Lt(人)-Lt(包)大于阈值，则判断包裹无主，如果小于阈值，则根据公式(2)计算所述图像上水平方向的值x。
7.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-3之任一的方法。
CN201911368237.4A 2019-12-26 2019-12-26 一种基于深度学习的包裹检测方法、装置、存储介质 Active CN111160220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911368237.4A CN111160220B (zh) 2019-12-26 2019-12-26 一种基于深度学习的包裹检测方法、装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368237.4A CN111160220B (zh) 2019-12-26 2019-12-26 一种基于深度学习的包裹检测方法、装置、存储介质

Publications (2)

Publication Number Publication Date
CN111160220A CN111160220A (zh) 2020-05-15
CN111160220B true CN111160220B (zh) 2022-07-22

Family

ID=70556852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911368237.4A Active CN111160220B (zh) 2019-12-26 2019-12-26 一种基于深度学习的包裹检测方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN111160220B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914659A (zh) * 2020-07-06 2020-11-10 浙江大华技术股份有限公司 一种物品检测方法、装置、设备及介质
CN113012136A (zh) * 2021-03-24 2021-06-22 中国民航大学 一种基于目标检测的机场行李计数方法及计数系统
CN114140542B (zh) * 2021-12-09 2022-11-22 成都智元汇信息技术股份有限公司 基于色彩补偿的切图方法、电子设备及介质
CN115311608B (zh) * 2022-10-11 2023-03-21 之江实验室 一种多任务多目标关联追踪的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952274A (zh) * 2017-03-14 2017-07-14 西安电子科技大学 基于立体视觉的行人检测与测距方法
CN107341523A (zh) * 2017-07-13 2017-11-10 浙江捷尚视觉科技股份有限公司 基于深度学习的快递单信息识别方法和系统
CN110263194A (zh) * 2019-06-20 2019-09-20 圆通速递有限公司 一种基于图像识别的包裹找寻方法和系统
CN110555651A (zh) * 2019-08-28 2019-12-10 北京联合大学 一种智能快递处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374374B2 (en) * 2012-06-19 2016-06-21 SecureMySocial, Inc. Systems and methods for securing social media for users and businesses and rewarding for enhancing security

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952274A (zh) * 2017-03-14 2017-07-14 西安电子科技大学 基于立体视觉的行人检测与测距方法
CN107341523A (zh) * 2017-07-13 2017-11-10 浙江捷尚视觉科技股份有限公司 基于深度学习的快递单信息识别方法和系统
CN110263194A (zh) * 2019-06-20 2019-09-20 圆通速递有限公司 一种基于图像识别的包裹找寻方法和系统
CN110555651A (zh) * 2019-08-28 2019-12-10 北京联合大学 一种智能快递处理方法

Also Published As

Publication number Publication date
CN111160220A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111160220B (zh) 一种基于深度学习的包裹检测方法、装置、存储介质
Hu et al. Moving object detection and tracking from video captured by moving camera
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
US20190130216A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
Sina et al. Vehicle counting and speed measurement using headlight detection
US20040125207A1 (en) Robust stereo-driven video-based surveillance
CN106919806A (zh) 一种人体监测方法、装置以及系统及计算机可读存储设备
JP2009143722A (ja) 人物追跡装置、人物追跡方法及び人物追跡プログラム
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
CN112836634B (zh) 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114639078A (zh) 一种车型识别方法、装置和系统
CN107862713A (zh) 针对轮询会场的摄像机偏转实时检测预警方法及模块
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
CN114910927A (zh) 使用单色成像的基于事件的车辆姿态估计
Ziran et al. A contactless solution for monitoring social distancing: A stereo vision enabled real-time human distance measuring system
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
TWI499999B (zh) The 3D ring car image system based on probability calculation and its obtaining method
US9041778B2 (en) Image processing device and method of processing image
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
KR102299250B1 (ko) 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법
Damian et al. Using mono and stereo camera system for static and moving objects detection
US20130336539A1 (en) Position estimation device, position estimation method, and computer program product
KR20150091808A (ko) 범죄 사건의 예측을 위한 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant