CN117541761A - 一种基于深度学习的鱼眼镜头下包裹检测方法 - Google Patents
一种基于深度学习的鱼眼镜头下包裹检测方法 Download PDFInfo
- Publication number
- CN117541761A CN117541761A CN202311508962.3A CN202311508962A CN117541761A CN 117541761 A CN117541761 A CN 117541761A CN 202311508962 A CN202311508962 A CN 202311508962A CN 117541761 A CN117541761 A CN 117541761A
- Authority
- CN
- China
- Prior art keywords
- package
- pictures
- parcel
- fisheye
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 18
- 241000251468 Actinopterygii Species 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 230000004297 night vision Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 230000009193 crawling Effects 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 6
- 230000000474 nursing effect Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的鱼眼镜头下包裹检测方法，具体包括：包裹数据集收集，包裹检测模型训练，包裹检测设备端应用等步骤。本基于深度学习的鱼眼镜头下包裹检测方法通过对鱼眼镜头下图像包裹检测数据集的重新构建、训练，并不断迭代收集误报漏报数据加入数据集重新训练，实现了鱼眼摄像头的包裹检测、看护功能，提高了包裹检测的效率及精度，并通过鱼眼摄像头直接拍摄收集图片以及通过互联网收集图片再进行包裹目标抠图贴图扩充数据集并使用鱼眼效果变换将正常图片转换为鱼眼畸变图片，生成新的鱼眼包裹检测数据集，重新训练模型后大大提升了包裹检测效果。
Description
技术领域
本发明涉及安防监控技术领域，具体涉及一种基于深度学习的鱼眼镜头下包裹检测方法。
背景技术
近年来随着人工智能的普及，深度学习技术也在安防领域有着广泛的应用，同时电子商务、物流行业的飞速发展，基本家家户户都会网购，享受足不出户也可以送货上门的便利，但与此同时对于快递包裹防盗也是人们非常关心的一点，因此需要一个摄像头时时刻刻帮我们进行包裹看护。
现有的包裹检测方法，有通过深度学习目标检测模型来实现，收集大量包裹图片，对这些图片进行标注后制成数据集进行训练，最终使用训练好的模型移植到设备端，获取视频源中的图片进行检测。鱼眼镜头是一种超广角镜头，视角通常能达到或超过180度，镜头直径很短且呈抛物状向镜头前部凸出，和鱼的眼睛类似故名鱼眼镜头。鱼眼镜头因其视场角更大的特点被广泛使用在摄像头中，比如可视化门铃、虚拟现实、视觉导航等，但是鱼眼镜头也会带来图像畸变，目前很少见鱼眼镜头下的目标检测数据集，特别是包裹检测数据集，都是基于普通镜头下正常图片训练得到的深度学习目标检测模型，对于鱼眼镜头下畸变图片的检测效果很差，甚至完全不起作用，但是鱼眼镜头又具备超广视角，可以大幅增强监控视角，增强监控效率，因此，如何实现鱼眼摄像头的包裹检测，以实现包裹看护功能，是本领域需要解决的技术问题。
发明内容
针对现有技术的不足，本发明提出了一种基于深度学习的鱼眼镜头下包裹检测方法，通过对鱼眼镜头下图像包裹检测数据集的重新构建、训练，并不断迭代收集误报漏报数据加入数据集重新训练，实现了鱼眼摄像头的包裹检测、看护功能，提高了包裹检测的效率及精度。
为实现上述技术方案，本发明提供了一种基于深度学习的鱼眼镜头下包裹检测方法，具体包括如下步骤：
S1、包裹数据集收集：
S11、通过鱼眼摄像头直接拍摄收集包裹图片，在多种场景、多种光线条件下使用多种包裹进行随机摆放抓拍图片，并收集部分不带包裹的图片作为负样本，通过labelImg标注工具手动标注，标注出图片中包裹的位置和类型得到标签，每张图片对应一个同名txt标注文件；
S12、在互联网上收集包裹图片，通过下载开源数据集或者从网页上爬取，收集正常无鱼眼畸变的图片，然后将包裹图片中包裹目标抠取下来贴到背景图片上去，背景图片来自开源数据集COCO数据集中部分图片，之后对于这些贴图后的图片进行鱼眼效果变换生成带鱼眼畸变的图片，同时生成对应的txt标注文件；
S2、包裹检测模型训练：
S21、包裹检测模型训练主体选择yolov5框架，并对原有的网络进行修改，将原有yolov5s网络深度改为原来的两倍，网络宽度改为原来的一半，同时加入repvgg模块，增加0.2概率的灰度化的图像增强操作，将数据集8:1划分为训练集和验证集进行训练，使用服务器GPU训练300个epoch；
S22、模型训练好后使用大量图片或者视频进行测试，使用验证集图片或者实际使用中鱼眼镜头摄像机拍摄的图片或者视频，找出其中出现的一些误报或者检测不到的情况，并将这些图片或者视频保存下来并人工标注好再放入数据集中重新训练，如此反复迭代，不断提升模型检测效果；
S3、包裹检测设备端应用：
S31、将步骤S2中训练好的包裹检测模型训练通过转换工具转换为能在设备端运行的板端模型；
S32、板端模型从视频流中获取原始yuv格式图片数据，将图片转换和缩放为板端模型所需格式和尺寸；
S33、使用板端AI运算模块进行板端模型推演检测得到输出特征，通过后处理得到检测结果包括包裹的置信度，中心点位置和宽高，使用设置好的置信度阈值和区域规则进行过滤筛选，只留下包裹置信度大于置信度阈值和包裹中心点位置在设置区域中的结果；
S34、根据最终结果以及当前包裹状态判断是否为包裹送达或者包裹遗失，如果检测到了包裹，先将未检测到包裹的时间置0，再判断当前包裹状态是否为0即之前包裹不存在则发出包裹送达告警，同时将包裹状态置1，如果没有检测到包裹，先将未检测到包裹的时间累积，判断是否超过一定时间阈值，再判断当前包裹状态是否为1即之前包裹存在则发出包裹丢失告警，同时将包裹状态置0。
优选的，所述步骤S11中，多种场景包括在室内和室外的不同地点，多种光线条件包括正常光、灯光、弱光和夜视，随机摆放是指包裹的数量不定，可以是一个或者多个、摆放位置以及堆叠方式也多种多样。
优选的，所述步骤S12中包裹图片中包裹目标抠取的方法如下：
S121、使用python抠图库rembg对包裹图片中的包裹目标进行抠取，抠下来的包裹目标中有些背景去除不干净或者提取出的前景不完整，也有些太模糊或者太小，手动去掉这些不合格的包裹目标；
S122、将包裹目标贴到背景图片上去，按四分之一的概率进行贴图，每4张背景图只贴1张，其余不贴作为负样本；
S123、随机选取一个包裹目标，在背景图上随机选个点作为中心点，根据背景图的宽高对包裹目标进行缩放，使其不会过大或过小，包裹目标的宽高不大于背景图宽高的二分之一也不小于背景图宽高的五分之一，对于超出背景图边界的部分则去掉；
S124、将包裹目标按像素赋值到背景图上即把目标贴上去，同时用txt文件记录下包裹目标在图片中的矩形框位置即目标中心点和宽高，每个背景图对应一个同名txt文件作为标注。
优选的，所述步骤S12中，进行鱼眼效果变换生成带鱼眼畸变的图片的方法如下：首先，使用鱼眼摄像头拍摄10-20张不同角度的棋盘格图片，调用cv2.fisheye.calibrate得到鱼眼镜头的2个固有参数即两个数组K和D；然后通过数组K和D便对鱼眼畸变图像进行去畸变矫正，调用cv2.fisheye.initUndistortRectifyMap计算出映射矩阵map，通过循环map中每个元素对像素一一映射将鱼眼畸变图片转换为正常图片，反之逆过程便可将正常图片转换为鱼眼畸变图片。
优选的，将鱼眼畸变图片转换为正常图片像素映射转换公式为[x,y]＝map[i][j]，img1[y][x]＝img0[i][j]，其中x,y为map矩阵(i，j)位置的值，img0表示原始正常图片，img1表示变化后鱼眼畸变图片，变换后鱼眼畸变图片带有黑边，只有图片中间部分有内容，原来正常图片的内容被压缩到了变换后鱼眼畸变图片的中间部分，并将其截取下来。
优选的，截取的方式为：分别找到img0中左上角点img0_point0、右下角点img0_point1位置在img1中对应位置img1_point0,img1_point1，将img1中以这2个位置为对角线构成的矩形截取下来，得到最终所需变换后的鱼眼畸变图片。
本发明提供的一种基于深度学习的鱼眼镜头下包裹检测方法的有益效果在于：
1)通过对鱼眼镜头下图像包裹检测数据集的重新构建、训练，并不断迭代收集误报漏报数据加入数据集重新训练，实现了鱼眼摄像头的包裹检测、看护功能，提高了包裹检测的效率及精度。
2)通过鱼眼摄像头直接拍摄收集图片以及通过互联网收集图片再进行包裹目标抠图贴图扩充数据集并使用鱼眼效果变换将正常图片转换为鱼眼畸变图片，生成新的鱼眼包裹检测数据集，重新训练模型后大大提升了包裹检测效果。
3)减小了包裹检测模型大小，提高检测速度的同时也降低了对板端内存的使用，能够更好地在板端进行应用。
附图说明
图1为本发明中包裹抠图和贴图的示意图。
图2为本发明中鱼眼效果变换流程图。
图3为本发明中包裹检测流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明的保护范围。
实施例：一种基于深度学习的鱼眼镜头下包裹检测方法。
本基于深度学习的鱼眼镜头下包裹检测方法主要包括以下三个部分：包裹数据集收集，包裹检测模型训练，包裹检测设备端应用。详细过程如下：
1、包裹数据集收集：
一方面通过鱼眼摄像头直接拍摄收集包裹图片，在多种场景、多种光线条件下使用多种包裹进行随机摆放抓拍图片，这里多种场景包括在室内和室外的不同地点，多种光线条件包括正常光、灯光、弱光和夜视等，使用各种颜色和不同尺寸大小的多种包裹，随机摆放则是包裹的数量不定可以是一个或者多个、摆放位置以及堆叠方式也多种多样，这里还收集了部分不带包裹的图片作为负样本，总计收集图片6000张左右，之后再通过图片水平翻转等图像操作扩充数据。有了图片还需对其进行标注，标注方法是通过labelImg标注工具手动标注，主要是标注出图片中包裹的位置和类型得到标签，每张图片对应一个同名txt标注文件。
一方面通过互联网上收集包裹图片，通过下载一些开源数据集或者从网页上爬取等方式，这里只能收集到正常无鱼眼畸变的图片，大概收集图片5000张左右，为了满足不同背景需求增加数据多样性，还将包裹图片中包裹目标扣取下来贴到背景图片上去，这里背景图片来自开源数据集COCO数据集中部分图片，之后对于这些图片进行鱼眼效果变换生成带鱼眼畸变的图片，总计生成图片10万张左右，同时自动生成对应的txt标注文件。
对包裹图片进行抠图使用的是python抠图库rembg，扣下来的包裹目标中有些背景去除不干净或者提取出的前景不完整，也有些太模糊或者太小，手动去掉这些不合格的包裹目标，之后将包裹目标贴到背景图片上去，按四分之一的概率进行贴图，即每4张背景图只贴1张其余不贴作为负样本，随机选取一个包裹目标，在背景图上随机选个点作为中心点，根据背景图的宽高对包裹目标进行缩放使其不会过大或过小即包裹目标的宽高不大于背景图宽高的二分之一也不小于背景图宽高的五分之一，对于超出背景图边界的部分则去掉，将包裹目标按像素赋值到背景图上即把目标贴上去，同时用txt文件记录下包裹目标在图片中的矩形框位置即目标中心点和宽高，每个背景图对应一个同名txt文件作为标注，包裹抠图和贴图的过程可参考图1所示。
鱼眼效果变换是一个鱼眼矫正的逆过程，用到了opencv库中的fisheye模块，使用鱼眼摄像头拍摄10-20张不同角度的棋盘格图片，调用cv2.fisheye.calibrate得到鱼眼镜头的2个固有参数即两个数组K和D，通过K和D便可以对鱼眼畸变图像进行去畸变矫正，调用cv2.fisheye.initUndistortRectifyMap计算出映射矩阵map，通过循环map中每个元素对像素一一映射即可将鱼眼畸变图片转换为正常图片，反之逆过程便可将正常图片转换为鱼眼畸变图片，像素映射转换公式为[x,y]＝map[i][j]，img1[y][x]＝img0[i][j]，其中x,y为map矩阵(i，j)位置的值，img0表示原始正常图片，img1表示变化后鱼眼畸变图片，变换后鱼眼畸变图片带有黑边即只有图片中间部分有内容，即原来正常图片的内容被压缩到了变换后鱼眼畸变图片的中间部分，需要将其截取下来，截取的方式为通过上述转换公式可以分别找到img0中左上角点img0_point0、右下角点img0_point1位置在img1中对应位置img1_point0,img1_point1，将img1中以这2个位置为对角线构成的矩形截取下来，即为最终所需变换后的鱼眼畸变图片，鱼眼效果变换的过程可参考图2所示，这里由于图片发生了变换，txt标注文件中原来记录的包裹目标在图片中的矩形框位置也需要进行变换，变换规则为同样依据上述转换公式找到img0中包裹目标左上角点img0_obj_point0和右下角点img0_obj_point1在img1对应位置img1_obj_point0,img1_obj_point1，然后依据img1中这两个点重新计算出包裹目标的宽高和中心点位置，最后因为对img1进行了截取中间部分这里中心点位置需要进行偏移减去img1_obj_point0的坐标值位置。
2、包裹检测模型训练：
包裹检测模型训练主体选择yolov5框架，考虑到设备端的运行内存和时间要求需要使用轻量级的网络，为了减小模型大小同时保证精度，因此对原有的网络进行修改，将原有yolov5s网络深度改为原来的两倍即将config文件中depth_multiple:0.33改为0.67，网络宽度改为原来的一半即将config文件中width_multiple:0.50改为0.25，同时加入repvgg模块。为了更好适应弱光或夜视环境增加0.2概率的灰度化的图像增强操作。将数据集8:1划分为训练集和验证集进行训练，使用服务器GPU训练300个epoch。
模型训练好后使用大量图片或者视频进行测试，这里可以用验证集图片或者是实际使用中鱼眼镜头摄像机拍摄的图片或者视频，找出其中出现的一些误报或者检测不到的情况，将这些图片或者视频保存下来并人工标注好再放入数据集中重新训练，如此反复迭代，不断提升模型检测效果。
3、包裹检测设备端应用：
首先须将前面训练好的模型通过转换工具转换为能在设备端运行的板端模型。具体设备端的包裹检测应用流程参考下图3所示，从视频流中获取原始yuv格式图片数据，将图片转换和缩放为板端模型所需格式和尺寸，使用板端AI运算模块进行板端模型推演检测得到输出特征，通过后处理得到检测结果包括包裹的置信度，中心点位置和宽高，使用设置好的置信度阈值和区域规则进行过滤筛选，即只留下包裹置信度大于置信度阈值和包裹中心点位置在设置区域中的结果，根据最终结果以及当前包裹状态判断是否为包裹送达或者包裹遗失，如果检测到了包裹，先将未检测到包裹的时间置0，再判断当前包裹状态是否为0即之前包裹不存在则发出包裹送达告警，同时将包裹状态置1，如果没有检测到包裹，先将未检测到包裹的时间累积，判断是否超过一定时间阈值如3S，再判断当前包裹状态是否为1即之前包裹存在则发出包裹丢失告警，同时将包裹状态置0。为了节约功耗，没有进行实时检测而是间隔0.3S检测一次，实际场景中也并不会影响功能正常使用。
与现有技术相比，针对鱼眼镜头下图像包裹检测，基于正常图片训练得到的深度学习目标检测模型对于这种鱼眼畸变图片的检测效果变差甚至不起作用，通过鱼眼摄像头直接拍摄收集图片以及通过互联网收集图片再进行包裹目标抠图贴图扩充数据集并使用鱼眼效果变换将正常图片转换为鱼眼畸变图片，生成新的鱼眼包裹检测数据集，重新训练模型后大大提升了包裹检测效果，达到实际应用要求。
本发明通过对鱼眼镜头下图像包裹检测数据集的重新构建、训练，并不断迭代收集误报漏报数据加入数据集重新训练，实现了鱼眼摄像头的包裹检测、看护功能，提高了包裹检测的效率及精度。并且考虑到设备端的运行内存和时间要求需要使用轻量级的网络，为了减小模型大小同时保证精度，对原有的网络进行修改，提高检测速度的同时也降低了对板端内存的使用，能够更好地在板端进行应用。
以上所述为本发明的较佳实施例而已，但本发明不应局限于该实施例和附图所公开的内容，所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。
Claims (6)
1.一种基于深度学习的鱼眼镜头下包裹检测方法，其特征在于具体包括如下步骤：
S1、包裹数据集收集：
S11、通过鱼眼摄像头直接拍摄收集包裹图片，在多种场景、多种光线条件下使用多种包裹进行随机摆放抓拍图片，并收集部分不带包裹的图片作为负样本，通过labelImg标注工具手动标注，标注出图片中包裹的位置和类型得到标签，每张图片对应一个同名txt标注文件；
S12、在互联网上收集包裹图片，通过下载开源数据集或者从网页上爬取，收集正常无鱼眼畸变的图片，然后将包裹图片中包裹目标抠取下来贴到背景图片上去，背景图片来自开源数据集COCO数据集中部分图片，之后对于这些贴图后的图片进行鱼眼效果变换生成带鱼眼畸变的图片，同时生成对应的txt标注文件；
S2、包裹检测模型训练：
S21、包裹检测模型训练主体选择yolov5框架，并对原有的网络进行修改，将原有yolov5s网络深度改为原来的两倍，网络宽度改为原来的一半，同时加入repvgg模块，增加0.2概率的灰度化的图像增强操作，将数据集8:1划分为训练集和验证集进行训练，使用服务器GPU训练300个epoch；
S22、模型训练好后使用大量图片或者视频进行测试，使用验证集图片或者实际使用中鱼眼镜头摄像机拍摄的图片或者视频，找出其中出现的一些误报或者检测不到的情况，并将这些图片或者视频保存下来并人工标注好再放入数据集中重新训练，如此反复迭代，不断提升模型检测效果；
S3、包裹检测设备端应用：
S31、将步骤S2中训练好的包裹检测模型训练通过转换工具转换为能在设备端运行的板端模型；
S32、板端模型从视频流中获取原始yuv格式图片数据，将图片转换和缩放为板端模型所需格式和尺寸；
S33、使用板端AI运算模块进行板端模型推演检测得到输出特征，通过后处理得到检测结果包括包裹的置信度，中心点位置和宽高，使用设置好的置信度阈值和区域规则进行过滤筛选，只留下包裹置信度大于置信度阈值和包裹中心点位置在设置区域中的结果；
S34、根据最终结果以及当前包裹状态判断是否为包裹送达或者包裹遗失，如果检测到了包裹，先将未检测到包裹的时间置0，再判断当前包裹状态是否为0即之前包裹不存在则发出包裹送达告警，同时将包裹状态置1，如果没有检测到包裹，先将未检测到包裹的时间累积，判断是否超过一定时间阈值，再判断当前包裹状态是否为1即之前包裹存在则发出包裹丢失告警，同时将包裹状态置0。
2.如权利要求1所述的基于深度学习的鱼眼镜头下包裹检测方法，其特征在于，所述步骤S11中，多种场景包括在室内和室外的不同地点，多种光线条件包括正常光、灯光、弱光和夜视，随机摆放是指包裹的数量不定，可以是一个或者多个、摆放位置以及堆叠方式也多种多样。
3.如权利要求1所述的基于深度学习的鱼眼镜头下包裹检测方法，其特征在于，所述步骤S12中包裹图片中包裹目标抠取的方法如下：
S121、使用python抠图库rembg对包裹图片中的包裹目标进行抠取，抠下来的包裹目标中有些背景去除不干净或者提取出的前景不完整，也有些太模糊或者太小，手动去掉这些不合格的包裹目标；
S122、将包裹目标贴到背景图片上去，按四分之一的概率进行贴图，每4张背景图只贴1张，其余不贴作为负样本；
S123、随机选取一个包裹目标，在背景图上随机选个点作为中心点，根据背景图的宽高对包裹目标进行缩放，使其不会过大或过小，包裹目标的宽高不大于背景图宽高的二分之一也不小于背景图宽高的五分之一，对于超出背景图边界的部分则去掉；
S124、将包裹目标按像素赋值到背景图上即把目标贴上去，同时用txt文件记录下包裹目标在图片中的矩形框位置即目标中心点和宽高，每个背景图对应一个同名txt文件作为标注。
4.如权利要求3所述的基于深度学习的鱼眼镜头下包裹检测方法，其特征在于，所述步骤S12中，进行鱼眼效果变换生成带鱼眼畸变的图片的方法如下：首先，使用鱼眼摄像头拍摄10-20张不同角度的棋盘格图片，调用cv2.fisheye.calibrate得到鱼眼镜头的2个固有参数即两个数组K和D；然后通过数组K和D便对鱼眼畸变图像进行去畸变矫正，调用cv2.fisheye.initUndistortRectifyMap计算出映射矩阵map，通过循环map中每个元素对像素一一映射将鱼眼畸变图片转换为正常图片，反之逆过程便可将正常图片转换为鱼眼畸变图片。
5.如权利要求4所述的基于深度学习的鱼眼镜头下包裹检测方法，其特征在于，将鱼眼畸变图片转换为正常图片像素映射转换公式为[x,y]＝map[i][j]，img1[y][x]＝img0[i][j]，其中x,y为map矩阵(i，j)位置的值，img0表示原始正常图片，img1表示变化后鱼眼畸变图片，变换后鱼眼畸变图片带有黑边，只有图片中间部分有内容，原来正常图片的内容被压缩到了变换后鱼眼畸变图片的中间部分，并将其截取下来。
6.如权利要求4所述的基于深度学习的鱼眼镜头下包裹检测方法，其特征在于，截取的方式为：分别找到img0中左上角点img0_point0、右下角点img0_point1位置在img1中对应位置img1_point0,img1_point1，将img1中以这2个位置为对角线构成的矩形截取下来，得到最终所需变换后的鱼眼畸变图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311508962.3A CN117541761B (zh) | 2023-11-14 | 2023-11-14 | 一种基于深度学习的鱼眼镜头下包裹检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311508962.3A CN117541761B (zh) | 2023-11-14 | 2023-11-14 | 一种基于深度学习的鱼眼镜头下包裹检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117541761A true CN117541761A (zh) | 2024-02-09 |
| CN117541761B CN117541761B (zh) | 2024-05-10 |
Family
ID=89785478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311508962.3A Active CN117541761B (zh) | 2023-11-14 | 2023-11-14 | 一种基于深度学习的鱼眼镜头下包裹检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117541761B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
| CN112101361A (zh) * | 2020-11-20 | 2020-12-18 | 深圳佑驾创新科技有限公司 | 针对鱼眼图像的目标检测方法、装置、设备和存储介质 |
| CN112330601A (zh) * | 2020-10-15 | 2021-02-05 | 浙江大华技术股份有限公司 | 一种基于鱼眼相机的停车检测方法、装置、设备及介质 |
| CN112418743A (zh) * | 2019-08-20 | 2021-02-26 | 北京京东振世信息技术有限公司 | 快递包裹的配送方法及装置、计算机存储介质、电子设备 |
| CN113807466A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于深度学习的物流包裹自主检测方法 |
| CN114782810A (zh) * | 2022-04-18 | 2022-07-22 | 安徽农业大学 | 一种基于全景视觉的农业机械远程辅助驾驶系统及方法 |
| CN114898274A (zh) * | 2022-06-06 | 2022-08-12 | 中邮信息科技(北京)有限公司 | 一种包裹检测方法和装置 |
| CN116245911A (zh) * | 2023-02-08 | 2023-06-09 | 珠海安联锐视科技股份有限公司 | 一种视频过线统计方法 |
-
2023
- 2023-11-14 CN CN202311508962.3A patent/CN117541761B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
| CN112418743A (zh) * | 2019-08-20 | 2021-02-26 | 北京京东振世信息技术有限公司 | 快递包裹的配送方法及装置、计算机存储介质、电子设备 |
| CN112330601A (zh) * | 2020-10-15 | 2021-02-05 | 浙江大华技术股份有限公司 | 一种基于鱼眼相机的停车检测方法、装置、设备及介质 |
| CN112101361A (zh) * | 2020-11-20 | 2020-12-18 | 深圳佑驾创新科技有限公司 | 针对鱼眼图像的目标检测方法、装置、设备和存储介质 |
| CN113807466A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于深度学习的物流包裹自主检测方法 |
| CN114782810A (zh) * | 2022-04-18 | 2022-07-22 | 安徽农业大学 | 一种基于全景视觉的农业机械远程辅助驾驶系统及方法 |
| CN114898274A (zh) * | 2022-06-06 | 2022-08-12 | 中邮信息科技(北京)有限公司 | 一种包裹检测方法和装置 |
| CN116245911A (zh) * | 2023-02-08 | 2023-06-09 | 珠海安联锐视科技股份有限公司 | 一种视频过线统计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吕晓玲等: "改进YOLOv5网络的鱼眼图像目标检测算法", 《计算机工程与应用》, vol. 59, no. 06, 1 December 2022 (2022-12-01), pages 241 - 250 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117541761B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723654B (zh) | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 | |
| CN112116582B (zh) | 一种库存或陈列场景下的条烟检测识别方法 | |
| WO2020134528A1 (zh) | 目标检测方法及相关产品 | |
| CN110807353A (zh) | 一种基于深度学习的变电站异物识别方法、装置及系统 | |
| CN111325271B (zh) | 图像分类方法及装置 | |
| CN110163211B (zh) | 一种图像识别方法、装置和存储介质 | |
| CN108629368B (zh) | 一种基于联合深度融合的多模态地基云分类方法 | |
| CN113160062A (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN110346699B (zh) | 基于紫外图像处理技术的绝缘子放电信息提取方法及装置 | |
| CN110334660A (zh) | 一种雾天条件下基于机器视觉的森林火灾监测方法 | |
| WO2020211427A1 (zh) | 基于扫描点云数据的分割与识别方法、系统及存储介质 | |
| CN111325051A (zh) | 一种基于人脸图像roi选取的人脸识别方法及装置 | |
| CN108564551A (zh) | 鱼眼图像处理方法及鱼眼图像处理装置 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN112153269B (zh) | 应用于电子设备的图片显示方法、装置、介质与电子设备 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN112633392A (zh) | 一种太赫兹人体安检图像目标检测模型训练数据增广方法 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| WO2022127814A1 (zh) | 一种图像的显著性物体检测方法、装置、设备及存储介质 | |
| CN103605171A (zh) | 全天空成像仪及基于全天空成像仪的云层特性分析方法 | |
| CN112686152A (zh) | 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法 | |
| CN104185069B (zh) | 一种台标识别方法及其识别系统 | |
| CN116310105A (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
| CN111144156B (zh) | 一种图像数据处理方法和相关装置 | |
| CN115471542A (zh) | 一种基于YOLO v5的包装物双目识别定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |