CN110414413A - 一种基于人工智能的物流小车行人检测方法 - Google Patents
一种基于人工智能的物流小车行人检测方法 Download PDFInfo
- Publication number
- CN110414413A CN110414413A CN201910674234.7A CN201910674234A CN110414413A CN 110414413 A CN110414413 A CN 110414413A CN 201910674234 A CN201910674234 A CN 201910674234A CN 110414413 A CN110414413 A CN 110414413A
- Authority
- CN
- China
- Prior art keywords
- edge
- frame
- pedestrian
- surrounding road
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000009432 framing Methods 0.000 claims abstract description 3
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Abstract
本发明公开了一种基于人工智能的物流小车行人检测方法通过车载摄像头获取实时获取车辆行驶周围道路图像；车辆行驶周围道路图像包含行人。运行Edge Boxes算法提取包含行人的车辆行驶周围道路图像边框，得到候选框；将提取的候选框和整个车辆行驶周围道路图像输入动态自适应区域卷积神经网络模型中；利用动态自适应卷积神经网络提取候选框的特征；利用分类器和回归算法实现对每一个候选框的分类和打分；经过处理后的车辆行驶周围道路图像得到检测后的结果发送至车辆控制统。本方法依靠视觉辅助驾驶变道，并且保证运算开销最小和实时性，能够适应车辆生产家与基于人工智能的无人物流小车对安全性、实时性、准确性以及成本的要求，具有良好的应用前景。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的物流小车行人检测方法。
背景技术
人工智能的定义就是用电脑和软件模拟生物脑的一种技术科学。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
随着互联网的飞速发展，电子商务行业达到了一个前所未有的新高度，物流快递行业的发展也是蒸蒸日上。但是，中国的快递行业是劳动密集型行业，服务人员的职业素养欠缺；且电子商务企业往往集中在大城市，而越来越多的订单来自于中西部或者三四级中小城市，也使得快递业面临复杂局面。物流的发展困局解决在最后一公里的配送上面，也就是从配送中心到用户手里的过程。电子商务企业间的竞争，随着支付系统的不断完善，最终可能决定在物流的最后一公里上。目前看来，一种基于人工智能的物流小车或许是解决问题的最佳途径。
行人检测(Pedestrian Detection)是利用计算机视觉技术判断图像或者视频序列中是否存在行人并给予精确定位。该技术可与行人跟踪，行人重识别等技术结合，应用于人工智能系统、车辆辅助驾驶系统、智能机器人、智能视频监控、人体行为分析、智能交通等领域。
发明内容
针对上述问题，本发明的目的在于采用了一种基于人工智能的物流小车行人检测方法，利用车载摄像机实时获取图像，目的是通过该方法检测出小车行驶途中遇到的行人，方便车辆的及时调整路线以避让行人。本方法仅依靠视觉就能辅助驾驶变道，并且保证了运算开销最小和实时性，摄像头采用的是工业车载摄像机，能够适应车辆生产家与基于人工智能的无人物流小车对安全性、实时性、准确性以及成本的要求，具有良好的应用前景。
为实现上述目的，本发明采用如下的技术方案：
一种基于人工智能的物流小车行人检测方法，该方法包括以下步骤：
步骤1、通过车载摄像头获取实时获取车辆行驶周围道路图像；车辆行驶周围道路图像包含行人。
步骤2、运行Edge Boxes算法提取包含行人的车辆行驶周围道路图像边框，得到候选框；
步骤3、将提取的候选框和整个车辆行驶周围道路图像输入动态自适应区域卷积神经网络模型中；
步骤4、利用动态自适应卷积神经网络提取候选框的特征；
步骤5、利用分类器和回归算法实现对每一个候选框的分类和打分；
步骤6、经过处理后的车辆行驶周围道路图像得到检测后的结果发送至车辆控制统。
附图说明
图1是本发明所设计方法的流程图。
具体实施方式
如图1所示，本发明实施例提供一种基于人工智能的物流小车行人检测方法包括以下步骤
步骤1：图像采集
配置智能车车载摄像机即设置参数(曝光度、白平衡等)，将采集的图像质量达到最优状态，尽可能地减少图像拍摄过程中各类噪声以及光线亮暗程度对图像清晰度造成的影响，就是拍出的照片足够清晰实时获取车辆行驶周围道路图像。
步骤2：处理原图像
首先，对小车拍摄到的行驶周围道路图像进行降噪的处理，消除拍摄过程中可能产生的运动模糊。然后采用边缘框法来完成对图像中感兴趣区的提取工作。具体操作如下
首先，利用结构化边缘检测器生成边缘图，其中每个像素包含边缘的大小和方向信息。因为边缘框检测器可能产生许多重叠的候选行人框，所以使用非极大值抑制(NMS)的方法按以下的准则来过滤掉这些重叠的边框进一步得到一个相对来说比较稀疏的边缘图像；
Overlap area为重叠的比例；
Intersection area为重叠的候选行人框区域；
Union area为存在重叠的两个候选行人框的所有区域；
如果重叠比例大于0.5，就把候选区域默认为包含有行人的有效区域；否则就认为这个候选框所包含的区域为背景。如果两个包围盒重叠超过50％，则选择具有更高得分的那个边框。
步骤3：计算边缘组之间的相似度
将近乎在一条直线上的边缘点集中起来得到N多个小段，形成一个边缘组(EdgeGroups)。具体的操作是通过不断地寻找8连通的边缘点，直到两两边缘之间的方向角的差值的和大于pi/2；得到N个边缘组以后，再进一步计算两两边缘组之间的相似度a(si,sj)，公式如下：
a(si,sj)＝|cos(θi-θij)cos(θj-θij)|γ
给定一边缘组群Si∈S，计算每对边缘组之间的相似度a。对于一对边缘组Si和Sj，相似度是基于在它们的平均位置Xi和Xj和平均取向θi和θj，如果两组之间的角度与组的方向类似，则边缘组具有很高的相似度。θij是Xi和Xj之间的夹角。实际中γ＝2，γ的值用于调整相似度对方向变化的敏感性。如果两个边缘框在同一条直线上面，那么通过计算得到这两个边缘框的相似度就越高；
步骤4：计算边缘组之间的权值
根据步骤3得到的边缘组来确定轮廓。通过对每一个边缘组进行设置一个对应的权值，然后再把权值均为1的边缘组都划分为边缘框内部的轮廓的一部分，把权值为0的划分为框外或者框边界重叠的轮廓的一部分，公式如下
对于每个边缘组Si，计算一个权值Wb(Si)∈[0，1]，该权值表示Si是否完全包含或不包含在候选框b中，即Wb(Si)等于1或0。设Sb为与候选框b边界重叠的边组集合。对于所有Si∈Sb，Sb(Si)设置为0。同样，对于所有的Si其中Wb(Si)等于0,因为所有像素必须在b或Si∈Sb之外。对于剩余的和边缘组，计算公式如上，T是长度为T的边缘组的有序路径，指的是从边框的边缘开始到达Si的边缘组序列集合，从t1∈Sb开始并终止于t|T|＝Si；如果不存在这样的路径Wb(Si)＝1。
步骤5：计算边框的得分
使用计算得出的wb值计算边框的得分hb，公式如下
其中，bw和bh是候选边框的宽度和高度。设k＝1.5用来降低较大边框拥有的较多平均边缘进行偏置调节。
步骤6：输出检测信息
本发明检测目标只有单一的行人，因此只需要对背景和行人两者进行分类，所以在设置分类标签和类别的时候只设置了行人和背景两种，得到的结果不是行人，就是背景。利用分类器实现对每一个候选框的分类，将分类信息和计算出的边框的得分发送至车辆控制系统。
经过处理后的车辆行驶周围道路图像得到检测后的结果发送至车辆控制系统。
Claims (7)
1.一种基于人工智能的物流小车行人检测方法，其特征在于：该方法包括以下步骤：
步骤1、通过车载摄像头获取实时获取车辆行驶周围道路图像；车辆行驶周围道路图像包含行人；
步骤2、运行Edge Boxes算法提取包含行人的车辆行驶周围道路图像边框，得到候选框；
步骤3、将提取的候选框和整个车辆行驶周围道路图像输入动态自适应区域卷积神经网络模型中；
步骤4、利用动态自适应卷积神经网络提取候选框的特征；
步骤5、利用分类器和回归算法实现对每一个候选框的分类和打分；
步骤6、经过处理后的车辆行驶周围道路图像得到检测后的结果发送至车辆控制统。
2.根据权利要求1所述的一种基于人工智能的物流小车行人检测方法，其特征在于：步骤1中，
配置智能车车载摄像机即设置参数，将采集的图像质量达到最优状态，尽可能地减少图像拍摄过程中各类噪声以及光线亮暗程度对图像清晰度造成的影响，就是拍出的照片足够清晰实时获取车辆行驶周围道路图像。
3.根据权利要求2所述的一种基于人工智能的物流小车行人检测方法，其特征在于：步骤2中处理原图像，
首先，对小车拍摄到的行驶周围道路图像进行降噪的处理，消除拍摄过程中可能产生的运动模糊，然后采用边缘框法来完成对图像中感兴趣区的提取工作，具体操作如下：
首先，利用结构化边缘检测器生成边缘图，其中每个像素包含边缘的大小和方向信息；因为边缘框检测器可能产生许多重叠的候选行人框，所以使用非极大值抑制的方法按以下的准则来过滤掉这些重叠的边框进一步得到一个相对来说比较稀疏的边缘图像；
Overlap area为重叠的比例；
Intersection area为重叠的候选行人框区域；
Union area为存在重叠的两个候选行人框的所有区域；
如果重叠比例大于0.5，就把候选区域默认为包含有行人的有效区域；否则就认为这个候选框所包含的区域为背景；如果两个包围盒重叠超过50％，则选择具有更高得分的那个边框。
4.根据权利要求3所述的一种基于人工智能的物流小车行人检测方法，其特征在于：步骤3中计算边缘组之间的相似度，
将近乎在一条直线上的边缘点集中起来得到N多个小段，形成一个边缘组；具体的操作是通过不断地寻找8连通的边缘点，直到两两边缘之间的方向角的差值的和大于pi/2；得到N个边缘组以后，再进一步计算两两边缘组之间的相似度a(si,sj)，公式如下：
a(si,sj)＝|cos(θi-θij)cos(θj-θij)|γ
给定一边缘组群Si∈S，计算每对边缘组之间的相似度a；对于一对边缘组Si和Sj，相似度是基于在它们的平均位置Xi和Xj和平均取向θi和θj，如果两组之间的角度与组的方向类似，则边缘组具有很高的相似度；θij是Xi和Xj之间的夹角；实际中γ＝2，γ的值用于调整相似度对方向变化的敏感性；如果两个边缘框在同一条直线上面，那么通过计算得到这两个边缘框的相似度就越高。
5.根据权利要求4所述的一种基于人工智能的物流小车行人检测方法，其特征在于：步骤4中计算边缘组之间的权值，
根据步骤3得到的边缘组来确定轮廓；通过对每一个边缘组进行设置一个对应的权值，然后再把权值均为1的边缘组都划分为边缘框内部的轮廓的一部分，把权值为0的划分为框外或者框边界重叠的轮廓的一部分，公式如下
对于每个边缘组Si，计算一个权值Wb(Si)∈[0，1]，该权值表示Si是否完全包含或不包含在候选框b中，即Wb(Si)等于1或0；设Sb为与候选框b边界重叠的边组集合；对于所有Si∈Sb，Sb(Si)设置为0；同样，对于所有的Si其中Wb(Si)等于0,因为所有像素必须在b或Si∈Sb之外；对于剩余的和边缘组，计算公式如上，T是长度为T的边缘组的有序路径，指的是从边框的边缘开始到达Si的边缘组序列集合，从t1∈Sb开始并终止于t|T|＝Si；如果不存在这样的路径Wb(Si)＝1。
6.根据权利要求5所述的一种基于人工智能的物流小车行人检测方法，其特征在于：步骤5中计算边框的得分，
使用计算得出的wb值计算边框的得分hb，公式如下
其中，bw和bh是候选边框的宽度和高度；设k＝1.5。
7.根据权利要求6所述的一种基于人工智能的物流小车行人检测方法，其特征在于：步骤6中输出检测信息，
检测目标只有单一行人，因此只需要对背景和行人两者进行分类，所以在设置分类标签和类别的时候只设置了行人和背景两种，得到的结果不是行人，就是背景；利用分类器实现对每一个候选框的分类，将分类信息和计算出的边框的得分发送至车辆控制系统；
经过处理后的车辆行驶周围道路图像得到检测后的结果发送至车辆控制系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910674234.7A CN110414413A (zh) | 2019-07-25 | 2019-07-25 | 一种基于人工智能的物流小车行人检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910674234.7A CN110414413A (zh) | 2019-07-25 | 2019-07-25 | 一种基于人工智能的物流小车行人检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110414413A true CN110414413A (zh) | 2019-11-05 |
Family
ID=68362969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910674234.7A Pending CN110414413A (zh) | 2019-07-25 | 2019-07-25 | 一种基于人工智能的物流小车行人检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110414413A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010537A (zh) * | 2019-12-06 | 2020-04-14 | 苏州智加科技有限公司 | 车辆控制方法、装置、终端及存储介质 |
| CN112926470A (zh) * | 2021-03-05 | 2021-06-08 | 三一智造(深圳)有限公司 | 一种基于人工智能的行人检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202624201U (zh) * | 2012-04-27 | 2012-12-26 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种车用行人检测智能控制装置 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN107016391A (zh) * | 2017-04-14 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 一种复杂场景工件识别方法 |
| CN108681691A (zh) * | 2018-04-09 | 2018-10-19 | 上海大学 | 一种基于无人水面艇的海上船艇快速检测方法 |
| CN108734132A (zh) * | 2015-06-11 | 2018-11-02 | 大连理工大学 | 建立车载行人检测的行人识别分类器的方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
-
2019
- 2019-07-25 CN CN201910674234.7A patent/CN110414413A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202624201U (zh) * | 2012-04-27 | 2012-12-26 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种车用行人检测智能控制装置 |
| CN108734132A (zh) * | 2015-06-11 | 2018-11-02 | 大连理工大学 | 建立车载行人检测的行人识别分类器的方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN107016391A (zh) * | 2017-04-14 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 一种复杂场景工件识别方法 |
| CN108681691A (zh) * | 2018-04-09 | 2018-10-19 | 上海大学 | 一种基于无人水面艇的海上船艇快速检测方法 |
| CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111010537A (zh) * | 2019-12-06 | 2020-04-14 | 苏州智加科技有限公司 | 车辆控制方法、装置、终端及存储介质 |
| CN111010537B (zh) * | 2019-12-06 | 2021-06-15 | 苏州智加科技有限公司 | 车辆控制方法、装置、终端及存储介质 |
| CN112926470A (zh) * | 2021-03-05 | 2021-06-08 | 三一智造(深圳)有限公司 | 一种基于人工智能的行人检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nugraha et al. | Towards self-driving car using convolutional neural network and road lane detector | |
| Zhou et al. | Moving vehicle detection for automatic traffic monitoring | |
| Greenhalgh et al. | Recognizing text-based traffic signs | |
| CN108549864B (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
| Zhang et al. | High speed automatic power line detection and tracking for a UAV-based inspection | |
| WO2019196130A1 (zh) | 面向车载热成像行人检测的分类器训练方法和装置 | |
| Munoz et al. | Depth-aware indoor staircase detection and recognition for the visually impaired | |
| Haque et al. | A computer vision based lane detection approach | |
| CN111209810A (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
| CN108205658A (zh) | 基于单双目视觉融合的障碍物检测预警系统 | |
| US10496891B2 (en) | Driver assistance system and method for object detection and notification | |
| DE102014012653A1 (de) | Bildverarbeitungsverfahren für Fahrzeugkamera und dieses anwendende Bildverarbeitungsvorrichtung | |
| Fleyeh et al. | Traffic sign detection based on AdaBoost color segmentation and SVM classification | |
| CN110414413A (zh) | 一种基于人工智能的物流小车行人检测方法 | |
| Miller et al. | Person tracking in UAV video | |
| Vishwanathan et al. | Traffic sign recognition in autonomous vehicles using edge detection | |
| CN115116132A (zh) | 一种物联网边缘服务环境下深度感知的人体行为分析方法 | |
| Budzan | Fusion of visual and range images for object extraction | |
| Wu et al. | Real-time 2D hands detection and tracking for sign language recognition | |
| CN110688876A (zh) | 一种基于视觉的车道线检测方法及装置 | |
| Jakob et al. | Camera-based on-road detections for the visually impaired | |
| Le et al. | Real-time sign detection and recognition for self-driving mini rovers based on template matching and hierarchical decision structure. | |
| Liu et al. | Real-time object segmentation for visual object detection in dynamic scenes | |
| Said et al. | Real-time detection and classification of traffic light signals | |
| Kageyama et al. | Extraction and recognition of speed limit signs in night-scene videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |
|
| RJ01 | Rejection of invention patent application after publication |