CN107911429A - 一种基于视频的无人机云端在线交通流量监测方法 - Google Patents

一种基于视频的无人机云端在线交通流量监测方法 Download PDF

Info

Publication number
CN107911429A
CN107911429A CN201711074555.0A CN201711074555A CN107911429A CN 107911429 A CN107911429 A CN 107911429A CN 201711074555 A CN201711074555 A CN 201711074555A CN 107911429 A CN107911429 A CN 107911429A
Authority
CN
China
Prior art keywords
mrow
video
unmanned plane
training
msub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711074555.0A
Other languages
English (en)
Inventor
廖振星
段文博
高月山
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ceewa Intelligent Technology Co Ltd
Original Assignee
Nanjing Ceewa Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ceewa Intelligent Technology Co Ltd filed Critical Nanjing Ceewa Intelligent Technology Co Ltd
Priority to CN201711074555.0A priority Critical patent/CN107911429A/zh
Publication of CN107911429A publication Critical patent/CN107911429A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频的无人机云端在线交通流量监测方法，包括1)、无人机按照规划路径飞行，并拍摄需要检测路段的路况信息视频；2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩；3)、无人机通过4G通信模块将视频数据传输给地面监控系统；4)、地面监控系统接收到视频后，根据用户的权限和需求，执行训练SSD算法模型，或用完成训练SSD算法模型进行目标检测，管理员用户可训练SSD算法模型并进行SSD算法目标检测，而普通用户只可进行SSD算法目标检测。本发明采用通过机动的无人机实现灵活的监测路段选择，实现更强自主性；采用目标检测算法，并借助云端计算力，实现检测速度和精度的兼顾，大幅提高鲁棒性，并能统一在地面监控中心集中处理。

Description

一种基于视频的无人机云端在线交通流量监测方法
技术领域
本发明属于无人机图像处理技术和计算机视觉领域，具体而言涉及一种基于视觉和深度学习的无人机通过云端对实时运动目标进行分类和检测的方法，进而实现交通流量监控。
背景技术
目前已有的行人和车流量监测方法，如通过路口固定的监控摄像头采集车辆信息，传到交通控制中心进行车流量的分析与统计，该方法是被动采集交通信息，当应用场景机动性需求强，如车流量过大需要疏散交通，或高速路发生车祸需要了解路况及时救援时，传统的方法就束手无策；而目前已有的无人机视觉监测方法，如基于分割、分类器、特征点等方法，由于时间复杂度高、窗口冗余、动态背景的检测鲁棒性不高等，无法实时并准确地监控行人和车流量，从而实际应用价值较低；同时目前大部分无人机采用数传等短距离通信方式，无法满足监控应用中多架无人机远程协同操作的需求。
发明内容
本发明的目的在于提供一种基于视频的无人机云端在线交通流量监测方法，克服现有技术中的无人机检测方法存在时间复杂度高、鲁棒性差，以及过数据等通信方式存在通信距离短的技术问题。
为了解决上述问题，本发明采取如下技术方案：
一种基于视频的无人机云端在线交通流量监测方法，通过无人机系统完成对交通流量监测，所述无人机系统包括地面监控系统、云端服务器和至少一架无人机、，其中每架无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和4G通信模块，相机、飞行控制器和4G通信模块与机载嵌入式处理器之间通过导线连接，无人机和地面监控系统、云端服务器通4G通信模块无线通讯；
无人机云端在线交通流量监测方法，包括如下步骤：
1)、无人机按照规划路径飞行，并拍摄需要检测路段的路况信息视频；
2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩；
无人机对视频进行畸变校正，并压缩到合适的处理尺寸；
3)、无人机通过4G通信模块将视频数据传输给地面监控系统：
3.1)当只有一架无人机时，无人机通过4G通信模块将视频数据传输给地面
监控系统；
3.2)当无人机的数量为两架及以上时，且协同执行任务时，多个无人机均需要将所拍摄的视频发送给地面站进行处理；同时也可远程控制无人机；
4)、地面监控系统接收到视频后，根据用户的权限和需求，执行训练SSD算法模型，或用完成训练SSD算法模型进行目标检测，管理员用户可训练SSD算法模型并进行SSD算法目标检测，而普通用户只可进行SSD算法目标检测：
4.1)、当选择训练模型操作后，需先对视频数据进行人工标记，将标记后视频数据上传给云端服务器或地面监控系统的处理器，然后在云端服务器或地面监控系统的处理器端进行训练SSD算法模型，训练设定时间段后，通过测试数据集测试训练后的SSD模型的精度是否满足要求：
4.1.1)、当训练满足要求后，结束；
4.1.2)、当训练不满足要求后，继续训练；
4.2)、当选择进行目标检测操作后，需先将视频数据上传到云端服务器，借助云端服务器算力进行SSD算法目标检测，检测得到的数据用于对检测路段的车辆、行人流量自动统计，根据统计结果进行交通管制、疏导。
当管理员用户需要进一步训练目标检测SSD算法模型时，可采用原始视频经过人工标记后生成的数据，或者目标检测结果经过人工修正后的数据，通过不断的训练、检测，提高系统的检测精度。目标物识别过程中，采用基于深度学习的目标检测算法——SSD，它是以VGG卷积神经网络架构为基础，加上了用于判断类别置信度的层和调整矩形框位置的层，包含16层网络层的卷积神经网络架构。
针对传统的交通流量检测方法存在机动性差的问题，本发明采用通过机动的无人机实现灵活的监测路段选择，实现更强自主性；针对现有的无人机检测方法存在时间复杂度高、鲁棒性差的问题，本发明通过采用目标检测算法，并借助云端计算力，实现检测速度和精度的兼顾，大幅提高鲁棒性，并能统一在地面监控中心集中处理；针对传统无人机通过数据等通信方式存在通信距离短的问题，本 发明借助4G网络，实现远程数据传输，不受距离限制，同时可在地面监控中心灵活控制多架无人机远程共同完成任务。
进一步改进，步骤4.2)中，通过云端服务器检测得到的数据，可用于训练SSD算法模型，降低标记的工作量。因为云端进行目标检测后，会识别目标物并输出相关位置信息，而标记工作就是为了标定出目标物及其位置，所以检测结果可用于标志工作(少数检测错误的，标记时需修正)，从而降低工作量。
进一步改进，所述对视频进行畸变校正的步骤如下：
1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；
2)、通过MATLAB对所拍摄标定板视图进行处理，获取相机畸变参数；
3)、根据相机畸变参数修正视频畸变误差。
进一步改进，训练SSD算法模型的步骤如下：
1)、从视频中提取图像，通过测定的参数矫正畸变，并将压缩成合适的尺寸，然后进行数据标记，通过矩形框包围图像中所有目标，并给目标定义类别，标记的结果输出为xml标记文件；目标是指需要识别的车辆、行人。
2)、分别定义用于训练、测试、检测的网络架构，其中主要的参数有识别目标的类别总数、矩形框长宽比的预定义；
3)、根据标记文件制作深度学习框架caffe所需的lmdb格式数据文件，用于训练；
4)、定义训练网络参数和超参数，定义合适的训练速率、优化方法、训练次数；
5)、进行训练，并且输出训练日志；
6)、统计随着训练次数的增加，整体损失度loss和准确度的变化，根据变化调整用于训练的网络参数和超参数，重新训练；
7)、得到最优的SSD算法模型，以此SSD算法模型为基础，输入测试的图像或视频流，输出检测结果。
进一步改进，训练SSD算法模型时，整体损失函数如下：
其中，等式右边的第一项为置信度损失，第二项为位置损失；
N为匹配的默认边框数目，为正整数；
α为平衡因子，交叉验证时可取值为1；
1表示预测框，g为地面真实框，c为多类置信度，X为用于匹配默认框到地面真实框的类别指示符；
置信度损失是多个类置信度之间的softmax损失(注：softmax损失是机器学习中的标准概念)；置信度损失无法避免，因为计算时按照神经网络的正向传播计算的分数S1，和按照正确标注计算的分数S2之间的差距无法消除。
位置损失是预测框1和地面真值框g之间的平滑损失。位置损失无法避免，因为预测框和地面真值框之间的位置存在的差异无法避免。
设定预测时需使用m个特征图，则每个特征图对应的默认边框比例计算如下：
其中smin为最低层的比例，值是0.2；smax为最高层的比例，值是0.9，K、m为正整数。特征图是指将输入图片经过卷积核卷积运算后得到的新的输出图，不同的卷积核可以得到不同的特征图，从而提取出不同的特征。为了掌握不同物体的特征情况以便于区分，需要通过特征图来提取特征。
进一步改进，传递到地面监控中心的视频、图像采用训练好的SSD算法进行目标检测，得到的检测结果可传递给普通用户，同时可用于后续的交通管制、疏导等处理；采用SSD算法进行目标检测的步骤如下：
1)、输入图像或视频流，输出检测结果，检测结果包括目标包围矩形框的两个坐标和目标的类别；
2)、将检测结果输出为xml格式文件；
3)、在输入图像中绘制出矩形框，可视化检测结果；
4)、对检测结果按照需求进行统计。
进一步改进，由于SSD运算量大，要达到实用的检测速度，必须具备相应的硬件加速环境，地面监控系统选用搭载高性能显卡TITAN X的PC机或阿里云GN4高性能计算服务器。操作系统支持Linux或Windows。
与现有技术相比，本方案具有如下有益效果：
针对传统的交通流量检测方法存在机动性差的问题，本发明可通过机动的无 人机实现灵活的监测路段选择，自主性更强；针对现有的无人机检测方法存在时间复杂度高、鲁棒性差的问题，本发明通过采用最新研究的目标检测算法，并借助云端计算力，实现检测速度和精度的兼顾，大幅提高鲁棒性，并能统一在地面监控中心集中处理；针对传统无人机通过数据等通信方式存在通信距离短的问题，本发明借助4G网络，可实现远程数据传输，不受距离限制，同时可在地面监控中心灵活控制多架无人机远程共同完成任务。
附图说明
图1为本发明所述无人机系统框图。
图2为本发明所述目标训练和检测逻辑框图。、
图3为本发明所述基于视频的无人机云端在线交通流量监测方法的流程图。
具体实施方式
为使本发明的目的和技术方案更加清楚，下面结合本发明实施例对本发明的技术方案进行清楚，完整的描述。
实施例一：
如图1所示，无人机系统主要包括带云台、相机、飞行控制器、机载嵌入式处理器和4G通信模块等的无人机，地面监控系统，以及具有强大计算能力的、云端服务器。无人机拍摄需要的机动交通路况视频，然后经过无人机机载处理器的畸变校正和压缩处理后，通过4G通信模块克服距离限制，远程传递到地面监控中心，进行集中处理；进一步提高无人机自动化；地面监控中心收到视频后，借助云端服务器的云计算能力，采用基于深度学习并完成训练的目标检测SSD算法，对路况视频进行监测，统计出行人和车辆流量信息，为后续机动的交通管制、疏导等处理措施提供重要参考。
如图2所示的目标训练和检测逻辑框图，管理员用户可训练SSD算法模型并进行SSD算法目标检测，而普通用户只可进行SSD算法目标检测。传递到地面监控中心的视频、图像采用训练好的SSD算法进行目标检测，得到的检测结果可传递给普通用户，同时可用于后续的交通管制、疏导等处理；当管理员用户需要进一步训练目标检测SSD算法模型时，可采用原始视频经过人工标记后生成的数据，或者目标检测结果经过人工修正后的数据。通过不断的训练、检测，提高系统的检测精度。
目标物识别过程中，采用基于深度学习的目标检测算法——SSD，它是以VGG卷积神经网络架构为基础，加上了用于判断类别置信度的层和调整矩形框位置的层，包含16层网络层的卷积神经网络架构。
由于SSD算法运算量大，要达到实用的检测速度，必须具备相应的硬件加速环境。地面监控系统运行硬件可选用搭载高性能显卡TITAN X的PC机或阿里云GN4高性能计算服务器。操作系统支持Linux或Windows。
如图3所示，无人机云端在线交通流量监测方法，包括如下步骤：
1)、无人机按照规划路径飞行，并拍摄需要检测路段的路况信息视频；
2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩；
无人机对视频进行畸变校正，并压缩到合适的处理尺寸；
3)、无人机通过4G通信模块将视频数据传输给地面监控系统，同时也可远程控制无人机；
4)、地面监控系统接收到视频后，根据用户的权限和需求，执行训练SSD算法模型，或用完成训练SSD算法模型进行目标检测：
4.1)、当选择训练模型操作后，需先对视频数据进行人工标记，将标记后视频数据上传给云端服务器或地面监控系统的处理器，然后在云端服务器或地面监控系统的处理器端进行训练SSD算法模型，训练设定时间段后，通过测试数据集测试训练后的SSD模型的精度是否满足要求：
4.1.1)、当训练满足要求后，结束；
4.1.2)、当训练不满足要求后，继续训练；
4.2)、当选择进行目标检测操作后，需先将视频数据上传到云端服务器，借助云端服务器算力进行SSD算法目标检测，检测得到的数据用于对检测路段的车辆、行人流量自动统计，根据统计结果进行交通管制、疏导。
实施例二：
在本实施例中，多架无人机通过4G通信模块协同工作，多架无人机拍摄需要的机动交通路况视频，然后经过无人机机载处理器的畸变校正和压缩处理后，通过4G通信模块克服距离限制，远程传递到地面监控中心，进行集中处理。
其他部分与实施例一中相同。
本发明中未做特别说明的均为现有技术或者通过现有技术即可实现，而且本 发明中所述具体实施案例仅为本发明的较佳实施案例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应作为本发明的技术范畴。

Claims (6)

1.一种基于视频的无人机云端在线交通流量监测方法，其特征在于，通过无人机系统完成对交通流量监测，所述无人机系统包括地面监控系统、云端服务器和至少一架无人机，其中每架无人机包括无人机本体和设置在无人机本体上的云台、相机、机载嵌入式处理器、飞行控制器和4G通信模块，相机、飞行控制器和4G通信模块与机载嵌入式处理器之间通过导线连接，无人机和地面监控系统、云端服务器通4G通信模块无线通讯；
无人机云端在线交通流量监测方法，包括如下步骤：
1)、无人机按照规划路径飞行，并拍摄需要检测路段的路况信息视频；
2)、无人机机载嵌入式处理器对所拍摄视频进行畸变校正，并压缩到合适的处理尺寸；
3)、无人机通过4G通信模块将视频数据传输给地面监控系统：
4)、地面监控系统接收到视频后，根据用户的权限和需求，执行训练SSD算法模型，或用完成训练SSD算法模型进行目标检测：
4.1)、当选择训练模型操作后，需先对视频数据进行人工标记，将标记后视频数据上传给云端服务器或地面监控系统的处理器，然后在云端服务器或地面监控系统的处理器端进行训练SSD算法模型，训练设定时间段后，通过测试数据集测试训练后的SSD模型的精度是否满足要求：
4.1.1)、当训练满足要求后，结束；
4.1.2)、当训练不满足要求后，继续训练；
4.2)、当选择进行目标检测操作后，需先将视频数据上传到云端服务器，借助云端服务器算力进行SSD算法目标检测，检测得到的数据用于对检测路段的车辆、行人流量自动统计，根据统计结果进行交通管制、疏导。
2.根据权利要求1所述的基于视频的无人机云端在线交通流量监测方法，其特征在于，所述对视频进行畸变校正的步骤如下：
1)、使用无人机所选定相机对标准平面标定板进行多角度拍摄，拍摄图像数量为12～20张；
2)、通过MATLAB对所拍摄标定板视图进行处理，获取相机畸变参数；
3)、根据相机畸变参数修正视频畸变误差。
3.根据权利要求2所述的基于视频的无人机云端在线交通流量监测方法，其特征在于，训练SSD算法模型的步骤如下：
1)、从视频中提取图像，通过测定的参数矫正畸变，并将压缩成合适的尺寸，然后进行数据标记，通过矩形框包围图像中所有目标，并给目标定义类别，标记的结果输出为xml标记文件；
2)、分别定义用于训练、测试、检测的网络架构，其中主要的参数有识别目标的类别总数、矩形框长宽比的预定义；
3)、根据标记文件制作深度学习框架caffe所需的lmdb格式数据文件，用于训练；
4)、定义训练网络参数和超参数，定义合适的训练速率、优化方法、训练次数；
5)、进行训练，并且输出训练日志；
6)、统计随着训练次数的增加，整体损失度loss和准确度的变化，根据变化调整用于训练的网络参数和超参数，重新训练；
7)、得到最优的SSD算法模型，以此SSD算法模型为基础，输入测试的图像或视频流，输出检测结果。
4.根据权利要求3所述的基于视频的无人机云端在线交通流量监测方法，其特征在于，训练SSD算法模型时，整体损失函数如下：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>c</mi> <mo>,</mo> <mi>l</mi> <mo>,</mo> <mi>g</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>n</mi> <mi>f</mi> </mrow> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>c</mi> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>&amp;alpha;L</mi> <mrow> <mi>l</mi> <mi>o</mi> <mi>c</mi> </mrow> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>l</mi> <mo>,</mo> <mi>g</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow>
其中，等式右边的第一项为置信度损失，第二项为位置损失；
N为匹配的默认边框数目，为正整数；
α为平衡因子，交叉验证时可取值为1；
1表示预测框，g为地面真实框，c为多类置信度，X为用于匹配默认框到地面真实框的类别指示符；
设定预测时需使用m个特征图，则每个特征图对应的默认边框比例计算如下：
<mrow> <msub> <mi>s</mi> <mi>k</mi> </msub> <mo>=</mo> <msub> <mi>s</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>+</mo> <mfrac> <mrow> <msub> <mi>s</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>s</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn> </mrow> </mfrac> <mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> <mi>k</mi> <mo>&amp;Element;</mo> <mo>&amp;lsqb;</mo> <mn>1</mn> <mo>,</mo> <mi>m</mi> <mo>&amp;rsqb;</mo> </mrow>
其中smin为最低层的比例，值是0.2；smax为最高层的比例，值是0.9。
5.根据权利要求4所述的基于视频的无人机云端在线交通流量监测方法，其特征在于，采用SSD算法进行目标检测的步骤如下：
1)、输入图像或视频流，输出检测结果，检测结果包括目标包围矩形框的两个坐标和目标的类别；
2)、将检测结果输出为xml格式文件；
3)、在输入图像中绘制出矩形框，可视化检测结果；
4)、对检测结果按照需求进行统计。
6.根据权利要求1所述的基于视频的无人机云端在线交通流量监测方法，其特征在于，所述地面监控系统选用搭载高性能显卡TITAN X的PC机或阿里云GN4高性能计算服务器。
CN201711074555.0A 2017-11-04 2017-11-04 一种基于视频的无人机云端在线交通流量监测方法 Pending CN107911429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711074555.0A CN107911429A (zh) 2017-11-04 2017-11-04 一种基于视频的无人机云端在线交通流量监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711074555.0A CN107911429A (zh) 2017-11-04 2017-11-04 一种基于视频的无人机云端在线交通流量监测方法

Publications (1)

Publication Number Publication Date
CN107911429A true CN107911429A (zh) 2018-04-13

Family

ID=61843615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711074555.0A Pending CN107911429A (zh) 2017-11-04 2017-11-04 一种基于视频的无人机云端在线交通流量监测方法

Country Status (1)

Country Link
CN (1) CN107911429A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417041A (zh) * 2018-05-15 2018-08-17 江苏大学 一种基于四旋翼和云服务器的乡村道路监控系统及方法
CN108734148A (zh) * 2018-05-29 2018-11-02 河南牧业经济学院 一种基于云计算的公共场合图像信息采集无人机控制系统
CN108769571A (zh) * 2018-04-26 2018-11-06 中国计量大学 基于协同计算机系统的无人机视频处理系统
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN109003029A (zh) * 2018-07-20 2018-12-14 福州大学 一种基于深度学习的智能仓库巡检方法及系统
CN109241881A (zh) * 2018-08-22 2019-01-18 东北大学 一种人体姿态估计方法
CN110225264A (zh) * 2019-05-30 2019-09-10 石河子大学 无人机近地航拍检测农田残膜的方法
CN111178148A (zh) * 2019-12-06 2020-05-19 天津大学 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN111627220A (zh) * 2020-05-22 2020-09-04 中国科学院空天信息创新研究院 一种用于车辆检测的无人机与地面协同处理系统
CN111898437A (zh) * 2020-06-29 2020-11-06 北京大学 一种目标检测方法、装置
CN112163483A (zh) * 2020-09-16 2021-01-01 浙江大学 一种目标数量检测系统
CN112977823A (zh) * 2021-04-15 2021-06-18 上海工程技术大学 一种监控人流量数据无人机及监控方法
CN113358100A (zh) * 2021-05-25 2021-09-07 电子科技大学 嵌入式与yolo4改进算法的无人机实时目标识别系统
CN113837097A (zh) * 2021-09-26 2021-12-24 南京航空航天大学 一种面向视觉目标识别的无人机边缘计算验证系统和方法
CN114863299A (zh) * 2022-04-28 2022-08-05 哈尔滨理工大学 一种航空图像目标精细识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289186A (zh) * 2016-09-21 2017-01-04 南京航空航天大学 旋翼无人机机载视觉探测与多目标定位系统及实现方法
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN107316007A (zh) * 2017-06-07 2017-11-03 浙江捷尚视觉科技股份有限公司 一种基于深度学习的监控图像多类物体检测与识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106289186A (zh) * 2016-09-21 2017-01-04 南京航空航天大学 旋翼无人机机载视觉探测与多目标定位系统及实现方法
CN106611162A (zh) * 2016-12-20 2017-05-03 西安电子科技大学 基于深度学习ssd框架的道路车辆实时检测方法
CN107316007A (zh) * 2017-06-07 2017-11-03 浙江捷尚视觉科技股份有限公司 一种基于深度学习的监控图像多类物体检测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEI LIU ET AL.: "SSD: Single Shot MultiBox Detector", 《ECCV 2016》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769571A (zh) * 2018-04-26 2018-11-06 中国计量大学 基于协同计算机系统的无人机视频处理系统
CN108769571B (zh) * 2018-04-26 2024-01-02 中国计量大学 基于协同计算机系统的无人机视频处理系统
CN108417041A (zh) * 2018-05-15 2018-08-17 江苏大学 一种基于四旋翼和云服务器的乡村道路监控系统及方法
CN108734148A (zh) * 2018-05-29 2018-11-02 河南牧业经济学院 一种基于云计算的公共场合图像信息采集无人机控制系统
CN108985193A (zh) * 2018-06-28 2018-12-11 电子科技大学 一种基于图像检测的无人机航拍人像对准方法
CN109003029A (zh) * 2018-07-20 2018-12-14 福州大学 一种基于深度学习的智能仓库巡检方法及系统
CN109241881A (zh) * 2018-08-22 2019-01-18 东北大学 一种人体姿态估计方法
CN110225264A (zh) * 2019-05-30 2019-09-10 石河子大学 无人机近地航拍检测农田残膜的方法
CN111178148B (zh) * 2019-12-06 2023-06-02 天津大学 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN111178148A (zh) * 2019-12-06 2020-05-19 天津大学 一种基于无人机视觉系统的地面目标地理坐标定位方法
CN111627220A (zh) * 2020-05-22 2020-09-04 中国科学院空天信息创新研究院 一种用于车辆检测的无人机与地面协同处理系统
CN111898437A (zh) * 2020-06-29 2020-11-06 北京大学 一种目标检测方法、装置
CN112163483A (zh) * 2020-09-16 2021-01-01 浙江大学 一种目标数量检测系统
CN112977823A (zh) * 2021-04-15 2021-06-18 上海工程技术大学 一种监控人流量数据无人机及监控方法
CN113358100A (zh) * 2021-05-25 2021-09-07 电子科技大学 嵌入式与yolo4改进算法的无人机实时目标识别系统
CN113837097A (zh) * 2021-09-26 2021-12-24 南京航空航天大学 一种面向视觉目标识别的无人机边缘计算验证系统和方法
CN113837097B (zh) * 2021-09-26 2024-05-07 南京航空航天大学 一种面向视觉目标识别的无人机边缘计算验证系统和方法
CN114863299A (zh) * 2022-04-28 2022-08-05 哈尔滨理工大学 一种航空图像目标精细识别系统

Similar Documents

Publication Publication Date Title
CN107911429A (zh) 一种基于视频的无人机云端在线交通流量监测方法
CN107909600B (zh) 一种基于视觉的无人机实时运动目标分类与检测方法
CN106845621B (zh) 基于深度卷积神经网络的密集人群人数计数方法及系统
CN105303193B (zh) 一种基于单帧图像处理的人数统计系统
CN109765462A (zh) 输电线路的故障检测方法、装置和终端设备
CN103544483B (zh) 一种基于局部稀疏表示的联合目标追踪方法及其系统
WO2019080203A1 (zh) 一种机器人的手势识别方法、系统及机器人
CN106356757A (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106909886A (zh) 一种基于深度学习的高精度交通标志检测方法及系统
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN107153817A (zh) 行人重识别数据标注方法和装置
CN106934408A (zh) 基于卷积神经网络的身份证照片分类方法
CN110675395A (zh) 输电线路智能在线监测方法
CN110188690B (zh) 一种基于无人机的智能视觉分析系统、智能视觉分析系统及方法
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN108932273A (zh) 图片筛选方法及装置
CN106530281A (zh) 基于边缘特征的无人机图像模糊判断方法及系统
CN109492665A (zh) 水稻生育期的检测方法、装置及电子设备
CN107273799A (zh) 一种室内定位方法及定位系统
CN104239899A (zh) 一种用于无人机巡检的输电线路间隔棒识别方法
CN109241814A (zh) 基于yolo神经网络的行人检测方法
CN110175519A (zh) 一种变电站的分合标识仪表识别方法、装置与存储介质
CN109297978A (zh) 基于双目成像的电力线路无人机巡检及缺陷智能诊断系统
CN109086806A (zh) 一种基于低分辨率压缩图像的iot便携式设备视觉识别加速方法
CN113610040B (zh) 一种基于改进BiSeNetV2分割网络的水稻田杂草密度实时统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180413