CN109194927A - 基于深度学习的车载目标追踪云台相机设备 - Google Patents

基于深度学习的车载目标追踪云台相机设备 Download PDF

Info

Publication number
CN109194927A
CN109194927A CN201811222949.0A CN201811222949A CN109194927A CN 109194927 A CN109194927 A CN 109194927A CN 201811222949 A CN201811222949 A CN 201811222949A CN 109194927 A CN109194927 A CN 109194927A
Authority
CN
China
Prior art keywords
deep learning
vehicle
target
feature
holder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811222949.0A
Other languages
English (en)
Inventor
王思俊
刘琰
高旭麟
李建凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiandi Jiye Technology Co ltd
Original Assignee
Tianjin Tiandi Jiye Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiandi Jiye Technology Co ltd filed Critical Tianjin Tiandi Jiye Technology Co ltd
Priority to CN201811222949.0A priority Critical patent/CN109194927A/zh
Publication of CN109194927A publication Critical patent/CN109194927A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于深度学习的车载目标追踪云台相机设备，搭载智能高速摄像机，基于深度学习算法，识别人体行为或车辆表征，在移动车辆中实现目标跟踪，并可实时传输目标轨迹及坐标动向，包括：高速云台，智能高清相机，深度学习智能模块，车载供电转换模块，GPS定位、轨迹描绘模块。高清摄像机实现高清视频采集传输，深度学习智能模块可自动识别相应目标，高速云台实现目标的锁定，GPS模块定位并记录目标当前的运动轨迹。本发明可以与公安平台配合，移动中对案件中嫌疑人、车的移动终端进行跟踪，可起到协助案件侦破的作用。

Description

基于深度学习的车载目标追踪云台相机设备
技术领域
本发明属于人工智能技术领域，尤其是涉及一种基于深度学习的车载目标追踪云台相机设备。
背景技术
随着监控领域电子技术的发展，各种产品的设计方向都向着智能化的方向发展，车载应用立足于现有监控应用设备，有它高机动性特有的优势，有强有力的提升空间，力求在整合更多先进的智能化功能，深度学习同时智能化创新的方向上有所突破。带有自动追踪功能的动点云台产品，越来越受到市场的欢迎。
基于人工智能的人体特征行为识别是将包含人体动作的视频添加上动作类型的标签。近年来,随着视频采集传感器及计算机的不断发展,这方面的研究在视频监控、人机接口、基于内容的视频检索等方面逐渐成为一个具有广泛应用前景的研究课题。
发明内容
有鉴于此，本发明旨在提出一种基于深度学习的车载目标追踪云台相机设备，以解决上述背景技术中提到的问题。
为达到上述目的，本发明的技术方案是这样实现的：
基于深度学习的车载目标追踪云台相机设备，包括高速云台、智能高清相机、深度学习智能模块、车载供电转换模块、GPS定位模块，所述智能高清相机固定在高速云台上，用于实现高清视频采集传输，所述深度学习智能模块用于自动识别相应目标，所述GPS定位模块用于精准定位，目标追踪，实时绘制并传输目标运动轨迹，传输运动轨迹。
进一步的，所述深度学习智能模块植入目标表征特性识别算法，可接受学习目标特性，并锁定目标协助追踪。
进一步的，所述高速云台可水平360°，垂直180°转动，实现目标及时锁定追踪。
进一步的，所述深度学习智能模块分为两个过程:特征表征和动作的识别及理解，其中特征表征是在视频数据中提取能够表征这段视频关键信息的特征；动作识别及理解阶段是将前一阶段得到的特征向量作为输入经过机器学习算法进行学习,并将在测试过程或应用场景中得到的特征向量输入到上述过程得到的模型中进行类型的识别。
进一步的，所述机器学习方法包括SVM算法。
进一步的，所述特征的提取方法是基于深度学习的目标特征提取方法，具体包括如下步骤：
(1)初始化输入图像尺寸为W*W，卷积核大小为K*K，步长为S，填充大小为P，输出个数为NUM和各层的权重为θi；
(2)构建具有46层的深度学习的目标特征提取网络；
(3)将目标图像数据输入到步骤2中构建的目标特征提取网络中，训练softmax分类器；
(4)启动目标特征提取网络，进行网络训练：网络训练T时间后，通过微调求对人目标特征提取网络进行精度提升，最终出来的权重系统θ，即为所求模型；通过该模型对未知样本进行特征提取，流程结束。
相对于现有技术，本发明所述的基于深度学习的车载目标追踪云台相机设备具有以下优势：
(1)本发明的基于深度学习的车载目标跟踪云台相机，应用主要是针对车载，优势在于加强移动监控产品机动性，及时响应及时追踪。内置智能学习模块，通过深度学习算法植入相应人体行为或车辆特征表征的标签，当高清相机采集图像存在对应此标签时，算法自动进行目标识别，并实时联动云台跟踪，依据画面图像配合GPS模块计算实现目标定位及轨迹描绘，从而可进行车载移动的高机动性跟踪，实现有针对性的、高效的跟踪，相比较固定设备跟踪大大提升目标跟踪机动性，保证目标跟踪有效率。
(2)本发明可以与公安平台配合，移动中对案件中嫌疑人、车的移动终端进行跟踪，可起到协助案件侦破的作用。对恶性案件中嫌疑人的高机动追踪，起到协助案件的侦破的作用。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是深度学习的行为特征识别流程示意图。
图2是深度学习的车载目标追踪整体模块协作流程示意图。
图3是本发明基于GPS模块追踪，定位坐标及轨迹描绘传输示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1-2所示，本发明的深度学习的车载目标追踪云台相机设备，车载目标跟踪云台相机，应用深度学习算法，实现车载移动云台目标跟踪功能。搭载智能高速摄像机，可基于深度学习算法，识别人体行为或车辆特征表征，在移动车辆中实现目标跟踪，并实时传输目标轨迹及坐标动向。包括：高速云台，智能高清相机，深度学习智能模块，车载供电转换模块，GPS定位模块。高清摄像机实现高清视频采集传输，深度学习智能模块可自动识别相应目标，具有高灵活、机动性，应用于交通治安，协助案件目标追踪等。
识别特征行为工作主要分为两个过程:特征表征和动作的识别及理解。特征表征是在视频数据中提取能够表征这段视频关键信息的特征，这个过程在整个识别过程起了关键的作用。动作识别及理解阶段是将前一阶段得到的特征向量作为输入经过机器学习算法进行学习,并将在测试过程或应用场景中得到的特征向量输入到上述过程得到的模型中进行类型的识别。精准定位追踪得到了解决。
所述的基于深度学习的车载目标跟踪云台相机，内部搭载高精GPS，结合视频采集运动轨迹描绘系统，并实时锁定目标的位置及描绘目标运动轨迹跟踪功能，如图3所示。
所述的基于深度学习的车载目标跟踪云台相机，基于高清视频采集画面，高分辨率画面强化了深度学习算法的精准度，实现高识别算法的高度可靠性。
所述的基于深度学习的车载目标跟踪云台相机，在可视半径内，高速可实现无死角水平360°，垂直180°全方位目标锁定，可靠跟踪。
所述的基于深度学习的车载目标追踪云台相机，在可视半径内，可实现相应的智能锁定，目标追踪功能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于深度学习的车载目标追踪云台相机设备，其特征在于：包括高速云台、智能高清相机、深度学习智能模块、车载供电转换模块、GPS定位模块，所述智能高清相机固定在高速云台上，用于实现高清视频采集传输，所述深度学习智能模块用于自动识别相应目标，所述GPS定位模块用于精准定位，目标追踪，实时绘制并传输目标运动轨迹，传输运动轨迹。
2.根据权利要求1所述的基于深度学习的车载目标追踪云台相机设备，其特征在于：所述深度学习智能模块植入目标表征特性识别算法，可接受学习目标特性，并锁定目标协助追踪。
3.根据权利要求1所述的基于深度学习的车载目标追踪云台相机设备，其特征在于：所述高速云台可水平360°，垂直180°转动，实现目标及时锁定追踪。
4.根据权利要求2所述的基于深度学习的车载目标追踪云台相机设备，其特征在于：所述深度学习智能模块分为两个过程:特征表征和动作的识别及理解，其中特征表征是在视频数据中提取能够表征这段视频关键信息的特征；动作识别及理解阶段是将前一阶段得到的特征向量作为输入经过机器学习算法进行学习,并将在测试过程或应用场景中得到的特征向量输入到上述过程得到的模型中进行类型的识别。
5.根据权利要求4所述的基于深度学习的车载目标追踪云台相机设备，其特征在于：所述机器学习方法包括SVM算法。
6.根据权利要求4所述的基于深度学习的车载目标追踪云台相机设备，其特征在于：所述特征的提取方法是基于深度学习的目标特征提取方法，具体包括如下步骤：
(1)初始化输入图像尺寸为W*W，卷积核大小为K*K，步长为S，填充大小为P，输出个数为NUM和各层的权重为θi；
(2)构建具有46层的深度学习的目标特征提取网络；
(3)将目标图像数据输入到步骤2中构建的目标特征提取网络中，训练softmax分类器；
(4)启动目标特征提取网络，进行网络训练：网络训练T时间后，通过微调求对人目标特征提取网络进行精度提升，最终出来的权重系统θ，即为所求模型；通过该模型对未知样本进行特征提取，流程结束。
CN201811222949.0A 2018-10-19 2018-10-19 基于深度学习的车载目标追踪云台相机设备 Pending CN109194927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811222949.0A CN109194927A (zh) 2018-10-19 2018-10-19 基于深度学习的车载目标追踪云台相机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811222949.0A CN109194927A (zh) 2018-10-19 2018-10-19 基于深度学习的车载目标追踪云台相机设备

Publications (1)

Publication Number Publication Date
CN109194927A true CN109194927A (zh) 2019-01-11

Family

ID=64946296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811222949.0A Pending CN109194927A (zh) 2018-10-19 2018-10-19 基于深度学习的车载目标追踪云台相机设备

Country Status (1)

Country Link
CN (1) CN109194927A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579782A (zh) * 2019-07-31 2019-12-17 国网浙江省电力有限公司杭州供电公司 一种电力作业人员可视化定位追踪系统及方法
CN114419899A (zh) * 2022-01-17 2022-04-29 广州小鹏汽车科技有限公司 目标车辆识别方法、装置、车辆及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905733A (zh) * 2014-04-02 2014-07-02 哈尔滨工业大学深圳研究生院 一种单目摄像头对人脸实时跟踪的方法及系统
US20140300690A1 (en) * 2002-10-11 2014-10-09 Brian KwangShik Hong Peripheral Viewing System for a Vehicle
CN104378582A (zh) * 2013-08-16 2015-02-25 北京博思廷科技有限公司 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104571132A (zh) * 2013-10-20 2015-04-29 郁杰夫 一种追踪摄影系统和追踪摄影方法
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN106303461A (zh) * 2016-09-08 2017-01-04 福建师范大学 基于视频分析的移动式智能安防装置
CN107871106A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸检测方法和装置
CN108062115A (zh) * 2018-02-07 2018-05-22 成都新舟锐视科技有限公司 一种基于云台控制技术的多目标连续跟踪系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140300690A1 (en) * 2002-10-11 2014-10-09 Brian KwangShik Hong Peripheral Viewing System for a Vehicle
CN104378582A (zh) * 2013-08-16 2015-02-25 北京博思廷科技有限公司 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN104571132A (zh) * 2013-10-20 2015-04-29 郁杰夫 一种追踪摄影系统和追踪摄影方法
CN103905733A (zh) * 2014-04-02 2014-07-02 哈尔滨工业大学深圳研究生院 一种单目摄像头对人脸实时跟踪的方法及系统
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN106303461A (zh) * 2016-09-08 2017-01-04 福建师范大学 基于视频分析的移动式智能安防装置
CN107871106A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 人脸检测方法和装置
CN108062115A (zh) * 2018-02-07 2018-05-22 成都新舟锐视科技有限公司 一种基于云台控制技术的多目标连续跟踪系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110579782A (zh) * 2019-07-31 2019-12-17 国网浙江省电力有限公司杭州供电公司 一种电力作业人员可视化定位追踪系统及方法
CN114419899A (zh) * 2022-01-17 2022-04-29 广州小鹏汽车科技有限公司 目标车辆识别方法、装置、车辆及存储介质

Similar Documents

Publication Publication Date Title
CN105260712B (zh) 一种车辆前方行人检测方法及系统
CN104520732B (zh) 定位传感器的方法以及相关设备
CN108803617A (zh) 轨迹预测方法及装置
CN112818768B (zh) 一种基于元学习的变电站改扩建违章行为智能化识别方法
CN101226597B (zh) 一种基于热红外步态的夜间行人识别方法及系统
CN103942575A (zh) 基于场景和马尔科夫逻辑网的智能行为分析系统及方法
CN109905675A (zh) 一种基于计算机视觉的矿山人员监控系统及方法
CN112200106A (zh) 跨相机行人重识别与跟踪方法
CN111027432B (zh) 基于步态特征的视觉跟随机器人方法
Ekinci et al. Silhouette based human motion detection and analysis for real-time automated video surveillance
CN101574586A (zh) 毽球机器人及控制方法
CN103646253A (zh) 基于乘客多运动行为分析的公交车客流统计方法
CN109194927A (zh) 基于深度学习的车载目标追踪云台相机设备
CN106296743A (zh) 一种自适应运动目标跟踪方法及无人机跟踪系统
CN106203261A (zh) 基于svm和surf的无人车野外水体检测与跟踪方法
CN106327528A (zh) 无人机运动目标跟踪方法及无人机的工作方法
CN104159088A (zh) 一种远程智能车辆监控系统及方法
CN104268592A (zh) 基于协同表示和判别准则的多视角联合动作词典学习方法
Prokaj et al. Using 3d scene structure to improve tracking
Xia et al. [Retracted] Gesture Tracking and Recognition Algorithm for Dynamic Human Motion Using Multimodal Deep Learning
CN111126170A (zh) 一种基于目标检测与追踪的视频动态物检测方法
Yang Research on basketball sports neural network model based on nonlinear classification
Li et al. Pedestrian detection based on clustered poselet models and hierarchical and–or grammar
Zhang et al. [Retracted] Modeling and Simulation of Tennis Serve Image Path Correction Optimization Based on Deep Learning
CN106570488A (zh) 基于小波算法的车辆追踪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111