CN113139986A - 一种集成式环境感知与多目标跟踪系统 - Google Patents

一种集成式环境感知与多目标跟踪系统 Download PDF

Info

Publication number
CN113139986A
CN113139986A CN202110485390.6A CN202110485390A CN113139986A CN 113139986 A CN113139986 A CN 113139986A CN 202110485390 A CN202110485390 A CN 202110485390A CN 113139986 A CN113139986 A CN 113139986A
Authority
CN
China
Prior art keywords
target
image
tracking
sensitive
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110485390.6A
Other languages
English (en)
Inventor
李凤鸣
张志勇
马佳佳
付畅
徐军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Off Road Vehicle Co Ltd
Original Assignee
Dongfeng Off Road Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Off Road Vehicle Co Ltd filed Critical Dongfeng Off Road Vehicle Co Ltd
Priority to CN202110485390.6A priority Critical patent/CN113139986A/zh
Publication of CN113139986A publication Critical patent/CN113139986A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种集成式环境感知与多目标跟踪系统。它包括图像采集系统用于实时采集机动目标周围图像进行预处理，发送至图像拼接投影系统和目标识别跟踪系统；图像拼接投影系统用于对接收的图像进行拼接并进行3D投影形成3D全景影像发送至显示控制系统；目标识别跟踪系统用于从接收的图像中识别出敏感目标、对识别出的敏感目标进行框选并叠加输出至3D全景影像内，用于对已识别的敏感目标进行持续识别跟踪、对选择的特定目标进行锁定并持续识别跟踪；显示控制系统用于显示3D全景影像，用于触控选择特定目标。本发明能有效提高系统环境感知距离、拓展机动目标乘员视野、全方位提高乘员识别野外复杂环境的能力。

Description

一种集成式环境感知与多目标跟踪系统
技术领域
本发明属于汽车智能辅助驾驶技术领域，具体涉及一种集成式环境感知与多目标跟踪系统，尤其涉及图像拼接、识别和跟踪的计算机视觉技术。
背景技术
近年来，随着人工智能研究热潮的兴起，智能化设备逐渐走入日常生活，而机动目标正是智能化技术应用的良好载体。例如全景环视、前向碰撞预警、交通标志识别等系统正是采用了计算机视觉技术，尤其涉及图像拼接、目标识别与跟踪算法的应用。图像拼接技术主要是将多张有视野重合的小范围图像进行拼接融合，构成全景范围内大视野图像，能有效弥补驾驶员视野盲区；目标识别与跟踪技术的基本思路为采用大量的先验样本对神经网络进行训练，通过匹配相似特征点的方式对目标进行逐帧识别与跟踪。但现有全景环视技术多局限于机动目标周边、近距离应用，且仅展示全局范围内视野成像，无法放大，或针对于局部、特定目标进行跟踪与成像，但这恰恰在野外复杂环境观察方面有较大的应用价值。
现有车载全景环视系统多采用4路鱼眼摄像头或广角摄像头，分别布置在机动目标四周，这种车载全景环视系统虽然视野范围广，但远处物体所占像素较低，无法做到有效的远距离目标观察；且不具有目标识别和跟踪功能，不具备特定目标锁定与放大跟踪功能。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种集成式环境感知与多目标跟踪系统。
本发明采用的技术方案是：一种集成式环境感知与多目标跟踪系统，包括
图像采集系统，用于实时采集机动目标周围图像并对采集的图像进行预处理，将预处理后的图像发送至图像拼接投影系统和目标识别跟踪系统；
图像拼接投影系统，用于对接收的图像进行拼接并进行3D投影形成3D全景影像发送至显示控制系统；
目标识别跟踪系统，用于采用目标跟踪算法从接收的图像中识别出敏感目标、对识别出的敏感目标进行框选并叠加输出至3D全景影像内，用于对已识别的敏感目标进行持续识别跟踪、对选择的特定目标进行锁定并持续识别跟踪，所述特定目标为任意一种敏感目标；
显示控制系统，用于显示3D全景影像、用于触控选择特定目标。
进一步地，所述预处理包括：将采集的视频图像转换为可识别的RGB模式图像，根据已标定好的摄像头内参矩阵以及畸变系数对转换后的图像进行畸变矫正，根据逆透视变换公式将矫正后的图像由侧视图变为俯视图。
进一步地，所述对接收的图像进行拼接的过程为：对预处理后的图像采用Surf算法提取源图像和目标图像的特征点，对所述特征点进行匹配，采用RANSAC算法对特征匹配点进行提纯操作，筛选出最优匹配点后计算仿射变换矩阵完成图像配准，采用加权平均法消除配准后图像的接缝形成完整二维拼接图像，将二维拼接图像投射到由椭球面和组合曲面构成的三维空间内形成3D全景影像。
进一步地，所述目标跟踪算法包括以下步骤：
S1、根据SSD检测算法计算当前帧图像中敏感目标的置信度与位置信息，若所述置信度大于等于置信度阈值，则保留所述位置信息；
S2、根据所述位置信息确定敏感目标的SURF特征，根据SURF特征计算SURF匹配值及确定敏感目标的初定位位置；
S3、若SURF匹配值大于等于匹配阈值，则确定所述初定位位置为敏感目标的实际定位位置，基于所述实际定位位置框选出特定目标。
进一步地，确定敏感目标的SURF特征的过程为：根据所述位置信息利用跟踪模型计算敏感目标的特征向量，基于所述特征向量计算Siamese_fc_score值，根据Siamese_fc_score值提取敏感目标的颜色特征，根据颜色特征计算颜色直方图相似度，从颜色直方图相似度中提取机动目标SURF特征。
进一步地，所述持续识别跟踪为对采集的每一帧图像均采用目标跟踪算法识别并框选出敏感目标。
进一步地，对选择的特定目标进行锁定并持续识别跟踪的过程为：
S1、手动触屏点选显示控制系统上显示的已框选出的某一敏感目标作为特定目标，读取触屏位置点后，将读取的位置点坐标与邻近的识别框四个角点坐标进行比较，当位置点坐标在其区间内时，选择最小面积识别框作为目标识别框；
S2、计算显示控制系统坐标系下目标识别框的中心点像素坐标，根据目标识别框的中心点像素坐标通过逆仿射变换矩阵，得到3D全景环视模型坐标系下目标识别框的中心点像素坐标；
S3、根据3D全景环视模型坐标系下目标识别框的中心点像素坐标控制全自动跟踪鹰眼摄像头旋转到在其自身坐标系下的坐标，从而完成特定目标的位置锁定，然后采用目标跟踪算法对锁定的特定目标进行持续识别跟踪。
进一步地，特定目标在持续识别跟踪过程中，采用PID算法控制全自动跟踪鹰眼摄像头的控制电机旋转，保持目标识别框中点与鹰眼摄像头的视野中心位置重合。
进一步地，所述图像采集系统包括多路非广角摄像头和至少一路全自动跟踪鹰眼摄像头，所述多路非广角摄像头与全自动跟踪鹰眼摄像头一体化叠层布置连接。
更进一步地，所述显示控制系统包括多个显示屏，多个显示屏分别显示不同的3D全景影像。
本发明的有益效果是：
(1)、本发明利用多路非广角摄像头和全自动跟踪鹰眼摄像头，极大提高了全景环视感知距离，增强了机动目标乘员环境把控的能力及视野，全方位提高乘员识别野外复杂环境的能力；
(2)、本发明利用目标识别跟踪系统可以自动感知识别范围内敏感或特定目标并进行框选，辅助机动目标乘员对视野内目标进行快速识别和判断，预判其行驶轨迹，提高行驶安全性，有效降低机动目标乘员工作负荷，在野外复杂环境下极大提高工作效率；
(3)、本发明利用目标识别跟踪系统及全自动跟踪鹰眼摄像头，可以针对特定目标进行选择、锁定、放大与跟踪，辅助机动目标乘员快速确认目标重要特征，并可保持持续性观察，提高观察能力；
(4)、本发明利用目标识别跟踪系统可以实时得跟踪多个敏感目标，并利用其算法，避免在摄像头切换时、机动目标被遮盖或摄像头出现状况时引起的跟踪失败问题，当机动目标再次出现时，仍可继续完成机动目标的跟踪。
附图说明
图1系统原理图。
图2为本发明图像采集模块的结构示意图。
图3为本发明系统的工作流程图。
图4为本发明目标跟踪算法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以互相结合。
如图1所示，本发明提供一种集成式环境感知与多目标跟踪系统包括图像采集系统、图像拼接投影系统、目标识别跟踪系统及显示控制系统，其中，图像采集系统包含多路非广角摄像头和一路全自动跟踪鹰眼摄像头，图像拼接投影系统和目标识别跟踪系统是基于车规级芯片安霸CV25开发的控制器。安霸CV25芯片将先进的图像处理、高分辨率视频编码和CVflow计算机视觉处理进行结合，并采用极低的功耗设计，本发明主要利用其Cvflow架构对SSD算法进行开发，用于图像拼接以及目标检测识别。
所述的多路非广角摄像头以及全自动跟踪鹰眼摄像头采用一体化设计，通过可伸缩的桅杆设计布置于机动目标顶部。全自动跟踪鹰眼摄像头由窄视角远距摄像头、横纵双向控制电机组成，摄像头在水平方向和垂直方向可自由摆动，已跟踪特定目标。可伸缩的桅杆可以调整摄像头高度，在非使用工况下降低摄像头高度，保证机动目标行驶通过性并保护摄像头本体；在使用时则升起摄像头到固定高度。其一体式结构如图2所示。
图像采集系统还包括图像预处理模块，图像采集模块通过通过多路摄像头分别实时采集机动目标单侧图像，采集帧率为30fps，并以YVU 4：2:2视频帧格式传输给图像预处理模块。
如图3所示，图像预处理模块首先将视频转换为可以识别的RGB模式，后根据已标定好的摄像过头内参矩阵以及畸变系数进行畸变矫正。后根据逆透视变换公式将图像由侧视图变为俯视图，计算公式如下：
Figure BDA0003050478050000051
其中，α和β分别表示摄像机的垂直方向和水平方向视场角，θ表示摄像机的安装俯仰角，m和n表示图像的宽和高，h表示摄像机的安装高度，u和v为像素坐标系下图像坐标，x和y为物理坐标系下图像坐标。在转换完成后将发送给图像拼接投影分系统进行图像拼接、融合和3D投影展示。
图像拼接投影系统用于拼接逆透视变换后的单侧视图并做仿射变换，完成3D投影。本系统包含图像拼接模块，3D投影模块。多路摄像头拍摄的单侧视图具有重叠区域，本发明采用Surf算法提取源图像和目标图像特征点，包括位置、尺度和旋转不变量等信息，然后对这些特征点进行匹配。后采用RANSAC算法对源图像和目标图像特征匹配点进行提纯操作，筛选处最优匹配点后计算仿射变换矩阵，完成配准。针对于图像接缝问题，采用加权平均法消除接缝。
完成二维图像拼接后，调用3D投影模块，将其在由椭球面和组合曲面构成的三维空间内进行重投影。本发明采用应用面积等比约束的半球面纹理映射算法，将二维拼接图形投射到3D曲面中，计算公式为：
Figure BDA0003050478050000061
其中，u和v为像素坐标系下图像坐标，α为球面坐标点与z轴夹角，θ为球面坐标点与x轴夹角。通过像素坐标计算出球面坐标下α值与θ值，再通过3D全景模型参数方程求解各像素点所对应的球面坐标，完成仿射变换。
目标识别跟踪系统主要包含多目标检测模块、多目标跟踪模块以及目标锁定放大模块。通过调用多目标检测模块和多目标跟踪模块，识别出单兵、机动目标、弹药箱、油桶、障碍物等敏感目标，并进行框选，叠加输出到3D全景影像内。本系统由于是远距离感知系统，故在最远距离时(100m左右)，针对于机动目标可以达到识别等级，而对于单兵可以达到探测等级，如图4所示，其基本步骤如下：
S1、基于SSD机动目标检测算法，计算当前帧目标物体的置信度与位置；
S2、将目标物体置信度与阈值做判断；
S3、若大于置信度阈值，则检测机动目标定位，若小于置信度阈值，则丢弃该位置信息；
S4、读入高清摄像头和全自动跟踪鹰眼摄像头回传视频，基于多目标检测模块，对每一帧内的机动目标和行人等目标进行识别。若在跟踪过程中，由于光线变化或物体遮挡导致目标丢失，则会存储前一帧跟踪目标的特征，并作为下一帧的识别依据。
S5、利用跟踪模型计算目标相特征向量，随后计算Siamese_fc_score值，进而提取机动目标颜色特征，计算颜色直方图相似度，提取机动目标SURF特征，与跟踪目标进行比较计算SURF匹配值，通过SURF特征初定位机动目标位置。
S6、比较匹配值与阈值，若匹配值大于阈值，则定位机动目标，框取机动目标后，通过仿射变换，投影到3D全景模型中，进而读取下一帧。
S7、若匹配值小于阈值，则直接读取下一帧。当下一帧存在时，则直接读入，利用SSD机动目标检测算法进行机动目标识别。
S8、若下一帧不存在，则判断是否还有回传视频，若有回传视频，则读入视频利用SSD机动目标检测算法进行机动目标识别；若没有监控视频，则结束此计算。
所述的目标锁定与跟踪模块针对于全自动跟踪鹰眼摄像头，可对机动目标乘员手动确认的特定目标快速锁定，并保证持续跟踪，其工作步骤如下：
S1、机动目标乘员手动点选显示终端上显示的已框选出的目标，控制器读取出触屏位置点后，与邻近识别框四个角点坐标进行比较，判定其所指向目标。
Figure BDA0003050478050000071
其中，u0、u1分别为识别框X向像素坐标，v0、v1分别为识别框Y向像素坐标。当触屏点位置在其区间内时，选择最小面积识别框作为目标识别框。因为系统工作过程中会同时识别多个目标，从而有多个是识别框，识别框大小不一，有可能会重叠，故先判断触屏位置点(x，y)坐标是否在识别框X坐标(X1，X2)和Y坐标(Y1，Y2)之内，如果有多个识别框满足这一条件，计算识别框面积(X1-X2)*(Y1-Y2)，选择最小的面积识别框作为目标识别框。
S2、计算显示终端坐标系下目标识别框中心点像素坐标；
S3、通过逆仿射变换矩阵，得到3D全景环视模型坐标系下坐标(R,α,θ)；
S4、通过PID算法控制全自动跟踪鹰眼摄像头控制电机运动，使其将摄像头旋转到在其自身坐标系下(α,θ)坐标，以便快速定位到被锁定目标的大体方位；
S5、后续则调用上述目标跟踪模块对锁定目标进行持续识别和跟踪；
S6、在跟踪过程中，采用PID算法控制电机旋转，保持识别框中点与鹰眼摄像头视野中心位置重合。
所述的显示控制系统即为可触控的显示终端，用于并列显示3D全景环视视图及鹰眼摄像头采集的图像，机动目标乘员可以手动触控显示屏，以锁定特定目标，使鹰眼摄像头进行跟踪。
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种集成式环境感知与多目标跟踪系统，其特征在于：包括
图像采集系统，用于实时采集机动目标周围图像并对采集的图像进行预处理，将预处理后的图像发送至图像拼接投影系统和目标识别跟踪系统；
图像拼接投影系统，用于对接收的图像进行拼接并进行3D投影形成3D全景影像发送至显示控制系统；
目标识别跟踪系统，用于采用目标跟踪算法从接收的图像中识别出敏感目标、对识别出的敏感目标进行框选并叠加输出至3D全景影像内，用于对已识别的敏感目标进行持续识别跟踪、对选择的特定目标进行锁定并持续识别跟踪，所述特定目标为任意一种敏感目标；
显示控制系统，用于显示3D全景影像、用于触控选择特定目标。
2.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：所述预处理包括：将采集的视频图像转换为可识别的RGB模式图像，根据已标定好的摄像头内参矩阵以及畸变系数对转换后的图像进行畸变矫正，根据逆透视变换公式将矫正后的图像由侧视图变为俯视图。
3.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：所述对接收的图像进行拼接的过程为：对预处理后的图像采用Surf算法提取源图像和目标图像的特征点，对所述特征点进行匹配，采用RANSAC算法对特征匹配点进行提纯操作，筛选出最优匹配点后计算仿射变换矩阵完成图像配准，采用加权平均法消除配准后图像的接缝形成完整二维拼接图像，将二维拼接图像投射到由椭球面和组合曲面构成的三维空间内形成3D全景影像。
4.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：所述目标跟踪算法包括以下步骤：
S1、根据SSD检测算法计算当前帧图像中敏感目标的置信度与位置信息，若所述置信度大于等于置信度阈值，则保留所述位置信息；
S2、根据所述位置信息确定敏感目标的SURF特征，根据SURF特征计算SURF匹配值及确定敏感目标的初定位位置；
S3、若SURF匹配值大于等于匹配阈值，则确定所述初定位位置为敏感目标的实际定位位置，基于所述实际定位位置框选出特定目标。
5.根据权利要求4所述的集成式环境感知与多目标跟踪系统，其特征在于：确定敏感目标的SURF特征的过程为：根据所述位置信息利用跟踪模型计算敏感目标的特征向量，基于所述特征向量计算Siamese_fc_score值，根据Siamese_fc_score值提取敏感目标的颜色特征，根据颜色特征计算颜色直方图相似度，从颜色直方图相似度中提取机动目标SURF特征。
6.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：所述持续识别跟踪为对采集的每一帧图像均采用目标跟踪算法识别并框选出敏感目标。
7.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：对选择的特定目标进行锁定并持续识别跟踪的过程为：
S1、手动触屏点选显示控制系统上显示的已框选出的某一敏感目标作为特定目标，读取触屏位置点后，将读取的位置点坐标与邻近的识别框四个角点坐标进行比较，当位置点坐标在其区间内时，选择最小面积识别框作为目标识别框；
S2、计算显示控制系统坐标系下目标识别框的中心点像素坐标，根据目标识别框的中心点像素坐标通过逆仿射变换矩阵，得到3D全景环视模型坐标系下目标识别框的中心点像素坐标；
S3、根据3D全景环视模型坐标系下目标识别框的中心点像素坐标控制全自动跟踪鹰眼摄像头旋转到在其自身坐标系下的坐标，从而完成特定目标的位置锁定，然后采用目标跟踪算法对锁定的特定目标进行持续识别跟踪。
8.根据权利要求7所述的集成式环境感知与多目标跟踪系统，其特征在于：特定目标在持续识别跟踪过程中，采用PID算法控制全自动跟踪鹰眼摄像头的控制电机旋转，保持目标识别框中点与鹰眼摄像头的视野中心位置重合。
9.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：所述图像采集系统包括多路非广角摄像头和至少一路全自动跟踪鹰眼摄像头，所述多路非广角摄像头与全自动跟踪鹰眼摄像头一体化叠层布置连接。
10.根据权利要求1所述的集成式环境感知与多目标跟踪系统，其特征在于：所述显示控制系统包括多个显示屏，多个显示屏分别显示不同的3D全景影像。
CN202110485390.6A 2021-04-30 2021-04-30 一种集成式环境感知与多目标跟踪系统 Pending CN113139986A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110485390.6A CN113139986A (zh) 2021-04-30 2021-04-30 一种集成式环境感知与多目标跟踪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110485390.6A CN113139986A (zh) 2021-04-30 2021-04-30 一种集成式环境感知与多目标跟踪系统

Publications (1)

Publication Number Publication Date
CN113139986A true CN113139986A (zh) 2021-07-20

Family

ID=76816812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110485390.6A Pending CN113139986A (zh) 2021-04-30 2021-04-30 一种集成式环境感知与多目标跟踪系统

Country Status (1)

Country Link
CN (1) CN113139986A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913209A (zh) * 2022-07-14 2022-08-16 南京后摩智能科技有限公司 一种基于俯视投射的多目标跟踪网络构建方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN103051887A (zh) * 2013-01-23 2013-04-17 河海大学常州校区 仿鹰眼智能视觉传感节点及其工作方法
CN103500066A (zh) * 2013-09-30 2014-01-08 北京奇虎科技有限公司 一种适用于触屏设备的截图装置和方法
CN104392453A (zh) * 2014-12-01 2015-03-04 南京邮电大学 基于极线插入图像的ransac特征匹配优化方法
CN105787962A (zh) * 2016-02-25 2016-07-20 哈尔滨工程大学 一种基于uuv水下回收的单目视觉跟踪方法
CN106127808A (zh) * 2016-06-20 2016-11-16 浙江工业大学 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法
CN106161953A (zh) * 2016-08-12 2016-11-23 零度智控（北京）智能科技有限公司 一种跟踪拍摄方法和装置
CN106454283A (zh) * 2016-12-14 2017-02-22 中国人民解放军军械工程学院 一种仿生鹰眼智能漫游跟踪装置及跟踪方法
CN110473231A (zh) * 2019-08-20 2019-11-19 南京航空航天大学 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN110766720A (zh) * 2019-09-23 2020-02-07 盐城吉大智能终端产业研究院有限公司 一种基于深度学习的多摄像头车辆跟踪系统
CN112037252A (zh) * 2020-08-04 2020-12-04 深圳技术大学 基于鹰眼视觉的目标跟踪方法及系统
CN112631333A (zh) * 2020-12-25 2021-04-09 南方电网数字电网研究院有限公司 无人机的目标跟踪方法、装置及图像处理芯片
CN112699839A (zh) * 2021-01-13 2021-04-23 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法
CN112712037A (zh) * 2020-12-31 2021-04-27 苏州清研微视电子科技有限公司 基于全景图像和目标检测的车载环境感知方法和系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102291569A (zh) * 2011-07-27 2011-12-21 上海交通大学 双摄像机自动协同多目标鹰眼观测系统及其观测方法
CN103051887A (zh) * 2013-01-23 2013-04-17 河海大学常州校区 仿鹰眼智能视觉传感节点及其工作方法
CN103500066A (zh) * 2013-09-30 2014-01-08 北京奇虎科技有限公司 一种适用于触屏设备的截图装置和方法
CN104392453A (zh) * 2014-12-01 2015-03-04 南京邮电大学 基于极线插入图像的ransac特征匹配优化方法
CN105787962A (zh) * 2016-02-25 2016-07-20 哈尔滨工程大学 一种基于uuv水下回收的单目视觉跟踪方法
CN106127808A (zh) * 2016-06-20 2016-11-16 浙江工业大学 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法
CN106161953A (zh) * 2016-08-12 2016-11-23 零度智控（北京）智能科技有限公司 一种跟踪拍摄方法和装置
CN106454283A (zh) * 2016-12-14 2017-02-22 中国人民解放军军械工程学院 一种仿生鹰眼智能漫游跟踪装置及跟踪方法
CN110473231A (zh) * 2019-08-20 2019-11-19 南京航空航天大学 一种具有预判式学习更新策略的孪生全卷积网络的目标跟踪方法
CN110766720A (zh) * 2019-09-23 2020-02-07 盐城吉大智能终端产业研究院有限公司 一种基于深度学习的多摄像头车辆跟踪系统
CN112037252A (zh) * 2020-08-04 2020-12-04 深圳技术大学 基于鹰眼视觉的目标跟踪方法及系统
CN112631333A (zh) * 2020-12-25 2021-04-09 南方电网数字电网研究院有限公司 无人机的目标跟踪方法、装置及图像处理芯片
CN112712037A (zh) * 2020-12-31 2021-04-27 苏州清研微视电子科技有限公司 基于全景图像和目标检测的车载环境感知方法和系统
CN112699839A (zh) * 2021-01-13 2021-04-23 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
刘志 等: "车载3D全景模型及纹理映射算法", 《计算机工程与设计》, vol. 38, no. 1, pages 174 *
周宝通: "车载3D全景辅助驾驶系统关键技术研究及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 8, pages 35 - 37 *
曹毓 等: "逆透视映射公式的误差分析及准确度验证", 《光子学报》 *
曹毓 等: "逆透视映射公式的误差分析及准确度验证", 《光子学报》, vol. 40, no. 12, 31 December 2011 (2011-12-31), pages 1833 - 1838 *
赖智铭: "适用于低分辨率的逆透视映射算法", 《计算机工程与设计》 *
赖智铭: "适用于低分辨率的逆透视映射算法", 《计算机工程与设计》, vol. 34, no. 10, 31 October 2013 (2013-10-31), pages 3551 - 3555 *
黄冬: "3D全景辅助驾驶系统关键技术的研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 8, pages 27 - 29 *
龙翔 等: "一种自动驾驶汽车系统架构开发与测试验证", 《重庆理工大学学报》 *
龙翔 等: "一种自动驾驶汽车系统架构开发与测试验证", 《重庆理工大学学报》, vol. 33, no. 12, 31 December 2019 (2019-12-31), pages 45 - 54 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913209A (zh) * 2022-07-14 2022-08-16 南京后摩智能科技有限公司 一种基于俯视投射的多目标跟踪网络构建方法及装置

Similar Documents

Publication Publication Date Title
CN112184818B (zh) 基于视觉的车辆定位方法及应用其方法的停车场管理系统
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN104933409B (zh) 一种基于全景图像点线特征的车位识别方法
US9311711B2 (en) Image processing apparatus and image processing method
CN111754552A (zh) 一种基于深度学习的多摄像头协同目标跟踪方法
CN107031623A (zh) 一种基于车载盲区相机的道路预警方法
US20140002656A1 (en) Lane departure warning system and lane departure warning method
CN101452292B (zh) 基于序列双色点阵式航标的鱼眼镜头全向视觉制导方法
WO2020099016A1 (en) System and method for measuring the distance to an object in water
CN107229906A (zh) 一种基于可变部件模型算法的汽车超车预警方法
CN111681283B (zh) 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
CN112364707B (zh) 一种智能车对复杂路况进行超视距感知的系统及方法
CN115273028B (zh) 一种基于全域感知的智慧停车场语义地图构建方法及系统
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
JP5188429B2 (ja) 環境認識装置
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN103699899B (zh) 基于等距曲线模型的车道线检测方法
CN113139986A (zh) 一种集成式环境感知与多目标跟踪系统
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
CN113762134A (zh) 基于视觉的汽车泊车中周围障碍物的检测方法
WO2021157136A1 (ja) 測位システム
Yang et al. A new approach for in-vehicle camera obstacle detection by ground movement compensation
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720

RJ01 Rejection of invention patent application after publication