CN111402296A - 基于摄像机、雷达的目标跟踪方法及相关装置 - Google Patents

基于摄像机、雷达的目标跟踪方法及相关装置 Download PDF

Info

Publication number
CN111402296A
CN111402296A CN202010172367.7A CN202010172367A CN111402296A CN 111402296 A CN111402296 A CN 111402296A CN 202010172367 A CN202010172367 A CN 202010172367A CN 111402296 A CN111402296 A CN 111402296A
Authority
CN
China
Prior art keywords
tracking
target
tracking target
camera
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010172367.7A
Other languages
English (en)
Other versions
CN111402296B (zh
Inventor
陈明珠
黄昊
徐志文
王科富
钱小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010172367.7A priority Critical patent/CN111402296B/zh
Publication of CN111402296A publication Critical patent/CN111402296A/zh
Application granted granted Critical
Publication of CN111402296B publication Critical patent/CN111402296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种基于摄像机、雷达的目标跟踪方法及相关装置,该基于摄像机的目标跟踪方法,包括:对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片;判断实时图片中是否存在跟踪目标,当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪;该目标跟踪方法不仅能够对跟踪目标的细节进行查看,且能够有效降低因遮挡物遮挡跟踪目标而导致跟踪失败的概率;同时能够在跟踪目标与环境背景的特征极为相近时也能持续对其进行跟踪。

Description

基于摄像机、雷达的目标跟踪方法及相关装置
技术领域
本发明涉及视频监控技术领域,尤其涉及一种基于摄像机、雷达的目标跟踪方法及相关装置。
背景技术
目前,在国家天网背景下、以及企业与民众对机密区域越来越重视,安防行业对摄像机的跟踪需求越来越高。
目前,一般通过PTZ摄像机采集监控区域的实时图片,然后通过图像识别技术对实时图片中的跟踪目标进行检测跟踪,但在检测跟踪过程中,为了抓取跟踪目标的细节,需要将PTZ摄像机变到更大倍率以放大跟踪目标,此时,由于跟踪目标会占据画面更多的比例,当跟踪目标被环境背景遮挡时,环境背景则会占据画面的更多比例,摄像机无法捕捉到跟踪目标,使得摄像机无法对跟踪目标继续进行跟踪,进而导致跟踪失败的问题;同时,当跟踪目标与环境背景的色彩、形状较为相似时,也易出现无法检测识别出实时图片中的跟踪目标,进而导致跟踪失败的问题。
发明内容
本申请提供一种基于摄像机、雷达的目标跟踪方法及相关装置,该目标跟踪方法不仅能够对跟踪目标的细节进行查看,且能够有效降低因遮挡物遮挡跟踪目标而导致跟踪失败的概率;同时能够在跟踪目标与环境背景的特征极为相近时也能持续对其进行跟踪。
为解决上述技术问题,本申请采用的第一个技术方案是:本申请提供一种基于摄像机的目标跟踪方法,该方法包括:
对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片;
判断实时图片中是否存在跟踪目标,当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。
为解决上述技术问题,本申请采用的第二个技术方案是:本申请提供一种基于雷达的目标跟踪方法,该方法包括:
接收来自与雷达绑定的摄像机的匹配第一位置信息的控制指令并根据第一位置信息与相应位置的跟踪目标建立联系;
持续获取跟踪目标的第二位置信息并将第二位置信息发送至摄像机,以使摄像机在跟踪丢失跟踪目标时,根据第二位置信息而再次建立对跟踪目标的跟踪;其中,第一位置信息为摄像机确认跟踪目标时侦测到跟踪目标的位置信息,第二位置信息为雷达关联跟踪目标后实时侦测到的跟踪目标的位置信息。
为解决上述技术问题,本申请采用的第三个技术方案是:提供一种基于摄像机的目标跟踪装置,该装置包括获取模块、判断模块、跟踪再建模块。
其中,获取模块用于对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片;判断模块用于判断实时图片中是否存在跟踪目标;跟踪再建模块,用于当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。
为解决上述技术问题,本申请采用的第四个技术方案是:提供一种基于雷达的目标跟踪装置,该装置包括接收模块和发送模块。
其中,接收模块用于接收来自与雷达绑定的摄像机的匹配第一位置信息的控制指令并根据第一位置信息与相应位置的跟踪目标建立联系;发送模块用于持续获取跟踪目标的第二位置信息并将第二位置信息发送至摄像机,以使摄像机在跟踪丢失跟踪目标时,根据第二位置信息而再次建立对跟踪目标的跟踪;其中,第一位置信息为摄像机确认跟踪目标时侦测到跟踪目标的位置信息,第二位置信息为雷达关联跟踪目标后实时侦测到的跟踪目标的位置信息。
为解决上述技术问题,本申请采用的第五个技术方案是:本申请提供一种智能终端,该智能终端包括相互连接的存储器和处理器,其中,存储器用于存储实现如上所涉及的基于摄像机的目标跟踪方法的程序指令或者如上所涉及的基于雷达的目标跟踪方法的程序指令;其中,处理器用于执行存储器存储的程序指令。
为解决上述技术问题,本申请采用的第六个技术方案是:本申请提供一种计算机可读存储介质,该计算机可读存储介质存储有程序文件,程序文件能够被执行以实现如上所涉及的基于摄像机的目标跟踪方法或者实现如上所涉及的基于雷达的目标跟踪方法。
本申请提供的基于摄像机、雷达的目标跟踪方法及相关装置,该基于摄像机的目标跟踪方法通过对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片,然后判断实时图片中是否存在跟踪目标,当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标继续进行跟踪;其中,由于摄像机可持续获取跟踪目标所在区域的实时图片,以通过对该实时图片进行处理从而对跟踪目标进行跟踪,且由于该摄像机可对实时图片中的跟踪目标进行放大处理,从而使得该方法可对跟踪目标的细节进行查看;另外,由于雷达与摄像机绑定,且雷达可向摄像机反馈跟踪目标的位置信息,当跟踪目标被遮挡物遮挡或跟踪目标的特征与环境特征极为相似,使得摄像机获取的实时图片中无法查看到跟踪目标时,摄像机则可根据来自雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,然后继续对其进行跟踪,从而不仅能够持续对跟踪目标的细节进行查看,且能够有效降低因遮挡物遮挡跟踪目标而导致跟踪失败的概率;同时能够在跟踪目标与环境背景的特征极为相近时也能持续对其进行跟踪。
附图说明
图1为本申请第一实施例提供的基于摄像机的目标跟踪方法的流程示意图;
图2为本申请第二实施例提供的基于摄像机的目标跟踪方法的流程示意图;
图3为图2中步骤S22的子流程图;
图4为本申请第三实施例提供的基于摄像机的目标跟踪方法的流程示意图;
图5为图4中步骤S36的子流程图;
图6为本申请第四实施例提供的基于摄像机的目标跟踪方法的流程示意图;
图7为本申请一实施例提供的基于雷达的目标跟踪方法的流程示意图;
图8为本申请一实施例提供的基于摄像机的目标跟踪装置的结构示意图;
图9为本申请一实施例提供的基于雷达的目标跟踪装置的结构示意图;
图10为本申请一实施例提供的智能终端的结构示意图;
图11为本申请一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合附图和实施例对本申请进行详细的说明。
请参阅图1,图1为本申请第一实施例提供的基于摄像机的目标跟踪方法的流程示意图;为了提高目标跟踪的精确度以及提高目标跟踪的效率,在本实施例中,提供一种基于摄像机的目标跟踪方法,应用于联动系统中摄像机,该联动系统还包括雷达。
其中,摄像机可以为球机,球机可以提供坐标信息,所提供的坐标信息包括水平角度信息和垂直角度信息。这样,球机对目标进行拍摄时,可以提供该目标的坐标信息。当然,球机所提供的坐标信息是相对于该球机而言的,也就是说,所提供的坐标信息是该球机的坐标系中的坐标。
对于球机而言,球机还可以旋转,调整所拍摄的角度,例如,球机可以通过调整所拍摄的角度,将所拍摄的目标调整至拍摄画面的正中间位置。另外,球机还可以按照倍率对所拍摄画面中的目标进行放大处理,以对目标的细节进行查看。
其中,雷达是用无线电电磁波的方法发现目标并测定目标的空间位置,雷达可以获得所发现目标的距离、距离变化率、方位、高度等信息,雷达有多种分类,按照所采用的坐标系分类,至少可以分为采用二维坐标系的双坐标雷达和采用三维坐标的三坐标雷达。
其中,联动系统中的摄像机数量可以为至少两个,具体的数量可以自定义设定,摄像机安装的位置也可以自定义设定。
联动系统中雷达与各个摄像机均可以通信连接,以有效利用现有的社会资源,提高雷达利用率;摄像机可以向雷达发送指令,由雷达响应所接收到的指令并执行相应操作;例如,摄像机可向雷达发送控制指令,该控制指令可以匹配第一坐标信息,这样,雷达接收到该控制指令后,可以根据第一坐标信息与相应位置的跟踪目标进行绑定,然后获取跟踪目标的第二坐标信息并发送至摄像机,摄像机根据雷达发送的位置信息调整镜头并进行拍摄。
具体的,该基于摄像机的目标跟踪方法具体包括:
步骤S11:对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
具体的,确定跟踪目标后,调整摄像机的拍摄角度,以使得跟踪目标在拍摄画面内并位于拍摄画面的中间位置,然后对跟踪目标进行视频拍摄。
具体的,摄像机为PTZ摄像机,其中,PTZ为Pan/Tilt/Zoom的缩写,P代表云台水平方向,T代表云台垂直方向,Z代表镜头倍率。具体的,PTZ摄像机有云台、机芯可变倍;且PTZ摄像机可以对所拍摄的区域范围按照变倍系数Z进行放大或缩小,一般来说,变倍系数越大,放大倍数越大,同一个目标在摄像机的所拍摄的画面图像中所占据的像素值越大,但摄像机所拍摄的画面图像整体的视角会越小。在具体实施过程中,将PTZ摄像机的变倍系数放大,以使跟踪目标在摄像机的所拍摄的实时图片中占据更多的比例,从而能够持续对实时图片中的踪目标的细节进行查看。
具体的,采用PTE摄像机对跟踪目标进行跟踪的具体原理及过程与现有技术中采用PTE摄像机对跟踪目标进行跟踪的具体原理及过程相同或相似,且可实现相同或相似的技术效果,在此不再赘述。
步骤S12:判断实时图片中是否存在跟踪目标,当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。
具体的,判断实时图片中是否存在跟踪目标,当实时图片中存在跟踪目标时,则继续执行步骤S11;当实时图片中不存在跟踪目标时,则通过摄像机接收来自雷达反馈的跟踪目标的坐标信息,然后摄像机根据雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。其中,摄像机与雷达绑定,二者之间可进行信息通信。
本实施例提供的基于摄像机的目标跟踪方法,该方法通过对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片,然后判断实时图片中是否存在跟踪目标,当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪;其中,由于摄像机可持续获取跟踪目标所在区域的实时图片,以通过对该实时图片进行处理从而对跟踪目标进行跟踪,且由于该摄像机可对实时图片中的跟踪目标进行放大处理,从而使得该方法可对跟踪目标的细节进行查看;另外,由于雷达与摄像机绑定,且雷达可向摄像机反馈跟踪目标的位置信息,当跟踪目标被遮挡物遮挡或跟踪目标的特征与环境特征极为相似,使得摄像机获取的实时图片中无法查看到跟踪目标时,摄像机则可根据来自雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,然后继续对其进行跟踪,从而不仅能够持续对跟踪目标的细节进行查看,且能够有效降低因遮挡物遮挡跟踪目标而导致跟踪失败的概率;同时能够在跟踪目标与环境背景的特征极为相近时也能持续对其进行跟踪。
请参阅图2,图2为本申请第二实施例提供的基于摄像机的目标跟踪方法的流程示意图;在本实施例中,提供一种基于摄像机的目标跟踪方法,该方法具体包括:
步骤S21:确定跟踪目标并获取跟踪目标的第一坐标信息。
具体的,当有目标进入监控区域后,确定该目标为跟踪目标,然后通过PTZ摄像机获取该跟踪目标的第一坐标信息,并执行步骤S22;其中,PTZ摄像机获取跟踪目标的坐标信息的具体原理及过程可参见技术中PTZ摄像机获取跟踪目标的坐标信息的具体原理及过程,且可实现相同或相似的技术效果,在此不再赘述。
步骤S22:向雷达发送匹配第一坐标信息的控制指令,以使雷达响应控制指令。
具体的,通过PTZ摄像机向雷达发送匹配第一坐标信息的控制指令,并使雷达响应该控制指令。
具体的,请参见图3,图3为图2中步骤S22的子流程图;步骤S22具体包括:
步骤S221:根据雷达坐标系与摄像机坐标系之间的坐标转换关系,将第一坐标信息转换为雷达坐标系中对应的第二坐标信息。
其中,第一坐标信息是摄像机坐标系中的坐标,在具体实施过程中,在向雷达发送控制指令之前,需要先将第一坐标信息转换成雷达坐标系所对应的坐标信息;具体的,根据雷达坐标系与摄像机坐标系之间的坐标转换关系进行转化,其具体转化过程可参见现有技术中雷达坐标系中的坐标与摄像机坐标系中的坐标之间的转化过程,且可实现相同或相似的技术效果,在此不再赘述。
步骤S222:向雷达发送匹配第二坐标信息的控制指令,以使雷达响应控制指令。
具体的,向雷达发送匹配第二坐标信息的控制指令后,以使雷达与相应位置的跟踪目标建立联系,并使雷达持续获取跟踪目标的第三坐标信息并发送至摄像机。
具体的,雷达获取跟踪目标的第三坐标信息后,由于该第三坐标信息是适用雷达坐标系的坐标,因此,在具体实施过程中,需要根据雷达坐标系与摄像机坐标系之间的坐标转换关系,先将第三坐标信息转换为摄像机坐标系中对应的第四坐标信息,然后再将匹配第四坐标信息的控制指令发送至摄像机,以使摄像机根据第四坐标信息转动镜头从而继续对目标进行跟踪拍摄。
具体的,若一个雷达只与一个摄像机绑定,雷达只会将匹配第四坐标信息的控制指令发送至对应的摄像机,并使摄像机响应该控制指令;而当一个雷达同时与多个摄像机进行绑定时,雷达将匹配第四坐标信息的控制指令发送至联动系统中的所有摄像机还是部分摄像机,具体可根据实际情况进行设定,在此不做限定。
步骤S23:对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
步骤S24:判断实时图片中是否存在跟踪目标,当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。
其中,步骤S23至步骤S24的具体实施过程与上述第一实施例中所涉及的步骤S11至步骤S12的具体实施过程相同或相似,且可实现相同或相似的技术效果,在此不再赘述。
请参阅图4,图4为本申请第三实施例提供的基于摄像机的目标跟踪方法的流程示意图;在本实施例中,提供一种基于摄像机的目标跟踪方法,该方法具体包括:
步骤S31:确定跟踪目标并获取跟踪目标的第一坐标信息。
步骤S32:向雷达发送匹配第一坐标信息的控制指令,以使雷达响应控制指令。
步骤S33:对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
其中,步骤S31至步骤S33的具体实施过程与上述第二实施例中所涉及的步骤S21至步骤S23的具体实施过程相同或相似,且可实现相同或相似的技术效果,在此不再赘述。
步骤S34:判断实时图片中是否存在跟踪目标。
具体的,若实时图片中存在跟踪目标,则执行步骤S35;若实时图片中不存在跟踪目标,则执行步骤S36。可以理解的是,由于跟踪目标在摄像机所拍摄的实时图片中占据的比例较大,当跟踪目标被遮挡物遮挡时,遮挡物占据实时图片中更多的画面,摄像机所拍摄的实时图片中无法查看到跟踪目标,且无法来等待跟踪目标的再次出现,此时,则执行步骤S36。
步骤S35:获取实时图片中跟踪目标的第一特征向量,并继续对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
具体的,当摄像机能够在拍摄的实时图片中跟踪到跟踪目标时,获取实时图片中跟踪目标的第一特征向量,并继续执行步骤S33。
其中,当跟踪目标为人体时,第一特征向量可以是基于颜色、形状及步态提取的特征向量;当跟踪目标为车辆时,第一特征向量可以是基于颜色和形状提取的特征向量。
步骤S36:根据来自与摄像机绑定的雷达反馈的跟踪目标的最新的第三坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。
具体的,参见图5,图5为图4中步骤S36的子流程图;步骤S36具体包括:
步骤S361:接收来自与摄像机绑定的雷达反馈的跟踪目标的最新的第三坐标信息。
在具体实施过程中,雷达反馈跟踪目标的最新的第三坐标信息时,由于该第三坐标信息是适用雷达坐标系的坐标,因此,在具体实施过程中,可以根据雷达坐标系与摄像机坐标系之间的坐标转换关系,先将第三坐标信息转换为摄像机坐标系中对应的第四坐标信息,即,摄像机实际接收的是适用摄像机坐标系的第四坐标信息。
步骤S362:根据第三坐标信息获取相应位置的区域图像。
具体的,摄像机实际是根据经转换之后的第四坐标信息重新调整镜头角度并进行拍摄以获取相应位置的区域图像;可以理解的是,该区域图像中可能存在多个待识别目标。
步骤S363:对区域图像中的待识别目标进行识别并获取每个待识别目标的第二特征向量。
具体的,采用图像识别技术对区域图像中的待识别目标进行检测识别,并分别获取每个待识别目标的第二特征向量。
具体的,当待识别目标是人体时,第二特征向量可以是基于颜色、形状及步态提取的特征向量;当待识别目标是车辆时,第二特征向量可以是基于颜色和形状提取的特征向量;具体的,第一特征向量和第二特征向量是基于同样的特征进行提取的;比如,若第一特征向量是基于跟踪目标的颜色和形状提取的特征向量,则第二特征向量也是基于待识别目标的颜色和形状提取的特征向量。
步骤S364:将第二特征向量与第一特征向量进行比对,并根据比对结果执行相应操作。
具体的,当区域图像中存在多个待识别目标时,每个待识别目标对应一个第二特征向量,则在具体实施过程中,需要将多个第二特征向量分别与第一特征向量进行比对,然后得出每个第二特征向量与第一特征向量的相似度值,并将得出的相似度值与相似度阈值进行比对,以根据比对结果执行相应操作。
请参阅图6,图6为本申请第四实施例提供的基于摄像机的目标跟踪方法的流程示意图;在本实施例中,提供一种基于摄像机的目标跟踪方法,该方法具体包括:
步骤S41:确定跟踪目标并获取跟踪目标的第一坐标信息。
步骤S42:向雷达发送匹配第一坐标信息的控制指令,以使雷达响应控制指令。
步骤S43:对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
步骤S44:判断实时图片中是否存在跟踪目标。
具体的,若实时图片中存在跟踪目标,则执行步骤S45,若实时图片中不存在跟踪目标,则执行步骤S46。
步骤S45:获取实时图片中跟踪目标的第一特征向量,并继续对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
具体的,当摄像机能够在拍摄的实时图片中跟踪到跟踪目标时,获取实时图片中跟踪目标的第一特征向量,并继续执行步骤S43。
其中,步骤S41至步骤S45的其它具体实施过程与上述第三实施例中所涉及的步骤S31至步骤S35的具体实施过程相同或相似,且可实现相同或相似的技术效果,在此不再赘述。
步骤S46:接收来自与摄像机绑定的雷达反馈的跟踪目标的最新的第三坐标信息。
步骤S47:根据第三坐标信息获取相应位置的区域图像。
步骤S48:对区域图像中的待识别目标进行识别并获取每个待识别目标的第二特征向量。
其中,步骤S46至步骤S48的具体实施过程与上述第三实施例中所涉及的步骤S361至步骤S363的具体实施过程相同或相似,且可实现相同或相似的技术效果,在此不再赘述。
步骤S49:将第二特征向量与第一特征向量进行比对。
具体的,当区域图像中存在多个待识别目标时,每个待识别目标对应一个第二特征向量,则在具体实施过程中,需要将多个第二特征向量分别与第一特征向量进行比对,以得出每个第二特征向量与第一特征向量的相似度值,并将得出的每个相似度值与相似度阈值进行比对。
步骤S50:判断比对结果是否成功。
其中,判断比对结果是否成功具体是判断多个第二特征向量中是否存在一个第二特征向量与第一特征向量的相似度值满足相似度阈值,若存在,则判断比对结果成功,执行步骤S51;若不存在,则判断比对结果失败,执行步骤S52。
其中,第二特征向量与第一特征向量的相似度值满足相似度阈值具体是指第二特征向量与第一特征向量的相似度值不小于相似度阈值;其中,相似度阈值具体可为85%,即,若多个第二特征向量中存在一个第二特征向量与第一特征向量的相似度值不小于85%时,则比对成功,执行步骤S51;若多个第二特征向量中不存在一个第二特征向量与第一特征向量的相似度值不小于85%时,则比对失败,执行步骤S52。
下面结合一具体实施例对步骤S49和步骤S50的具体实施过程进行举例说明。
假如,区域图像中存在A、B、C三个待识别目标,且待识别目标A所对应的第二特征向量A1、待识别目标B所对应的第二特征向量B1、待识别目标C所对应的第二特征向量C1及第一特征向量均是基于颜色、形状及步态而提取的,其具体可表示为(x,y,z),其中,x表示跟踪目标的颜色特征,y表示跟踪目标的形状特征,z表示跟踪目标的步态特征;比如,在一实施方式中,若提取的第一特征向量为(1,2,3),第二特征向量A1为(1,2,3),第二特征向量B1为(4,5,7),第二特征向量C1为(1,2,4),将第二特征向量A1(1,2,3)、第二特征向量B1(4,5,7)、第二特征向量C1(1,2,4)分别与第一特征向量(1,2,3)进行比对,得出第二特征向量A1与第一特征向量的相似度值为100%,第二特征向量B1与第一特征向量的相似度值为0%,第二特征向量C1与第一特征向量的相似度值为66.7%;由于第二特征向量A1与第一特征向量的相似度值100%>85%,第二特征向量B1与第一特征向量的相似度值0<85%,第二特征向量C1与第一特征向量的相似度值66.7%<85%,因此,存在一个第二特征向量A1与第一特征向量的相似度值满足相似度阈值,因此,判断比对成功,执行步骤S51;而若提取的第一特征向量为(1,2,3),第二特征向量A1为(1,5,3),第二特征向量B1为(4,5,7),第二特征向量C1为(1,2,4),将第二特征向量A1(1,5,3)、第二特征向量B1(4,5,7)、第二特征向量C1(1,2,4)分别与第一特征向量(1,2,3)进行比对,得出第二特征向量A1与第一特征向量的相似度值为66.7%,第二特征向量B1与第一特征向量的相似度值为0%,第二特征向量C1与第一特征向量的相似度值为66.7%;由于第二特征向量A1与第一特征向量的相似度值66.7%<85%,第二特征向量B1与第一特征向量的相似度值0<85%,第二特征向量C1与第一特征向量的相似度值66.7%<85%,因此,不存在一个第二特征向量与第一特征向量的相似度值满足相似度阈值,因此,则判断比对结果失败,则执行步骤S52。
步骤S51:确定待识别目标为跟踪目标并继续对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
具体的,如上所涉及的具体实施例,当第二特征向量A1与第一特征向量的相似度值满足相似度阈值时,则确定待识别目标A为跟踪目标,然后继续执行步骤S43。
步骤S52:判断比对时间是否超过时间阈值。
具体的,若比对结果失败,则对比对时间进行判断,若比对时间超过时间阈值,则执行步骤S53,若比对时间没有超过时间阈值,则执行步骤S46;其中,时间阈值具体可为15秒。
步骤S53:结束跟踪。
本实施例提供的基于摄像机的目标跟踪方法,由于摄像机可持续获取跟踪目标所在区域的实时图片,以通过对该实时图片进行处理从而对跟踪目标进行跟踪,且由于该摄像机可对实时图片中的跟踪目标进行放大处理,从而使得该方法可对跟踪目标的细节进行查看;另外,由于雷达与摄像机绑定,且雷达可向摄像机反馈跟踪目标的位置信息,当跟踪目标被遮挡物遮挡或跟踪目标的特征与环境特征极为相似,使得摄像机获取的实时图片中无法查看到跟踪目标时,摄像机则可根据来自雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,然后继续对其进行跟踪,从而不仅能够持续对跟踪目标的细节进行查看,且能够有效降低因遮挡物遮挡跟踪目标而导致跟踪失败的概率;同时能够在跟踪目标与环境背景的特征极为相近时也能持续对其进行跟踪;此外,大大提升了在一些重点区域的保护,同时对跟踪目标细节与轨迹行为的视频录制,亦可作为事后行为定位与目标属性分析。
请参阅图7,图7为本申请一实施例提供的基于雷达的目标跟踪方法的流程示意图;为了提高目标跟踪的精确度,以及提高目标跟踪的效率,在本实施例中,提供一种基于雷达的目标跟踪方法,应用于联动系统中的雷达,该联动系统还包括摄像机。
其中,雷达是用无线电电磁波的方法发现目标并测定目标的空间位置,雷达可以获得所发现目标的距离、距离变化率、方位、高度等信息,雷达有多种分类,按照所采用的坐标系分类,至少可以分为采用二维坐标系的双坐标雷达和采用三维坐标的三坐标雷达。
其中,联动系统中的摄像机数量可以为至少两个,具体的数量可以自定义设定,摄像机安装的位置也可以自定义设定。
其中,摄像机可以为球机,球机可以提供坐标信息,所提供的坐标信息包括水平角度信息和垂直角度信息。这样,球机对目标进行拍摄时,可以提供该目标的坐标信息。当然,球机所提供的坐标信息是相对于该球机而言的,也就是说,所提供的坐标信息是该球机的坐标系中的坐标。
对于球机而言,球机还可以旋转,调整所拍摄的角度,例如,球机可以通过调整所拍摄的角度,将所拍摄的目标调整至拍摄画面的正中间位置。另外,球机还可以按照倍率对所拍摄画面中的目标进行放大处理,以对目标的细节进行查看。
联动系统中雷达与各个摄像机均可以通信连接,雷达可以向摄像机发送指令,由摄像机响应所接收到的指令并执行相应操作;例如,雷达可向摄像机发送控制指令,该控制指令可以匹配第二位置信息,这样,摄像机接收到该控制指令后,可以根据第二位置信息转动摄像机镜头,并对相应位置的目标进行跟踪拍摄。
具体的,基于雷达的目标跟踪方法具体包括:
步骤S61:接收来自与雷达绑定的摄像机的匹配第一位置信息的控制指令并根据第一位置信息与相应位置的跟踪目标建立联系。
其中,第一位置信息为摄像机确认跟踪目标时侦测到跟踪目标的位置信息,且该第一位置信息是匹配摄像机坐标系中的坐标信息;在具体实施过程中,摄像机需要通过摄像机坐标系和雷达坐标系之间的坐标转换关系将第一位置信息转换成与雷达坐标系相应的第一坐标,然后将匹配第一坐标的控制指令发送至雷达,即,在具体实施过程中,雷达实际接收到的控制指令是匹配第一坐标的控制指令,并根据第一坐标与相应位置的目标建立联系。
步骤S62:持续获取跟踪目标的第二位置信息并将第二位置信息发送至摄像机,以使摄像机在跟踪丢失跟踪目标时,根据第二位置信息而再次建立对跟踪目标的跟踪。
其中,第二位置信息为雷达关联跟踪目标后实时侦测到的跟踪目标的位置信息,且该第二位置信息是匹配雷达坐标系中的坐标信息;在具体实施过程中,雷达需要通过摄像机坐标系和雷达坐标系之间的坐标转换关系将第二位置信息转换成与摄像机坐标系相应的第二坐标,然后将匹配第二坐标的控制指令发送至摄像机,即,在具体实施过程中,摄像机接收到的雷达发送的第二位置信息实际是符合摄像机坐标系的第二坐标,然后摄像机根据该第二坐标重新调整镜头,以在跟踪丢失跟踪目标时,根据第二坐标而再次建立对跟踪目标的跟踪;具体的,PTZ摄像机对跟踪目标的跟踪原理及过程具体可参见现有技术的PTZ摄像机对跟踪目标的跟踪原理及过程,且可实现相同或相似的技术效果,在此不再赘述。
本实施例提供的基于雷达的目标跟踪方法,通过接收来自与雷达绑定的摄像机的匹配第一位置信息的控制指令并根据第一位置信息与相应位置的跟踪目标建立联系;然后持续获取跟踪目标的第二位置信息并将第二位置信息发送至摄像机,以使摄像机在跟踪丢失跟踪目标时,根据第二位置信息而再次建立对跟踪目标的跟踪;由于该方法中雷达可实时向摄像机发送跟踪目标的位置信息,从而能够在摄像机跟踪丢失跟踪目标时,通过雷达发送的位置信息再次建立对跟踪目标的跟踪,有效降低了摄像机因遮挡物遮挡跟踪目标而导致跟踪失败的概率,且在跟踪目标与环境背景的特征极为相近时也能通过摄像机持续对其进行跟踪;同时,由于PTZ摄像机可对跟踪目标进行放大处理,从而可同时对跟踪目标的细节进行查看。
请参阅图8,图8为本申请一实施例提供的基于摄像机的目标跟踪装置的结构示意图;在本实施例中,提供一种基于摄像机的目标跟踪装置40,该装置包括获取模块400、判断模块401及跟踪再建模块402。
其中,获取模块400用于对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片。
具体的,确定跟踪目标后,调整摄像机的拍摄角度,以使得跟踪目标在拍摄画面内并位于拍摄画面的中间位置,然后对跟踪目标进行视频拍摄。
具体的,摄像机为PTZ摄像机,其中,PTZ为Pan/Tilt/Zoom的缩写,P代表云台水平方向,T代表云台垂直方向,Z代表镜头倍率。具体的,PTZ摄像机有云台、机芯可变倍;且PTZ摄像机还可以对所拍摄的区域范围按照变倍系数Z进行放大或缩小,一般来说,变倍系数越大,放大倍数越大,同一个目标在摄像机的所拍摄的画面图像中所占据的像素值越大,但摄像机所拍摄的画面图像整体的视角会越小。在具体实施过程中,将PTZ摄像机的变倍系数放大,以使跟踪目标在摄像机的所拍摄的实时图片中占据更多的比例,从而能够持续对实时图片中的踪目标的细节进行查看。
其中,判断模块401用于判断实时图片中是否存在跟踪目标。
具体的,若实时图片中存在跟踪目标,则获取实时图片中跟踪目标的第一特征向量,并继续对跟踪目标进行跟踪并持续获取跟踪目标所在区域的实时图片;若实时图片中不存在跟踪目标,则根据来自与摄像机绑定的雷达反馈的跟踪目标的最新的第三坐标信息重新确定跟踪目标的位置,以对跟踪目标继续进行跟踪。可以理解的是,由于跟踪目标在摄像机所拍摄的实时图片中占据的比例较大,当跟踪目标被遮挡物遮挡时,遮挡物占据实时图片中更多的画面,摄像机所拍摄的实时图片中则无法查看到跟踪目标,且无法来等待目标的再次出现,此时,根据来自与摄像机绑定的雷达反馈的跟踪目标的最新的第三坐标信息重新确定跟踪目标的位置,以对跟踪目标继续进行跟踪。
其中,跟踪再建模块402用于当实时图片中不存在跟踪目标时,根据来自与摄像机绑定的雷达反馈的跟踪目标的坐标信息重新确定跟踪目标的位置,以对跟踪目标进行跟踪。
具体的,当实时图片中不存在跟踪目标时,接收来自与摄像机绑定的雷达反馈的跟踪目标的最新的第三坐标信息,然后根据第三坐标信息获取相应位置的区域图像,对区域图像中的待识别目标进行识别并获取每个待识别目标的第二特征向量,然后将多个第二特征向量分别与第一特征向量进行比对,若比对成功则继续对目标进行跟踪拍摄。
请参阅图9,图9为本申请一实施例提供的基于雷达的目标跟踪装置的结构示意图;在本实施例中,提供一种基于雷达的目标跟踪装置50,该装置包括接收模块500和发送模块501。
其中,接收模块500用于接收来自与雷达绑定的摄像机的匹配第一位置信息的控制指令并根据第一位置信息与相应位置的跟踪目标建立联系。
其中,第一位置信息为摄像机确认跟踪目标时侦测到跟踪目标的位置信息,且该第一位置信息是匹配摄像机坐标系中的坐标信息;在具体实施过程中,摄像机需要通过摄像机坐标系和雷达坐标系之间的坐标转换关系将第一位置信息转换成与雷达坐标系相应的第一坐标,然后将匹配第一坐标的控制指令发送至雷达,即,在具体实施过程中,雷达实际接收到的控制指令是匹配第一坐标的控制指令,并根据第一坐标与相应位置的目标建立联系。
其中,发送模块501用于持续获取跟踪目标的第二位置信息并将第二位置信息发送至摄像机,以使摄像机在跟踪丢失跟踪目标时,根据第二位置信息而再次建立对跟踪目标的跟踪。
其中,第二位置信息为雷达关联跟踪目标后实时侦测到的跟踪目标的位置信息,且该第二位置信息是匹配雷达坐标系中的坐标信息;在具体实施过程中,雷达需要通过摄像机坐标系和雷达坐标系之间的坐标转换关系将第二位置信息转换成与摄像机坐标系相应的第二坐标,然后将匹配第二坐标的控制指令发送至摄像机,即,在具体实施过程中,摄像机接收到的雷达发送的第二位置信息实际是符合摄像机坐标系的第二坐标,然后摄像机根据该第二坐标重新调整镜头,以在跟踪丢失跟踪目标时,根据第二坐标而再次建立对跟踪目标的跟踪;具体的,PTZ摄像机对跟踪目标的跟踪原理及过程具体可参见现有技术的PTZ摄像机对跟踪目标的跟踪原理及过程,且可实现相同或相似的技术效果,在此不再赘述。
请参阅图10,图10为本申请一实施例提供的智能终端的结构示意图;在本实施例中,提供一种智能终端,该智能终端包括相互连接的存储器600和处理器601。
其中,存储器600用于存储实现上述实施例所涉及的基于摄像机的目标跟踪方法的程序指令或基于雷达的目标跟踪方法的程序指令;处理器601用于执行存储器600存储的程序指令。
其中,处理器601还可以称为CPU(Central Processing Unit,中央处理单元)。处理器601可能是一种集成电路芯片,具有信号的处理能力。处理器601还可以是通用处理器、数字信号处理器601(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器601也可以是任何常规的处理器等。
存储器600可以为内存条、TF卡等,可以存储基于摄像机的目标跟踪装置40或基于雷达的目标跟踪装置50中全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器600中。它根据控制器指定的位置存入和取出信息。有了存储器600,基于摄像机的目标跟踪装置40或基于雷达的目标跟踪装置50才有记忆功能,才能保证正常工作。基于摄像机的目标跟踪装置40或基于雷达的目标跟踪装置50中的存储器600按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
智能终端还包括其他的器件,其与现有技术中的智能终端中的其他器件及功能相同,在此不再赘述。
请参阅图11,图11为本申请一实施例提供的计算机可读存储介质的结构示意图。
在本实施例中,提供一种计算机可读存储介质,该计算机可读存储介质存储有程序文件700,程序文件700能够被执行以实现上述实施例所涉及的基于摄像机的目标跟踪方法或基于雷达的目标跟踪方法。其中,该程序文件700可以以软件产品的形式存储在上述计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种基于摄像机的目标跟踪方法,其特征在于,包括:
对跟踪目标进行跟踪并持续获取所述跟踪目标所在区域的实时图片;
判断所述实时图片中是否存在所述跟踪目标,当所述实时图片中不存在所述跟踪目标时,根据来自与所述摄像机绑定的雷达反馈的所述跟踪目标的坐标信息重新确定所述跟踪目标的位置,以对所述跟踪目标进行跟踪。
2.根据权利要求1所述的基于摄像机的目标跟踪方法,其特征在于,所述对跟踪目标进行跟踪并持续获取所述跟踪目标所在区域的实时图片的步骤之前还包括:
确定所述跟踪目标并获取所述跟踪目标的第一坐标信息;
向所述雷达发送匹配所述第一坐标信息的控制指令,以使所述雷达响应所述控制指令。
3.根据权利要求2所述的基于摄像机的目标跟踪方法,其特征在于,所述向所述雷达发送匹配所述第一坐标信息的控制指令,以使所述雷达响应所述控制指令的步骤具体包括:
根据雷达坐标系与摄像机坐标系之间的坐标转换关系,将所述第一坐标信息转换为所述雷达坐标系中对应的第二坐标信息;
向所述雷达发送匹配所述第二坐标信息的控制指令,以使所述雷达响应所述控制指令。
4.根据权利要求3所述的基于摄像机的目标跟踪方法,其特征在于,所述向所述雷达发送匹配所述第二坐标信息的控制指令,以使所述雷达响应所述控制指令的步骤具体包括:
向所述雷达发送匹配所述第二坐标信息的控制指令,以使所述雷达与相应位置的所述跟踪目标建立联系,并使所述雷达持续获取所述跟踪目标的第三坐标信息并将所述第三坐标信息发送至所述摄像机。
5.根据权利要求4所述的基于摄像机的目标跟踪方法,其特征在于,所述判断所述实时图片中是否存在所述跟踪目标,当所述实时图片中不存在所述跟踪目标时,根据来自与所述摄像机绑定的雷达反馈的所述跟踪目标的坐标信息重新确定所述跟踪目标的位置,以对所述跟踪目标进行跟踪的步骤具体包括:
判断所述实时图片中是否存在所述跟踪目标;
若存在,则获取所述实时图片中所述跟踪目标的第一特征向量,并继续对所述跟踪目标进行跟踪并持续获取所述跟踪目标所在区域的实时图片;
若不存在,则根据来自与所述摄像机绑定的所述雷达反馈的所述跟踪目标的最新的所述第三坐标信息重新确定所述跟踪目标的位置,以对所述跟踪目标进行跟踪。
6.根据权利要求5所述的基于摄像机的目标跟踪方法,其特征在于,所述根据来自与所述摄像机绑定的所述雷达反馈的所述跟踪目标的最新的所述第三坐标信息重新确定所述跟踪目标的位置,以对所述跟踪目标进行跟踪的步骤具体包括:
接收来自与所述摄像机绑定的所述雷达反馈的所述跟踪目标的最新的所述第三坐标信息;
根据所述第三坐标信息获取相应位置的区域图像;
对所述区域图像中的待识别目标进行识别并获取每个所述待识别目标的第二特征向量;
将所述第二特征向量与所述第一特征向量进行比对,并根据比对结果执行相应操作。
7.根据权利要求6所述的基于摄像机的目标跟踪方法,其特征在于,所述将所述第二特征向量与所述第一特征向量进行比对,并根据比对结果执行相应操作的步骤具体包括:
将所述第二特征向量与所述第一特征向量进行比对;
判断比对结果是否成功;
若成功,则确定所述待识别目标为所述跟踪目标并继续对所述跟踪目标进行跟踪并持续获取所述跟踪目标所在区域的实时图片;
若不成功,则判断比对时间是否超过时间阈值;
若是,则结束跟踪;
若否,则重新接收来自与所述摄像机绑定的所述雷达的最新的所述第三坐标信息。
8.一种基于雷达的目标跟踪方法,其特征在于,包括:
接收来自与所述雷达绑定的摄像机的匹配第一位置信息的控制指令并根据所述第一位置信息与相应位置的所述跟踪目标建立联系;
持续获取所述跟踪目标的第二位置信息并将所述第二位置信息发送至所述摄像机,以使所述摄像机在跟踪丢失所述跟踪目标时,根据所述第二位置信息而再次建立对所述跟踪目标的跟踪;其中,所述第一位置信息为所述摄像机确认所述跟踪目标时侦测到所述跟踪目标的位置信息,所述第二位置信息为所述雷达关联所述跟踪目标后实时侦测到的所述跟踪目标的位置信息。
9.一种基于摄像机的目标跟踪装置,其特征在于,包括:
获取模块,用于对跟踪目标进行跟踪并持续获取所述跟踪目标所在区域的实时图片;
判断模块,用于判断所述实时图片中是否存在所述跟踪目标;
跟踪再建模块,用于当所述实时图片中不存在所述跟踪目标时,根据来自与所述摄像机绑定的雷达反馈的所述跟踪目标的坐标信息重新确定所述跟踪目标的位置,以对所述跟踪目标进行跟踪。
10.一种基于雷达的目标跟踪装置,其特征在于,包括:
接收模块,用于接收来自与所述雷达绑定的摄像机的匹配第一位置信息的控制指令并根据所述第一位置信息与相应位置的所述跟踪目标建立联系;
发送模块,用于持续获取所述跟踪目标的第二位置信息并将所述第二位置信息发送至所述摄像机,以使所述摄像机在跟踪丢失所述跟踪目标时,根据所述第二位置信息而再次建立对所述跟踪目标的跟踪;其中,所述第一位置信息为所述摄像机确认所述跟踪目标时侦测到所述跟踪目标的位置信息,所述第二位置信息为所述雷达关联所述跟踪目标后实时侦测到的所述跟踪目标的位置信息。
11.一种智能终端,其特征在于,包括相互连接的存储器和处理器,其中,所述存储器用于存储实现如权利要求1-7任一项所述的基于摄像机的目标跟踪方法的程序指令或者实现如权利要求8所述的基于雷达的目标跟踪方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令。
12.一种计算机可读存储介质,其特征在于,存储有程序文件,所述程序文件能够被执行以实现如权利要求1-7任一项所述的基于摄像机的目标跟踪方法或者实现如权利要求8所述的基于雷达的目标跟踪方法。
CN202010172367.7A 2020-03-12 2020-03-12 基于摄像机、雷达的目标跟踪方法及相关装置 Active CN111402296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010172367.7A CN111402296B (zh) 2020-03-12 2020-03-12 基于摄像机、雷达的目标跟踪方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010172367.7A CN111402296B (zh) 2020-03-12 2020-03-12 基于摄像机、雷达的目标跟踪方法及相关装置

Publications (2)

Publication Number Publication Date
CN111402296A true CN111402296A (zh) 2020-07-10
CN111402296B CN111402296B (zh) 2023-09-01

Family

ID=71430719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010172367.7A Active CN111402296B (zh) 2020-03-12 2020-03-12 基于摄像机、雷达的目标跟踪方法及相关装置

Country Status (1)

Country Link
CN (1) CN111402296B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016483A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 目标检测的接力系统、方法、装置及设备
CN112382033A (zh) * 2020-12-07 2021-02-19 中科蓝卓(北京)信息科技有限公司 一种区域型入侵报警系统
CN113393492A (zh) * 2021-05-27 2021-09-14 浙江大华技术股份有限公司 目标跟踪方法、装置、电子装置和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005048196A2 (en) * 2003-11-12 2005-05-26 British Telecommunications Public Limited Company Object tracking within video images
WO2007015631A1 (en) * 2005-08-04 2007-02-08 Isenteck Enc Co., Ltd. Smart video monitoring system and method communicating with auto-tracking radar system
US20100103026A1 (en) * 2006-09-29 2010-04-29 Byung-Doo Kim Radar tracking device and method thereof
JP2014216830A (ja) * 2013-04-25 2014-11-17 株式会社ニコン 画像追尾装置、画像追尾方法及びプログラム
CN204089971U (zh) * 2014-08-28 2015-01-07 天津天地伟业数码科技有限公司 无线雷达定位的球型摄像机
US20170024899A1 (en) * 2014-06-19 2017-01-26 Bae Systems Information & Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
US20170206436A1 (en) * 2016-01-19 2017-07-20 Delphi Technologies, Inc. Object Tracking System With Radar/Vision Fusion For Automated Vehicles
US20170363733A1 (en) * 2014-12-30 2017-12-21 Thales Radar-Assisted Optical Tracking Method and Mission System for Implementation of This Method
CN108020831A (zh) * 2018-02-06 2018-05-11 上海圆舟电子科技有限公司 一种智能海事跟踪雷达
US20180156914A1 (en) * 2016-12-05 2018-06-07 Trackman A/S Device, System, and Method for Tracking an Object Using Radar Data and Imager Data
US20180189575A1 (en) * 2016-12-30 2018-07-05 Neusoft Corporation Method, apparatus and device for generating target detection information
CN108615321A (zh) * 2018-06-07 2018-10-02 湖南安隆软件有限公司 基于雷达侦测及视频图像行为分析的安防预警系统及方法
US20180284802A1 (en) * 2016-08-29 2018-10-04 PerceptIn, Inc. Fault Tolerance to Provide Robust Tracking for Autonomous Positional Awareness
CN109816702A (zh) * 2019-01-18 2019-05-28 苏州矽典微智能科技有限公司 一种多目标跟踪装置和方法
CN110163885A (zh) * 2018-02-12 2019-08-23 杭州海康威视数字技术股份有限公司 一种目标跟踪方法及装置
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技(深圳)有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN110647806A (zh) * 2019-08-13 2020-01-03 浙江大华技术股份有限公司 对象行为监测方法、装置、设备、系统及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005048196A2 (en) * 2003-11-12 2005-05-26 British Telecommunications Public Limited Company Object tracking within video images
WO2007015631A1 (en) * 2005-08-04 2007-02-08 Isenteck Enc Co., Ltd. Smart video monitoring system and method communicating with auto-tracking radar system
US20100103026A1 (en) * 2006-09-29 2010-04-29 Byung-Doo Kim Radar tracking device and method thereof
JP2014216830A (ja) * 2013-04-25 2014-11-17 株式会社ニコン 画像追尾装置、画像追尾方法及びプログラム
US20170024899A1 (en) * 2014-06-19 2017-01-26 Bae Systems Information & Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
CN204089971U (zh) * 2014-08-28 2015-01-07 天津天地伟业数码科技有限公司 无线雷达定位的球型摄像机
US20170363733A1 (en) * 2014-12-30 2017-12-21 Thales Radar-Assisted Optical Tracking Method and Mission System for Implementation of This Method
US20170206436A1 (en) * 2016-01-19 2017-07-20 Delphi Technologies, Inc. Object Tracking System With Radar/Vision Fusion For Automated Vehicles
US20180284802A1 (en) * 2016-08-29 2018-10-04 PerceptIn, Inc. Fault Tolerance to Provide Robust Tracking for Autonomous Positional Awareness
US20180156914A1 (en) * 2016-12-05 2018-06-07 Trackman A/S Device, System, and Method for Tracking an Object Using Radar Data and Imager Data
US20180189575A1 (en) * 2016-12-30 2018-07-05 Neusoft Corporation Method, apparatus and device for generating target detection information
CN108020831A (zh) * 2018-02-06 2018-05-11 上海圆舟电子科技有限公司 一种智能海事跟踪雷达
CN110163885A (zh) * 2018-02-12 2019-08-23 杭州海康威视数字技术股份有限公司 一种目标跟踪方法及装置
CN108615321A (zh) * 2018-06-07 2018-10-02 湖南安隆软件有限公司 基于雷达侦测及视频图像行为分析的安防预警系统及方法
WO2019237536A1 (zh) * 2018-06-11 2019-12-19 平安科技(深圳)有限公司 目标实时跟踪方法、装置、计算机设备及存储介质
CN109816702A (zh) * 2019-01-18 2019-05-28 苏州矽典微智能科技有限公司 一种多目标跟踪装置和方法
CN110647806A (zh) * 2019-08-13 2020-01-03 浙江大华技术股份有限公司 对象行为监测方法、装置、设备、系统及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016483A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 目标检测的接力系统、方法、装置及设备
CN112382033A (zh) * 2020-12-07 2021-02-19 中科蓝卓(北京)信息科技有限公司 一种区域型入侵报警系统
CN113393492A (zh) * 2021-05-27 2021-09-14 浙江大华技术股份有限公司 目标跟踪方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN111402296B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN110163885B (zh) 一种目标跟踪方法及装置
CN111402296A (zh) 基于摄像机、雷达的目标跟踪方法及相关装置
US11023727B2 (en) Target monitoring method, camera, controller, and target monitoring system
US10438360B2 (en) Video processing apparatus, video processing method, and storage medium
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
CN109151375B (zh) 一种目标对象抓拍方法、装置及视频监控设备
CN106791710B (zh) 目标检测方法、装置和电子设备
US11107246B2 (en) Method and device for capturing target object and video monitoring device
CN108377342B (zh) 双摄像头拍照方法、装置、存储介质及终端
US9001034B2 (en) Information processing apparatus, program, and information processing method
CN108198199B (zh) 运动物体跟踪方法、运动物体跟踪装置和电子设备
US20200267309A1 (en) Focusing method and device, and readable storage medium
CN112016483A (zh) 目标检测的接力系统、方法、装置及设备
CN112154436A (zh) 在电子装置中识别对象的设备和方法
CN112689221B (zh) 录音方法、录音装置、电子设备及计算机可读存储介质
US20220321788A1 (en) Video Processing Method and Electronic Device
JP2020149111A (ja) 物体追跡装置および物体追跡方法
CN112207821A (zh) 视觉机器人的目标搜寻方法及机器人
EP4297395A1 (en) Photographing exposure method and apparatus for self-walking device
WO2018042074A1 (en) A method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene
CN110941975A (zh) 图像获取方法、角度调整方法、装置及驾驶系统
US11956530B2 (en) Electronic device comprising multi-camera, and photographing method
CN110780734A (zh) 一种基于雷达的手势交互ar投影方法及装置
CN115883959A (zh) 用于隐私保护的画面内容控制方法及相关产品
CN114286011B (zh) 对焦方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant