CN111698467B - 基于多摄像机的智能跟踪方法及系统 - Google Patents

基于多摄像机的智能跟踪方法及系统 Download PDF

Info

Publication number
CN111698467B
CN111698467B CN202010383225.5A CN202010383225A CN111698467B CN 111698467 B CN111698467 B CN 111698467B CN 202010383225 A CN202010383225 A CN 202010383225A CN 111698467 B CN111698467 B CN 111698467B
Authority
CN
China
Prior art keywords
camera
controlled
tracking target
main camera
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010383225.5A
Other languages
English (en)
Other versions
CN111698467A (zh
Inventor
张朋云
李会力
吴黎明
姚威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shineon Technology Co ltd
Original Assignee
Shineon Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shineon Technology Co ltd filed Critical Shineon Technology Co ltd
Priority to CN202010383225.5A priority Critical patent/CN111698467B/zh
Publication of CN111698467A publication Critical patent/CN111698467A/zh
Application granted granted Critical
Publication of CN111698467B publication Critical patent/CN111698467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于多摄像机的智能跟踪方法,包括:受控摄像机从拍摄画面中选取跟踪目标;根据受控摄像机和主摄像机的图像点的对应关系,计算所述跟踪目标在主摄像机画面中的位置;根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算所述跟踪目标的近似空间位置;根据所述近似空间位置,通过最大似然估计算法计算所述跟踪目标的精确空间位置。通过上述方法,可以精确计算出跟踪目标的空间位置,实现快速、智能、自动控制摄像机参数。

Description

基于多摄像机的智能跟踪方法及系统
技术领域
本发明涉及目标跟踪技术领域,特别涉及一种基于多摄像机的智能跟踪方法及系统。
背景技术
在视频节目制作时,通常采用每路视频信号由一名摄像师直接控制摄像机来获取最佳视频画面,或者通过远程控制器,由导播人员手动远程进行摄像机控制。这种通过手动控制摄像机的各个参数,将摄像调整到最佳画面的方法,不仅延时性高,而且操作复杂,现场工作人员也处于高度紧张的状态。
目前,现有技术中也出现了摄像机智能跟踪控制技术,通常采用识别技术估计出跟踪目标的空间位置,但是计算精度不高,不能精确计算出跟踪目标的空间位置。
发明内容
本公开实施例提供了一种基于多摄像机的智能跟踪方法及系统。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
在一些可选地实施例中,一种基于多摄像机的智能跟踪方法,包括:
受控摄像机从拍摄画面中选取跟踪目标;
根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,通过最大似然估计算法计算跟踪目标的精确空间位置之后,还包括:
根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
进一步地,确定受控摄像机的控制参数之后,还包括:
根据控制参数实时控制受控摄像机。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系之前,还包括:
获取主摄像机和每个受控摄像机之间的基准距离;
标定拍摄场地区域;
标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。
在一些可选地实施例中,一种基于多摄像机的智能跟踪系统,包括:
受控摄像机,用于从拍摄画面中选取跟踪目标;
图像映射模块,用于根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
预估模块,用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
精确模块,用于根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,还包括:
策略处理模块,用于根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
进一步地,还包括:
控制模块,用于根据控制参数实时控制受控摄像机。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
进一步地,还包括:
获取模块,用于在确定受控摄像机和主摄像机的图像点的对应关系之前,获取主摄像机和每个受控摄像机之间的基准距离;
标定模块,用于标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。
本公开实施例提供的技术方案可以包括以下有益效果:
本发明提供了一种基于多摄像机的智能跟踪方法,受控摄像机从拍摄画面中选取跟踪目标;根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;
图2是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;
图3是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;
图4是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;
图5是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;
图6是根据一示例性实施例示出的一种跟踪处理方法的流程示意图;
图7是根据一示例性实施例示出的一种主摄像机处理方法的流程示意图;
图8是根据一示例性实施例示出的一种策略分析方法的流程示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。在以下的技术描述中,为方便解释起见,通过多个细节以提供对所披露实施例的充分理解。然而,在没有这些细节的情况下,一个或一个以上实施例仍然可以实施。在其它情况下,为简化附图,熟知的结构和装置可以简化展示。
目前,在视频节目制作时,通常采用每路视频信号由一名摄像师直接控制摄像机来获取最佳视频画面,或者通过远程控制器由导播人员手动远程进行摄像机控制,操作复杂,延时性高,现场工作人员高度紧张。本公开实施例提供了一种基于多摄像机的智能跟踪方法,根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,采用双目辅用技术和最大似然估计算法准确快速的计算出跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例一:
本公开实施例提供了一种基于多摄像机的智能跟踪方法,图1是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;如图1所示,一种基于多摄像机的智能跟踪方法,包括:
S101受控摄像机从拍摄画面中选取跟踪目标;
其中,摄像机是把光学图像信号转变为电信号,以便于存储或者传输的电子设备。受控摄像机是节目录制拍摄过程中针对场地中心分布在不同物理空间的若干个分路摄像机。坐标在平面概念是用来表示某个点的绝对位置的量,受控摄像机对应的实际物理空间坐标是若干个分路摄像机相对于场地中心而产生的不同物理空间坐标点。
在本申请实施例中,首先需要在目标场地区域不同位置设置一台主摄像机和一路或者多路受控摄像机,其中主摄像机获取目标场地区域的全部画面,一台或者多台受控摄像机获取目标场地区域的部分画面。
可选地,受控摄像机为4路受控摄像机,受控摄像机从拍摄画面中选定跟踪目标。
S102根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
具体地,受控摄像机选定跟踪目标后,计算跟踪目标在主摄像机画面中的位置。可以根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置。
首先,获取主摄像机和每个受控摄像机之间的基准距离,标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。然后根据标定的距离和坐标,确定受控摄像机和主摄像机的图像点的对应关系。
具体地,确定受控摄像机和主摄像机的图像点的对应关系,包括,根据在主摄像机处理模块标定的拍摄场地区域,计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵。
Figure BDA0002483001790000061
其中,x1,y1,x2,y2,x3,y3,x4,y4表示四个图像点坐标,X1,Y1,X2,Y2,X3,Y3,X4,Y4表示四个空间点坐标,h11,h12,h13,h21,h22,h23,h31,h32表示H矩阵的参数。
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵,其中,受控摄像机的仿射变换矩阵与主摄像机的仿射变换矩阵相同。
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系,基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。具体地,受控摄像机选定跟踪目标后,可以根据如下公式确定跟踪目标在主摄像机中的位置信息。
Figure BDA0002483001790000062
其中,M表示空间点坐标,m1,m2表示空间点M在不同的摄像机的图像点坐标,H1是主摄像机三维到二维的映射矩阵,H2是其中一个受控摄像机三维到二维的映射矩阵。
S103根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
进一步地,确定跟踪目标在主摄像机和在受控摄像机画面中的位置信息后,可以采用双目立体视觉原理近似计算出跟踪目标的空间位置,具体公式如下所示:
Figure BDA0002483001790000071
Figure BDA0002483001790000072
Figure BDA0002483001790000073
Figure BDA0002483001790000074
Figure BDA0002483001790000075
Figure BDA0002483001790000076
Figure BDA0002483001790000077
其中,f表示摄像机的焦距,B表示任意两个摄像机之间的基准距离,D表示同一个空间点在两个摄像机之间的视觉差,Xc,Yc,Zc表示跟踪目标的近似空间位置坐标,x1,y1,x2,y2,表示图像点坐标。
双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法,本公开实施例通过获取跟踪目标在主摄像机和受控摄像机中的位置信息,采用双目立体视觉原理,计算出跟踪目标的三维空间位置,大大提高了计算的精度。
S104根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,获取到跟踪目标的近似空间位置后,可以采用如下公式,通过最大似然估计算法精确计算跟踪目标的空间位置。
x=H*X
Figure BDA0002483001790000078
其中,x表示跟踪目标的图像位置坐标,X表示跟踪目标的三维空间坐标,H表示三维空间点到二维图像点之间的转换矩阵,Xij表示跟踪物体的精确空间位置,
Figure BDA0002483001790000079
表示任意多目计算的跟踪物体的近似空间位置,n表示系统的摄像机数量,m表示图像上的跟踪目标数量。
通过引入双目立体视觉原理和最大似然估计算法,可以自动精确的计算出跟踪目标的空间位置,便于后续跟踪计算。
进一步地,通过最大似然估计算法计算跟踪目标的精确空间位置之后,还包括:根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
在本申请实施例中,首先设置场景应用策略,策略处理模块根据选定的应用策略,以及实时计算的跟踪目标的精确空间位置,进行数据分析及校验计算,生成最佳的Zoom,Pan,Tilte等设备参数。
进一步地,确定受控摄像机的控制参数之后,还包括:根据控制参数实时控制受控摄像机。
具体地,摄像机控制模块将生成的摄像机设备参数,通过网络或串口等协议,实时的发送到摄像机,控制摄像机获取最佳拍摄画面。例如图4所示,主摄像机和受控摄像机对应的信号1、信号2和信号3将获取的目标跟踪图像上传至智能跟踪处理服务器,智能跟踪处理服务器接收到发送来的目标跟踪图像后,将目标跟踪图像输入预先保存的策略处理模块中进行数据计算,根据计算的数据结果生成最佳的Zoom,Pan,Tilte等设备参数,然后根据生成的最佳设备参数来控制摄像机。
基于上述公开实施例,根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,采用双目辅用技术和最大似然估计算法准确快速的计算出跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例二:
本公开实施例提供了一种基于多摄像机的智能跟踪方法,图2是根据一示例性实施例示出的一种基于多摄像机的智能跟踪方法的流程示意图;如图2所示,一种基于多摄像机的智能跟踪方法,包括:
S201获取主摄像机和每个受控摄像机之间的基准距离;
S202标定拍摄场地区域;
S203标定主摄像机和每个受控摄像机相对于所述拍摄场地中心点的空间坐标;
S204确定受控摄像机和主摄像机的图像点的对应关系,包括,根据在主摄像机处理模块标定的拍摄场地区域,计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵,计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵,根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系,基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系;
S205受控摄像机从拍摄画面中选取跟踪目标;
S206根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
S207根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
S208根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置;
S209根据精确空间位置进行策略分析,确定受控摄像机的控制参数,包括,根据选定的应用策略,以及实时计算的跟踪目标的精确空间位置,进行数据分析及校验计算,生成相对于各个受控摄像机获取最佳画面的设备参数;
S210根据控制参数实时控制受控摄像机,通过网络或串口等协议,将控制参数实时的发送到摄像机,控制摄像机获取最佳拍摄画面。
基于上述公开实施例,根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,采用双目辅用技术和最大似然估计算法准确快速的计算出跟踪目标的精确空间位置。通过上述方法,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例三:
本公开实施例提供了一种基于多摄像机的智能跟踪系统,图3是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;如图3所示,一种基于多摄像机的智能跟踪系统,包括:
S301受控摄像机,用于从拍摄画面中选取跟踪目标;
S302图像映射模块,用于根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
S303预估模块,用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;
S304精确模块,用于根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。
进一步地,还包括:
策略处理模块,用于根据精确空间位置进行策略分析,确定受控摄像机的控制参数。
进一步地,还包括:
控制模块,用于根据控制参数实时控制受控摄像机。
进一步地,确定受控摄像机和主摄像机的图像点的对应关系,包括:
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系。
进一步地,还包括:
获取模块,用于在确定受控摄像机和主摄像机的图像点的对应关系之前,获取主摄像机和每个受控摄像机之间的基准距离;
标定模块,用于标定拍摄场地区域,标定主摄像机和每个受控摄像机相对于拍摄场地中心点的空间坐标。
需要说明的是,上述实施例提供的基于多摄像机的智能跟踪系统,在执行多摄像机的智能跟踪方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于多摄像机的智能跟踪系统,与基于多摄像机的智能跟踪方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本公开实施例序号仅仅为了描述,不代表实施例的优劣。
在本公开实施例中,首先受控摄像机从拍摄画面中选取跟踪目标;根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置;根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置。基于本公开实施例,可以根据导播场景,跟踪目标,自动和准确的计算出跟踪物体的三维空间位置,进而设置摄像机的相关参数,最终获取最佳的拍摄画面,减少了人工参与,降低了操作延时,提高了节目导播的效率和效果。
实施例四:
本公开实施例提供了一种基于多摄像机的智能跟踪系统,图4是根据一示例性实施例示出的一种基于多摄像机的智能跟踪系统的结构示意图;如图4所示,一种基于多摄像机的智能跟踪系统,包括:
智能跟踪处理服务器、主摄像机,以及受控摄像机,主摄像机负责场地的全景画面,受控摄像机负责场地的部分画面,主摄像机和受控摄像机将拍摄的视频信号传送到智能跟踪处理服务器。
该系统执行的基于多摄像机的智能跟踪方法如图5所示,在一些可选地实施例中,受控摄像机由三路摄像机组成,受控摄像机和主摄像机进行信号采集,并将采集的视频信号传送到图像跟踪模块,图6是根据一示例性实施例示出的一种跟踪处理方法的流程示意图,如图6所示,图像跟踪模块对采集的视频信号进行处理,选取特征点,并对特征点进行处理以及跟踪计算。图7是根据一示例性实施例示出的一种主摄像机处理方法的流程示意图,如图7所示,主摄像机进行信号采集,标定主摄像机相对于拍摄场地中心点的空间坐标,然后进行投影计算,根据主摄像机处理模块标定的拍摄场地区域,计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵。受控摄像机选取跟踪目标,标定受控摄像机相对于拍摄场地中心点的空间坐标,然后进行投影计算,根据受控摄像机处理模块标定的拍摄场地区域,计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵。
图像映射模块根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,确定受控摄像机和主摄像机的图像点的对应关系,根据受控摄像机和主摄像机的图像点的对应关系,计算跟踪目标在主摄像机画面中的位置;
预估模块用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算跟踪目标的近似空间位置,并将近似空间位置传送到精确模块,精确模块用于根据近似空间位置,通过最大似然估计算法计算跟踪目标的精确空间位置,并将精确空间位置传送到策略处理模块。
策略处理模块用于根据精确空间位置进行策略分析,确定受控摄像机的控制参数,包括,根据选定的应用策略,以及实时计算的跟踪目标的精确空间位置,进行数据分析及校验计算,生成相对于各个受控摄像机获取最佳画面的设备参数,并将设备参数传送到控制模块。
图8是根据一示例性实施例示出的一种策略分析方法的流程示意图,如图8所示,主摄像机将跟踪目标的计算数据以及受控摄像机将跟踪目标的计算数据发送到策略分析模块,根据选定的应用策略进行策略分析,并将分析结果进行校验计算,得到摄像机的控制参数。
摄像机控制模块用于根据控制参数实时控制受控摄像机。
基于本公开实施例,能够帮助节目制作人员,实时的控制,调节摄像机参数,大幅提高了节目生成的效率。
本申请还提供一种计算机可读介质,其上存储有程序指令,该程序指令被处理器执行时实现上述各个方法实施例提供的基于多摄像机的智能跟踪方法。
本申请还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各个方法实施例所述的基于多摄像机的智能跟踪方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (2)

1.一种基于多摄像机的智能跟踪方法,其特征在于,包括:
获取主摄像机和每个受控摄像机之间的基准距离,标定导播场景拍摄场地区域,标定主摄像机和每个受控摄像机相对于所述拍摄场地中心点的空间坐标;
受控摄像机从拍摄画面中选取跟踪目标;
计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;
计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;
根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;
基于所述二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系;
根据受控摄像机和主摄像机的图像点的对应关系,计算所述跟踪目标在主摄像机画面中的位置;
根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算所述跟踪目标的近似空间位置;
根据所述近似空间位置,通过最大似然估计算法计算所述跟踪目标的精确空间位置;
设置导播场景应用策略,根据选定的应用策略以及实时计算的跟踪目标的精确空间位置进行策略分析,确定受控摄像机的控制参数;
根据所述控制参数实时控制所述受控摄像机。
2.一种基于多摄像机的智能跟踪系统,其特征在于,包括:
受控摄像机,用于从拍摄画面中选取跟踪目标;
图像映射模块,用于计算受控摄像机的图像画面与拍摄场地间的映射关系,得到受控摄像机的仿射变换矩阵;计算主摄像机的图像画面与拍摄场地间的映射关系,得到主摄像机的仿射变换矩阵;根据受控摄像机的仿射变换矩阵和主摄像机的仿射变换矩阵,得到二维投影变换关系;基于所述二维投影变换关系,确定受控摄像机和主摄像机的图像点的对应关系;根据受控摄像机和主摄像机的图像点的对应关系,计算所述跟踪目标在主摄像机画面中的位置;
预估模块,用于根据跟踪目标在主摄像机和在受控摄像机画面中的位置信息,通过双目立体视觉原理计算所述跟踪目标的近似空间位置;
精确模块,用于根据所述近似空间位置,通过最大似然估计算法计算所述跟踪目标的精确空间位置;
策略处理模块,用于设置导播场景应用策略,根据选定的应用策略以及实时计算的跟踪目标的精确空间位置进行策略分析,确定受控摄像机的控制参数;
控制模块,用于根据所述控制参数实时控制所述受控摄像机;
获取模块,用于在确定受控摄像机和主摄像机的图像点的对应关系之前,获取主摄像机和每个受控摄像机之间的基准距离;
标定模块,用于标定导播场景拍摄场地区域,标定主摄像机和每个受控摄像机相对于所述拍摄场地中心点的空间坐标。
CN202010383225.5A 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统 Active CN111698467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010383225.5A CN111698467B (zh) 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010383225.5A CN111698467B (zh) 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN111698467A CN111698467A (zh) 2020-09-22
CN111698467B true CN111698467B (zh) 2022-05-06

Family

ID=72477375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010383225.5A Active CN111698467B (zh) 2020-05-08 2020-05-08 基于多摄像机的智能跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN111698467B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408518B (zh) * 2021-07-06 2023-04-07 世邦通信股份有限公司 音视频采集设备控制方法、装置、电子设备和存储介质
CN114299120B (zh) * 2021-12-31 2023-08-04 北京银河方圆科技有限公司 补偿方法、注册方法和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
CN100568262C (zh) * 2007-12-29 2009-12-09 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN102006461B (zh) * 2010-11-18 2013-01-02 无锡中星微电子有限公司 摄像机联合跟踪检测系统
CN102307297A (zh) * 2011-09-14 2012-01-04 镇江江大科茂信息系统有限责任公司 一种多方位视频目标跟踪检测的智能监控系统
CN103024350B (zh) * 2012-11-13 2015-07-29 清华大学 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统
CN104121892B (zh) * 2014-07-09 2017-01-25 深圳市欢创科技有限公司 一种获取光枪射击的目标位置的方法、装置及系统
CN104197928B (zh) * 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN107507243A (zh) * 2016-06-14 2017-12-22 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
CN106251334B (zh) * 2016-07-18 2019-03-01 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
JP7002007B2 (ja) * 2017-05-01 2022-01-20 パナソニックIpマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN108111818B (zh) * 2017-12-25 2019-05-03 北京航空航天大学 基于多摄像机协同的运动目标主动感知方法和装置
CN108419014B (zh) * 2018-03-20 2020-02-21 北京天睿空间科技股份有限公司 利用全景摄像机和多台抓拍摄像机联动抓拍人脸的方法
CN108765496A (zh) * 2018-05-24 2018-11-06 河海大学常州校区 一种多视点汽车环视辅助驾驶系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN107529039A (zh) * 2017-09-01 2017-12-29 广东紫旭科技有限公司 一种物联网录播跟踪方法、装置和系统

Also Published As

Publication number Publication date
CN111698467A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
US9286680B1 (en) Computational multi-camera adjustment for smooth view switching and zooming
JP7059355B2 (ja) シーンの表現を生成するための装置及び方法
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US9946955B2 (en) Image registration method
CN111899282B (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
US20110149031A1 (en) Stereoscopic image, multi-view image, and depth image acquisition apparatus and control method thereof
US20080199070A1 (en) Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image
CN111698467B (zh) 基于多摄像机的智能跟踪方法及系统
JP2017531976A (ja) アレイカメラを動的に較正するためのシステム及び方法
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
CN108629810B (zh) 双目相机的标定方法、装置及终端
CN102724398B (zh) 图像数据提供方法、组合方法及呈现方法
EP3664433A1 (en) Information processing device, information processing method, and program, and interchangeable lens
CN103729839B (zh) 一种基于传感器的室外摄像机跟踪的方法及系统
KR20190063671A (ko) 스테레오 카메라와 열화상 카메라를 이용한 3차원 열분포 표시장치
CN111866371B (zh) 变焦跟踪曲线的校准方法、装置及计算机可读存储介质
JP2005142957A (ja) 撮像装置及び方法、撮像システム
CN111627048B (zh) 多摄像机的协同目标搜索方法
KR101916093B1 (ko) 객체 추적 방법
CN111131697B (zh) 一种多摄像机智能跟踪拍摄方法、系统、设备及存储介质
US20150271472A1 (en) System and method for stereoscopic photography
JPH1153548A (ja) 画像処理装置、画像処理方法、および、伝送媒体
JP2017103695A (ja) 画像処理装置、画像処理方法、及びそのプログラム
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
WO2021182153A1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant