CN110881117A - 一种画面间区域映射方法、装置及多相机观测系统 - Google Patents
一种画面间区域映射方法、装置及多相机观测系统 Download PDFInfo
- Publication number
- CN110881117A CN110881117A CN201811038935.3A CN201811038935A CN110881117A CN 110881117 A CN110881117 A CN 110881117A CN 201811038935 A CN201811038935 A CN 201811038935A CN 110881117 A CN110881117 A CN 110881117A
- Authority
- CN
- China
- Prior art keywords
- camera
- picture
- target
- coordinate conversion
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种画面间区域映射方法、装置及多相机观测系统。其中,该方法包括:确定在待区域映射的第一画面中所指定的目标区域;确定第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;基于目标区域和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。应用本发明实施例提供的方法,可以实现当在一个画面中给定目标区域时,在另一画面中有效确定与该目标区域对应的区域。
Description
技术领域
本发明涉及智能视频监控技术领域,特别是涉及一种画面间区域映射方法、装置及多相机观测系统。
背景技术
当前,随着信息技术的不断发展,多相机观测系统的应用越来越多,例如,智能家居、消防预警、道路检测等。多相机观测系统可以从多个角度对同一个拍摄对象进行拍摄,具体的,多个相机观测系统可以包括一个球机,通过改变球机的方位角,使得球机可以从不同的角度对同一个拍摄对象进行拍摄;另外,多相机观测系统也可以包括多个相机,每个相机可以从不同的角度对同一个拍摄对象进行拍摄。
在实际应用中,很多时候需要对某一拍摄对象在画面中的区域进行画面处理,例如,遮蔽该区域或者在该区域中添加AR标签等。由于多相机观测系统可以从多个角度对同一个拍摄对象进行拍摄,因此,存在多个画面需要执行针对拍摄对象所对应的区域的画面处理。而不同的画面所对应的角度不同,因此,不同画面中同一拍摄对象所对应的区域的坐标也不相同。
因此,对于多相机观测系统采集到的针对同一拍摄对象的、多个对应于不同角度的画面,当在一个画面中给定目标区域时,如何在另一画面中有效确定与该目标区域对应的区域,是一个亟待解决的问题。
发明内容
本发明实施例的目的在于提供一种画面间区域映射方法、装置及多相机观测系统以实现当在一个画面中给定目标区域时,在另一画面中有效确定与该目标区域对应的区域。具体技术方案如下:
第一方面,本发明实施例提供了一种画面间区域映射方法,所述方法包括:
确定在待区域映射的第一画面中所指定的目标区域;
确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
第二方面,本发明实施例提供了一种画面间区域映射装置,所述装置包括:
第一区域确定模块,用于确定在待区域映射的第一画面中所指定的目标区域;
转换关系确定模块,用于用于确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
第二区域确定模块,用于基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
第三方面,本发明实施例提供了一种多相机观测系统,所述系统包括控制器和至少一个相机,其中,所述至少一个相机中包括待区域映射的第一画面所属相机和待区域映射的第二画面所属相机;
所述第一画面所属相机用于采集待区域映射的第一画面;
所述第二画面所属相机用于采集待区域映射的第二画面;
所述控制器用于确定在所述第一画面中所指定的目标区域;确定所述第一画面所属相机和所述第二画面所属相机的目标坐标转换关系;基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
第四方面,本发明实施例提供了一种电子设备,所述电子设备为多相机观测系统中的控制器,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的一种画面间区域映射方法中任一所述的方法步骤。
第五方面,本发明实施例提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的一种画面间区域映射方法中任一所述的方法步骤。
以上可见,在本发明实施例提供的方案中,确定待区域映射的第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系,进而,当在待区域映射的第一画面中确定目标区域后,可以根据该目标坐标转换关系和该目标区域,在待区域映射的第二画面中确定与该目标区域对应的区域,以实现当在一个画面中给定目标区域时,在另一画面中有效确定与该目标区域对应的区域。此外,本发明实施例提供的方案可以针对不同类型的相机,具有较好的适应性,同时,根据目标坐标转换关系确定与目标区域对应的区域,由于目标坐标转换关系是根据待区域映射的第一画面所属相机和待区域映射的第二画面所属相机确定的,因此,确定与目标区域对应的区域的操作简便且不需要依靠额外信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为球机的视场角信息示意图;
图2为本发明实施例提供的一种球机画面随球机方位角及倍率变化而变化的示意图;
图3为鱼眼相机采集到的具有畸变的画面;
图4为视场角过大的枪机采集到的具有畸变的画面;
图5为本发明实施例提供的一种画面间区域映射方法的流程示意图;
图6为本发明实施例提供的一种第一坐标转换关系的确定方式的流程示意图;
图7为球机成像示意图;
图8为本发明实施例提供的一种画面间区域映射装置的结构示意图;
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
当前对于多相机观测系统采集到的针对同一拍摄对象的、多个对应于不同角度的画面,当在一个画面中给定目标区域时,如何在另一画面中有效确定与该目标区域对应的区域,是一个亟待解决的问题。为了能够实现当在一个画面中给定目标区域时,在另一画面中有效确定与该目标区域对应的区域,本发明实施例提供了一种画面间区域映射方法、装置及多相机观测系统。
为了方便理解本发明实施例的方案,下面首先对本发明实施例涉及到的相关概念进行简要说明。
(1)多相机观测系统:系统内有一个或者多个可进行二维成像,反应目标位置的相机或设备的观测系统,这些相机或设备可以包括:鱼眼相机,枪机,球机,雷达等。其中,传统的枪球联动,鱼球联动,多枪多球联动,雷达球机联动可认为是多相机观测系统的子类。
(2)枪机:监控类CCD(Charge Coupled Device,电荷耦合器件)摄像机中的一种,其特点是成像稳定。具体的,在本发明实施例中,枪机在安装完成之后,其拍摄角度固定,进而,其采集的画面所对应的三维空间是固定的。可以理解的,对于三维空间中位置固定的一个点而言,其在同一枪机采集的画面中所对应的点的坐标是固定的。
(3)球机:作为用来观察目标细节特征用途的摄像机,在本发明实施例中球机特指具有PTZ(pan/tilt/zoom)方向以及变倍信息的球机,又可以称为PTZ相机。其中,P指的是pan,代表水平方向方位角;T指的是tilt,代表竖直方向方位角,而决定球机画面视场范围的是Z,即zoom,变倍系数,其中,P和T可以统称为球机的方位角,用PT值表示。具体的,如图1所示,其中,PT值的表示形式可以为(P,T),P指的是pan,代表水平方向方位角;T指的是tilt,代表竖直方向方位角。可以理解的,zoom越大,放大倍率越大,同一个目标在画面中所占据像素值越大,但是画面总体视场角越小。
在本发明实施例中,球机的特点是方位角可以变化,一般根据镜头的不同,球机在水平方向上可以旋转(0,180)度或(0,360)度,竖直方向上可以旋转(-90,90)度。而当球机的方位角改变之后,球机的拍摄角度会发生变化,可以理解的,对于三维空间中位置固定的一个点而言,在同一个球机处于不同方位角时采集到的画面中的所对应的点的坐标不同。通常,可以用球机当前的方位角表征球机当前所采集的画面中心点的坐标,即球机采集的画面中心点的坐标可以表示为球机采集该画面时的PT值。
球机的方位角与变倍系数可以统称为球机的视场角信息,显然,当球机的视场角信息不同时,其拍摄角度和画面视场范围也不同,通常,当一个球机在生产完成出厂时,球机的生产厂商会给出该球机的视场角信息表格,例如,如表1所示,为某个球机的视场角信息表格。
表1
ZOOM | 1 | 1.1 | 1.2 | 1.3 | … |
PAN | 56.78049 | 54.60501 | 51.61468 | 49.78598 | … |
TILT | 33.81852 | 32.37984 | 30.43246 | 29.25658 | … |
由于球机本身可以进行旋转变倍,从而改变球机的方位角和倍率,因此,同一个球机可以从不同的拍摄角度对同一拍摄对象进行拍摄,并且可以根据倍率的不同,同一拍摄对象在不同的画面中所占据的区域大小也不同。如图2所示,在图2a中,目标区域201位于球机采集到的画面右侧,并对其进行了标记;之后球机旋转改变其方位角,在图2b中,显然目标区域201的位置发生了变化,位于球机采集到的画面左侧;再然后,球机进行了变倍,在图2c中,显然目标区域201的位置和大小均发生了变化。
(3)鱼眼相机:鱼眼相机是指带有鱼眼镜头的相机,所谓鱼眼镜头是一种焦距极短并且视角接近或大于等于180度的镜头。鱼眼镜头作为一种极端的广角镜头,采集到的画面具有非常大的形变,从而使得除了画面中心的景物保持不变,其他本应水平或垂直的景物都发生了相应的变化,这种形变可以称之为畸变。具体的,如图3所示,为某个鱼眼相机采集得到的画面。
为了建立相机间准确的坐标转换关系,对于鱼眼相机采集到的画面,可以进行畸变矫正操作,而畸变矫正之后的鱼眼相机采集到的画面则可以视作枪机采集到的画面。
具体的,可以采用稳定的张正友标定法对鱼眼相机采集到的画面进行畸变矫正,具体的:
A、首先采集若干张画面中带有完整清晰标定板的图片;
B、利用OpenCV(Open Source Computer Vision Library,开源计算机视觉库)对应函数检测对应的标定板上的角点;
C、根据标定板尺寸确定这些角点对应三维点的三维坐标;
D、根据相机类型,调用OpenCV对应函数得到相机的内参和畸变参数;
E、根据内参和畸变参数,参考不同的相机类型得到畸变画面与矫正画面的坐标映射表。
其中,相机的内参可以用下面的公式统一表示:
其中,(cx,cy)是基准点(通常可以为画面的中心点),fx,fy是相机的焦距,其单位为像素当画面升采样或者降采样,所有这些参数(fx,y,cx,cy)都将被缩放(乘或者除)同样的尺度。需要说明的是,相机的内参不依赖相机所对应的场景的视图角,当相机的焦距固定时,计算得到的相机的内参也是固定的,可以被重复使用。
在很多时候,当枪机的视场角过大时,该枪机采集到的画面也会出现畸变,如图4所示。这种情况下,对于视场角过大的枪机采集到的出现畸变的画面,也可以采用上述张正友标定法对这些画面进行畸变矫正。
需要说明的是,由于要考虑到鱼眼相机近似圆形成像的特点,因此,鱼眼相机对于视场角过大的枪机而言,在畸变矫正过程中的计算方法不同。
(4)在本发明实施例中所提到的枪机,不但包括相机类型为枪机的摄像机,还包括对采集到的画面进行畸变矫正后的鱼眼相机,以及雷达、热成像相机等可以提供固定二维成像信息的设备。
下面对本发明实施例提供的一种画面间区域映射方法进行介绍。
需要说明的是,本发明实施例提供的一种画面间区域映射方法可以应用于多相机观测系统的控制器。具体的,该控制器可以是平板电脑、笔记本电脑、台式电脑等各种电子设备,对此,本发明实施例不做具体限定。
图5为本发明实施例提供的一种画面间区域映射方法的流程示意图,如图5所示,该画面间区域映射方法可以包括如下步骤:
S501:确定在待区域映射的第一画面中所指定的目标区域;
可以理解的,所谓画面间区域映射是当一个画面中给定目标区域后,在另一画面中有效确定与该目标区域对应的区域,从而使得目标区域和所确定的区域的画面内容可以针对同一拍摄对象。这样,当需要对某一拍摄对象在画面中的区域进行画面处理时,便可以通过画面间区域映射方法在多个角度采集到的不同的画面中确定该拍摄对象对应的区域,并对所确定的画面区域进行处理。
在本发明实施例中,可以将这些多个角度采集到的不同的画面称为待区域映射的画面,用来确定目标区域的画面可以称为待区域映射的第一画面。
需要说明的是,在上述步骤S501中,控制器可以根据用户输入的目标区域确定指令在待区域映射的第一画面中确定所指定的目标区域,例如,用户可以通过拖动鼠标在第一画面中标注出目标区域,则控制器便可以将鼠标光标所经过的路径围绕的区域作为目标区域,又例如,如果该第一画面通过触摸屏显示,则用户还可以直接用手在该触摸屏中标注出目标区域,则控制器便可以将用户手指在触摸屏中所经过的路径围绕的区域作为目标区域,再例如,用户可以向控制器输入若干个画面中像素点的坐标,这些坐标所对应的点的连线围绕的区域作为目标区域。
此外,在上述步骤S501中,控制器还可以按照预设规则在上述第一画面中将特定拍摄对象所对应的区域确定为目标区域。例如,当第一画面的拍摄对象为某个人时,控制器可以按照预设规则在第一画面中将拍摄对象的面部所对应的画面作为目标区域。
当然,在本发明实施例中,在执行上述步骤S501时,除上述说明外,控制器还可以通过其他方式确定在待区域映射的第一画面中所指定的目标区域,这些能够确定在待区域映射的第一画面中所指定的目标区域的方式均属于本发明实施例的保护范围。
S502:确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
每个待区域映射的画面均是由相机拍摄得到的,则在本发明实施例中,控制器可以确定待区域映射的第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
为了描述方便,可以将待区域映射的第一画面所属相机简称为第一画面所属相机,将待区域映射的第二画面所属相机简称为第二画面所属相机。
在实际应用中,不同的场景下第一画面所属相机和第二画面所属相机可以不同。具体的,第一画面所属相机和第二画面所属相机可以为以下多种情况中的一种:
第一种情况,第一画面所属相机为枪机,第二画面所属相机为球机;
第二种情况,第一画面所属相机为球机,第二画面所属相机为枪机;
第三种情况,第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定;
第四种情况,第一画面所属相机和第二画面所属相机为同一个球机,且第一画面为该球机的方位角为初始方位角时采集的画面;
第五种情况,第一画面所属相机和第二画面所属相机为不同的枪机。
当然,除上述各种情况外,第一画面所属相机和第二画面所属相机还可以为其他情况,这都是合理的。
需要再次说明的是,上述各种情况中所提到的枪机,不但包括相机类型为枪机的摄像机,还包括对采集到的画面进行畸变矫正后的鱼眼相机,以及雷达、热成像相机等可以提供固定二维成像信息的设备。
此外,上述步骤S501和步骤S502的执行顺序可以是先执行步骤S501,再执行步骤S502,也可以是先执行步骤S502,再执行步骤S501。这都是合理的。
S503:基于目标区域和目标坐标转换关系,在所述第二画面中确定与目标区域对应的区域。
其中,由于在本发明实施例中是基于目标区域和目标坐标转换关系实现画面间坐标映射的,且目标坐标转换关系是建立的相机与相机之间的坐标关系,因此,在本发明实施例中,控制器在执行上述步骤S503之前,可以只需要确定第一画面所属相机、第二画面所属相机及待区域映射的第一画面,也可以确定第一画面所属相机、第二画面所属相机、待区域映射的第一画面和待区域映射的第二画面,这都是合理的。
在确定待区域映射的第一画面中所标定的目标区域及第一画面所属相机和第二画面所属相机的目标坐标转换关系后,控制器便可以基于目标区域和目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域。
需要说明的是,在上述步骤S501-S503中,第一画面仅用来表示控制器在完成一次画面间区域映射时,用于确定目标区域的待区域映射的画面,第二画面仅用来表示控制器在完成该次画面间区域映射时,需要在画面中确定与目标区域对应的区域的画面。
可选的,一种具体实现方式中,当在该第二画面中确定与目标区域对应的区域的画面后,该第二画面可以作为控制器在完成下一次画面间区域映射时用于确定目标区域的待区域映射的画面,即该第二画面可以作为控制器在完成下一次画面间区域映射时的第一画面,则在该第二画面中确定的与目标区域对应的区域的画面可以作为控制器在完成下一次画面间区域映射时的目标区域,以此类推,则可以完成从待区域映射的第一张画面到最后一张画面的区域映射。
可选的,另一种具体实现方式中,控制器可以确定多组第一画面所属相机和第二画面所属相机,则在执行上述步骤S502时,控制器可以确定该多组第一画面所属相机和第二画面所属相机中每组第一画面所属相机和第二画面所属相机所对应的目标坐标转换关系,进而,针对每组第一画面所属相机和第二画面所属相机的目标坐标转换关系,执行上述步骤S503。即控制器可以通过执行多次上述步骤S502-S503,实现从步骤S501中的第一画面分别到多张待区域映射的第二画面的区域映射。也就是说,控制器可以将在待区域映射的第一画面中确定的目标区域映射到多张第二画面中。其中,控制器可以针对每组第一画面所属相机和第二画面所属相机,并行执行上述步骤S502-S503,也可以按照顺序,针对每组第一画面所属相机和第二画面所属相机,依次执行上述步骤S502-S503。
在本发明实施例中,控制器可以采用多种方式执行上述步骤S503,从而在待区域映射的第二画面中确定与目标区域对应的区域,实现第一画面与第二画面间的区域映射。例如,控制器可以在第二画面中确定与目标区域中的每个像素点对应的像素点,则这些所确定的像素点便可以在第二画面中构成与目标区域对应的区域。
在本发明实施例中,所谓画面间区域映射也可以理解为:在一个相机采集的画面中选定目标区域内的一个点的坐标,则可以在另一个相机采集的画面中确定与该点对应的点的坐标。因此,可选的,一种具体实现方式中,上述步骤S503可以包括如下的步骤A1-A2:
步骤A1:从目标区域中选取多个特征点,其中,多个特征点为能够表征目标区域的多个像素点;
在确定目标区域后,控制器可以根据目标区域的形状特征,在目标区域中确定多个能够表征目标区域的像素点作为特征点。
例如,当目标区域为多边形时,控制器可以将目标区域的多个顶点作为特征点,当目标区域为圆形时,控制器可以将目标区域的圆心及圆周上的若干个像素点作为特征点,当目标区域为曲线图形时,控制器可以将目标区域的边缘曲线上曲度变化明显的点作为特征点。
步骤A2:基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。
则在确定多个特征点后,控制器便可以直接基于多个特征点和目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域,从而实现第一画面与第二画面间的区域映射。
以上可见,在本发明实施例提供的方案中,确定待区域映射的第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系,进而,当在待区域映射的第一画面中确定目标区域后,可以根据该目标坐标转换关系和该目标区域,在待区域映射的第二画面中确定与该目标区域对应的区域,以实现当在一个画面中给定目标区域时,在另一画面中有效确定与该目标区域对应的区域。此外,本发明实施例提供的方案可以针对不同类型的相机,具有较好的适应性,同时,根据目标坐标转换关系确定与目标区域对应的区域,由于目标坐标转换关系是根据待区域映射的第一画面所属相机和待区域映射的第二画面所属相机确定的,因此,确定与目标区域对应的区域的操作简便且不需要依靠额外信息。
下面,当实际应用中第一画面所属相机和第二画面所属相机不同时,根据所确定的第一画面所属相机和第二画面所属相机的不同,对上述步骤S502和步骤A2进行具体说明。
实施例一、第一画面所属相机为枪机,第二画面所属相机为球机;
上述步骤S502,确定第一画面所属相机和第二画面所属相机的目标坐标转换关系,可以包括如下的步骤B1-B3:
步骤B1:确定枪机和球机之间的坐标转换关系,作为第一坐标转换关系。
针对本实施例中的枪机和球机,控制器可以确定该枪机和球机之间的坐标转换关系,并将其作为第一坐标转换关系。
具体的,通过下面的例子对枪机和球机之间的坐标转换关系进行说明:假设枪机采集的画面中包括一个点A,其在该画面中的坐标为(xa,ya),此时球机的方位角为(Pa,Ta),通过枪机和球机之间的坐标转换关系,便可以将上述坐标(xa,ya)转换为上述A点相对应于球机的方位角(Pa’,Ta’),则按照该方位角(Pa’,Ta’)旋转球机直到球机的方位角由(Pa,Ta)变为(Pa’,Ta’)时,此时,球机采集的画面的中心点为上述A点所对应的点A’。
步骤B2:确定球机对应的坐标转换关系,作为第二坐标转换关系。
其中,球机对应的坐标转换关系为:球机的方位角与球机采集到的画面中心点的坐标的转换关系。
针对本实施例中的球机,控制器可以确定该球机对应的坐标转换关系,并将其作为第二坐标转换关系。
具体的,通过下面的例子对球机对应的坐标转换关系进行说明:假设球机采集的画面中包括一个点B,该点B处于该画面的非中心点处,其在该画面中的坐标为(xb,yb),此时球机的方位角为(Pb,Tb),通过球机对应的坐标转换关系,便可以将上述坐标(xb,yb)转为上述点B对应于球机的方位角(Pb’,Tb’),则按照该方位角(Pb’,Tb’)旋转球机直到球机的方位角由(Pb,Tb)变为(Pb’,Tb’)时,此时,球机采集的画面的中心点为上述点B对应的点B’。
步骤B3:将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和第二画面所属相机的目标坐标转换关系。
在确定上述第一坐标转换关系和第二坐标转换关系后,控制器便可以将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和第二画面所属相机的目标坐标转换关系,从而完成上述步骤S502。
进而,在确定了第一画面所属相机和第二画面所属相机的目标坐标转换关系后,控制器便可以基于该目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域。
具体的,上述步骤A2,基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域,可以包括如下的步骤C1-C4:
步骤C1:基于第一坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;
可以理解的,控制器在从目标区域中选取多个特征点时,便可以获得这些特征点在第一画面内的坐标,进而,控制器便可以通过上述确定的第一坐标转换关系,将每个特征点在第一画面内的坐标转换为该特征点对应的方位角,即当球机采集的画面的中心点为该特征点对应的点时,球机的方位角。
例如,特征点C在第一画面内的坐标为(xc,yc),基于第一坐标转换关系便可以确定该特征点C对应的方位角为(Pc,Tc),特征点D在第一画面内的坐标为(xd,yd),基于第一坐标转换关系便可以确定该特征点D对应的方位角为(Pd,Td)。
步骤C2:在所确定的方位角中选取第一方位角,并按照第一方位角旋转目标设备,得到待区域映射的第二画面;目标设备为第二画面所属相机,即为上述球机;
需要说明的是,在本实施例中,待区域映射的第二画面是在控制器执行完上述步骤S502后确定的,也就是说,在本实施例中,待区域映射的第二画面是不确定的,而是基于控制器在上述步骤C1中所确定的多个特征点对应的方位角的某一个确定的。
控制器可以在上述步骤C1中所确定的多个特征点对应的方位角中选取一个,并将该选取的方位角作为第一方位角,进而,按照该第一方位角旋转球机,并将旋转后的球机采集的画面作为待区域映射的第二画面。
例如,特征点C在第一画面内的坐标为(xc,yc),控制器在上述步骤C1中确定的该特征点C对应的方位角为(Pc,Tc),将该方位角(Pc,Tc)作为第一方位角,并按照该方位角(Pc,Tc)旋转球机,直到球机的方位角变为(Pc,Tc),得到此时球机采集的画面作为待区域映射的第二画面。
可以理解的,控制器可以通过任意用于选取方位角的方式获得上述第一方位角,例如,可以根据球机拍摄角度的需求,在所确定的多个特征点对应的方位角中选取与预设方位角误差最小的方位角作为第一方位角,又例如,也可以在所确定的多个特征点对应的方位角中随机选取一个方位角作为第一方位角,这都是合理的。
步骤C3:基于第二坐标转换关系,在第二画面中确定各个特征点所对应的第一目标点,其中,任一特征点所对应的第一目标点为:所对应方位角与该特征点对应的方位角相同的像素点;
在执行完上述步骤C1-C2后,控制器可以获得各个特征点对应的方位角,以及待区域映射的第二画面对应的球机的方位角,则根据上述对第二坐标转换关系的说明,控制器便可以基于上述第二坐标转换关系,确定各个特征点在上述第二画面中所对应的点的坐标。进而,便可以在第二画面中确定各个特征点所对应的点,并将所确定的点作为该特征点所对应的第一目标点。可以理解的,任一特征点所对应的第一目标点所对应的方位角与控制器在上述步骤C1中确定的该点对应的方位角相同。
例如,特征点C在第一画面内的坐标为(xc,yc),控制器在上述步骤C1中确定的该特征点C对应的方位角为(Pc,Tc),特征点D在第一画面内的坐标为(xd,yd),基于第一坐标转换关系便可以确定该特征点D对应的方位角为(Pd,Td)。将上述方位角(Pc,Tc)作为第一方位角,并按照该方位角(Pc,Tc)旋转球机,得到待区域映射的第二画面。则根据球机对应的坐标转换关系,控制器可以在该第二画面中,根据特征点D对应的方位角(Pd,Td),确定特征点D在第二画面中所对应的点D’的坐标为(xd’,yd’)。
步骤C4:将第二画面中基于多个第一目标点所确定出的区域,作为目标区域对应的区域。
在上述第二画面中确定各个特征点所对应的第一目标点后,控制器便基于这些第一目标点在上述第二画面中确定一个区域,进而,便可以将该基于多个第一目标点所确定出的区域作为上述步骤S501中控制器所确定的目标区域对应的区域。
需要说明的是,作为本发明实施例提供的一种实施方式,当第一画面所属相机为球机,第二画面所属相机为枪机时,则在这种情况下,可以通过上述实施例一中提供的步骤B1-B3,确定第一画面所属相机和第二画面所属相机的目标坐标转换关系。
作为本发明实施例提供的另一种实施方式,当第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定时,则在这种情况下,可以通过上述实施例一中提供的步骤C1-C4,基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。
实施例二、第一画面所属相机为球机,第二画面所属相机为枪机;
在本实施例中,上述步骤S502,确定第一画面所属相机和第二画面所属相机的目标坐标转换关系的方式可以与上述实施例一中提供的步骤B1-B3相同,在此不再赘述。
进而,在确定了第一画面所属相机和第二画面所属相机的目标坐标转换关系后,控制器便可以基于该目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域。具体的,在本实施例中,上述步骤A2,基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域,可以包括如下的步骤D1-D3:
步骤D1:基于第二坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角。
其中,根据上述实施例一中对第二坐标转换关系的说明,则在本实施例二中,第二坐标转换关系为球机的方位角与球机采集到的画面中心点的坐标的转换关系。此外,控制器在从目标区域中选取多个特征点时,便可以获得这些特征点在第一画面内的坐标。因此,在确定第二坐标转换关系后,根据该第二坐标转换关系,控制器便可以确定基于该第二坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角,即针对每个特征点,当球机采集的画面的中心点为该特征点时,球机的方位角。
例如,特征点E在第一画面内的坐标为(xe,ye),基于第二坐标转换关系,控制器便可以确定该特征点E对应的方位角为(Pe,Te)。
步骤D2:基于第一坐标转换关系和所确定的各个特征点对应的方位角,在第二画面中确定各个特征点所对应的第二目标点。
其中,可以理解的,第二画面为球机采集到的画面。
根据上述实施例一种对第一坐标转换关系的说明,则在本实施例二中,第一坐标转换关系为枪机和球机之间的坐标转换关系,即针对每个特征点,控制器可以通过上述第一坐标转换关系,将在上述步骤D1中确定的、该特征点对应的方位角转化为与该特征点对应的点在该第二画面中的坐标。进而,便可以在第二画面中确定各个特征点所对应的点,并将所确定的点作为该特征点所对应的第二目标点。可以理解的,任一特征点所对应的第二目标点所对应的方位角与控制器在上述步骤D1中确定的该电对应的方位角相同。
例如,特征点E在第一画面内的坐标为(xe,ye),基于第二坐标转换关系,控制器确定的该特征点E对应的方位角为(Pe,Te),球机采集上述第二画面时的方位角为(Pe’,Te’),则基于第一坐标转换关系,控制器便可以在第二画面中,根据特征点E对应的方位角(Pe,Te),确定该特征点E对应的点E’的坐标为(xe’,ye’)。
步骤D3:将第二画面中基于多个第二目标点所确定出的区域,作为目标区域对应的区域。
在上述第二画面中确定各个特征点所对应的第二目标点后,控制器便基于这些第二目标点在上述第二画面中确定一个区域,进而,便可以将该基于多个第二目标点所确定出的区域作为上述步骤S501中控制器所确定的目标区域对应的区域。
实施例三、第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定;
上述步骤S502,确定目标相机所对应的目标坐标转换关系,可以包括如下步骤E1-E3:
步骤E1:确定第一球机和第二球机之间的坐标转换关系,作为第一坐标转换关系;
针对该目标相机中所包括的第一球机和第二球机,控制器可以确定该第一球机和第二球机之间的坐标转换关系,并将其作为第一坐标转换关系。
需要说明的是,由于在本实施例三中第一球机的方位角是固定的,因此,在本实施例三中该第一球机可以视作一个枪机。
则具体的,通过下面的例子对第一球机和第二球机之间的坐标转换关系进行说明:假设第一球机采集的画面中包括一个点F,其在该画面中的坐标为(xf,yf),此时球机的方位角为(Pf,Tf),通过第一球机和第二球机之间的坐标转换关系,便可以将上述坐标(xf,yf)转换为上述F点相对应于球机的方位角(Pf’,Tf’),则按照该方位角(Pf’,Tf’)旋转球机直到球机的方位角由(Pf,Tf)变为(Pf’,Tf’)时,此时,球机采集的画面的中心点为上述F点所对应的点F’。
步骤E2:确定第二球机对应的坐标转换关系,作为第二坐标转换关系。
其中,第二球机对应的坐标转换关系为:第二球机的方位角与第二球机采集到的画面中心点的坐标的转换关系。
在上述步骤E2中,确定第二球机对应的坐标转换关系,并将其作为第二坐标转换关系的方式可以与上述步骤B2中,确定球机对应的坐标转换关系,并将其作为第二坐标转换关系的方式相同,在此不再赘述。
步骤E3:将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和第二画面所属相机的目标坐标转换关系。
在确定上述第一坐标转换关系和第二坐标转换关系后,控制器便可以将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和第二画面所属相机的目标坐标转换关系,从而完成上述步骤S502。
进而,在确定了第一画面所属相机和第二画面所属相机的目标坐标转换关系后,控制器便可以基于该目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域。具体的,在本实施例三中,上述步骤A2,基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域的方式可以与上述实施例一中提供的该步骤C1-C4相同,在此不再赘述。其中,需要说明的是,在本实施例三中,上述步骤C2中的目标设备为上述第二球机。
实施例四、第一画面所属相机和第二画面所属相机为同一个球机,且第一画面为该球机的方位角为初始方位角时采集的画面;
上述步骤S502,确定第一画面所属相机和第二画面所属相机的目标坐标转换关系,可以包括如下步骤F1-F2:
步骤F1:确定球机对应的坐标转换关系。
其中,球机对应的坐标转换关系为:球机的方位角与球机采集到的画面中心点的坐标的转换关系;
在上述步骤F1中,控制器确定球机对应的坐标转换关系的方式可以与上述步骤B2中,确定球机对应的坐标转换关系的方式相同,在此不再赘述。
步骤F2:将球机对应的坐标转换关系作为第一画面所属相机和第二画面所属相机的目标坐标转换关系。
在确定球机对应的坐标转换关系后,控制器便可以将球机对应的坐标转换关系,确定为第一画面所属相机和第二画面所属相机的目标坐标转换关系,从而完成上述步骤S502。
进而,在确定了第一画面所属相机和第二画面所属相机的目标坐标转换关系后,控制器便可以基于该目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域。
具体的,上述步骤A2,基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域,可以包括如下的步骤G1-G4:
步骤G1:基于目标坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;
其中,在本实施例四中,目标坐标转换关系为球机对应的坐标转换关系,即球机的方位角与球机采集到的画面中心点的坐标的转换关系。此外,控制器在从目标区域中选取多个特征点时,便可以获得这些特征点在第一画面内的坐标。进而,在确定目标坐标转换关系后,根据该目标坐标转换关系,控制器便可以确定基于该目标坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角,即针对每个特征点,当球机采集的画面的中心点为该特征点时,球机的方位角。
例如,特征点G在第一画面内的坐标为(xg,yg),基于第二坐标转换关系,控制器便可以确定该特征点G对应的方位角为(Pg,Tg),特征点H在第一画面内的坐标为(xh,yh),基于第二坐标转换关系,控制器便可以确定该特征点H对应的方位角为(Ph,Th)。
步骤G2:在所确定的方位角中选取第二方位角,并按照第二方位角旋转球机,得到待区域映射的第二画面;
需要说明的是,在本实施例中,待区域映射的第二画面是在控制器执行完上述步骤S502后确定的,也就是说,在本实施例中,待区域映射的第二画面是不确定的,而是基于控制器在上述步骤G1中所确定的多个特征点对应的方位角的某一个确定的。
控制器可以在上述步骤G1中所确定的多个特征点对应的方位角中选取一个,并将该选取的方位角作为第二方位角,进而,按照该第二方位角旋转球机,并将旋转后的球机采集的画面作为待区域映射的第二画面。
例如,特征点G在第一画面内的坐标为(xg,yg),控制器在上述步骤G1中确定的该特征点G对应的方位角为(Pg,Tg),将该方位角(Pg,Tg)作为第一方位角,并按照该方位角(Pg,Tg)旋转球机,直到球机的方位角变为(Pg,Tg),得到此时球机采集的画面作为待区域映射的第二画面。
可以理解的,控制器可以通过任意用于选取方位角的方式获得上述第一方位角,例如,可以根据球机拍摄角度的需求,在所确定的多个特征点对应的方位角中选取与预设方位角误差最小的方位角作为第二方位角,又例如,也可以在所确定的多个特征点对应的方位角中随机选取一个方位角作为第二方位角,这都是合理的。
步骤G3:基于目标坐标转换关系,在第二画面中确定各个特征点所对应的第三目标点,任一特征点所对应的第三目标点为:所对应方位角与该特征点对应的方位角相同的像素点;
在执行完上述步骤G1-G2后,控制器可以获得各个特征点对应的方位角,以及待区域映射的第二画面对应的球机的方位角,则根据上述对目标坐标转换关系的说明,控制器便可以基于上述目标坐标转换关系,确定各个特征点在上述第二画面中所对应的点的坐标。进而,便可以在第二画面中确定各个特征点所对应的点,并将所确定的点作为该特征点所对应的第三目标点。可以理解的,任一特征点所对应的第三目标点所对应的方位角与控制器在上述步骤G1中确定的该点对应的方位角相同。
例如,特征点G在第一画面内的坐标为(xg,yg),控制器在上述步骤G1中确定的该特征点G对应的方位角为(Pg,Tg),特征点H在第一画面内的坐标为(xh,yh),基于第一坐标转换关系便可以确定该特征点H对应的方位角为(Ph,Th)。将上述方位角(Pg,Tg)作为第一方位角,并按照该方位角(Pg,Tg)旋转球机,得到待区域映射的第二画面。则根据球机对应的坐标转换关系,控制器可以在该第二画面中,根据特征点H对应的方位角(Ph,Th),确定特征点H在第二画面中所对应的点H’的坐标为(xh’,yh’)。
步骤G4:将第二画面中基于多个第三目标点所确定出的区域,作为目标区域对应的区域。
在上述第二画面中确定各个特征点所对应的第三目标点后,控制器便基于这些第三目标点在上述第二画面中确定一个区域,进而,便可以将该基于多个第三目标点所确定出的区域作为上述步骤S501中控制器所确定的目标区域对应的区域。
实施例五、第一画面所属相机和第二画面所属相机为不同的枪机;
上述步骤S502,确定第一画面所属相机和第二画面所属相机的目标坐标转换关系,可以包括如下的步骤H1-H2:
步骤H1:确定上述不同的枪机之间的坐标转换关系;
针对本实施例中的不同枪机,控制器可以确定该不同枪机之间的坐标转换关系,即确定该不同枪机对应的枪机坐标转换关系。
具体的,假设第一画面所属枪机为第一枪机,第二画面所属相机为第二枪机,则可以通过下面的例子对不同的枪机之间的坐标转换关系进行说明:假设第一画面中包括一个点I,其在该第一画面中的坐标为(xi,yi),则通过不同的枪机之间的坐标转换关系,便可以将上述坐标(xi,yi)转换为该第二画面中与该点I对应的点I’的坐标(xi’,yi’)。
步骤H2:将所确定的不同的枪机之间的坐标转换关系,作为第一画面所属相机和第二画面所属相机的目标坐标转换关系。
在确定上述不同的枪机之间的坐标转换关系后,控制器便可以将枪机之间的坐标转换关系,确定为第一画面所属相机和第二画面所属相机的目标坐标转换关系,从而完成上述步骤S502。
进而,在确定了第一画面所属相机和第二画面所属相机的目标坐标转换关系后,控制器便可以基于该目标坐标转换关系,在待区域映射的第二画面中确定与目标区域对应的区域。
具体的,上述步骤A2,基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域,可以包括如下的步骤I1-I2:
步骤I1:基于目标转换关系及多个特征点在第一画面内的坐标,在第二画面中确定各个特征点对应的第四目标点;
其中,在本实施例五中,目标转换关系为不同的枪机之间的坐标转换关系。此外,,控制器在从目标区域中选取多个特征点时,便可以获得这些特征点在第一画面内的坐标。因此,在确定目标坐标转换关系后,控制器便可以基于上述目标转换关系及多个特征点在第一画面内的坐标,在第二画面中确定各个特征点所对应的点的坐标。进而,便可以在第二画面中确定各个特征点所对应的点,并将所确定的点作为该特征点所对应的第四目标点。
步骤I2:将第二画面中基于多个第四目标点所确定出的区域,作为目标区域对应的区域。
在上述第二画面中确定各个特征点所对应的第三目标点后,控制器便基于这些第四目标点在上述第二画面中确定一个区域,进而,便可以将该基于多个第四目标点所确定出的区域作为上述步骤S501中控制器所确定的目标区域对应的区域。
需要说明的是,在上述实施例一至实施例五的具体实施方式中,涉及到了多种坐标转换关系,下面则将对上述所涉及的多种坐标转换关系进行说明。
图6为本发明实施例提供的一种实施方式中上述枪机和球机之间的坐标转换关系的确定方式的流程示意图。
其中,考虑到第一坐标转换关系的确定方式的简便性,在本发明实施例中采用了平面单应性矩阵映射的方法,从而可以并不考虑上述枪机和上述球机在三维空间中的位置,以及三维空间的点,而是可以通过直接建立数学模型,建立枪机和球机之间的坐标转换关系。
具体的,如图6所示,枪机和球机之间的坐标转换关系的确定方式可以包括如下步骤601-604:
S601:确定预设的m个参考点在枪机采集的画面中对应的坐标,得到m个第一坐标。
其中,参考点为:第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中的点,m≥4;
控制器可以预先获得第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中的m个参考点,其中,为了保证能够计算得到单应性矩阵,必须保证m≥4。例如,参考点可以是第一画面所属相机和第二画面所属相机所能拍摄到的一个相框的四个顶点,又例如,参考点可以是第一画面所属相机和第二画面所属相机所能拍摄到的一个矩形盒子的八个顶点等,这都是合理的。
需要说明的是,控制器可以通过多种方式获得上述m个参考点,例如,接收用户发送的参考点信息,用户可以在第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中选定m个参考点,然后将这些参考点的信息通过相关的指令发送给控制器,又例如,控制器可以根据预设规则在第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中选定m个参考点,例如,当第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中包括某个或者某类指定事物时,控制器可以在该事物上选取m个参考点,举例而言,第一画面所属相机和第二画面所属相机所能拍摄到的三维空间为一间设置有灭火器的房间,则控制器可以在该灭火器上选取m个参考点。需要说明的是,控制器还可以通过其他方式获得m个参考点,对此,本发明实施例不做具体限定。
在获得第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中的m个参考点后,控制器可以在枪机采集的画面中确定上述m个参考点中各个参考点所对应的坐标,并将其作为第一坐标,即控制器可以得到m个第一坐标。
需要说明的是,在上述步骤S601中,控制器可以通过多种方式获得上述m个第一坐标的方式,对此,本发明实施例不做具体限定。
可以理解的,上述枪机采集到的画面为二维平面画面,在该画面中的点具有二维平面坐标,可以通过(x,y)表示。
S602:针对每一个参考点,确定球机以该参考点为画面中心时的方位角,得到m个方位角。
相对应的,在获得第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中的m个参考点后,针对每一个参考点,通过转动该球机,以使得控制器可以确定球机采集的画面的中心点为该参考点所对应的点时,第二相机的方位角。
即在获得第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中的m个参考点后,针对每一个参考点,控制器可以确定第二相机以该参考点为画面中心时的方位角,从而得到m个方位角,每个方位角由一个水平方位角P和一个垂直方位角T组成,表示为(P,T)。
需要说明的是,上述步骤S601和步骤S602的执行顺序可以是,控制器先执行上述步骤S601,再执行上述步骤S602,也可以是控制器先执行上述设备S602,再执行上述步骤S601,还可以是控制器同时执行上述步骤S601和S602。
S603:将m个方位角转换为m个第二坐标;
显然,在上述步骤S601中,控制器获得的每个第一坐标均为一个二维平面坐标,而在上述步骤S602中,控制器获得的每个方位角显然不能作为二维平面坐标,因此,控制器需要将上述步骤S602中获得的每个方位角转换为与该方位角对应的二维平面坐标。
具体的,控制器可以事先获得一个参考高度值h,从而可以通过以下公式实现上述方位角到二维平面坐标的转换。
xi=h/tan(Ti)*sin(Pi)
yi=h/tan(Ti)*cos(Pi)
其中,Ti为第i个方位角的垂直方位角,Pi为第i个方位角的水平方位角,xi是计算得到的第i个方位角对应的二维平面坐标中的x值,yi为计算得到的第i个方位角对应的二维平面坐标中的y值,i≦m。
具体的,该参考高度h可以取值为1。
S604:基于m个第一坐标和m个第二坐标,计算单应性矩阵,并将单应性矩阵作为枪机和球机之间的坐标转换关系。
在获得上述m个第一坐标和m个第二坐标后,控制器便可以基于该m个第一坐标和m个第二坐标,计算单应性矩阵,并将单应性矩阵作为枪机和球机之间的坐标转换关系。
需要说明的是,在计算过程中,为了便于区分上述第一坐标和第二坐标,上述m个第一坐标表示为(xi,yi),m个第二坐标表示为(ui,vi),i≤m。
可选的,一种具体实现方式中,上述步骤S604中基于m个第一坐标和m个第二坐标,可以通过如下公式(1)至公式(6)计算单应性矩阵,其中:
D=H×S (1)
进而,通过上述公式(1),可以得到如下公式(2):
为了得到单应性矩阵,则需要求解上述公式(2)转换得到的如下公式(3)所示的方程组,从而可以通过计算h中各元素的数值,得到上述单应性矩阵H中各个元素的值,并进一步得到单应性矩阵H:
h=(H11,H12,H13,H21,H22,H23,H31,H32,H33)T (3)
根据上述m个第一坐标和m个第二坐标,构建如下所示的两个向量ax,u和ay,v,其中,
ax,u=(-xi,-yi,-1,0,0,0,uixi,uiyi,ui)T
ay,v=(0,0,0,-xi,-yi,-1,vixi,viyi,vi)T
进而,将向量ax,u和向量ay,v结合,可以得到如公式(4)所示的新的矩阵:
这样,便可以通过求解如下公式(5),得到上述h中各个元素的数值,进而得到上述单应性矩阵H中各个元素的值,进而,得到单应性矩阵H:
Ah=0 (5)
其中,在求解上述公式(5)时,可以通过对上述矩阵A进行SVD(Singular valuedecomposition,奇异值分解)进行,具体的的SVD过程如下:
由上述公式(6)可以得到A的右奇异值和左奇异向量,将Σ,V以对应的关系,按Σ中的值从大到小排序,Σ中最小值对应的右奇异向量即为h的近似解,其中h的近似解,如下公式7所示。
[U,Σ,V]=svd(A) (6)
h=V[[min(∑)],:] (7)
这样,便可以得到上述h中各个元素的数值,此时h为一个1*9的向量,且h中每个元素的值分别对应单应性矩阵H中的一个元素的值,则可以通过对计算得到的h进行行数、列数和维数的重新调整,便可以得到单应性矩阵H。
需要说明的是,根据上述实施例三的说明,可以理解的,当第一画面所属相机为第一球机、第二画面所属相机为第二球机,且第一球机的方位角固定时,第一球机可以视作枪机,从而上述实施例三中所涉及的第一球机和第二球机之间的坐标转换关系的确定方式,便可以与上述枪机和球机之间的坐标转换关系的建立方式相同,则再次不再赘述。
下面,对上述球机对应的坐标转换关系的确定方式进行介绍。
具体的,上述球机对应的坐标转换关系的确定方式,可以根据图7中球机成像的示意图来进行说明。
其中,如图7所示,uv平面为球机的成像平面,并与球机的镜头相切于C点,C点即为uv平面的中心点,则球机的整个镜头所能拍摄到的范围可以近似于该成像平面,进而,C点在球机采集的画面中对应的点即为球机采集的画面的中心点。需要说明的是,在球机采集画面的过程中,球机的成像平面uv平面并不真实存在,而是假设的一个用于确定球机对应的坐标转换关系的平面。
具体的,上述球机对应的坐标转换关系的确定方式可以包括:
步骤J1:获得在球机的成像平面中预设的标定点在球机采集的画面中所对的点的坐标,作为第一标定坐标。
如图7所示,可以在uv平面中,将点P作为预设的标定点,进而控制器便可以得到该点P在球机采集的画面中所对应的点的坐标,并将该坐标居委第一标定坐标,具体的,该第一标定坐标可以表示为(xp,yp)。
需要说明的是,在上述步骤J1中,控制器可以通过多种方式获得预设的标定点,例如,用户在球机的成像平面中选定一个点作为预设的标定点,并将所选择的标定点的信息发送给控制器等;进而,控制器便可以通过多种方式获得该标定点在球机采集的画面中所对应的点的坐标。在本发明实施例中,不对上述步骤J1的具体实现方式进行限定。
步骤J2:基于球机采集上述用于确定第一标定坐标的画面时的分辨率、倍率及方位角,确定球机的光轴长度。
其中,球机的光轴为:球机的相机坐标系原点与成像平面的中心点的连线。为了便于描述,上述球机采集上述用于确定第一标定坐标的画面时的分辨率、倍率及方位角可以简称为球机当前分辨率、球机当前倍率及球机当前方位角。
具体的,如图7所示,直线段OC即为如图7中球机的光轴,则可以通过如下公式计算OC的长度,即图7中球机的光轴长度:
R=width/2.0/tan(P当前/2)/Z当前
其中,R为球机的光轴长度,width为球机当前分辨率中的宽度方向上的分辨率,P当前为球机当前方位角中的水平方位角,Z当前为球机当前倍率。
步骤J3:基于上述第一标定坐标及球机当前分辨率,确定上述标定点在上述球机的成像平面中的坐标,作为第二标定坐标。
其中,上述第二标定坐标可以表示为(U,V),具体的,可以通过以下公式计算上述第二标定坐标:
U=xp-width/2.0
V=yp-height/2.0
其中,width为球机当前分辨率中的宽度方向上的分辨率,height为球机当前分辨率中的高度方向上的分辨率。
步骤J4:基于上述第二标定坐标和球机的光轴长度,确定上述标定点在球机的相机坐标系中的坐标,作为第三标定坐标。
具体的,上述第三标定坐标可以表示为(x0,y0,z0),具体的,可以通过如下公式计算上述第三标定坐标:
x0=U
y0=R*cosT当前–V*sinT当前
z0=R*sinT当前+V*cosT当前
其中,T当前为球机当前方位角中垂直方向的方位角。
步骤J5:基于上述第三标定坐标及球机当前方位角,确定上述标定点相对于球机光轴分别在水平方向上的角度偏移和在垂直方向上的角度偏移。
其中,上述水平方向上的角度偏移为上述标定点所对应的方位角中的水平方位角,可以表示为P_new,上述垂直方向上的角度偏移为上述标定所对应的方位角中的垂直方位角,可以表示为T_new,从而上述标定点对应的方位角可以表示为(P_new,T_new)。具体的,可以通过如下公式计算上述标定点对应的方位角:
P_new=atan(x0/y0)+P当前;
T_new=atan(z0/(sqrt(x0*x0+y0*y0)))+T当前
显然,通过对上述步骤J1-步骤J5中说明及各个公式,可以建立标定点在球机采集到的画面中对应的点的坐标与标定点对应的方位角之间的数学关系。而进一步的,由于标定点对应的方位角为当球机采集到的画面的中心点为该标定点对应的点时,球机的方位角。
因此,当给定球机采集到的画面中任一个像素点的坐标及球机采集该画面时的方位角时,便可以通过上述步骤J1-J5中建立球机对应的坐标转换关系,进而得到当球机采集到的画面的中心点为该像素点对应的点时,球机的方位角。进而,可以理解的,当给定当球机采集到的画面的中心点为某个像素点对应的点时,球机的方位角以及球机当前采集画面的方位角时,也可以计算得到该像素点在球机当前采集的画面中的坐标。
需要说明的是,在本发明实施例中,上述实施例三中所提到的第二球机对应的坐标转换关系为第二球机的方位角与该第二球机采集到的画面中心点的坐标的转换关系,因此,第二球机对应的坐标转换关系与上述球机对应的坐标转换关系均为球机自身的方位角与球机所采集到的画面中心点的坐标转换关系,从而可以实现球机处于不同方位角时所采集的不同画面间的坐标映射。
因此,上述实施例三中所提到的第二球机对应的坐标转换关系的确定方式与上述球机对应的坐标转换关系的确定方式可以相同,则在此不再赘述。
下面,对上述本发明实施例中所提供的不同的枪机之间的坐标转换关系的确定方式进行介绍。与上述第一坐标转换关系的确定方式相同,在本发明实施例中同样采用了平面单应性矩阵映射的方法来确定枪机之间的坐标转换关系,从而可以并不考虑不同的枪机在三维空间中的位置,以及三维空间的点,而是可以通过直接建立数学模型,建立不同的枪机之间的坐标转换关系。
具体的,假设,上述不同的枪机中包括第一枪机和第二枪机,则上述不同的枪机之间的坐标转换关系的确定方式可以包括:
步骤K1:确定预设的n个目标点在第一枪机采集的画面中对应的坐标,得到n个第三坐标,确定预设的n个目标点在第二枪机采集的画面中对应的坐标,得到n个第四坐标,其中,n≥4;
需要说明的是,在上述步骤K1中,目标点与上述步骤S601中的参考点为相同性质的参考点。即控制器预先获得的第一枪机和第二枪机所能拍摄到的三维空间中的参考点,且为了保证能够计算得到单应性矩阵,必须保证n≥4。控制器获得上述n个目标点的方式可以与上述步骤S601中,控制器获得m个参考点的方式相同,在此不再赘述。
在获得第一枪机和第二枪机所能拍摄到的三维空间中的n个目标点后,控制器便可以在第一枪机采集的画面中确定上述n个目标点中各个目标点所对应的坐标,并将其作为第三坐标,在第二枪机采集的画面中确定上述n个目标点中各个目标点所对应的坐标,确定预设的n个目标点在第二枪机采集的画面中对应的坐标,并将其作为第四坐标。因此,控制器便可以得到n个第三坐标和n个第四坐标。
需要说明的是,控制器在上述步骤K1中获得n个第三坐标和n个第四坐标的方式,可以与控制器在上述步骤S601中获得m个第一坐标的方式相同,在此不再赘述。
步骤K2:基于n个第三坐标和n个第四坐标,计算目标单应性矩阵,将目标单应性矩阵作为枪机之间的坐标转换关系。
在获得上述n个第三坐标和n个第四坐标后,控制器便可以基于该n个第三坐标和n个第四坐标,计算目标单应性矩阵,并将该目标单应性矩阵作为枪机之间的坐标转换关系。
需要说明的是,控制器执行上述步骤K2,基于n个第三坐标和n个第四坐标,计算目标单应性矩阵,将目标单应性矩阵作为枪机之间的坐标转换关系的方式,与控制器执行上述步骤S604,基于m个第一坐标和m个第二坐标,计算单应性矩阵,并将单应性矩阵作为第一坐标转换关系的方式相同,在此不再赘述。
进一步的,在上述画面间区域映射完成的基础上,本发明实施例还可以进一步的对在不同的待映射画面中确定的区域进行画面处理,例如,在这些区域中添加AR标签进行标注,或者对这些区域进行隐私遮蔽,又或者针对这些区域进行着重显示等,当然,还可以进行其他的画面处理,对此,本发明实施例不做具体限定。
具体的,所谓添加AR标签进行标注,可以指在一个相机采集的画面上指定相关区域,在另外的相机采集的画面上能展示该相关区域所对应的区域。
所谓隐私遮蔽,可以指一个相机采集到的一个画面中指定一个区域,并将该区域遮蔽,二在另外的画面中同样遮蔽该区域所对应的区域。通常,由于球机的拍摄角度可以变化,采用本发明实施例提供的画面间区域映射方法,可以保证在球机旋转过程中,对球机在任意拍摄角度所采集到的画面中的相关区域进行遮蔽。
对应于上述本发明实施例提供的一种画面间区域映射方法,本发明实施例还提供了一种画面间区域映射装置。
图8为本发明实施例提供的一种画面间区域映射装置的结构示意图,如图8所示,该画面间区域映射装置可以包括以下模块:
第一区域确定模块810,用于确定在待区域映射的第一画面中所指定的目标区域;
转换关系确定模块820,用于确定第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
第二区域确定模块830,用于基于目标区域和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。
以上可见,在本发明实施例提供的方案中,确定待区域映射的第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系,进而,当在待区域映射的第一画面中确定目标区域后,可以根据该目标坐标转换关系和该目标区域,在待区域映射的第二画面中确定与该目标区域对应的区域,以实现当在一个画面中给定目标区域时,在另一画面中有效确定与该目标区域对应的区域。此外,本发明实施例提供的方案可以针对不同类型的相机,具有较好的适应性,同时,根据目标坐标转换关系确定与目标区域对应的区域,由于目标坐标转换关系是根据待区域映射的第一画面所属相机和待区域映射的第二画面所属相机确定的,因此,确定与目标区域对应的区域的操作简便且不需要依靠额外信息。
可选的,一种具体实现方式中,上述第二区域确定模块830可以包括:
特征点选取子模块,用于从目标区域中选取多个特征点,其中,多个特征点为能够表征目标区域的多个像素点;
第二区域确定子模块,用于基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。
可选的,一种具体实现方式中,第一画面所属相机为枪机,第二画面所属相机为球机;或,第一画面所属相机为球机,第二画面所属相机为枪机;则上述转换关系确定模块820可以包括:
第一关系确定子模块,用于确定枪机和球机之间的坐标转换关系,作为第一坐标转换关系;
第二关系确定子模块,用于确定球机对应的坐标转换关系,作为第二坐标转换关系,其中,球机对应的坐标转换关系为:球机的方位角与球机采集到的画面中心点的坐标的转换关系;
第一目标关系确定子模块,用于将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
可选的,一种具体实现方式中,第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定;则上述转换关系确定模块820可以包括:
第三关系确定子模块,用于确定第一球机和第二球机之间的坐标转换关系,作为第一坐标转换关系;
第四关系确定子模块,用于确定第二球机对应的坐标转换关系,作为第二坐标转换关系,其中,第二球机对应的坐标转换关系为:第二球机的方位角与第二球机采集到的画面中心点的坐标的转换关系;
第二目标关系确定子模块,用于将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
可选的,一种具体实现方式中,第一画面所属相机为枪机,第二画面所属相机为球机;或,第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定;则上述第二区域确定子模块可以包括:
第一方位角确定单元,用于基于第一坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;
第一画面获得单元,用于在所确定的方位角中选取第一方位角,并按照第一方位角旋转目标设备,得到第二画面;其中,当第一画面所属相机为枪机,第二画面所属相机为球机时,目标设备为球机;当第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定时,目标设备为第二球机;
第一目标点确定单元,用于基于第二坐标转换关系,在第二画面中确定各个特征点所对应的第一目标点,其中,任一特征点所对应的第一目标点为:所对应方位角与该特征点对应的方位角相同的像素点;
第一区域确定单元,用于将第二画面中基于多个第一目标点所确定出的区域,作为目标区域对应的区域。
可选的,一种具体实现方式中,第一画面所属相机为球机,第二画面所属相机为枪机;则上述第二区域确定子模块可以包括:
第二方位角确定单元,用于基于第二坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;
第二目标点确定单元,用于基于第一坐标转换关系和所确定的各个特征点对应的方位角,在第二画面中确定各个特征点所对应的第二目标点;
第二区域确定单元,用于将第二画面中基于多个第二目标点所确定出的区域,作为目标区域对应的区域。
可选的,一种具体实现方式在,上述画面间区域映射装置还可以包括坐标转换关系确定模块,用于确定枪机和球机之间的坐标转换关系,该坐标转换关系确定模块可以包括:
第一坐标确定子模块,用于确定预设的m个参考点在枪机采集的画面中对应的坐标,得到m个第一坐标,其中,参考点为:第一画面所属相机和第二画面所属相机所能拍摄到的三维空间中的点,m≥4;
方位角确定子模块,用于针对每一个参考点,确定球机以该参考点为画面中心时的方位角,得到m个方位角;
第二坐标确定子模块,用于将m个方位角转换为m个第二坐标;
坐标转换关系确定子模块,用于基于m个第一坐标和m个第二坐标,计算单应性矩阵,并将单应性矩阵作为第一坐标转换关系。
可选的,一种具体实现方式中,第一画面所属相机和第二画面所属相机为同一个球机,且第一画面为球机的方位角为初始方位角时采集的画面;则转换关系确定模块820可以包括:
第五关系确定子模块,用于确定球机对应的坐标转换关系,其中,球机对应的坐标转换关系为:球机的方位角与球机采集到的画面中心点的坐标的转换关系;
第三目标关系确定子模块,用于将球机对应的坐标转换关系作为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
进而,在本实现方式中,上述第二区域确定子模块可以包括:
第三方位角确定单元,用于基于目标坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;
第二画面获得单元,用于在所确定的方位角中选取第二方位角,并按照第二方位角旋转球机,得到第二画面;
第三坐标点确定单元,用于基于目标坐标转换关系,在第二画面中确定各个特征点所对应的第三目标点,任一特征点所对应的第三目标点为:所对应方位角与该特征点对应的方位角相同的像素点;
第三区域确定单元,用于将第二画面中基于多个第三目标点所确定出的区域,作为目标区域对应的区域。
可选的,一种具体实现方式中,第一画面所属相机和第二画面所属相机为不同的枪机;则上述转换关系确定模块820可以包括:
第六关系确定子模块,用于确定不同的枪机之间的坐标转换关系;
第四目标关系确定子模块,用于将所确定的不同的枪机之间的坐标转换关系,作为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
进而,在本实现方式中,上述第二区域确定子模块可以包括:
第四目标点确定单元,用于基于目标转换关系及多个特征点在第一画面内的坐标,在第二画面中确定各个特征点对应的第四目标点;
第四区域确定单元,用于将第二画面中基于多个第四目标点所确定出的区域,作为目标区域对应的区域。
对应于上述本发明实施例提供的一种画面间区域映射方法,本发明实施例还提供了一种多相机观测系统。
该系统可以包括控制器和至少一个相机,其中,至少一个相机中可以包括待区域映射的第一画面所属相机和待区域映射的第二画面所属相机;
则第一画面所属相机可以用于采集待区域映射的第一画面;
则第二画面所属相机可以用于采集待区域映射的第二画面;
上述控制器可以用于:确定在第一画面中所指定的目标区域;确定第一画面所属相机和第二画面所属相机的目标坐标转换关系;基于目标区域和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。
可选的,一种具体实现方式中,上述控制器还可以用于:
从目标区域中选取多个特征点,其中,多个特征点为能够表征目标区域的多个像素点;基于多个特征点和目标坐标转换关系,在第二画面中确定与目标区域对应的区域。
可选的,一种具体实现方式中,上述至少一个相机中可以包括一个枪机和一个球机,且第一画面所属相机为枪机,第二画面所属相机为球机;或,上述至少一个相机中可以包括一个枪机和一个球机,且第一画面所属相机为球机,第二画面所属相机为枪机;
则在本实现方式中,上述控制器可以用于:确定枪机和球机之间的坐标转换关系,作为第一坐标转换关系;确定球机对应的坐标转换关系,作为第二坐标转换关系。
其中,球机对应的坐标转换关系为:球机的方位角与球机采集到的画面中心点的坐标的转换关系;将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
可选的,一种具体实现方式中,上述至少一个相机中可以包括第一球机和第二球机,且第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定;
则在本实现方式中,上述控制器可以用于:确定第一球机和第二球机之间的坐标转换关系,作为第一坐标转换关系;确定第二球机对应的坐标转换关系,作为第二坐标转换关系。
其中,第二球机对应的坐标转换关系为:第二球机的方位角与第二球机采集到的画面中心点的坐标的转换关系;将第一坐标转换关系和第二坐标转换关系,确定为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
可选的,一种具体实现方式中,上述至少一个相机中可以包括一个枪机和一个球机,且第一画面所属相机为枪机,第二画面所属相机为球机;或,上述至少一个相机中可以包括第一球机和第二球机,且第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定;
则在本实现方式中,上述控制器用于:基于第一坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;在所确定的方位角中选取第一方位角,并按照第一方位角旋转目标设备,得到第二画面。
其中,当第一画面所属相机为枪机,第二画面所属相机为球机时,目标设备为球机;当第一画面所属相机为第一球机,第二画面所属相机为第二球机,第一球机的方位角固定时,目标设备为第二球机;基于第二坐标转换关系,在第二画面中确定各个特征点所对应的第一目标点,其中,任一特征点所对应的第一目标点为:所对应方位角与该特征点对应的方位角相同的像素点;将第二画面中基于多个第一目标点所确定出的区域,作为目标区域对应的区域。
可选的,一种具体实现方式中,上述至少一个相机中可以包括一个枪机和一个球机,且第一画面所属相机为球机,第二画面所属相机为枪机;
则在本实现方式中,上述控制器可以用于:基于第二坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;基于第一坐标转换关系和所确定的各个特征点对应的方位角,在第二画面中确定各个特征点所对应的第二目标点;将第二画面中基于多个第二目标点所确定出的区域,作为目标区域对应的区域。
可选的,一种具体实现方式中,上述至少一个相机中可以包括:一个球机,且第一画面所属相机和第二画面所属相机为球机,且第一画面为球机的方位角为初始方位角时采集的画面;
则在本实现方式中,上述控制器可以用于:确定球机对应的坐标转换关系,其中,球机对应的坐标转换关系为:球机的方位角与球机采集到的画面中心点的坐标的转换关系;将球机对应的坐标转换关系作为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
在本实现方式中,上述控制器在确定第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系后,还可以用于:基于目标坐标转换关系和多个特征点在第一画面内的坐标,确定各个特征点对应的方位角;在所确定的方位角中选取第二方位角,并按照第二方位角旋转球机,得到第二画面;基于目标坐标转换关系,在第二画面中确定各个特征点所对应的第三目标点,任一特征点所对应的第三目标点为:所对应方位角与该特征点对应的方位角相同的像素点;将第二画面中基于多个第三目标点所确定出的区域,作为目标区域对应的区域。
可选的,一种具体实现方式中,上述至少一个相机可以包括:不同的枪机,且第一画面所属相机和第二画面所属相机为不同的枪机;
则在本实现方式中,上述控制器可以用于:确定不同的枪机之间的坐标转换关系;将所确定的不同的枪机之间的坐标转换关系,作为第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
在本实现方式中,上述控制器在确定第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系后,还可以用于:基于目标转换关系及多个特征点在第一画面内的坐标,在第二画面中确定各个特征点对应的第四目标点;将第二画面中基于多个第四目标点所确定出的区域,作为目标区域对应的区域。
需要说明的是,关于上述控制器执行的各个步骤的详细介绍,可以参见上述方法实施例的相应内容,在此不做赘述。
本发明实施例还提供了一种电子设备,该电子设备为多相机观测系统中的控制器,如图9所示,该电子设备包括处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信,
存储器903,用于存放计算机程序;
处理器901,用于执行存储器903上所存放的程序时,实现上述本发明实施例提供的一种画面间区域映射方法中的任一方法步骤。
上述控制器提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述控制器与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储极致内存储有计算机程序,该计算机程序被处理器执行时实现上述本发明实施例提供的一种画面间区域映射方法中的任一方法步骤。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、系统实施例、控制器实施例、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (20)
1.一种画面间区域映射方法,其特征在于,所述方法包括:
确定在待区域映射的第一画面中所指定的目标区域;
确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域的步骤,包括:
从所述目标区域中选取多个特征点,其中,所述多个特征点为能够表征所述目标区域的多个像素点;
基于所述多个特征点和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
3.根据权利要求2所述的方法,其特征在于,所述第一画面所属相机为枪机,所述第二画面所属相机为球机;或,所述第一画面所属相机为球机,所述第二画面所属相机为枪机;
所述确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系的步骤,包括:
确定所述枪机和所述球机之间的坐标转换关系,作为第一坐标转换关系;
确定所述球机对应的坐标转换关系,作为第二坐标转换关系,其中,所述球机对应的坐标转换关系为:所述球机的方位角与所述球机采集到的画面中心点的坐标的转换关系;
将所述第一坐标转换关系和所述第二坐标转换关系,确定为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
4.根据权利要求2所述的方法,其特征在于,所述第一画面所属相机为第一球机,所述第二画面所属相机为第二球机,所述第一球机的方位角固定;
所述确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系的步骤,包括:
确定所述第一球机和所述第二球机之间的坐标转换关系,作为第一坐标转换关系;
确定所述第二球机对应的坐标转换关系,作为第二坐标转换关系,其中,所述第二球机对应的坐标转换关系为:所述第二球机的方位角与所述第二球机采集到的画面中心点的坐标的转换关系;
将所述第一坐标转换关系和所述第二坐标转换关系,确定为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
5.根据权利要求3或4所述的方法,其特征在于,所述第一画面所属相机为枪机,所述第二画面所属相机为球机;或,所述第一画面所属相机为第一球机,所述第二画面所属相机为第二球机,所述第一球机的方位角固定;
所述基于所述多个特征点和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域的步骤,包括:
基于所述第一坐标转换关系和所述多个特征点在所述第一画面内的坐标,确定各个特征点对应的方位角;
在所确定的方位角中选取第一方位角,并按照所述第一方位角旋转目标设备,得到所述第二画面;其中,当所述第一画面所属相机为枪机,所述第二画面所属相机为球机时,所述目标设备为所述球机;当所述第一画面所属相机为第一球机,所述第二画面所属相机为第二球机,所述第一球机的方位角固定时,所述目标设备为所述第二球机;
基于所述第二坐标转换关系,在所述第二画面中确定各个特征点所对应的第一目标点,其中,任一特征点所对应的第一目标点为:所对应方位角与该特征点对应的方位角相同的像素点;
将所述第二画面中基于所述多个第一目标点所确定出的区域,作为所述目标区域对应的区域。
6.根据权利要求3所述的方法,其特征在于,所述第一画面所属相机为球机,所述第二画面所属相机为枪机;
所述基于所述多个特征点和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域的步骤,包括:
基于所述第二坐标转换关系和所述多个特征点在所述第一画面内的坐标,确定各个特征点对应的方位角;
基于所述第一坐标转换关系和所确定的各个特征点对应的方位角,在所述第二画面中确定各个特征点所对应的第二目标点;
将所述第二画面中基于所述多个第二目标点所确定出的区域,作为所述目标区域对应的区域。
7.根据权利要求3所述的方法,其特征在于,通过以下方式确定所述枪机和所述球机之间的坐标转换关系,所述方式包括:
确定预设的m个参考点在所述枪机采集的画面中对应的坐标,得到m个第一坐标,其中,所述参考点为:所述第一画面所属相机和所述第二画面所属相机所能拍摄到的三维空间中的点,m≥4;
针对每一个参考点,确定所述球机以该参考点为画面中心时的方位角,得到m个方位角;
将所述m个方位角转换为m个第二坐标;
基于所述m个第一坐标和所述m个第二坐标,计算单应性矩阵,并将所述单应性矩阵作为所述枪机和所述球机之间的坐标转换关系。
8.根据权利要求2所述的方法,其特征在于,所述第一画面所属相机和所述第二画面所属相机为同一个球机,且所述第一画面为所述球机的方位角为初始方位角时采集的画面;
所述确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系的步骤,包括:
确定所述球机对应的坐标转换关系,其中,所述球机对应的坐标转换关系为:所述球机的方位角与所述球机采集到的画面中心点的坐标的转换关系;
将所述球机对应的坐标转换关系作为所述第一画面所属相机和待区域映射的第二画面所属相机所对应的目标坐标转换关系。
9.根据权利要求8所述的方法,其特征在于,所述基于所述多个特征点和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域的步骤,包括:
基于所述目标坐标转换关系和所述多个特征点在所述第一画面内的坐标,确定各个特征点对应的方位角;
在所确定的方位角中选取第二方位角,并按照所述第二方位角旋转所述球机,得到所述第二画面;
基于所述目标坐标转换关系,在所述第二画面中确定各个特征点所对应的第三目标点,任一特征点所对应的第三目标点为:所对应方位角与该特征点对应的方位角相同的像素点;
将所述第二画面中基于所述多个第三目标点所确定出的区域,作为所述目标区域对应的区域。
10.根据权利要求2所述的方法,其特征在于,所述第一画面所属相机和所述第二画面所属相机为不同的枪机;
所述确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系的步骤,包括:
确定所述不同的枪机之间的坐标转换关系;
将所确定的不同的枪机之间的坐标转换关系,作为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
11.根据权利要求10所述的方法,其特征在于,所述基于所述多个特征点和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域的步骤,包括:
基于所述目标转换关系及所述多个特征点在所述第一画面内的坐标,在所述第二画面中确定各个特征点对应的第四目标点;
将所述第二画面中基于所述多个第四目标点所确定出的区域,作为所述目标区域对应的区域。
12.一种画面间区域映射装置,其特征在于,所述装置包括:
第一区域确定模块,用于确定在待区域映射的第一画面中所指定的目标区域;
转换关系确定模块,用于确定所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
第二区域确定模块,用于基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
13.一种多相机观测系统,其特征在于,所述系统包括控制器和至少一个相机,其中,所述至少一个相机中包括待区域映射的第一画面所属相机和待区域映射的第二画面所属相机;
所述第一画面所属相机用于采集待区域映射的第一画面;
所述第二画面所属相机用于采集待区域映射的第二画面;
所述控制器用于确定在所述第一画面中所指定的目标区域;确定所述第一画面所属相机和所述第二画面所属相机的目标坐标转换关系;基于所述目标区域和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
14.根据权利要求13所述的系统,其特征在于,所述控制器还用于:
从所述目标区域中选取多个特征点,其中,所述多个特征点为能够表征所述目标区域的多个像素点;
基于所述多个特征点和所述目标坐标转换关系,在所述第二画面中确定与所述目标区域对应的区域。
15.根据权利要求13所述的系统,其特征在于,所述至少一个相机中包括一个枪机和一个球机,且所述第一画面所属相机为枪机,所述第二画面所属相机为球机;或,所述至少一个相机中包括一个枪机和一个球机,且所述第一画面所属相机为球机,所述第二画面所属相机为枪机;
所述控制器用于确定所述枪机和所述球机之间的坐标转换关系,作为第一坐标转换关系;确定所述球机对应的坐标转换关系,作为第二坐标转换关系,其中,所述球机对应的坐标转换关系为:所述球机的方位角与所述球机采集到的画面中心点的坐标的转换关系;将所述第一坐标转换关系和所述第二坐标转换关系,确定为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
16.根据权利要求13所述的系统,其特征在于,所述至少一个相机中包括第一球机和第二球机,且所述第一画面所属相机为第一球机,所述第二画面所属相机为第二球机,所述第一球机的方位角固定;
所述控制器用于确定所述第一球机和所述第二球机之间的坐标转换关系,作为第一坐标转换关系;确定所述第二球机对应的坐标转换关系,作为第二坐标转换关系,其中,所述第二球机对应的坐标转换关系为:所述第二球机的方位角与所述第二球机采集到的画面中心点的坐标的转换关系;将所述第一坐标转换关系和所述第二坐标转换关系,确定为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系。
17.根据权利要求15或16所述的系统,其特征在于,所述至少一个相机中包括一个枪机和一个球机,且所述第一画面所属相机为枪机,所述第二画面所属相机为球机;或,所述至少一个相机中包括第一球机和第二球机,且所述第一画面所属相机为第一球机,所述第二画面所属相机为第二球机,所述第一球机的方位角固定;
所述控制器用于:基于所述第一坐标转换关系和所述多个特征点在所述第一画面内的坐标,确定各个特征点对应的方位角;在所确定的方位角中选取第一方位角,并按照所述第一方位角旋转目标设备,得到所述第二画面;其中,当所述第一画面所属相机为枪机,所述第二画面所属相机为球机时,所述目标设备为所述球机;当所述第一画面所属相机为第一球机,所述第二画面所属相机为第二球机,所述第一球机的方位角固定时,所述目标设备为所述第二球机;基于所述第二坐标转换关系,在所述第二画面中确定各个特征点所对应的第一目标点,其中,任一特征点所对应的第一目标点为:所对应方位角与该特征点对应的方位角相同的像素点;将所述第二画面中基于所述多个第一目标点所确定出的区域,作为所述目标区域对应的区域。
18.根据权利要求15所述的系统,其特征在于,所述至少一个相机中包括一个枪机和一个球机,且所述第一画面所属相机为球机,所述第二画面所属相机为枪机;
所述控制器用于基于所述第二坐标转换关系和所述多个特征点在所述第一画面内的坐标,确定各个特征点对应的方位角;基于所述第一坐标转换关系和所确定的各个特征点对应的方位角,在所述第二画面中确定各个特征点所对应的第二目标点;将所述第二画面中基于所述多个第二目标点所确定出的区域,作为所述目标区域对应的区域。
19.根据权利要求13所述的系统,其特征在于,所述至少一个相机中包括:一个球机,且所述第一画面所属相机和所述第二画面所属相机为所述球机,且所述第一画面为所述球机的方位角为初始方位角时采集的画面;
所述控制器用于确定所述球机对应的坐标转换关系,其中,所述球机对应的坐标转换关系为:所述球机的方位角与所述球机采集到的画面中心点的坐标的转换关系;将所述球机对应的坐标转换关系作为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
所述控制器还用于基于所述目标坐标转换关系和所述多个特征点在所述第一画面内的坐标,确定各个特征点对应的方位角;在所确定的方位角中选取第二方位角,并按照所述第二方位角旋转所述球机,得到所述第二画面;基于所述目标坐标转换关系,在所述第二画面中确定各个特征点所对应的第三目标点,任一特征点所对应的第三目标点为:所对应方位角与该特征点对应的方位角相同的像素点;将所述第二画面中基于所述多个第三目标点所确定出的区域,作为所述目标区域对应的区域。
20.根据权利要求13所述的系统,其特征在于,所述至少一个相机包括:不同的枪机,且所述第一画面所属相机和所述第二画面所属相机为不同的枪机;
所述控制器用于确定所述不同的枪机之间的坐标转换关系;将所确定的不同的枪机之间的坐标转换关系,作为所述第一画面所属相机和待区域映射的第二画面所属相机的目标坐标转换关系;
所述控制器还用于基于所述目标转换关系及所述多个特征点在所述第一画面内的坐标,在所述第二画面中确定各个特征点对应的第四目标点;将所述第二画面中基于所述多个第四目标点所确定出的区域,作为所述目标区域对应的区域。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811038935.3A CN110881117A (zh) | 2018-09-06 | 2018-09-06 | 一种画面间区域映射方法、装置及多相机观测系统 |
PCT/CN2019/104535 WO2020048509A1 (zh) | 2018-09-06 | 2019-09-05 | 一种画面间区域映射方法、装置及多相机观测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811038935.3A CN110881117A (zh) | 2018-09-06 | 2018-09-06 | 一种画面间区域映射方法、装置及多相机观测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110881117A true CN110881117A (zh) | 2020-03-13 |
Family
ID=69721599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811038935.3A Pending CN110881117A (zh) | 2018-09-06 | 2018-09-06 | 一种画面间区域映射方法、装置及多相机观测系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110881117A (zh) |
WO (1) | WO2020048509A1 (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463899A (zh) * | 2014-12-31 | 2015-03-25 | 北京格灵深瞳信息技术有限公司 | 一种目标对象检测、监控方法及其装置 |
US20160012311A1 (en) * | 2014-07-09 | 2016-01-14 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images |
CN108111818A (zh) * | 2017-12-25 | 2018-06-01 | 北京航空航天大学 | 基于多摄像机协同的运动目标主动感知方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2386998B1 (en) * | 2010-05-14 | 2018-07-11 | Honda Research Institute Europe GmbH | A Two-Stage Correlation Method for Correspondence Search |
CN105160663A (zh) * | 2015-08-24 | 2015-12-16 | 深圳奥比中光科技有限公司 | 获取深度图像的方法和系统 |
CN106683071B (zh) * | 2015-11-06 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 图像的拼接方法和装置 |
CN106023080A (zh) * | 2016-05-19 | 2016-10-12 | 沈祥明 | 一种车载全景图像无缝拼接处理系统 |
CN106875444B (zh) * | 2017-01-19 | 2019-11-19 | 浙江大华技术股份有限公司 | 一种目标物定位方法及装置 |
CN107330917B (zh) * | 2017-06-23 | 2019-06-25 | 歌尔股份有限公司 | 移动目标的跟踪拍摄方法和跟踪设备 |
-
2018
- 2018-09-06 CN CN201811038935.3A patent/CN110881117A/zh active Pending
-
2019
- 2019-09-05 WO PCT/CN2019/104535 patent/WO2020048509A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160012311A1 (en) * | 2014-07-09 | 2016-01-14 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images |
CN104463899A (zh) * | 2014-12-31 | 2015-03-25 | 北京格灵深瞳信息技术有限公司 | 一种目标对象检测、监控方法及其装置 |
CN108111818A (zh) * | 2017-12-25 | 2018-06-01 | 北京航空航天大学 | 基于多摄像机协同的运动目标主动感知方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020048509A1 (zh) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111750820B (zh) | 影像定位方法及其系统 | |
CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN106683071B (zh) | 图像的拼接方法和装置 | |
US9436973B2 (en) | Coordinate computation device and method, and an image processing device and method | |
CN104778656B (zh) | 基于球面透视投影的鱼眼图像校正方法 | |
US9892488B1 (en) | Multi-camera frame stitching | |
CN106815869B (zh) | 鱼眼相机的光心确定方法及装置 | |
EP3451649B1 (en) | Method and apparatus for generating indoor panoramic video | |
CN110099220B (zh) | 一种全景拼接方法及装置 | |
CN107527336B (zh) | 镜头相对位置标定方法及装置 | |
CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
WO2019232793A1 (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
CN111340737B (zh) | 图像矫正方法、装置和电子系统 | |
CN104994367A (zh) | 一种图像矫正方法以及摄像头 | |
CN110807803A (zh) | 一种摄像机定位方法、装置、设备及存储介质 | |
EP4220547A1 (en) | Method and apparatus for determining heat data of global region, and storage medium | |
CN111445537A (zh) | 一种摄像机的标定方法及系统 | |
CN114549666B (zh) | 一种基于agv的环视图像拼接标定方法 | |
CN111343360B (zh) | 一种校正参数获得方法 | |
CN111353945B (zh) | 鱼眼图像校正方法、装置及存储介质 | |
CN115174878B (zh) | 投影画面校正方法、装置和存储介质 | |
CN110881117A (zh) | 一种画面间区域映射方法、装置及多相机观测系统 | |
CN103546680A (zh) | 一种无变形的全方位鱼眼摄像装置及实现方法 | |
JP2005275789A (ja) | 三次元構造抽出方法 | |
CN115239816A (zh) | 一种相机标定方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200313 |