CN104081433A - 图像坐标和地图坐标之间的转换 - Google Patents

图像坐标和地图坐标之间的转换 Download PDF

Info

Publication number
CN104081433A
CN104081433A CN201280063959.9A CN201280063959A CN104081433A CN 104081433 A CN104081433 A CN 104081433A CN 201280063959 A CN201280063959 A CN 201280063959A CN 104081433 A CN104081433 A CN 104081433A
Authority
CN
China
Prior art keywords
video camera
image
target location
map reference
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280063959.9A
Other languages
English (en)
Other versions
CN104081433B (zh
Inventor
黄健民
苏炜
弗兰克·沃恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of CN104081433A publication Critical patent/CN104081433A/zh
Application granted granted Critical
Publication of CN104081433B publication Critical patent/CN104081433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本文描述了用于图像坐标和地图坐标之间的转换的、例如那些与视频监控系统相关联的系统和方法。本文所描述的方法的实例包括:选择图像内的具有已知的图像坐标和地图坐标的参考点;根据摄像机的位置和高度以及参考点计算至少一个转换参数;检测图像内将被追踪的目标位置;确定目标位置的图像坐标;以及基于目标位置的图像坐标和至少一个转换参数,计算目标位置的地图坐标。

Description

图像坐标和地图坐标之间的转换
背景
视频监控系统通常是结合映射应用使用的,以便定位并且追踪被视频摄像机监控的区域内的感兴趣的对象,所述视频摄像机被放置在该区域内的各个位置。在这种实施中,目标对象通过视频分析处理来检测,从中产生了元数据,该元数据与该对象相对于出现对象之处的摄像机的视图的位置有关。该位置使用关于摄像机视图定义的坐标系给出。为便于对象的映射,对象的视图坐标被转换成例如卫星定位系统(SPS)坐标等等的地图坐标。
传统上,对象的地图位置是由与出现对象处的摄像机相关联的对象的图像坐标确定的,其通过使用4点的或者9点的线性内插来从图像坐标导出地图坐标。然而,这些传统的线性内插技术是与计算困难的摄像机校准过程相关联的,这降低了系统的效率。此外,使用现有技术来从对应的图像坐标线性内插出与指定对象相关联的地图坐标常常导致关于对象的不准确的地图坐标。
概述
根据本公开的识别被摄像机捕获的图像内的位置的地图坐标的方法的实例包括:选择图像内的具有已知的图像坐标和地图坐标的参考点;根据摄像机的位置和高度以及参考点计算至少一个转换参数;检测图像内将被追踪的目标位置;确定目标位置的图像坐标;以及基于目标位置的图像坐标和至少一个转换参数,计算目标位置的地图坐标。
该方法的实施可以包括下列特征中的一个或者多个。该至少一个转换参数包括摄像机相对参考点的旋转角和倾斜角。计算从图像的中心到图像内的目标位置的水平位移角和垂直位移角。基于水平位移角、垂直位移角、摄像机的位置和高度、旋转角以及倾斜角,确定目标位置相对基于地球的坐标系的定位。至少部分基于旋转角,计算旋转矩阵。与摄像机的位置和高度有关的信息包括摄像机的地图坐标,并且计算目标位置的地图坐标还包括基于旋转矩阵、摄像机的地图坐标、以及参考点的地图坐标计算目标位置的地图坐标。目标位置是图像中检测到的对象的位置,并且该方法还包括追踪对象的图像坐标和地图坐标。摄像机包括变焦距光学系统,并且计算该至少一个转换参数包括识别摄像机的焦距以及基于与摄像机的焦距相关联的水平视场和垂直视场,计算该至少一个转换参数。
根据本公开的目标坐标转换系统的实例包括:摄像机,其被配置为捕获图像,其中摄像机具有已知的位置和高度以及关于图像定义了图像坐标系;校准模块,其被通信耦合到摄像机,并且被配置为识别图像内具有已知的图像坐标和地图坐标的参考点,以及根据摄像机的位置和高度以及参考点计算至少一个转换参数;对象追踪模块,其被通信耦合到摄像机,并且被配置为选择图像内的目标位置,以及识别目标位置的图像坐标;坐标转换模块,其被通信耦合到校准模块和对象追踪模块,并且被配置为基于目标位置的图像坐标和至少一个转换参数,计算目标位置的地图坐标。
该系统的实施可以包括下列特征中的一个或者多个。该至少一个转换参数包括摄像机相对参考点的旋转角和倾斜角。坐标转换模块还被配置为计算从图像的中心到图像内的目标位置的水平位移角和垂直位移角。坐标转换模块还被配置为基于水平位移角、垂直位移角、摄像机的位置和高度、旋转角以及倾斜角,计算目标位置相对基于地球的坐标系的坐标。校准模块还被配置为至少部分基于旋转角计算旋转矩阵,以及该系统还包括被通信耦合到坐标转换模块并且被配置为识别摄像机的地图坐标以及基于旋转矩阵、摄像机的地图坐标、以及参考点的地图坐标,计算目标位置的地图坐标的映射模块。该摄像机包括变焦距光学系统,并且校准模块还被配置为识别摄像机的焦距以及基于与摄像机的焦距相关联的水平视场和垂直视场,计算该至少一个转换参数。
根据本公开的用于识别捕获的图像内的位置对应的地图坐标的系统的实例包括:摄像机,其被配置为捕获图像,其中摄像机具有已知的位置和高度以及关于图像定义了图像坐标系;校准装置,其被通信耦合到摄像机,以便选择图像内具有已知的图像坐标和地图坐标的参考点并且根据摄像机的位置和高度以及参考点计算至少一个转换参数;追踪装置,其被通信耦合到摄像机,以便检测图像内的目标位置并且确定目标位置的图像坐标;映射装置,其被通信耦合到校准装置和追踪装置,以便基于目标位置的图像坐标和至少一个转换参数计算目标位置的地图坐标。
该系统的实施可以包括下列特征中的一个或者多个。该至少一个转换参数包括摄像机相对参考点的的旋转角和倾斜角。映射装置还被配置为计算从图像的中心到图像内的目标位置的水平位移角和垂直位移角,并且基于水平位移角、垂直位移角、摄像机的位置和高度、旋转角以及倾斜角,确定目标位置相对基于地球的坐标系的定位。校准装置还被配置为至少部分基于旋转角计算旋转矩阵,并且映射装置还被配置为识别摄像机的地图坐标以及基于旋转矩阵、摄像机的地图坐标、以及参考点的地图坐标,计算目标位置的地图坐标。摄像机包括变焦距光学系统,并且校准装置还被配置为识别摄像机的焦距以及基于与摄像机的焦距相关联的水平视场和垂直视场,计算该至少一个转换参数。
根据本公开的计算机程序产品的实例位于处理器可执行的计算机存储介质上并且包括处理器可执行的指令,该指令被配置为引起处理器识别与摄像机相关联的信息以及关于被摄像机捕获的图像的图像坐标系;选择图像内具有已知的图像坐标和地图坐标的参考点;根据摄像机的位置和高度以及参考点计算至少一个转换参数;检测图像内将被追踪的目标位置;确定目标位置的图像坐标;以及基于目标位置的图像坐标和至少一个转换参数,计算目标位置的地图坐标。
计算机程序产品的实施可以包括下列特征中的一个或者多个。该至少一个转换参数包括摄像机相对参考点的旋转角和倾斜角,并且被配置为引起处理器计算目标位置的地图坐标的指令被配置为引起处理器计算从图像的中心到图像内的目标位置的水平位移角和垂直位移角,以及基于水平位移角、垂直位移角、摄像机的位置和高度、旋转角和倾斜角,确定目标位置相对基于地球的坐标系的定位。被配置为引起处理器计算该至少一个转换参数的指令被配置为引起处理器至少部分基于旋转角计算旋转矩阵。与摄像机的位置和高度有关的信息包括摄像机的地图坐标。被配置为引起处理器计算目标位置的地图坐标的指令被配置为引起处理器基于旋转矩阵、摄像机的地图坐标、以及参考点的地图坐标,计算目标位置的地图坐标。
本文所描述的产品和/或技术可以提供下列性能中的一个或者多个,以及其他没有提到的性能。在基于图像的坐标系和基于地图的坐标系之间的坐标转换可以使用单个参考点来实现,这降低了摄像机校准的计算复杂度。与视频监控系统相关联的地图上的对象的定位和追踪的执行的准确度可以得到提高。可以提供被视频监控系统监控的区域内的对象的智能且有效的定位和追踪。采用映射应用的视频监控系统的总体效率可以得到提高。可以提供其他的性能,并且并非每个根据本公开的实施都必须提供所讨论的性能中的任意一个,更不用说是提供所有的所讨论的性能。此外,上文提到的效果将通过除上文提到的方式之外的方式来实现,这是有可能的,并且所提到的产品/技术不一定引起所提到的效果。
附图简述
图1是安保摄像机网络的框图。
图2是与在视频监控系统内执行的各种操作相关联的坐标系的示例性的视图。
图3是用于映射在视频监控系统内识别的和追踪的对象的系统框图。
图4-6是被用于视频监控系统的映射应用利用的坐标转换的示例性的视图。
图7是识别被摄像机捕获的图像内的位置的地图坐标的过程的方框流程图。
图8示出了计算机系统的实施方式的框图。
详细描述
本文所描述的是用于执行与视频监控系统中的摄像机相关联的图像坐标和地图坐标之间的转换的系统和方法。
图1示出了安保摄像机网络10的框图。安保摄像机网络10包括含有位置固定的摄像机12、PTZ(平移倾斜变焦)摄像机14、从摄像机16等的视频摄像机。安保摄像机网络可以具有零个、一个或者多于一个的每种类型的摄像机,因此网络可以具有一个或者多个摄像机。例如,如图1中所示的,安保摄像机10包络两个位置固定的摄像机12、一个PTZ摄像机14和一个从摄像机16。还可以使用其他数量的和/或配置的摄像机。
安保摄像机网络10还包括路由器20。位置固定的摄像机12、PTZ摄像机14、以及从摄像机16使用有线连接(例如,局域网(LAN)连接)或者无线连接与路由器20通信。路由器20与例如主机计算机系统30的计算系统通信。路由器20使用例如LAN连接的有线连接或者无线连接与主机计算机系统30通信。在某些配置中,主机计算机系统30可以位于单个计算设备和/或多个计算设备(例如,如分布式计算机系统)。
位置固定的摄像机12可以被布置在固定的位置中,例如,被安装到建筑物的屋檐,以捕获建筑物的紧急出口的视频馈入。除非被某些外力移动或者调整,否则这种位置固定的摄像机的视场将保持不变。位置固定摄像机12包括数字信号处理器(DSP)和/或一个或者多个其他处理实体,以压缩、处理和/或分析被位置固定的摄像机12捕获的图像。例如,当捕获了位置固定的摄像机12的视场的帧时,这些帧通过与位置固定的摄像机12相关联的数字信号处理器进行处理,以确定是否存在一个或者多个移动对象。例如,高斯混合模型可以被用来将含有移动对象的图像的前景和含有例如树木、建筑物以及路的静止对象的图像的背景分离。然后,这些移动对象的图像被处理为识别移动对象的图像的各种特性。
使用各个检测到的对象的图像,位置固定的摄像机12创建了与每个对象的图像相关联的元数据。与对象相关联的或者链接到对象的元数据含有关于对象的图像的各种特性的信息。例如,元数据包括关于例如下述特性的信息:对象的位置、对象的高度、对象的宽度、对象正沿着移动的方向、对象正移动的速度、对象的颜色、和/或对象的按类别的分类。元数据还可以包括关于涉及移动对象的事件的信息。
就对象的位置而言,元数据中的对象的位置是用二维坐标系中与位置固定的摄像机12相关联的二维坐标来表示的。这里,如图2中所示的,定义了二维(u,v)图像坐标系62,其表示给定图像内的对象相对于该图像的位置。对于具体的对象,这些二维坐标与该对象的图像在位置固定的摄像机12捕获的帧中的位置相关联。对象的二维坐标可以被确定为是由位置固定的摄像机12捕获的帧内的点。在某些配置中,对象的定位坐标被确定为是对象的最低部分的中部(例如,如果对象是站立的人,则其定位将位于对象的两脚之间)。如上文所提到的以及由图2中的图像坐标系62所示出的,二维坐标具有u和v分量,但是没有第三个分量。在某些配置中,u和v分量采用像素的数量进行测量。例如,{613,427}的位置将表示对象的最低部分的中部处于沿位置固定的摄像机12的视场的u轴的613像素、并且沿着位置固定的摄像机12的视场的v轴的427像素。随着对象移动,与对象的位置相关联的坐标将改变。此外,由于该坐标系是和位置固定的摄像机12相关联的,故如果同一个对象在一个或者多个其他的摄像机的视场中也是可见的,那么被其他摄像机确定的对象的位置坐标将可能是不同的。
对象的高度还可以被包括在元数据中,并且用像素的数量来表示。对象的高度被定义为从对象的图像底部到对象的图像顶部的像素的数量。因此,假设对象接近位置固定的摄像机12,则测量到的高度将比假设对象远离位置固定的摄像机12时更高。类似地,对象的宽度采用像素的数量来表示。对象的宽度可以基于对象的平均宽度或者横向地呈现在对象的图像中的对象最宽点处的宽度进行确定。类似地,对象的速度和方向也可以采用像素进行测量。
由位置固定的摄像机12确定的元数据通过路由器20被发送到主机计算机系统30。除了向主机计算机系统30发送元数据之外,位置固定的摄像机12向主机计算机系统30发送帧的视频馈入。被位置固定的摄像机12捕获的帧可以被压缩或者不被压缩。在压缩之后,帧通过路由器20被发送到主机计算机系统30。
还如图1中所示的,安保摄像机网络10可以包括多个位置固定的摄像机12,其可以采用实质上与上文所描述的方式类似的方式来发挥作用。假设它们位于彼此不同的位置之中的多个位置固定的摄像机12具有不同的视图点和视场。因此,即使在同一时间通过多个位置固定的摄像机12观察同一个对象,感知到的对象的位置、宽度和高度也将在不同的摄像机之间改变。
安保摄像机网络10还包括PTZ摄像机14。PTZ 14摄像机可以平移、倾斜以及变焦。就如位置固定的摄像机12,PTZ摄像机14也可以包括数字信号处理器和/或其他处理设备。为了PTZ摄像机14识别各个感兴趣的对象,PTZ摄像机14可以具有预先确定的视图点,其中PTZ摄像机14已经在该视图点分析了背景并且可以将含有移动对象的前景和含有静止对象的背景进行区分。使用主机计算机系统30,例如通过用户终端38的用户可能能够控制PTZ摄像机14的移动和变焦。控制PTZ摄像机14的命令可以通过路由器20从主机计算机系统30路由到PTZ摄像机14。在某些配置中,PTZ摄像机14遵循布置好的平移、倾斜以及变焦模式,除非其被来自主机计算机系统30的命令中断。
从摄像机16可以通过路由器20与主机计算机系统30通信。从摄像机16可以为位置固定摄像机或者PTZ摄像机。从摄像机16只被配置为捕获图像并且不能识别捕获的图像中的对象。从摄像机16反而通过路由器20将视频馈入的原始帧或者视频馈入的压缩帧(例如,通过视频压缩器处理)发送到主机计算机系统30。主机计算机系统30处理从从摄像机16接收到的帧,以识别并且追踪从从摄像机16接收到的帧中的移动对象。
主机计算机系统30包括位置服务器32、视频服务器34、元数据服务器36以及用户终端38。位置服务器32接收并且存储安保摄像机网络10内的各个摄像机12-16和/或其他设备的位置。位置服务器32可以基于从用户和/或设备本身获得的信息计算安保摄像机网络10内的设备的位置,或者安保摄像机网络10内的其他设备可以计算它们自己的位置并且将这些位置提交到位置服务器32。此外,位置服务器32可以独立地或者结合元数据服务器36来识别并且追踪被摄像机12-16监控的各个对象的位置。为此,位置服务器32和/或元数据服务器36、和/或各个摄像机12-16可以利用如下文所描述的用于图像坐标和地图坐标之间的转换的技术。
视频服务器34接收并且存储来自主机计算机系统30正与其通信的摄像机的压缩视频和/或未压缩视频。元数据服务器36接收、存储并且分析从正与主机计算机系统30通信的摄像机接收到的元数据。用户终端38允许例如安保警卫的用户与从摄像机接收到的视频馈入的帧以及任何产生的与视频馈入相关联的元数据进行交互。用户终端38可以同时给用户显示一个或者多个视频馈入。用户可以使用用户终端38选择追踪的对象。例如,如果用户正观看来自位置固定的摄像机12的视频馈入的帧并且用户希望追踪的对象出现在了位置固定的摄像机12的视场中,那么用户可以选择该对象的图像。然后,主机计算机系统30利用位置服务器32维持的安保摄像机网络10的摄像机12-16的位置,以在对象在摄像机12-16的视场之间移动时追踪它。如果对象在多个摄像机的视场中是可见的,那么主机计算机系统30基于预先确定的规则选择优选的视场。用户还可以使用用户终端38控制PTZ摄像机14。
在某些配置中,位置服务器32、视频服务器34、元数据服务器36以及用户终端38的功能是通过分离的计算机系统执行的。在其他的配置中,这些功能可以通过一个计算机系统执行。例如,一个计算机系统可以处理并且存储设备位置、视频,并且如用户终端38一样发挥作用。此外,第一计算设备可以包括用户终端38并且与包括位置服务器32、视频服务器34和/或元数据服务器36的第二计算设备进行交互(例如,通过路由器20)。
视频监控系统内的位置可以用如通过图2示出的采用各种坐标系给定的坐标来表示。例如,如上文所描述的,图像坐标系62被用来表示摄像机视图对应的图像内的目标位置的定位。A(u,v)坐标系被用来分别表示图像内的位置的水平分量和垂直分量。此外,地球体系坐标系64可以被用来表示目标位置相对地球的采用x、y和z分量的定位。虽然本文利用了(x,y,z)地球体系坐标系统,但是也可以利用其他的例如北东下(north-east-down)(n-e-d)的系统。地球体系坐标系统64可以根据例如真正的北或者磁北的预定参考方向进行定义。如果该系统是根据真正北来定义的,那么磁偏角或者其他补偿因子可以用来表示地球体系坐标系64参照磁北的坐标,反之亦然。
此外,地图坐标系66参考基础区域的地图,表示了目标位置的二维定位。如本文所使用的,mx和my分别用来标记坐标系的经度分量和纬度分量;然而,可以利用任何其他的符号。地图坐标系66所基于的地图可以根据任何合适的定位系统来产生和/或定义,所述定位系统包括但不局限于例如GPS、GLONASS、Galileo、Beidou等的卫星定位系统(SPS)、地面定位系统等。
接着参考图3,用于映射在视频监控系统内被识别的和被追踪的对象的示例系统40包括摄像机42、校准模块44、对象追踪模块46、坐标转换模块48以及映射模块50。摄像机42可以为下述或者否则实施下述的功能:位置固定的摄像机12、PTZ摄像机14、从摄像机16或者如上文通常所描述的等等。系统40内的其他模块44-50可以在摄像机40内进行物理实施,和/或否则与摄像机40相关联,或者此外,它们可以通过任何合适的有线或者无线通信方式被通信耦合到摄像机40和/或彼此进行通信耦合。如果模块44-50中的一个或者多个没有通过摄像机40实施,那么它们可以通过任何其他合适的例如主机计算机系统30等的实体来实施。
通过将摄像机42放置在固定的位置处并且沿着固定的方向朝下,开始了由校准模块44执行的校准。给定如视场、传感器尺寸、摄像机高度和位置、图像分辨率以及其他合适的信息的摄像机信息,摄像机被放置在固定的位置处并且被定向为沿着固定的方向面向下方。在图像的远端选择了图像中一个或者多个明显的点,并且在相关联的地图上找到了对应的点。根据摄像机参数和参考点,计算了各种转换参数,以使之后基于单个参考点的图像坐标和地图坐标之间的转换成为可能。例如,这些转换参数包括转换矢量、旋转角以及倾斜角。如下更加详细地描述了这些参数的计算。
通过接受包括摄像机信息和参考点信息的输入数据,在校准模块44处开始了校准预处理。如上文所提到的,例如,摄像机信息包括视场、传感器尺寸、摄像机定位以及安装高度、图像分辨率等。参考点信息指的是被摄像机42捕获的图像内的选定点用图像坐标和地球体系坐标表示的位置。如本文所定义的,与摄像机有关的参数通过下列符号进行描述:
(Sw,Sh):分别为摄像机42的传感器的宽度和高度。
F:摄像机42的焦距(使用和传感器尺寸相同的单位来表示)。
(α,β):摄像机42的水平视场的一半和垂直视场的一半分别对应的角度。
(Iw,Ih):分别为被摄像机42捕获的图像的宽度和高度(用像素表示)。
(Pw,Ph):一个像素分别在宽度和高度上的尺寸(使用和传感器的尺寸相同的单位来表示)。
Ai、As、Ap:分别为图像、传感器和像素的纵横比。纵横比还进行如下定义:
Ai=Ih/Iw,As=Sh/Sw,Ap=Ph/Pw=(Sh/Ih)/(Sw/Iw)=As/Ai,以及As=Ai·Ap
与摄像机有关的参数可以作为输入提供给校准模块44,或者可选地,校准模块44可以基于其他已知的信息计算一个或者多个与摄像机有关的参数。例如,基于上文定义,参数(α,β)、(Iw,Ih)、(Sw,Sh)、(Pw,Ph)以及F呈现下列关系:
Sw=Iw·Pw,Sh=Ih/Ph tan ( α ) = S w 2 · F = I w · P w 2 · F 以及 tan ( β ) = S h 2 · F = I h · P h 2 · F .
因此,假设(Iw,Ih)、(Sw,Sh)、(Pw,Ph)是已知的,并且α和β中的一个是已知的,那么α和β中的另一个可以使用下列公式进行计算:
tan(β)=Ai·Ap·tan(α)=As·tan(α)
在上文的第一种情况中,给定了α,则β计算如下:
β=tan-1(Ai·Ap·tan(α))=tan-1(As·tan(α))
反之,给定了β,α计算如下:
α=tan-1[tan(β)/(Ai·Ap)]=tan-1[tan(β)/(As)]
给定上文摄像机参数,假设摄像机42利用变焦距的光学系统并且摄像机42的视场没有作为输入给出,则校准模块44可以按照下述计算摄像机42的视场。摄像机42的水平视场(HFOV)和垂直视场(VFOV)的计算是基于具有已知的图像坐标和地图坐标的两个参考点(本文被称为点1和点2或者P1和P2)、以及摄像机42的地图坐标来执行的。图4示出了地图坐标(Xm,Ym)和摄像机42、点1和点2的关于地图坐标的位置。这里,点1和点2被选择为图像列中心处的两个点。出于视场计算的目的,定义了下列参数:
(x1,y1):点1的地图坐标。
(x2,y2):点2的地图坐标。
(xc,yc):摄像机42的地图坐标。
(u0,v0):图像中心的图像坐标,例如,(u0,v0)=(Iw/2,Ih/2)。
(u0,v1):点1的图像坐标。
(u0,v2):点2的图像坐标。
h:摄像机的高度。
s:每地图像素的长度,其用与摄像机高度相同的单位进行定义。
在下列计算中假设v1<v2。此外,点1和点2被定义为位于地面,因此它们的三维地图坐标分别为(x1,y1,0)和(x2,y2,0)。类似地,摄像机的三维地图坐标为(xc,yc,h/s)。
根据上文,摄像机42的VFOV和HFOV计算如下。首先,角度∠P1CP2,也被标记为Δt,其中C标记摄像机42的点位置,其计算如下:
&Delta;t = cos - 1 ( ( x 1 - x c ) &CenterDot; ( x 2 - x c ) + ( y 1 - y c ) &CenterDot; ( y 2 - y c ) + h 0 2 ( x 1 - x c ) 2 + ( y 1 - y c ) 2 + h 0 2 &CenterDot; ( x 2 - x c ) 2 + ( y 2 - y c ) 2 + h 0 2 )
h0=h/s,
接着,如下定义并且求解了二次方程,以找到基于垂直方向的焦距Fv
Fv 2·tan(Δt)+Fv·(va-vb)+va·vb·tan(Δt)=0
va=v1-v0,vb=v2-v0
基于上文,VFOV和HFOV计算如下:
VFOV=2·tan-1(Ih/(2·Fv)),
HFOV=2·tan-1[tan(β)/(Ai·Ap)]=2·tan-1[tan(β)/(As)]。
除了摄像机42的HFOV和VFOV以外,校准模块44可以额外计算摄像机42的滚动角,本文被标记为r。在摄像机42不是水平的情况下,摄像机42的滚动角被定义为摄像机42的旋转角。图4示出了被摄像机42捕获的图像的中心列的地图坐标,例如,通过上文定义的点1和点2的线。基于这些点,滚动角r计算如下。首先,在点1和点2之间被标记为(Δx,Δy)的距离的x分量和y分量计算如下:
Δx=x1-x2,Δy=y1-y2
接着,计算了被标记为(x0,y0)的点P0的地图坐标。点(x0,y0)等价于图4中的点(x,y)。坐标使用下列公式进行计算:
x 0 = x c &CenterDot; ( &Delta;x ) 2 + ( y c - y 1 ) &CenterDot; &Delta;x &CenterDot; &Delta;y + x 1 &CenterDot; ( &Delta;y ) 2 ( &Delta;x ) 2 + ( &Delta;y ) 2 ,
y 0 = y 1 &CenterDot; ( &Delta;x ) 2 + ( x c - x 1 ) &CenterDot; &Delta;x &CenterDot; &Delta;y + y c &CenterDot; ( &Delta;y ) 2 ( &Delta;x ) 2 + ( &Delta;y ) 2 .
根据上文,滚动角采用从摄像机到摄像机图像相对地面的中心点的距离D01的函数来计算。如图4中示出的,距离D01对应Dc0。滚动角计算如下:
D 01 = s &CenterDot; ( x c - x 0 ) 2 + ( y c - y 0 ) 2 ,
r=tan-1(D01/h)。
使用上文的计算,校准模块44导出了转换参数,其可操作来将与目标位置(例如,被对象追踪模块46追踪的对象的定位)相关联的图像坐标变换成对应的地图坐标。例如,这些参数包括摄像机42相对参考点的旋转角φr和倾斜角θ0、旋转矩阵,等等。
通常,由校准模块44产生的转换参数负责全球地面坐标和对应的地图坐标之间的转换、旋转以及缩放关系。图5示出了全球地面坐标和地图坐标之间的这些关系。如上文提到的,由校准模块44产生的转换参数是基于单个参考点P进行计算的,因此,与传统的线性内插技术相比,降低了视频监控系统内的复杂度并且提高了其内的映射准确度。校准模块44如下确定转换参数,其基于如上文定义的摄像机高度h和每地图像素长度s,以及摄像机的地图坐标(mxc,myc)、点P的地图坐标(mxp,myp)和点P的图像坐标(up,vp)。
为了找到摄像机42的倾斜角θ0和旋转角φr,首先转换参考点的图像坐标(up,vp),以便相对位于(0,0)处的图像中心表示图像定位。该转换按照下述来执行:
up=up-(Iw/2),vp=vp-(Ih/2)。
接着,摄像机42的倾斜角θ0用从图像的中心到图像内的目标位置的分别标记为tp和qp的水平位移角和垂直位移角进行计算。该位移角首先基于下述获得:
F=Iw/(2·tan(α)),
tan(tp)=vp·Ap/F,
tp=tan-1(vp·Ap/F),
tan ( q p ) = u p F 2 + ( v p &CenterDot; A p ) 2 ,
cos ( q p ) = F 2 + ( v p &CenterDot; A p ) 2 F 2 + ( v p &CenterDot; A p ) 2 + u p 2 ,
本文利用的中间角t、q和p是参考本文在图6中定义的参考点示出的。如图6中所示的以及在该描述中利用的,角t对应tp并且角q对应qp
接着,分别被标记为Δx和Δy的摄像机和参考点之间的地图距离的x分量和y分量按照下述获得:
Δx=s·(mxp-mxc),Δy=s·(myp-myc)。
根据上文,如下获得了摄像机的倾斜角θ0
sin ( &theta; p ) = h / d p = h h 2 + &Delta; x 2 + &Delta; y 2 ,
&theta; 0 = sin - 1 ( sin ( &theta; p ) cos ( q p ) ) - t p ,
其中θp是在参考点处观察到摄像机的倾斜角以及dp是在摄像机和参考点之间的三维距离。
使用以上参数,如下可以类似地获得摄像机的旋转角φr
&phi; p = tan - 1 ( tan ( q p ) cos ( &theta; 0 + t p ) ) ,
&phi; mp = tan - 1 ( &Delta; x &Delta; y ) ,
φr=φpmp
其中,φr是在参考点处观察到的摄像机的旋转角,以及φmp是点P相对地图坐标系的y轴的旋转角。
根据旋转角φr,如下还产生了关于摄像机的旋转矩阵:
H = cos ( &phi; r ) - sin ( &phi; r ) sin ( &phi; r ) cos ( &phi; r ) .
如上文所描述的,校准模块44在校准过程期间计算摄像机42相对单个参考点的倾斜参数和旋转参数。然后,系统40可以利用这些参数来追踪被摄像机42捕获的图像内以及相关联的地图内的例如对象的位置的目标位置的定位。还如由图3示出的,对象追踪模块46识别摄像机图像内相对图像坐标系的对象位置或者其他目标位置。这里,该位置被标记为(u,v)。根据该图像位置,坐标转换模块48如下计算了对象的全球地面坐标(x,y)。假设全球地面坐标(x,y)位于地面,因此,坐标的z分量被假设为0并且本文为了简化将其省略了。
最初,坐标转换模块转变图像坐标系,这样图像中的点(0,0)从图像的角落被移动到图像的中心。这按照下述执行:
u=u-(Iw/2),
v=v-(Ih/2)。
一旦转换了图像的坐标系就根据以下操作计算目标位置的全球地面坐标(x,y):
F=Iw/(2·tan(α)),
tan(t)=v·Ap/F,
tan ( q ) = u / F 2 + ( v &CenterDot; A p ) 2 ,
y=h/tan(θ0+t),
x=h·tan(q)/sin(θ0+t)。
一旦计算了目标位置的全球地面坐标,就根据以下利用映射模块50来计算相关联的地图坐标:
m &OverBar; p = 1 s &CenterDot; H &CenterDot; w &OverBar; + m &OverBar; c ,
其中, m &OverBar; p = m xp m yp T , m &OverBar; c = m xc m yc T , 以及w=[x y]T
接着参考图7,且进一步参考图1-6,识别被例如摄像机12-16的摄像机捕获的图像内的位置的地图坐标的过程100包括示出的步骤。然而,过程100仅为实例并且不是限制性的。例如,通过添加、移除、重新排列、结合、和/或同时执行步骤,可以改变过程100。如所示的和所描述的过程160的其他改变仍是有可能的。过程100可以通过监控系统内的一个或者多个例如主机计算机系统30、位置服务器32、元数据服务器36、摄像机12-16等的实体来执行。可以采用硬件和/或软件执行过程100中描述的操作中的一个或者多个。
过程100在步骤102处开始,其中识别了与摄像机42的位置和高度有关的信息。在步骤104中,在摄像机42捕获的图像内选择具有已知的图像坐标和地图坐标的参考点。在步骤106中,根据摄像机的位置和高度以及参考点计算至少一个转换参数。这些参数可以包括倾斜参数、旋转参数和/或转换参数,并且可以基于上文提供的计算,通过校准模块44和/或其他合适的结构进行计算。
在步骤108中,通过对象追踪模块46等检测图像内将被追踪的目标位置(例如,对应于在图像内找到的对象)。在步骤110中,确定目标位置的图像坐标。在步骤112中,在步骤110中确定的目标位置的图像坐标和在步骤106中计算的转换参数被用来计算目标位置的地图坐标。在步骤112中执行的计算可以通过如上文所描述的坐标转换模块48、映射模块50等等或者采用任何其他合适的方式来执行。
为了执行主机计算机系统30、位置服务器32、元数据服务器36、用户终端36、校准模块44、坐标转换模块48、映射模块50、或者任何其他之前描述的计算机化的系统的功能,可以使用如图8中示出的计算机系统。图8提供了计算机系统200的示意图,所述计算机系统200可以执行由如本文所述的各种其他配置提供的方法,和/或充当主机计算机系统、远程亭/终端、销售点设备、移动设备、和/或计算机系统。图8提供了各种组件的一般性说明,可以视情况利用它们中的任意一个或者全部。因此,图8大体上说明了各个系统元件可以如何采用相对分离的或者相对更加集中的方式进行实施。
示出了包括可以通过总线205电耦合(或者除此以外可以视情况进行通信)的硬件元件的计算机系统200。硬件组件可以包括:一个或者多个处理器210,其包括但不限于一个或者多个通用处理器和/或一个或者多个专用处理器(例如,数字信号处理芯片、图像加速处理器、和/或等等);一个或者多个输入设备215,其可以包括但不限于鼠标、键盘和/或等等;以及一个或者多个输出设备220,其可以包括但不限于显示设备、打印机和/或等等。
计算机系统200还可以包括(和/或与其进行通信的)一个或者多个非暂时性存储设备225,其可以包含但不限于本地和/或网络可访问存储器、和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储设备、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储设备,其可以为可编程的、可更新闪存的和/或等等。这种存储设备可以被配置为实施任何适当的数据存储,包括但不限于各种文件系统、数据库结构、和/或等等。
计算机系统200还可能包括通信子系统230,其可以包括但不限于调制解调器、网卡(无线或者有线)、红外通信设备、无线通信设备和/或芯片组(例如,BluetoothTM设备、802.11设备、Wi-Fi设备、WiMax设备、蜂窝通信设施,等等),和/或等等。通信子系统230可以容许数据与网络(例如,下文为提出一个实例描述的网络)、其他计算机系统、和/或任何本文所描述的其他设备进行交换。在许多配置中,计算机系统200还将包含可以包括如上文所描述的RAM或者ROM设备的工作存储器235。
计算机系统200还可以包含软件组件,如当前正位于工作内存235内所示出的,其包括操作系统240、设备驱动器、可执行库、和/或例如一个或者多个应用程序245的其他代码,所述应用程序245可以包含由各种配置提供的计算机程序,和/或可以被设计为实施方法,和/或配置由本文所描述的其他配置提供的系统。仅通过实例的方式,所描述的关于上文所讨论的方法的一个或者多个过程可以用可被计算机(和/或计算机内的处理器)执行的代码和/或指令进行实施;然后,一方面,这种代码和/或指令可以被用来配置和/或适应通用计算机(或者其他设备),以执行一个或者多个依据所描述的方法的操作。
这些指令集和/或代码可能被存储在例如上文所描述的存储设备225的计算机可读存储介质上。在某些情况下,存储介质可能被并入到例如系统200的计算机系统内。在其他的配置中,存储介质可能从计算机系统分离(例如,诸如光盘的可移除介质),并且或者在安装包中提供,这样,利用存储在其上的指令/代码,存储介质可以被用来编程、配置和/或适应通用计算机。这些指令可能采取其是可通过计算机系统200执行的可执行代码的形式和/或可能采取源代码和/或可安装代码的形式,所述源代码和可安装代码一旦在计算机系统200上完成编译和/或安装(例如,使用各种通常可用的编译器、安装程序、压缩/解压工具等中的任意一种),然后就采取可执行代码的形式。
所描述的配置的大量变化可以依据特定的要求来做出。例如,还可能使用定制的硬件,和/或可能采用硬件、软件(包括例如小程序等的可移植软件)、或者两者实施具体的元件。此外,可以利用到其他例如网络输入/输出设备的计算设备的连接。
如上文提到的,一方面,某些配置可以利用计算机系统(例如,计算机系统200)来执行依据本发明的各种配置的方法。根据一组配置,这种方法的过程中的一些或者全部过程是由计算机系统200响应于处理器210执行的,所述处理器210执行一个或者多个在工作内存235中含有的一个或者多个指令序列(其可能被并入到操作系统240和/或例如应用程序245的其他代码)。这种指令可以从另一个例如存储设备225中的一个或者多个的计算机可读介质读入到工作内存235。仅通过实例的方式,工作内存235中含有的指令序列的执行可能引起处理器210执行本文所描述的方法的过程中一个或者多个。
本文所使用的术语“机器可读介质”和“计算机可读介质”指的是任何参与了提供引起机器以特定方式操作的数据的介质。在使用计算机系统200实施的实施方式中,各种计算机可读介质可能参与向处理器210提供用于执行的指令/代码,和/或可能被用来存储和/或携带这种指令/代码(例如,诸如信号)。在许多实施中,计算机可读介质是物理存储介质和/或有形存储介质。这种介质可以采取多种形式,包括但不限于非易失性介质、易失性介质以及传输介质。例如,非易失性介质包括例如存储设备225的光盘和/或磁盘。易失性介质包括但不限于例如工作内存235的动态存储内存。传输介质包括但不限于同轴电缆、铜线以及光纤,其包括组成总线205的线,以及通信子系统230的各种组件(和/或通信子系统230通过其提供与其他设备的通信的介质)。因此,传输介质也可以采取波的形式(包括但不限于例如那些在无线电波通信和红外数据通信期间产生的无线电波、声波和/或光波)。
例如,物理计算机可读介质和/或有形计算机可读介质的常见形式包括软盘、柔性磁盘、硬盘、磁带、或者任何其他的磁介质、CD-ROM、任何其他的光学介质、穿孔卡片、纸质磁带、任何其他的具有孔的模式的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他的内存芯片或者盒式磁盘、如下文描述的载波、或者任何计算机可以从其读取指令和/或代码的其他介质。
各种形式的计算机可读介质可以参与给处理器210携带一个或者多个用于执行的一个或者多个指令序列。仅通过实例的方式,指令最初可以通过远程计算机的磁盘和/或光盘携带。远程计算机可能将指令加载到其动态内存并且用传输介质上将被计算机系统200接收的和/或执行的信号发送指令。这些可能为电磁信号、声音信号、光学信号和/或等等的形式的信号全都是载波的实例,在载波上,可以依据本发明的各种配置编码指令。
通常通信子系统230(和/或其组件)将接收信号,并且总线205可能接着为工作内存235携带该信号(和/或由该信号携带的数据、指令,等等),处理器205从其取回指令并且执行指令。由工作内存235接收到的指令可以在被处理器210执行之前或者之后任意地在存储设备225上进行存储。
上文所讨论的方法、系统以及设备是实例。各种其他的配置可以视情况省略、替换或者添加各个过程或者组件。例如,在其他的方法中,可以采用不同于上文所讨论的顺序执行各步骤,并且可以添加、省略或者结合各个步骤。同样,关于一定配置描述的多个特征可以采用各种其他的配置结合。配置的不同方面和元件可以采用类似的方式结合。同样,技术在发展,因此,所述元件中的许多是实例并且没有限制本公开或者权利要求的范围。
在描述中给出了特定的细节,以提供对示例配置(包括实施)的透彻的理解。然而,没有这些特定细节也可以实现配置。例如,众所周知的电路、处理、算法、结构以及技术已经被证明不需要细节,以避免使配置变得难懂。该描述仅提供示例配置,并且没有限制该权利要求的范围、适用性或者配置。而是,该配置的上述描述将给本领域中的那些技术人员提供使能实施所描述的技术的描述。可以在元件的功能中以及对其排列做出各种改变,而没有背离本公开的精神或者范围。
此外,上述描述的细节技术在安保摄像机系统的背景下。然而,本文所描述的系统和方法可以适用于其他形式的摄像机系统。
同样,可以用被描绘为流程图或者框图的过程描述配置。虽然每个都可以用顺序的过程描述操作,但是所述操作中的许多可以平行执行或者同时执行。此外,操作的顺序可以被重新排列。过程可以具有没有包括在图中的额外的步骤。此外,该方法的实例可以通过硬件、软件、固件、中间软件、微代码、硬件描述语言或者其中的任何组合来实施。当采用软件、固件、中间软件或者微代码实施时,执行必要任务的程序代码或者代码段可以被存储在例如存储介质的非暂时性计算机可读介质中。处理器可以执行所描述的任务。
如本文所使用的、权利要求中包括的、如项列表中使用的由“至少一个”为引语的“or(或者)”表明分离性的列表,因此,例如,“A、B、或者C中的至少一个”的列表表示A或者B或者C,或者AB或者AC或者BC或者ABC(即,A和B和C),或者具有多于一个特征的组合(例如,AA、AAB、ABBC等)。
已经描述了几个示例配置,可以使用各种修改、其他的结构以及等同物,而没有背离本公开的精神。例如,上述元件可以为更大系统的组件,其中其他的规则可以优先于或者修改本发明的应用。同样,可以在考虑上述元件之前、期间或者之后进行大量的步骤。因此,上述描述没有限制该权利要求的范围。

Claims (22)

1.一种识别被摄像机(42)捕获的图像内的位置的地图坐标的方法,所述方法包含:
在所述图像内选择具有已知的图像坐标和地图坐标的参考点;
根据所述摄像机的位置和高度以及所述参考点计算至少一个转换参数;
检测所述图像内将被追踪的目标位置;
确定所述目标位置的图像坐标;以及
基于所述目标位置的图像坐标和所述至少一个转换参数,计算所述目标位置的地图坐标。
2.如权利要求1所述的方法,其中所述至少一个转换参数包含所述摄像机相对于所述参考点的旋转角和倾斜角。
3.如权利要求2所述的方法,其中计算所述目标位置的地图坐标包含计算从所述图像的中心到所述图像内的目标位置的水平位移角和垂直位移角。
4.如权利要求3所述的方法,其中计算所述目标位置的地图坐标包括基于所述水平位移角、所述垂直位移角、所述摄像机(42)的位置和高度、所述旋转角以及所述倾斜角,确定所述目标位置相对于基于地球的坐标系的定位。
5.如权利要求4所述的方法,其中计算所述至少一个转换参数包括至少部分基于所述旋转角计算旋转矩阵。
6.如权利要求5所述的方法,其中与所述摄像机的位置和高度有关的信息包括所述摄像机(42)的地图坐标,并且其中计算所述目标位置的地图坐标还包括基于所述旋转矩阵、所述摄像机(42)的地图坐标、以及所述参考点的地图坐标来计算所述目标位置的地图坐标。
7.如权利要求1所述的方法,其中所述目标位置是在所述图像中检测到的对象的位置,并且其中所述方法还包括追踪所述对象的图像坐标和地图坐标。
8.如权利要求1所述的方法,其中所述摄像机(42)包括变焦距光学系统,并且其中计算所述至少一个转换参数包括:
识别所述摄像机的焦距;以及
基于与所述摄像机(42)的焦距相关联的水平视场和垂直视场,计算所述至少一个转换参数。
9.一种目标坐标转换系统(40),包括:
摄像机(42),其被配置为捕获图像,其中所述摄像机(42)具有已知的位置和高度,且关于所述图像定义了一图像坐标系;
校准模块(44),其被通信耦合到所述摄像机(42)并且被配置为识别所述图像内的具有已知的图像坐标和地图坐标的参考点以及根据所述摄像机(42)的位置和高度以及所述参考点计算至少一个转换参数;
对象追踪模块(46),其被通信耦合到所述摄像机(42)并且被配置为选择所述图像内的目标位置以及识别所述目标位置的图像坐标;以及
坐标转换模块(48),其被通信耦合到所述校准模块(44)和所述对象追踪模块(46),并且被配置为基于所述目标位置的图像坐标以及所述至少一个转换参数,计算所述目标位置的地图坐标。
10.如权利要求9所述的系统,其中所述至少一个转换参数包括所述摄像机(42)相对于所述参考点的旋转角和倾斜角。
11.如权利要求10所述的系统,其中所述坐标转换模块(48)还被配置为计算从所述图像的中心到所述图像内的目标位置的水平位移角和垂直位移角。
12.如权利要求11所述的系统,其中所述坐标转换模块(48)还被配置为基于所述水平位移角、所述垂直位移角、所述摄像机(42)的位置和高度、所述旋转角以及所述倾斜角,确定所述目标位置相对于基于地球的坐标系的坐标。
13.如权利要求12所述的系统,其中:
所述校准模块(44)还被配置为至少部分基于所述旋转角计算旋转矩阵;以及
所述系统还包括映射模块(50),该映射模块被通信耦合到所述坐标转换模块(48)并且被配置为识别所述摄像机(42)的地图坐标以及基于所述旋转矩阵、所述摄像机(42)的地图坐标和所述参考点的地图坐标计算所述目标位置的地图坐标。
14.如权利要求9所述的系统,其中:
所述摄像机(42)包括变焦距光学系统;以及
所述校准模块(44)还被配置为识别所述摄像机(42)的焦距并且基于与所述摄像机(42)的焦距相关联的水平视场和垂直视场,计算所述至少一个转换参数。
15.一种用于识别与捕获的图像内的位置对应的地图坐标的系统(40),所述系统包括:
摄像机(42),其被配置为捕获图像,其中所述摄像机(42)具有已知的位置和高度,且关于所述图像定义了一图像坐标系;
校准装置(44),其被通信耦合到所述摄像机(42),以便选择所述图像内的具有已知的图像坐标和地图坐标的参考点并且根据所述摄像机(42)的位置和高度以及所述参考点计算至少一个转换参数;
追踪装置(46),其被通信耦合到所述摄像机(42),以便检测所述图像内的目标位置并且确定所述目标位置的图像坐标;以及
映射装置(48,50),其被通信耦合到所述校准装置(44)和所述追踪装置(46),以便基于所述目标位置的图像坐标以及所述至少一个转换参数,计算所述目标位置的地图坐标。
16.如权利要求15所述的系统,其中所述至少一个转换参数包括所述摄像机(42)相对于所述参考点的旋转角和倾斜角。
17.如权利要求16所述的系统,其中所述映射装置(48,50)还被配置为计算从所述图像的中心到所述图像内的目标位置的水平位移角和垂直位移角,并且基于所述水平位移角、所述垂直位移角、所述摄像机(42)的位置和高度、所述旋转角以及所述倾斜角,确定所述目标位置相对于基于地球的坐标系的定位。
18.如权利要求17所述的系统,其中:
所述校准装置(44)还被配置为至少部分基于所述旋转角计算旋转矩阵;以及
所述映射装置(48,50)还被配置为识别所述摄像机(42)的地图坐标并且基于所述旋转矩阵、所述摄像机(42)的地图坐标以及所述参考点的地图坐标计算所述目标位置的地图坐标。
19.如权利要求15所述的系统,其中:
所述摄像机(42)包括变焦距光学系统;以及
所述校准装置(44)还被配置为识别所述摄像机(42)的焦距并且基于与所述摄像机(42)的焦距相关联的水平视场和垂直视场,计算所述至少一个转换参数。
20.一种位于处理器可执行的计算机存储介质(225)上的计算机程序产品,所述计算机程序产品包括被配置为引起处理器(210)下述行为的处理器可执行的指令:
识别与摄像机(42)有关的信息以及关于被所述摄像机(42)捕获的图像的图像坐标系;
选择所述图像内的具有已知的图像坐标和地图坐标的参考点;
根据所述摄像机(42)的位置和高度以及所述参考点计算至少一个转换参数;
检测所述图像内将被追踪的目标位置;
确定所述目标位置的图像坐标;以及
基于所述目标位置的图像坐标和所述至少一个转换参数,计算所述目标位置的地图坐标。
21.如权利要求20所述的计算机程序产品,其中:
所述至少一个转换参数包括所述摄像机(42)相对于所述参考点的旋转角和倾斜角;以及
被配置为引起所述处理器(210)计算所述目标位置的地图坐标的指令被配置为引起所述处理器(210):
计算从所述图像的中心到所述图像内的目标位置的水平位移角和垂直位移角;以及
基于所述水平位移角、垂直位移角、所述摄像机(42)的位置和高度、所述旋转角以及所述倾斜角,确定所述目标位置相对于基于地球的坐标系的定位。
22.如权利要求21所述的计算机程序产品,其中:
被配置为引起所述处理器(210)计算所述至少一个转换参数的指令被配置为引起所述处理器(210)至少部分基于所述旋转角计算旋转矩阵;
与所述摄像机(42)的位置和高度有关的信息包括所述摄像机(42)的地图坐标;以及
被配置为引起所述处理器(210)计算所述目标位置的地图坐标的指令被配置为引起所述处理器(210)基于所述旋转矩阵、所述摄像机(42)的地图坐标、以及所述参考点的地图坐标,计算所述目标位置的地图坐标。
CN201280063959.9A 2011-12-22 2012-12-14 图像坐标和地图坐标之间的转换 Active CN104081433B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/335,442 2011-12-22
US13/335,442 US9749594B2 (en) 2011-12-22 2011-12-22 Transformation between image and map coordinates
PCT/US2012/069740 WO2013096120A1 (en) 2011-12-22 2012-12-14 Transformation between image and map coordinates

Publications (2)

Publication Number Publication Date
CN104081433A true CN104081433A (zh) 2014-10-01
CN104081433B CN104081433B (zh) 2017-08-01

Family

ID=47436273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280063959.9A Active CN104081433B (zh) 2011-12-22 2012-12-14 图像坐标和地图坐标之间的转换

Country Status (4)

Country Link
US (1) US9749594B2 (zh)
EP (1) EP2795576A1 (zh)
CN (1) CN104081433B (zh)
WO (1) WO2013096120A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847751A (zh) * 2016-04-14 2016-08-10 清华大学 基于地图的全局监控方法及装置
CN105865327A (zh) * 2015-01-22 2016-08-17 成都飞机工业(集团)有限责任公司 基于变焦照片的相对位置的测量方法
CN106033612A (zh) * 2015-03-09 2016-10-19 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置和系统
CN107113403A (zh) * 2015-12-09 2017-08-29 空间情报技术 利用多个立体摄像头的拍摄对象空间移动跟踪系统
CN107239333A (zh) * 2017-05-24 2017-10-10 歌尔科技有限公司 应用切换处理方法和装置
CN109345599A (zh) * 2018-11-16 2019-02-15 厦门博聪信息技术有限公司 一种地面坐标与ptz摄像机的坐标转换方法及系统
CN109377529A (zh) * 2018-11-16 2019-02-22 厦门博聪信息技术有限公司 一种地面坐标与ptz摄像机的画面坐标转换方法、系统以及装置
CN109509233A (zh) * 2018-11-16 2019-03-22 厦门博聪信息技术有限公司 一种基于rfid标签位置信息的ptz摄像机目标跟踪方法、系统及装置
CN111060946A (zh) * 2018-10-17 2020-04-24 三星电子株式会社 用于估计位置的方法和装置
CN111586303A (zh) * 2020-05-22 2020-08-25 浩鲸云计算科技股份有限公司 基于无线定位技术的摄像机动态跟踪路面目标的控制方法和装置
CN113590878A (zh) * 2021-07-28 2021-11-02 宜宾中星技术智能系统有限公司 在视频画面上规划路径的方法、装置、终端设备
CN114963025A (zh) * 2022-04-19 2022-08-30 深圳市城市公共安全技术研究院有限公司 泄漏点定位方法、装置、电子设备及可读存储介质
CN115100026A (zh) * 2022-06-15 2022-09-23 佳都科技集团股份有限公司 基于目标对象的标签坐标转换方法、装置、设备及存储介质
WO2023035296A1 (en) * 2021-09-07 2023-03-16 Hong Kong Applied Science and Technology Research Institute Company Limited A camera calibration method

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
US10769913B2 (en) * 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
EP2860970A4 (en) * 2012-06-08 2016-03-30 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING, PROGRAM AND MONITORING CAMERA SYSTEM
EP2870748A4 (en) * 2012-07-06 2016-03-09 H4 Eng Inc AUTOMATIC TRACKING SYSTEM FOR REMOTELY CONTROLLED VIEWING APPARATUS
JP6226538B2 (ja) 2013-03-15 2017-11-08 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP6226539B2 (ja) * 2013-03-15 2017-11-08 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
CN103856762A (zh) * 2014-01-26 2014-06-11 孙培梁 多摄像头智能选择和视频优先级判断系统及选择方法
CN103777614B (zh) * 2014-01-27 2017-03-01 富盛科技股份有限公司 一种闭路监控前端维护智能辅助系统及其实现方法
AU2015256153B2 (en) * 2014-05-05 2020-04-23 Caliber Imaging & Diagnostics, Inc. System and method for mapping the locations of captured confocal images of a lesion in skin tissue
JP6205070B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 カメラの初期位置設定方法、カメラ及びカメラシステム
CN105049800A (zh) * 2015-07-10 2015-11-11 崔时泓 一种服务器及目标移动摄像机的控制系统
CN105956586B (zh) * 2016-07-15 2019-06-11 瑞胜科信息(深圳)有限公司 一种基于tof 3d摄像机的智能跟踪系统
CN106060485B (zh) * 2016-07-29 2019-10-18 浙江宇视科技有限公司 一种监控设备联动方法及装置
US10165256B2 (en) 2016-09-14 2018-12-25 Amazon Technologies, Inc. Aerial vehicle optical sensor configuration
US10630962B2 (en) * 2017-01-04 2020-04-21 Qualcomm Incorporated Systems and methods for object location
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
EP3419283B1 (en) 2017-06-21 2022-02-16 Axis AB System and method for tracking moving objects in a scene
EP3419284A1 (en) 2017-06-21 2018-12-26 Axis AB System and method for tracking moving objects in a scene
RU2679200C1 (ru) * 2018-04-10 2019-02-06 ООО "Ай Ти Ви групп" Способ и система отображения данных с видеокамеры
US10950003B2 (en) * 2018-03-29 2021-03-16 Pelco, Inc. Method of aligning two separated cameras matching points in the view
CN110619807B (zh) * 2018-06-20 2022-12-02 北京京东尚科信息技术有限公司 生成全局热力图的方法和装置
CN108898633A (zh) * 2018-07-02 2018-11-27 成都精位科技有限公司 目标物定位方法及装置
CN109120849B (zh) * 2018-09-19 2020-09-18 安徽文香信息技术有限公司 一种用于微课跟踪的智能拍摄方法
CN111159455A (zh) * 2018-11-08 2020-05-15 宏碁股份有限公司 判断位置的方法以及定位系统
CN111275823B (zh) * 2018-12-05 2024-05-03 杭州海康威视系统技术有限公司 一种目标关联数据展示方法、装置及系统
US10748032B1 (en) * 2019-01-31 2020-08-18 StradVision, Inc. Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
CN109933096B (zh) * 2019-03-15 2021-11-30 国网智能科技股份有限公司 一种云台伺服控制方法及系统
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
CN111355926B (zh) * 2020-01-17 2022-01-11 高新兴科技集团股份有限公司 全景摄像机与ptz摄像机的联动方法、存储介质及设备
CN113218361B (zh) * 2020-01-21 2023-02-17 上海汽车集团股份有限公司 摄像机测距方法及装置
CN111369441B (zh) * 2020-03-09 2022-11-15 稿定(厦门)科技有限公司 文字处理方法、介质、设备及装置
CN114078325B (zh) * 2020-08-19 2023-09-05 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
CN112629342B (zh) * 2020-10-30 2023-10-03 西北工业大学 弹体姿态角测量方法
CN113075636B (zh) * 2021-04-02 2022-06-24 中国人民解放军海军航空大学 量测点的平行线坐标变换及微弱目标检测方法
CN113194257A (zh) * 2021-04-29 2021-07-30 高新兴科技集团股份有限公司 一种利用gnss坐标纠正ptz摄像机姿态的方法
CN114782555B (zh) * 2022-06-20 2022-09-16 深圳市海清视讯科技有限公司 地图映射方法、设备、及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US6898298B1 (en) * 1999-09-08 2005-05-24 Fujitsu Limited Installing posture parameter auto extracting method of imaging device, and monitoring system using the imaging device
CN101650176A (zh) * 2009-08-28 2010-02-17 浙江工业大学 基于主动立体全方位视觉的交通事故现场测绘仪
US7920959B1 (en) * 2005-05-01 2011-04-05 Christopher Reed Williams Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987136A (en) 1997-08-04 1999-11-16 Trimble Navigation Ltd. Image authentication patterning
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7151562B1 (en) 2000-08-03 2006-12-19 Koninklijke Philips Electronics N.V. Method and apparatus for external calibration of a camera via a graphical user interface
US7574045B2 (en) * 2001-07-27 2009-08-11 Matrox Electronic Systems Ltd. Model-based recognition of objects using a calibrated image system
US7103236B2 (en) * 2001-08-28 2006-09-05 Adobe Systems Incorporated Methods and apparatus for shifting perspective in a composite image
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
CA2559726C (en) * 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US9361943B2 (en) * 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US8189962B2 (en) * 2006-12-19 2012-05-29 Hitachi Kokusai Electric Inc. Image processing apparatus
US8368695B2 (en) * 2007-02-08 2013-02-05 Microsoft Corporation Transforming offline maps into interactive online maps
US20090018769A1 (en) * 2007-07-11 2009-01-15 Anthony Andrew Poliak Remote Entry Navigation System
DE102007053812A1 (de) * 2007-11-12 2009-05-14 Robert Bosch Gmbh Konfigurationsmodul für ein Videoüberwachungssystem, Überwachungssystem mit dem Konfigurationsmodul, Verfahren zur Konfiguration eines Videoüberwachungssystems sowie Computerprogramm
US8315477B2 (en) * 2007-11-14 2012-11-20 Integraph Software Technologies Company Method and apparatus of taking aerial surveys
JP5092722B2 (ja) * 2007-12-07 2012-12-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4678404B2 (ja) * 2007-12-27 2011-04-27 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP4735693B2 (ja) * 2008-09-22 2011-07-27 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
SG172972A1 (en) * 2009-01-28 2011-08-29 Bae Systems Plc Detecting potential changed objects in images
US20110007134A1 (en) * 2009-07-13 2011-01-13 Raytheon Company Synchronizing video images and three dimensional visualization images
US8417062B2 (en) * 2009-10-19 2013-04-09 Ut-Battelle, Llc System and method for stabilization of fisheye video imagery
US8577604B1 (en) * 2010-07-07 2013-11-05 Google Inc. System and method of determining map coordinates from images
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898298B1 (en) * 1999-09-08 2005-05-24 Fujitsu Limited Installing posture parameter auto extracting method of imaging device, and monitoring system using the imaging device
US6757445B1 (en) * 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
US7920959B1 (en) * 2005-05-01 2011-04-05 Christopher Reed Williams Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera
CN101650176A (zh) * 2009-08-28 2010-02-17 浙江工业大学 基于主动立体全方位视觉的交通事故现场测绘仪

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105865327A (zh) * 2015-01-22 2016-08-17 成都飞机工业(集团)有限责任公司 基于变焦照片的相对位置的测量方法
CN106033612B (zh) * 2015-03-09 2019-06-04 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置和系统
CN106033612A (zh) * 2015-03-09 2016-10-19 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置和系统
US10281554B2 (en) 2015-03-09 2019-05-07 Hangzhou Hikvision Digital Technology Co., Ltd. Method, device and system for target tracking
CN107113403A (zh) * 2015-12-09 2017-08-29 空间情报技术 利用多个立体摄像头的拍摄对象空间移动跟踪系统
CN105847751A (zh) * 2016-04-14 2016-08-10 清华大学 基于地图的全局监控方法及装置
CN107239333A (zh) * 2017-05-24 2017-10-10 歌尔科技有限公司 应用切换处理方法和装置
CN107239333B (zh) * 2017-05-24 2020-10-09 歌尔科技有限公司 应用切换处理方法和装置
CN111060946A (zh) * 2018-10-17 2020-04-24 三星电子株式会社 用于估计位置的方法和装置
CN109345599A (zh) * 2018-11-16 2019-02-15 厦门博聪信息技术有限公司 一种地面坐标与ptz摄像机的坐标转换方法及系统
CN109509233A (zh) * 2018-11-16 2019-03-22 厦门博聪信息技术有限公司 一种基于rfid标签位置信息的ptz摄像机目标跟踪方法、系统及装置
CN109345599B (zh) * 2018-11-16 2020-09-15 厦门博聪信息技术有限公司 一种地面坐标与ptz摄像机的坐标转换方法及系统
CN109377529A (zh) * 2018-11-16 2019-02-22 厦门博聪信息技术有限公司 一种地面坐标与ptz摄像机的画面坐标转换方法、系统以及装置
CN109377529B (zh) * 2018-11-16 2021-05-14 厦门博聪信息技术有限公司 一种地面坐标与ptz摄像机的画面坐标转换方法、系统以及装置
CN111586303A (zh) * 2020-05-22 2020-08-25 浩鲸云计算科技股份有限公司 基于无线定位技术的摄像机动态跟踪路面目标的控制方法和装置
CN113590878A (zh) * 2021-07-28 2021-11-02 宜宾中星技术智能系统有限公司 在视频画面上规划路径的方法、装置、终端设备
CN113590878B (zh) * 2021-07-28 2023-11-17 宜宾中星技术智能系统有限公司 在视频画面上规划路径的方法、装置、终端设备
WO2023035296A1 (en) * 2021-09-07 2023-03-16 Hong Kong Applied Science and Technology Research Institute Company Limited A camera calibration method
CN114963025A (zh) * 2022-04-19 2022-08-30 深圳市城市公共安全技术研究院有限公司 泄漏点定位方法、装置、电子设备及可读存储介质
CN114963025B (zh) * 2022-04-19 2024-03-26 深圳市城市公共安全技术研究院有限公司 泄漏点定位方法、装置、电子设备及可读存储介质
CN115100026A (zh) * 2022-06-15 2022-09-23 佳都科技集团股份有限公司 基于目标对象的标签坐标转换方法、装置、设备及存储介质
CN115100026B (zh) * 2022-06-15 2023-07-14 佳都科技集团股份有限公司 基于目标对象的标签坐标转换方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP2795576A1 (en) 2014-10-29
WO2013096120A1 (en) 2013-06-27
CN104081433B (zh) 2017-08-01
US9749594B2 (en) 2017-08-29
US20130162838A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN104081433A (zh) 图像坐标和地图坐标之间的转换
KR101749017B1 (ko) 주변 정보를 이용하는 스피드-업 탬플릿 매칭
US20220319183A1 (en) System for tracking and visualizing objects and a method therefor
US9641814B2 (en) Crowd sourced vision and sensor-surveyed mapping
US9304970B2 (en) Extended fingerprint generation
KR101645613B1 (ko) 주변 정보에 기초한 포즈 추정
US10049455B2 (en) Physically-constrained radiomaps
EP3593324B1 (en) Target detection and mapping
CN103270540A (zh) 使用摄像机网络跟踪运动对象
US20140019179A1 (en) Forestry and Urban Forestry Project Tracking
CN105339758A (zh) 使用重叠区域优化光束法平差
US20140074733A1 (en) Photograph initiated appraisal process and application
JP6917936B2 (ja) 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム
US11619698B2 (en) Method and terminal for controlling power plant
CN114299390A (zh) 一种确定维修部件演示视频的方法及装置、安全帽
CN113345028A (zh) 一种确定目标坐标变换信息的方法与设备
JP2022104516A (ja) 人工知能基盤の衛星画像を利用した教育サービス提供方法及び装置
EP3860163B1 (en) Matching location-related information with name information of points of interest
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices
US10157189B1 (en) Method and computer program for providing location data to mobile devices
US9911190B1 (en) Method and computer program for generating a database for use in locating mobile devices based on imaging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant