CN110324575A - 多相机跟踪 - Google Patents

多相机跟踪 Download PDF

Info

Publication number
CN110324575A
CN110324575A CN201910249894.0A CN201910249894A CN110324575A CN 110324575 A CN110324575 A CN 110324575A CN 201910249894 A CN201910249894 A CN 201910249894A CN 110324575 A CN110324575 A CN 110324575A
Authority
CN
China
Prior art keywords
camera
camera equipment
amo
equipment
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910249894.0A
Other languages
English (en)
Inventor
G.V.霍弗
D.K.坎贝尔
K.梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelgow Co
Pelco Inc
Original Assignee
Pelgow Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelgow Co filed Critical Pelgow Co
Publication of CN110324575A publication Critical patent/CN110324575A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种方法，包括处理至少一个第一相机设备上的视频流以识别可动作运动对象(AMO)。使至少一个第一相机设备或与其通信的计算机系统将与所识别的AMO相关联的元数据发送到至少一个第二相机设备。响应于元数据动态地控制至少一个第二相机设备的观察区域，以使至少一个第二相机设备能够跟踪和聚焦于所识别的AMO中的至少一个。

Description

多相机跟踪
相关申请的交叉引用
本申请要求于2018年3月29日提交的序列号为62/650237的美国临时申请(CLO-0180-US-PSP)的优先权，并且该申请通过引用整体并入本文。
技术领域
本公开通常涉及相机设备，并且更具体地，涉及与多相机跟踪及用于多相机跟踪的相机校准相关的系统和方法。
背景技术
相机用于各种应用中。一个示例应用是在监控应用中，其中相机用于监视室内和室外地点。相机网络可用于监视给定区域，如商业建筑的内部和外部部分(例如，停车场)。
发明内容
本文描述的是与多相机跟踪和多相机跟踪中使用的相机设备的校准有关的系统和方法。更具体地，在一个方面，根据本公开的方法包括处理至少一个第一相机设备(或相机)上的视频流以识别可动作运动对象(AMO)。至少一个第一相机被使得生成与所识别的AMO相关联的元数据并将其发送到至少一个第二相机设备(或相机)。另外，响应于元数据动态地控制至少一个第二相机的观察区域，以使至少一个第二相机能够跟踪和聚焦于(或监视)所识别的AMO中的至少一个。
该方法可以单独地或与其他特征组合以包括以下特征中的一个或多个。动态地控制至少一个第二相机设备的观察区域可以包括动态地控制至少一个第二相机设备的平移倾斜变焦(PTZ)运动。至少一个第一相机设备可以安装在第一地点，并且至少一个第二相机设备可以安装在与第一地点不同的第二地点。第二地点可以在第一地点的远端。在实施例中，至少一个第二相机设备的总的观察区域必须与至少一个第一相机设备的观察区域的至少一部分重叠。总的观察区域可以对应于至少一个第二相机设备可访问的总的观察区域，而不仅仅是至少一个第二相机设备被引导从而及时看向一个点观察区域。至少一个第一相机设备可以是(或包括)宽视场相机。宽视场相机设备可以具有固定的观察区域。至少一个第二相机设备可以是(或包括)平移倾斜变焦相机。
由至少一个第二相机设备跟踪和聚焦的所识别的AMO中的至少一个可以对应于所识别的AMO中的物理上最大的对象。由至少一个第二相机设备跟踪和聚焦的所识别的AMO中的至少一个可以对应于所识别的AMO中的最快移动对象。由至少一个第二相机设备跟踪和聚焦的所识别的AMO中的至少一个可以对应于所识别的AMO中到至少一个第二相机设备的最近对象。由至少一个第二相机设备跟踪和聚焦的所识别的AMO中的至少一个可以对应于所识别的AMO中到至少一个第二相机设备的最远对象。应当理解，由至少一个第二相机设备跟踪和聚焦的所识别的AMO中的至少一个不限于上述对象类型。而是，至少一个第二相机设备可以基于其他对象特征(如，类型(车辆、人等)、颜色等)来跟踪和聚焦于所识别的AMO。
在实施例中，来自至少一个第一相机设备的分析信息可用于控制至少一个第二相机设备。所述至少一个第一相机设备可以是(或包括)具有固定观察的宽视场相机。另外，至少一个第二相机设备可以是(或包括)PTZ相机。可以调整PTZ相机以基于所识别的AMO的大小和/或速度放大场景并提供“极高”细节。在实施例中，该处理是完全自动的并且在没有任何手动控制(例如，用户交互)的情况下操作。
本发明的一个独特特征是其提供了用于以下一般情况的自动跟踪：(a)至少一个第一相机设备和至少一个第二相机设备安装在完全不同的地点，以及(b)至少一个第一相机设备和至少一个第二相机设备提供场景的不同视图。在实施例中，本发明提供了用于至少一个第二相机设备的自动操作器，以利用来自至少一个第二相机设备的极端放大率，例如无需用户专心于控制至少一个第二相机设备。例如，来自至少一个第一相机设备的视频流可以被处理并用于控制至少一个第二相机设备的平移、倾斜、变焦运动，从而使得至少一个第二相机设备能够放大并提供在视频流中识别的一个或多个可动作运动对象的高度详细视图。
在实施例中，本发明不要求至少一个第一相机设备和至少一个第二相机设备在同一外壳中并且位于基本相同的位置。更具体地，在实施例中，如果至少一个第一相机设备和至少一个第二相机设备安装在相同位置，或者如果至少一个第一相机设备和至少一个第二相机设备是“广泛(widely)”分离的，本发明仍然适用。另外，在实施例中，本发明与现有的相机一起工作，因此，不需要“专门(special)”相机设备，例如，其中至少一个第一相机设备和至少一个第二相机设备设置在同一外壳中。
在实施例中，本发明不需要用户交互。更具体地，在实施例中，本发明不要求用户观察来自至少一个第一相机设备的视频馈送、识别视频馈送中的移动对象、或控制至少一个第二相机设备(例如，利用鼠标或操纵杆)以放大场景。然而，应当理解，在一些实施例中，可以提供用户覆盖设置，例如，以选择来自至少一个第一相机设备的视图中的所识别的对象中的哪一个被跟踪。
在实施例中，本发明提供了一种用于至少一个第一相机设备与至少一个第二相机设备通信的方法，并且提供了一种用于至少一个第二相机设备从至少一个第一相机设备接收描述了分析检测的元数据信息的方法。在一些实施例中，元数据信息由至少一个第二相机设备直接从至少一个第一相机设备接收。
在实施例中，至少一个第一相机设备可以执行AMO分析检测并将AMO位置转换为相对于至少一个第二相机设备的坐标，并且将这些坐标作为移动命令传送到至少一个第二相机。在这样的实施例中，更多的处理功能已经从至少一个第二相机设备移动到至少一个第一相机设备。换句话说，不必限制哪个相机必须做什么-而是，功能可以以各种方式来实现(例如，取决于相机设备或与其通信的计算机系统的处理能力)。
在实施例中，本发明可以与现有的相机(例如，来自派尔高(Pelco)公司的相机)一起工作，并且不需要使用专用相机。
在实施例中，本发明提供了一种使用来自至少一个第一相机设备的分析来控制至少一个第二相机设备的PTZ运动的方法，例如，以跟踪由至少一个第一相机设备所识别的至少一个可动作运动对象。在实施例中，跟踪(这里有时称为“多相机跟踪”)适用于位于相同位置(例如，彼此在一米之内)的相机设备，并且适用于位于非常不同的位置、甚至相距数百米的相机设备。另外，在实施例中，即使相机设备安装在地面上方的不同高度处，和/或如果检测到运动所在的地平面不平行于相机安装，则跟踪也适用。在实施例中，即使检测到其他对象(例如，通过至少一个第一相机设备或至少一个第二相机设备)，至少一个第二相机设备被配置为跟随(或跟踪)由至少一个第一相机设备所识别的第一可动作运动对象，例如，在所谓的“粘滞跟随模式”中。另外，在实施例中，至少一个第二相机设备被配置为跟随所识别的可动作运动对象中的物理上最大的对象、所识别的可动作运动对象中的最快移动对象、所识别的可动作运动对象中到至少一个第一相机设备或至少一个第二相机设备的最近对象，和/或所识别的可动作运动对象中到至少一个第一相机设备或至少一个第二相机设备的最远对象。
在实施例中，多相机跟踪允许至少一个第一相机设备通信并向多个相机设备提供分析信息，使得至少一个第二相机设备(例如，相机2、...相机N)将对场景中由至少一个第一相机设备检测到的对象进行跟踪。在实施例中，所述至少一个第二相机设备中的第一个(或更多个)可以跟踪所识别的可动作运动对象中的物理上最大的对象，所述至少一个第二相机设备中的第二个(或更多个)可以跟踪所识别的可动作运动对象中的最快移动对象。此外，至少一个第二相机设备可以根据每个对象与至少一个第二相机设备中的每一个的相对距离来跟踪最近对象，该最近对象可能是不同的对象。
在实施例中，例如，跟踪将不会开始，直到所识别的可动作运动对象已经移动了预定距离，使得诸如在风中摇曳的树木之类的小运动不会触发跟踪。在一个实施例中，将会仅跟踪移动的车辆和人。在一些实施例中，预定距离可以是用户配置的，并且存储在至少一个第一相机设备的存储设备上和/或至少一个第二相机设备的存储设备上。在实施例中，预定距离(以及与跟踪有关的其他信息)也可以存储在本地或远离至少一个第一相机设备和至少一个第二相机设备的服务器上。
在实施例中，至少一个第一相机设备和/或至少一个第二相机设备将接近另一个对象的任何所检测的对象分组为同一组，以提供该组的视图而不是仅放大一个对象。
在实施例中，本文还提供了用于校准至少一个第一相机设备和至少一个第二相机设备的系统和方法，例如，以允许转换计算和优化跟踪准确度。在一个实施例中，一种用于校准多个相机设备的方法包括处理至少一个第一相机设备上的视频流，并识别视频流中的一个或多个校准点或对象。使至少一个第一相机设备将与一个或多个校准点或对象相关联的坐标信息发送到至少一个第二相机设备。该方法还包括处理至少一个第二相机设备上的视频流并识别一个或多个校准点或对象。使至少一个第二相机设备生成与一个或多个校准点或对象相关联的坐标信息。该方法还包括基于对从至少一个第一相机设备接收的坐标信息相对于由至少一个第二相机设备生成的坐标信息的评估，来确定至少一个第一相机设备到至少一个第二相机设备的相对地点。基于所确定的至少一个第一相机设备到至少一个第二相机设备的相对地点来校准至少一个第一相机设备和至少一个第二相机设备。在实施例中，由至少一个第二相机设备所识别的校准点或对象是与由至少一个第一相机设备所识别的相同的校准点或对象。在一些实施例中，用户经由与相机设备相关联的网页来执行校准点的识别。在其他实施例中，校准点的识别由相机设备执行。
该方法可以包括基于对从至少一个第一相机设备接收的坐标信息相对于由至少一个第二相机设备生成的坐标信息的评估，来确定至少一个第一相机设备和至少一个第二相机设备的倾斜或安装误差。由至少一个第二相机设备生成的信息。校准至少一个第一相机设备和至少一个第二相机设备可以包括确定倾斜/安装偏移和相机设备的相对地点。
该方法可以包括在至少一个第一相机设备和至少一个第二相机设备之间建立通信路径。该方法可以包括在预定时间段之后或响应于预定条件的发生而重复该方法。预定条件可以包括检测至少一个第一相机设备和至少一个第二相机设备中的至少一个的未对准或位置改变。该方法可以包括响应于用户输入而重复该方法。所述至少一个第一相机设备和所述至少一个第二相机设备均可包括处理器和存储器存储设备。
在一个实施例中，该方法(或校准过程)通过匹配来自每个相机设备的场景中的点来确定每个相机设备的位置和方向。该方法还可以包括在至少一个第一相机设备的视图中识别至少一个第二相机设备的地点的点，反之亦然，只要该配置使得每个相机设备对于另一个相机设备可见。
在实施例中，校准过程确定对空间中的位置(例如，X,Y,Z)以及至少一个第一相机设备和至少一个第二相机设备的方向角度进行描述的六个(或更多或更少的)自由度，以启用多相机跟踪。在实施例中，校准过程通过简单地匹配每个相机设备的视图中的四个点而不是需要精确测量来提供位置和方向。
在实施例中，校准过程确定对至少一个第一相机设备和至少一个第二相机设备的位置和方向进行描述的多个参数。在一个实施例中，多个参数包括两个参数。在一个实施例中，多个参数包括四个参数。在一个实施例中，多个参数包括八个参数。应当理解，基本上任何数量的参数可用于描述至少一个第一相机设备和至少一个第二相机设备的位置和方向。例如，参数的数量可以基于应用和期望的准确度。
在实施例中，校准过程确定对观察相同地区的部分的两个分离的相机设备的位置和方向进行描述的十二个自由度。另外，在实施例中，校准过程仅需要用户在来自两个相机设备的视频中匹配四个点以驱动校准过程。在实施例中，例如，如果用户仅能够匹配两个或三个点，则校准过程仍然提供对准(或校准)的近似。在实施例中，校准过程向用户提供关于对准“质量”的反馈，其中质量是位置和方向的准确度的度量。在实施例中，提供了一种易于使用的计算机或用户界面，以用于指引用户完成选择点的处理并在视频上或通过视频显示点以向用户展示该选择。
附图说明
结合附图解释各种示例实施例的描述。
图1是根据本公开的示例性实施例的示例性视频监控系统(video surveillancesystem，VSS)的组件、系统和/或设备的概述，该VSS包括用于监视一个或多个地点的多个相机设备。
图2示出了包括一起安装在同一底座上的至少一个第一相机设备和至少一个第二相机设备的示例系统。
图3示出了包括分离地安装的至少一个第一相机设备和至少一个第二相机设备的示例系统。
图4示出了包括分离地安装的至少一个第一相机设备和至少一个第二相机设备的另一示例系统。
图5示出了第一相机设备和第二相机设备的坐标系的示例以及诸如全局参考坐标系之类的参考坐标，其参考地区或区域中的VSS系统，如图2-4中的示例所示。
图6示出了根据本公开的示例性实施例的用于对准一个相机设备相对于另一个相机设备的地点的x,y,z坐标系中的对准(或校准)参数的示例。
图7示出了根据本公开的示例性实施例的示例处理，通过该处理可以校准(或对准)两个或更多的相机设备以用于多相机跟踪应用。
图8示出了根据本公开的另一示例性实施例的示例处理，通过该处理可以校准两个或更多的相机设备以用于多相机跟踪应用。
图9示出了根据本公开的示例性实施例的示例处理，通过该处理第一相机设备可以动态地驱动或控制一个或多个第二相机设备。
图10至图15示出了根据本公开的示例性实施例的第一和第二相机设备的观察区域的示例，其中第一相机设备可以动态地驱动或控制第二相机设备以跟踪和聚焦于(或监视)(多个)移动对象。
图16至图30示出了根据本公开的示例性实施例的示例计算机或用户界面，通过其设置两个或更多的相机设备以用于多相机校准和跟踪。
图31是根据本公开的示例性实施例的计算机系统的示例组件的框图。
具体实施方式
现在将更具体地描述本文寻求保护的概念、系统和技术的特征及其他细节。应当理解，本文描述的任何特定实施方案通过举例说明的方式显示，而不是作为本公开和本文描述的概念的限制。在不脱离要寻求保护的概念的范围的情况下，可以在各种实施例中采用本文描述的主题的特征。
提供系统和方法以实现多相机跟踪应用，其中第一相机设备可以直接或间接地控制或驱动一个或多个第二相机设备来跟踪和聚焦于(多个)移动对象监控系统。这种移动对象在本文可称为可动作运动对象(actionable motion object,AMO)。多相机跟踪可以通过相机设备上的自动操作器而自动实现。用于(多个)相机设备的自动操作器可以利用PTZ相机的极端放大，而无需用户专心于控制相机设备。例如，来自第一相机设备(例如，宽视场相机)所捕获的图像的分析信息可用于自动地控制或驱动一个或多个第二相机设备(例如，(多个)PTZ相机)，以提供不同的视图或跟踪不同的(多个)对象。分析信息可以是来自第一相机设备的运动检测分析，或者是根据从第一相机设备捕获的视频进行处理，然后分析信息可以用于驱动或控制(多个)第二相机设备。该跟踪处理在相机设备之间可以是完全自动的，可以在没有任何手动控制的情况下操作，和/或可以独立于来自VSS的管理系统的任何控制。自动操作器还可以为两个相机设备安装在完全不同的地点的一般情况提供自动的(或自动)跟踪，并提供场景的不同视图。
为了实现多相机跟踪，第一和第二相机设备被对准(或校准)，例如，第二相机设备的地点相对于第一相机设备对准，或反之，这取决于哪个相机设备是受驱动相机设备或驱动相机设备。这使得一个相机设备上的位置和方向能够转换到另一个相机设备上的相应位置和方向。相应地，本文提供了系统和方法以对准(或校准)一个或多个第二相机设备相对于一个或多个第一相机设备的地点，或反之。公开了一种用于确定对空间(X，Y，Z)中的位置和至少两个相机设备之间的方位角进行描述的六个自由度的简单对准方法，以实现多相机跟踪。例如，可以通过匹配每个相机设备的视图中的一个或多个共同(或匹配)校准点来确定位置和方向信息，而不是需要手动测量，其中手动测量可能是劳动密集型的，特别是当一般配置许多相机设备以进行跟踪时。可以提供图形用户界面(GUI)以便于链接相机设备用于自动操作，并且用户从每个相机设备的显示视图中选择这些共同校准点以进行对准和链接用于自动操作。要识别的共同校准点的数量可以取决于相机设备的相机安装配置、与安装的相机设备的地点相关联的已知或估计的相机参数，和/或其他因素。
下面将参考附图更详细地描述这些特征和其他特征。
I.多相机系统环境：
参考图1，示出了用于监视一个或多个内部或外部地区或区域(如，例如设施的停车场)的示例视频监控系统(VSS)100的概述。VSS 100可以包括一个或多个计算机系统110、诸如(多个)显示设备之类的(多个)输出设备112、存储器114、(多个)输入设备116以及可以在不同系统配置中使用有线和/或无线通信来进行通信的多个相机设备120。在该示例中，相机设备120可以经由(多个)网关/路由器130跨越一个或多个网络140彼此通信并且与计算机系统100通信。网络140可以是有线和/或无线网络，其使用例如物理和/或无线数据链路在网络节点之中(或之间)承载网络数据。
每个相机设备120可以包括用于捕获静态图像或视频以用于存储或流式传输(例如，实时流式传输)的(多个)图像传感器。相机设备120可以是圆顶型相机、子弹型相机或其他类型的相机，具有可以包括如全景视图、平移倾斜变焦(pan-tilt-zoom，PTZ)、运动(或对象)检测及跟踪和/或其他可用的相机功能之类的广角视图的特征。相机设备120还可以包括(多个)处理器、存储器和用于进行有线或无线通信的通信设备，如，例如通过(多个)网络140。相机设备120可以被配置为执行各种操作，包括捕获、存储、视频处理(例如，编码和运动/对象检测及跟踪)，和/或发送静态图像或视频(如，以视频流的形式)，和/或生成分析信息(如，与AMO的检测及跟踪相关的分析信息)并将其发送到VSS 100上的其他相机设备120或计算机系统。相机设备120还可以被配置为响应于从计算机系统110、其他相机设备120或VSS100中的其他计算机系统接收的控制命令或其他信息，在手动控制或自动控制下改变它们的观察区域。相机设备120还可以被配置为维护或访问对准信息，如它们相对于一个或多个其他相机设备120的地点，并且执行本文所述的其他处理和特征。包括广角/全景观察和运动/对象检测的相机设备120可以是来自派尔高(Pelco)公司的OpteraTM系列相机中的相机。具有PTZ功能的相机设备120可以是来自派尔高(Pelco)公司的Spectra或Espirit系列相机中的相机。相机设备120也可以是IP型相机，以便于通过因特网对其进行访问。
计算机系统110可以是具有一个或多个处理器的数据/控制处理系统。计算机系统110通过一个或多个处理器，可以被配置为控制或执行或便于与VSS100上的视频管理相关联的各种操作的执行，所述操作包括但不限于：使用相机设备120监视一个或多个地点；(经由控制命令或信号，或其他信息)管理、控制或便于相机设备120包括PTZ或观察区域功能的操作、捕获的图像和视频和其他相关数据的存储/传输、相机链接和校准及其他相机功能；控制视频和其他信息在(多个)显示设备112或其他输出设备上的呈现；从相机设备120和VSS 100中的其他系统接收视频和其他信息；从(多个)输入设备116接收用户输入；以及本文描述的其他操作。计算机系统110可以是独立式处理系统或包括多个计算机系统的分布式处理系统。
(多个)输出设备112可以是用于显示信息的任何输出设备，所述信息例如本文描述的图像、视频或包括警报等的其他数据。(多个)输出设备112还可以显示(多个)图形用户界面或GUI。输出设备112可以是监视器、显示面板、投影仪或其他显示设备。
存储器114可以存储应用或程序，所述应用或程序在由计算机系统110的一个或多个处理器执行时，控制计算机系统110的操作，包括本文所述的那些操作。例如，存储器114可以存储应用或程序(如，(多个)相机链接应用)，以便于如本文所述的多相机校准和跟踪的设置和操作。存储器114还可以存储其他数据，包括图像、用于流式传输的视频、用于相机设备120的对准/校准信息、阈值或条件、用于运动/对象检测的分析参数、与来自相机设备120的捕获的视频流相关的实时和历史数据、或本文描述的其他数据。还可以通过VSS 100上的相机设备120或其他计算机系统来存储和实现(多个)相机链接应用。
(多个)输入设备116可以包括任何的用户输入设备，如鼠标、跟踪球、麦克风、触摸屏、操纵杆、控制台、键盘/小键盘(pad)、触摸屏或可由用户操作的其他设备。在一些实施例中，输入设备116可用于操作或控制任何一个相机设备120；用于启动、执行或重新启动校准/对准处理(包括选择共同的校准点)；用于输入信息；或用于控制计算机系统110、相机设备120或VSS100上的其他系统的其他操作，包括本文所述的那些操作。
简单地提供图1中所示的VSS系统环境作为系统配置的一个示例。可以通过云计算或其他计算机系统配置，经由与相机设备的交互来直接或间接地设置、管理和实现相机链接、校准/对准和/或自动操作器(或操作)的特征。
下面参考图2、3和4描述各种示例相机安装配置。参考图2，示出了根据本公开的示例系统，该系统包括至少一个第一相机设备210和至少一个第二相机设备220。在该示例中，至少一个第一相机设备210和至少一个第二相机设备220耦接到底座230(这里是同一个底座230)并且定位成监视底座230耦接到的商业建筑240的停车场的一个或多个区域。在实施例中，至少一个第一相机设备210和至少一个第二相机设备220可以通过局域网链接到计算机系统(如，服务器)，其中可以存储由至少一个第一相机210和至少一个第二相机220记录的视频(或图像)。服务器可以是本地服务器(例如，在商业建筑240的房屋部署(premise)上)，或者是远程服务器(例如，基于云的服务器)。连接到局域网或互联网的用户可以观察记录的视频(或图像)以及任何事件数据(如果用户有权访问)。
相机设备210、220中的每一个可以包括处理器，该处理器可以被配置为提供多种功能。例如，相机处理器可以对由相机设备210、220捕获的视频流执行图像处理，如运动检测。另外，相机处理器可以操作为网络节点以与局域网的其他节点通信，该局域网可以链接至少一个第一相机设备210和至少一个第二相机设备220(或以其他方式建立二者之间的通信路径)。
在实施例中，至少一个第一相机设备210被配置为处理至少一个第一相机设备210上的视频流，以识别监控场景中的可动作运动对象(AMO)。例如，AMO可以对应于一个或多个人或车辆。
在实施例中，至少一个第一相机设备210还被配置为将与所识别的AMO相关联的元数据发送到至少一个第二相机220。例如，至少一个第一相机设备210可以通过局域网发送元数据，该局域网可以链接至少一个第一相机设备210和至少一个第二相机设备220。元数据可以包括关于所识别的AMO的坐标和/或其他识别信息。
在实施例中，响应于元数据动态地控制至少一个第二相机设备220的观察区域，以使得至少一个第二相机设备220能够跟踪和聚焦于(或监视)所识别的AMO中的至少一个。动态地控制至少一个第二相机设备220的观察区域可以例如包括动态地控制至少一个第二相机120的平移倾斜变焦(PTZ)运动。
参考图3，示出了根据本公开的另一示例系统，该系统包括安装在不同地点的至少一个第一相机设备310和至少一个第二相机设备340。至少一个第一相机设备310耦接到底座320，该底座320耦接到商业建筑360的停车场中的灯杆330。另外，至少一个第二相机设备340耦接到底座350，该底座350耦接到商业建筑360。与上面结合图2讨论的示例系统类似，图3中示出的示例系统的至少一个第一相机设备310和至少一个第二相机设备340各自定位以监视商业建筑停车场的一个或多个区域。另外，类似于上面结合图2讨论的示例系统，至少一个第一相机设备310可以被配置为处理至少一个第一相机设备310上的视频流以识别商业建筑停车场中的AMO。至少一个第一相机设备310还可以被配置为将与所识别的AMO相关联的元数据发送到至少一个第二相机设备340，并且可以响应于该元数据来动态地控制至少一个第二相机设备340的观察区域，以使得至少一个第二相机设备340能够跟踪和聚焦于所识别的AMO中的至少一个。
参考图4，示出了根据本公开的另一示例系统，其中示出了具有相同附图标记的图3的相同元件。在所示实施例中，该系统包括至少一个第一相机设备310和至少一个第二相机设备(这里是相机设备340、370)。至少一个第一相机设备310耦接到底座320，该底座320耦接到商业建筑360的停车场中的灯杆330。另外，至少一个第二相机设备中的第一个(这里是相机设备340)耦接到底座350，该底座350耦接到商业建筑360的第一区域，并且至少一个第二相机设备中的第二个(这里是相机设备370)耦接到底座380，该底座380耦接到商业建筑360的第二区域。在实施例中，相机设备340被配置为监视商业建筑停车场的第一区域。另外，在实施例中，相机设备370被配置为监视商业建筑停车场的第二区域。相机设备310可以处理元数据并将其发送到相机设备340和370。
在实施例中，系统可以将至少一个第一相机设备(例如，图2中所示的210)的全半球观察能力与至少一个第二相机设备(例如，图2中所示的220)的平移、倾斜和变焦能力组合。至少一个第一相机设备可以检测运动，并且将与检测到的运动相关联的信息发送到至少一个第二相机设备，例如，以用于至少一个第二相机设备提供检测到的运动(更具体地，是可动作运动对象)的近距离视图。
在实施例中，至少一个第一相机设备和至少一个第二相机设备可以安装在同一个底座上，例如，如图2所示。另外，在实施例中，至少一个第一相机设备和至少一个第二相机设备可以安装在分离的底座上，例如，如图3和4所示。
在实施例中，来自至少一个第一相机设备的运动分析可以引导多个第二相机设备，以允许每个第二相机设备提供不同的视图或跟踪不同的对象，例如，如图4所示。
在实施例中，从网页(或另一界面装置)完成校准以对准至少一个第一相机设备和至少一个第二相机设备。例如，可以使用一次性安装和设置，并且可以从相机设备的网页完成。在实施例中，不需要尺寸、CAD模型、蓝图。对于相机设备来说确定每个相机设备的地点可能所需要的全部仅仅是安装者匹配多个点。
II.转换和对准：
多相机跟踪可以使用来自第一相机设备或与第一相机设备相关联的分析信息(如，运动分析信息)来驱动或控制一个或多个第二相机设备。举例来说，第一相机设备可以是具有固定观察的宽视场相机，以及第二相机设备可以是PTZ(平移倾斜变焦)相机，其中PTZ被调整以放大场景并提供明显较高甚至是极高的细节。为了设置和执行多相机跟踪，可以实施两种方法(或处理)，如转换方法和对准方法。转换方法可以从第一相机设备获取分析信息，如，例如以平移和倾斜坐标的角度的形式，并将该角度变换为运动平面中的坐标。然后可以将这些坐标变换为平移、倾斜角度和变焦位置以控制第二相机设备。对准方法(也称为“校准”方法或处理)可以使用来自两个相机设备的视频信息(如，图像或视频流)，以确定两个相机设备的几何形状(如，空间位置和/或方向)，以便能够将坐标从一个相机设备转换到另一个相机设备。这两种方法都可以处理两种相机设备安装在完全不同的地点并提供场景的不同视图的一般情况，以及其他相机配置。
转换方法可以涉及多个坐标系的使用。例如，一个坐标系可以是参考坐标系或Ref系(Xt,Yt,Zt)，也称为全局系。参考坐标系固定到世界，并且所有运动都在这个坐标系中。此外，在示例实施例中，可以在转换方法中使用简化，因为在Ref系的Yt＝0平面上考虑所有运动。每个相机设备也可以映射到两个附加坐标系(如下所述)。在此示例中，所有坐标系均为右手的，并且所有角度均是看向单个轴对逆时针(CCW)方向为正。Ref系的Yt轴垂直于地面，其中正值指向天空。
对于两个相机设备的设置，可以存在五个坐标系，例如Ref系、用于第一相机设备的两个坐标系以及用于第二相机设备的两个坐标系。五个坐标系的示例可包括以下内容：
·(Xt,Yt,Zt)＝固定到世界的整体参考坐标或全局系(“t”表示跟踪)。所有运动都发生在Yt＝0平面上。Yt垂直于地表，其中正值指向天空。
·(Xnp,Ynp,Znp)＝第一相机设备的坐标系。该坐标系可以参考一组多个镜头(例如，四个镜头)，或者参考用于第一相机设备的广角相机的单个镜头。该坐标系参考以第一相机设备的中心点为中心的点(0,0,0)，但由于该组镜头可能在相机万向架(gimbal)上倾斜，因此轴Xnp、Ynp和Znp通常不会平行于Xt、Yt、Zt轴。
·(Xp,Yp,Zp)＝也以第一相机设备为中心的另一坐标系，其中点(0,0,0)以第一相机设备为中心。然而，该坐标系与Xt,Yt,Zt系平行，例如，Xp平行于Xt，Yp平行于Yt，以及Zp平行于Zt。该坐标系也可以被认为是第一相机设备的相机底座的坐标系。
·(Xns,Yns,Zns)＝第二相机设备的坐标系。该坐标系参考第二相机设备本身。对于第二相机设备，其参考中心点处的点(0,0,0)，如圆顶型相机中的圆顶的中心点。与第一相机设备一样，轴Xns、Yns、和Zns通常不与Xt、Yt、Zt轴平行。
·(Xs,Ys,Zs)＝以第二相机设备为中心的另一坐标系，其中点(0,0,0)以圆顶型相机中的圆顶的中心点为中心。然而，该坐标系与Xt,Yt,Zt系平行。该坐标系也可以被认为是第二相机设备的底座系。
在图5中示出以上五个坐标系统中的三个的示例，其中第一相机设备安装到设施中的建筑的顶角，并且第二相机设备安装在设施的停车场中的杆上(参见例如图4中的相机设备340和310)。如图5所示，Ref系(Xt,Yt,Zt)固定到世界，并且所有运动都可以跟踪到该参考坐标系中。可以将分离的坐标系固定到每个相机设备，例如，坐标系(Xp,Yp,Zp)用于第一相机设备，以及坐标系(Xs,Ys,Zs)用于第二相机设备。
为了将来自第一相机设备的坐标转换成第二相机设备上的坐标，需要每个相机设备相对于Ref系的位置/方向。在一个示例中，例如，每个相机设备的位置/方向可以表示为六个自由度(如，三个位置(例如，X、Y和Z)和对应于围绕每个位置轴的旋转的三个角度)中的对准参数。该对准参数例如可以包括针对第一相机设备和第二相机设备中的每个的以下六个参数，如下：
第一相机设备
·Hp＝运动平面上方的相机高度(例如，正值)
·Ap＝相机Xt位置
·Bp＝相机Zt位置
·βxp＝相机相对于Ref系围绕Xt轴的倾斜旋转
·βzp＝相机相对于Ref系围绕Zt轴的倾斜旋转
·βyp＝相机相对于Ref系围绕Yt轴的平移旋转
第二相机设备
·Hs＝运动平面上方的相机高度(例如，正值)。
·As＝相机Xt位置
·Bs＝相机Zt位置
·βxs＝相机相对于Ref系围绕Xt轴的倾斜旋转
·βzs＝相机相对于Ref系围绕Zt轴的倾斜旋转
·βys＝相机相对于Ref系围绕Yt轴的平移旋转
对准参数对于特定的相机安装是固定的，并且不会改变。一旦对准参数(在该示例中为十二(12)对准参数)是已知的，就可以从第一相机设备的平移和倾斜位置转换到第二相机设备的平移和倾斜位置。然而，可以存在更多或更少的用于校准相机设备的对准参数。下面将更详细地描述确定这些参数的对准方法的示例。
A.转换函数-从相机到Ref系：
在该部分中，描述了用于转换方法的转换函数的示例，以将相机设备的(例如，从运动检测获得的)平移和倾斜值转换到参考坐标系中的位置。例如，第一相机设备可以检测具有平移角度和倾斜角度的运动，这些角度与相机设备相对应。转换函数可以从第一相机设备获取平移和倾斜值，并将它们变换为Ref系的参考平面中的X,Y,Z位置。如果需要，该位置可以显示在地图上(例如，监视的地区或区域的地图)。下面将进一步描述该函数的反函数，以在参考平面中获取X,Y位置并计算相机设备(例如，第二相机设备)的平移和倾斜值以观察该位置。
出于解释的目的，转换函数(例如，(X,Y,Z)＝f(θ,φ))将相机设备(例如，第一相机设备)的平移和倾斜位置/角度(θ,φ)转换到参考平面(X,Y,Z)的操作的示例可以包括七个操作步骤，其描述如下：
操作可以以相机设备的平移和倾斜角度开始。这些角度与相机设备本身有关，并且可表示为：
·θnp＝平移(Pan)＝0°至360°或-180°<平移<180°的范围。平移角度是围绕Ynp轴的旋转，并且在看向相机Ynp轴时对逆时针或CCW旋转为正。
·φnp＝倾斜(Tilt)＝范围(-90°<倾斜<+90°)。倾斜角度是从Ynp＝0平面测量的，其中-90°通常指向地面，而0°通常是沿地平线观察。
平移和倾斜角度可以被认为是指定从原点(例如，相机设备的中心点)开始并且与运动平面中的运动点相交的射线。该射线还与以原点为中心的半径为1的球面(例如，单位球面)相交。单位球面上的点(Xnp,Ynp,Znp坐标系)来自于将球面变换为笛卡尔坐标(例如，单位球面R＝1)。
Xnp＝R cosφnp cosθnp
Znp＝-R cosφnpsin θnp
Ynp＝R sin φnp
然后可以将该点转换到新的旋转坐标系(Xp,Yp,Zp)。例如，(Xp,Yp,Zp)坐标系仍然以相机设备为中心，然而该坐标系是旋转的，使得三个轴平行于参考坐标系的三个轴(例如，旋转被给定为βxpβypβzp)。该转换的一种方法可以使用利用3x3矩阵旋转Tp的矩阵乘法：
如果矩阵数学函数不可用，则可以将表达式相乘以给出下式：
其中：
T11＝cosβzp cosβyp
T12＝-cosβzp sinβyp
T13＝sinβzp
T21＝cosβxp sinβyp+sinβxp sinβzp cosβyp
T22＝cosβxp cosβyp-sinβxp sinβzp sinβyp
T23＝-sinβxp cosβzp
T31＝sinβxp sinβyp-cosβxp sinβzp cosβyp
T32＝sinβxp cosβyp+cosβxp sinβzp sinβyp
T33＝cosβxp cosβzp
使用这些值给出单位球面上的点的坐标，但是利用平行坐标系来给出。该点指定单位球面上的点，而不是运动平面中的点。
Xp1＝T11Xnp+T12Znp+T13Ynp
Zp1＝T21Xnp+T22Znp+T23Ynp
Yp1＝T31Xnp+T32Znp+T33Ynp
为了确定运动平面中的点，首先将单位球面点变换为球面坐标以在Xp,Yp,Zp坐标系中给出平移和倾斜角度。这些是相对于与运动平面坐标系平行的平移和倾斜角度。
θp＝-atan2(Zp1,Xp1)
φp＝atan2(Yp1,sqrt(Xp1 2+Zp1 2))
可以采用替代方法来近似平移和倾斜值。例如，如果安装倾斜βxp、βyp很小并且平移偏移βxp＝0，则下式是对φp的更简单近似。
φp＝φnp–tan-1[tanβyp cos(θnp-βyp)+tanβxp sin(θnp-βyp)]
对于小的角度，该近似可以提供与上述矩阵方法几乎相同的结果。
再次，平移和倾斜角度可以被认为是指定从相机设备的中心点延伸并且与运动平面(Yt＝0)相交的射线。利用Xp,Yp,Zp坐标系中的运动平面确定针对该射线的交点。首先，从相机设备到运动平面交点确定直线距离。此后，使用沿着角度的距离，确定运动的Xp,Yp,Zp坐标。值得注意的是，这是我们除以角度的正弦的地方。)
Rp＝-Hp/sinφp,如果φp<0°
Rp＝无穷,如果φp>0°(如果该角度为零或正，则该点处于或高于地平线，距离相机设备无限远。)
Xp＝Rp cosφp cosθp
Zp＝-Rp cosφpsinθp
Yp＝Rp sinφp
最后，相机设备的平行平面中的点被转换为Ref系中的坐标：
Xt＝Xp+Ap
Zt＝Zp+Bp
Yt＝Yp+Hp＝0
以上描述了转换方法中使用的转换函数的一个示例方法。应当理解，可以采用转换函数的变型或其他转换方法来将坐标从相机设备变换到Ref系或运动平面。
B.反转换函数-从Ref系到相机：
在该部分中，描述了用于转换方法的反转换函数的示例，以将参考坐标系或运动平面中的位置转换为相机设备的平移和倾斜值，以便观察该位置。
用于反转换函数的操作可以以运动平面(Xt,Yt,Zt)中的点Xt,Yt,Zt开始。由于这是在平面中，该点是(Xt,0,Zt)。
然后可以将该点转换到坐标系(Xs，Ys，Zs)。例如，该坐标系以第二相机设备为中心，并且其轴平行于运动平面的轴，因此转换可能仅需要减去第二相机设备相对于运动平面的位置。
Xs＝Xt–As
Zs＝Zt–Bs
Ys＝Yt–Hs＝-Hs
使用第二相机设备的旋转矩阵，该点转换到(Xns,Yns,Zns)系：
其中这是第二相机设备的旋转矩阵的逆。
如果矩阵数学函数不可用，则可以将表达式相乘以给出下式：
其中：
T11＝cosβys cosβzs
T12＝cosβys sinβzs sinβxs+sinβys cosβxs
T13＝-cosβys sinβzscosβxs+sinβys sinβxs
T21＝-sinβys cosβzs
T22＝-sinβys sinβzs sinβxs+cosβys cosβxs
T23＝sinβys sinβzscosβxs+cosβys sinβxs
T31＝sinβzs
T32＝-cosβzs sinβxs
T33＝cosβzs cosβxs
使用以下值：
Xns＝T11Xs+T12Zs+T13Ys
Zns＝T21Xs+T22Zs+T23Ys
Yns＝T31Xs+T32Zs+T33Ys
最后，将该点变换为球面坐标以确定第二相机设备观察运动平面中的点所需的平移和倾斜角度。应当注意，这些角度是相对于第二相机设备的机身的，因为这些角度处于安装倾斜坐标系(Xns,Yns,Zns)中。
θns＝Pan＝-atan2(Znx,Xns)
φns＝Tilt＝atan2(Yns,sqrt(Xns 2+Zns 2))
以上描述了用于转换方法的反转换函数的一个示例方法。应当理解，可以采用反转换函数的变型或其他反转换方法来将坐标从Ref系或运动平面变换为相机设备的坐标。
C.对准函数：
在该部分中，描述了用于对准方法的对准函数的示例，以将从第一相机设备捕获的视频中的对象与第二相机设备中的相同对象进行匹配，以便确定两个相机设备相对于运动平面(例如，参考平面)的几何位置和方向。
如先前所讨论的，总共十二(12)个参数的对准参数(如，例如六个自由度)可用于描述每个相机设备相对于参考坐标系的方向。这些参数对于特定安装是固定的，并且不会改变。一旦确定，这些参数都是恒定的值。这些参数只需要在安装相机设备时确定一次。如前所述，在该示例中，针对总共12个未知参数每个相机设备可以具有三个位置及三个角度。
第一相机设备
Hp＝运动平面上方的相机高度(例如，正值)
Ap＝相机Xt位置
Bp＝相机Zt位置
βxp＝相机相对于Ref系围绕Xt轴的倾斜旋转
βzp＝相机相对于Ref系围绕Zt轴的倾斜旋转
βyp＝相机相对于Ref系围绕Yt轴的平移旋转
第二相机设备
Hs＝运动平面上方的相机高度(例如，正值)。
As＝相机Xt位置
Bs＝相机Zt位置
βxs＝相机相对于Ref系围绕Xt轴的倾斜旋转
βzs＝相机相对于Ref系围绕Zt轴的倾斜旋转
βys＝相机相对于Ref系围绕Yt轴的平移旋转
确定对准参数的一种方法是安装者使用测量工具(如，经纬仪、水平仪和卷尺)来确定参数，然后将它们输入并存储在VSS的(多个)相机设备或其他系统上。然而，这种方法可能非常繁琐且具有挑战性，因为需要具有度数分数公差的测量。
本文提供了系统和方法以实现用于确定两个或更多的相机设备的对准参数的明显更简便且用户友好的方法。该系统和方法可以在没有任何测量工具的情况下实现，并且可以通过诸如网络界面之类的可以与两个相机设备通信和交互的用户界面来实现。安装者可以观察来自两个相机设备的视频(例如，图像或视频流)，并根据安装配置(例如，共同安装、分离安装等)、所需的校准准确度、估计和其他相机系统配置信息来匹配一个或多个共同校准点。
在校准之前，十二个对准参数的值是未知的。在一个示例中，第一相机设备的X和Z地点(X,Z)可以设置为0,0并且第一相机设备的高度可以设置为1。第一相机设备的平移旋转可以被定义为0，或与参考系的x轴对准。这剩下了需要通过校准处理来确定的八个未知数(参见，例如图6，其中四个参数被分配固定值，而其余八个参数未知，并且它们的值显示为“？”)。每个相机设备的四个相应校准点可用于确定其余的八个未知对准参数。在四个共同校准点匹配之后，系统和方法可确定对准参数(例如，十二个参数)以实现两个相机跟踪。如下提供用于执行第一和第二相机设备的对准(或校准)的操作示例。
在一个示例中，控制第一和第二相机设备的观察区域重叠，并且来自相机设备的视频显示在显示设备上。用户(如，安装者)可以观察从第一和第二相机设备捕获的视频，并通过用户界面(例如，GUI)选择一个或多个共同校准点。在该示例中，用户可以从第一和第二相机设备捕获的显示视频中为每个相机设备选择地平面上的四个共同校准点。例如，用户可以在显示屏上移动光标以(使用输入设备)指向并选择在第一相机设备的显示视频上的所需共同校准点和随后在第二相机设备的显示视频上的所需共同校准点，或反之。用户可以采用在两个相机设备的视频中均显示的共同对象或特征，以提供从中选择共同点(例如，标志、灯或其他标杆、路缘、街道标记、停放的车辆、树木或其他植物特征，或其他对象和特征)的参考框。在该示例中，共同校准点位于运动平面上，该运动平面是将被跟踪的对象底部的平面。通常，运动平面将是监控场景的地面或地板。下面将在校准链接设置示例中进一步描述更详细的示例。
从所选择的四个共同校准点，可以生成八对平移和倾斜值，例如，来自每个相机设备的四对平移和倾斜值如下：
θ1n,φ1n＝平移角度，倾斜角度，相机1，点n＝1到4
θ2n,φ2n＝平移角度，倾斜角度，相机2，点n＝1到4
使用先前描述的变换方法，可以将这八个平移倾斜角度变换为参考平面中的八个X,Y,Z点。由于在该示例中针对参考平面定义了Y＝0，因此所有点都具有Y＝0。该变换方法可以根据变换函数(X,0,Z)＝f(θ,φ)为每个相机设备生成四对X,Z值。每个X和Z值都是平移和倾斜角度以及未知数的函数：
X1n,0,Z1n＝相机1，点n＝1到4
X2n,0,Z2n＝相机1，点n＝1到4
由于用户可以仔细观看每个视频并匹配这些点，因此从第一相机设备确定的X值与第二相机设备的X值匹配。Z值也是如此。这提供了具有12个未知数的8个方程。
X11＝X21
X12＝X22
X13＝X23
X14＝X24
Z11＝Z21
Z12＝Z22
Z13＝Z23
Z14＝Z24
其结果是具有多个未知数的方程组。数值技术允许求解方程组来确定未知数。然而，由于八个方程仅允许求解八个未知数，因此可以通过设置十二个对准参数中的四个对准参数，仅剩下八个未知参数，来简化该求解过程。这两种相机跟踪方法可能仅需要角度来引导第二相机设备，因此通过定义Ref坐标系的原点来匹配第一相机设备的原点，但是第一相机设备具有高度＝1，四个参数被设置为：
Ap＝0
Bp＝0
Hp＝1
Βyp＝0
如上设置四个对准参数，则剩下了八个方程和八个未知数。在该示例中，存在各种数值方法来求解这些方程以提供剩余的八个对准参数。
尽管已经使用四个共同校准点描述了对准操作，但是对准方法仍然可以用于提供使用两个或三个共同校准点的对准的近似(例如，根据相机安装配置，一些其他参数可以被估计或近似或具有预定义值)。
III.示例处理：
图7示出了根据本公开的示例性实施例的示例处理700，通过该示例处理700可以校准(或对准)两个或更多的相机设备以用于多相机跟踪应用。出于解释的目的，处理700可以在一个或多个计算机系统的控制下实现。
在附图标记702处，操作第一和/或第二相机设备以使其观察区域的至少一部分重叠。
在附图标记704处，操作第一相机设备以捕获第一图像或视频流。
在附图标记706处，操作第二相机设备以捕获第二图像或视频流。
在附图标记708处，在第一图像或视频流以及第二图像或视频流两者上识别一个或多个共同校准点。共同校准点可以在地平面上。在一个示例中，可以使用户通过图形用户界面进行选择来执行对这些点的识别，其中该图形用户界面可以显示第一和第二相机设备的观察区域的图像或视频。可选地，可以通过对象/特征识别程序或应用来自动地执行识别，该程序或应用可以识别共同的对象或特征，并且相对于来自第一相机设备的图像或视频以及来自第二相机设备的图像或视频二者上的这些共同对象或特征，在地平面上选择共同点。在任一种情况下，可以在共同校准点彼此远离的适当距离处选择共同校准点，以提高校准处理的准确度。
在附图标记710处，从所识别的共同校准点确定第一和第二相机设备的坐标信息。
在附图标记712处，评估坐标信息以确定和存储一个或多个对准参数，该对准参数反映第二相机设备相对于第一相机设备的相对地点(例如，位置和/或方向)，或反之。
在附图标记714处，检查对准参数以用于准确度。可以通过分析参数的计算值来自动执行对准参数检查，以确定校准准确度(例如，本文所述的数值解法(numeric solver)示例)。还可以在用户的控制下执行对准参数检查，其中用户可以选择第一相机设备的观察区域中的点以在第二相机设备上启动对该点的跟踪操作。对准参数的准确度可以反映第二相机设备上的跟踪操作相对于第一相机设备上所选择的点的接近度。
在附图标记716处，确定对准参数的校准准确度是否满足阈值(或条件)。如果不是，则可以重复处理700。否则，处理700结束。
处理700可以通过基于云的应用来执行，通过该应用，计算机系统上的用户可以使用浏览器与两个相机设备连接，以便设置和启用自动操作器功能，从而使一个相机设备驱动或控制另一个相机设备，并校准两个相机设备以用于一般的多相机跟踪。处理700的各种操作可以通过计算机系统实现，如相机设备中的一个、用户操作的计算机系统、VSS上的其他系统或以分布式方式的其组合。
图8示出了根据本公开另一示例性实施例的示例处理800，通过该示例处理800可以校准(或对准)两个或更多的相机设备以用于多相机跟踪应用。出于解释的目的，处理800可以在一个或多个计算机系统的控制下实现。
在该示例中，校准处理800可以确定未知对准参数，使得第二相机设备可以准确地跟踪从第一相机设备的视频流所识别的对象。在该实施例中，总共有8个未知对准参数要确定，例如，第二相机设备的平移偏移(1个参数)、第二相机设备的位置(3个参数：X,Y,Z)，以及第一和第二相机设备的安装倾斜(4个参数：每个相机设备的X,Z旋转角度)。对于某些相机安装来说，偏移和位置校准可能足以操作双相机跟踪功能。对于一个或两个相机设备带有明显倾斜的安装或者地平面具有明显倾斜的安装来说，可能需要相机安装倾斜校准。
校准处理800评估共同校准点以确定一个或多个对准参数。共同校准点可以是第一相机设备和第二相机设备两者都可以看到的地平面(或水平面)上的点。从每个相机设备观察的一个或多个共同校准点的平移/倾斜角度可以用在校准处理中。在该示例中，每个共同校准点位于地平面上并且优选地在第一相机设备的视图中分散(例如，没有一个点彼此靠近)。共同校准点对于两个相机设备都是可见的。为了便于这种可见性，可以在相机显示视图中提供指引，该指引对可能、应该或必须选择每个共同点的(多个)推荐地区(也称为“指引标记地区”)进行标记。此后，用户可以相应地在推荐的(多个)指引标记地区的内部或外部进行点选择。
处理800开始于对第一和第二相机设备的平移的评估，以确定平移偏移(例如，平移偏移校准操作)。例如，在附图标记802处，确定平移是否针对第一和第二相机设备对准。如果是，则处理800前进到附图标记820，以使用共同校准点进行进一步处理(如下面进一步讨论的)。
否则，如果平移未对准，则根据相机安装确定平移偏移。第一和第二相机设备中的每一个的平移角度被对准，使得两个相机设备可以使用相同的平移角度来查看相同的方向。可以将平移偏移添加到第二相机设备的平移角度以完成该对准。例如，在附图标记804处，确定第一和第二相机设备是否位于同地。如果是，则在附图标记806处，在第一和第二相机设备的图像或视频流两者上识别一个共同校准点。在附图标记808处，基于所识别的共同校准点确定平移偏移。对于安装在相同地点的两个相机设备，两个相机设备都指向共同的对象。可以通过获取第一相机设备的平移角度和第二相机设备的平移角度之间的差来确定平移偏移。此后，处理800进行到附图标记820，以使用共同校准点进行进一步处理(如下面进一步讨论的)。
如果相机设备不是位于同地，则在附图标记810处，确定第一和第二相机设备是否可以看到彼此。如果不是，则在附图标记812处，在第一和第二相机设备的图像或视频流两者上识别地平面或水平面处的两个共同校准点。在附图标记814处，基于所识别的共同校准点确定平移偏移。例如，随后可以通过使用两个共同校准点来求解一组几何方程从而计算平移偏移。此后，处理800进行到附图标记820，以使用共同校准点进行进一步处理(下面进一步讨论)。
在附图标记810处，如果相机设备能够观察彼此，则操作第一相机设备以捕获第二相机设备的地点，并且操作第二相机设备以捕获第一相机设备的地点。也就是说，在附图标记816处，第一和第二相机设备指向彼此。在附图标记818处，基于第一和第二相机设备捕获到的地点确定平移偏移。例如，平移偏移是第一和第二相机设备的平移角度之间的差减去180度。之后，处理800进行到附图标记820。
在附图标记820处，从第一和第二相机设备中的每一个的图像或视频流识别四个共同校准点。
在附图标记822处，使用所识别的共同校准点来确定第二相机设备的位置(例如，X和Z位置)以及第一和第二相机设备两者的方向(例如，倾斜角度)。
在一个示例中，可以采用OpenGL坐标系来定义多相机跟踪系统的全局坐标系。可以将第一相机设备的平移角度设置为等于零(例如，平移角度＝0)以定义X轴。第一相机设备的X,Z位置可以定义为0,0。第一相机设备的高度Y可以定义为1.0。该校准的目标是求解第二相机设备的X,Y,Z位置。在位于同地的相机设备的情况下，第二相机设备的X,Z地点与第一相机设备相同，或者为0,0。第二相机设备的高度Y可以根据已经在平移偏移校准操作中获得的共同校准点来计算，只要该点在地平面上即可。在分离的相机设备的情况下，除了用于平移偏移校准操作的“指向彼此”的点之外，地平面中的单个共同校准点也可用于计算第二相机设备的位置。在分离的相机设备的情况下(相机设备不能观察彼此)，可以根据已经在平移偏移校准步骤中获得的2个共同校准点来计算第二相机设备的地点。
数值解法还可以用于确定第二相机设备的未知位置，例如在还需要捕获相机设备的倾斜时。该倾斜校准可以确定每个相机设备关于X和Z轴的安装倾斜量。然而，在大多数情况下可能不需要这种校准，除非存在例如明显的相机安装倾斜或明显的地平面倾斜。在用于第一相机设备的固定头部的情况下，确定相机安装倾斜的方法可能涉及捕获4个共同校准点，然后使用有限的柏萝登-弗莱彻-戈德福布-生纳(Limited Broyden-Fletcher-Goldfarb-Shanno，LBFGS)数值解法(或者也可以使用其他数值解法)来求解第二相机设备的位置以及第一和第二相机设备的倾斜参数(例如，7个未知数)。先前执行了平移偏移校准。由于该方法包括求解第二相机设备的位置，因此不需要求解第二相机设备的位置的几何方法。
在第一相机设备的非固定头部的情况下，由于第一相机设备大的头部倾斜角度(该倾斜角度可以在带有非固定头部的相机上调整)，可能无法使用上面概述的几何方法来校准第二相机设备的平移偏移。因此，可以使用数值解法并且需要捕获/选择4个共同校准点，以校准第二相机设备的平移偏移以及其他7个未知参数(总共8个未知数)。
当在校准处理800中使用数值解法时，可以进行计算以确定该解法达到其目标的程度。例如，计算可以确定或反映解法误差值，该值可以变换为校准质量值(或得分)。可以在校准处理结束时向用户显示该质量值，作为对所达到的校准准确度的指示。如果质量值低于预定阈值，则可以引导用户重试校准处理以便改善质量值。在重试中，用户可以尝试选择不同的共同校准点或在选择共同校准点地点时使用更高的准确度。
还可以通过用户界面在相机设备上向用户提供“指向到点击(point-to-click)”特征来验证校准准确度。该特征允许用户从第一相机设备点击显示视图中的点，这将使第二相机设备移动以便指向与跟踪对象时使用的点功能相同的等效点。用户可以通过察看第二相机设备移动到在第一相机设备上选择的等效点的准确程度来验证校准的准确度。如果准确度不足，则可以重复校准处理800(或处理的一部分)。
此外，处理800可以通过基于云的应用来执行，通过该应用，计算机系统上的用户可以使用浏览器与两个相机设备连接，以便设置和启用自动操作器功能，从而允许一个相机设备驱动和控制另一个相机设备，并校准两个或更多的相机设备以用于多相机跟踪。处理800的各种操作可以通过计算机系统实现，如相机设备中的一个、用户操作的计算机系统、VSS上的其他系统或以分布式方式的其组合。此外，在可选实施例中，数值解法可以使用四个共同校准点来求解包括第二相机设备的平移偏移的所有8个未知数。还可以有更多或更少的用于校准相机设备的对准参数。
图9示出了根据本公开的示例性实施例的示例处理900，通过该示例处理900，第一相机设备可以动态地驱动或控制一个或多个第二相机设备。
在附图标记902处，操作第一相机设备以捕获第一观察区域的第一视频流，并且发送所捕获的第一视频流以用于在显示设备上显示。
在附图标记904处，处理第一视频流以识别第一观察区域中的至少一个可动作运动对象(AMO)。
在附图标记906处，获得与所识别的AMO相关联的元数据。该元数据可以是坐标(例如，运动跟踪坐标或其他运动分析信息)和/或与(多个)AMO相关的其他信息。该元数据被发送到第二相机设备。
在附图标记908处，响应于该元数据，动态地控制第二相机设备的第二观察区域以跟踪和聚焦于(多个)AMO。当接收到针对(多个)AMO或(多个)新的AMO的新的元数据时，第二观察区域可以改变。
在附图标记910处，操作第二相机设备以捕获第二观察区域的第二视频流，并且发送所捕获的第二视频流以用于在显示设备上显示或在视频服务器上存储。
处理900可以被配置为自动操作器特征的一部分，以通过第一和第二相机设备自动或独立地提供多相机跟踪。尽管上面描述了双相机跟踪操作，但是第一相机设备可以动态地驱动或控制多个第二相机设备以获得相同或不同AMO的不同视图或视角。来自第一和第二相机设备的所捕获的视频流可以显示在用户计算机系统上，如，例如通过基于云的应用。处理900的各种操作可以在相机设备上实现，或者以分布式方式在相机设备上结合连接或联网的计算机系统来实现。例如，可以在第一相机设备、第二相机设备或与相机设备通信的(多个)计算机系统上执行运动分析和坐标转换。
此外，可以利用多个第二相机执行处理900，其中用于AMO的元数据被发送到能够在其视场中捕获该AMO的视频的那些第二相机设备。因此，可以将用于不同AMO的元数据发送到第二相机设备中的不同第二相机设备或第二相机设备的组合以用于跟踪。
IV.双相机跟踪示例：
图10至图15示出了根据本公开的示例性实施例的由第一和第二相机设备捕获的视图的示例，其中第一相机设备可以动态地驱动或控制第二相机设备以跟踪和聚焦于从第一相机设备的视图所识别的(多个)移动对象。在该示例中，第一和第二相机设备可以位于同地，如安装在俯瞰停车场的建筑的角落上(例如，图2的系统)。
如图10所示，第一相机设备检测到AMO，例如第一车辆，其正在驶入停车场。第一相机设备根据发送到第二相机设备的运动分析信息动态地控制第二相机设备的观察区域以跟踪和聚焦于第一车辆，如图11和12所示。如图12所示，控制第二相机设备的观察区域以在第一车辆停放时放大并聚焦于第一车辆。
当第一车辆停放时，第一相机设备检测到另一个AMO，例如第二车辆，进入停车场，并且相应地将关于该第二车辆的运动分析信息发送到第二相机设备。响应于该分析信息，第二相机重新定位其观察区域以跟踪和聚焦于停放的第一车辆和第二车辆两者，如图13所示。
此后，第一相机设备检测到两个新AMO，例如来自第一车辆的第一人和来自第二车辆的第二人，并继续驱动或控制第二相机设备的观察区域以跟踪和聚焦于两个人，直到他们进入建筑，如图14和15所示。
V.相机链接示例：
图16至图30示出了根据本公开的示例性实施例的示例用户界面的屏幕截图，通过该用户界面来实现相机链接操作以设置两个或更多的相机设备用于多相机校准和跟踪。用户可以通过计算机系统启动相机链接操作，该计算机系统被配置为与相机设备(例如，第一和第二相机设备)通信。在该示例中，用户可以通过计算机系统与第二相机设备建立连接，计算机系统反过来提供如图16所示的用户界面(UI)1600。提供UI 1600以利用一个或多个第一相机设备设置和实现在第二相机设备上的自动跟踪(例如，通过自动操作器进行跟踪)。
例如，UI 1600可以包括图形按钮1602和1604，以启动设置操作从而将至少一个第一相机设备链接和对准到第二相机设备，并操作链接的相机设备从而执行自动跟踪。提供显示窗口1610以显示第二相机设备的当前观察区域(该第二相机设备已选择为受驱动)，并且显示窗口1610可包括图形输入(例如，用于变焦、选择窗口中的子地区等)。UI 1600可以是web用户界面或通过应用(如，基于云的应用)提供的其他界面。
在该示例中，存在分别通过UI 1600的子界面1630、1640和165，0用于安装、启用和验证自动跟踪正在工作的三个步骤。在步骤一中，可以在第一相机设备(例如，驱动相机设备)和第二相机设备(例如，受驱动相机设备)之间建立连接。在步骤二中，针对第一相机设备设置自适应运动分析检测。在步骤三中，校准相机设备以产生对准参数，该对准参数被存储以提供第二相机设备相对于第一相机设备的地点。在设置之后，相机链接特征可以提供控制来验证相机设备是否正确对准，以在操作阈值内执行自动跟踪(下面进一步讨论)。在设置相机链接之前，打开第一和第二相机设备并检查以确保相机操作在正常操作参数内。在该阶段，用于每个步骤的子界面1630、1640和1650的状态指示器1606可以是红色或指示(多个)步骤未被完成或验证的任何其他颜色或图案。当步骤被完成或验证时，该步骤的状态指示器可以变为绿色或反映此类完成或验证的任何其他颜色或图案。例如，当第一和第二相机设备被链接并准备好一起操作时，三个步骤的所有状态指示器1606变为绿色。
如图17所示，用户可以通过子界面1630启动步骤一，以在第一相机设备和第二相机设备之间建立连接。例如，用户可以键入第一相机设备的IP地址、用户名和密码，然后选择“连接”(Connect)图形按钮以启动到第一相机设备的连接操作。在该示例中，已经与第一相机设备建立了连接，并且第一相机设备的当前观察区域在显示窗口1620中示出为诸如全景视图之类的广角视图。图形按钮“高级”(Advanced)可用于启动与第一相机设备进行连接的其他配置设置，并且图形按钮“断开”(Disconnect)可用于终止与第一相机设备的连接。
一旦完成步骤一，状态指示器1606将反映完成的状态。此后，用户可以通过子界面1640继续步骤二，以通过图形按钮“跳转到相机分析页面”启动相机分析配置。相机分析配置允许用户创建与第一相机设备上的运动(或对象)跟踪相关联的相机分析配置文件，如在图18中的用户界面1800中所示。
如图18所示，提供UI 1800以配置相机分析，如用于在第一相机设备上的运动跟踪。UI 1800可以包括各种图形输入(例如，下拉框、按钮或其他已知输入)以允许用户选择要配置的各种分析参数。在该示例中，UI 1800包括选择配置文件(profile)1810、配置文件设置1820、选择行为1830和以全景视图显示第一相机设备的观察区域的显示窗口1840。选择配置文件1810允许用户创建新的分析配置文件、允许用户选择现有的分析配置文件(例如，参见配置文件1)、允许用户删除分析配置文件或运行分析配置文件。在此示例中，用户正在配置用于配置文件1的分析。
配置文件设置1820允许用户选择各种分析参数，如场景类型(例如，室外、室内等)、背景(例如，安静、嘈杂等)、微调(例如，正常、积极、保守等)、灵敏度(例如，对象检测的灵敏度在1-10之间，其中10为最高灵敏度级别，而1为最低灵敏度)、一致性等。较高的一致性数值可确保对象在相同方向上移动较长时间。一致性数值越高，分析将越好地忽略随机移动的对象，如树叶和风运动。
配置文件设置1820还允许用户启动对场景的校准(例如，使用“校准”按钮)，这将调出场景校准界面1900(例如，校准页面)，如图19和20中所示。如图19所示，用户可以通过将框1930放置在显示的视图1920中的远距离点处并且调整框的高度以匹配该距离处的典型对象的高度，从而在第一相机设备的场景中配置附图标记1910处的高度。如果需要，可以在附图标记1940处的输入框中键入高度。如图20中进一步所示，用户可以在第一相机设备的场景中配置附图标记1910处的宽度，并且如图所示，可以在近距离处和远距离处定位和调整典型对象的杆1950的长度。当完成场景校准后，用户随后可以使用“主视图”按钮返回到图18中的UI 1800(例如，分析页面)。如图18所示，配置文件设置1830可以指示关于校准场景的状态信息(例如，已完成等)。
如图18中进一步所示，选择行为1830允许用户选择与配置文件相关联的操作行为，如，例如双相机跟踪、抛弃的对象、自适应运动、相机损坏、定向运动、徘徊检测(Loitering Detection)、对象计数、对象移除等。在此示例中，至少选择了双相机跟踪。
提供显示窗口1840以允许用户配置所选择的双相机跟踪的设置。用户可以采用各种图形输入1844来为该行为设置各种跟踪参数，如(多个)排除区1842(例如，排除1)。通常，相机分析可以检测由第一相机设备的观察区域覆盖的整个场景上的运动。然而，如果需要，可以通过设置(多个)排除区1842以从分析中将场景的一部分排除。例如，场景的一部分可能通过建筑的窗口提供该建筑内部的视图。如果仅需要在诸如庭院之类的外部地区上的运动，则可以使用排除区图形工具来排除建筑的窗户。如图所示，用户可以设置每个排除区1842的尺寸。窗口1840还允许用户在较小或较大的视图之间切换、暂停来自第一相机设备的实时视频馈送，以及配置要在第一相机设备上实现的用于运动分析的其他设置。完成双相机跟踪设置后，用户可以选择在附图标记1846处激活所配置的行为。完成所有分析设置后，用户可以保存配置文件或重置以利用该配置文件重新启动。配置文件可以保存在第一相机设备的存储器中，也可以备份在其他地点处的存储器中。用户可以通过选择在选择配置文件1810上的“运行”按钮来设置第一相机设备根据保存的配置文件进行操作。此后，用户可以选择“返回”按钮以返回到如图21所示的UI 1600，其中状态指示器1606显示步骤一和二已完成。用户现在可以通过选择在子界面1650上的“校准”按钮来进行步骤三以启动校准(或对准)，这使用户进入校准界面UI 2200，如图22所示。
在步骤三中，通过对来自第一相机设备的视频和来自第二相机设备的视频两者上的运动平面(例如，地平面或平行于地平面的平面)中的共同校准点进行匹配，第二相机设备的位置可以相对于第一相机设备被校准。即使将相机链接特征与未安装在一起的相机设备一起使用，也不需要物理尺寸或角度。校准可以在首次打开相机链接特征时实现。在校准之后，几何形状(其可以表示为对准参数)可以存储在第二相机设备中，尽管相机设备的安装位置改变。每个第二相机设备可以存储多个第一相机设备的几何形状，因此用户可以容易地在不同的第一相机设备之间切换以驱动第二相机设备。
下面将在停车场示例的背景下参考图22至27中的UI 2200描述校准操作的逐步骤的示例。如图22所示，UI 2200包括来自第一相机设备的全景视图2240、来自第一相机设备的沉浸视图2250，以及来自第二相机设备的增强视图2260。沉浸视图2250可以显示在全景视图2240中显示的地区的放大视图。
为了开始校准处理，用户可以在UI 2200上的附图标记2210处选择相机设备的安装类型，并且在附图标记2220处选择相机设备的相互可见性。相互可见性意味着第二相机设备在第一相机设备的视图中是可见的，并且通过调整第二相机设备的平移和倾斜，第一相机设备在第二相机设备的视图中也是可见的。如果相机设备安装在一起，则一个相机设备对于另一个相机设备来说都是不可见的。如果相机设备是分离安装的，则每个相机设备可以由另一个相机设备观察到。在回答了这两个问题之后，用户可以选择“下一步”按钮以进行通过UI 2200实现的接下来的校准步骤，如图23至26所示，从而在来自第一相机设备的视频和来自第二相机设备的视频上选择共同校准点，例如本示例中的四个共同点。共同校准点可以在第一相机设备将跟踪的运动平面中，如在场景的地面或地板上。然而，该平面可以是相对于地面的倾斜平面，例如，停车区域可以在山坡上。
例如，在图23中，在UI 2200上选择标志杆的基部作为来自第一相机设备的沉浸视图2250和来自第二相机设备的增强视图2260两者的第一共同校准点。如图23中进一步所示，第一相机设备的全景视图2240可以指定用于选择共同校准点的(多个)推荐地区2310(例如，没有阴影或没有被遮挡的(多个)地区)。在图24中，在UI 2200上选择停车场的路缘中的裂缝作为第一相机设备的沉浸视图2250和第二相机设备的增强视图2260中的第二共同校准点。在图25中，在UI 2200上选择停车场的路缘中的另一裂缝作为第一相机设备的沉浸视图2250和第二相机设备的增强视图2260中的第三共同校准点。最后，在图26中，在UI2200上选择汽车轮胎的底部作为第一相机设备的沉浸视图2250和第二相机设备的增强视图2260中的第四共同校准点。当每个点被选择并保存时，进度条2230显示校准操作的进度(例如，从1到2、2到3等)。状态指示器2202使用颜色或图案设计指示校准是否完成(例如，红色＝否，绿色＝是，等等)。
在该示例中，对于每个点，匹配点位于框[]的中心并通过“保存”按钮被保存，并且可以通过启动“下一步”按钮来选择下一个点，直到选择了所有点。仔细匹配这些点可以得到最佳的校准结果。对于第一相机设备视图，点击诸如鼠标等之类的输入设备可以使视频居中，并且滚动滚轮可以执行变焦操作。还可以在第一相机设备的视图中点击并拖动。针对第二相机设备，用户可以点击以居中，并使用+/-输入进行变焦。此外，在视图2240中用于选择场景上的每个点的推荐地区可以彼此分散，以便使所选择的点彼此分散。通过在显示的场景中使所选择的共同校准点彼此分散，可以提高所得校准的准确度。
在选择并保存了四个共同校准点之后，通过例如第二相机设备(或其他计算机系统)来计算几何形状。如图27中的UI 2200所示，状态指示器2202指示校准已完成(例如，变为绿色或一些其他预定图案)。显示校准得分以及这些点是否提供良好的几何方案的建议。在该示例中，得分和建议如下指示，例如，质量得分81％：正确校准。建议可以基于校准得分与阈值的比较来确定校准是否在可接受的范围内。用户可以改变或调整一个或多个保存的共同校准点或重新进行整个校准，并重新计算几何形状以获得具有更高准确度得分的校准。在完成校准之后，用户还可以选择“设置”按钮以返回到UI 1600(例如，图16和21)，其中步骤一、二和三中的每一个的状态指示器1606指示它们的完成(例如，绿色)。然后，用户可以根据需要修改所执行的任何设置步骤，或验证并使用相机链接功能。
根据UI 1600(或其他UI)，用户可以选择“操作”按钮以将第二相机设备置于用户可以通过图28中的UI 2800进一步验证校准和分析的模式。如图28中所示，存在用于“操作”模式的某些控件。这些控件包括跟踪模式2810，以允许手动跟踪或自动跟踪。通过选择手动跟踪，用户可以选择“将PTZ相机移动到鼠标点击处”或“将PTZ相机变焦到鼠标绘制框”，如附图标记2850所示。要验证校准良好，用户可以选择“将PTZ相机移动到鼠标点击处”并点击在观察区域中的不同的点，该观察区域显示在第一相机设备的视图2240中。第二相机设备的观察区域将移动到该点并在视图2260中显示视频。选择“鼠标绘制框”将会使第二相机设备定位在该点并放大或缩小视图。例如，如图29中的UI 2800的局部视图所示，用户可以在第一相机设备的视图2240中的汽车的牌照上绘制框，这又使得第二相机设备的观察区域来跟踪、变焦和聚焦于该牌照，如视图2260中显示的那样。
如图30所示，用户还可以针对跟踪模式2810选择“自动”。选择自动跟踪模式将启用自动相机跟踪，其中来自第一相机设备的分析将驱动第二相机设备。通常，当第一相机设备检测到运动时，第一相机设备的视频中将显示一个框(未示出)，如视图2240中显示的那样，并且第二相机设备将定位以显示该运动的高放大率视图，如视图2260中显示的那样。如果第一相机设备检测到多个移动对象，则将显示多个框(未示出)。在此示例中，第二相机设备所跟随的框将以红框显示。如果用户单击一个框，则该框将变红，变成优先并成为被跟踪的运动对象。
下列三个控件允许了对运动跟踪的附加配置：优先2810、粘滞(Sticky)跟随开关2820(或粘滞2820)及移动灵敏度2830。用户可以对第二相机设备将被控制以跟随的分析检测对象(例如，与要跟踪的对象相关联的最大、最快、最近、最远或其他参数)进行选择。用户还可以通过粘滞2820来打开或关闭粘滞跟随特征。如果粘滞跟随特征被打开，即使检测到其他对象并且即使其他对象更大、更快等，第二相机设备将被控制以继续跟踪检测到的原始对象。粘性跟随将使第二相机设备与原始对象保持一致，直到第二相机设备静止了一段预定时间。用户还可以通过移动灵敏度2830选择运动的灵敏度。高的灵敏度设置将跟踪小的运动。较低的灵敏度设置将忽略小的移动，如摇曳的树木和吹叶，并且仅跟踪诸如车辆驾驶和人的行走之类的大的移动。然而，灵敏度设置太低可能会忽视人的行走，并且只能跟踪更快的移动车辆。
上面参考图16至30描述的相机链接设置简单地提供作为示例。可以改变UI、步骤、视图、操作顺序、图形输入、颜色或图案以及其他方面以设置和操作如本文所述的多相机跟踪。
图31是根据本公开的示例性实施例的计算机系统3100的示例组件的框图。如图31所示，计算机系统3100可包括例如存储器3120、(多个)处理器3130、时钟3140、输出设备3150、输入设备3160、(多个)图像传感器3170、通信设备3180以及在计算机系统的组件之间的总线系统3190。时钟3140可用于时间戳或带有时间值的事件。
存储器3120可以存储计算机可执行代码、程序、软件或指令，其在由处理器执行时控制计算机系统3100的操作，包括本文描述的各种处理。存储器3120还可以存储由计算机系统3100或其组件使用的其他数据，以执行本文描述的操作。其他数据可以包括但不限于图像或视频流、相机设备的地点、对准参数、AMO标准(包括AMO的类型和不同类型的AMO的优先级)、阈值或条件，以及本文描述的其他数据。
(多个)输出设备3150可以包括显示设备、打印设备、扬声器、灯(例如，LED)等。例如，(多个)输出设备3150可以输出以用于显示或呈现视频流、图形用户界面(GUI)或其他数据。
(多个)输入设备3160可以包括任何用户输入设备，如鼠标、轨迹球、麦克风、触摸屏、操纵杆、控制台，键盘/小键盘、触摸屏或可由用户操作的其他设备。除了其他方面以外，输入设备3160可以被配置为远程控制一个或多个相机设备的操作，如平移、倾斜和/或变焦操作。输入设备3160还可以接受来自外部源(如，其他设备和系统)的数据。
(多个)图像传感器3170可以捕获图像或视频流，包括但不限于宽视图或全景视图。还可以包括透镜系统以改变要由(多个)图像传感器捕获的观察区域。
与计算机系统的其他组件交互的(多个)处理器3130被配置为控制或实现本文描述的各种操作。这些操作可以包括视频处理；控制、执行或便于多相机设备的校准(或对准)和/或链接以用于多相机跟踪；控制、执行或便于在图像或视频流中的对象检测和跟踪，如对于AMO；发送和接收图像或视频流的视频帧或其他相关信息；与一个或多个相机设备通信；经由命令或信号、来自相机设备或其他计算机系统的分析信息(例如，元数据)或其他信息来控制或便于对一个或多个相机设备的操作的控制；实现数值解法以计算参数和其他信息；或本文描述的其他操作。
以上描述了计算机系统的示例组件，诸如用于计算机、服务器、相机设备或其他数据处理系统或网络节点，其可以经由(多个)网络与一个或多个相机设备和/或VSS的其他系统或组件通信。计算机系统可以包括或不包括图31的所有组件，并且可以包括其他附加组件以便于操作本文描述的处理和特征。计算机系统可以是分布式处理系统，其包括多个计算机系统，这些计算机系统可以操作以执行本文所述的各种处理和特征。
如上所述并且如本领域普通技术人员将理解的，本文公开的实施例可以被配置为系统、方法或其组合。因此，本公开的实施例可以包括各种装置，包括硬件、软件、固件或其任何组合。此外，可以在相机设备中的一个上或在相机设备外部的处理器、计算机系统或计算设备上执行本文描述的各种处理的一个或多个操作，所述处理包括校准和自动跟踪处理。
应当理解，本文试图保护的概念、系统、电路和技术不限于在应用(例如，商业监控应用)中使用，而是在基本上任何需要使用多个相机设备来跟踪或监控对象或物体的应用中有用。
还应该理解，本文公开和教导的示例实施例易于进行多种的和各种的修改和替代形式。因此，使用单数术语(例如但不限于“一个”等)，并不旨在限制项目的数量。此外，这里使用的各种组件、功能、参数、阈值和其他元件的命名约定作为示例提供，并且可以给出不同的名称或标签。术语“或”的使用不限于排他性的“或”，而是也可以表示“和/或”。
应当理解，结合所公开实施例的方面的实际的、真实的商业应用的开发将需要许多实施特定决策以实现开发者对商业实施例的最终目标。这样的实施特定决策可以包括并且可能不限于对系统相关、业务相关、政府相关和其他约束的遵从，这些约束可能根据特定实施、地点并且随着时间而变化。虽然开发人员的努力在绝对意义上可能是复杂且耗时的，但是对于受益于本公开的本领域技术人员来说，这种努力仍然是例行任务。
使用本文提供的描述，示例实施例可以通过使用标准编程和/或工程技术来实现为机器、处理或制品，以产生编程软件、固件、硬件或其任何组合。
具有计算机可读程序代码的任何(多个)结果程序可以实现在一个或多个计算机可用介质上，如驻留存储器设备、智能卡或其他可移动存储器设备，或发送设备，从而制造根据实施例的计算机程序产品或制品。因此，本文使用的术语“制品”和“计算机程序产品”旨在涵盖永久或临时存在于任何计算机可用介质上或在发送这种程序的任何传输介质中的计算机程序。
如本文所述的(多个)处理器或(多个)控制器可以是处理系统，其可以包括一个或多个处理器，如CPU、GPU、控制器、FPGA(现场可编程门阵列)、ASIC(专用集成电路)或其他专用电路或其他处理单元，该处理系统控制本文所述的设备或系统的操作。存储器/存储设备可以包括但不限于磁盘，固态驱动器，光盘，诸如智能卡之类的可移动存储器设备，SIM，WIM，诸如RAM、ROM、PROMS之类的半导体存储器。传输介质或网络包括但不限于经由无线通信(例如，射频(RF)通信、蓝牙、Wi-Fi、Li-Fi等)、因特网、内联网、基于电话/调制解调器的网络通信、硬连线/有线通信网络、卫星通信和其他固定或移动网络系统/通信链路。视频可以使用各种协议进行流式传输，如，例如通过IP网络的HTTP(超文本传输协议)或RTSP(实时流传输协议)。视频流可以以各种压缩格式(例如，JPEG、MPEG-4等)传输。
虽然已经说明和描述了本公开的特定实施例和应用，但应理解，本公开不限于本文公开的精确构造和组合物，并且在不脱离所附权利要求限定的本发明的前提下，从前面的描述中可以明显得到各种修改、改变和变型。
已经描述了用于说明作为本专利的主题的各种概念、结构和技术的优选实施例，对于本领域普通技术人员来说显而易见的是可以使用包含这些概念、结构和技术的其他实施例。另外，可以组合本文描述的不同实施例的元件以形成上面没有具体阐述的其他实施例。
相应地，提出本专利的范围不应限于所描述的实施例，而是应仅由所附权利要求的精神和范围限制。

Claims (20)

1.一种使用多相机设备跟踪一个或多个对象的计算机实现的方法，包括：
处理由至少一个第一相机设备捕获的第一视频流，以识别第一可动作运动对象(AMO)；
生成与第一AMO相关联的第一元数据；
将第一元数据发送到至少一个第二相机设备；并且
响应于第一元数据动态地控制至少一个第二相机设备的观察区域，以使至少一个第二相机设备能够跟踪和聚焦于第一AMO。
2.根据权利要求1所述的方法，其中，所述处理、生成和发送操作由所述至少一个第一相机设备执行。
3.根据权利要求1所述的方法，其中，所述处理、生成和发送操作由与第一相机设备和第二相机设备通信的计算机系统执行。
4.根据权利要求1所述的方法，其中，所述第一元数据包括所述第一AMO的坐标。
5.根据权利要求1所述的方法，其中动态控制所述至少一个第二相机设备的观察区域包括动态地控制所述至少一个第二相机设备的平移倾斜变焦(PTZ)运动。
6.根据权利要求1所述的方法，还包括：
处理由至少一个第一相机设备捕获的第一视频流，以识别第二可动作运动对象(AMO)；
生成与第二AMO相关联的第二元数据；
将与第二AMO相关联的第二元数据发送到至少一个第二相机设备；以及
响应于第二元数据动态地控制至少一个第二相机设备的观察区域，以使至少一个第二相机设备能够跟踪和聚焦于第一AMO和第二AMO。
7.根据权利要求1所述的方法，其中，所述至少一个第一相机设备和所述至少一个第二相机设备安装在相同地点，或者
其中，所述至少一个第一相机设备安装在第一地点，并且所述至少一个第二相机设备安装在与所述第一地点不同的第二地点。
8.根据权利要求1所述的方法，其中由所述至少一个第二相机设备跟踪和聚焦的第一AMO对应于以下中的至少一个：
从多个AMO中所识别的物理上最大的AMO，
从多个AMO中所识别的移动最快的AMO，
从多个AMO中所识别的到至少一个第二相机设备最近的AMO，
从多个AMO中所识别的到至少一个第一相机设备最近的AMO，
从多个AMO中所识别的距至少一个第二相机设备最远的AMO，以及
从多个AMO中所识别的距至少一个第一相机设备最远的AMO。
9.根据权利要求1所述的方法，其中，所述至少一个第二相机设备包括多个第二相机设备，并且所述第一元数据被发送到所述多个第二相机设备，所述多个第二相机设备中的每一个响应于第一元数据而动态地控制其各自的观察区域，以使所述多个第二相机设备中的每一个能够跟踪和聚焦于第一AMO。
10.一种用于使用多相机设备跟踪一个或多个对象的系统，包括：
第一相机设备或与第一相机设备通信的第一计算机系统，所述第一相机设备或第一计算机系统包括至少一个第一处理器、一个第一存储器和一个第一通信设备，所述至少一个第一处理器被配置为：
处理由第一相机设备捕获的第一视频流，以识别第一可动作运动对象(AMO)，
生成与第一AMO相关联的第一元数据，并且
经由第一通信设备发送第一元数据；以及
至少一个第二相机设备或与第二相机设备通信的第二计算机系统，所述第二相机设备或第二计算机系统包括至少一个第二处理器、一个第二存储器和一个第二通信设备，所述至少一个第二处理器被配置为响应于第一元数据而动态地控制至少一个第二相机设备的观察区域，以使至少一个第二相机设备能够跟踪和聚焦于第一AMO。
11.根据权利要求10所述的系统，其中所述第一AMO由所述至少一个第一相机设备识别，并且所述元数据由所述至少一个第一相机设备生成和发送。
12.根据权利要求10所述的系统，其中所述第一AMO由所述第一计算机系统识别，并且所述元数据由所述第一计算机系统生成和发送。
13.根据权利要求10所述的系统，其中，所述元数据包括至少一个AMO的坐标。
14.根据权利要求10所述的系统，其中，所述至少一个第二处理器通过动态地控制所述至少一个第二相机设备的平移倾斜变焦(PTZ)运动来动态地控制所述至少一个第二相机设备的观察区域。
15.根据权利要求10所述的系统，其中，所述至少一个第一处理器还被配置为：
处理由至少一个第一相机设备捕获的第一视频流，以识别第二AMO，
生成与第二AMO相关联的第二元数据，并且
将与第二AMO相关联的第二元数据发送到至少一个第二相机设备，并且
其中所述至少一个第二处理器进一步被配置为响应于第二元数据而动态地控制至少一个第二相机设备的观察区域，以使至少一个第二相机设备能够跟踪和聚焦于第一AMO和第二AMO。
16.根据权利要求10所述的系统，其中，所述至少一个第一相机设备和所述至少一个第二相机设备安装在相同地点，或
其中，所述至少一个第一相机设备安装在第一地点，并且所述至少一个第二相机设备安装在与所述第一地点不同的第二地点。
17.根据权利要求10所述的系统，其中由所述至少一个第二相机设备跟踪和聚焦的第一AMO对应于以下中的至少一个：
从多个AMO中所识别的物理上最大的AMO，
从多个AMO中所识别的移动最快的AMO，
从多个AMO中所识别的到至少一个第二相机设备最近的AMO，
从多个AMO中所识别的到至少一个第一相机设备最近的AMO，
从多个AMO中所识别的距至少一个第二相机设备最远的AMO，以及
从多个AMO中所识别的距至少一个第一相机设备最远的AMO。
18.根据权利要求10所述的系统，其中，所述至少一个第二相机设备包括多个第二相机设备，并且所述第一元数据被发送到所述多个第二相机设备，所述多个第二相机设备中的每一个响应于第一元数据而动态地控制其各自的观察区域，以使所述多个第二相机设备中的每一个能够跟踪和聚焦于第一AMO。
19.一种存储计算机可执行代码的有形计算机介质，所述代码在由计算机系统的一个或多个处理器执行时，被配置为实现使用多相机设备跟踪一个或多个对象的方法，所述方法包括：
接收或生成与可动作运动对象相关联的元数据，所述可动作运动对象是从至少一个第一相机设备捕获的第一视频流中识别出的；并且
响应于元数据动态地控制至少一个第二相机设备的观察区域，以使第二相机设备能够跟踪和聚焦于可动作运动对象。
20.一种用于使用多相机设备跟踪一个或多个对象的系统，包括：
第一相机设备；
至少一个第二相机设备；以及
至少一个处理器，被配置为：
从第一相机设备捕获的视频流中识别可动作运动对象(AMO)，
生成与AMO关联的元数据，并且
根据元数据动态控制至少一个第二相机设备的观察区域，以使至少一个第二相机设备能够跟踪和聚焦于AMO。
CN201910249894.0A 2018-03-29 2019-03-29 多相机跟踪 Pending CN110324575A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862650237P 2018-03-29 2018-03-29
US62/650,237 2018-03-29

Publications (1)

Publication Number Publication Date
CN110324575A true CN110324575A (zh) 2019-10-11

Family

ID=66223583

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910249937.5A Pending CN110324576A (zh) 2018-03-29 2019-03-29 对准两个分离的相机的视图中的匹配点的方法
CN201910249894.0A Pending CN110324575A (zh) 2018-03-29 2019-03-29 多相机跟踪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910249937.5A Pending CN110324576A (zh) 2018-03-29 2019-03-29 对准两个分离的相机的视图中的匹配点的方法

Country Status (3)

Country Link
US (2) US11227410B2 (zh)
EP (2) EP3547277A1 (zh)
CN (2) CN110324576A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913139A (zh) * 2019-11-28 2020-03-24 维沃移动通信有限公司 拍照方法及电子设备
CN111565296A (zh) * 2020-04-29 2020-08-21 北京睿呈时代信息科技有限公司 存储器、视频监控系统控制方法、系统和设备
CN112291531A (zh) * 2020-11-12 2021-01-29 珠海大横琴科技发展有限公司 一种监控点处理方法和装置
WO2022051920A1 (en) * 2020-09-09 2022-03-17 Polycom Communications Technology (Beijing) Co., Ltd. Tracking with multiple cameras
CN114257794A (zh) * 2022-03-02 2022-03-29 英特灵达信息技术(深圳)有限公司 一种视频分析算力调度方法及系统
CN115086545A (zh) * 2021-03-15 2022-09-20 安讯士有限公司 用于处理视频流的方法和监控相机

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019084490A1 (en) * 2017-10-26 2019-05-02 Municipal Parking Services, Inc. DEVICE, METHOD AND SYSTEM FOR DETECTING PARKING IN A PARKING AREA PROHIBITED
US20190373165A1 (en) * 2018-05-09 2019-12-05 Wizr Llc Learning to switch, tune, and retrain ai models
JP2021166316A (ja) * 2018-06-18 2021-10-14 ソニーグループ株式会社 移動体及び制御方法
WO2020045186A1 (ja) * 2018-08-31 2020-03-05 キヤノン株式会社 情報処理装置、方法、及びプログラム
US11184556B2 (en) * 2018-10-31 2021-11-23 Signify Holding B.V. Camera vision system overlap management without network coordination
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US11785333B2 (en) * 2019-01-08 2023-10-10 Hewlett-Packard Development Company, L.P. Simulation-based capture system adjustments
JP7537425B2 (ja) * 2019-03-29 2024-08-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
RU2701092C1 (ru) * 2019-04-22 2019-09-24 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ сопровождения движущихся объектов
JP7423196B2 (ja) * 2019-05-09 2024-01-29 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法
WO2021057504A1 (en) * 2019-09-29 2021-04-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for traffic monitoring
DE102019216519B4 (de) * 2019-10-25 2024-02-22 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Einstellung eines Betriebsverhaltens mindestens einer Funktionseinheit und System
CN110853101B (zh) * 2019-11-06 2022-08-23 深圳市巨力方视觉技术有限公司 相机的位置标定方法、装置和计算机可读存储介质
US11553162B2 (en) * 2019-12-23 2023-01-10 Evolon Technology, Inc. Image processing system for extending a range for image analytics
CN111405243A (zh) * 2020-02-28 2020-07-10 北京大学（天津滨海）新一代信息技术研究院 基于多摄像机的目标监控方法及系统
JP7440332B2 (ja) * 2020-04-21 2024-02-28 株式会社日立製作所 事象解析システムおよび事象解析方法
US11575837B2 (en) * 2020-04-27 2023-02-07 Canon Kabushiki Kaisha Method, apparatus and computer program for generating and displaying a heatmap based on video surveillance data
US11368726B1 (en) * 2020-06-11 2022-06-21 Francisco Matías Saez Cerda Parsing and processing reconstruction of multi-angle videos
KR20220006753A (ko) * 2020-07-09 2022-01-18 삼성전자주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
CN111818270B (zh) * 2020-09-10 2021-02-19 视见科技(杭州)有限公司 用于多机位摄像的自动控制方法和系统
US11792501B2 (en) * 2020-12-17 2023-10-17 Motorola Solutions, Inc. Device, method and system for installing video analytics parameters at a video analytics engine
US20220201422A1 (en) * 2020-12-22 2022-06-23 Here Global B.V. Method, apparatus and computer program product for controlling transmission of sensor data at the edge or near-edge of a network
CN113347362B (zh) * 2021-06-08 2022-11-04 杭州海康威视数字技术股份有限公司 一种跨相机轨迹关联方法、装置及电子设备
US20230029566A1 (en) * 2021-07-27 2023-02-02 Electronics And Telecommunications Research Institute Method and system for detecting unmanned aerial vehicle using plurality of image sensors
US20230236877A1 (en) * 2022-01-21 2023-07-27 Dell Products L.P. Method and system for performing distributed computer vision workloads in a computer vision environment using a dynamic computer vision zone
US20230237702A1 (en) * 2022-01-27 2023-07-27 Jorjin Technologies Inc. Method of deploying multiple monitoring devices
US12114084B2 (en) * 2022-03-08 2024-10-08 Nec Corporation Of America Image based localization
US12069380B2 (en) 2022-03-08 2024-08-20 Nec Corporation Of America Solar blind imaging
US12067805B2 (en) 2022-03-08 2024-08-20 Nec Corporation Of America Facial gesture recognition in SWIR images
CN115439555A (zh) * 2022-08-29 2022-12-06 佛山职业技术学院 一种无公共视场多相机外参数标定方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US20050134685A1 (en) * 2003-12-22 2005-06-23 Objectvideo, Inc. Master-slave automated video-based surveillance system
US8284254B2 (en) * 2005-08-11 2012-10-09 Sightlogix, Inc. Methods and apparatus for a wide area coordinated surveillance system
CN102007516A (zh) * 2008-04-14 2011-04-06 汤姆森特许公司 自动跟踪对象的技术
US20130100268A1 (en) * 2008-05-27 2013-04-25 University Health Network Emergency detection and response system and method
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
US20110128385A1 (en) 2009-12-02 2011-06-02 Honeywell International Inc. Multi camera registration for high resolution target capture
US9615064B2 (en) 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9834153B2 (en) * 2011-04-25 2017-12-05 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US20130128050A1 (en) 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US9749594B2 (en) 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US8704904B2 (en) * 2011-12-23 2014-04-22 H4 Engineering, Inc. Portable system for high quality video recording
JP5891061B2 (ja) * 2012-02-15 2016-03-22 株式会社日立製作所 映像監視装置、監視システム、監視システム構築方法
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
US9210385B2 (en) * 2012-11-20 2015-12-08 Pelco, Inc. Method and system for metadata extraction from master-slave cameras tracking system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913139A (zh) * 2019-11-28 2020-03-24 维沃移动通信有限公司 拍照方法及电子设备
WO2021104227A1 (zh) * 2019-11-28 2021-06-03 维沃移动通信有限公司 拍照方法及电子设备
CN111565296A (zh) * 2020-04-29 2020-08-21 北京睿呈时代信息科技有限公司 存储器、视频监控系统控制方法、系统和设备
WO2022051920A1 (en) * 2020-09-09 2022-03-17 Polycom Communications Technology (Beijing) Co., Ltd. Tracking with multiple cameras
CN112291531A (zh) * 2020-11-12 2021-01-29 珠海大横琴科技发展有限公司 一种监控点处理方法和装置
CN115086545A (zh) * 2021-03-15 2022-09-20 安讯士有限公司 用于处理视频流的方法和监控相机
CN114257794A (zh) * 2022-03-02 2022-03-29 英特灵达信息技术(深圳)有限公司 一种视频分析算力调度方法及系统

Also Published As

Publication number Publication date
EP3547277A1 (en) 2019-10-02
CN110324576A (zh) 2019-10-11
US20190304137A1 (en) 2019-10-03
EP3547276A1 (en) 2019-10-02
US10950003B2 (en) 2021-03-16
US20190306408A1 (en) 2019-10-03
US11227410B2 (en) 2022-01-18

Similar Documents

Publication Publication Date Title
CN110324575A (zh) 多相机跟踪
RU2458407C1 (ru) Система и способ видеомониторинга леса
CN103491339B (zh) 视频获取方法、设备及系统
US11682103B2 (en) Selecting exterior images of a structure based on capture positions of indoor images associated with the structure
JP5872818B2 (ja) 測位処理装置、測位処理方法、および画像処理装置
KR20050003402A (ko) 원격 조작 로봇 및 로봇 자기 위치 동정 방법
KR101558467B1 (ko) 지피에스 수신기의 동선에 따라 수치지도에 링크된 수치좌표를 보정하는 수치정보 시스템
CN109523471A (zh) 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置
CN113869231B (zh) 一种用于获取目标对象的实时图像信息的方法与设备
US11832016B2 (en) 3D tour photographing apparatus and method
JP2022507715A (ja) 測量方法、装置及びデバイス
JP6917936B2 (ja) 位置検出をグラフィカル表現にマッピングするための方法、装置およびシステム
WO2020239088A1 (zh) 一种保险理赔处理方法及装置
CN110991306A (zh) 自适应的宽视场高分辨率智能传感方法和系统
Sahin Comparison and calibration of mobile phone fisheye lens and regular fisheye lens via equidistant model
US20200404175A1 (en) 360 Degree Camera Apparatus and Monitoring System
CN113450254A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20190148813A1 (en) Imaging system and method for accurately directing antennas
KR102458559B1 (ko) 휴대용 단말기를 이용한 건설 분야 시공 관리 시스템 및 방법
CN112422886B (zh) 可视域立体布控显示系统
CN116391153A (zh) 信息处理装置、移动体、拍摄系统、拍摄控制方法及程序
Hrabar et al. PTZ camera pose estimation by tracking a 3D target
KR102196683B1 (ko) 3d 투어 촬영 장치 및 방법
KR102684074B1 (ko) Mms 취득정보의 자동처리를 통한 3d 맵핑 시스템
US20220277474A1 (en) System and method for geo-referencing object on floor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191011