CN107820002B - 改进的监测摄像机方向控制 - Google Patents

改进的监测摄像机方向控制 Download PDF

Info

Publication number
CN107820002B
CN107820002B CN201710811277.6A CN201710811277A CN107820002B CN 107820002 B CN107820002 B CN 107820002B CN 201710811277 A CN201710811277 A CN 201710811277A CN 107820002 B CN107820002 B CN 107820002B
Authority
CN
China
Prior art keywords
representative
scene
map
moving
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710811277.6A
Other languages
English (en)
Other versions
CN107820002A (zh
Inventor
S·伦德贝里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN107820002A publication Critical patent/CN107820002A/zh
Application granted granted Critical
Publication of CN107820002B publication Critical patent/CN107820002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

摄像机控制单元，其已“学习”在被监测的场景中物体通常如何移动，通过根据场景中的物体的代表性移动来移动监测摄像机，而为操作员提供帮助。可以使用物体运动分析从学习过程中得出该代表性移动。

Description

改进的监测摄像机方向控制
技术领域
本文的实施例涉及控制用于监测场景的摄像机的平移和倾斜。
背景技术
在包括由与摄像机控制单元交互的操作员控制的一个或多个监测摄像机的监视或监测系统中，在大多数场景中重要的是，操作员能够(例如，在显示装置上)识别并跟随所监测的场景中所关注的移动物体。典型地，监测系统中的摄像机被配置为使得其能够围绕倾斜(tilt)轴旋转以及围绕平移(pan)轴旋转，并且还被配置为缩放(zoom)连接到摄像机的镜头。该摄像机常用的首字母缩略词是PTZ，其中，“P”表示平移，“T”表示倾斜，“Z”表示缩放。小电动机通常被用于提供平移、倾斜和缩放中必要的旋转/移动，并且操作员通常操作适当的用户输入装置，诸如计算机鼠标或操纵杆，以便提供用于控制平移、倾斜和缩放电动机的调整信号。
很容易想到，在具有PTZ摄像机的场景中，如果物体以非最佳方向移动，该PTZ配置的摄像机的操作员很难手动跟随/跟踪移动物体。非最佳方向是要求多台摄像机电动机移动的方向，例如同时平移和倾斜旋转。这与输入装置是否是鼠标或操纵杆无关。在应缩放摄像机以使物体覆盖显示器的当前视野的大部分(例如，摄像机被充分放大)的情况下，这对于操作员是更难的。更不用说，诸如车辆的快速移动物体通常极其难跟随。
现有技术包括国际专利申请公开WO 2010/064445 A1,其描述了具有旋转台的摄像机装置。结合所检测的旋转台的手动操作速度，使用检测的物体的位置和速度，以辅助操作员跟踪物体。
发明内容
有鉴于此，本公开的目的是克服或至少减小与现有技术的PTZ摄像机有关的缺陷的至少一部分。
第一方面，通过由摄像机控制单元执行的方法来实现。摄像机控制单元被配置为从当前平移和倾斜(PT)位置调整以监测方向监测场景的摄像机的至少平移和倾斜。方法包括检测源自用户输入装置的调整信号，其中调整信号表示监测方向的至少期望的调整。获得表示场景中的物体的移动的代表性移动矢量，并且基于该代表性移动矢量以及基于监测方向的至少期望的调整，计算校正的调整信号。校正的调整信号然后被用于调整摄像机的至少平移和倾斜。
换言之，本公开提供一种方法，其中摄像机控制单元已“学习”物体通常在场景中如何移动，由此通过根据代表性移动来移动摄像机，来为操作员提供帮助。如下文中将更多描述的，可以从物体运动分析而得出代表性移动。
在一些实施例中，获得代表性移动矢量可以包括在第一移动地图中识别对应于监测方向的地图位置。然后，可以从第一移动地图中的所识别的地图位置，读取代表性移动矢量。
例如，一些这些实施例可以包括使用监测方向的期望的调整，从多个候选移动地图中选择第一移动地图。每个这种候选移动地图可以包括沿各典型移动方向对准的移动矢量，其中典型移动方向对应于监测方向的期望的调整。
这些候选移动地图可以通过获得场景的多个图像以及识别场景中的多个移动物体来生成。基于所识别的移动物体，可以确定该场景的各部分的代表性移动矢量。代表性移动矢量然后可以被分成组，每组由典型移动方向限定。移动矢量可以被存储在代表性候选移动地图中，每个候选移动地图包括沿该各典型移动方向对准的移动矢量。
可替代地，在一些实施例中，可以通过获得场景的多个图像来生成第一移动地图，在该场景中多个移动物体被识别。基于所识别的移动物体，可以确定该场景的各部分的代表性移动矢量，并存储在第一移动地图中。
在一些实施例中，除了表示监测方向的期望的调整之外，调整信号还可以表示摄像机的缩放的期望的调整。在该实施例中，方法进一步包括获得代表性尺寸值，该代表性尺寸值表示在监测方向场景中的移动物体的尺寸。计算校正的调整信号然后可以进一步基于代表性尺寸值，并且基于校正的调整信号的调整然后可以包括调整摄像机的平移、倾斜和缩放。
在一些实施例中，可以从第一移动地图中的所识别的地图位置，读取代表性尺寸值。在该实施例中，可以基于所识别的移动物体来确定场景的各部分的物体的代表性尺寸，并且然后可以将代表性尺寸存储在第一移动地图中。
可替代地，在一些实施例中，可以基于所识别的移动物体来确定场景的各部分的物体的代表性尺寸，并且然后可以将代表性尺寸存储在候选移动地图中。
这些实施例示出摄像机控制单元可以学习场景看起来如何以及计算在场景上的网格中的最可能的运动方向。然后，当操作员以非常类似于典型方向的方向调整摄像机，然后摄像机控制单元将稍微调整移动以跟随典型移动，而不是根据操作员做出的调整直走。
如一些实施例所示，可以通过将摄像机置于最西位置(即，能够看到整个场景)来进行学习，并且例如通过适当的运动检测过程来进行自动物体跟踪。还可以通过分析场景的部分并且随后合并所有移动信息，来进行学习。对于场景的每一部分，对场景和方向中穿过的每个物体进行追踪，并且还可确定尺寸，并且保存该尺寸以用于一些实施例中。当足够多物体已穿过场景的每部分时，计算典型方向的网格以及尺寸变化。然后当操作员重新定位摄像机时，网格可被用于调整平移/倾斜和缩放。
在第二方面，提供了摄像机控制单元，其被配置为从当前平移和倾斜位置调整摄像机的至少平移和倾斜，该摄像机以监测方向监测场景。摄像机控制单元包括处理器、存储器和输入/输出电路。存储器包含可由处理器执行的指令，由此摄像机控制单元可操作于：
检测源自用户输入装置的调整信号，该调整信号表示监测方向的至少期望的调整，
获得表示场景中的物体的移动的代表性移动矢量v，
基于代表性移动矢量以及基于监测方向的至少期望的调整，计算校正的调整信号，以及
使用校正的调整信号，调整摄像机的至少平移和倾斜。
在另一方面，提供了一种计算机程序，计算机程序包括指令，当在摄像机控制单元中的至少一个处理器上执行该指令时，使摄像机控制单元执行以上结合第一方面和该方面的各种实施例总结的方法。
在另一方面，提供了一种载体，载体包括根据以上总结的方面的计算机程序，其中载体是电信号、光信号、无线电信号和计算机可读存储介质中的一个。
这些其他方面提供了以上结合第一方面的方法总结的相同效果和优点。
附图说明
图1a示意性地示出摄像机控制单元，
图1b示意性地示出摄像机和场景，
图1c-d示意性地示出摄像机，
图2示意性地使出场景，
图3a-b是方法的实施例的流程图，
图4是方法的流程图，
图5示意性地示出移动地图，以及
图6示意性地示出摄像机控制单元。
具体实施方式
如图1a和图1b所示，摄像机控制单元100被配置为从当前平移和倾斜(PT)位置调整以监测方向111监测场景112的摄像机101的至少平移和倾斜。摄像机控制单元100包括处理器102、存储器104和输入/输出电路106。存储器104包含可由处理器102执行的指令，由此摄像机控制单元100可操作于执行如以下结合图2至5描述的方法的实施例。
输入装置120和显示器121(其通常形成由操作员/用户操作的计算机122的部分)经由计算机122连接到摄像机控制单元100。计算机122通常借助示意性地由云130示出的已知通信网络(无线的和/或有线的)来连接。例如，输入装置120可以是键盘、计算机鼠标、跟踪球、触摸板、操纵杆等。具有输入装置120的计算机122的配置使得计算机122能够提供调整信号110，调整信号110表示例如连接到摄像机控制单元100的摄像机101的期望的调整。计算机122经由输入/输出电路106连接到摄像机控制单元100中的处理器102，并且如本领域技术人员所熟知的，输入/输出电路106可以对调整信号110进行任意必要的处理，使得调整信号110能够由以下详细讨论的处理器102处理。
如以下所示出的，摄像机控制单元100将借助校正的调整信号116来调整摄像机101的至少平移和倾斜，以及在一些实施例中还调整摄像机101的缩放。校正的调整信号116由与输入/输出电路106协作的处理器102来生成，并且经由如示意性地由云131示出的已知通信网络(无线的和/或有线的)将被校正的调整信号116提供到摄像机101。
本领域技术人员将理解，可以借助于针对校正的调整信号116的相应的平移(P)、倾斜(T)和缩放(Z)致动器，来对摄像机101平移、倾斜和缩放。将校正的调整信号116转换为该致动器所需要的信号/电压/电流的所需的任何电路在本领域是已知的，并且因此为了清晰而将其从附图中省略。例如，使用基于步进电动机或直接驱动电动机的致动器，校正的调整信号116可被转换为例如通常在放大后可由致动器识别的脉宽调制(PWM)信号。
通常，平移和倾斜致动器被布置在一起，并且缩放致动器通常被布置在附接到摄像机101的透镜系统140。图1b示出PTZ致动器150被布置在摄像机101中的第一示例。图1c中，PT致动器152被布置在摄像机101外，例如被布置为平台形式，而Z致动器154则被布置在摄像机内。校正的调整信号116被提供到摄像机101外的PT致动器152和被布置有Z致动器154的摄像机101。
图1d示出了另一示例，其中控制单元100被布置在具有PTZ致动器150的摄像机101中。在这种示例中，调整信号110被提供到摄像机101内的摄像机控制单元100。
现在转到图2、图3a-b、图4和图5，并继续参考图1a-d，将参考数个动作描述由摄像机控制单元100执行的方法的实施例。如上所述，摄像机控制单元100被配置为从当前PT位置调整监测在监测方向111上的场景112的摄像机101的至少平移和倾斜。
动作301
检测源自用户输入装置120的调整信号110。调整信号110表示至少监测方向111的期望的调整。
在一些实施例中，除了表示监测方向111的期望的调整，调整信号110可以表示摄像机101的缩放Z的期望的调整。
本领域技术人员将理解，监测方向的调整可以以球面坐标系中每单位时间的角度单位来表示，诸如每秒多少度。缩放的调整可以被表示为缩放因子，例如通过间隔内的整数值来表示。
动作303
获得代表性移动矢量v。代表性移动矢量代表场景112中的物体133、134的移动。本领域技术人员将理解，移动矢量可以使用球面坐标系中每单位时间的角度单位来表示。
在一些实施例中，获得代表性移动矢量可如动作351所示，包括在第一移动地图500中识别对应于监测方向111的地图位置502。然后，如动作353所示，可以从第一移动地图500中识别的地图位置502读取代表性移动矢量v。如图5例示，移动矢量“11、12、42”对应于具有(x，y)坐标(123，654)的地图位置。
可以例如以类似于摄像机如何执行诸如自动曝光控制的过程的方式，来识别对应于监测方向111的地图位置502，其中考虑了中心点周围的预定或用户选择的区域，例如，“地点(spot)”、“中心平均”、“加权平均”等。也就是，代表性移动矢量实际上可以是计算的值，该计算的值不仅基于从移动地图500的单个读取，而且基于使用对应于监测方向111的移动矢量的加权值以及对应于监测方向111的移动地图中的方向周围的值。
在一些实施例中，如动作350所示，可以使用监测方向的期望的调整从多个候选移动地图510中来选择第一移动地图500。每个这种候选移动地图510可以包括沿对应于监测方向的期望的调整的代表性典型移动方向对准的移动矢量。例如，在监测方向111中的场景112是4路交叉口的情景中，第一候选移动地图510可以包括上/下方向的代表性移动矢量，并且第二候选移动地图510可以包括左/右方向的代表性移动矢量。监测方向111的连续期望调整(例如，作为操作员希望跟随在路口90度转弯的车辆的结果)然后可以导致在动作350的选择引起从第一候选移动地图切换到第二候选移动地图。
在调整信号110也表示缩放的实施例中，可以获得代表性尺寸值D。然后，这种代表性尺寸值代表监测方向111上的场景112中的移动物体的尺寸。例如，在一些实施例中，可以从第一移动地图500中的识别的地图位置读取代表性尺寸值D。为了使尺寸值D与缩放值相当，使用考虑在用的透镜系统的任何特征的适当转换算法，所获得的尺寸值D可能必须被转换为间隔的整数值。
动作305
基于代表性移动矢量以及基于监测方向的至少期望的调整，来计算校正的调整信号116。
在调整信号110也表示缩放的实施例中，计算校正的调整信号116进一步基于代表性尺寸值D。
动作307
然后，使用校正的调整信号116来调整摄像机的至少平移和倾斜。
在调整信号110也表示缩放的实施例中，调整包括调整摄像机的平移、倾斜和缩放。
在一些实施例中，在动作305和动作307中对校正的调整信号116的计算和使用可以相应地被调节，以使得它们仅在调整信号110指示监测方向的调整的值接近(在可配置的“delta”值内)代表性移动矢量时执行。除此之外，使用未校正的检测的调整信号110，来调整摄像机101的至少平移和倾斜。
特别地参考图4，从第一移动地图500读取代表性移动矢量v的实施例包括这些包含以下动作的实施例，该动作可被视为通过摄像机控制单元100学习一个或多个移动地图的学习过程。
动作401
获得场景112的多个图像。
动作403
识别场景112中的多个移动物体。
动作405
基于所识别的移动物体133、134，确定场景112的各部分136、137的代表性移动矢量。
在一些实施例中，基于所识别的移动物体，还可确定场景的各部分的物体的代表性尺寸。
动作406
在从多个候选移动地图510中选择第一移动地图500的实施例中，将代表性移动矢量分成组，每组由典型移动方向限定。
动作407
移动矢量被存储在第一移动地图500中。在从多个候选移动地图510中选择第一移动地图500的实施例中，动作407涉及在代表性候选移动地图510中存储移动矢量，每个候选移动地图510包括沿该代表性典型移动方向对准的移动矢量。
在还确定物体的代表性尺寸的实施例中，这些代表性尺寸也被存储在第一移动地图500中或候选移动地图510中。
在上述实施例中，没有明确解决聚焦的问题。然而，要注意的是，聚焦(例如在摄像机控制单元100中操作的自动聚焦过程)也可以使用校正的调整信号116作为其输入中的一个。在上述的帮助下，聚焦可以更快，并且在困难的条件下，可以避免所谓的聚焦搜寻(focus hunting)。
此外，在上述实施例以及相关联的附图中，假定对平移、倾斜和缩放概念的参考与例如致动器和透镜系统的空间移动相关。然而，要注意的是，这些概念应用于其中摄像机是所谓的360摄像机(360-camera)的情景，该360摄像机无需任何空间旋转或缩放移动而操作。这种摄像机采集该摄像机周围所有方向的图像，即，差不多半球形覆盖范围。在这种情况下，可以采用虚拟术语来限定监测方向和平移、倾斜和缩放的值，并且因此本文描述的所有实施例也可用于360摄像机的情景。
参考回图1a，将更详细地描述摄像机控制单元100。摄像机控制单元100被配置为从当前平移和倾斜(PT)位置调整以监测方向监测场景的摄像机101的至少平移和倾斜。摄像机控制单元100包括处理器102、存储器104和输入/输出电路106。存储器104包含可由处理器102执行的指令，由此摄像机控制单元100可操作于：
检测源自用户输入装置120的调整信号110，该调整信号110表示监测方向的至少期望的调整，
获得表示场景中的物体的移动的代表性移动矢量v，
基于代表性移动矢量以及基于监测方向的至少期望的调整，计算校正的调整信号116，以及
使用校正的调整信号116，调整摄像机101的至少平移和倾斜。
可由处理器102执行的指令可以是计算机程序141形式的软件。计算机程序141可以被包含在载体142中或由载体142包含，载体142可以向存储器104和处理器102提供计算机程序141。载体142可以是任何适合的形式，包括电信号、光信号、无线电信号或计算机可读存储介质。
在一些实施例中，摄像机控制单元100操作于使得获得代表性移动矢量包括：
在第一移动地图中识别对应于监测方向的地图位置，
从第一移动地图中识别的地图位置，读取代表性移动矢量。
在一些实施例中，摄像机控制单元100操作于：
使用监测方向的期望的调整，从多个候选移动地图选择第一移动地图，其中每个候选移动地图包括沿代表性典型移动方向对准的移动矢量，该典型移动方向对应于监测方向的期望的调整。
在一些实施例中，摄像机控制单元100操作于使得通过以下方式生成第一移动地图：
获得场景的多个图像，
识别场景中的多个移动物体，
基于识别的移动物体，确定场景的各个部分的代表性移动矢量，
将移动矢量存储在第一移动地图中。
在一些实施例中，摄像机控制单元100操作于使得通过以下方式生成候选移动地图：
获得场景的多个图像，
识别场景中的多个移动物体，
基于识别的移动物体，确定场景的各个部分的代表性移动矢量，
将代表性移动矢量分成组，每组由代表性移动方向限定，以及
将移动矢量存储在各候选移动地图中，每个候选移动地图包括沿该各候选典型移动方向对准的移动矢量。
在一些实施例中，摄像机控制单元100操作于使得：
除了表示监测方向的期望的调整外，调整信号还表示摄像机101的缩放Z的期望的调整，以及操作于：
获得表示监测方向上场景中的移动物体的尺寸的代表性尺寸值D，以及操作于使得：
计算校正的调整信号进一步基于代表性尺寸值，以及
基于校正的调整信号的调整包括调整摄像机101的平移、倾斜和缩放。
在一些实施例中，摄像机控制单元100操作于：
从在第一移动地图中识别的地图位置读取代表性尺寸值。
在一些实施例中，摄像机控制单元100操作于：
基于识别的移动物体，确定场景的各部分的物体的代表性尺寸，以及
在第一移动地图中存储代表性尺寸。
在一些实施例中，摄像机控制单元100操作于：
基于识别的移动物体，确定场景的各部分的物体的代表性尺寸，以及
将代表性尺寸存储在候选移动地图中。
图6示意性地示出摄像机控制单元600，其被配置为从当前平移和倾斜(PT)位置调整在监测方向上监测场景的摄像机的至少平移和倾斜。摄像机控制单元600包括:
检测模块601，其被配置为检测源自用户输入装置的调整信号，该调整信号表示监测方向的至少期望的调整，
获得模块603，其被配置为获得表示场景中的物体的移动的代表性移动矢量v，
计算模块605，其被配置为基于代表性移动矢量以及基于监测方向的至少期望的调整，计算校正的调整信号116，以及
调整模块607，其被配置为使用校正的调整信号116调整摄像机101的至少平移和倾斜。
摄像机控制单元600可以包括被配置为以类似方式执行的进一步模块，例如，如上结合图1a描述的摄像机控制单元100。

Claims (14)

1.一种由摄像机控制器执行的方法，所述摄像机控制器被配置为从当前平移和倾斜位置调整摄像机的至少平移和倾斜，所述摄像机以监测方向监测场景，所述方法包括：
检测来自用户输入装置的调整信号，所述调整信号表示由所述用户输入装置接收的所述监测方向的角度调整，
获得表示所述场景中的物体的移动的代表性移动矢量，
基于所述代表性移动矢量以及基于由所述用户输入装置接收的所述监测方向的所述角度调整，计算校正的调整信号，以及
使用所述校正的调整信号，调整所述摄像机的至少平移和倾斜。
2.根据权利要求1所述的方法，其中，获得所述代表性移动矢量包括：
在第一移动地图中识别对应于所述监测方向的地图位置，
从在所述第一移动地图中所述识别的地图位置，读取所述代表性移动矢量。
3.根据权利要求2所述的方法，包括：
使用由所述用户输入装置接收的所述监测方向的所述角度调整，从多个候选移动地图中选择所述第一移动地图，其中每个候选移动地图包括沿各典型移动方向对准的移动矢量，所述典型移动方向对应于由所述用户输入装置接收的所述监测方向的所述角度调整。
4.根据权利要求3所述的方法，其中通过以下方式生成所述候选移动地图：
获得所述场景的多个图像，
识别所述场景中的多个移动物体，
基于所述识别的移动物体，确定所述场景的各部分的代表性移动矢量，
将所述代表性移动矢量分成组，每组由典型移动方向限定，以及
将所述移动矢量存储在各候选移动地图中，每个候选移动地图包括沿所述各典型移动方向对准的移动矢量。
5.根据权利要求2所述的方法，其中通过以下方式生成所述第一移动地图：
获得所述场景的多个图像，
识别所述场景中的多个移动物体，
基于所述识别的移动物体，确定所述场景的各部分的代表性移动矢量，
将所述移动矢量存储在所述第一移动地图中。
6.根据权利要求5所述的方法，其中，
除表示由所述用户输入装置接收的所述监测方向的所述角度调整之外，所述调整信号还表示所述摄像机的缩放的期望的调整，所述方法进一步包括：
获得表示所述监测方向上所述场景中的所述移动物体的尺寸的代表性尺寸值，以及
其中，计算所述校正的调整信号进一步基于所述代表性尺寸值，以及
使用所述校正的调整信号的调整包括调整所述摄像机的平移、倾斜和缩放。
7.根据取决于权利要求6所述的方法，包括：
从所述第一移动地图中所述识别的地图位置，读取所述代表性尺寸值。
8.根据权利要求7所述的方法，包括：
基于所述识别的移动物体，确定所述场景的所述各部分的物体的代表性尺寸，以及
将所述代表性尺寸存储在所述第一移动地图中。
9.根据权利要求7所述的方法，包括：
基于所述识别的移动物体，确定所述场景的所述各部分的物体的代表性尺寸，以及
将所述代表性尺寸存储在候选移动地图中。
10.一种非暂态计算机可读存储介质，其存储计算机可读指令，当所述指令由摄像机控制器中的至少一个处理器执行时，使所述摄像机控制器执行根据权利要求1所述的方法。
11.一种摄像机控制器，所述摄像机控制器被配置为从当前平移和倾斜位置调整以监测方向监测场景的摄像机的至少平移和倾斜，所述摄像机控制器包括处理器、存储器和输入/输出电路，所述存储器包含能够由所述处理器执行的指令，以控制所述摄像机控制器进行：
检测来自用户输入装置的调整信号，所述调整信号表示由所述用户输入装置接收的所述监测方向的角度调整，
获得表示所述场景中的物体的移动的代表性移动矢量，
基于所述代表性移动矢量以及基于由所述用户输入装置接收的所述监测方向的所述角度调整，计算校正的调整信号，以及
使用所述校正的调整信号，调整所述摄像机的至少平移和倾斜。
12.根据权利要求11所述的摄像机控制器，其中获得所述代表性移动矢量包括：
在第一移动地图中识别对应于所述监测方向的地图位置，
从在所述第一移动地图中所述识别的地图位置，读取所述代表性移动矢量。
13.根据权利要求12所述的摄像机控制器，进一步被配置为：
使用由所述用户输入装置接收的所述监测方向的所述角度调整，从多个候选移动地图中选择所述第一移动地图，其中每个候选移动地图包括沿各典型移动方向对准的移动矢量，所述典型移动方向对应于由所述用户输入装置接收的所述监测方向的所述角度调整。
14.根据权利要求12所述的摄像机控制器，其中通过以下方式生成所述第一移动地图：
获得所述场景的多个图像，
识别所述场景中的多个移动物体，
基于所述识别的移动物体，确定所述场景的各部分的代表性移动矢量，
将所述移动矢量存储在所述第一移动地图中。
CN201710811277.6A 2016-09-12 2017-09-11 改进的监测摄像机方向控制 Active CN107820002B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16188251.9A EP3293963A1 (en) 2016-09-12 2016-09-12 Improved monitoring camera direction control
EP16188251.9 2016-09-12

Publications (2)

Publication Number Publication Date
CN107820002A CN107820002A (zh) 2018-03-20
CN107820002B true CN107820002B (zh) 2020-03-27

Family

ID=56926037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710811277.6A Active CN107820002B (zh) 2016-09-12 2017-09-11 改进的监测摄像机方向控制

Country Status (6)

Country Link
US (1) US10397485B2 (zh)
EP (1) EP3293963A1 (zh)
JP (1) JP6723208B2 (zh)
KR (1) KR102085520B1 (zh)
CN (1) CN107820002B (zh)
TW (1) TWI691208B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513070B (zh) * 2018-04-04 2020-09-04 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
KR102142651B1 (ko) * 2018-11-13 2020-08-07 전자부품연구원 Ptz 카메라 자동제어를 위한 강화학습 모델 생성 방법
KR20210058588A (ko) * 2019-11-14 2021-05-24 한국전자기술연구원 Ptz 카메라 제어 장치 및 그 방법
CN111010546A (zh) 2019-12-20 2020-04-14 浙江大华技术股份有限公司 监控预置点的调整方法、装置及存储介质
CN113572960B (zh) * 2021-07-23 2023-11-14 武汉星环恒宇信息科技有限公司 一种用于水务防控的视频快速标签定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131076A (zh) * 2011-01-19 2011-07-20 中兴通讯股份有限公司 视频监控方法及监控终端
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN102577347A (zh) * 2009-06-29 2012-07-11 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
CN104735344A (zh) * 2013-12-18 2015-06-24 佳能株式会社 控制装置、摄像系统及控制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
TWM347769U (en) * 2008-05-16 2008-12-21 Kd Comm Inc Tracing type camera
JP2012033982A (ja) 2008-12-05 2012-02-16 Panasonic Corp 回転台付きカメラ装置
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
TWM459641U (zh) * 2013-03-01 2013-08-11 Ewa Technology Cayman Co Ltd 目標自動追蹤系統
US9742974B2 (en) * 2013-08-10 2017-08-22 Hai Yu Local positioning and motion estimation based camera viewing system and methods
EP2879371B1 (en) * 2013-11-29 2016-12-21 Axis AB System for following an object marked by a tag device with a camera
EP2961182A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
CN105678809A (zh) * 2016-01-12 2016-06-15 湖南优象科技有限公司 手持式自动跟拍装置及其目标跟踪方法
US10262239B2 (en) * 2016-07-26 2019-04-16 Viisights Solutions Ltd. Video content contextual classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577347A (zh) * 2009-06-29 2012-07-11 博世安防系统有限公司 全方位智能自动巡视和态势感知的球形监视摄像机系统和方法
CN102158684A (zh) * 2010-02-12 2011-08-17 王炳立 具有图像增强功能的自适应场景图像辅助系统
CN102131076A (zh) * 2011-01-19 2011-07-20 中兴通讯股份有限公司 视频监控方法及监控终端
CN104735344A (zh) * 2013-12-18 2015-06-24 佳能株式会社 控制装置、摄像系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Detecting motion patterns via direction maps with application to surveillance;Jacob M. Gryn 等;《Computer Vision and Image Understanding》;20090201;第113卷(第2期);全文 *

Also Published As

Publication number Publication date
JP2018046560A (ja) 2018-03-22
TW201813369A (zh) 2018-04-01
US20180077357A1 (en) 2018-03-15
KR102085520B1 (ko) 2020-03-06
KR20180029898A (ko) 2018-03-21
JP6723208B2 (ja) 2020-07-15
EP3293963A1 (en) 2018-03-14
TWI691208B (zh) 2020-04-11
US10397485B2 (en) 2019-08-27
CN107820002A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
CN107820002B (zh) 改进的监测摄像机方向控制
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US20240155219A1 (en) Photographing control method, apparatus, and control device
KR100855469B1 (ko) 이동 로봇의 자세 추정 장치 및 방법
US8279283B2 (en) Methods and systems for operating a video surveillance system
CN107665506B (zh) 实现增强现实的方法及系统
EP2830028B1 (en) Controlling movement of a camera to autonomously track a mobile object
CN105100596B (zh) 相机设备和使用相机设备跟踪对象的方法
US10368058B2 (en) Method and apparatus for extending binocular camera positioning range
US9344623B2 (en) Methods and systems for providing functionality of an interface to control orientations of a camera on a device
EP3675041B1 (en) Method and apparatus for determining road information, and vehicle
JP2002374521A (ja) 移動体の監視方法および装置
CN115220375A (zh) 机器人控制方法、装置、存储介质及电子设备
US20210156710A1 (en) Map processing method, device, and computer-readable storage medium
JP2009260564A (ja) 移動体画像追尾装置
EP3098682B1 (en) Moving object controller, program, and integrated circuit
Molina-Cabello et al. Neural controller for PTZ cameras based on nonpanoramic foreground detection
CN115902977A (zh) 基于视觉和gps的变电站机器人双重定位方法及系统
CN116051636A (zh) 位姿计算方法、装置和设备
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置
JP2006033188A (ja) 監視装置および監視方法
CN113890972A (zh) 一种监控区域目标跟踪系统
Dönmez et al. The eye-out-device multi-camera expansion for mobile robot control
CN112639405A (zh) 状态信息确定方法、装置、系统、可移动平台和存储介质
KR20180106514A (ko) 위치 판단 시스템, 방법 및 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant