CN109427076B - 相对于固定摄像机校准ptz摄像机方向的方法和系统 - Google Patents

相对于固定摄像机校准ptz摄像机方向的方法和系统 Download PDF

Info

Publication number
CN109427076B
CN109427076B CN201810863465.8A CN201810863465A CN109427076B CN 109427076 B CN109427076 B CN 109427076B CN 201810863465 A CN201810863465 A CN 201810863465A CN 109427076 B CN109427076 B CN 109427076B
Authority
CN
China
Prior art keywords
camera
ptz camera
image
features
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810863465.8A
Other languages
English (en)
Other versions
CN109427076A (zh
Inventor
罗宾·达尔斯特伦
马蒂亚斯·吉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109427076A publication Critical patent/CN109427076A/zh
Application granted granted Critical
Publication of CN109427076B publication Critical patent/CN109427076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Accessories Of Cameras (AREA)

Abstract

提供相对于固定摄像机校准PTZ摄像机方向的方法和系统。提供一种相对于固定摄像机校准平移、倾斜、变焦(PTZ)摄像机的方向的方法。接收通过固定摄像机捕获到的场景的概览图像，和通过定向在第一方向上的PTZ摄像机捕获到的场景的图像。通过将概览图像中的特征和通过PTZ摄像机捕获到的图像中的特征匹配，通过将第一方向与概览图像中的匹配特征的位置相关执行第一校准。此外，基于匹配特征来定义通过PTZ摄像机捕获到的图像与概览图像之间的映射。映射用于将对象从通过PTZ摄像机捕获到的图像映射到概览图像。基于映射对象的外观，计算映射的质量。如果质量不够好，则将PTZ摄像机重定向到第二方向，并且通过再次匹配特征来执行进一步校准。

Description

相对于固定摄像机校准PTZ摄像机方向的方法和系统
技术领域
本发明涉及摄像机领域。特别地，本发明涉及一种用于相对于固定摄像机来校准平移、倾斜、变焦摄像机的方向的方法和系统。
背景技术
存在摄像机系统，例如AxisiQ6000-E系列，它将一个或多个固定传感器与可移动、平移、倾斜、变焦(PTZ)摄像机集成。固定传感器通常可以被布置成提供场景的概览，例如完整的360°视场，而PTZ摄像机可以被布置成指向和放大场景的特定部分。在这样的系统中，例如，用户可以通过在通过固定传感器中的一个提供的概览图像中点击来指示PTZ摄像机应当指向的场景的特定部分。在这样的点击之后，PTZ摄像机将指向和/或放大场景的特定部分。
因此，可以通过在通过固定传感器捕获到的图像中点击来控制PTZ摄像机的观察方向(即，平移和倾斜设置)和/或变焦。PTZ摄像机的这种控制可以依赖于一方面通过一个或多个固定传感器捕获到的图像中的位置之间的关系，以及另一方面PTZ摄像机的方向。通常，一旦最初相对于固定传感器校准了PTZ摄像机的方向，就可以根据摄像机系统的几何结构和光学器件来确定所需的关系，包括固定传感器和PTZ摄像机的相对位置。更具体地，在PTZ摄像机被安装在摄像机系统中时，该PTZ摄像机相对于固定传感器的观察方向是未知的，并且因此需要校准。这种校准通常旨在找到通过一个固定传感器捕获到的图像中的位置与PTZ摄像机的方向之间的相关性。
如SG 191452 A1公开的专利申请描述了一种用于相对于宽视场摄像机来校准PTZ摄像机的特征匹配方法。特别地，提供了一种用于确定通过宽视场摄像机捕获到的图像的坐标与PTZ摄像机的PTZ值之间的相关性的方法。SG 191452 A1方法的精度依赖于宽视场图像中的特征与通过PTZ摄像机捕获到的重叠图像中的特征的匹配精度。特征匹配的精度还可能取决于若干因素，例如图像中存在的特征的数量和摄像机的镜头的特性。在前一示例中，可能发生PTZ摄像机指向其中存在很少对象的场景的部分，从而导致图像中很少相关的特征。在后一示例中，可能发生的是，由于宽视场图像中的桶形畸变或其他几何畸变，难以准确地匹配特征。在这两个示例中，校准的精度最终可能会受到影响。因此需要改进。
发明内容
鉴于上述情况，因此本发明的目的是在相对于固定摄像机校准PTZ摄像机时提供改进的精度。
根据第一方面，上述目的是通过一种相对于第一固定摄像机来校准平移、倾斜、变焦PTZ摄像机的方法实现的，该方法包括：
接收通过第一固定摄像机捕获到的场景的概览图像，
将PTZ摄像机定向在第一方向上，
在PTZ摄像机处于第一方向时，执行以下步骤：
a)接收通过PTZ摄像机捕获到的场景的图像，其中通过PTZ摄像机捕获到的图像的视场部分地与概览图像的视场重叠，
b)识别通过PTZ摄像机捕获到的场景的图像中的第一组特征，
c)在概览图像中定位第一组特征或者第一组特征的子集，以便将通过PTZ摄像机捕获到的图像中的第一组特征与概览图像中的第二组特征相关联，
d)记录概览图像中的第二组特征的位置数据，
e)基于所述第一组特征和第二组特征来定义通过PTZ摄像机捕获到的图像与概览图像之间的映射，通过使用所定义的映射来将通过PTZ摄像机捕获到的图像中的对象映射到概览图像，并且基于在映射到概览图像之后的对象的外观来计算映射的质量，
通过将PTZ摄像机的第一方向与在PTZ摄像机定向在第一方向上时记录的第二组特征的位置数据相关来执行PTZ摄像机的第一校准，
在映射的质量低于第一阈值的情况下：
将PTZ摄像机重定向到第二方向，
在PTZ摄像机处于第二方向时执行步骤a)-d，以及
通过将PTZ摄像机的第二方向与在PTZ摄像机指向第二方向时记录的第二组特征的位置数据相关来执行PTZ摄像机的第二校准。
根据上述方法，在PTZ摄像机定向在第一方向上时，执行基于特征映射的第一校准。如果发现映射的质量不够好，即质量低于阈值，则将PTZ摄像机重定向到第二方向，并且在PTZ摄像机处于第二方向时，执行基于特征映射的第二校准。在质量不够好的情况下，通过重定向PTZ摄像机并重复校准，可以改进所得到的校准的质量和精度。
相对于固定摄像机的PTZ摄像机方向的校准通常是指找到PTZ摄像机的方向与通过固定摄像机捕获到的图像中的位置之间的对应关系。
通过PTZ摄像机捕获到的图像与概览图像之间的映射通常是指将通过PTZ摄像机捕获到的图像中的点映射到概览图像中的点的函数或变换。例如，映射可以由变换矩阵来定义。
映射的质量通常是指基于已实施映射之后的对象的外观(如尺寸和形状)来评价的度量。映射的质量通常是映射保持对象的外观的程度的度量。
方法还可以包括：在PTZ摄像机处于第二方向时执行步骤e)，其中执行PTZ摄像机的第二校准的步骤在PTZ摄像机处于第二方向时在步骤e)中计算的映射的质量大于或等于第一阈值的条件下进行。以这种方式，仅在PTZ处于第二方向时映射的质量的足够好的情况下才进行第二校准。
方法还可以包括：继续将PTZ摄像机重定向到另外的方向，并且重复步骤a)-e)，直到在步骤e)中计算的映射的质量大于或等于第一阈值。因此，PTZ摄像机可以被重定向，直到达到足够好的质量的映射。这样，可以进一步改进校准的精度。
如上面进一步讨论的，特征匹配的精度以及反过来由特征的匹配组定义的映射的质量可以取决于图像中存在的特征的数量。例如，在PTZ摄像机定向在第一方向上时，如果该PTZ摄像机指向场景中的其中存在很少对象的区域，则在通过PTZ摄像机捕获到的场景的图像中可能存在很少的特征来为映射提供基础。结果，匹配的精度，并且由此映射的质量，通常会比在PTZ摄像机图像中已存在更多特征时更差。因此，为了改进映射的质量，PTZ摄像机可以重定向到场景的其中存在更多对象的部分，从而导致通过PTZ摄像机捕获到的图像中的更多特征。可以通过考虑概览图像并识别其中包含许多特征的区域来定位场景的这样的部分。在已经识别到概览图像中的这样的区域时，可以使用第一校准作为初始校准来重定向PTZ摄像机，使得PTZ摄像机捕获覆盖识别到的区域或者至少与识别到的区域重叠的图像。更详细地，方法可以包括：识别概览图像中的其中概览图像中的特征的密度超过第二阈值的区域，并基于PTZ摄像机的第一校准来选择第二方向，使得通过在指向第二方向时的PTZ摄像机捕获到的图像覆盖概览图像中的识别到的区域。特征的密度例如可以被计算为概览图像中每单位面积的特征的数量。
可能影响特征匹配精度并且反过来由特征的匹配组定义的映射的质量的另一个因素是摄像机的镜头的特性。例如，与通过PTZ摄像机捕获到的图像相比，概览图像可以通过广角镜头捕获，该广角镜头引起概览图像的桶形畸变或其他畸变(例如枕形畸变或胡型畸变)。这些畸变影响所得到的概览图像中的视角和比例。这样的畸变通常会在概览图像的外围更加明显，并且在概览图像的中心不那么明显。因此，可以预期，如果指示PTZ摄像机使该PTZ摄像机指向在概览图像的中心处描述的场景的一部分，那么概览图像中的特征和通过该PTZ摄像机捕获到的图像中的特征的匹配精度可能更高。方法因此可以包括：基于PTZ摄像机的第一校准来选择第二方向，使得通过在指向第二方向时的PTZ摄像机捕获到的图像覆盖概览图像的中心。因此，可以使用第一校准作为初始校准来重定向PTZ摄像机，使得通过PTZ摄像机捕获到的图像覆盖概览图像的中心或者至少与概览图像的中心重叠。
如上所述，在通过PTZ摄像机捕获到的图像中识别到的第一组特征和在概览图像中识别到的第二组特征例如以变换矩阵的形式被用于定义映射。通过该映射，通过PTZ摄像机捕获到的图像中的点可以被映射到概览图像中的点。映射还可以被用于将通过PTZ摄像机捕获到的图像中的对象映射到概览图像。例如，可以使用所定义的映射来映射对象的每个点或对象的选定点。被映射到概览图像时的对象的外观然后可以被用来计算映射的质量。特别地，计算映射的质量可以包括计算通过PTZ摄像机捕获到的图像中的对象的外观和映射到概览图像之后的对象的外观之间的相似度。如果在映射之后的对象具有相似的外观，则映射的质量被认为是高的，然而如果映射较多地改变了外观，则映射的质量被认为是低的。映射的质量因此是映射保持对象的外观的程度的度量。
在计算映射到概览图像之前和之后对象的外观的相似度时，方法可以进一步补偿概览图像中的桶形畸变。例如，假设通过PTZ摄像机捕获到的图像中的对象具有矩形形状。即使找到了理想的特征匹配和理想的映射，矩形形状在概览图像中仍然不是矩形的，因为桶形畸变改变了矩形的视角和比例。因此，将更有意义的是，将矩形的映射到概览图像之后的外观与被桶形畸变改变时矩形将具有的形状进行比较，而不是将该矩形的映射到概览图像之后的外观与原始矩形形状进行比较。因此，在计算相似度之前，方法可以基于第一摄像机的镜头系统的特性来调整通过PTZ摄像机捕获到的图像中的对象的外观。以这种方式，由概览图像的桶形畸变引起的对象外观中的不相似度将不影响相似度计算，并且因此不影响所确定的映射的质量。桶形畸变的量可以根据第一摄像机的镜头系统的特性推导出。
替代地，可以通过容忍更接近概览图像的边界的较低质量的映射来考虑概览图像的桶形畸变。这可以通过允许与映射的质量进行比较的第一阈值随着远离概览图像的中心而降低来实现。更具体地，第一阈值可以取决于第二组特征的位置数据，使得第一阈值随着远离概览图像的中心而降低。
对象的外观可以是对象的尺寸和对象的几何形状中的至少一个。
通过PTZ摄像机捕获到的图像中的对象可以与通过PTZ摄像机捕获到的图像的周边(即边界)相对应。因此，该对象不需要与场景中的对象相对应。通过PTZ摄像机捕获到的图像的周边可以通过使用映射将四个角位置(即通过PTZ摄像机捕获到的图像的四个角坐标)映射到概览图像来被映射到概览图像。通过PTZ摄像机捕获到的图像中的对象因此可以具有矩形形状。
特征(例如第一组特征中的特征和第二组特征中的特征)可以包括场景的捕获图像中的边缘或角中的至少一个。特征还可以与属性(例如，颜色、尺寸和/或方向)相关联。当在概览图像中定位对应特征时，可以使用在通过PTZ摄像机捕获到的图像中识别到的特征的属性。以这种方式，可以简化特征匹配并使其更加准确。
第一固定摄像机和PTZ摄像机可以是包括另外的固定摄像机的系统的部件。在不知道第一固定摄像机之间的关系(例如，他们的相对位置和观察方向)的情况下，应当针对每个固定摄像机来重复上述方法。如果已知固定摄像机之间的关系，则相对于第一固定摄像机实施的校准可以被用于系统中的其他固定摄像机的校准。在这种情况下，方法还可以包括：使用具有相对于第一摄像机的已知位置和方向的第二固定摄像机捕获场景的另外的概览图像，并且基于第一摄像机的第一校准或第二校准以及第二摄像机相对于第一摄像机的已知位置和方向，相对于通过第二摄像机捕获到的场景的另外的概览图像来校准PTZ摄像机。
根据第二方面，上述目的是通过一种系统实现，该系统包括：
第一固定摄像机，设置成用于捕获场景的概览图像，
平移、倾斜、变焦PTZ摄像机，与第一固定摄像机分离，以及
控制器，可操作地连接到第一摄像机和PTZ摄像机，控制器被配置为将PTZ摄像机定向在第一方向上，并且在PTZ摄像机处于第一方向时，执行以下步骤：
a)控制PTZ摄像机捕获场景的图像，其中通过PTZ摄像机捕获到的图像的视场部分地与概览图像的视场重叠，
b)识别通过PTZ摄像机捕获到的场景的图像中的第一组特征，
c)将第一组特征或者第一组特征的子集定位在场景的概览图像中，以便将通过PTZ摄像机捕获到的图像中的第一组特征与概览图像中的第二组特征相关联，
d)记录概览图像中的第二组特征的位置数据，
e)基于第一组特征和第二组特征来定义通过PTZ摄像机捕获到的图像与概览图像之间的映射，通过使用所定义的映射来将通过PTZ摄像机捕获到的图像中的对象映射到概览图像，并且基于在映射到概览图像之后对象的外观来计算映射的质量，
控制器进一步被配置为：
通过将PTZ摄像机的第一方向与在PTZ摄像机定向在第一方向上时记录的第二组特征的位置数据相关来执行PTZ摄像机的第一校准，
在映射的质量低于第一阈值的情况下：
将PTZ摄像机重定向到第二方向，
在PTZ摄像机处于第二方向时，执行步骤a)-d，以及
通过将PTZ摄像机的第二方向与在PTZ摄像机指向第二方向时记录的第二组特征的位置数据相关来执行PTZ摄像机的第二校准。
系统还可以包括：
至少一个另外的固定摄像机，其中第一摄像机和至少一个另外的固定摄像机被定向在不同的方向上，以便捕获覆盖场景的不同部分的概览图像，
其中PTZ摄像机相对于第一摄像机和至少一个另外的固定摄像机被安装，使得PTZ摄像机是可定向的来捕获与通过第一摄像机捕获到的概览图像重叠的图像，以及捕获与通过至少一个另外的固定摄像机捕获到的概览图像重叠的图像。
根据第三方面，提供了一种包括(非暂时性)计算机可读介质的计算机程序产品，该计算机可读介质具有存储在其上的计算机代码指令，用于在由处理器执行时执行根据第一方面的方法。
第二方面和第三方面通常可以具有与第一方面相同的特征和优点。进一步注意，本发明涉及特征的所有可能组合，除非另有明确说明。
附图说明
通过以下参照附图对本发明实施例的阐释性和非限制性详细描述，将更好地理解本发明的上述以及其他目的、特征和优点，其中相同的附图标记将用于类似的元件，其中：
图1示意性地示出了根据实施例的摄像机系统。
图2示出了通过固定摄像机捕获到的场景的概览图像和通过可移动PTZ摄像机捕获到的图像。
图3是根据实施例的方法的流程图。
图4示意性地示出了通过固定摄像机捕获到的概览图像和通过可移动的PTZ摄像机捕获到的图像。
具体实施方式
下面将参照附图更全面地描述本发明，附图中示出了本发明的实施例。然而，本发明可以以许多不同的形式体现，而不应被解释为限于本文所述的实施例；相反，这些实施例被提供用于彻底和完整，并且将本发明的范围充分地传达给本领域的技术人员。将在操作期间描述本文公开的系统和设备。
图1示出了摄像机系统100。摄像机系统100例如可以用于监控场景。摄像机系统100包括一个或多个固定摄像机102a、102b、可移动摄像机104和控制器106。所示摄像机系统100包括四个固定摄像机，其中的两个固定摄像机102a、102b在图1中可见。
固定摄像机102a，102b在他们正捕获场景的固定视图(即，始终捕获相同视图)的意义上是固定的。固定摄像机102a、102b中的每一个因此始终被指向固定方向，并且在使用期间不被设置成被重定向到不同方向。固定摄像机可以被布置在轨道或导轨上，使得他们的视场可以通过沿着轨道或导轨移动摄像机并通过调整倾斜角度来手动改变。一个或多个固定摄像机102a、102b通常被指向不同方向，以便捕获覆盖场景的不同部分的图像。一个或多个固定摄像机102a、102b因此具有不同的视场，尽管摄像机102a、102b的视场可能重叠。例如，可以布置一个或多个摄像机102a、120b，使得他们的组合视场覆盖场景的完整360度视场。
一个或多个固定摄像机102a、102b分别布置成捕获场景的概览图像。为此，一个或多个固定摄像机102a、102b可以各自配备广角镜头，以允许一个或多个固定摄像机102a、102b捕获场景的宽角度范围。图2示出了通过摄像机系统100的四个固定摄像机捕获到的四个概览图像202a、202b、202c、202d。图像202a、202b、202c、202d从不同的角度描绘了场景，在这种情况下是停车场。例如，概览图像202a可以通过固定摄像机102a捕获，并且概览图像202b可以通过固定摄像机102b捕获。如从图像可以看到的，一个或多个摄像机102a、102b的视场重叠。例如，在概览图像202a的中间描绘的汽车也被描绘在概览图像202b的右下角。
安装一个或多个固定摄像机102a、102b，使得他们相对于彼此的位置是已知的。此外，一个或多个固定摄像机102a、102b相对于彼此的方向通常也是已知的。例如，如在通过固定摄像机102a、102b中的两个不同摄像机捕获到的概览图像中所描绘的，这允许场景中两点之间的角度(即，方向上的差异)根据该两点的坐标来确定。
可移动摄像机104可以是PTZ摄像机。因此，可以通过调整平移和倾斜设置(如图1中的箭头所示)来重定向可移动摄像机104，从而改变该可移动摄像机104的视场以覆盖场景的不同部分。特别地，PTZ相对于一个或多个固定摄像机102a、102b安装，使得PTZ是可定向的以捕获由一个或多个固定摄像机102a、102b覆盖的完整视场的不同部分的图像。可移动摄像机104因此可被指向成捕获与通过一个或多个固定摄像机102a、102b捕获到的概览图像中的每一个概览图像重叠的图像。图2示出了通过可移动摄像机104捕获到的图像204。图像204与概览图像202a重叠，并且描绘了也在概览图像202a的中间描绘的汽车的挡风玻璃。
与固定摄像机102a、102b相比，可移动摄像机104通常具有较窄的视场。然而，可移动摄像机104的优点在于其可以被指向和定焦在场景中的不同部分(例如，感兴趣的对象)上。此外，如图2中所能看到的，由于固定摄像机102a、102b的广角光学器件，概览图像202a、202b、202c、202d受到桶形畸变，导致图像中的透视和比例畸变。通过可移动摄像机204捕获到的图像204不受这种畸变的影响。
控制器106通常可以被布置为控制可移动摄像机104，以便控制可移动摄像机104来以不同的方向观看。控制器106可以以软件实现。为此，控制器106可以包括处理器，例如微处理器、现场可编程门阵列的数字信号处理器、以及非暂时性存储器(例如非易失性存储器)。非暂时性处理器可以存储计算机代码指令，计算机代码指令在由处理器执行时使控制器执行本文所描述的任何方法。特别地，可以使控制器执行相对于固定摄像机来校准可移动摄像机104的方向的方法。
可移动摄像机104的控制可以基于用户输入，例如关于概览图像202a、202b、202c、202d中的特定位置的输入。例如，控制器106可以被设置为从操作员接收与概览图像202a、202b、202c、202d中的一个概览图像的特定位置(即像素坐标)有关的输入，并且响应于此，将可移动摄像机104的方向从其当前方向改变，使得视场覆盖在概览图像202a、202b、202c、202d中在该位置描绘的场景的部分。为此，控制器106可以利用将概览图像202a、202b、202c、202d中的不同像素坐标与可移动摄像机104的不同方向(即平移/倾斜设置)相关联的关系。这种关系取决于摄像机系统100的几何结构和摄像机102a、102b、104的光学器件，例如透镜。然而，一旦几何结构和光学器件已经被设置，则该关系可以被确定并且例如以函数或表格的形式存储在控制器106的非易失性存储器中。这种关系通常是预先确定的，并预先存储在控制器106中。
控制器106通常通过在方向上的相对变化(即基于预先存储的关系)而工作，该控制器106将可移动摄像机104从与概览图像中的第一位置相对应的第一方向重定向到与概览图像中的第二位置相对应的第二方向。因此，在安装摄像机系统100之后，并且在控制器106能够开始使用这样的关系用于控制可移动摄像机104之前，可移动摄像机104并且更具体地该可移动摄像机104的方向需要相对于一个或多个固定摄像机102a、102b来校准。这意味着控制器106需要找到PTZ摄像机的初始方向与通过固定摄像机中的一个固定摄像机捕获到的概览图像中的位置之间的对应关系。现在将参照图1、图2、图4以及图3的流程图来描述执行这种校准的方法。
在步骤S02中，控制器106接收概览图像。概览图像通过固定摄像机102a、102b中的一个捕获。图4示出了例如与图2的概览图像202a相对应的概览图像402。在一些实施例中，控制器106从多个或全部固定摄像机102、102b接收概览图像，如图2所示。
在步骤S04中，控制器106指示可移动摄像机104向第一方向看。第一方向是任意的，并且可以与可移动摄像机104在安装时具有的方向相对应。
在可移动摄像机104定向在第一方向上的情况下，控制器106在步骤S06a中从可移动摄像机104接收第一图像404。例如，第一图像404可以对应于图2的图像204。第一图像404的视场406部分地与概览图像402的视场重叠。在存在通过不同的固定摄像机捕获到的多个概览图像的情况下，第一图像404将与概览图像中的至少一个重叠。
接着，在步骤S06b中，控制器106识别在第一图像404中的第一组特征408。例如，特征可以是第一图像404中的边缘或角。特征还可以具有相关联的特性，例如尺寸、颜色和/或方向。可以通过使用常规技术(例如将滤波器应用到第一图像404)来从第一图像404中提取特征。可用于提取特征的算法的一个示例是尺度不变特征变换(SIFT)。特征通过图4中的“x”来示出。控制器106还可以记录、即存储识别到的特征408的位置(例如，像素坐标)。第一组特征408还可以与单个位置数据(例如，组中各个特征的位置的平均值)相关联。
在步骤S06c中，控制器106执行特征匹配。更详细地，控制器106在概览图像402中定位第一组特征或者第一组特征的子集。以这种方式，控制器106可以将图像404中的第一组特征与概览图像402中的第二组特征410相关联。步骤S06c可以通过以下来执行：首先从概览图像402中提取特征，以及然后将第一组特征408匹配到所提取的特征来找到最佳匹配。最佳匹配然后是第二组特征410。这可以通过使用适合于此目的的任何已知特征匹配算法来执行。例如，可以使用来自快速库近似最近邻(FLANN)的算法来找到最佳匹配。在多个概览图像的情况下，可以相对于概览图像中的每个来执行特征匹配，以便找到所有概览图像中的可能匹配之间的最佳匹配。
在步骤S06d中，控制器106记录即存储特征410的位置(例如，像素坐标)。第二组特征410也可以与单个位置数据(例如，组中各个特征的位置的平均值)相关联。
在步骤S06e中，控制器106使用第一组特征408和第二组特征410来定义通过可移动摄像机104捕获到的图像404和通过固定摄像机102a、102b捕获到的概览图像402之间的映射。映射例如可以以变换矩阵的形式来定义，该变换矩阵将图像404中的点映射到概览图像402中的点。例如，变换矩阵可以通过应用最小二乘法基于第一组特征408和第二组特征410来确定。更具体地，可以将变换矩阵确定为将第一组特征408的位置以最小二乘意义(least-square sense)尽可能接近地映射到第二组特征410的位置的矩阵。
控制器106然后使用所定义的映射将图像404中的对象映射到概览图像402。对象例如可以对应于概览图像402中描绘的对象，例如图2的图像204中所示的汽车的挡风玻璃。在这个示例中，然而，对象确实对应于图像404的矩形周边412。通过将变换矩阵应用于属于对象的所有点，可以将该对象映射到概览图像402。替代地，对象可以通过选定数量的点表示，这些点通过应用变换矩阵来被映射到概览图像。映射对象414，即矩形周边412，在被映射到概览图像时被示出为图4中的变形矩形。
由于不同的因素，映射对象414的外观可能看起来与原始对象412不同。根据第一因素，第一组特征408可能不恰当地匹配第二组特征410，这导致所定义的映射不正确地将图像404中的位置映射到概览图像402中的对应位置。根据第二因素，概览图像402的桶形畸变将导致概览图像402中的任何对象具有不同于在图像404中该对象的外观。第二个因素将更接近于概览图像402的边界。
控制器106可以基于映射对象414的外观来计算映射的质量。映射的质量通常是映射保持对象的外观的程度的度量，并且可以被确定为考虑上述的第一因素或第一因素和第二因素这两者。通常，映射的质量可以是基于映射对象的外观来评估的任何度量。这可以包括评估映射对象414的尺寸和/或几何形状。
在一些实施例中，映射的质量是通过将映射之前的对象412的外观和映射之后的对象414的外观进行比较来计算。特别地，映射的质量可以基于映射之前的对象412的外观和映射之后的对象414的外观之间的相似度来计算。这可能涉及测量形状的相似度和/或尺寸的相似度。如此计算出的映射的质量将同时考虑到上面提到的第一个因素和第二个因素。为了测量对象412的形状的相似度，对象可以通过多个点表示，例如在该对象周边的点。对于矩形对象，优选地选择角点。然后，可以比较对象映射前后的这些点之间的关系。例如，可以查看这些点之间的距离通过映射已被改变了多少。相对于这些点之间的原始距离的变化量可以用作形状相似度的度量。为了测量尺寸的相似度，可以比较映射前后对象的面积。
对于矩形对象，如果对象的四个角在映射之后仍然定义矩形，则接收形状的高相似度。相反，如果将四个角映射到线上，则接收低相似度。此外，如果在映射之后矩形的尺寸(即在映射之后由对象覆盖的区域)具有与考虑到摄像机的不同透镜的预期尺寸相对应的尺寸，则实现尺寸的高相似度。相反，如果在映射之后矩形的尺寸比预期的尺寸大得多或小得多，则在实现尺寸的低相似度。
在其他实施例中，期望的是映射的质量仅反映了上面提到的第一因素。在这种情况下，在计算映射的质量之前，应当消除第二因素的影响，即由于桶形畸变引起的畸变。桶形畸变的影响可以根据固定摄像机102a、102b的透镜系统(即，广角透镜)的已知特性来消除。更具体地说，眼前具有这样的透镜系统特性，控制器109可以计算图像404中的对象412在概览图像402中看起来的样子，即广角镜头如何在概览图像中的第二组特征的位置处描绘这样的对象。控制器106然后可以继续调整要与映射对象414进行比较的对象412的外观，使得经调整的外观与在通过广角镜头描绘时对象412将具有的计算外观相同。在已经调整对象412的外观之后，控制器106可以根据上面所描述的来继续测量映射对象414和经调整的外观的对象412的相似度。
在步骤S10中，控制器106执行可移动摄像机104的第一校准。更详细地，控制器106将摄像机的第一当前方向与在上述步骤S06d中记录的第二组特征的位置数据相关。以这种方式，控制器由此找到可移动摄像机104的方向与概览图像402中的位置之间的第一对应关系。
在步骤S12中，控制器106检查所确定的映射的质量是否低于第一阈值T1。第一阈值可以是恒定的、预定义的值。在一些实施例中，通常在没有消除桶形畸变的影响的情况下已经计算映射的质量时，第一阈值可以是第二组特征的位置到概览图像中心的距离的递减函数。换言之，可以允许映射的质量更接近于概览图像402的受桶形畸变的影响更加明显的边界。这可用于在计算映射的质量时校正桶形畸变的影响的替代。
如果映射的质量不低于第一阈值T1，则方法结束，并且第一校准成为最终校准。然而，如果映射的质量低于第一阈值T1，则控制器前进到步骤S14，在步骤S14中，控制器控制可移动摄像机104来将方向从第一方向改变到第二方向。
如上面进一步所描述，映射的质量高度依赖于找到图像404中的特征和概览图像402中的特征之间的良好匹配。导致质量差的映射的不良匹配可能是由于可移动摄像机104指向场景的其中存在待描绘的较少对象的部分，因为这导致从图像402中提取很少的特征。例如，如果可移动摄像机104指向图2中所示的停车场的沥青，例如，指向概览图像202D的中心，则可以发生这种情况。根据实施例，可移动摄像机104因此可以重定向到场景的其中存在更多的对象和感兴趣的特征的部分。场景的该部分可以被描绘在相同的概览图像402中，或者被描绘在通过固定摄像机102a、102b中的另一个捕获到的概览图像中。为了实现这一点，控制器106可以继续识别概览图像402中的(或者通过另一固定摄像机捕获到的其他概览图像中的一个概览图像中的)其中存在许多特征(例如，其中每单位面积的特征数超过第二阈值)的区域406。通过使用上面所述的将可移动摄像机104的方向与概览图像402中的位置相关联的预定义关系，并且使用通过第一校准建立的对应关系作为方向的初始校准，控制器106可以计算如何将可移动摄像机104从第一方向重定向到第二方向，在该第二方向上，通过可移动摄像机104捕获到的图像覆盖概览图像402的识别到的区域406。
根据其他实施例，可以通过将可移动摄像机104从第一方向重定向到其中第二方向来减少桶形畸变或其他几何畸变(例如，枕形畸变和胡型畸变)对映射的质量的影响，在第二方向上，通过可移动摄像机104捕获到的图像覆盖概览图像402的中心，其中桶形畸变不太明显。同样，这可以通过使用将可移动摄像机104的方向与概览图像402中的位置相关联的预定义关系，以及使用通过第一校准建立的对应关系作为方向的初始校准来实现。
根据其他实施例，控制器106可以随机地选择第二方向。
当可移动摄像机104已经被重定向的时候，方法就前进到步骤S16。在步骤S16中，控制器106至少重复上面描述的步骤S06a-S06d，但是现在可移动摄像机104指向第二方向。
在一些实施例中，一旦针对第二方向重复步骤S06a-d，控制器106前进到下面描述的执行进一步校准的步骤S20。
在其他实施例中，控制器106也利用处于第二方向上的摄像机来重复步骤S06e。在这样的实施例中，控制器106通常还执行将利用第二方向上的摄像机计算的映射的质量与第一阈值进行比较的步骤S18。如果质量足够好，即大于或等于第一阈值，则控制器106前进到执行进一步校准的步骤S20。如果映射的质量不够好，即低于第一阈值，则控制器106再次返回以重复重定向可移动摄像机104的步骤S14、重复步骤S06a-e的步骤S16以及检查映射的质量是否低于第一阈值的步骤S18。控制器106可能保持重复步骤S14、步骤S16和步骤S18，直到映射的质量大于或等于第一阈值，从而控制器106前进到执行进一步校准的步骤S20。
在步骤S20中，控制器106执行进一步校准，即第二校准。更详细地，控制器106将摄像机的当前方向与第二组特征的位置数据相关，该位置数据在上面所述的步骤S16下重复的最后一次步骤S06d中记录。以这种方式，控制器因此找到可移动摄像机104的方向与概览图像402中的位置之间的进一步对应关系。一旦控制器106已经执行了进一步校准，方法结束，由此最终校准等于步骤S20的进一步校准。
需要注意的是，例如在摄像机系统100中，在存在多个固定摄像机102a、102b相对于固定摄像机的第一个具有已知的位置和方向时，一旦已经利用第一固定摄像机校准了可移动摄像机104，则可以方便地相对于其他固定摄像机来校准该可移动摄像机104。更详细地，一旦已经建立了可移动摄像机104的方向与通过第一摄像机捕获到的概览图像中的位置之间的相关性，则可以计算可移动摄像机104的方向与每个其他固定摄像机的概览图像中的位置之间的关联性可以被计算。计算可以基于第一固定摄像机的校准和其他摄像机相对于第一固定摄像机的已知位置和方向。
如果存在相对位置和方向是已知的多个固定摄像机102a、102b，则需要通过应用图3中所示的方法以及上面所述的方法，相对于每个摄像机来校准可移动摄像机104。在这种情况下，可能出现的问题是，可能很难找到PTZ摄像机的方向和变焦级别，使PTZ摄像机与固定摄像机中的某个摄像机的视场重叠。例如，如果某个固定摄像机具有较高的变焦级别，则可能是这样的情况。一旦PTZ摄像机已经相对于一个或多个固定摄像机被校准，这个问题就可以简化，因为在搜索某个固定摄像机的视场时，已经校准的固定摄像机的视场可以被排除在PTZ摄像机的搜索范围之外。此外，如果已经校准了固定摄像机中的多个固定摄像机，例如图1的摄像机系统的固定摄像机中的第一、第二和第四摄像机，则PTZ摄像机可以在第二摄像机的视场和第四摄像机的视场之间搜索第三摄像机的视场。
可以理解的是，本领域技术人员能够以多种方式修改上述实施例，并且仍然使用上面实施例中所示的本发明的优点。因此，本发明不应局限于所示的实施例，而应仅由所附权利要求来限定。此外，正如技术人员所理解，所示的实施例可以被组合。

Claims (14)

1.一种相对于第一固定摄像机来校准平移、倾斜、变焦PTZ摄像机的方向的方法，包括：
接收通过所述第一固定摄像机捕获到的场景的概览图像，
将所述PTZ摄像机定向在第一方向上，
在所述PTZ摄像机处于所述第一方向时，执行以下步骤：
a)接收通过所述PTZ摄像机捕获到的所述场景的图像，其中通过所述PTZ摄像机捕获到的所述图像的视场部分地与所述概览图像的视场重叠，
b)识别通过所述PTZ摄像机捕获到的所述场景的所述图像中的第一组特征，
c)在所述概览图像中定位所述第一组特征的至少一部分，以便将通过所述PTZ摄像机捕获到的所述图像中的所述第一组特征的所述至少一部分与所述概览图像中的第二组特征相关联，
d)记录所述概览图像中的所述第二组特征的位置数据，
e)基于所述第一组特征的所述至少一部分和所述第二组特征来定义通过所述PTZ摄像机捕获到的图像与所述概览图像之间的映射，并计算所述映射的质量，
通过将所述PTZ摄像机的所述第一方向与在所述PTZ摄像机指向所述第一方向时记录的所述第二组特征的所述位置数据相关联来执行所述PTZ摄像机的第一校准，
在所述映射的质量低于第一阈值的情况下：
将所述PTZ摄像机重定向到第二方向，
在所述PTZ摄像机处于所述第二方向时执行步骤a)至步骤d)，以及
通过将所述PTZ摄像机的所述第二方向与在所述PTZ摄像机指向所述第二方向时记录的所述第二组特征的位置数据相关联来执行所述PTZ摄像机的第二校准，
其中步骤e)进一步包括通过使用所定义的所述映射来将通过所述PTZ摄像机捕获到的所述图像中的对象映射到所述概览图像，其中计算所述映射的质量包括：计算通过所述PTZ摄像机捕获到的所述图像中的所述对象的外观与映射到所述概览图像之后的所述对象的外观之间的相似度。
2.根据权利要求1所述的方法，进一步包括在所述PTZ摄像机处于所述第二方向时执行步骤e)，其中所述执行所述PTZ摄像机的第二校准的步骤在所述PTZ摄像机处于所述第二方向时在步骤e)中计算的所述映射的质量大于或等于所述第一阈值的条件下进行。
3.根据权利要求1所述的方法，进一步包括：
继续将所述PTZ摄像机重定向到另外的方向，并重复步骤a)至步骤e)，直到在步骤e)中计算的所述映射的质量大于或等于所述第一阈值。
4.根据权利要求1所述的方法，进一步包括：
识别所述概览图像中的其中所述概览图像中的特征密度超过第二阈值的区域，以及
基于所述PTZ摄像机的所述第一校准来选择所述第二方向，使得通过在指向所述第二方向时的所述PTZ摄像机捕获到的图像覆盖在所述概览图像中识别到的所述区域，
其中所述特征密度表示每单位面积的特征数。
5.根据权利要求1所述的方法，进一步包括：
基于所述PTZ摄像机的所述第一校准来选择所述第二方向，使得通过在指向所述第二方向时的所述PTZ摄像机捕获到的图像覆盖所述概览图像的中心。
6.根据权利要求1所述的方法，其中，在计算所述相似度之前，基于所述第一固定摄像机的透镜系统的特性来调整通过所述PTZ摄像机捕获到的所述图像中的所述对象的所述外观。
7.根据权利要求1所述的方法，其中所述第一阈值取决于所述第二组特征的所述位置数据，使得所述第一阈值随着远离所述概览图像的中心而减小。
8.根据权利要求1所述的方法，其中所述对象的外观是所述对象的尺寸和所述对象的几何形状中的至少一个。
9.根据权利要求1所述的方法，其中通过所述PTZ摄像机捕获到的所述图像中的所述对象与通过所述PTZ摄像机捕获到的所述图像的周边相对应。
10.根据权利要求1所述的方法，其中特征包括捕获到的所述场景的图像中的边缘和角中的至少一个。
11.根据权利要求1所述的方法，进一步包括
使用第二固定摄像机捕获所述场景的另外的概览图像，所述第二固定摄像机具有相对于所述第一固定摄像机的已知位置和方向，以及
基于所述第一固定摄像机的所述第一校准或所述第二校准以及所述第二固定摄像机相对于所述第一固定摄像机的所述已知位置和方向，相对于通过所述第二固定摄像机捕获到的所述场景的所述另外的概览图像来校准所述PTZ摄像机。
12.一种相对于第一固定摄像机来校准平移、倾斜、变焦PTZ摄像机的方向的系统，包括：
所述第一固定摄像机，设置成用于捕获场景的概览图像，
所述平移、倾斜、变焦PTZ摄像机，与所述第一固定摄像机分离，以及
控制器，可操作地连接到所述第一固定摄像机和所述PTZ摄像机，所述控制器被配置为将所述PTZ摄像机定向在第一方向上，并且在所述PTZ摄像机处于所述第一方向时，执行以下步骤：
a)控制所述PTZ摄像机来捕获所述场景的图像，其中通过所述PTZ摄像机捕获到的所述图像的视场部分地与所述概览图像的视场重叠，
b)识别通过所述PTZ摄像机捕获到的所述场景的所述图像中的第一组特征，
c)在所述场景的所述概览图像中定位所述第一组特征的至少子集，以便将通过所述PTZ摄像机捕获到的所述图像中的所述第一组特征的所述至少子集与所述概览图像中的第二组特征相关联，
d)记录所述概览图像中的所述第二组特征的位置数据，
e)基于所述第一组特征的所述至少子集和所述第二组特征来定义通过所述PTZ摄像机捕获到的图像与所述概览图像之间的映射，并计算所述映射的质量，所述控制器进一步被配置为：
通过将所述PTZ摄像机的所述第一方向与在所述PTZ摄像机指向所述第一方向时记录的所述第二组特征的所述位置数据相关联来执行所述PTZ摄像机的第一校准，
在所述映射的质量低于第一阈值的情况下：
将所述PTZ摄像机重定向到第二方向，
在所述PTZ摄像机处于所述第二方向时，执行步骤a)至步骤d)，以及
通过将所述PTZ摄像机的所述第二方向与在所述PTZ摄像机指向所述第二方向时记录的所述第二组特征的位置数据相关联来执行所述PTZ摄像机的第二校准，
其中步骤e)进一步包括通过使用所定义的所述映射来将通过所述PTZ摄像机捕获到的所述图像中的对象映射到所述概览图像，其中计算所述映射的质量包括计算通过所述PTZ摄像机捕获到的所述图像中的所述对象的外观与映射到所述概览图像之后的所述对象的外观之间的相似度。
13.根据权利要求12所述的系统，进一步包括：
至少一个另外的固定摄像机，其中所述第一固定摄像机和所述至少一个另外的固定摄像机被定向在不同的方向上，以便捕获覆盖所述场景的不同部分的概览图像，
其中所述PTZ摄像机相对于所述第一固定摄像机和所述至少一个另外的固定摄像机被安装，使得所述PTZ摄像机是可定向的来捕获与通过所述第一固定摄像机捕获到的概览图像重叠的图像，以及捕获与通过所述至少一个另外的固定摄像机捕获到的概览图像重叠的图像。
14.一种非暂时性计算机可读介质，具有存储在所述非暂时性计算机可读介质上的计算机代码指令，所述计算机代码指令用于实施根据权利要求1所述的方法。
CN201810863465.8A 2017-08-29 2018-08-01 相对于固定摄像机校准ptz摄像机方向的方法和系统 Active CN109427076B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17188260.8 2017-08-29
EP17188260.8A EP3451650B1 (en) 2017-08-29 2017-08-29 A method of calibrating a direction of a pan, tilt, zoom, camera with respect to a fixed camera, and a system in which such a calibration is carried out

Publications (2)

Publication Number Publication Date
CN109427076A CN109427076A (zh) 2019-03-05
CN109427076B true CN109427076B (zh) 2020-07-21

Family

ID=59745233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810863465.8A Active CN109427076B (zh) 2017-08-29 2018-08-01 相对于固定摄像机校准ptz摄像机方向的方法和系统

Country Status (6)

Country Link
US (1) US10430972B2 (zh)
EP (1) EP3451650B1 (zh)
JP (1) JP6698127B2 (zh)
KR (1) KR102073482B1 (zh)
CN (1) CN109427076B (zh)
TW (1) TWI689870B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
USD888794S1 (en) * 2018-01-15 2020-06-30 Axis Ab Camera
USD882663S1 (en) * 2018-01-15 2020-04-28 Axis Ab Camera
DE102018215491A1 (de) * 2018-09-12 2020-03-12 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Erfassungssystems
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
US20220067968A1 (en) * 2020-08-28 2022-03-03 Weta Digital Limited Motion capture calibration using drones with multiple cameras
US11600022B2 (en) 2020-08-28 2023-03-07 Unity Technologies Sf Motion capture calibration using drones
US11636621B2 (en) 2020-08-28 2023-04-25 Unity Technologies Sf Motion capture calibration using cameras and drones
CN113280806A (zh) * 2021-05-12 2021-08-20 上海智能网联汽车技术中心有限公司 适用于车路协同网联设备姿态调节的智能云台和调节方法
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream
CN114299167B (zh) * 2022-03-11 2022-07-26 杭州灵西机器人智能科技有限公司 一种变焦镜头的单目标定方法、系统、装置和介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0507869D0 (en) 2005-04-19 2005-05-25 Wqs Ltd Automated surveillance system
TWI307484B (en) * 2006-02-21 2009-03-11 Univ Nat Chiao Tung Image capture apparatus calibration system and method there
US8405720B2 (en) * 2008-08-08 2013-03-26 Objectvideo, Inc. Automatic calibration of PTZ camera system
CN101763632B (zh) * 2008-12-26 2012-08-08 华为技术有限公司 摄像机标定的方法和装置
CN101515987B (zh) * 2008-12-30 2012-04-25 中国资源卫星应用中心 一种用于旋转扫描多元并扫红外相机的遥感图像辐射校正方法
SG191452A1 (en) 2011-12-30 2013-07-31 Singapore Technologies Dynamics Pte Ltd Automatic calibration method and apparatus
TWI530180B (zh) * 2013-06-14 2016-04-11 晶睿通訊股份有限公司 連動式攝影系統及其多攝影機的控制方法
CN103780830B (zh) * 2012-10-17 2017-04-12 晶睿通讯股份有限公司 连动式摄影系统及其多摄影机的控制方法
CN103105858A (zh) 2012-12-29 2013-05-15 上海安维尔信息科技有限公司 在固定相机和云台相机间进行目标放大、主从跟踪的方法
KR101567359B1 (ko) * 2014-02-10 2015-11-10 아이브스테크놀러지(주) Ptz 카메라에 대한 자동 캘리브레이션 장치 및 방법
CN104537659B (zh) 2014-12-23 2017-10-27 金鹏电子信息机器有限公司 双摄像机的自动标定方法和系统
CN104574425B (zh) * 2015-02-03 2016-05-11 中国人民解放军国防科学技术大学 一种基于旋转模型的主从摄像机系统的标定以及联动方法
CA3012721C (en) * 2016-02-03 2022-04-26 Sportlogiq Inc. Systems and methods for automated camera calibration

Also Published As

Publication number Publication date
KR20190024647A (ko) 2019-03-08
JP2019075776A (ja) 2019-05-16
EP3451650B1 (en) 2020-01-08
KR102073482B1 (ko) 2020-02-04
JP6698127B2 (ja) 2020-05-27
EP3451650A1 (en) 2019-03-06
US10430972B2 (en) 2019-10-01
TW201921288A (zh) 2019-06-01
TWI689870B (zh) 2020-04-01
CN109427076A (zh) 2019-03-05
US20190066335A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN109427076B (zh) 相对于固定摄像机校准ptz摄像机方向的方法和系统
CN110580724B (zh) 一种对双目相机组进行标定的方法、装置和存储介质
US8368752B2 (en) Document camera with size-estimating function and size estimation method
EP1984892B1 (en) Foreground/background segmentation in digital images
KR101666397B1 (ko) 객체 영상 획득 장치 및 방법
US9237270B2 (en) Auto-focus image system
CN107533753A (zh) 图像处理装置
US20100128144A1 (en) Auto-focus image system
US8878939B2 (en) Apparatus and method for subject tracking, and recording medium storing program thereof
US9832455B2 (en) Stereo camera and automatic range finding method for measuring a distance between stereo camera and reference plane
US10970845B2 (en) Image processing apparatus, image processing method, and storage medium
CN111008947A (zh) 图像处理方法和装置、终端设备及存储介质
CN109241345B (zh) 基于人脸识别的视频定位方法和装置
US20140037212A1 (en) Image processing method and device
SG191452A1 (en) Automatic calibration method and apparatus
CN110087049A (zh) 自动调焦系统、方法以及投影仪
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
KR102641287B1 (ko) 카메라 시스템의 센터 보정 방법 및 장치
CN110415269A (zh) 一种动静态背景下的目标跟踪算法
CN107895344B (zh) 视频拼接装置及方法
JP5979046B2 (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
US20210335010A1 (en) Calibration method and calibration apparatus
CN109543496B (zh) 一种图像采集方法、装置、电子设备及系统
KR20170133666A (ko) 영상 분석을 이용한 카메라 캘리브레이션 방법 및 그 장치
JP2018116620A (ja) 画像処理装置、画像処理システムおよび画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant