CN110400352A - 利用特征识别的摄像机校准 - Google Patents

利用特征识别的摄像机校准 Download PDF

Info

Publication number
CN110400352A
CN110400352A CN201910322207.3A CN201910322207A CN110400352A CN 110400352 A CN110400352 A CN 110400352A CN 201910322207 A CN201910322207 A CN 201910322207A CN 110400352 A CN110400352 A CN 110400352A
Authority
CN
China
Prior art keywords
video camera
frame
identified
captured
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910322207.3A
Other languages
English (en)
Other versions
CN110400352B (zh
Inventor
朱红卫
法曾·艾格达斯
格雷格·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelgow Co
Original Assignee
Pelgow Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelgow Co filed Critical Pelgow Co
Priority to CN201910322207.3A priority Critical patent/CN110400352B/zh
Publication of CN110400352A publication Critical patent/CN110400352A/zh
Application granted granted Critical
Publication of CN110400352B publication Critical patent/CN110400352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及利用特征识别的摄像机校准。其中，被公开的内容是一些方法、系统、计算机可读媒介和其它实现方式，其中包括有校准摄像机的方法，所述校准摄像机的方法包括：通过摄像机捕获场景的帧；识别出现在所捕获到的帧中的特征，所述特征与代表一个或多个对象的物理特性的预先确定的值相关联；以及，基于出现在捕获到的帧中的被识别特征和与被识别特征相关联的预先确定的值来确定摄像机的参数。

Description

利用特征识别的摄像机校准
本申请是申请日为2012年12月26日，申请号为201280065067.2，发明名称为“利用特征识别的摄像机校准”的申请的分案申请。
技术领域
本申请涉及，但不限于摄像机校准。
背景技术
摄像机校准通常被用于视频监控应用，该视频监控应用需要确定所关注对象的物理特性，诸如移动速度、对象高度、尺寸等。精确校准通常需要精密的测量，所述测量是对由观察场景的摄像机所捕获的场景执行的。这种测量操作可能是费时的，并且如果要实现涉及许多摄像机的大规模的监控操作，这种测量还有可能是不现实的。
发明内容
因此，实用、易操作且有效的摄像机校准方法、程序和技术将在本文中描述。在一些实施方式中，摄像机校准方法被提供用于视频安全应用，其被配置来通过处理由在平面上方且朝向下方安装的摄像机所捕获的视频流来检测和跟踪在平面(例如地面、楼层地板)上停留或移动的通常类型的对象(例如，人、车辆)。本文描述的校准方法需要用户极少费力地或甚至完全不费力地对摄像机进行校准。在一些实现方式中，用户可以简单地指定或识别对象(例如，具有已知高度的人、具有已知长度的车)；和/或在摄像机视场中的几个位置处识别这类对象的特征；或指明在受监控平面上的线条(例如平面上的平行线、正交于平面的垂线、在线条之间具有已知角度的平面上的线条)之间已知的几何形状/结构模型。利用这些被识别特征，观察该场景的摄像机能够根据所述被识别特征来校准。在一些实现方式中，摄像机校准可以自动地根据例如下面列出的基于聚类的方法来实现：1)检测并跟踪出现在摄像机视野内的对象；2)通过聚类操作来学习获得对象特征的模型，并且自动地执行对象分类；以及，3)识别被分类对象的特征，以便提取用于使用摄像机自动校准的约束数据。
因此，在一些实施方式中提供了校准摄像机的方法。该方法包括：通过摄像机捕获场景的帧；识别出现在捕获到的帧中的特征，所述特征与代表一个或多个对象的物理属性的预先确定的值相关联；以及，基于出现在捕获到的帧中的被识别特征和与这些被识别特征相关的预先确定的值来确定摄像机的参数。
该方法的实施方式可以包括本公开内容中所描述的特征中的至少一些特征，其中包括一个或多个下列特征。
识别出现在捕获到的帧中的特征可以包括：自动地检测出现在一个或多个帧中的至少一个对象；自动地分类出现在一个或多个帧中的被检测的至少一个对象；以及，自动地识别被分类的至少一个对象的特征，这些被自动地识别的特征与代表关于至少一个被分类对象的物理属性的预先确定的值相关联。
自动地分类被检测的至少一个对象可包括：根据至少一个被检测的对象的尺寸来确定高宽比；根据被确定的高宽比来为至少一个对象确定对象类型；以及，比较至少一个对象的尺寸和对应于被确定的对象类型的聚类中所存储的统计测量结果。
比较至少一个对象的尺寸可以包括：根据至少一个对象的尺寸来更新关于被持续跟踪的对象所访问的位置的对象尺寸的局部模型；以及，通过将局部模型与全局聚类相关联来更新全局聚类，所述局部模型具有匹配和全局聚类相关联的对象尺寸的对象尺寸。
被分类的至少一个对象可以包括以下项中的一个或多个，例如，与预先确定的平均高度相关的人和/或与预先确定的平均长度相关的车辆。
确定摄像机的参数可以包括：确定以下项中的一个或多个，例如，摄像机的焦距f、摄像机的倾角φ、摄像机的偏转角β，和/或在对应于捕获到的帧的场景平面上方的摄像机的高度h。
根据被识别特征来确定摄像机的参数可以包括：将关于被识别特征的约束条件的误差函数最小化。确定摄像机的参数还可以包括：利用RANSAC(随机抽样一致性算法)程序移除噪声约束(离群值)。
被识别特征可以包括以下项中的一个或多个，例如，在场景的捕获到的帧中的两个点之间的距离、从捕获到的帧的平面延伸出的垂线、和/或在捕获到的帧中的两对点之间延伸的两条线，其中这两条线中的一条线相对于这两条线中的另一条线成一角度。
在捕获到的帧中的两个点之间的距离可以包括：在场景的捕获到的帧中的车辆的长度，该车辆与一近似的预先确定的长度相关联。
从场景的平面延伸出的垂线可以包括：场景中人物的高度，该人物与一近似的预先确定的高度相关联。
该方法还可包括：根据出现在一个或多个捕获到的帧中的对象的图像的摄像机坐标并且根据被确定的摄像机参数来确定位于场景中的对象的属性。
对象的被确定属性可以包括以下项中的一个或多个，例如，所述对象中的至少一个对象在场景中的空间位置、速度、和/或所述对象中的至少一个对象在特定方向上的长度。
在一些实施方式中，提出了一种系统。该系统包括：至少一个摄像机，其用于捕获帧数据；以及，一个或多个处理器，其被配置为执行校准所述至少一个摄像机的操作。所述一个或多个处理器被配置来执行的操作包括：通过至少一个摄像机来捕获场景中的帧；识别出现在捕获到的帧中的特征，所述特征与代表一个或多个对象的物理属性的预先确定的值相关联；根据出现在捕获到的帧中的被识别特征和与被识别特征相关联的预先确定的值来确定所述至少一个摄像机的参数。
系统的实施方式可以包括本公开内容所描述的特征中的至少一些特征，其中包括以上关于方法所描述的特征中的至少一些特征和一个或多个下列特征。
被配置成对出现在所捕获到的帧中的特征执行识别操作的一个或多个处理器可以被配置为执行包括以下操作的操作：自动地检测出现在一个或多个帧中的至少一个对象；自动地分类出现在所述一个或多个帧中的所检测到的至少一个对象；以及自动地识别所分类的至少一个对象的特征，被自动地识别的特征和代表关于至少一个被分类对象的物理属性的预先确定的值相关联。
被配置成对所检测到的至少一个对象执行自动分类操作的一个或多个处理器可以被配置为执行包括以下操作的操作：根据至少一个所检测到的对象的尺寸来确定高宽比；根据所确定的高宽比来确定所述至少一个对象的对象类型；以及比较所述至少一个对象的尺寸和对应于所确定的对象类型的聚类中所存储的统计测量结果。
所分类的至少一个对象可以包括以下项中的一个或多个：与预先确定的平均高度相关的人，以及，与预先确定的平均长度相关的车辆。
被配置成执行确定摄像机参数的操作的一个或多个处理器可以被配置为执行包括以下操作的操作：确定以下项中的一个或多个：所述摄像机的焦距f、所述摄像机的倾角φ、所述摄像机的偏转角β、和在对应于所捕获到的帧的场景的平面上方的摄像机的高度h。
在一些实施方式中，提出了一种非易失性的计算机可读媒介。该计算机可读媒介用一组可在处理器上执行的计算机指令来进行程序化，当所述计算机指令执行时将引发下列操作，所述操作包括：由摄像机捕获场景的帧；识别出现在捕获到的帧中的特征，所述特征与代表一个或多个对象的物理属性的预先确定的值相关联；以及，基于出现在捕获到的帧中的被识别特征和关于被识别特征的预先确定的值来确定摄像机的参数。
计算机可读媒介的实施方式可以包括本公开内容所描述的特征中的至少一些特征，其中包括以上关于方法和系统所描述的特征中的至少一些特征和一个或多个下列特征。
引发识别出现在所捕获到的帧中的特征的操作的计算机指令可包括引发如下操作的指令：自动地检测出现在一个或多个帧中的至少一个对象；自动地分类出现在所述一个或多个帧中的所检测到的至少一个对象；以及自动地识别所分类的至少一个对象的特征，被自动地识别的特征和代表关于至少一个被分类对象的物理属性的预先确定的值相关联。
引发确定所述摄像机的参数的操作的计算机指令可包括引发如下操作的指令：确定以下项中的一个或多个：所述摄像机的焦距f、所述摄像机的倾角φ、所述摄像机的偏转角β、和在对应于所捕获到的帧的场景的平面上方的摄像机的高度h。
如本文中所用的，术语“大约”是指与标准值存在+/-10％的变化。要理解的是，上述变化通常被包括在本文提供的给定值中，而无论其是否被特别指定。
如在本文中(包括在权利要求中)所使用的，以“至少一个”或“一个或多个”限定的术语项的列表中使用的“和”或者“或”，其指明所列举的术语项的任意组合都是可以使用的。例如，“A、B和C中的至少一个”的列表包括以下项的任意组合：A或B或C或AB或AC或BC和/或ABC(即A并B并C)。此外，多于一次地出现或使用术语项A、B或C有可能进行扩展，A、B和/或C的重复使用可以形成期望组合的一部分。例如，“A、B和C中的至少一个”的列表还可以包括AA、AAB、AAA、BB等。
除非定义了其它形式，否则本文所使用的所有技术和科学术语全部和本公开内容所属领域的任何一个普通技术人员所理解的普遍意思是相同的。
一个或多个实现方式的详细内容，都在下文的附图和说明书中进行阐述。进一步的技术特征、方面内容、和优点从说明书、附图和权利要求的描述中会变得清楚。
附图说明
图1A是摄像机网络的框图。
图1B是摄像机的示例性实施方式的原理图。
图2是校准摄像机的示例性程序的流程图。
图3是包括了俯视一场景的摄像机的示例性系统的框图，其中对象位于所述场景的实质平展的平面上。
图4是由摄像机捕获的示例性2D图像平面视图。
图5是自动地检测对象、为其分类、并从被分类的对象识别/提取特征的示例性程序的流程图。
图6是示出了方向格的框图。
图7是2D图像平面的示意图。
图8是通用计算系统的原理图。
在不同图形中，相同参考标号指明相同的元素。
具体实施方式
本文所公开的内容是方法、系统、装置、设备、产品和其它实现方法，包括校准摄像机的方法(例如，将捕获到的帧的坐标关联到对应于该捕获到的帧的空间物理位置)，其中该方法包括：由摄像机捕获场景的帧；识别出现在捕获到的帧中的特征，所述特征与代表一个或多个对象的物理属性的预先确定的值相关联；以及，基于出现在捕获到的帧中的被识别特征和与被识别特征相关联的预先确定的值来确定摄像机的参数。
系统配置和摄像机校准操作
通常，摄像机网络中的每个摄像机具有相关的视点和视场。视点是指通过摄像机由其来观察物理区域的位置和角度。视场是指通过摄像机成像在帧中的物理区域。摄像机网络中的摄像机可以包括处理器，诸如数据信号处理器、或通用处理器，该处理器可以处理帧从而校准摄像机以便将捕获到的帧的坐标关联到相应于捕获到的帧的空间物理位置。例如，可以(自动地或出于用户目的地)识别出现在捕获到的帧中的特征；并且可以根据被识别特征和预先确定的值(这些预先确定的值代表与所述特征相关联的一个或多个对象的物理属性(例如车的平均长度、人的平均长度等))来确定捕获到的帧的摄像机的参数(举例而言，诸如摄像机焦距、摄像机的倾角和偏转角和/或摄像机的垂直高度的参数)；且下文中将更详细地讨论这些内容。举例而言，诸如人的高度的特征(即，与被识别为人的对象相关联的最长垂直线)可以在帧中被识别；并且人的预先确定的平均高度(例如成年人)可以被用来结合被识别出的高度特征，以便为校准操作提供方便。
一个或多个摄像机还可以被配置来执行其它操作，该操作例如包括：为出现在捕获到的帧中对象的运动进行确定、对象跟踪、对象分析等。在一些实施方式中，摄像机可以将元数据(metadata)和移动对象的图像联系起来。这种元数据定义且表示了对象的不同特性。举例说明，元数据可以表示在摄像机视场内的对象的位置(例如，在以摄像机的CCD像素为单位的2D坐标系中)、对象图像的宽度(例如，以像素为单位)、对象高度(例如，以像素为单位)、移动对象图像的方向、对象图像的速度、对象的颜色，和/或对象的类别。摄像机或与之通信的远程计算系统，还可以对出现在捕获到的帧中的相关对象执行分类操作，例如将对象分类到诸如人、动物、车、小货车、大货车，和/或SUV的种类中。可以利用这类技术诸如对象聚类、图像结果和形态研究、神经网络分类、和/或其它类型的识别对象的图像处理技术/程序来执行对象的分类。与涉及到运动对象的事件相关的元数据，其还可以由摄像机网络中的摄像机来产生(或这些事件的确认可以被远程执行)。可以由摄像机或远程计算系统来确定的事件，其可以包括例如进入摄像机视场的对象、离开摄像机视场的对象等。
在一些实施方式中，关于由摄像机所捕获的视图来执行校准的摄像机，其可以将一帧或多帧的视频输入(其可能被压缩过)传输到远程计算系统，例如主计算机系统；和/或可以将代表出现在摄像机视图中的对象(例如，运动对象)的运动和其它特性的数据传输到此种主计算机系统。在这些实施方式中，接收摄像机帧的数据和/或代表运动和其它对象特征的其他数据的主计算机系统，其可以利用所接收到的数据来执行诸如根据本文所描述的程序方法来进行摄像机校准的操作。
在一些实施方式中，代表运动(和其它对象特性)的数据可以被主计算机使用来执行其它功能和操作。例如，在一些实施方式中，利用从多个摄像机接收的代表运动和/或对象的其它特性的数据，主计算机系统可以被配置成将关于通过摄像机所捕获的图像中的出现的对象的运动数据显示在单个全局图像(例如，地图、由摄像机覆盖的所有区域的总括图等)中，以便使得用户能够在单个全局图像中看到多个对象的运动的图形表示(包括这些对象相对于彼此的运动)。主计算机可以使得用户能够从该全局图像中选择区域，并且能够由从该区域捕获图像的摄像机接收视频输入。在一些实现方式中，主计算系统可以被配置成确定出现(同时或非同时)在不同摄像机的视场中的运动对象的图像是否表示相同对象。如果用户指定该对象要被跟踪，主计算机系统向用户显示视频输入的帧，其中该视频输入来自被确定具有对象优选视图的摄像机。当对象移动时，如果另一个摄像机被确定含有优选视图，则可以从不同摄像机的视频输入显示帧。提供了关于这些进一步的功能和操作的额外的详细内容，例如，在2010年12月30号递交的专利申请序列号为12/982,138,题目为“Tracking Moving Objects Using a Camera Network”的申请，以及在2011年11月22号递交的专利申请序列号为13/302,984,题目为“Geographic Map Based Control”的申请，它们所有的内容在此通过引用方式将它们全部并入。
对于图1A，安全摄像机网络100的框图的示例被显示。安全摄像机网络100包括多个摄像机，其中这些摄像机可以是相同类型的摄像机，或者不同类型的摄像机。例如，在一些实施方式中，摄像机网络100可以包括一个或多个固定位置的摄像机(诸如摄像机110和120)、一个或多个PTZ(云台变焦(Pan-Tilt-Zoom))摄像机130、一个或多个从属摄像机140(例如不执行任何局部图像/视频分析，而只是将捕获的图像/帧传输到远程设备，诸如远程服务器中的摄像机)。额外的或少数不同类型的摄像机(且不仅仅是图1A所描述的摄像机类型中的一种类型)可以被用在摄像机网络100中，并且摄像机网络100可以具有零个、一个、或多于一个的任意类型的摄像机。例如，安全摄像机网络可以包括五个固定的摄像机，以及可以不包括其它类型的摄像机。如另一例子，安全摄像机网络可以具有三个固定位置摄像机、三个PTZ摄像机，和一个从属摄像机。
安全摄像机网络100还包括路由器150。固定位置摄像机110和120、PTZ摄像机130和从属摄像机140可以利用有线连接(例如LAN连接)或无线连接与路由器150进行通信。路由器150和计算系统，诸如主计算机系统160进行通信。路由器150利用有线连接(如本地网络连接)或无线连接与主计算机系统160进行通信。在一些实现方式中，一个或多个摄像机110、120、130和/或140可以利用例如收发器或一些其它通信设备将数据(视频和/或其他数据，诸如元数据)直接发送到主计算机系统160。在一些实施方式中，计算系统可以是分布式计算机系统。安全摄像机网络100的设备，例如摄像机和主计算机系统，可以根据例如基于分组的协议进行通信；和/或可以通过另一种网络诸如因特网进行通信。在这种实施方式中，安全摄像机网络100的设备/组件可以被指定网络地址，诸如因特网协议(IP)地址。
在一些实施方式中，主计算机系统160包括元数据服务器162、视频服务器164和用户终端166。元数据服务器162被配置为接收、存储并分析从与主计算机系统160通信的摄像机接收的元数据(或一些其它数据格式)。视频服务器164可以从与主计算机系统160进行通信的摄像机接收并存储被压缩和/或解压缩的数据(例如，视频/图像数据)。用户终端166允许用户(诸如警卫)访问连接主机系统160，以便控制系统的操作和功能中的至少一些，并且监控从安全摄像机网络100的摄像机所提供的信息。在一些实施方式中，用户终端166可以同时为用户显示一个或多个视频输入。在一些实施方式中，元数据服务器162的功能、视频服务器164的功能和用户终端166的功能可以由单独的计算机系统来执行。在一些实施方式中，这些功能可以由一个计算机系统执行。
固定位置的摄像机110和120可以置于固定位置，例如，被安装在建筑物的屋檐下，以获取建筑物的紧急出口的视频输入。这类固定位置的摄像机的视场，除非受到某种外部力量的移动或校准，则它们将维持不变。如图1A所示，固定位置的摄像机110包括处理器112诸如数字信号处理器(DSP)，以及视频压缩器114。当固定位置的摄像机110的视场的帧被固定位置的摄像机110捕获时，这些帧通过数字信号处理器112、通过微处理器、或通过任意其它类型的处理器来处理，以便确定例如是否出现了一个或多个正在移动的对象和/或执行其他功能和操作。
更普遍地，且关于图1B，摄像机170(还被称为视频源)的示例性实施方式的框图被显出。摄像机170的配置可以类似于在图1A中所描述的摄像机110、120、130和/或140中的至少一个摄像机的配置(尽管每个摄像机110、120、130和/或140可以具有其自身独特的特征，例如PTZ摄像机可以能能够被立体放置以控制被它所捕获到的图像的参数)。摄像机170通常包括捕获单元172(有时指的是视频源设备的“摄像机”)，该捕获单元172被配置成为摄像机170的处理器174提供原始图像/视频数据。捕获单元172可以是基于捕获单元的电荷耦合器件(CCD)，或者可以基于其它合适的技术。被电耦合到捕获单元的处理器174可以包括任意类型处理器单元和存储单元。另外，处理器174可以被用来代替或附加到固定位置摄像机110的处理器112和视频压缩器114。在一些实现方式中，处理器174可以被配置成例如把由捕获单元172提供给该处理器的原始视频数据，压缩为数字视频格式，例如MPEG。在一些实现方式中并且在下文中将变得更清楚的是，处理器174还可以被配置成执行用于摄像机校准、对象识别和分类和/或运动确定的程序中的至少一些。处理器174还可以被配置成执行数据修改、数据打包、建立元数据等。所得的被处理的数据，例如被压缩的视频数据，代表对象和/或其运动(例如代表被捕获到的原始数据可识别特征的元数据)的数据被提供(流入)到例如通信设备176中，其中该通信设备176可以是网络设备、调制解调器、无线接口、各种收发器类型等。该流入的数据被发送到路由器150，以用于将该流入的数据传输到例如主计算机系统160中。在一些实施方式中，通信设备176可以将数据直接传输到系统160中而不需要必须把这些数据首先传输给路由器150。尽管捕获单元172、处理器174和通信设备176被显示为独立的单元/设备，但是其功能可以被提供在单个设备中或两个设备中，而不是如所示的三个单独单元/设备中。
在一些实施方式中，场景分析程序可以在捕获单元172、处理器174和/或远程工作站中执行，例如根据可以执行哪些校准操作来识别帧中的特征，以便检测和跟踪被监控的场景中的对象等。确定一个或多个对象的出现和/或运动以及其它特性的图像/视频处理的例子例如在专利申请序列号为12/982,601,题目为“Searching Recorded Video”的申请中有所描述，其中该申请的内容在此通过引用的方式将其全部并入。在场景分析处理过程是由摄像机170执行的情况下，关于从捕获到的视频数据识别或确定的对象和事件的数据，其可以作为元数据或使用某些其它数据格式(其中包括代表对象的运动、行为和特性的数据)被发送(伴随有或不伴随有发送视频数据)到主计算机系统160。这种代表摄像机视场中的对象的行为、运动和特性的数据可以包括例如对穿过绊网的人的检测、对红色车辆的检测等。需要注意的是，可选地和/或额外地，视频数据可以流出到主计算机系统160，从而使得可至少可以局部地在主计算机系统160中执行处理和分析。
例如，根据由摄像机捕获的帧所产生的数据可以包括：所捕获到的帧中的特征的信息，该信息例如包括帧中所捕获到的对象的类型、该对象的显著特征(例如，组成该对象的长、高、宽等的线)、对象的位置、对象正在移动的方向、对象正在移动的速度、对象的颜色等。
例如，对象的位置可以被表示为关于任一摄像机的二维坐标系统的二维坐标。因此，这些二维坐标与像素组的位置有关，其中该像素组构成了由特定摄像机捕获的帧中的对象。对象的二维坐标可以被确定为由摄像机所捕获到的帧内的点。在一些配置中，对象位置的坐标被视为是对象的最低部分的中间位置(例如，如果对象是站立的人，则该位置应该在人的双脚之间)。二维坐标可以具有水平和垂直的分量。在一些配置中，水平和垂直的分量以像素的数量为测量单位。例如，{613,427}的位置意味着该对象的最低部分的中间位置是：在摄像机视场中的沿着x轴613个像素点和沿着y轴427个像素点处。当对象移动时，对象位置的相关坐标也在变化。另外，如果同一对象还出现在一个或多个其他摄像机的视场中，则由其它摄像机所确定的对象的位置坐标可能是不同的。
对象的高度还可以依据像素的数量表示。对象的高度可以被定义为从构成对象的像素组的底端到对象的像素组顶端之间的像素的数量。如上文所述，如果对象靠近特定摄像机，则测量高度将比假定对象在远离该摄像机时的测量高度要大。被确定是人的对象的特征(诸如对象高度(以像素为单位))，其可以是和代表对象的物理属性(例如成年人的平均身高)的预先确定的值(例如，1.75米)相关联的。因此摄像机的校准可以实现，这是基于出现在摄像机视图中的特征的尺寸是已知的(即其像素尺寸是已知的)以及基于这些特征假定的现实尺寸也是已知的。利用这些值，最优化处理过程可以被执行以便确定摄像机的参数，并因此可以确定能够将摄像机图像坐标转换到现实坐标的转换矩阵(且反之亦然)。
更具体地，根据图2示出了用于校准摄像机的示例程序200的流程图。程序200的运行还根据图3和图4有所描述。程序200包括由摄像机捕获210场景中的帧。例如，如图3所述，摄像机310被定位以使其视场包括场景320，该场景在不缺失共性时可以是对象在其上移动的平面，且摄像机位于该平面的上方，并以该摄像机以向下指向平面的这种方式来安装。出于说明的目的，图3的示例性视图300包括两个对象，即人330和车辆340。然而，由摄像机监控所捕获的视图可以包括任意数量的对象，这些对象可利用环视场景的摄像机来识别，从而识别能够在校准过程中使用的对象特征。此外，尽管图3仅仅显示了一个摄像机，但是视图300的场景320可以由任意数量的摄像机来监控，其中每个摄像机可以根据本文所述描述的程序、方法和技术来校准。
出于说明的目的，摄像机310(其可以具有类似于例如在图1A和图1B中所描述的任意摄像机的配置)可以被假定为一种利用针孔模式来形成摄像机透视投影的摄像机。针孔摄像机模式通过透视投影，定义了在3D点和其到摄像机图像平面相关2D投影之间的几何关系。针孔模式可源自于封闭匣子或箱子形状的针孔摄像机，使得其各面中一个面有小孔以允许光的传播透射，并且在该盒子的对立面上建立外部空间的图像。摄像机310可以被假定为具有零变形以及具有被位于其图像中心的主要中心。因此，摄像机的固有参数被减少到一个参数，即焦距f。摄像机的外在参数涉及到其安装，并因此可以限定摄像机和所监控场景的关系。摄像机的外在参数可以包括，例如摄像机的高度(即摄像机相对于场景320的平面上方的垂直高度)、和三个旋转角度(摇动角度、倾角φ、和偏转角β)。为了简化该问题，摇动角度可以被忽略并被设置为0。
继续关于图2，根据被摄像机捕获到的帧(或者多个帧)，识别220出现在帧中的特征。可以由用户指定(例如，利用可能包括有诸如图1A中所描述的用户终端166的监控器和诸如鼠标或指示设备的输入设备的用户界面)出现在被捕获到的帧中的某些对象特征，诸如各种显著线条来执行特征的识别。例如，如图4所示，示出了被摄像机捕获的2D图像平面视图的示意图，用户可以识别出现在图4中的人体对象430的垂直线432，其中该垂线对应于人的身高，和/或用户可以识别出现在图4中的车辆对象440的线442，其中该线对应于车辆对象440的车长。如下文根据图5更详细地描述的，在一些实施方式中，出现在帧中的、根据其可校准摄像机的特征(例如，线432和/或442)可以被自动识别，例如，通过自动地检测和跟踪出现在一个或多个帧中的对象，自动地分类出现在一个或多个帧中的被检测对象，以及，自动地识别被分类对象的特征。被识别对象(其可以是由用户直接识别的特征或自动识别的特征)是代表对象类型的物理属性的预先确定的值。例如，值得注意的是，对应于人的身高的垂线可以关联预先确定的的平均高度(其可以接近于被识别为人的对象的大约高度)，并且对应于车辆长度的线可关联轿车类型的车辆的预先确定的的平均高度(其可以接近于被识别为车辆的对象的大约长度)。在一些实施方式中，对象和/或其特征的更精确的识别，使得可以更精确地选择或将预先确定的值匹配到被识别的对象。例如，如果对象识别过程使得能够确定车辆是轿车类型还是SUV类型，则可基于该分类来使用将特定属性与对象相关联的预先确定的值(例如，被确定是轿车的对象的长度可能关联平均长度5000mm，而被确定是SUV的对象的长度可能关联平均长度6000mm)。
因为帧中被识别的特征的尺寸是与从该捕获到的帧所确定的像素尺寸相关联的并且还和预先确定的值相关联，则该信息可以被用来校准摄像机，以便将捕获到的帧的坐标(和后续的帧，只要校准摄像机的参数没有变化)关系到由摄像机捕获的场景的物理空间位置(例如，捕获场景的绝对或相对的全局坐标)。在校准摄像机时，确定摄像机的参数，从参数确定关系(例如表示为矩阵)以将摄像机坐标系关系到被摄像机捕获的场景的现实坐标，以及例如还将3D全局坐标系关系到2D图形平面坐标系。因此，程序200包括基于出现在捕获到的帧中的被识别特征以及与被识别特征相关联的预先确定的空间物理值来确定230摄像机的参数。
更具体地，存在涉及摄像机校准的三个坐标系统：3D全局坐标系X-Y-Z、3D摄像机坐标系Xc-Yc-Zc、和2D图像平面坐标系u-v。在3D全局坐标系统和摄像机的3D坐标系统之间的关系如图3中所示例。坐标设置可以被表示为：
[su,sv,s]t＝K[Xc,Yc,Zc,1]t＝C[X,Y,Z,1]t和C＝KSR[I|-T] (1)
其中[su,sv,s]t和[X,Y,Z,1]t是矢量，其含有在位置(u,v)处的图像平面点以及在位置(X,Y,Z)处的全局点的齐次坐标，其中S是比例系数而t则代表转置。I是3×3单位矩阵，且K是摄像机的固有参数的3×3矩阵(假设没有变形和方形像素、以及图像中心的主要中心)，其中K可以表示为：
在上文的等式(1)中，S是对应于转角沿着摄像机的光轴的β(偏转角)旋转的3×3旋转矩阵，并且S被表示为
在等式(1)中，R是3×3旋转矩阵，该矩阵对应于沿着X轴的(90°+φ)旋转(其中φ是倾斜角)，并且R被表示为如下：
在上文的等式(1)中，[I|-T]是单位矩阵在右边附上过渡矢量[0,0,-h]t的扩展矩阵，即：
其中全局坐标系的原点被假定为摄像机的右下方，并且摄像机具有在平面上方的垂线高度h，在所述平面中设置有全局位置点(X,Y,Z)。因此透视投影矩阵可以被设置为：
其中：
C11＝f cosβ
C12＝f sinβsinφ
C13＝f sinβcosφ
C14＝-hf sinβcosφ
C21＝f sinβ
C22＝-f cosβsinφ
C23＝-f cosβcosφ
C24＝hf cosβcosφ
C31＝0
C32＝cosφ
C33＝-sinφ
C34＝h sinφ
给定投影矩阵C，在(X,Y,Z)处的全局点的2D图像平面坐标可以根据下方条件来计算：
然而，由于异常的翻转问题，从已知图像点恢复到全局坐标通常是不可能的。然而，对于大部分监控应用，关注的对象位于在地板或平面上，诸如停车场、交通公路、建筑物地板上。在物体被置于平面上这一约束下，从被观测图像点计算全局坐标是切实可行的。借助关于所关注平面的已知Z值，其它两个全局坐标X，Y可以通过求解以下线性等式系统来计算：
其中：
a11＝c11-uc31＝fcosβ
a12＝c12-uc32＝fsinβcosφ-ucosφ
a21＝c21-vc31＝fsinβ
a22＝c22-vc32＝-fcosβsinφ-vcosφ
b1＝uc34-c14+(uc33-c13)Z＝uhsinφ+hfsinβcosφ-(usinφ+fsinβcosφ)Z
b2＝vc34-c24+(vc33-c23)Z＝vhsinφ-hfcosβsinφ-(vsinφ-fcosβcosφ)Z
因此，为了将全局坐标转换到2D图像平面坐标，以及为了确定被摄像机捕获的场景中的对象的物理特性(即对象的运动速度、对象尺寸、对象空间位置等)，需要确定摄像机的焦距f、倾角φ、偏转角β和在场景平面上方的摄像机的高度h。要求至少四个约束条件来确定这些摄像机参数，以便构造至少四个独立等式来求解这些参数。在视频监控时，其中被关注对象在平面上停留或移动，场景中的对象的特征(值得注意的是，可以在用户的帮助下识别、或自动识别)对应于可以被用来定义约束条件的几何信息，该约束条件可以被用来解决摄像机参数。从被识别对象的特征定义的约束包括：1)在平面上的线的已知距离；2)垂直于平面的线的已知距离；以及，3)在平面上的线对，其具有关于每个线对的已知角度和/或在这些线对之间的已知距离。更具体地，通过识别场景中的特征并且给这些特征指定假定这些特征所具有的已知预定的尺寸，约束可以被定义。例如，平面上被识别为车辆长度的线的距离，被假定具有例如5米的已知预先确定的值。通过将这些已知值指定给由摄像机捕获的场景的几何特征，则定义了被用来计算摄像机参数的约束。在一些实施方式中，假定的预先确定的值可以是基于被捕获场景内容的。例如，如果被捕获场景是在停车场的那个场景中是确定的、或已知的，则可以假定出现在场景中的人是具有平均身高例如1750毫米的成年人，以及车是具有平均长度5000毫米的轿车。因此，不同场景内容可能需要关于出现在该场景中的对象的不同物理属性的假定(例如尺寸)。
可以被定义使得能够计算摄像机参数的约束包括：
1.平面上，点(X1,Y1)和点(X2,Y2)之间的距离d：
f1(X1,Y1,X2,Y2)＝(X1(0)-X2(0))2+(Y1(0)-Y2(0))2-d2＝0 (3)
2.连接在平面上的点(X1,Y1)和点(X2,Y2)的高度Z的垂线，即Z在平面上方：
f2(X1,Y1,X2,Y2)＝(X1(0)-X2(Z))2+(Y1(0)-Y2(Z))2＝0 (4)
3.两条线，连接(X1,Y1)和(X2,Y2)的L1、连接(X3,Y3)和(X4,Y4)的L2，从L1到L2具有角度θ：
如果θ＝90°:
f3(X1,Y1,X2,Y2,X3,Y3,X4,Y4)＝(Y2-Y1)×(Y4-Y3)+(X2-X1)×(X4-X3)＝0 (5)
否则
等式(3)表示的约束相当于平面上的线已经被识别的情况，对于做出假定——该被识别的线是和已知预先确定的值相关的。例如，线(诸如图4中的线442)被确定为表示车的长度的线，该线与相应于车的平均长度的预先确定的值d(例如d＝5000mm或某些其它合适的值)相关联。因此，当这些与假定长度相关联的线特征被识别时，等式(3)代表如下约束：即在定义了线的端点的3D坐标系统中的点之间的距离必须等于相关联的预先确定的距离。
类似地，等式(4)代表对应于下列条件的约束：即其中垂线已被识别，关于这些垂线能够做出这些被识别的垂线和已知的预先确定的值相关联的假设。例如，线(诸如图4中的线432)被确定为代表人的身高的线，该线与相应于成年人的平均身高的预先确定的值Z(例如Z＝1750mm或某些其它合适的值)相关联。
等式(5)和(6)表示对应于涉及有多条可能或不可能彼此交叉的线的条件的约束。例如，条件θ＝0对应于具有在其之间已知的距离的平行线的被识别特征。这些平行线可在例如停车场的图像中被识别，其中平行线定义了停车位。因为在定义了停车位的线之间的距离具有已知的预先确定的值(或可以被假定为具有已知的预先确定的值)，则可以根据将线识别为停车位的平行线以及根据在这些线之间假定已知的距离来把约束用公式表示出来。
因此，通过识别与预先确定的值相关联的捕获到的帧中的特征，相应约束被定义/用公式表示出来。当足够量的此类约束被定义，(例如，确定4个未知摄像机参数η＝{f,φ,β,h}，至少需要有4个约束被用公式表示出来)，各种程序可以被用来确定该未知的摄像机参数。例如，在一些实施方式中，摄像机参数的确定可以作为被执行来将平均误差最小化的优化问题，而被用公式表示出来：
和
其中，fki表示等式(3)-(6)中所定义的各种约束类型的约束函数ith。例如，约束类型1可以对应于平面上两个点之间的距离d；约束类型2可以对应于连接在平面上的点(X1,Y1)和点(X2,Y2)的高度Z的垂线，其中Z在平面上方；以及，约束类型3可以对应于连接(X1,Y1)和(X2,Y2)的L1以及连接(X3,Y3)和(X4,Y4)的L2这两条线，其中L1到L2有角度θ，等等。除了关于等式(3)-(6)所描述的那些约束类型之外，还可有其它约束类型。λk是用于约束类型k的权重因子，其可以被用来做代表关于鲁棒性的置信度和关于相关约束类型的精确度。在一些实施方式中，所有λ可以被设置为一(1)，以便让所有约束类型在摄像机校准中发挥实质相同的作用(即具有相同的权重)。
根据一组被定义的约束，校准过程的进行如下所示。给定校准参数η的例子，对于每个约束(其可以被表示为指定约束类型的线的图像平面坐标)，利用等式(2)来计算相应的全局点，所述等式(2)还被利用来计算合理的约束函数(例如，等式(3)到等式(6)中的任意一个等式)。作为结果，获取平均误差err(η)，其中不同的η值提供了不同的误差值。在一些实施方式中，可以得到提供了err(η)最小值的η，将该η作为摄像机校准结果。这种优化问题可以利用非线性的优化程序来解决。在一些实施方式中，为了得到正确目标结果，根据校准过程所采用的校准类型，可以采用其它调整方式。
特征识别
值得注意的是，场景的被捕获到的帧中的特征被手动识别和/或自动识别，例如使得能够用公式表示出约束，从该约束公式中可以确定捕获摄像机的参数。为了手动地识别特征，图形用户接口可以被用来配置成使得用户能够通过操作视频片段或实时视频流来指定约束数据。例如，图4描述了由摄像机所捕获的2D图像平面的帧。利用用户接口，用户可以冻结视频流(由此获取如图4中的帧一样的、被捕获到的帧)；通过例如在普遍尺寸的车或人上画出约束线(例如画出垂线432、或线442)来识别特征；为该识别特征指明约束类型(例如指明线432是约束类型2，以及线442是约束类型1)；输入物理参数诸如平面上的线的长度、垂线高度(垂直于所述平面)、平面上的线之间的角度等。在图4的例子中，用户可以立即在人430的脚的下方用圆圈434标注出点；以及可以立即在人430的头顶用“x”标注出点。然后，用户可以画出这两个被标注出的点之间的线，或者在一些实施方式中，用户接口可以自动地使得在这两个点之间划线。如图4进一步所示，在一些实施方式中，通过用户直接在车的驾驶侧(即车的左侧)将该车的最近点和最远点的下方用“x”标注，则可以产生相应于车440的长度的线442。另外，利用用户接口，用户还可以能够画出通过这两个被标注的点的线；或用户接口可以自动地导致在被用户标注的两个点之间产生线。
还可以自动地获取约束数据，因此可实现摄像机自动校准而需要很少或不需要人类干涉。基本想法是执行自动对象分类，以及对被分类对象做出合理假设，例如，单个人的平均高度、轿车的平均长度等，其可以作为为关于相应的被分类对象的接近值。
图5是示例程序500的流程图，其自动地检测对象、将其分类、且从该可以被用来摄像机校准的被分类对象识别/提取特征。如图所示，程序包括利用摄像机(诸如图3中所描述的摄像机310)来捕获505帧，该摄像机可以类似关于图1A和1B所描述的任一款摄像机。值得注意的是，在一些实施方式中，摄像机310可以捕获并处理帧；和/或摄像机可以将至少一些被捕获到的帧传输到远程计算系统，诸如图1A中的主机系统160，其可以执行一些帧的处理(例如，跟踪和分类对象、识别特征和校准摄像机)。
如图5进一步所示，利用被捕获到的帧，场景中的对象被检测并跟踪510。在一些实施方式中，基于运动模糊点的提取可以执行对象的识别，并且根据模糊点在连续图像帧中的匹配可以执行对象的跟踪。运动模糊点的提取可以通过任意背景差算法来实现，诸如运行平均值、高斯混合模型、非参数统计模型。例如，在一些实施方式中，根据其像素值(例如亮度或色彩)和在其位置上的背景模型之间的不同，输入像素可以被分类为前景像素或背景像素，并且通过标示过程相邻的前景像素可以被组合在一起以形成运动模糊点(对象)。通过将对象跟踪技术(诸如卡尔曼滤波、粒子滤波、或均值漂移跟踪)应用到对象特征(例如尺寸、高度、移动速度和方式、形状等)，还可以在一系列连续的帧上跟踪对象。用于对象识别和跟踪的各种其它技术也可以被应用。例如，在专利申请序列号为13/302,984的，题目为“Geographic Map Based Control”的申请中提供了其它的对象识别和跟踪程序的例子，其内容在此通过引用方式被全部并入。
在一些实施方式中，可以为从视频内容的持续帧中跟踪的和提取的每个对象保持轨迹线历史。该轨迹线历史代表对象在一段时间所采用的路径。从视频内容提取的每个对象的轨迹线历史可以被检查以确定对象是否有持续跟踪(即被认为是对应于运动对象的跟踪)。在一些实施方式中，根据相应对象从帧到帧的尺寸，可以确定跟踪的持续性。例如，如果其尺寸与对象尺寸的平均值的差值在很小范围内，而该平均值是对象在许多帧(例如，至少5个帧)的最近历史中被计算的，则对象的尺寸可被确定是持续的。如果确定与其目前平均值相比，对象显著地改变了其尺寸，那么对象的跟踪被确定为不是持续的跟踪，并且因此被跟踪对象将被排除作为可用于进一步的对象分析和处理(例如执行对象识别和分类)的实施候选对象，并且该对象可能作为噪声被丢弃。如果对象没有出现在最小数量的后续的帧中，则被跟踪的潜在对象还可以被确定为不是真正的对象。例如，一些视频摄像机以每秒三十帧的速率获取视频内容，并且如果潜在对象没有出现在最小数量的后续的帧中，则该潜在对象作为噪音被丢弃。
因此，程序500包括：确定515是否存在任意所得的持续跟踪(即从对象检测和跟踪操作所得到)。如果确定存在有至少一个持续跟踪，那么该持续跟踪T从通过对象检测和跟踪操作确定的所得的持续跟踪取得520。另一方面，如果没有被确定为持续跟踪的当前跟踪(例如，因为没有处理足够量的包括有潜在候选跟踪的帧；因为仍没有可实施潜在持续跟踪候选被识别等等)，那么可以继续帧的捕获和帧的处理(例如对象的检测和跟踪操作)。帧捕获以及对象的检测和跟踪的操作505和510可以并行于程序500的其它操作来继续进行。也就是说，即使当执行与被识别的持续跟踪相关的其它处理，帧捕获以及对象的识别和跟踪的操作505和510可以继续被执行，以便于根据持续路径/跟踪来继续识别潜在运动对象。
在一些实现方式中，对应于被检测对象的运动的被选择跟踪T，可以被检查以确定525对象是否有明显的运动方向。明显的运动是对象在预先确定的临界距离上移动的一种运动。对象的明显的运动方向，表示对象沿着其已经持续移动了明显的距离的运动方向。对象可以被表示为包围框或其轮廓，并且该包围框或轮廓的位置可以从帧到帧进行比较，以确定对象是否已经经历了明显的运动。如果持续跟踪被确定没有明显的运动方向，则暂停关于当前跟踪的进一步的处理，并且在515处确定是否要进一步分析其它持续的跟踪(如果在505和510处，没有进一步的持续跟踪、捕获和对象识别以及跟踪操作，则继续)。在一些实施方式中，相应于被确定为没有明显运动方向的跟踪的对象，其仍可以在后续的帧中被跟踪，并且其跟踪可能之后会被确定为有明显的运动方向。
如果被处理的当前跟踪T被确定是有明显运动方向的跟踪，则对应于该跟踪T的对象被分类530。对象分类可以被执行，例如通过对象尺寸和高宽比的聚类，以便自动地学习/定义对象的特征(例如，定义正常的人类对象、正常的车辆对象等等)并将其分组到各自类别中。对象的高宽比是在二维图像帧(例如，图4所示的2D图像帧)中对象的高度与对象的宽度的比率。对象的方向性高宽比表示：对象在垂直方向上的长度与对象在关于明显运动方向平行的方向上的长度的比率。一些对象的高宽比可以随着对象运动方向的变化而发生变化。例如，如果车辆转弯且开始在帧中向上或向下移动，则从左到右穿过帧运动的车辆的高宽比可能发生变化。大部分车辆的长度是比其宽度要长的。因此，车辆的高宽比根据车辆正在运动的方向的变化而发生变化。代表车辆的对象的宽度很可能是比该车辆水平穿过帧时的高度要大；并且代表车辆的对象的高度很可能是比该车辆沿着帧垂直运动时的高度要大的多。相反，无论在哪里且无论人走在场景中的哪个方向上，人的高宽比看起来是固定不变的。因此，关于对象的高宽比是否随着其方向的变化而发生变化的信息，其可以被用来协助对象进行分类。此外，车辆具有固定值的方向性高宽比，而无论其在何处也无论其在哪个方向上运动，而人随着运动方向的变化其方向高宽比的值也随之变化。因此该特性也帮助为对象进行分类。
因此，对象分类包括至少部分地基于对象尺寸来确定对象的高宽比。基于所确定的高宽比和方向性高宽比，确定535当前对象是否是为车辆对象。例如，如果当对象移动方向发送变化时，该对象被确定具有实质上不变的方向性高宽比，和/或被确定具有变化的高宽比，则该对象是车辆对象。当对象被分类为车辆对象时，确定540在对象的当前位置(例如在当前2D图像平面坐标中)是否已经关联到现有数据。如果对于该位置存在已有数据，其可以指明之前在该位置处已经检测到过其它的车辆对象，并且因此其可以不必考虑将其他的车辆对象作为在相同位置的约束(尽管被新分类的车辆对象还可能被认为是噪声而被移除)。在这些情况下，当被分类对象在当前位置处的数据已经存在时，用于该对象的进一步过程被暂停，并且下一个持续跟踪(如果存在另一个持续跟踪的话)可以被执行(如515处所确定的)。
如果确定不存在关于被分类的车辆的现有数据时，车辆对象的移动长度被计算545，并且各个聚类的统计数据被更新。在一些实施方式中，一些车辆对象的聚类可以被提供，其对应于车辆对象可移动的方向的范围。例如，在2D图像平面中的整个360度范围可以被分为方向格(例如6个、12个、18个等)，每个方向格占据两个相反的角度范围(例如在使用6个格时30°的范围)。图6是示出了方向格600的示意图。如图6所示，格1指明从-15°到15°以及从165°到-165°的范围、格2指明从15°到45°以及从-165°到-135°的范围等等。与每个格相关联意味着代表在相应方向上移动的车辆对象的方向长度的标准偏差和出现次数(例如可能性)。在一些实施方式中，可以使用高斯混合模式。
在一些实现方式中，聚类过程可以是基于两种类型的聚类：网格级聚类和场景级聚类。为了计算的效率，摄像机的整个视场可以通过均匀地降尺度或根据摄像机的透视镜头信息(如果可用)降尺度，以便降低到一系列网格(网格地图)。例如，640×480像素的场景可以通过8×8降尺度来利用80×60网格地图来表示。地图中每个网格对应于局部场景区域，并且具有与该网格相关联的高斯混合模型。无论被持续跟踪对象何时访问网格空间，与该网格相关联的高斯混合模型可以根据对象尺寸信息来更新。因此，如果网格级聚类被用于车辆对象，则更新与当前网格相关联的适当方向格的参数。
计算出车辆对象的移动方向长度之后，确定550被计算出的移动方向长度是否是正常的。当车辆的移动方向长度在平均长度(该长度通过与被分类对象相关联的聚类中的统计参数来指明)的一定范围内时，车辆对象被认为是正常车辆。因此，在一些实施方式中，为确定车辆对象的长度是否是正常的，要将该车辆对象的尺寸和与该车辆对象相关联的聚类中所存储的统计测量结果进行比较。
如果车辆对象被确定为不具备正常长度，则关于当前对象的进一步处理被暂停，并且515处的操作继续(即，确定是否存在任何其它的持续跟踪)。如果车辆对象被确定具有正常长度，新的约束可由在校准过程中所使用的车辆对象的特征获取。为了获取约束，目前被分类的对象具有其运动模板，其中该运动模板从背景图像中被分离，以便从运动模板获取有用的校准信息。运动模板是由被检测到的对象所占据的局部图像区域，该区域通过在该区域中所使用的背景模式和输入像素之间的像素值(或颜色)的较大区别来进行识别。例如，在显示了2D图像平面700的示意图的图7中，投影到地平面上的车辆对象的长度可以通过其运动模板与其明显运动方向的最长的平行线的交叉线段来近似得到。如果存在多条具有相同最大长度的平行交叉线，则选择在最低位置的线，即最接近地面的一条线。因为车辆的长度与假定的预先确定的值(例如5000m)相关联，则当车辆对象被确定是正常车辆对象时构造5元素的集合，即(u1,v1,u2,u2,L)，其中(u1,v1)和(u2,v2)是平行于车辆的明显移动方向的交叉线的两个端点的图像坐标；并且L是车辆对象在移动方向上的假定的预先确定的长度(例如5000m)。该5元素的集合可以被用来以公式表示出约束(例如，由等式(3)表示的约束类型1)，该约束将被用来确定摄像机的参数，并因此校准摄像机。
以类似于对被分类为车辆对象的对象所执行的处理类似的方式，如果对象被确定560为人类对象，将确定565对象的当前位置(例如当前2D图像平面坐标)是否已经和现有数据相关联(是否存在关于该位置的现有数据，这可以指明之前在该当前位置检测到过其它的人类对象，并且因此其可以不必将其它的人类对象考虑为在相同位置的约束)。当被分类对象的当前位置的数据已经存在时，则关于该对象的进一步过程被暂停，并且下一个持续跟踪(如果存在另一个持续跟踪的话)可以被处理(如515处所确定的)。同理，如果当前对象被确定(在560处)不是人类对象(例如，至少部分地基于先前确定的对象的高宽比)，则关于当前对象的进一步处理过程被暂停，并且下一个持续跟踪(如果存在一个持续跟踪的话)被处理。
如果确定不存在关于被分类车辆的现有数据时，人类对象的高度被计算570，且各个聚类的统计数据被更新。例如，更新关于平均、标准偏差和发生率的对象高度统计数据，其作为正常人类对象检测的参考。值得注意的是，在一些实施方式中，可以使用网格级聚类，在网格级聚类情况下可能存在对应于各种网格的若干人类对象聚类。因此，关于被影响网格的聚类统计数据在这些情况下被更新。
在计算出人类对象的高度(就图像平面的2D坐标而言)之后，确定575该被计算出的高度长度是否是正常的。当人的垂直长度，与关于在对象被检测的位置处的标准偏差相关的垂直长度的平均值的差值在很小范围内时，则该人类对象被认为具有正常高度。例如，如果在该位置处，他或她的高度(2D图像高度)在与平均高度值的标准偏差的0.2倍的范围内，则该对象可以被认为是正常人。因此，在一些实施方式中，把人类对象的尺寸与存储在与人类对象相关联的聚类中的统计测量数据进行比较，以便确定对象的高度是否正常。
如果人类对象被确定为不具备正常高度，则关于当前对象的进一步的处理被暂停，并且515处的操作继续(即确定是否存在任何其它的持续跟踪)。如果人类对象被确定为具有正常高度，新的约束可由被包括在校准过程中的对象的特征获取。值得注意的是，为了获取约束，目前被分类的对象具有其运动模板，其中该运动模板从背景图像中被分离，以从运动模板中获取有用的校准信息。如图7中所示，对于人类对象，其脚和头的点的图像坐标可以被获取例如作为其包围框710的底端和顶部的中心。
因为人的高度和假定的预先确定的值(例如1750mm)相关联，当人类对象被确定是正常的(例如对象高度接近在关于相应标准偏差的人类聚类中所维持的平均高度)，则构造5元素集合，即(u1,v1,u2,u2,H)，其中(u1,v1)指明脚的图像的坐标、(u2,v2)指明头顶的图像的坐标，并且H是人的假定的预先确定的垂直物理高度(例如1750mm)。该5元素集合可以被用来以公式表示约束(例如，由等式(4)表示的约束类型2)。
一旦足够量的约束被获取，如585处所确定的，摄像机参数能够以关于在图2的操作230和等式(1)-(8)所描述的方式来确定。在一些实施方式中，确定四个(4)约束条件可能足够以确定摄像机参数，并因此校准摄像机。
在一些实施方式中，基于被收集的约束数据，进一步的处理可以被执行，以便利用关于鲁棒的校准性能的RANSAC(随机抽样一致性算法)程序来消除噪声约束(离群值)。例如，预设数量的迭代可以被执行，且在每次迭代中，被收集的约束数据的子集(至少四个数据集合)被随机地选择，且被应用来估计摄像机的参数。获取由特定迭代所得的摄像机参数，并且还为当前迭代中没有被选中的每个约束数据集合进一步估计这些参数，以便检查当前迭代所得的参数是否适用于(例如，是一致的)其它没有被选中的约束数据。如果约束数据集合充分地适用于所获取的参数，该约束数据集合被认为是群内集合(inlier set)(否则，该集合被认为是离群集合)。最后，产生最大量群内值的摄像机参数被选择作为最终校准结果，其中通过优化算法通过考虑所有群内值来评估摄像机参数。
本文所描述的程序500只是程序的一个例子，其用于实现对象识别、对象分类和特征确定以使得能够定义可被用来校准摄像机的约束。用于对象识别、对象分类和特征确定的其它程序可以被用来替代程序500或补充到程序500中。值得注意的是，对象检测和跟踪的程序例如在下列专利中有所描述：专利申请序列号为12/982,601，题目为“SearchingRecorded Video”的申请；以及，专利申请序列号为13/302,984，题目为“Geographic MapBased Control”的申请。
基于处理器的计算系统的实现
执行本文中所描述的视频/图像的处理操作可通过基于处理器的计算系统(或其某个部分)被方便地操作，所述处理操作包括如下操作：检测和跟踪对象、分类对象、识别对象特征(例如与预先确定的值相关联的特征)、以及利用被识别特征以及相关预先确定的值来校准摄像机。另外，本文所描述的基于处理器的设备中的任意一个设备可以利用基于处理器的计算系统(诸如本文相关图8中描述的一个计算系统)来实现，所述基于处理器的设备包括例如，主计算机系统160和/或其模块/单元中的任意一个、网络100的任意摄像机中的任意处理器等。因此，根据图8显示了通用计算系统800的示意图。计算系统800包括基于处理器的设备810，诸如个人计算机、特殊计算设备、以及诸如此类通常包括中央处理单元812的设备。除了CPU 812，系统包括主存储器、高速缓冲存储器、和总线接口电路(未示出)。基于处理器的设备810可以包括海量存储元件814，诸如关联计算机系统的硬件驱动器或闪盘驱动器。计算机系统800还可以包括键盘、或辅助键盘、或某种其它的用户输入接口816和监控器820(例如CRT(阴极射线管)或LCD监控器(液晶显示器))，其可以被放置在用户可以访问它们的位置处(例如，图1A的主计算机系统160的监控器)。
基于处理器的设备810被配置来帮助例如下列操作的实现，即检测和跟踪移动对象、分类对象、识别特征、在摄像机校准中使用被识别的特征，等等。因此，存储设备814可以包括计算机程序产品，当其在基于处理器的设备810上执行时将导致该基于处理器的设备执行操作，以帮助上述程序的实现。该基于处理器的设备还可以包括实现输入/输出功能的外围设备。这种外围设备可以包括，例如CD-ROM驱动器、和/或闪盘驱动器(例如移动闪盘驱动器)、或网络连接(例如利用USB端口和/或无线收发器来实现)，用来下载相关内容到被连接的系统上。这些外围设备还可以被用来下载含有计算机指令的软件，以便实现各个系统/设备的通用操作。可选地和/或额外地，在一些实施方式中，专用逻辑电路，例如FPGA(现场可编程阵列)、ASIC(特殊集成电路应用)、DSP处理器等可以用于实现系统800。可能被包括在基于处理器的设备810中的其它模块是扬声器、声卡、指示设备(如鼠标或轨迹球)，用户可以通过其提供输入到计算系统800中。基于处理器的设备810可以包括操作系统，例如微软公司的操作系统Windows可选地，其它操作系统可以被使用。
计算机程序(还被称作程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，且计算机程序能够以高级过程和/或面向对象的编程语言和/或以汇编/机器语言来实现。如本文所使用的，术语“机器可读媒介”是指任意非易失性计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，其被使用来为可编程处理器提供机器指令和/或数据，其中包括将所接收的机器指令存储为机器可读信号的非易失性机器可读媒介。
尽管本文中已经详细公开了特定实施方式，然而这仅仅是出于说明目的，通过举例说明的方式来公开的；并且其并不是试图来限制关于所附权利要求的范围。具体地，需要注意的是，在不偏离权利要求中所限定的本发明的精神和范围的情况下，可以做出各种替换、选择、以及修改。其它方面、优点以及修正被认为在所附权利要求的保护范围内。呈现的权利要求是本文所公开的实施方式和技术特征的表示。其它没有要求的实施方式和特征还是预期的。因此，其它实施方式在权利要求的保护范围内。

Claims (22)

1.一种校准摄像机的方法，所述方法包括：
通过所述摄像机捕获场景的帧；
通过可编程处理器执行对于出现在所捕获到的帧中的关于多种对象类型的多个对象的对象分类，以确定所述多个对象中的每个对象的各自的对象类型；
通过所述可编程处理器基于几何信息确定所述多个对象中的所述每个对象的所述各自的对象类型，所述几何信息包括线条方向信息；
通过所述可编程处理器识别出现在所捕获到的帧中的关于所述多种对象类型的所述多个对象的显著线条特征，所述显著线条特征包括以下中的至少一个：彼此平行或成一定角度的一个或多个线对，平面上的一个或多个线，以及垂直于所述平面的一个或多个线；
通过所述可编程处理器将所识别的显著线条特征中的每一个显著线条特征指定各自的预先确定的值，所述各自的预先确定的值代表基于关于出现在所捕获到的帧中的所述多个对象中的每一个对象所分别确定的对象类型的平均物理尺寸；
通过所述可编程处理器基于关于出现在所捕获的帧中的所述多种对象类型的所述多个对象的所识别的显著线条特征以及指定给所识别的显著线条特征的所述预先确定的值获取多个约束条件；以及
通过所述可编程处理器利用所述多个约束条件将所计算的误差函数最小化来确定所述摄像机的参数，所述多个约束条件基于关于出现在所捕获到的帧中的所述多种对象类型的所述多个对象的所识别的显著线条特征获取。
2.如权利要求1所述的方法，其中，识别出现在所捕获到的帧中的所述显著线条特征包括：
自动地检测出现在一个或多个帧中的至少一个对象；
自动地分类出现在所述一个或多个帧中的所检测到的至少一个对象；以及
自动地识别被分类的至少一个对象的特征，被自动地识别的特征被指定代表关于所述被分类的至少一个对象的物理尺寸的预先确定的平均值。
3.如权利要求2所述的方法，其中自动地分类所检测到的至少一个对象包括：
根据所检测到的至少一个对象的尺寸来确定高宽比；
根据所确定的高宽比来为所述至少一个对象确定相应的对象类型；以及
比较所述至少一个对象的尺寸和对应于所确定的相应的对象类型的聚类中所存储的统计测量结果。
4.如权利要求3所述的方法，其中比较所述至少一个对象的尺寸包括：
基于所述至少一个对象的尺寸来更新关于被持续跟踪的对象所访问的位置的对象尺寸的局部模型；以及
通过将局部模型与全局聚类相关联来更新所述全局聚类，所述局部模型具有匹配与所述全局聚类相关联的对象尺寸的对象尺寸。
5.如权利要求2所述的方法，其中所述被分类的至少一个对象包括以下项中的一个或多个：
与预先确定的平均高度相关的人，以及，与预先确定的平均长度相关的车辆。
6.如权利要求1所述的方法，其中确定所述摄像机的参数包括：
确定以下项中的一个或多个：所述摄像机的焦距f、所述摄像机的倾角φ、所述摄像机的偏转角β、和在对应于所捕获到的帧的所述场景的平面上方的所述摄像机的高度h。
7.如权利要求1所述的方法，还包括：
利用随机抽样一致性算法RANSAC程序移除噪声约束/离群值。
8.如权利要求1所述的方法，其中所识别的显著线条特征包括以下项中的一个或多个：在所述场景的所捕获到的帧中的两个点之间的距离、从所捕获到的帧的平面延伸出的垂线、以及在所捕获到的帧中的两对点之间延伸的两条线，其中这两条线中的一条线相对于这两条线中的另一条线成一角度。
9.如权利要求8所述的方法，其中在所捕获到的帧中的所述两个点之间的距离包括：在所述场景的所捕获到的帧中的车辆的长度，所述车辆与一近似的预先确定的长度相关联。
10.如权利要求8所述的方法，其中从所述场景的所述平面延伸出的垂线包括：所述场景中人物的高度，所述人物与一近似的预先确定的高度相关联。
11.如权利要求1所述的方法，还包括：
根据出现在一个或多个所捕获到的帧中的对象的图像的摄像机坐标并且根据所确定的所述摄像机的参数来确定位于所述场景中的对象的属性。
12.如权利要求11所述的方法，其中所述对象的所确定的属性包括以下项中的一个或多个：所述对象中的至少一个对象在所述场景中的空间位置，以及所述对象中的所述至少一个对象在特定方向上的长度。
13.如权利要求1所述的方法，还包括：
确定与所捕获到的帧相关联的内容；
基于所确定的内容，为每个所识别的显著线条特征选择所述各自的预先确定的值，所述各自的预先确定的值代表关于出现在所捕获到的帧中的所述多个对象中的每一个对象所分别确定的所述对象类型的所述平均物理尺寸；以及
给所述每个所识别的显著线条特征指定所述各自的预先确定的值，所述各自的预先确定的值代表关于出现在所捕获到的帧中的所述多种对象类型的所述多个对象的所述每一个对象所分别确定的所述对象类型的所述平均物理尺寸。
14.如权利要求1所述的方法，其中所述误差函数以如下方式最小化：
和
其中，η为校准参数，err(η)为平均误差，f1i至f3i为各种约束类型的第i个约束函数，λ1至λ3为用于所述约束类型的权重因子，n1为f1i的数量，n2为f2i的数量，并且n3为f3i的数量。
15.一种校准摄像机的系统，所述系统包括：
至少一个摄像机，其用于捕获帧数据；以及
一个或多个处理器，其被配置为执行校准所述至少一个摄像机的操作，所述操作包括：
通过所述至少一个摄像机来捕获场景的帧；
执行对于出现在所捕获到的帧中的关于多种对象类型的多个对象的对象分类，以确定所述多个对象中的每个对象的各自的对象类型；
基于几何信息确定所述多个对象中的所述每个对象的所述各自的对象类型，所述几何信息包括线条方向信息；
识别出现在所捕获到的帧中的关于所述多种对象类型的所述多个对象的显著线条特征，所述显著线条特征包括以下中的至少一个：彼此平行或成一定角度的一个或多个线对，平面上的一个或多个线，以及垂直于所述平面的一个或多个线；
将所识别的显著线条特征中的每一个显著线条特征指定各自的预先确定的值，所述各自的预先确定的值代表基于关于出现在所捕获到的帧中的所述多个对象中的每一个对象所分别确定的对象类型的平均物理尺寸；
基于关于出现在所捕获的帧中的所述多种对象类型的所述多个对象的所识别的显著线条特征以及指定给所识别的显著线条特征的所述预先确定的值获取多个约束条件；以及
利用所述多个约束条件将所计算的误差函数最小化来确定所述至少一个摄像机的参数，所述多个约束条件根据关于出现在所捕获到的帧中的所述多种对象类型的所述多个对象的所识别的显著线条特征获取。
16.如权利要求15所述的系统，其中被配置成对出现在所捕获到的帧中的所述显著线条特征执行识别操作的所述一个或多个处理器被配置为执行包括以下操作的操作：
自动地检测出现在一个或多个帧中的至少一个对象；
自动地分类出现在所述一个或多个帧中的所检测到的至少一个对象；以及
自动地识别被分类的至少一个对象的特征，被自动地识别的特征被指定代表关于所述被分类的至少一个对象的物理尺寸的预先确定的平均值。
17.如权利要求16所述的系统，其中被配置成对所检测到的至少一个对象执行自动分类操作的所述一个或多个处理器被配置为执行包括以下操作的操作：
根据所检测到的至少一个对象的尺寸来确定高宽比；
根据所确定的高宽比来确定所述至少一个对象的相应的对象类型；以及
比较所述至少一个对象的尺寸和对应于所确定的相应的对象类型的聚类中所存储的统计测量结果。
18.如权利要求16所述的系统，其中所述被分类的至少一个对象包括以下项中的一个或多个：与预先确定的平均高度相关的人，以及，与预先确定的平均长度相关的车辆。
19.如权利要求15所述的系统，其中被配置成执行确定所述至少一个摄像机的参数的操作的所述一个或多个处理器被配置为执行包括以下操作的操作：
确定以下项中的一个或多个：所述至少一个摄像机的焦距f、所述至少一个摄像机的倾角φ、所述至少一个摄像机的偏转角β、和在对应于所捕获到的帧的所述场景的平面上方的所述至少一个摄像机的高度h。
20.一种非易失性的计算机可读媒介，所述计算机可读媒介用一组可在处理器上执行的计算机指令来进行程序化，当所述计算机指令执行时将引发包括以下操作的操作：
通过摄像机捕获场景的帧；
执行对于出现在所捕获到的帧中的关于多种对象类型的多个对象的对象分类，以确定所述多个对象中的每个对象的各自的对象类型；
基于几何信息确定所述多个对象中的所述每个对象的所述各自的对象类型，所述几何信息包括线条方向信息；
识别出现在所捕获到的帧中的关于所述多种对象类型的所述多个对象的显著线条特征，所述显著线条特征包括以下中的至少一个：彼此平行或成一定角度的一个或多个线对，平面上的一个或多个线，以及垂直于所述平面的一个或多个线；
将所识别的显著线条特征中的每一个显著线条特征指定各自的预先确定的值，所述各自的预先确定的值代表基于关于出现在所捕获到的帧中的所述多个对象中的每一个对象所分别确定的对象类型的平均物理尺寸；
基于关于出现在所捕获的帧中的所述多种对象类型的所述多个对象的所识别的显著线条特征以及指定给所识别的显著线条特征的所述预先确定的值获取多个约束条件；以及
利用所述多个约束条件将所计算的误差函数最小化来确定所述摄像机的参数，所述多个约束条件根据关于出现在所捕获到的帧中的所述多种对象类型的所述多个对象的所识别的显著线条特征获取。
21.如权利要求20所述的计算机可读媒介，其中，其中引发识别出现在所捕获到的帧中的特征的操作的计算机指令包括引发如下操作的指令：
自动地检测出现在一个或多个帧中的至少一个对象；
自动地分类出现在所述一个或多个帧中的所检测到的至少一个对象；以及
自动地识别被分类的至少一个对象的特征，被自动地识别的特征被指定代表关于所述被分类的至少一个对象的物理尺寸的预先确定的平均值。
22.如权利要求20所述的计算机可读媒介，其中，其中引发确定所述摄像机的参数的操作的计算机指令包括引发如下操作的指令：
确定以下项中的一个或多个：所述摄像机的焦距f、所述摄像机的倾角φ、所述摄像机的偏转角β、和在对应于所捕获到的帧的所述场景的平面上方的所述摄像机的高度h。
CN201910322207.3A 2011-12-28 2012-12-26 利用特征识别的摄像机校准 Active CN110400352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910322207.3A CN110400352B (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/338,555 2011-12-28
US13/338,555 US9286678B2 (en) 2011-12-28 2011-12-28 Camera calibration using feature identification
CN201910322207.3A CN110400352B (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准
CN201280065067.2A CN105122303A (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准
PCT/US2012/071608 WO2013101800A1 (en) 2011-12-28 2012-12-26 Camera calibration using feature identification

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280065067.2A Division CN105122303A (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准

Publications (2)

Publication Number Publication Date
CN110400352A true CN110400352A (zh) 2019-11-01
CN110400352B CN110400352B (zh) 2023-09-05

Family

ID=47501548

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910322207.3A Active CN110400352B (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准
CN201280065067.2A Pending CN105122303A (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201280065067.2A Pending CN105122303A (zh) 2011-12-28 2012-12-26 利用特征识别的摄像机校准

Country Status (4)

Country Link
US (1) US9286678B2 (zh)
EP (1) EP2798611B1 (zh)
CN (2) CN110400352B (zh)
WO (1) WO2013101800A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950726A (zh) * 2021-03-25 2021-06-11 深圳市商汤科技有限公司 摄像头朝向标定方法及相关产品

Families Citing this family (190)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
IL306019A (en) 2011-07-12 2023-11-01 Snap Inc Methods and systems for delivering editing functions to visual content
US11734712B2 (en) 2012-02-24 2023-08-22 Foursquare Labs, Inc. Attributing in-store visits to media consumption based on data collected from user devices
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
WO2014031899A1 (en) 2012-08-22 2014-02-27 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) * 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US9987184B2 (en) * 2013-02-05 2018-06-05 Valentin Borovinov Systems, methods, and media for providing video of a burial memorial
US9286693B2 (en) * 2013-02-25 2016-03-15 Hanwha Techwin Co., Ltd. Method and apparatus for detecting abnormal movement
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
US9322647B2 (en) * 2013-03-28 2016-04-26 International Business Machines Corporation Determining camera height using distributions of object heights and object image heights
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US10082926B1 (en) 2014-02-21 2018-09-25 Snap Inc. Apparatus and method for alternate channel communication initiated through a common message thread
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9648300B2 (en) * 2014-05-23 2017-05-09 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
WO2015185961A1 (en) * 2014-06-03 2015-12-10 Sony Corporation Lifelog camera and method of obtaining a digital image tagged with corrected image direction information
US11625443B2 (en) 2014-06-05 2023-04-11 Snap Inc. Web document enhancement
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
EP3175609B1 (en) * 2014-07-31 2022-02-23 Hewlett-Packard Development Company, L.P. Processing data representing an image
US10055717B1 (en) 2014-08-22 2018-08-21 Snap Inc. Message processor with application prompts
US10423983B2 (en) 2014-09-16 2019-09-24 Snap Inc. Determining targeting information based on a predictive targeting model
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US9594947B1 (en) * 2014-09-30 2017-03-14 Amazon Technologies, Inc. Aspect ratio validation
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US10134004B1 (en) 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
US10291862B1 (en) * 2014-12-23 2019-05-14 Amazon Technologies, Inc. Camera hierarchy for monitoring large facilities
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US11388226B1 (en) 2015-01-13 2022-07-12 Snap Inc. Guided personal identity based actions
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
US9521515B2 (en) 2015-01-26 2016-12-13 Mobli Technologies 2010 Ltd. Content request by location
US10223397B1 (en) 2015-03-13 2019-03-05 Snap Inc. Social graph based co-location of network users
EP3272078B1 (en) 2015-03-18 2022-01-19 Snap Inc. Geo-fence authorization provisioning
US9692967B1 (en) 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
US10993069B2 (en) 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
US10029622B2 (en) * 2015-07-23 2018-07-24 International Business Machines Corporation Self-calibration of a static camera from vehicle information
US10817898B2 (en) 2015-08-13 2020-10-27 Placed, Llc Determining exposures to content presented by physical objects
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10474321B2 (en) 2015-11-30 2019-11-12 Snap Inc. Network resource location linking and visual content sharing
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US9959625B2 (en) * 2015-12-29 2018-05-01 The United States Of America As Represented By The Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
US10679389B2 (en) 2016-02-26 2020-06-09 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10285001B2 (en) 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US11023514B2 (en) 2016-02-26 2021-06-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
WO2017201638A1 (en) * 2016-05-23 2017-11-30 Intel Corporation Human detection in high density crowds
US9940721B2 (en) * 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US10430838B1 (en) 2016-06-28 2019-10-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections with automated advertising
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10387514B1 (en) 2016-06-30 2019-08-20 Snap Inc. Automated content curation and communication
KR101793223B1 (ko) * 2016-07-13 2017-11-03 모바일 어플라이언스 주식회사 차량 운전 보조장치
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
KR102420857B1 (ko) 2016-08-30 2022-07-15 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
US10372970B2 (en) 2016-09-15 2019-08-06 Qualcomm Incorporated Automatic scene calibration method for video analytics
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
US11361003B2 (en) * 2016-10-26 2022-06-14 salesforcecom, inc. Data clustering and visualization with determined group number
JP7132216B2 (ja) 2016-11-03 2022-09-06 コーニンクレッカ フィリップス エヌ ヴェ バイタルサインの取得を改善するための自動パン・チルト・ズーム調整
KR102257909B1 (ko) 2016-11-07 2021-05-28 스냅 인코포레이티드 이미지 변경자들의 선택적 식별 및 순서화
US10203855B2 (en) 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
US10366263B2 (en) * 2016-12-30 2019-07-30 Accenture Global Solutions Limited Object detection for video camera self-calibration
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10915911B2 (en) 2017-02-03 2021-02-09 Snap Inc. System to determine a price-schedule to distribute media content
US11250075B1 (en) 2017-02-17 2022-02-15 Snap Inc. Searching social media content
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US11170393B1 (en) 2017-04-11 2021-11-09 Snap Inc. System to calculate an engagement score of location based media content
JP6975929B2 (ja) * 2017-04-18 2021-12-01 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US11409407B2 (en) 2017-04-27 2022-08-09 Snap Inc. Map-based graphical user interface indicating geospatial activity metrics
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US10467147B1 (en) 2017-04-28 2019-11-05 Snap Inc. Precaching unlockable data elements
WO2018204746A1 (en) 2017-05-04 2018-11-08 Second Spectrum, Inc. Method and apparatus for automatic intrinsic camera calibration using images of a planar calibration pattern
US10803120B1 (en) 2017-05-31 2020-10-13 Snap Inc. Geolocation based playlists
EP3422068B1 (en) * 2017-06-26 2019-05-01 Axis AB A method of focusing a camera
US10789470B2 (en) * 2017-07-12 2020-09-29 Electronics And Telecommunications Research Institute System and method for detecting dynamic object
US11475254B1 (en) 2017-09-08 2022-10-18 Snap Inc. Multimodal entity identification
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10984557B2 (en) 2017-09-26 2021-04-20 Hitachi Automotive Systems, Ltd. Camera calibration using traffic sign recognition
US10499191B1 (en) 2017-10-09 2019-12-03 Snap Inc. Context sensitive presentation of content
US10573043B2 (en) 2017-10-30 2020-02-25 Snap Inc. Mobile-based cartographic control of display content
US10643078B2 (en) * 2017-11-06 2020-05-05 Sensormatic Electronics, LLC Automatic camera ground plane calibration method and system
US11265273B1 (en) 2017-12-01 2022-03-01 Snap, Inc. Dynamic media overlay with smart widget
US11017173B1 (en) 2017-12-22 2021-05-25 Snap Inc. Named entity recognition visual context and caption data
US10678818B2 (en) 2018-01-03 2020-06-09 Snap Inc. Tag distribution visualization system
WO2019136636A1 (zh) * 2018-01-10 2019-07-18 深圳前海达闼云端智能科技有限公司 图像识别方法、系统、电子设备和计算机程序产品
US11507614B1 (en) 2018-02-13 2022-11-22 Snap Inc. Icon based tagging
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10885136B1 (en) 2018-02-28 2021-01-05 Snap Inc. Audience filtering system
US10327096B1 (en) 2018-03-06 2019-06-18 Snap Inc. Geo-fence selection system
EP3766028A1 (en) 2018-03-14 2021-01-20 Snap Inc. Generating collectible items based on location information
US11163941B1 (en) 2018-03-30 2021-11-02 Snap Inc. Annotating a collection of media content items
US10580164B2 (en) 2018-04-05 2020-03-03 Microsoft Technology Licensing, Llc Automatic camera calibration
US10219111B1 (en) 2018-04-18 2019-02-26 Snap Inc. Visitation tracking system
US10896197B1 (en) 2018-05-22 2021-01-19 Snap Inc. Event detection system
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
CN110248148B (zh) * 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
KR102559203B1 (ko) * 2018-10-01 2023-07-25 삼성전자주식회사 포즈 정보를 출력하는 방법 및 장치
US10778623B1 (en) 2018-10-31 2020-09-15 Snap Inc. Messaging and gaming applications communication platform
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10939236B1 (en) 2018-11-30 2021-03-02 Snap Inc. Position service to determine relative position to map features
CN113243015B (zh) * 2018-12-19 2024-03-26 浙江大华技术股份有限公司 视频监控系统
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
NL2022442B1 (nl) * 2019-01-24 2020-01-07 Lely Patent Nv Positiebepalingsinrichting
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US10748032B1 (en) * 2019-01-31 2020-08-18 StradVision, Inc. Method for providing robust object distance estimation based on camera by performing pitch calibration of camera more precisely with fusion of information acquired through camera and information acquired through V2V communication and device using the same
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10838599B2 (en) 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11249614B2 (en) 2019-03-28 2022-02-15 Snap Inc. Generating personalized map interface with enhanced icons
US10810782B1 (en) 2019-04-01 2020-10-20 Snap Inc. Semantic texture mapping system
US10582453B1 (en) 2019-05-30 2020-03-03 Snap Inc. Wearable device location systems architecture
US10560898B1 (en) 2019-05-30 2020-02-11 Snap Inc. Wearable device location systems
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US10964058B2 (en) * 2019-06-21 2021-03-30 Nortek Security & Control Llc Camera auto-calibration system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11328424B1 (en) * 2019-08-08 2022-05-10 The Chamberlain Group Llc Systems and methods for monitoring a movable barrier
US11821742B2 (en) 2019-09-26 2023-11-21 Snap Inc. Travel based notifications
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
SG10201913798WA (en) * 2019-12-30 2021-07-29 Sensetime Int Pte Ltd Image processing method and apparatus, and electronic device
US11429618B2 (en) 2019-12-30 2022-08-30 Snap Inc. Surfacing augmented reality objects
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11354883B2 (en) * 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
US10880496B1 (en) 2019-12-30 2020-12-29 Snap Inc. Including video feed in message thread
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11343323B2 (en) 2019-12-31 2022-05-24 Snap Inc. Augmented reality objects registry
US11228551B1 (en) 2020-02-12 2022-01-18 Snap Inc. Multiple gateway message exchange
US11516167B2 (en) 2020-03-05 2022-11-29 Snap Inc. Storing data based on device location
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US10956743B1 (en) 2020-03-27 2021-03-23 Snap Inc. Shared augmented reality system
US11430091B2 (en) 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
US11080544B1 (en) * 2020-04-24 2021-08-03 StradVision, Inc. Method and device for calibrating pitch of camera on vehicle and method and device for continual learning of vanishing point estimation model to be used for calibrating the pitch
US11503432B2 (en) 2020-06-15 2022-11-15 Snap Inc. Scalable real-time location sharing framework
US11290851B2 (en) 2020-06-15 2022-03-29 Snap Inc. Location sharing using offline and online objects
US11483267B2 (en) 2020-06-15 2022-10-25 Snap Inc. Location sharing using different rate-limited links
US11314776B2 (en) 2020-06-15 2022-04-26 Snap Inc. Location sharing using friend list versions
US11488325B2 (en) 2020-06-17 2022-11-01 Microsoft Technology Licensing, Llc Auto calibrating a single camera from detectable objects
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) * 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11308327B2 (en) 2020-06-29 2022-04-19 Snap Inc. Providing travel-based augmented reality content with a captured image
US11625859B2 (en) * 2020-07-22 2023-04-11 Motorola Solutions, Inc. Method and system for calibrating a camera and localizing objects within the camera field of view
US11349797B2 (en) 2020-08-31 2022-05-31 Snap Inc. Co-location connection service
US11417013B2 (en) * 2020-10-13 2022-08-16 Sensormatic Electornics, LLC Iterative layout mapping via a stationary camera
US11606756B2 (en) 2021-03-29 2023-03-14 Snap Inc. Scheduling requests for location data
US11645324B2 (en) 2021-03-31 2023-05-09 Snap Inc. Location-based timeline media content system
EP4120195A1 (en) 2021-07-16 2023-01-18 Carl Zeiss Vision International GmbH A method, a computer program and a system for calibrating at least one camera
US11829834B2 (en) 2021-10-29 2023-11-28 Snap Inc. Extended QR code
US12001750B2 (en) 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system
DE102022206860A1 (de) 2022-07-05 2024-01-11 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen wenigstens eines Kameraparameters zum Kalibrieren einer Kamera und Kamera
US11967112B2 (en) * 2022-09-07 2024-04-23 AitronX Inc. Method and apparatus for detecting calibration requirement for image sensors in vehicles

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158684A (zh) * 1994-06-13 1997-09-03 显示技术实验室 自动图像监视器校准系统中坐标转换的方法与装置
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor
WO2008083869A1 (de) * 2007-01-11 2008-07-17 Robert Bosch Gmbh Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
WO2009056050A1 (fr) * 2007-10-24 2009-05-07 Shenzhen Huawei Communication Technologies Co. , Ltd. Procédé et dispositif d'étalonnage de caméra vidéo
CN101750049A (zh) * 2008-12-05 2010-06-23 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
CN101815227A (zh) * 2009-02-19 2010-08-25 索尼株式会社 图像处理设备和方法
US20100238262A1 (en) * 2009-03-23 2010-09-23 Kurtz Andrew F Automated videography systems
US20100321490A1 (en) * 2009-06-23 2010-12-23 Xin Chen Determining A Geometric Parameter from a Single Image
CN102075736A (zh) * 2011-01-19 2011-05-25 北京蓝色星际软件技术发展有限公司 一种用于高清智能网络摄像机的摄像头标定方法
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997016806A1 (en) * 1995-11-01 1997-05-09 Carl Kupersmit Vehicle speed monitoring system
US6970083B2 (en) * 2001-10-09 2005-11-29 Objectvideo, Inc. Video tripwire
US7391907B1 (en) 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US7356425B2 (en) 2005-03-14 2008-04-08 Ge Security, Inc. Method and system for camera autocalibration
US20080291278A1 (en) 2005-04-05 2008-11-27 Objectvideo, Inc. Wide-area site-based video surveillance system
US9621749B2 (en) 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
JP4820221B2 (ja) 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
US8249301B2 (en) 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification
EP2164043A1 (en) 2008-09-12 2010-03-17 March Networks Corporation Video camera calibration and perspective calculation
US8059154B1 (en) * 2008-10-06 2011-11-15 Verint Systems Ltd. Systems and methods for automatic camera calibration
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
US8797405B2 (en) 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
CN201724683U (zh) * 2009-11-20 2011-01-26 中国航空工业空气动力研究院 用于视频摄像的主动发光校准块
TWI398160B (zh) 2009-12-01 2013-06-01 Ind Tech Res Inst 攝影機校正系統與座標資料產生系統及其方法
KR100969576B1 (ko) 2009-12-17 2010-07-12 (주)유디피 카메라 파라미터 캘리브레이션 장치 및 방법
US9615064B2 (en) 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
US8855361B2 (en) * 2010-12-30 2014-10-07 Pelco, Inc. Scene activity analysis using statistical and semantic features learnt from object trajectory data
CN102789642B (zh) * 2011-05-16 2017-08-25 索尼公司 消失方向确定方法和装置、摄像机自标定方法和装置
US20130128050A1 (en) 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
US8744125B2 (en) * 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1158684A (zh) * 1994-06-13 1997-09-03 显示技术实验室 自动图像监视器校准系统中坐标转换的方法与装置
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US20080095403A1 (en) * 2006-10-24 2008-04-24 Tdx Llc Electronic traffic monitor
WO2008083869A1 (de) * 2007-01-11 2008-07-17 Robert Bosch Gmbh Verfahren, vorrichtung und computerprogramm zur selbstkalibrierung einer überwachungskamera
WO2009056050A1 (fr) * 2007-10-24 2009-05-07 Shenzhen Huawei Communication Technologies Co. , Ltd. Procédé et dispositif d'étalonnage de caméra vidéo
CN101750049A (zh) * 2008-12-05 2010-06-23 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
CN101815227A (zh) * 2009-02-19 2010-08-25 索尼株式会社 图像处理设备和方法
US20100238262A1 (en) * 2009-03-23 2010-09-23 Kurtz Andrew F Automated videography systems
US20100321490A1 (en) * 2009-06-23 2010-12-23 Xin Chen Determining A Geometric Parameter from a Single Image
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN102075736A (zh) * 2011-01-19 2011-05-25 北京蓝色星际软件技术发展有限公司 一种用于高清智能网络摄像机的摄像头标定方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JOHANNES SCHELS等: ""Self-Calibrating 3D Context for Retrieving People with Luggage"", 《IEEE XPLORE》 *
JOHANNES SCHELS等: ""Self-Calibrating 3D Context for Retrieving People with Luggage"", 《IEEE XPLORE》, 13 November 2011 (2011-11-13), pages 1920 - 1927, XP032095480, DOI: 10.1109/ICCVW.2011.6130483 *
SWAPNA P.等: "The Question of Accuracy with Geometric Camera Calibration", pages 541 - 546 *
TSUHAN CHEN等: ""Accurate self-calibration of two cameras by observations of a moving person on a ground plane"", 《IEEE XPLORE》 *
TSUHAN CHEN等: ""Accurate self-calibration of two cameras by observations of a moving person on a ground plane"", 《IEEE XPLORE》, 7 September 2007 (2007-09-07), pages 1 - 6 *
钱理为等: "基于校准靶的C 形臂相机模型自动校准方法", vol. 35, no. 15, pages 7 - 9 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950726A (zh) * 2021-03-25 2021-06-11 深圳市商汤科技有限公司 摄像头朝向标定方法及相关产品

Also Published As

Publication number Publication date
EP2798611A1 (en) 2014-11-05
US9286678B2 (en) 2016-03-15
WO2013101800A1 (en) 2013-07-04
CN110400352B (zh) 2023-09-05
CN105122303A (zh) 2015-12-02
EP2798611B1 (en) 2018-07-11
US20130169822A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
CN110400352A (zh) 利用特征识别的摄像机校准
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
Boltes et al. Collecting pedestrian trajectories
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
CN104106260B (zh) 基于地理图的控制
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN101833791B (zh) 一种单摄像机下的场景建模方法及系统
WO2016082797A1 (zh) 一种基于单幅图像的三维场景结构建模与注册方法
CN112798811B (zh) 速度测量方法、装置和设备
RU2696548C1 (ru) Способ построения системы видеонаблюдения для поиска и отслеживания объектов
CN110428449A (zh) 目标检测跟踪方法、装置、设备及存储介质
US11055894B1 (en) Conversion of object-related traffic sensor information at roadways and intersections for virtual dynamic digital representation of objects
CN115035260A (zh) 一种室内移动机器人三维语义地图构建方法
CN113255486A (zh) 一种基于高位视频监控的车位占用检测方法
CN114820924A (zh) 一种基于bim和视频监控的博物馆参观分析的方法及系统
CN113920190A (zh) 银杏花穗定向方法及系统
CN115375857A (zh) 三维场景重建方法、装置、设备及存储介质
CN104112281B (zh) 使用高光谱成像跟踪对象的方法
Junejo Using pedestrians walking on uneven terrains for camera calibration
WO2023197705A1 (zh) 图像处理方法、装置、计算机设备、存储介质和计算机程序
Benedek et al. An integrated 4D vision and visualisation system
Irmisch et al. Robust visual-inertial odometry in dynamic environments using semantic segmentation for feature selection
CN115982824A (zh) 施工现场工人空间管理方法、装置、电子设备及存储介质
Panahi et al. Automated Progress Monitoring in Modular Construction Factories Using Computer Vision and Building Information Modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant