CN102789642B - 消失方向确定方法和装置、摄像机自标定方法和装置 - Google Patents

消失方向确定方法和装置、摄像机自标定方法和装置 Download PDF

Info

Publication number
CN102789642B
CN102789642B CN201110137206.5A CN201110137206A CN102789642B CN 102789642 B CN102789642 B CN 102789642B CN 201110137206 A CN201110137206 A CN 201110137206A CN 102789642 B CN102789642 B CN 102789642B
Authority
CN
China
Prior art keywords
extinction
line segment
straight
video image
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110137206.5A
Other languages
English (en)
Other versions
CN102789642A (zh
Inventor
刘玉宇
聂志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201110137206.5A priority Critical patent/CN102789642B/zh
Priority to US13/462,210 priority patent/US9202277B2/en
Publication of CN102789642A publication Critical patent/CN102789642A/zh
Priority to US14/667,502 priority patent/US9953421B2/en
Application granted granted Critical
Publication of CN102789642B publication Critical patent/CN102789642B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供一种消失方向确定方法和装置、摄像机自标定方法和装置及摄像机。基于视频图像确定消失方向的方法包括：在由摄像机拍摄的视频图像中检测运动物体所在的运动目标区域；提取所检测到的运动目标区域中的运动物体上的特征点；在预定数目的帧中跟踪特征点的移动，以获得特征点的移动轨迹，并根据移动轨迹拟合直线线段；利用拟合出的直线线段确定运动物体的运动方向中最主要的运动方向所指向的消失方向。从而在运动图像中的边缘较少或噪声边缘较多时，也可以准确地确定消失方向，进而准确地获得摄像机姿态参数。

Description

消失方向确定方法和装置、摄像机自标定方法和装置
技术领域
本发明涉及一种基于视频图像确定消失方向的方法和装置、用于摄像机自标定的方法和装置，以及使用该方法和装置的摄像机。
背景技术
视频监控系统被广泛地应用于各种场合，诸如道路、停车场、银行、商场等。其从摄像机所拍摄的二维图像中获取三维空间信息，诸如运动物体的速度、车辆的长度、人的身高等。为了求出二维图像中的像素所对应的三维坐标，从而从所拍摄的二维图像推算出真实世界的信息，需要对摄像机进行标定，即确定摄像机相对于地面的姿态(相机的旋转角度、高度等)。与手工标定相比，考虑到人员工作量和测量难度，摄像机的自标定成为摄像机标定的发展方向。
一般，根据三维世界在摄像机坐标系下的三维消失方向来进行摄像机的自标定。在现有技术中，主要是基于在视频图像中通过边缘检测得到的直线线段来估计消失方向。
发明内容
然而，当视频图像中过于缺少边缘，或者边缘虽多，但存在很多噪声线段的时候，基于视频图像中通过边缘检测得到直线线段来估计消失方向无法稳定地得到准确的估计。
此外，即使在能够检测到足够数量的边缘从而获得足够多的直线线段时，由于现有技术中不分组地使用这些直线线段进行消失方向的初始估计，给系统带来了极大的计算负荷。
鉴于现有技术的以上不足，本发明旨在提供一种用于基于视频图像确定消失方向的方法和装置、摄像机自标定的方法和装置，以及使用这些方法和装置的摄像机，使得即使在图像中能够检测到的边缘数量较少的情况下也能保证确定消失方向的准确性。此外，还可使得估计消失方向的计算量大大减小。
根据本发明的一个实施例，提供一种基于视频图像确定消失方向的方法，包括：在视频图像中检测运动物体所在的运动目标区域；提取所检测到的运动目标区域中的运动物体上的特征点；在预定数目的帧中跟踪特征点的移动，以获得特征点的移动轨迹，并根据移动轨迹拟合直线线段；利用拟合出的直线线段确定运动物体的运动方向中最主要的运动方向所指向的消失方向。
根据本发明的一个实施例，提供一种摄像机自标定方法，包括：使用根据上述实施例的确定消失方向的方法，基于摄像机拍摄的视频图像确定消失方向；将所确定的消失方向用来确定摄像机相对于地面的姿态。
根据本发明的一个实施例，提供一种用于基于视频图像确定消失方向的装置，包括：运动目标检测单元，用于在输入的视频图像中检测运动物体所在的运动目标区域；特征点提取单元，用于提取所检测到的运动目标区域中的运动物体上的特征点；运动轨迹获取与线段拟合单元，用于在预定数目的帧中跟踪特征点的移动，以获得特征点的移动轨迹，并根据移动轨迹拟合直线线段；消失方向确定单元，用于通过利用拟合出的直线线段来确定运动物体的运动方向中最主要的运动方向所指向的消失方向。
根据本发明的一个实施例，提供一种用于摄像机自标定的设备，包括：根据上述实施例的用于基于视频图像确定消失方向的装置；摄像机标定装置，其将由确定消失方向的装置计算出的消失方向用来确定摄像机相对于地面的姿态。
根据本发明的一个实施例，提供一种基于视频图像确定消失方向的方法，包括：对视频图像中的物体进行边缘检测，以获得物体上的直线线段；以预定规则将直线线段分组，并按照直线线段的分组进行消失方向的初始估计；从全部分组的预定数目分组中选取至少一条方向与初始估计方向最接近的直线线段；用所选取的直线线段确定消失方向。
根据本发明的一个实施例，提供一种摄像机自标定方法，包括：使用根据上述实施例的基于视频确定消失方向的方法，基于摄像机拍摄的视频图像来确定消失方向；将所确定的消失方向用来确定摄像机相对于地面的姿态。
根据本发明的一个实施例，提供一种用于基于视频图像来确定消失方向的装置，包括：边缘检测单元，用于对视频图像中的物体进行边缘检测，以获得物体上的直线线段；初始估计单元，用于以预定规则对直线线段进行分组，以按照直线线段的分组进行消失方向的初始估计；最接近直线线段选取单元，用于从全部分组的预定数目分组中选取至少一条与初始估计最接近的直线线段；消失方向获得单元，用于使用所选取的直线线段确定消失方向。
根据本发明的一个实施例，提供一种用于摄像机自标定的设备，包括：根据上述实施例的用于基于视频图像来确定消失方向的装置；摄像机标定单元，其将由确定消失方向的装置计算出的消失方向用于确定摄像机相对于地面的姿态。
根据本发明的其它实施例还提供了使用上述各方法和装置的摄像机。
根据本发明的实施例，利用视频图像中运动物体特征点的运动轨迹确定三维消失方向，使得即使在图像中含有很少边缘的情况下也能得到消失方向的准确估计。此外，通过在将从图像中获得的直线线段进行分组后估计三维消失方向的初始方向，大大减少了系统的计算负荷。同样，增加了摄像机自标定的准确性，降低了自标定系统的计算量。
附图说明
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。
图1是示出以道路监控为例的本发明的应用场合的示意图。
图2是示出根据本发明实施例的基于视频图像确定消失方向的方法的流程图。
图3是示出根据本发明实施例的摄像机自标定方法的流程图。
图4是示出根据预定数目的帧中特征点的移动轨迹拟合直线线段的示意图。
图5是示出以车辆为边缘检测对象来获得边缘直线线段的示意图。
图6是示出根据本发明实施例的用于基于视频图像确定消失方向的装置的结构的框图。
图7是示出根据本发明实施例的用于摄像机自标定的装置的结构的框图。
图8是示出根据本发明实施例的基于视频图像确定消失方向的方法的流程图。
图9是示出根据本发明实施例的用于进行消失方向的初始估计的方法的流程图。
图10是示出进行消失方向的初始估计的方法的具体应用实例的流程图。
图11是示出根据本发明实施例的摄像机自标定方法的流程图。
图12是示出根据本发明实施例的基于视频图像来确定消失方向的装置的结构的框图。
图13是示出根据本发明实施例的消失方向确定装置的初始估计单元的结构的框图。
图14是示出根据本发明实施例的用于摄像机自标定的装置的结构的框图。
图15是示出实现本发明的计算机的示例性结构的框图。
具体实施方式
下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域技术人员已知的部件和处理的表示和描述。
下文中，为了方便说明，以道路监控系统为例描述根据本发明的实施例。图1是示出以道路监控为例的本发明的应用场合的示意图。应该理解：该实例只是示例性的，根据本发明实施例的消失方向确定方法和装置、摄像机自标定方法和装置，以及使用其的摄像机的应用场合不限于此。例如，使用本发明的实施系统中的摄像机等摄像装置还可以设置在商场等公共场合的大门处、地下停车场中等，以对这些场合的图像进行监控和分析。此外，需要说明的是，本申请说明书及权利要求书中使用了“预定数目”一词，其所指代的数目是本领域普通技术人员能够根据其现有的知识和经验，按照其具体需求而确定的数目，例如，在具有足够软硬件资源的情况下，可以选取较大数目的样本进行处理，而获得较好的结果，而在资源受限的情况下，可以选择较小数目的样本进行处理，以避免计算量或延时过大，在此选择的数目无需具体限定。
如图1所示，摄像机V安装在道路边的摄像机架上，摄像机距地面的高度为h。为了能够准确测量车辆的速度和大小，需要进行摄像机的自标定，以确定摄像机相对于地面的姿态。根据三维世界(地面)在摄像机坐标系下的三维消失方向进行摄像机的自标定。在图1所示的实例中，三维消失方向即地面相对于摄像机的坐标系的坐标轴OX、OY、OZ方向。下文中，消失方向OX可称为地面水平方向的消失方向，消失方向OZ可称为地面向远方延伸的消失方向，消失方向OY可称为与地平面(XOZ平面)垂直的消失方向。一般，在得到消失方向OX和OZ后，可以根据坐标系三个轴相互正交的原则，通过OZ和OX的外积得到消失方向OY。因此，对消失方向的求取集中在如何求取地面水平消失方向OX以及地面向远方延伸的消失方向OZ。
考虑到大部分被监控的场景都存在运动物体，本发明对这样的场景提出了一种特殊的方法，通过利用地面上行驶的车辆或运动的行人等运动物体，稳定而准确地确定地面向远方延伸的消失方向OZ。
图2是示出根据本发明实施例的基于视频图像确定三维消失方向的方法的流程图。
在步骤S201中，在由摄像机V拍摄的视频图像中检测运动物体所在的运动目标区域。在图像中检测运动物体的运动目标区域可以通过已知的运动检测或物体检测技术来完成。具体方法例如可参见A.S.Ogale、C.Fermüller和Y.Aloimonos的“Motion segmentationusing occlusions”，IEEE Transactions on Pattern Analysis and MachineIntelligence，vol.27，no.6，988-992，2005和P.Viola和M.Jones的“Robust real-timeobject detection”，International Journal of Computer Vision，2001。
在步骤S202中，提取所检测到的运动目标区域中的运动物体上的特征点。所提取的运动物体上的特征点可以包括运动物体上便于从视频图像识别的任何位置或图案。例如：运动物体的角点或是运动物体上的纹理的角点。具体到道路监控来说，可以是车身轮廓上的端点、车的标志、后视镜、车身上图案线条的端点或交叉点等。为了使三维消失方向的估计更准确，可以使在每个运动物体上所提取的特征点的数量尽可能大，尤其是视频图像中出现运动物体较少的情况下。
在图像中检测特征点的具体方法例如可以参见C.Harris和M.Stephens的“Acombined corner and edge detector”，Proceedings of the4th Alvey VisionConference.pp.147-151，1988。
在步骤S203中，在预定数目的帧中跟踪特征点的移动，以获得特征点的移动轨迹，并根据移动轨迹拟合直线线段。
用于跟踪特征点以获得移动轨迹的帧的数目视具体应用场合而定。例如，在道路监控中，帧的数目可以是从汽车进入摄像机拍摄范围开始到驶出拍摄范围为止所拍摄视频中含有的帧的数量。此外，也可以预先规定用于跟踪特征点的视频的截取长度或帧的数量。
在步骤S203中所获得的绝大多数运动轨迹是近似直线。使用这些近似直线来拟合直线线段的方法可以例如参考K.Kahn、L.Kitchen和E.M.Riseman的“A Fast Line Finderfor Vision-Guided Robot Navigation″，IEEE Transactions on Pattern Analysis andMachine Intelligence，12(11)：1098-1102，1990。
图4是示出根据预定数目的帧中特征点的移动轨迹拟合直线线段(见图4右手侧的白色线段)的示意图。从图4中可以看出，在道路监控系统中，所监控的车辆除并道等改变方向外主要是沿着道路的方向前进的。也就是说，被监控的车辆的运动方向中存在一个沿其行驶的车辆最多的方向，即车辆的最主要的运动方向，这里是道路方向。通常，在所监控的所有运动物体的运动方向中，沿其运动的运动物体数量最多的方向是运动物体的运动方向中最主要的运动方向。但是，考虑到不同运动物体上可能提取的特征点的数目不同，可以将运动物体的运动方向中最主要的运动方向定义为在根据所有运动物体的特征点的运动轨迹所拟合的直线线段集中，指向该方向的直线线段的数量最多的方向。在本实施例中，所要确定的消失方向OZ即为监控车辆的最主要运动方向所指向的消失方向。实验证明，当统计的车辆足够多时，这个最主要的运动方向所指向的消失方向会重合于道路的消失方向。所以，这里的OZ也可以认为是道路的消失方向。
于是，在步骤S204中，利用在步骤S203中使用特征点运动轨迹拟合出的直线线段确定运动物体的运动方向中最主要的运动方向所指向的消失方向OZ。
利用平面图像中的直线线段集计算三维消失方向的方法可以采用本领域中公知的各种方法，诸如边平面法线向量表示和RANSAC方法等。例如，在本实施例中，基于在步骤S203中获得的直线线段集，采用边平面法线向量方法从线段集的所有线段的两两组合中计算得到三维消失方向OZ。边平面法线向量方法将2条二维图像中的直线线段视为三维空间中2条平行线在二维图像平面上的投影，在摄像机透视变换参数已知的情况下通过边平面法线向量(三维)的外积得到三维消失方向OZ的一个估计。然后，对所有这样的OZ的估计应用RANSAC方法可以计算得到最终精确的OZ。关于边平面法线向量，详细的说明可以参考Jana Kosecka和Wei Zhang的“Video compass”，In Proc.of ECCV，2002。关于RANSAC方法，详细的说明可以参考Martin A.Fischler和Robert C.Bolles的“Random SampleConsensus：A Paradigm for Model Fitting with Applications to Image Analysisand Automated Cartography”，Comm.of the ACM 24：381-395。
使用图2所示实施例的方法确定消失方向OZ，避免了使用边缘检测的直线线段进行消失方向估计，在边缘数量不足或噪声边缘较多时所引起的估计不准确。由于特征点便于辨识和跟踪，并且运动方向在一定时间内相对稳定，从而保证了运动方向所指向的消失方向的估计的准确性。
图3是示出根据本发明实施例的摄像机自标定方法的流程图。其中，步骤S301到S304是基于视频图像中的运动物体的特征点运动轨迹来估计运动物体的最主要运动方向所指向的消失方向的步骤，例如可采用与图2中所示的步骤S201到S204相同的处理。因而，省略其详细说明。
在步骤S305中，将在步骤S304中确定的消失方向OZ用于摄像机的标定，以确定摄像机相对于地面的姿态。将在后面的说明中以举例的方式说明基于消失方向确定摄像机姿态参数的实例。
图6是示出根据本发明实施例的用于基于视频图像确定消失方向的装置的结构的框图。消失方向确定装置600包括：运动目标检测单元601、特征点提取单元602、运动轨迹获取与线段拟合单元603以及消失方向确定单元604。
运动目标检测单元601在输入的由摄像机拍摄的视频图像中检测运动物体所在的运动目标区域，并将检测结果提供给特征点提取单元602。
特征点提取单元602提取所检测到的运动目标区域中的运动物体上的特征点。该特征点可以是运动物体上任何易于辨识的位置或图案。例如：运动物体的角点或是运动物体上的纹理的角点。优选尽可能多地提取运动物体上的特征点，尤其是在运动物体较少的情况下，以确保用于消失方向估计的直线线段条数。
运动轨迹获取与线段拟合单元603在预定数目的帧中跟踪各个特征点的移动，以获得特征点的移动轨迹，并根据该移动轨迹拟合直线线段。然后，运动估计获取与线段拟合单元603将获得的直线线段作为直线线段集提供给消失方向确定单元604.
消失方向确定单元604通过利用该直线线段集确定运动物体的运动方向中最主要的运动方向所指向的消失方向。如上面已经说明的，该主要的运动方向可以理解为所拟合出的直线线段集中，指向该方向的直线线段的数量最多的方向。在本实施例中，使用边平面法线向量以及RANSAC方法根据直线线段集获得消失方向。可以理解：还可以使用任何已知的方法来根据拟合直线线段获得消失方向。
图7是示出根据本发明实施例的用于摄像机自标定的装置的结构的框图。摄像机自标定装置700包括：运动目标检测单元701、特征点提取单元702、运动轨迹获取与线段拟合单元703、消失方向确定单元704以及摄像机标定单元705。其中，单元701到704用于从视频图像中的运动目标中提取特征点，并根据由特征点运动轨迹拟合出的直线线段获得消失方向OZ。单元701到704例如可以与结合图6说明的单元601到604具有相同的结构和功能。因此，省略其详细说明。
摄像机标定单元705将由消失方向确定单元704所确定的消失方向OZ用来进行摄像机自标定，以确定摄像机相对于地面的姿态。使用根据运动物体的特征点运动轨迹拟合的直线线段获得的消失方向进行摄像机自标定，避免了视频图像中边缘较少或噪声边缘较多时标定不准确的情况。
可以通过将根据本发明实施例的摄像机自标定装置安装或集成在摄像机内部，或者设置在摄像机之外来对由摄像机拍摄的视频图像进行处理，进而进行摄像机的自标定。
上面以示例的方式介绍了基于视频图像中运动物体特征点的运动轨迹来确定消失方向OZ的方法和装置。接下来，提供一种获得地面平行消失方向OX的方法。
图8是示出根据本发明实施例的基于视频图像确定消失方向OX的方法的流程图。
在步骤S801中，对由摄像机拍摄的视频图像中的物体进行边缘检测，以获得物体上的直线线段。边缘检测的对象可以是诸如建筑物的静止物体，也可以是诸如汽车的运动物体。图5是示出在道路监控场合中以车辆为边缘检测对象来获得边缘直线线段(右手侧图片中方框中的白色线段)的示意图。
图5所示的实施例中车辆相对较少，当在车流量较大的情况下，通过边缘检测可能得到更大量的直线线段。在这种情况下，如果按照现有技术，不经处理地根据获得的所有直线线段对消失方向OX进行估计，会引入大量的噪声，导致无法正确估计得到OX的方向，同时，系统还会承受相当大的计算负荷。据此，本发明的实施例将边缘检测到的直线线段集进行分组，以分组的子线段集为单位对消失方向OX进行估计。
具体来说，在步骤S802中，以预定规则将在步骤S801中获得的直线线段分组，并按照该分组进行消失方向OX的初始估计。
这里使用的进行分组的预定规则，可以是根据设计需求和应用场景制定的任意规则。例如，将视频图像平均划分为若干块，以所划分的块为单位，将在其中获得的边缘直线线段作为一个分组。再例如，以已知含有平行于消失方向OX的边缘直线线段的物体为单位，对直线线段进行分组。在本实施例中，可以以视频图像中物体的外接矩形为单位，对直线线段进行分组。当外接矩形相接时，认为靠近摄像机的物体遮挡了后面的物体，所以后面的外接矩形可以被挖掉两个外接矩形的交集部分。在图5所示的实施例中，物体为从输入的视频图像中检测到的运动物体。换句话说，在本实施例中，将检测出的边缘直线线段按照从属的汽车不同而分成不同的分组。
本发明创造性的提出对直线线段进行分组，进而以分组的子线段集为单位对消失方向OX进行估计，可以有效地减少系统的计算量。具体的，本领域技术人员可以通过现有的各种求取消失方向的初始估计方法，对消失方向OX进行初始估计。下面，以示例的方式介绍根据本发明实施例的求取消失方向OX的初始估计的方法。
例如，可以使用预先确定的与要估计的消失方向垂直的另一消失方向，引入垂直约束来进行消失方向的初始估计。例如，在估计消失方向OX的初始方向时，在与OX垂直的OZ方向已经通过任何方法(例如，图2中描述的方法，或公知的其它确定OZ方向的方法)确定时，可以使用OZ对消失方向OX进行初始估计。
下面，参照图9说明应用垂直约束，使用OZ进行消失方向OX的初始估计的方法。应该理解，该实例只是示例性的，OX的初始估计方法不限于此，可以使用本领域常用的各种方法进行。图9是示出根据本发明实施例的用于进行消失方向OX的初始估计的方法的流程图。
在步骤S901中，对直线线段的各个分组进行组合，每个组合中包含至少两个分组。在本实施例中，将各个分组两两组合，每个组合由两个分组构成。
在步骤S902中，针对本实施例每个组合由两个分组构成的情况，针对全部组合中的每一个组合，对分别属于该组合中的不同分组的直线线段的边平面法线向量两两进行外积计算(例如，对于一组合中的分组A和分组B，将分组A的直线线段的边平面法线向量与分组B的直线线段的边平面法线向量两两外积)，并且求取所计算出的外积与垂直于OX的消失方向OZ的内积。考虑到计算量的问题，可以只对分组的全部组合中的预定数目的组合进行上述处理。
空间直线的边平面就是通过该直线线段的两个端点和摄像机的光学中心三个点确定的一个三维平面。相应地，该三维平面的法线向量即为边平面法线向量。边平面法线向量的求取方法请参见Jana Kosecka和Wei Zhang的“Video compass”的2.1节，In Proc.ofECCV，2002。
在步骤S903中，将针对预定数目(全部或部分)的组合而计算出的全部内积分别与阈值T1进行比较，并将小于阈值T1的内积所对应的边平面法线向量的方向确定为消失方向OX的初始估计的初值。
阈值T1的大小趋近于0。其趋近于0的程度反映了要求消失方向OX的初始估计的初值垂直于消失方向OZ的程度，可以根据对消失方向的估计的精确度的要求进行选取，例如可以取为0.1。
可选择地，当每个组合中包括两个以上的分组(诸如3个或4个分组)时，在步骤S902和S903中，可以使用例如最小二乘的方法从这若干个分组中确定消失方向OX的初始估计的初值。
在求出OX的初始估计的初值后，可以根据需要采用各种标准和方法，根据初值来确定OX的最终的初始估计。例如，可以将获得的各个初始估计的初值累加，然后计算平均值作为最终的初始估计值。
在本实施例中，在步骤S904中，选取这些初值中支持分组的数量最大的一个作为消失方向OX的最终的初始估计。这里，本发明将满足以下条件的分组称为支持分组：将该分组中的全部线段的边平面的法线向量分别与已获得的初值求取内积，所获得的内积中的最小值小于阈值T2。
阈值T2的选取相似于阈值T1的选取，可以根据对消失方向的估计精度的要求选取趋近于0的任何值(当然，是正值)。
当存在支持分组的数量相同的初值时，根据需要，可以进一步设置筛选初值的标准。在本实施例中，可以选取使得目标函数最小的初值作为最终的初始估计。该目标函数可以包括消失方向OX的初值与消失方向OZ的垂直程度的度量，以及该初值与其它支持分组中的与该初值最平行的线段的平行程度的度量。
例如，在步骤S905中，将下面的等式(1)作为目标函数，来选取使得等式(1)最小的初值，作为消失方向OX的最终的初始估计：
其中，OX代表消失方向的初始估计的初值，OZ代表与之垂直的另一消失方向，N(S)为支持分组的数量，为对所有支持分组求和，为对OX的初值与分组i中的所有线段Lj的边平面法线向量的内积求取最小值。
通过图9所示的方法，利用垂直于消失方向OX的另一垂直方向OZ，引入垂直约束，得到了消失方向的初始估计。下面参考图10，说明图9所示方法的一个具体实现例子。
图10是示出进行OX的初始估计的方法的具体应用实例的流程图。
在步骤S1001中，在估计OX的直线线段集的分组中任意选择出两个分组。在步骤S1002中，从分别属于该2个分组的线段的边平面法线向量的两两外积中选择与已知的、垂直于OX的消失方向OZ的内积小于阈值T1，并且支持分组数量最大的外积所对应的法线向量的方向。
在步骤S1003中，确定是否在步骤S1002中选择的方向的支持分组数量更大？如果是，则保留该选择方向(步骤S1005)。如果在步骤S1003中确定为否，则在步骤S1004中，确定是否该选择的方向的支持分组数量与已有的选择方向的支持分组数量相同但能让上面示出的式(1)更小。如果是，则保留该选出方向(步骤S1005)。如果在步骤S1004中确定为否，则在步骤S1007中丢弃该选出方向。
在执行步骤S1005或步骤S1007后，在步骤S1006中确定是否处理达到指定的迭代次数。如果尚未达到，则返回步骤S1001，再次进行步骤S1001及其后续处理。如果在步骤S1006中确定为已经达到预设的指定迭代次数，则得到所需的OX的初始估计。
现在回到图8，在步骤S803中，从全部分组的预定数目分组中选取至少一条方向与初始估计方向最接近的直线线段。判断直线与消失方向(此处是消失方向的初始估计方向)是否接近的具体方法可以采用本领域中常用的各种方法，诸如，在J.Kosecka和W.Zhang的“Video compass”，Proceedings of European Conference on Computer Vision，2002中描述的方法。
在步骤S804中，用在步骤S803中选取的直线线段确定消失方向OX。同样，这里也可以使用本领域常用的各种根据直线线段集确定消失方向的方法，诸如RANSAC方法。
使用图8中所示的先对边缘检测的直线线段进行分组，再进行消失方向的初始估计的方法，在改进了系统准确性的同时，大大减小了系统的计算负荷。
图11是示出根据本发明实施例的摄像机自标定方法的流程图。图11中的步骤S1101到步骤S1104涉及将通过边缘检测获得的直线线段集进行分组后，以分组的子直线线段集进行消失方向OX的初始估计，从而确定消失方向OX的方法，例如可采用与图8中的步骤S801到S804中进行的处理相同的处理。因此，此处省略其详细说明。
在步骤S1105中，将在步骤S1104中确定的OX消失方向与其它消失方向OZ、OY一起用来确定摄像机的姿态参数，即，摄像机相对于地面的姿态。将在下文中举出基于消失方向确定摄像机的姿态参数的例子。
图12是示出根据本发明实施例的基于视频图像来确定消失方向的装置的结构的框图。消失方向确定装置1200包括：边缘检测单元1201、初始估计单元1202、最接近直线线段选取单元1203以及消失方向获得单元1204。
在处理开始时，将由摄像机拍摄的视频图像输入消失方向确定装置1200。边缘检测单元1201对输入的视频图像中的物体进行边缘检测，以获得该物体上的直线线段。进行边缘检测的物体可以是诸如建筑物的静止物体，也可是诸如汽车、行人的运动物体。
为了减小系统的计算量，特别是在检测到的边缘直线线段数量较大时，减轻系统的计算负荷，初始估计单元1202以预定规则对直线线段进行分组，然后，以分组的直线线段为单位进行消失方向的初始估计。该分组规则可以根据需要由设计人员指定，例如，可以以视频图像中物体的外接矩形为单位，对直线线段进行分组。在本实施例中，该物体为从视频图像中检测出的运动物体，即正在道路上行驶的汽车。
初始估计单元1202可以使用预先获得的消失方向OZ，引入垂直约束机制进行消失方向OX的初始估计。
图13是示出根据本发明实施例的消失方向确定装置的初始估计单元1300的结构的框图。图13所示的初始估计单元1300与图12中所示的初始估计单元1202相对应。初始估计单元1300可以包括：分组组合单元1301，垂直约束计算单元1302、初值确定单元1303以及初始估计确定单元1304。
分组组合单元1301可以将边缘直线线段的分组进行组合，使每一组合中包括至少两个分组。在本实施例中，分组组合单元1301将各个分组两两组合。
针对于本实施例中每个组合包括两个分组的情况，垂直约束计算单元1302针对全部组合或部分组合中的每一个，对分别属于该组合中的不同分组的直线线段的边平面法线向量，两两进行外积计算，并且求取所计算出的外积与垂直于消失方向OX的另一消失方向OZ的内积。
初值确定单元1303可以将由所述垂直约束计算单元1302针对预定数目的组合(部分或全部组合)而计算出的全部内积分别与阈值T1进行比较，并将小于阈值T1的内积所对应的边平面法线向量的方向确定为消失方向OX的初始估计的初值。
阈值T1的大小趋近于0。其趋近于0的程度反映了要求消失方向OX的初始估计的初值垂直于消失方向OZ的程度，可以根据对消失方向的估计的精确度的要求进行选取，例如可以取为0.1。
可选择地，当每个组合包括两个以上分组时，垂直约束计算单元1302和初值确定单元1303可以使用例如最小二乘的方法从这若干个分组中确定消失方向OX的初始估计的初值。
初始估计确定单元1304可以通过预先设置采用不同确定标准来从取得的初值中确定消失方向OX的最终初始估计。例如，初始估计确定单元1304可以选取由初值确定单元1303确定的初值中支持分组的数量最大的一个初值作为消失方向OX的最终的初始估计。这里，将满足以下条件的分组称为支持分组：将其中的全部线段的边平面法线向量分别与获得的初值求取内积，所获得的内积中的最小值小于阈值T2。
阈值T2的选取相似于阈值T1，可以根据对消失方向的估计精度的要求选取趋近于0的任何值。
当存在支持分组的数量相同的初值时，初始估计确定单元1304可以选取使得某个目标函数最小的初值作为最终的初始估计，其中，该目标函数中可以包括：该初值与消失方向OZ的垂直程度的度量，以及该初值与其它支持分组中的与该初值最平行的线段的平行程度的度量。
具体来说，该目标函数可以选取为上面描述的等式(1)，并将使得等式(1)更小的初值作为消失方向OX的最终的初始估计。
现在回到图12，消失方向确定装置1200中的最接近直线线段选取单元1203从直线线段的全部分组的预定数目分组中选取至少一条与初始估计最接近的直线线段，并将所选取的直线线段提供给消失方向获得单元1204。
然后，消失方向获得单元1204使用所选取的直线线段来确定消失方向OX。
图14是示出根据本发明实施例的用于摄像机自标定的装置的结构的框图。摄像机自标定设备1400包括：边缘检测单元1401、初始估计单元1402、最接近直线线段选取单元1403、消失方向获得单元1404以及摄像机标定单元1405。其中，单元1401到1404用于根据边缘检测得到的直线线段集的分组进行初始方向OX的初始估计，以最终确定消失方向OX，例如可以与图12中示出的单元1201到1204具有相同的功能和结构。在此，省略对它们的说明。
摄像机标定单元1405可以使用由消失方向获得单元1404得到的消失方向OX，以与另外的消失方向OZ和OY一起确定摄像机相对于地面的姿态。
可以通过将根据本发明实施例的摄像机自标定装置安装或集成在摄像机内部，或者装配在摄像机之外来对由摄像机拍摄的视频图像进行处理，进而进行摄像机的自标定。
上文中分别说明了通过运动物体特征点的运动轨迹估计运动物体的主要运动方向所指向的消失方向OZ，以及通过将边缘检测得到的直线线段进行分组确定地面水平消失方向OX的方法和装置。在得到OZ和OX后，根据坐标系三个轴相互正交的原则，可以通过OZ和OX的外积得到三维消失方向OY。下文中，对如何根据已知的消失方向OX、OZ和OY获得摄像机的姿态参数，即，确定摄像机相对于地面的姿态进行说明。
对于图1所示的实施例，基于消失方向OX、OY和OZ，可以容易地计算得到相机相对于地面的旋转角度。再加上已知的相机高度h，就可以唯一地确定出相机在世界坐标系XYZ中的姿态。此时，三维世界坐标系中任意一点投影到图像上的坐标可以通过式(2)计算。
其中，(x，y，z)为三维世界坐标系中真实点坐标，(u，v，l)为该真实点坐标投影到成像平面上的图像平面坐标，K为3×3的摄像机透视变换矩阵，能够通过摄像机的校准得到(其具体获得方法请参见Z.Zhang的“Flexible Camera Calibration by Viewing a PlaneFrom Unknown Orientations”.In Proc.of ICCV，1999)。R为3×3的摄像机旋转矩阵，T为3×1的摄像机平移矩阵。本领域技术人员了解：R和T可以通过消失方向OX、OY和OZ以及真实空间中一确定线段长度(本实施例中为摄像机高度h)计算得到。相反的，相机上的任意一个像素若已知其所拍摄的点位于地面，则该点所对应的三维空间中的位置也可以通过式(2)的逆运算求得。
另外需要说明的是，虽然本实施例中采用摄像机高度h作为系统输入，来求取摄像机的姿态参数。本领域技术人员了解：真实空间中任一已知线段的长度，或者已知运动物体的速度都可以代替摄像机高度h，用来确定摄像机相对于地面的姿态。
根据本发明实施例的用于确定地面水平消失方向OX的方法和装置以及用于确定地面延伸消失方向OZ的方法和装置可以应用于同一实现中。例如，可以在摄像机的标定中全部使用根据本发明实施例所获得的消失方向OX和OZ。或者，可以在特定的实现中，诸如摄像机的标定中，只使用根据本发明实施例确定的消失方向OX和OZ之一，并使用其它方法(例如各种已知方法)确定的另外的消失方向。都可以获得本发明预期的有益效果。
下文中，参考图15描述实现本发明的上述实施例描述的确定消失方向的方法和装置及摄像机自标定方法和装置等的计算机的示例性结构。图15是示出实现本发明的计算机的示例性结构的框图。
在图15中，中央处理单元(CPU)1501根据只读存储器(ROM)1502中存储的程序或从存储部分1508加载到随机存取存储器(RAM)1503的程序执行各种处理。在RAM 1503中，也根据需要存储当CPU 1501执行各种处理时所需的数据。
CPU 1501、ROM 1502和RAM 1503经由总线1504彼此连接。输入/输出接口1505也连接到总线1504。
下述部件连接到输入/输出接口1505：输入部分1506，包括键盘、鼠标等；输出部分1507，包括显示器，诸如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等；存储部分1508，包括硬盘等；以及通信部分1509，包括网络接口卡诸如LAN卡、调制解调器等。通信部分1509经由网络诸如因特网执行通信处理。
根据需要，驱动器1510也连接到输入/输出接口1505。可拆卸介质1511诸如磁盘、光盘、磁光盘、半导体存储器等根据需要被安装在驱动器1510上，使得从中读出的计算机程序根据需要被安装到存储部分1508中。
在通过软件实现上述步骤和处理的情况下，从网络诸如因特网或存储介质诸如可拆卸介质1511安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图15所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1511。可拆卸介质1511的例子包含磁盘、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体存储器。或者，存储介质可以是ROM 1502、存储部分1508中包含的硬盘等，其中存有程序，并且与包含它们的方法一起被分发给用户。
根据本发明实施例的方法和装置可以应用于很多场合。诸如：
例子1：地面物体尺寸的测量
由于所有视频图像上的点可以通过式(2)计算出其在三维空间中的位置，所以可以利用本发明提供的方法和装置通过一个地面上的物体在图像中的尺寸去测量其实际的尺寸，例如人的身高胖瘦、车辆尺寸等。
例子2：运动物体速度的测量
通过在两个时间点上检测到地面上的运动物体在图像上的位置，可以利用本发明提供的方法和装置去测量这个物体在三维空间上运动的距离，进一步除以时间就得到该物体的运动速度。测速结果可进一步用于判断超速等交通违规的发生。
在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。

Claims (17)

1.一种基于视频图像确定消失方向的方法，包括：
对所述视频图像中的物体进行边缘检测，以获得所述物体上的直线线段；
以预定规则将所述直线线段分组，并按照所述直线线段的分组进行消失方向的初始估计；
从全部所述分组的预定数目分组中选取至少一条方向与所述初始估计方向最接近的直线线段；
用所选取的直线线段确定所述消失方向；
其中，通过使用预先确定的与所述消失方向垂直的另一消失方向来进行所述消失方向的初始估计，并且通过以下方法来确定所述另一消失方向，所述方法包括：
在所述视频图像中检测运动物体所在的运动目标区域；
提取所检测到的运动目标区域中的运动物体上的特征点；
在预定数目的帧中跟踪所述特征点的移动，以获得所述特征点的移动轨迹，并根据所述移动轨迹拟合直线线段；
利用拟合出的所述直线线段确定所述运动物体的运动方向中最主要的运动方向所指向的所述另一消失方向，其中，所述最主要的运动方向为根据所有运动物体的特征点的运动轨迹所拟合的直线线段集中，指向该方向的直线线段的数量最多的方向。
2.根据权利要求1所述的基于视频图像确定消失方向的方法，其中，所述预定规则为：以所述视频图像中物体的外接矩形为单位，对所述直线线段进行分组。
3.根据权利要求2所述的基于视频图像确定消失方向的方法，其中，进行所述消失方向的初始估计包括：
对所述分组进行组合，每个所述组合中包含至少两个分组。
4.根据权利要求3所述的基于视频图像确定消失方向的方法，其中，每个所述组合由两个分组构成，进行所述消失方向的初始估计包括：
针对全部组合中预定数目的组合中的每一个，对分别属于该组合中的不同分组的直线线段的边平面法线向量，两两进行外积计算，并且求取所计算出的外积与所述另一消失方向的内积；
将针对所述预定数目的组合而计算出的全部内积分别与第一阈值进行比较，并将小于所述第一阈值的内积所对应的边平面法线向量的方向确定为所述消失方向的初始估计的初值；
根据所述初值确定所述消失方向的最终的初始估计。
5.根据权利要求4所述的基于视频图像确定消失方向的方法，其中，根据所述初值确定所述消失方向的最终的初始估计包括：
选取所述初值中支持分组的数量最大的一个初值作为所述消失方向的最终的初始估计，其中，每一所述支持分组中的全部线段的边平面法线向量分别与所述初值求取内积，所获得的内积中的最小值小于第二阈值。
6.根据权利要求5所述的基于视频图像确定消失方向的方法，其中，根据所述初值确定所述消失方向的最终的初始估计包括：当存在支持分组的数量相同的初值时，选取使得目标函数最小的初值作为最终的初始估计，其中，所述目标函数中包括所述初值与所述另一消失方向的垂直程度的度量，以及所述初值与其它所述支持分组中的与所述初值最平行的线段的平行程度的度量。
7.根据权利要求6所述的基于视频图像确定消失方向的方法，其中，所述目标函数为：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>O</mi> <mi>X</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>O</mi> <mi>X</mi> <mo>&amp;CenterDot;</mo> <mi>O</mi> <mi>Z</mi> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mrow> <mo>(</mo> <mi>S</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <munder> <mi>min</mi> <mi>j</mi> </munder> <mrow> <mo>(</mo> <mi>O</mi> <mi>X</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>L</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow>
其中，OX代表所述消失方向的初始估计的初值，OZ代表所述另一消失方向，N(S)为支持分组的数量，为对所有支持分组求和，为对OX的初值与分组i中的所有线段Lj的边平面法线向量的内积求取最小值。
8.一种摄像机自标定方法，包括：
使用根据权利要求1到7中任一个所述的基于视频图像确定消失方向的方法，基于所述摄像机拍摄的视频图像来确定消失方向；
将所确定的消失方向用来确定所述摄像机相对于地面的姿态。
9.一种用于基于视频图像来确定消失方向的装置，包括：
边缘检测单元，用于对所述视频图像中的物体进行边缘检测，以获得所述物体上的直线线段；
初始估计单元，用于以预定规则对所述直线线段进行分组，以按照所述直线线段的分组进行消失方向的初始估计；
最接近直线线段选取单元，用于从全部所述分组的预定数目分组中选取至少一条与所述初始估计最接近的直线线段；
消失方向获得单元，用于使用所选取的直线线段确定所述消失方向；
其中，所述初始估计单元通过使用预先确定的与所述消失方向垂直的另一消失方向来进行消失方向的初始估计，并且通过以下方法来确定所述另一消失方向，所述方法包括：
在所述视频图像中检测运动物体所在的运动目标区域；
提取所检测到的运动目标区域中的运动物体上的特征点；
在预定数目的帧中跟踪所述特征点的移动，以获得所述特征点的移动轨迹，并根据所述移动轨迹拟合直线线段；
利用拟合出的所述直线线段确定所述运动物体的运动方向中最主要的运动方向所指向的所述另一消失方向，其中，所述最主要的运动方向为根据所有运动物体的特征点的运动轨迹所拟合的直线线段集中，指向该方向的直线线段的数量最多的方向。
10.根据权利要求9所述的用于基于视频图像来确定消失方向的装置，其中，所述预定规则为：以所述视频图像中物体的外接矩形为单位，对所述直线线段进行分组。
11.根据权利要求9所述的用于基于视频图像来确定消失方向的装置，其中，所述初始估计单元包括：
分组组合单元，用于对所述分组进行组合，每一所述组合中包括至少两个分组。
12.根据权利要求11所述的用于基于视频图像来确定消失方向的装置，其中，每一所述组合由两个分组构成，所述初始估计单元进一步包括：
垂直约束计算单元，用于针对全部组合中预定数目的组合中的每一个，对分别属于该组合中的不同分组的直线线段的边平面法线向量，两两进行外积计算，并且求取所计算出的外积与所述另一消失方向的内积；
初值确定单元，用于将由所述垂直约束计算单元针对所述预定数目的组合而计算出的全部内积分别与第一阈值进行比较，并将小于所述第一阈值的内积所对应的边平面法线向量的方向确定为所述消失方向的初始估计的初值。
13.根据权利要求12所述的用于基于视频图像来确定消失方向的装置，其中，所述初始估计单元还包括：
初始估计确定单元，用于选取由所述初值确定单元确定的所述初值中支持分组的数量最大的一个作为所述消失方向的最终的初始估计，其中，每一所述支持分组中的全部线段的边平面法线向量分别与所述初值求取内积，所获得的内积中的最小值小于第二阈值。
14.根据权利要求13所述的用于基于视频图像来确定消失方向的装置，其中，当存在支持分组的数量相同的所述初值时，所述初始估计确定单元选取使得目标函数最小的初值作为最终的初始估计，其中，所述目标函数中包括所述初值与所述另一消失方向的垂直程度的度量，以及所述初值与其它所述支持分组中的与所述初值最平行的线段的平行程度的度量。
15.根据权利要求14所述的用于基于视频图像来确定消失方向的装置，其中，所述目标函数为：
其中，OX代表所述消失方向的初始估计的初值，OZ代表所述另一消失方向，N(S)为支持分组的数量，为对所有支持分组求和，为对OX的初值与分组i中的所有线段Lj的边平面法线向量的内积求取最小值。
16.一种用于摄像机自标定的设备，包括：
根据权利要求9到15中任一个所述的用于基于视频图像来确定消失方向的装置；
摄像机标定单元，其将由所述确定消失方向的装置计算出的消失方向用于确定所述摄像机相对于地面的姿态。
17.一种摄像机，其包括根据权利要求16所述的用于摄像机自标定的装置。
CN201110137206.5A 2011-05-16 2011-05-16 消失方向确定方法和装置、摄像机自标定方法和装置 Expired - Fee Related CN102789642B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201110137206.5A CN102789642B (zh) 2011-05-16 2011-05-16 消失方向确定方法和装置、摄像机自标定方法和装置
US13/462,210 US9202277B2 (en) 2011-05-16 2012-05-02 Device for determining disappearing direction and method thereof, apparatus for video camera calibration and method thereof
US14/667,502 US9953421B2 (en) 2011-05-16 2015-03-24 Device for determining disappearing direction and method thereof, apparatus for video camera calibration and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110137206.5A CN102789642B (zh) 2011-05-16 2011-05-16 消失方向确定方法和装置、摄像机自标定方法和装置

Publications (2)

Publication Number Publication Date
CN102789642A CN102789642A (zh) 2012-11-21
CN102789642B true CN102789642B (zh) 2017-08-25

Family

ID=47155040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110137206.5A Expired - Fee Related CN102789642B (zh) 2011-05-16 2011-05-16 消失方向确定方法和装置、摄像机自标定方法和装置

Country Status (2)

Country Link
US (2) US9202277B2 (zh)
CN (1) CN102789642B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121361B2 (en) 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
WO2013032933A2 (en) 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
US8744125B2 (en) 2011-12-28 2014-06-03 Pelco, Inc. Clustering-based object classification
US9286678B2 (en) * 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9782141B2 (en) 2013-02-01 2017-10-10 Kineticor, Inc. Motion tracking system for real time adaptive motion compensation in biomedical imaging
CN103839255B (zh) * 2013-12-05 2017-03-01 福建师范大学 视频抠像篡改检测方法及装置
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
CN105225248B (zh) * 2014-06-27 2018-02-02 株式会社理光 识别物体的运动方向的方法和设备
CN106714681A (zh) 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
CN104792542B (zh) * 2015-04-08 2017-07-04 吉林大学 基于立体视觉的汽车制动性能检测系统检定装置及方法
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105847681A (zh) * 2016-03-30 2016-08-10 乐视控股（北京）有限公司 拍摄控制方法、设备及系统
CN107464263A (zh) * 2016-06-02 2017-12-12 维森软件技术（上海）有限公司 汽车标定系统及其标定方法
CN106204574B (zh) * 2016-07-07 2018-12-21 兰州理工大学 基于目标平面运动特征的相机位姿自标定方法
CN106170074A (zh) * 2016-07-21 2016-11-30 湖北誉恒科技有限公司 监控道路突发状况的视频监控系统
US10102632B2 (en) * 2016-09-22 2018-10-16 The Boeing Company Line segment detection in low contrast images
WO2019161229A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for reconstructing unoccupied 3d space
WO2019161207A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for conversational agent via adaptive caching of dialogue tree
WO2019161246A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for visual rendering based on sparse samples with predicted motion
CN108563990B (zh) * 2018-03-08 2022-03-29 南京华科和鼎信息科技有限公司 一种基于cis图像采集系统的证照鉴伪方法及系统
US10580164B2 (en) * 2018-04-05 2020-03-03 Microsoft Technology Licensing, Llc Automatic camera calibration
CN112106110B (zh) * 2018-04-27 2023-02-10 上海趋视信息科技有限公司 标定相机的系统和方法
CN110794692B (zh) * 2018-08-03 2021-07-23 珠海格力电器股份有限公司 家电设备的移动控制方法、装置及家电设备
CN109215025B (zh) * 2018-09-25 2021-08-10 电子科技大学 一种基于非凸秩逼近极小化的红外弱小目标检测方法
JP7191671B2 (ja) * 2018-12-19 2022-12-19 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN109819207B (zh) * 2018-12-25 2020-07-21 深圳市天彦通信股份有限公司 目标查找方法及相关设备
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN110533955B (zh) * 2019-09-16 2022-12-09 平安科技（深圳）有限公司 一种确定停车位的方法、终端设备及计算机可读存储介质
CN112634320A (zh) * 2019-09-24 2021-04-09 成都通甲优博科技有限责任公司 一种交叉路口识别物体运动方向的方法及系统
CN111080709B (zh) 2019-11-22 2023-05-05 大连理工大学 基于轨迹特征配准的多光谱立体相机自标定算法
CN111126807B (zh) * 2019-12-12 2023-10-10 浙江大华技术股份有限公司 行程切分方法和装置、存储介质及电子装置
CN111489398B (zh) * 2019-12-19 2023-06-20 阿里巴巴集团控股有限公司 一种成像设备标定方法以及装置
CN111290388B (zh) * 2020-02-25 2022-05-13 苏州科瓴精密机械科技有限公司 路径追踪方法、系统，机器人及可读存储介质
CN111428635B (zh) * 2020-03-23 2023-06-20 浙江大华技术股份有限公司 信息告警方法、装置、存储介质以及电子装置
CN113467603B (zh) * 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
CN111611938B (zh) * 2020-05-22 2023-08-29 浙江大华技术股份有限公司 一种逆行方向确定方法及装置
CN111783586A (zh) * 2020-06-22 2020-10-16 珠海格力电器股份有限公司 一种食材管理方法、装置、计算设备及存储介质
CN114339211A (zh) * 2021-12-30 2022-04-12 武汉微创光电股份有限公司 云台偏移检测方法、装置、设备及可读存储介质
CN116704751B (zh) * 2023-05-10 2024-02-02 济南城市静态交通管理运营集团有限公司 一种基于大数据的车辆智能监控预警系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136685A (zh) * 1994-02-23 1996-11-27 松下电工株式会社 识别三维空间目标物的方法
CN1173700A (zh) * 1996-07-26 1998-02-18 株式会社日立制作所 信息记录重放方法及装置
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672557A (en) * 1983-03-26 1987-06-09 Disco Abrasive Systems, Ltd. Automatic accurate alignment system
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP3481430B2 (ja) * 1997-09-11 2003-12-22 富士通株式会社 移動体追跡装置
US6270459B1 (en) * 1998-05-26 2001-08-07 The Board Of Regents Of The University Of Texas System Method for estimating and imaging of transverse displacements, transverse strains and strain ratios
US6441846B1 (en) * 1998-06-22 2002-08-27 Lucent Technologies Inc. Method and apparatus for deriving novel sports statistics from real time tracking of sporting events
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
EP1723800A1 (en) * 2004-03-01 2006-11-22 Koninklijke Philips Electronics N.V. A video signal encoder, a video signal processor, a video signal distribution system and methods of operation therefor
WO2006002322A2 (en) * 2004-06-22 2006-01-05 Sarnoff Corporation Method and apparatus for visual odometry
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US20060239506A1 (en) * 2005-04-25 2006-10-26 Objectvideo, Inc. Line textured target detection and tracking with applications to "Basket-run" detection
WO2007010596A1 (ja) * 2005-07-19 2007-01-25 Fujitsu Limited 画像判定方法、画像判定装置および画像判定方法をコンピュータに実行させるプログラムを記録した記録媒体
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8462987B2 (en) * 2009-06-23 2013-06-11 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions
US8116527B2 (en) * 2009-10-07 2012-02-14 The United States Of America As Represented By The Secretary Of The Army Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
WO2011155161A1 (ja) * 2010-06-11 2011-12-15 パナソニック株式会社 画像処理装置および画像処理方法
JP2012089986A (ja) * 2010-10-18 2012-05-10 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品
US8988536B2 (en) * 2010-12-23 2015-03-24 Samsung Electronics Co., Ltd. Image processing circuit, method of operation thereof, and digital camera including same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1136685A (zh) * 1994-02-23 1996-11-27 松下电工株式会社 识别三维空间目标物的方法
CN1173700A (zh) * 1996-07-26 1998-02-18 株式会社日立制作所 信息记录重放方法及装置
CN102034355A (zh) * 2010-12-28 2011-04-27 丁天 一种基于特征点匹配的车辆检测及跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于场景相关信息的物体识别方法的研究;冯闻捷;《中国优秀硕士学位论文全文数据库信息科技辑》;20100515;第22-25页 *

Also Published As

Publication number Publication date
US9202277B2 (en) 2015-12-01
US9953421B2 (en) 2018-04-24
CN102789642A (zh) 2012-11-21
US20150199814A1 (en) 2015-07-16
US20120293663A1 (en) 2012-11-22

Similar Documents

Publication Publication Date Title
CN102789642B (zh) 消失方向确定方法和装置、摄像机自标定方法和装置
US9224205B2 (en) Accelerated geometric shape detection and accurate pose tracking
Klein et al. Full-3D Edge Tracking with a Particle Filter.
JP5991952B2 (ja) 周囲状況に対するカメラの姿勢を求めるための方法
US8872851B2 (en) Augmenting image data based on related 3D point cloud data
Pérez et al. Jetstream: Probabilistic contour extraction with particles
CN104204721B (zh) 单个相机距离估计
JP2020508506A (ja) ３ｄ点データにおける垂直構造を取り込む２ｄマップを使用する位置推定
Taneja et al. Geometric change detection in urban environments using images
CN111539428A (zh) 基于多尺度特征整合和注意力机制的旋转目标检测方法
Cui et al. Real-time dense mapping for self-driving vehicles using fisheye cameras
US9928426B1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
CN106062824B (zh) 边缘检测装置和边缘检测方法
US20150302611A1 (en) Vehicle dimension estimation from vehicle images
KR102001636B1 (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
Nezhadshahbodaghi et al. A loosely-coupled EMD-denoised stereo VO/INS/GPS integration system in GNSS-denied environments
Hamilton et al. Generalized dynamic object removal for dense stereo vision based scene mapping using synthesised optical flow
Shi et al. Fusion of a panoramic camera and 2D laser scanner data for constrained bundle adjustment in GPS-denied environments
Radanovic et al. Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration
CN103765477A (zh) 通过图形匹配和环形检测而用自动模型初始化进行线跟踪
Di et al. Monocular piecewise depth estimation in dynamic scenes by exploiting superpixel relations
Diskin et al. Dense 3D point-cloud model using optical flow for a monocular reconstruction system
CN114519686A (zh) 用于检测路牙的方法、装置、电子设备和介质
US11776148B1 (en) Multi-view height estimation from satellite images
KR102649816B1 (ko) 들로네 삼각분할법을 사용한 실내궤적 데이터 생성방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170825

Termination date: 20210516