CN110310335B - 一种相机角度确定方法、装置、设备及系统 - Google Patents

一种相机角度确定方法、装置、设备及系统 Download PDF

Info

Publication number
CN110310335B
CN110310335B CN201810257208.XA CN201810257208A CN110310335B CN 110310335 B CN110310335 B CN 110310335B CN 201810257208 A CN201810257208 A CN 201810257208A CN 110310335 B CN110310335 B CN 110310335B
Authority
CN
China
Prior art keywords
camera
calibrated
image
point
vanishing point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810257208.XA
Other languages
English (en)
Other versions
CN110310335A (zh
Inventor
何芸芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810257208.XA priority Critical patent/CN110310335B/zh
Publication of CN110310335A publication Critical patent/CN110310335A/zh
Application granted granted Critical
Publication of CN110310335B publication Critical patent/CN110310335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种相机角度确定方法、装置、设备及系统，方法包括：确定待标定相机移动方向的灭点，作为第一灭点，在第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的待标定相机的内参及平移参数，根据第一灭点和第二灭点，计算待标定相机的角度；可见，本方案中，并不需要确定相机在不同移动方向的灭点，而是确定相机移动方向的一个灭点和竖直方向的一个灭点，因此也就不需要控制车辆严格按照特定的角度进行转向行驶，提高了确定相机角度的准确度。

Description

一种相机角度确定方法、装置、设备及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种相机角度确定方法、装置、设备及系统。
背景技术
对于车载相机、航拍相机、轨道相机等可移动相机来说，通常需要确定相机的角度。以车载相机为例来说，确定车载相机角度的方案一般包括：控制车辆按照特定的角度进行转向行驶，在车辆转向行驶过程中，获取车载相机不同行驶方向下的灭点，根据所获取的两个或两个以上灭点确定相机的角度。
上述方案中，需要控制车辆严格按照特定的角度进行转向行驶，对驾驶员的要求较高，如果驾驶员达不到该要求，则确定的相机角度的准确度较低。
发明内容
本发明实施例的目的在于提供一种相机角度确定方法、装置、设备及系统，以提高确定相机角度的准确度。
为达到上述目的，本发明实施例提供了一种相机角度确定方法，包括：
获取连续多帧待处理图像；其中，所述待处理图像根据待标定相机采集的图像得到；
在所述连续多帧待处理图像中，确定多条特征点轨迹；
根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；
在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；
利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度。
可选的，所述获取连续多帧待处理图像，可以包括：
获取待标定相机连续采集的多帧原始图像；
对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像。
可选的，所述在所述连续多帧待处理图像中，确定多条特征点轨迹，包括：
在所获取的一帧待处理图像中，提取多个特征点；
在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹。
可选的，所述在所获取的一帧待处理图像中，提取多个特征点，包括：
在所获取的一帧待处理图像中，利用边缘检测算法，提取所述一帧待处理图像中的边缘点；
利用第一滤波算法，得到所述边缘点的曲率信息和锐度，根据所述曲率信息和锐度，确定法向突变角点；
利用第二滤波算法，在所述法向突变角点中，删除重复角点，将剩余的法向突变角点作为提取到的多个特征点。
可选的，所述在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹，可以包括：
针对每个特征点，根据所述待标定相机的移动速度，在所述一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在所述出现区域中，查找与该特征点相匹配的像素点；
根据所述多个特征点对应的查找结果，得到多条特征点轨迹。
可选的，所述根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点，可以包括：
确定所述多条特征点轨迹的交点；
若存在一个交点，则将所述一个交点确定为所述第一灭点；
若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定所述第一灭点；若不存在误差点，则确定与所述多个交点的距离之和最小的点，作为所述第一灭点。
可选的，在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点，可以包括：
提取所述第一灭点所属的图像中的直线；
根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；
根据得到的竖直方向的直线组，确定所述第二灭点。
可选的，所述利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度，可以包括：
以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；
根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；
根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；
对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
可选的，所述根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组，可以包括：
在所述图像坐标系中，确定所述第一灭点的坐标，作为第一图像坐标，确定所述第二灭点的坐标，作为第二图像坐标；
根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组；
所述对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度，包括：
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
可选的，所述待标定相机为车载相机，所述待标定相机移动方向为车辆行驶方向。
为达到上述目的，本发明实施例还提供了一种相机角度确定装置，包括：
获取模块，用于获取连续多帧待处理图像；其中，所述待处理图像根据待标定相机采集的图像得到；
第一确定模块，用于在所述连续多帧待处理图像中，确定多条特征点轨迹；
第二确定模块，用于根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；
第三确定模块，用于在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；
计算模块，用于利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度。
可选的，所述获取模块，具体可以用于：
获取待标定相机连续采集的多帧原始图像；
对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像。
可选的，所述第一确定模块，可以包括：
提取子模块，用于在所获取的一帧待处理图像中，提取多个特征点；
跟踪子模块，用于在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹。
可选的，所述提取子模块，具体可以用于：
在所获取的一帧待处理图像中，利用边缘检测算法，提取所述一帧待处理图像中的边缘点；
利用第一滤波算法，得到所述边缘点的曲率信息和锐度，根据所述曲率信息和锐度，确定法向突变角点；
利用第二滤波算法，在所述法向突变角点中，删除重复角点，将剩余的法向突变角点作为提取到的多个特征点。
可选的，所述跟踪子模块，具体可以用于：
针对每个特征点，根据所述待标定相机的移动速度，在所述一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在所述出现区域中，查找与该特征点相匹配的像素点；
根据所述多个特征点对应的查找结果，得到多条特征点轨迹。
可选的，所述第二确定模块，具体可以用于：
确定所述多条特征点轨迹的交点；
若存在一个交点，则将所述一个交点确定为所述第一灭点；
若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定所述第一灭点；若不存在误差点，则确定与所述多个交点的距离之和最小的点，作为所述第一灭点。
可选的，所述第三确定模块，具体可以用于：
提取所述第一灭点所属的图像中的直线；
根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；
根据得到的竖直方向的直线组，确定所述第二灭点。
可选的，所述计算模块，可以包括：
第一构建子模块，用于以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；
第二构建子模块，用于根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；
转换子模块，用于根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；
求解子模块，用于对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
可选的，所述转换子模块，具体可以用于：
在所述图像坐标系中，确定所述第一灭点的坐标，作为第一图像坐标，确定所述第二灭点的坐标，作为第二图像坐标；
根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组；
所述求解子模块，具体可以用于：
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
可选的，所述待标定相机为车载相机，所述待标定相机移动方向为车辆行驶方向。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种相机角度确定方法。
为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种相机角度确定方法。
为达到上述目的，本发明实施例还提供了一种相机角度确定系统，包括：待标定相机和处理设备；
所述待标定相机，用于采集图像，并将所采集的图像发送至所述处理设备；
所述处理设备，用于根据接收到的图像，得到连续多帧待处理图像；在所述连续多帧待处理图像中，确定多条特征点轨迹；根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度。
应用本发明所示实施例，确定待标定相机移动方向的灭点，作为第一灭点，在第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的待标定相机的内参及平移参数，根据第一灭点和第二灭点，计算待标定相机的角度；可见，本方案中，并不需要确定相机在不同移动方向的灭点，而是确定相机移动方向的一个灭点和竖直方向的一个灭点，因此也就不需要控制车辆严格按照特定的角度进行转向行驶，提高了确定相机角度的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的相机角度确定方法的第一种流程示意图；
图2为本发明实施例提供的一种相机采集的原始图像示意图；
图3为本发明实施例提供的一种校正后的图像示意图；
图4为本发明实施例提供的一种特征点轨迹示意图；
图5为本发明实施例提供的一种竖直方向直线示意图；
图6为本发明实施例提供的相机角度确定方法的第二种流程示意图；
图7为本发明实施例提供的一种相机角度确定装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图；
图9为本发明实施例提供的一种相机角度确定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种相机角度确定方法、装置、设备及系统。利用本发明实施例，可以确定各种可移动相机的角度，如车载相机、航拍相机、轨道相机等等，具体不做限定。该方法及装置可以应用于与该可移动相机通信连接的处理设备，或者也可以应用于该可移动相机。
下面首先对本发明实施例提供的相机角度确定方法进行详细说明。为了方便描述，下面内容中将与可移动相机通信连接的处理设备作为执行主体，并以确定车载相机的角度为例进行说明。
图1为本发明实施例提供的相机角度确定方法的第一种流程示意图，包括：
S101：获取连续多帧待处理图像；其中，该待处理图像根据待标定相机采集的图像得到。
作为一种实施方式，本处理设备(执行主体)可以直接获取待标定相机连续采集的多帧原始图像作为待处理图像；或者，作为另一种实施方式，本处理设备可以获取待标定相机连续采集的多帧原始图像；对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像；或者，待标定相机可以对采集到的原始图像进行畸变校正，得到待处理图像，并将该待处理图像发送至本处理设备。
对于鱼眼相机或者其他广角相机来说，其采集的图像通常存在较明显的畸变，如图2所示，图像中的直线呈现弧形弯曲的现象，这种情况下，可以利用相机的内参，对采集的图像进行畸变校正，校正后的图像可以如图3所示，图3中删除了驾驶舱内的部分信息，将校正后的图像作为待处理图像。
S102：在该连续多帧待处理图像中，确定多条特征点轨迹。
特征点可以为待处理图像中易被识别及跟踪的像素点，比如，指示牌角点、楼房边角、树杈交点，等等，具体不做限定。
如上所述，待标定相机可以为各种可移动相机，下面以车载相机为例进行说明。对于车载相机来说，在车辆行驶过程中，车载相机对沿途景物进行图像采集，车载相机连续采集的相邻帧图像之间存在重叠区域，换句话说，相邻帧图像中存在一部分相同的景物，而S101中获取到的待处理图像是根据车载相机连续采集的多帧图像得到的，因此，所获取的连续多帧待处理图像中存在重叠的特征点，该重叠的特征点也就是该相同的景物对应到该相邻帧图像中的像素点，根据该重叠的特征点，可以在该连续多帧待处理图像中，确定出多条特征点轨迹。
作为一种实施方式，可以在所获取的一帧待处理图像中，提取多个特征点；在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹。
举例来说，假设车载相机实时采集原始图像，对原始图像进行畸变校正，得到待处理图像，并实时将该待处理图像发送至本处理设备；本处理设备可以在接收到的第一帧待处理图像中，提取多个特征点，并在之后接收到的第二帧、第三帧……第N帧待处理图像中，对该多个特征点进行跟踪，得到多条特征点轨迹。
本实施方式中，如果所跟踪的特征点在待处理图像中消失，可以重新提取特征点。举例来说，可以预先设定所跟踪特征点的数量，假设为5，在第一帧待处理图像中提取5个特征点，并在之后的图像中跟踪这5个特征点；假设在第十帧待处理图像中只跟踪到3个特征点，则可以在第十帧待处理图像中重新提取2个新的特征点，并在之后的待处理图像中对之前的3个特征点以及2个新的特征点继续进行跟踪。
或者，也可以在第一帧待处理图像中提取较多的特征点，比如30个，可以理解，并不是对提取出的所有特征点都能跟踪成功，因此，本实施方式中可以提取较多的特征点，以方便后续跟踪。
或者，如果在第一帧待处理图像中未提取到足够数量的特征点，可以先对这些特征点进行跟踪，在第一帧之后的待处理图像中继续提取特征点，并对新提取的特征点进行跟踪。比如，假设预先设定所要得到的特征点轨迹数量为5，但是在前若干帧图像中，只成功跟踪了3个特征点，得到了3条特征点轨迹，则可以在所得到的各帧待处理图像中，继续提取新的特征点，跟踪新的特征点，直至得到5条特征点轨迹后，再执行S103。
作为一种实施方式，在一帧待处理图像中，提取多个特征点，可以包括：
在一帧待处理图像中，利用边缘检测算法，提取所述一帧待处理图像中的边缘点；利用第一滤波算法，得到所述边缘点的曲率信息和锐度，根据所述曲率信息和锐度，确定法向突变角点；利用第二滤波算法，在所述法向突变角点中，删除重复角点，将剩余的法向突变角点作为提取到的多个特征点。
举例来说，边缘检测算法可以为Canny边缘检测算法，可以利用强度较大的阈值来控制提取待处理图像中边缘特征较明显的像素点，作为边缘点。或者，也可以利用Harris角度提取算法，或者也可以利用其他算法，具体不做限定。
第一滤波算法与第二滤波算法可以相同或不同，比如，都可以为高斯滤波算法，等等，或者，也可以为其他，具体不做限定。利用高斯滤波算法进行卷积可以得到边缘点的曲率信息和锐度；对各边缘点的曲率信息和锐度进行统计，根据统计结果确定法向发生突变的角点，也就是法向突变角点，该法向突变角点可以为指示牌角点、楼房边角、树杈角点，等等。
理论上，矩形指示牌应该存在四个法向突变角点，但是算法误差可能导致得到大于四个法向突变角点，也就是重复角点。可以理解，如果矩形指示牌的一个角上得到两个或两个以上的法向突变角点，则该两个或两个以上的法向突变角点中存在重复角点。可以利用滤波算法删除重复角点，并将剩余的法向突变角点作为提取到的特征点。
作为一种实施方式，在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹，包括：
针对每个特征点，根据所述待标定相机的移动速度，在所述一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在所述出现区域中，查找与该特征点相匹配的像素点；根据所述多个特征点对应的查找结果，得到多条特征点轨迹。
对于车载相机来说，其移动速度也就是车辆行驶速度。可以理解，第N帧待处理图像中的特征点在第N+1帧待处理图像中的位置通常与车辆行驶速度相关。举例来说，车辆行驶速度可以为20-30km/h，这样，位于远方的特征点从进入车载相机视野的可分辨范围开始到离开车载相机视野，一般用时1-2秒，也就是说，可用于特征点跟踪的连续帧待处理图像的数量约为30帧，或者说，可以在约30帧连续的待处理图像中对特征点进行跟踪。
举例来说，可以利用Kanade-Lucas-Tomasi特征跟踪法，在所预测的特征点的出现区域内进行梯度式搜索。假设第Ii帧待处理图像与第Ii+1帧待处理图像为相邻两帧图像，这两帧之间的图像距离为d，则有：Ii+1(x)＝Ii(x+d)；
在Ii+1帧待处理图像中，预测特征点x的的出现区域为：
Figure GDA0003167935960000111
针对每个特征点，在该特征点出现区域内，利用局部搜索查找与该特征点相匹配的像素点，查找过程中可以使用牛顿拉夫逊法进行迭代处理，并进行平滑处理。
如图4所示，假设以三个指示牌的左下角点、以及指示牌横杆与竖杆的交叉点作为特征点，对这四个特征点进行跟踪，得到4条特征点轨迹，也就是图4中的4条直线。图4中存在多个指示牌横杆及竖杆，这多个指示牌横杆及竖杆为多帧图像的重影，图4中除指示牌横杆及竖杆之外的其他景物不存在多帧图像的重影。
S103：根据该多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点。
对于车载相机来说，其移动方向即为车辆行驶方向。理论上，所确定的多条特征点轨迹应该相交于一点，该一点即为待标定相机移动方向的灭点。如图4所示，4条直线交于一点，该点即为第一灭点。
但是由于误差的存在，所确定的多条特征点轨迹可能未相交于一点，作为一种实施方式：可以确定所述多条特征点轨迹的交点；若存在一个交点，则将所述一个交点确定为所述第一灭点；若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定所述第一灭点；若不存在误差点，则确定与所述多个交点的距离之和最小的点，作为所述第一灭点。
以图4为例来说，假设4条直线中有3条交于一点，则另一条直线(未相交于这一点的直线)与该3条直线的交点可以认为是误差点，剔除该误差点，将该3条直线的交点作为第一灭点。
或者，假设4条直线中两两相交，存在多个交点，其中一些交点距离较远，则可以将较远的交点作为误差点，剔除该误差点，确定与剩余交点的距离之和最小的点，作为第一灭点。
或者，假设4条直线中两两相交，存在多个交点，这些交点距离较均匀，则认为不存在误差点，确定与这些交点的距离之和最小的点，作为第一灭点。
S104：在该第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点。
本实施例中，确定两个方向的灭点，为了区分描述，将待标定相机移动方向的灭点称为第一灭点，将竖直方向的灭点称为第二灭点。
作为一种实施方式，可以在所获取的每帧图像中均确定竖直方向的灭点，或者，作为另一种实施方式，也可以在确定出第一灭点之后，仅在第一灭点所属的图像中，确定竖直方向的灭点。
竖直方向的灭点也就是竖直方向的直线的交点，该竖直方向是以世界坐标系为参考而言的，比如图5中，楼房的边线、电线杆所形成的直线等等，均为竖直方向的直线。
作为一种实施方式，S104可以包括：提取所述第一灭点所属的图像中的直线；根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；根据得到的竖直方向的直线组，确定所述第二灭点。
“根据得到的竖直方向的直线组，确定所述第二灭点”与“根据所述多条特征点轨迹，确定待标定相机移动方向的灭点”方式类似：理论上，所确定的多条竖直方向的直线应该相交于一点，该一点即为竖直方向的灭点。但是由于误差的存在，所确定的多条竖直方向的直线可能未相交于一点。
作为一种实施方式：可以确定多条竖直方向的直线的交点；若存在一个交点，则将该一个交点确定为第二灭点；若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定第二灭点；若不存在误差点，则确定与该多个交点的距离之和最小的点，作为第二灭点。
S105：利用预先得到的该待标定相机的内参及平移参数，根据该第一灭点和该第二灭点，计算该待标定相机的角度。
根据两个灭点，可以标定相机的角度。作为一种实施方式，S105可以包括：
以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；
根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；
根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；
对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
一般来说，相机的角度包括偏航角、滚转角和俯仰角，将偏航角记为θ，将滚转角记为ψ，将俯仰角记为φ；以这三个角度为未知量，构建所述待标定相机的旋转矩阵M：
Figure GDA0003167935960000131
A＝cosθcosψ+sinθsinφsinψ；
B＝sinθcosψ-cosθsinφsinψ；
C＝cosφsinψ；D＝-sinθcosφ；
E＝cosθcosφ；F＝sinφ；
G＝sinθsinφcosψ-cosθsinψ；
H＝-cosθsinφcosψ-sinθsinψ；
I＝cosφcosψ。
预先得到待标定相机的内参，其中包括横向焦距fu和纵向焦距fw，预先得到待标定相机的平移参数T，T可以理解为平移矩阵，T中包括的平移参量为(xc，yc，zc)，构建世界坐标系与图像坐标系之间的映射关系为：
Figure GDA0003167935960000132
其中，(up，wp)表示图像坐标系中像素点的坐标，(xp，yp，zp)表示世界坐标系中像素点的坐标。
在所述图像坐标系中，确定所述第一灭点VP1的坐标，作为第一图像坐标(uvp1，wvp1)，确定所述第二灭点VP2的坐标，作为第二图像坐标(uvp2，wvp2)；根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组。
第一方程组可以为：
Figure GDA0003167935960000141
第二方程组可以为：
Figure GDA0003167935960000142
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
应用本发明图1所示实施例，确定待标定相机移动方向的灭点，作为第一灭点，在第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的所述待标定相机的内参及平移参数，根据第一灭点和第二灭点，计算待标定相机的角度；可见，本方案中，并不需要确定相机在不同移动方向的灭点，而是确定相机移动方向的一个灭点和竖直方向的一个灭点，因此也就不需要控制车辆严格按照特定的角度进行转向行驶，提高了确定相机角度的准确度。
在现有一些方案中，确定相机角度时，需要特定标定场地，并且在标定场地中设置标定板；而本实施例中不需要特定标定场地以及标定板，而是在车辆行驶过程中，利用沿途景物进行标定，标定更方便。
在现有一些方案中，确定车载相机角度时，基于车道线确定相机角度，而本实施例中不需要检测车道线，而是在车辆行驶过程中，利用沿途景物进行标定，标定更方便。
图6为本发明实施例提供的相机角度确定方法的第二种流程示意图，包括：
S601：获取车载相机连续采集的多帧原始图像。
S602：对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像。
S603：在得到的一帧待处理图像中，提取多个特征点。
特征点可以为待处理图像中易被识别及跟踪的像素点，比如，指示牌角点、楼房边角、树杈交点，等等，具体不做限定。如图4所示，可以提取三个指示牌的左下角点、以及指示牌横杆与竖杆的交叉点作为特征点。
举例来说，可以在得到的第一帧待处理图像中，提取多个特征点，或者，也可以在得到的第N帧待处理图像中，提取多个特征点。
S604：针对每个特征点，根据车辆的行驶速度，在该一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在该出现区域中，查找与该特征点相匹配的像素点。
举例来说，车辆行驶速度可以为20-30km/h，这样，位于远方的特征点从进入车载相机视野的可分辨范围开始到离开车载相机视野，一般用时1-2秒，也就是说，可用于特征点跟踪的连续帧待处理图像的数量约为30帧，或者说，可以在约30帧连续的待处理图像中对特征点进行跟踪。
举例来说，可以利用Kanade-Lucas-Tomasi特征跟踪法，在所预测的特征点的出现区域内进行梯度式搜索。假设第Ii帧待处理图像与第Ii+1帧待处理图像为相邻两帧图像，这两帧之间的图像距离为d，则有：Ii+1(x)＝Ii(x+d)；
在Ii+1帧待处理图像中，预测特征点x的的出现区域为：
Figure GDA0003167935960000151
针对每个特征点，在该特征点出现区域内，利用局部搜索查找与该特征点相匹配的像素点，查找过程中可以使用牛顿拉夫逊法进行迭代处理，并进行平滑处理。
S605：根据该多个特征点对应的查找结果，得到多条特征点轨迹。
仍以图4为例来说，以三个指示牌的左下角点、以及指示牌横杆与竖杆的交叉点作为特征点，对这四个特征点进行跟踪，得到4条特征点轨迹，也就是图4中的4条直线。
S606：根据该多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点。
S607：在该第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点。
举例来说，S607可以包括：提取所述第一灭点所属的图像中的直线；根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；根据得到的竖直方向的直线组，确定所述第二灭点。
S608：利用预先得到的所述待标定相机的内参及平移参数，根据该第一灭点和该第二灭点，计算该车载相机的角度。
举例来说，S608可以包括：以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
具体的，所述根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组，可以包括：
在所述图像坐标系中，确定所述第一灭点的坐标，作为第一图像坐标，确定所述第二灭点的坐标，作为第二图像坐标；
根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组；
所述对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度，可以包括：
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
应用本发明图6所示实施例，确定待标定相机移动方向的灭点，作为第一灭点，在第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的所述待标定相机的内参及平移参数，根据第一灭点和第二灭点，计算待标定相机的角度；可见，本方案中，并不需要确定相机在不同移动方向的灭点，而是确定相机移动方向的一个灭点和竖直方向的一个灭点，因此也就不需要控制车辆严格按照特定的角度进行转向行驶，提高了确定相机角度的准确度。
在现有一些方案中，确定相机角度时，需要特定标定场地，并且在标定场地中设置标定板；而本实施例中不需要特定标定场地以及标定板，而是在车辆行驶过程中，利用沿途景物进行标定，标定更方便。
在现有一些方案中，确定车载相机角度时，基于车道线确定相机角度，而本实施例中不需要检测车道线，而是在车辆行驶过程中，利用沿途景物进行标定，标定更方便。
图7为本发明实施例提供的一种相机角度确定装置的结构示意图，包括：
获取模块701，用于获取连续多帧待处理图像；其中，所述待处理图像根据待标定相机采集的图像得到；
第一确定模块702，用于在所述连续多帧待处理图像中，确定多条特征点轨迹；
第二确定模块703，用于根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；
第三确定模块704，用于在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；
计算模块705，用于利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度。
作为一种实施方式，获取模块701，具体可以用于：
获取待标定相机连续采集的多帧原始图像；
对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像。
作为一种实施方式，第一确定模块702，可以包括：提取子模块和跟踪子模块(图中未示出)，其中，
提取子模块，用于在所获取的一帧待处理图像中，提取多个特征点；
跟踪子模块，用于在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹。
作为一种实施方式，所述提取子模块，具体可以用于：
在所获取的一帧待处理图像中，利用边缘检测算法，提取所述一帧待处理图像中的边缘点；
利用第一滤波算法，得到所述边缘点的曲率信息和锐度，根据所述曲率信息和锐度，确定法向突变角点；
利用第二滤波算法，在所述法向突变角点中，删除重复角点，将剩余的法向突变角点作为提取到的多个特征点。
作为一种实施方式，所述跟踪子模块，具体可以用于：
针对每个特征点，根据所述待标定相机的移动速度，在所述一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在所述出现区域中，查找与该特征点相匹配的像素点；
根据所述多个特征点对应的查找结果，得到多条特征点轨迹。
作为一种实施方式，第二确定模块703，具体可以用于：
确定所述多条特征点轨迹的交点；
若存在一个交点，则将所述一个交点确定为所述第一灭点；
若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定所述第一灭点；若不存在误差点，则确定与所述多个交点的距离之和最小的点，作为所述第一灭点。
作为一种实施方式，第三确定模块704，具体可以用于：
提取所述第一灭点所属的图像中的直线；
根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；
根据得到的竖直方向的直线组，确定所述第二灭点。
作为一种实施方式，计算模块705，可以包括：第一构建子模块、第二构建子模块、转换子模块和求解子模块(图中未示出)，其中，
第一构建子模块，用于以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；
第二构建子模块，用于根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；
转换子模块，用于根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；
求解子模块，用于对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
作为一种实施方式，所述转换子模块，具体可以用于：
在所述图像坐标系中，确定所述第一灭点的坐标，作为第一图像坐标，确定所述第二灭点的坐标，作为第二图像坐标；
根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组；
所述求解子模块，具体可以用于：
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
作为一种实施方式，所述待标定相机为车载相机，所述待标定相机移动方向为车辆行驶方向。
应用本发明图7所示实施例，确定待标定相机移动方向的灭点，作为第一灭点，在第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的所述待标定相机的内参及平移参数，根据第一灭点和第二灭点，计算待标定相机的角度；可见，本方案中，并不需要确定相机在不同移动方向的灭点，而是确定相机移动方向的一个灭点和竖直方向的一个灭点，因此也就不需要控制车辆严格按照特定的角度进行转向行驶，提高了确定相机角度的准确度。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801和存储器802，
存储器802，用于存放计算机程序；
处理器801，用于执行存储器802上所存放的程序时，实现上述任一种相机角度确定方法。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种相机角度确定方法。
本发明实施例还提供了一种相机角度确定系统，如图9所示，包括：待标定相机和处理设备；
所述待标定相机，用于采集图像，并将所采集的图像发送至所述处理设备；
所述处理设备，用于根据接收到的图像，得到连续多帧待处理图像；在所述连续多帧待处理图像中，确定多条特征点轨迹；根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度。
该处理设备还可以执行上述任一种相机角度确定方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于图7所示的相机角度确定装置实施例、图8所示的电子设备实施例、上述计算机可读存储介质实施例、图9所示的相机角度确定系统实施例而言，由于其基本相似于图1-图6所示的相机角度确定方法实施例，所以描述的比较简单，相关之处参见图1-图6所示的相机角度确定方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (21)

1.一种相机角度确定方法，其特征在于，包括：
获取连续多帧待处理图像；其中，所述待处理图像根据待标定相机采集的图像得到；
在所述连续多帧待处理图像中，确定多条特征点轨迹；
根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；
在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；
利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度；
其中，所述利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度，包括：
以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
2.根据权利要求1所述的方法，其特征在于，所述获取连续多帧待处理图像，包括：
获取待标定相机连续采集的多帧原始图像；
对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像。
3.根据权利要求1所述的方法，其特征在于，所述在所述连续多帧待处理图像中，确定多条特征点轨迹，包括：
在所获取的一帧待处理图像中，提取多个特征点；
在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹。
4.根据权利要求3所述的方法，其特征在于，所述在所获取的一帧待处理图像中，提取多个特征点，包括：
在所获取的一帧待处理图像中，利用边缘检测算法，提取所述一帧待处理图像中的边缘点；
利用第一滤波算法，得到所述边缘点的曲率信息和锐度，根据所述曲率信息和锐度，确定法向突变角点；
利用第二滤波算法，在所述法向突变角点中，删除重复角点，将剩余的法向突变角点作为提取到的多个特征点。
5.根据权利要求3所述的方法，其特征在于，所述在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹，包括：
针对每个特征点，根据所述待标定相机的移动速度，在所述一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在所述出现区域中，查找与该特征点相匹配的像素点；
根据所述多个特征点对应的查找结果，得到多条特征点轨迹。
6.根据权利要求1所述的方法，其特征在于，所述根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点，包括：
确定所述多条特征点轨迹的交点；
若存在一个交点，则将所述一个交点确定为所述第一灭点；
若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定所述第一灭点；若不存在误差点，则确定与所述多个交点的距离之和最小的点，作为所述第一灭点。
7.根据权利要求1所述的方法，其特征在于，在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点，包括：
提取所述第一灭点所属的图像中的直线；
根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；
根据得到的竖直方向的直线组，确定所述第二灭点。
8.根据权利要求1所述的方法，其特征在于，所述根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组，包括：
在所述图像坐标系中，确定所述第一灭点的坐标，作为第一图像坐标，确定所述第二灭点的坐标，作为第二图像坐标；
根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组；
所述对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度，包括：
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述待标定相机为车载相机，所述待标定相机移动方向为车辆行驶方向。
10.一种相机角度确定装置，其特征在于，包括：
获取模块，用于获取连续多帧待处理图像；其中，所述待处理图像根据待标定相机采集的图像得到；
第一确定模块，用于在所述连续多帧待处理图像中，确定多条特征点轨迹；
第二确定模块，用于根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；
第三确定模块，用于在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；
计算模块，用于利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度；
所述计算模块，包括：第一构建子模块，用于以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；第二构建子模块，用于根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；转换子模块，用于根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；求解子模块，用于对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
11.根据权利要求10所述的装置，其特征在于，所述获取模块，具体用于：
获取待标定相机连续采集的多帧原始图像；
对所获取的多帧原始图像进行畸变校正，得到多帧待处理图像。
12.根据权利要求10所述的装置，其特征在于，所述第一确定模块，包括：
提取子模块，用于在所获取的一帧待处理图像中，提取多个特征点；
跟踪子模块，用于在所述一帧待处理图像之后的待处理图像中，对所述多个特征点进行跟踪，得到多条特征点轨迹。
13.根据权利要求12所述的装置，其特征在于，所述提取子模块，具体用于：
在所获取的一帧待处理图像中，利用边缘检测算法，提取所述一帧待处理图像中的边缘点；
利用第一滤波算法，得到所述边缘点的曲率信息和锐度，根据所述曲率信息和锐度，确定法向突变角点；
利用第二滤波算法，在所述法向突变角点中，删除重复角点，将剩余的法向突变角点作为提取到的多个特征点。
14.根据权利要求12所述的装置，其特征在于，所述跟踪子模块，具体用于：
针对每个特征点，根据所述待标定相机的移动速度，在所述一帧待处理图像之后的待处理图像中，预测该特征点的出现区域；在所述出现区域中，查找与该特征点相匹配的像素点；
根据所述多个特征点对应的查找结果，得到多条特征点轨迹。
15.根据权利要求10所述的装置，其特征在于，所述第二确定模块，具体用于：
确定所述多条特征点轨迹的交点；
若存在一个交点，则将所述一个交点确定为所述第一灭点；
若存在多个交点，则判断所述多个交点中是否存在误差点：若存在误差点，则剔除所述误差点，并根据未被剔除的交点，确定所述第一灭点；若不存在误差点，则确定与所述多个交点的距离之和最小的点，作为所述第一灭点。
16.根据权利要求10所述的装置，其特征在于，所述第三确定模块，具体用于：
提取所述第一灭点所属的图像中的直线；
根据所提取的直线的方向，对所提取的直线进行聚类，得到不同方向的直线组；
根据得到的竖直方向的直线组，确定所述第二灭点。
17.根据权利要求10所述的装置，其特征在于，所述转换子模块，具体用于：
在所述图像坐标系中，确定所述第一灭点的坐标，作为第一图像坐标，确定所述第二灭点的坐标，作为第二图像坐标；
根据所述映射关系，将所述第一图像坐标转换至所述世界坐标系中，得到第一方程组；根据所述映射关系，将所述第二图像坐标转换至所述世界坐标系中，得到第二方程组；
所述求解子模块，具体用于：
对所述第二方程组进行求解，得到所述待标定相机的滚转角和俯仰角；
将所述滚转角和所述俯仰角代入所述第一方程组，得到第三方程组，对所述第三方程组进行求解，得到所述待标定相机的偏航角。
18.根据权利要求10-17任一项所述的装置，其特征在于，所述待标定相机为车载相机，所述待标定相机移动方向为车辆行驶方向。
19.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
21.一种相机角度确定系统，其特征在于，包括：待标定相机和处理设备；
所述待标定相机，用于采集图像，并将所采集的图像发送至所述处理设备；
所述处理设备，用于根据接收到的图像，得到连续多帧待处理图像；在所述连续多帧待处理图像中，确定多条特征点轨迹；根据所述多条特征点轨迹，确定待标定相机移动方向的灭点，作为第一灭点；在所述第一灭点所属的图像中，确定竖直方向的灭点，作为第二灭点；利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度；
其中，所述利用预先得到的所述待标定相机的内参及平移参数，根据所述第一灭点和所述第二灭点，计算所述待标定相机的角度，包括：
以所述待标定相机的角度为未知量，构建所述待标定相机的旋转矩阵；根据预先得到的所述待标定相机的内参及平移参数、以及所述旋转矩阵，构建世界坐标系与图像坐标系之间的映射关系，所述映射关系中包括所述未知量；根据所述映射关系，将所述第一灭点和所述第二灭点转换至世界坐标系，得到第一方程组和第二方程组；对所述第一方程组和第二方程组进行求解，得到所述待标定相机的角度。
CN201810257208.XA 2018-03-27 2018-03-27 一种相机角度确定方法、装置、设备及系统 Active CN110310335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810257208.XA CN110310335B (zh) 2018-03-27 2018-03-27 一种相机角度确定方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810257208.XA CN110310335B (zh) 2018-03-27 2018-03-27 一种相机角度确定方法、装置、设备及系统

Publications (2)

Publication Number Publication Date
CN110310335A CN110310335A (zh) 2019-10-08
CN110310335B true CN110310335B (zh) 2021-11-05

Family

ID=68073566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810257208.XA Active CN110310335B (zh) 2018-03-27 2018-03-27 一种相机角度确定方法、装置、设备及系统

Country Status (1)

Country Link
CN (1) CN110310335B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160101A1 (zh) * 2021-01-26 2022-08-04 深圳市大疆创新科技有限公司 朝向估计方法、装置、可移动平台及可读存储介质
CN113313768B (zh) * 2021-05-27 2023-06-20 华南理工大学 基于两个灭点和局部物体尺度的全局空间尺度测量方法
CN117315048B (zh) * 2023-11-22 2024-04-12 深圳元戎启行科技有限公司 车载相机的外参自标定方法、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894366A (zh) * 2009-05-21 2010-11-24 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN104143192A (zh) * 2014-08-06 2014-11-12 中电海康集团有限公司 一种车道偏离预警系统的标定方法及其装置
CN105513056A (zh) * 2015-11-30 2016-04-20 天津津航技术物理研究所 车载单目红外相机外参自动标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894366A (zh) * 2009-05-21 2010-11-24 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN104143192A (zh) * 2014-08-06 2014-11-12 中电海康集团有限公司 一种车道偏离预警系统的标定方法及其装置
CN105513056A (zh) * 2015-11-30 2016-04-20 天津津航技术物理研究所 车载单目红外相机外参自动标定方法

Also Published As

Publication number Publication date
CN110310335A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
EP3007099B1 (en) Image recognition system for a vehicle and corresponding method
US11205284B2 (en) Vehicle-mounted camera pose estimation method, apparatus, and system, and electronic device
CN110310335B (zh) 一种相机角度确定方法、装置、设备及系统
CN109035292B (zh) 基于深度学习的运动目标检测方法及装置
CN109543493B (zh) 一种车道线的检测方法、装置及电子设备
CN105608667A (zh) 一种全景拼接的方法及装置
CN108256445B (zh) 车道线检测方法及系统
CN104820965A (zh) 一种低空无人机影像无地理编码快速拼接方法
CN110088766B (zh) 车道线识别方法、车道线识别装置以及非易失性存储介质
CN109325913B (zh) 无人机图像拼接方法及装置
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN105678722A (zh) 一种全景拼接图像弯曲矫正方法及装置
CN111444778A (zh) 一种车道线检测方法
DE102019208216A1 (de) Detektion, 3D-Rekonstruktion und Nachverfolgung von mehreren relativ zueinander bewegten starren Objekten
CN113205447A (zh) 用于车道线识别的道路图片标注方法和装置
Aeschliman et al. Tracking vehicles through shadows and occlusions in wide-area aerial video
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
Hernández et al. Lane marking detection using image features and line fitting model
CN112446353B (zh) 基于深度卷积神经网络的视频图像道线检测方法
CN111488762A (zh) 一种车道级定位方法、装置及定位设备
CN111275765A (zh) 一种确定目标gps的方法、装置及摄像机
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant