CN114391157A - 估计相机相对于地面的方位的装置和方法 - Google Patents
估计相机相对于地面的方位的装置和方法 Download PDFInfo
- Publication number
- CN114391157A CN114391157A CN202180000643.4A CN202180000643A CN114391157A CN 114391157 A CN114391157 A CN 114391157A CN 202180000643 A CN202180000643 A CN 202180000643A CN 114391157 A CN114391157 A CN 114391157A
- Authority
- CN
- China
- Prior art keywords
- camera
- orientation
- map
- uncertainty
- line segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100460702 Aspergillus sp. (strain MF297-2) notH gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
- G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
一种迭代式多图像相机方位估计，包括：拍摄相机前的场景的图像；检测场景中的线段；通过旋转相机的X‑Y‑Z坐标系以使其与正面、横向和垂直正交方向中的至少两个方向上的线段最佳对齐，从而最大化似然目标，来计算最大似然(ML)相机方位；估计使后验目标最大化的最大后验(MAP)相机方位，以使MAP相机方位是介于先验相机方位和ML相机方位之间的最优值，且更接近不确定性较小的那一个；对多图像相机方位估计进行迭代，其先验相机方位及其对应的先验相机方位不确定性分别设置为计算出的MAP相机方位及其对应的不确定性，直到该不确定性低于阈值为止。
Description
相关申请
本申请是2020年8月12日提交的美国申请16/992,088的部分延续申请，其公开内容通过引用全部合并于此。
技术领域
本发明涉及估计相机相对于地面的方位的领域。更具体地，本发明特别涉及通过利用正交消失点的特性来分析感测结构而自动估计相机方位的技术。
背景技术
机器视觉在商业和工业用途中已经引起了很多关注，例如基于成像的生产和物流自动化分析。在许多基于机器视觉的应用中，相机定位起着重要角色；即，为了从二维(2D)图像或视频帧的测量中获得三维(3D)空间中的真实度量单位，这是必需的。例如，在车辆导航中，检测车辆何时离开地面上的车道标记的车道偏离检测需要知道相机相对于地面的方位。在将相机安装到车辆上之后，可以通过手动校准程序知道相机的方位，尤其是俯仰角和列角。但是，对于一个车队，例如工厂中的自动导引车辆(automatic guided vehicle，AGV)车队，在每辆AGV进行这种重复的手动校准既麻烦又容易出错。此外，长时间使用后，相机的方位通常会因急刹车、突然加速、相机无意中移动等原因而发生偏移。
可以从单个图像估计相机方位。例如，在垂直结构清晰可见的情况下，其垂直消失线表示相机相对于地面的方位。但是，在许多实际情况下，在拍摄的图像中没有垂直结构时，不可能获得垂直消失点来估计地平面。因此，本技术领域需要一种新的估计相机方位的方法，以解决依赖于垂直消失点的估计方法的缺点。
美国申请16/992,088公开了一种从拍摄的场景图像中地平面的确定来估计前置相机的相机方位的方法。该方法包括使用叠加在图像上的虚拟可旋转立方体确定图像中的地平面，以使虚拟立方体的方向与图像中的线段组最匹配。然后可以从虚拟立方体的正交消失点来估计地平面。但是，在某些情况下，此方法在地平面估计中存在精度不足的问题，因为虚拟立方体方向的不确定性可能会非常高，图像中正交距离测量的精度会不足。因此，在高精度机器视觉应用中需要更好的技术。
发明内容
本发明提供了一种用于估计相机相对于地面的方位的方法和装置。本发明的目的是提供一种能够实现高精度相机方位估计的方法和装置。在相机在平坦地面上四处移动的应用中，例如安装在AGV或移动机器人上的相机，通过结合来自多个连续视频帧或图像的地面估计结果，可以获得更精确的地平面估计，从而使相机方位估计的准确性更高。本发明的目的是提供这样的方法和设备，用于在计算中结合来自多个连续视频帧或图像的地平面估计结果，以考虑与每个地平面估计结果相关的估计不确定性。
根据本发明的各种实施例，该方法包括如下步骤。拍摄并记录前置相机前的场景的第一图像(或视频文件/数据流的第一帧)。从第一图像中检测出多个线段。该多个2D线段被分类并分组为第一、第二和第三正交方向线段组。第一、第二和第三正交方向线段组中的线段可分别视为大致指向正面方向、横向方向和垂直方向。
在一个实施例中，线段的分类和分组包括在第一图像上叠加第一虚拟立方体，该第一虚拟立方体具有在随机或最佳猜测3D方向上的三个正交消失点。正交方向分类器通过比较第一虚拟立方体的三个正交消失点中的每一个与每个检测到的线段之间的垂直距离，并根据三个垂直距离中的最短距离确定该线段属于哪个组，来对第一图像的线段进行分类和分组。
在另一个实施例中，线段的分类和分组包括将对应于相机的初始方位的3D x轴、y轴和z轴无限远点投影到第一图像上，以获得第一图像中场景的X、Y和Z方向上相应的三个2D正交消失点。相机的初始方位可以从相机的校准(或固有)矩阵、最佳猜测方位、随机设置的方位或使用方位传感器的测量中获得。
然后，正交方向分类器将第一图像的线段分类并将其分组为正面线段组、横向线段组、垂直线段组，其中正面线段组包含与其他消失点相比，与X消失点的垂直距离最短的线段；横向线段组包含与其他消失点相比，与Y消失点的垂直距离最短的线段；垂直线段组包含与其他消失点相比，与Z消失点的垂直距离最短的线段。
本领域普通技术人员也可以在不进行过多实验的情况下采用其他技术对图像中的场景中检测到的线段进行分类和分组。其中一种技术在Xiaohu Lu等人，“2-LineExhaustive Searching for Real-Time Vanishing Point Estimation in ManhattanWorld”，2017IEEE Winter Conference on Applications of Computer Vision(WACV)，IEEE，2017中进行了描述；该技术的内容通过引用全部纳入本文。
在将线段进行分类和分组的情况下，通过考虑先验相机方位及其相应的先验相机方位不确定性，以及最大似然(maximum likelihood，ML)相机方位及其相应的ML相机方位不确定性，进行最大后验(maximum a-posteriori，MAP)相机方位估计，以获得MAP相机方位。其中ML相机方位是通过获取相机的校准矩阵并通过旋转相机方位下的X-Y-Z坐标系以使其在三个正交方向中的至少两个方向上与2D线段最佳对齐来计算的。
然后，MAP相机方位估计将后验目标最大化，使得MAP相机方位被计算为等于一个最优值，该最优值是介于ML相机方位和先验相机方位之间的值，且更接近于不确定性较小的值。
该过程步骤在前置相机前的场景的第二图像(或视频文件/数据流的第二帧)上进行迭代，其先验相机方位及其对应的先验相机方位不确定性分别设置为所计算出的MAP相机方位及其对应的MAP相机方位不确定性。至于在第一图像上的MAP相机方位估计中使用的先验相机方位及其对应的先验相机方位不确定性，则使用最佳猜测或随机相机方位及其对应的相机方位不确定性。
步骤的迭代在每个后续图像(或视频文件/数据流的后续帧)上继续进行，并在每次迭代中计算估计的MAP相机方位及其对应的MAP相机方位不确定性，直到发现MAP相机方位不确定性低于MAP相机方位不确定性阈值。最后，利用发现低于MAP相机方位不确定性阈值的那个MAP相机方位不确定性对应的估计MAP相机方位，计算出相机前的场景的地面法线矢量。
根据本发明的应用，一种用于引导具有前置相机的自动驾驶车辆的方法包括：根据本发明各个实施例执行用于估计前置相机的相机方位的方法。根据估计的相机方位来确定自动驾驶车辆的运动。
根据本发明的另一个应用，提供了一种远程处理服务器，用于估计支持机器视觉的自动导引车辆(AGV)或移动机器人的前置相机的相机方位。远程处理服务器与AGV或移动机器人进行数据通信，并被配置以接收前置相机拍摄的视频文件/数据流，以便执行本发明各个实施例的估算前置相机方位的方法。
本领域的普通技术人员将理解，本发明实施例还可以适用和应用于除自动驾驶车辆、AGV和移动机器人之外的各种应用中和各种条件下；例如，自助停车和辅助停车系统、个人交通设备、以及各种室内和室外的家用、商用和工业机器人系统。
附图说明
以下参考附图更详细地描述本发明的实施例，其中：
图1是与远程处理服务器通信的自动导引车辆(AGV)的示例性实施例的示意图；
图2显示真实世界的场景图像以及机器视觉应用所看到/感知的图像；
图3显示另一真实世界场景图像以及机器视觉应用所看到/感知的图像；
图4描述本发明各个实施例的用于估计相机方位的方法的流程图；
图5A和图5B显示一个示例性的“似然”和“先验”高斯概率密度函数以及“后验”乘积函数，说明了根据本发明实施例的用于估计相机方位的最大后验方法中使用的贝叶斯定理；
图6显示相机方位估计中的最大后验方法的流程图；
图7显示根据本发明各个实施例的正交消失点与线段之间的垂直距离的计算。
具体实施方式
在下面的描述中，作为优选的例子，阐述了通过利用正交消失点的特性来估计相机相对于地面的方位的方法和装置。对于本领域技术人员将显而易见的是，在不脱离本发明的范围和精神的情况下，可以进行包括增加和/或替换的修改。省略了某些具体细节，以免模糊本发明。然而，本公开内容是为了使本领域技术人员能够在不进行过多实验的情况下实践本发明教导。
在本公开中，机器视觉感知的2D和3D空间几何形状，例如点和线，用投影空间坐标来表示。下面列出了本公开中的数学符号的定义：
二维投影空间
中的点p表示为三维向量
其在二维欧几里得空间
中的坐标是
当且仅当pTl＝0，点p在
中的线l上，因为au+bv+ck＝0是一个直线方程；
aT代表a的转置，而aTb代表两个向量a和b之间的点积。
如果
中的H将点从p转换为p'＝Hp，则将线从l转换为l′＝H-Tl。
A-T表示矩阵A-1的转置，而A-1表示矩阵A的逆。
三维
中的点为P＝(X,Y,Z)。在针孔相机模型下，将针孔相机拍摄的图像建模为二维
中的点p＝KP，其中K是
中的投影变换。
K也称为相机校准(或固有)矩阵，它通过
对相机的焦距f和主点(px,py)进行编码，以使
中点P＝(X,Y,Z)成像为
中的点
和
相机校准矩阵K可以通过一些手动校准程序找到。
参考图1，AGV 100包括车身110、前置相机120以及位于车身110中的控制和通信电路130。车身110有诸如车轮112的移动机构，以沿着箭头前进。前置相机120安装在车身110的前侧，以便拍摄AGV 100前方的场景并将其记录成视频文件/数据流。控制和通信电路130与前置相机120电连接，并配置成从前置相机120接收视频文件/数据流。控制和通信电路130通过无线链路与远程处理服务器150通信，用于将视频文件/数据流上传到远程处理服务器150以及从远程处理服务器150下载指令。其中，指令包括用于AGV移动或动作(例如直行、右转/左转、返回充电站、关闭等)的控制命令。远程处理服务器150被配置成在处理视频文件/数据流时执行AGV的机器视觉应用。在一个实施例中，在工厂、仓库或配送中心布置了一组多辆AGV 100，远程处理服务器150负责协调该组AGV执行自动化的大范围操作，例如在生产装配中运输产品部件，以及运送货物和包裹以进行交货。
在实际情况下，在AGV 100的运行过程中，遇到的某些情况可能导致计算问题，从而导致AGV 100无法运行。例如，如图2所示，左图像是真实世界的场景图像，右图像是在一个AGV 100中实现的机器视觉应用所看到/感知的图像，两者之间的区别在于右图像显示了从真实世界场景图像中检测到的线段200。为了估计相机的方位，通常需要Z平面消失点(VP)或地平面。但是，在右图中，Z平面VP非常接近无限远(Infinity)，因为Z方向的线段几乎相互平行。在这种情况下，很难将Z平面VP估计应用于前置相机。
进一步地，如图3所示，左图是真实世界的场景图像，右图是在一个AGV 100中实现的机器视觉应用所看到/感知的图像，两者之间的区别在于右图显示了从真实世界场景图像中检测到的线段200。可以注意到，从现实世界场景图像中未检测到Z方向线段。在这方面，即使真实世界场景图像中的地平面对于人类来说是清晰可见的，但由于没有线段穿过Z平面VP，因此机器视觉应用无法估计该地平面。也就是说，当现实世界场景图像中没有垂直构造时，几乎不可能估计出目标的地平面。
参照图4中描绘的流程图，根据本发明的一个实施例，提供了一种高精度估计相机方位的方法。该方法包括步骤S10-S60，这些步骤可以由如图1所示的AVG 100和/或远程处理服务器150的特定配置实现的机器视觉应用采用。
在步骤S10，AVG 100的前置相机120拍摄眼前的真实世界场景时生成视频文件/数据流，并通过无线通信将其传输到远程处理服务器150。该视频文件/数据流包含多个连续图像的视频帧。
在步骤S20，远程处理服务器150从视频文件/数据流中提取一个当前视频帧/图像。该视频帧/图像是静态的，并且反映了真实世界场景(即图2或图3中的左图像)。
在步骤S30，由远程处理服务器150对当前视频帧/图像中的线段进行检测，从而在视频帧/图像上生成线段(即图2或图3中的右图像)。在一实施例中，线段的产生应用了Canny边缘检测和统计Hough变换。更具体地说，将RGB设置中的视频帧/图像转换为仅包含0和1的2D阵列，然后对该2D阵列应用Canny边缘检测。之后，通过使用统计Hough变换从2D阵列中检测出线段，从而获得线段在视频帧/图像上的位置。上述线段的检测只是一个示例性的实施例，本领域普通技术人员可以很容易地采用本领域现有的任何其他线段检测技术。
在步骤S40，将步骤S30中检测到的线段进行分类和分组，分为三个正交方向，例如X、Y和Z方向。在一个实施例中，线段的分类和分组包括将一个虚拟立方体叠加在当前视频帧/图像上，该虚拟立方体具有在随机或最佳猜测3D方向上的三个正交消失点。正交方向分类器对视频帧/图像的线段进行分类和分组，将第一虚拟立方体的三个正交消失点中的每个正交点与每个检测到的线段之间的垂直距离进行比较，并根据三个垂直距离中的最短距离确定该线段属于哪一组。本实施例的对线段进行分类和分组的详情见美国专利申请16/992,088。
在另一个实施例中，线段的分类和分组包括：将对应于相机初始方向的3D x轴、y轴和z轴无限远点投影到第一图像上，以获得X、Y和Z方向上相应的的三个2D正交消失点。相机的初始方位可以从相机的校准(或固有)矩阵、最佳猜测方位或随机方位中获得。
然后，正交方向分类器对第一图像的线段分类，并将其分组为正面线段组(frontal line segment group)、横向线段组(lateral line segment group)、垂直线段组(vertical line segment group)，正面线段组包含与其他消失点相比与X消失点的垂直距离最短的线段；横向线段组包含与其他消失点相比与Y消失点的垂直距离最短的线段；垂直线段组包含与其他消失点相比与Z消失点的垂直距离最短的线段。
在步骤S50，通过考虑先验(priori)相机方位及其相应的先验相机方位不确定性以及最大似然(ML)相机方位及其最大似然(ML)相机方位不确定性，进行最大后验(MAP)相机方位估计，以获得MAP相机方位。其中，ML相机的方位是通过获取相机的校准矩阵并通过旋转相机的3D X-Y-Z坐标系以使其在三个正交方向中的至少两个方向上与2D线段最佳对齐来计算的。
然后，MAP相机方位估计将后验目标最大化，使得计算出的MAP相机方位等于一个最优值，该最优值是介于ML相机方位和先验相机方位之间的值，并且更接近不确定性较小的那一个。
在步骤S60，将MAP相机方位不确定性与MAP相机方位不确定性阈值进行比较；如果MAP相机方位不确定性高于阈值，则重复处理步骤S20至S50，将视频文件/数据流的后续视频帧/图像的先验相机方位及其对应的先验相机方位不确定性分别设置为计算出的MAP相机方位及其对应的MAP相机方位不确定性。至于在第一图像上的MAP相机方位估计中使用的先验相机方位及其对应的先验相机方位不确定性，则使用最佳猜测或随机相机方位及其对应的相机方位不确定性。
步骤S20至S50的迭代在视频文件/数据流的每个后续视频帧/图像上继续进行，以计算每次迭代中估计的MAP相机方位及其对应的MAP相机方位不确定性，直到发现MAP相机方位不确定性等于或低于预定的MAP相机方位不确定性阈值。
最后，在步骤S70，将发现的等于或低于预定的MAP相机方位不确定性阈值的MAP相机方位不确定性相对应的MAP相机方位作为相机方位估计结果。同样，通过求解，计算出相机前的场景的地面法向量n：
n＝R*[0,0,1]T；其中R*是所得的估计相机方位旋转矩阵。
根据一个实施例，MAP相机方位估计基于贝叶斯定理，该定理结合先验相机方位(在上一次估计迭代中的相机方位估计结果)R0和当前视频帧或图像的ML相机方位RML，通过最大化后验概率来寻找最佳相机方位R*，该概率可以通过以下方式表示：
Pr(R)＝Pr(当前帧或图像|R)×Pr(R|前一帧或图像)；
其中R是被估计的相机方位；
Pr(当前帧或图像|R)是“似然”项，它是一个高斯概率密度函数，在R＝RML时达到最大值，其协方差是当前视频或图像的ML相机方位不确定性；
Pr(R|前一帧或图像)是“先验”项，它是一个高斯概率密度函数，在R＝R0时达到最大值，其协方差是先验相机方位不确定性；
Pr(R)是“后验”项，它是两个高斯概率密度函数的乘积，因此与高斯概率密度函数成正比，其最大值(R＝R*)在RML和R0之间，取决于高斯概率密度函数的协方差(ML相机方位不确定性和先验相机方位不确定性)。为了进一步说明，图5A显示了“似然”、“先验”和“后验”项的函数，其中“先验”具有较大的不确定性，因此R*更接近于RML；图5B显示了“似然”、“先验”和“后验”项的函数，其中“似然”具有较大的不确定性，因此R*更接近于R0。然后，找到的最佳相机方位R*就是当前迭代中估计的MAP相机方位，其相应的不确定性是Pr(R)的协方差。
参见图6中描绘的流程图，根据本发明的一个实施例，提供了一种MAP相机方位估计的方法。该方法包括步骤P10-P60，其可以由如图1所示的AGV 100和/或远程处理服务器150的特定配置实现的机器视觉应用所采用。
在步骤P10，首先将估计的相机方位的旋转矩阵R初始化为等于先验相机方位(最后一个视频帧/图像上的最后相机方位估计中的相机方位估计结果)的旋转矩阵R0；即：R＝R0，其中R和R0均为旋转矩阵。注意，相机方位也可以用欧拉角表示法来表示，它是一个三元素的向量，表示为Φ。
在步骤P20，相机方位不确定性，可以由协方差矩阵∑Φ表示，被初始化为等于先验相机方位不确定性，其可以由协方差矩阵
表示。其中Φ0是相对于R0定义的极小欧拉角，对R进行扰动。
在步骤P30，计算由相机方位旋转矩阵R得到的相机方位下的X-Y-Z坐标系的X，Y和Z方向上的正交消失点，分别为vx、vy和vz。
在步骤P40，将正交消失点vx、vy和vz投影到当前视频帧/图像上；测量从正面线段组中的每条线lxi到vx的垂直距离δxi；测量从横向线段组中每条线lyi至vy的垂直距离δyi；并测量从垂直线段组中每条线lzi到vz的垂直距离δzi。图7显示了前述测量。测量完成后，所得到的δxi、δyi和δzi可以用相机方位旋转矩阵R定义为：
进一步定义：δi∈{δxi,δyi,δzi},li∈{lxi,lyi,lzi}，K是相机的校准矩阵。
为了找到使“后验”项Pr(Φ|∑δi)最大化的最佳相机方位R*，首先将总误差项∑δi在当前相机方位上对Φ进行线性化，计算出使“似然”项Pr(∑δi|Φ)最大化的ΦML。也可以表示为，通过对
求解Φ，可以找到“似然”项的最大值，其中
是关于当前Φ附近的相机方位的总误差的线性变化率，E(Φ)＝∑δi。利用不确定性传播原理，可以从像素噪声Σg计算出由协方差矩阵
表示的ΦML中的不确定性，其中Σg是用户定义的线段两端像素噪声的协方差矩阵。然后，使用ΦML，
先验Φ0和先验
中的不确定性，利用高斯变量的贝叶斯定理来计算使“后验”项最大化的ΔΦMAP。该定理还计算出由协方差矩阵
表示的ΔΦMAP中的不确定性。接下来，将当前相机方位旋转ΔΦMAP表示的量，得到新的相机方向矩阵R。由于线性化过程中引入的近似误差，这个新的R可能是也可能不是最大化“后验”项的真值。因此，该过程从∑δi的线性化开始再次重复，但在新R的附近进行。随着足够的迭代，R接近使“后验”项最大化的真值，ΔΦMAP表示的量越来越接近于零。最后，最佳相机方位R*＝R，相机方位R*的不确定性是最后一次迭代计算得出的
在步骤P50，根据R、Φ0、
和δi计算出旋转量ΔΦMAP，以使当前相机位R应旋转ΔΦMAP以达到R*，可以表示为：其中，相机旋转量ΔΦMAP的计算包括以下子步骤：
子步骤I：通过求解[Φ0]×＝ln R0，由R0计算出Φ0；通过对先验相机方位不确定性
的伪逆，计算出先验相机方位的精度，其可以表示为：
子步骤II：计算ΦML，以使
的变化率为0，即
其中
通过求解以下中间表达式，其间还计算
子步骤III：计算相机的旋转ΔΦMAP，以通过求解以下中间表达式，使ΦML和Φ0之间的“后验”最大化，其间还计算
其中：
li表示线段i，即两个端点(pi,qi)和(ui,vi)之间的li＝(pi,qi,1)×(ui,vi,1)；
K是相机的校准矩阵；和
Σg是用户定义的线段li两端的像素噪声协方差。
在步骤P60，将相机方位X-Y-Z坐标系旋转ΔΦMAP，即当前相机方位旋转矩阵R被ΔΦMAP扰动，或通过
R更新，可以表示为：
在步骤P70，通过ΔΦMAP的协方差更新相机方位不确定性，即
如果‖ΔΦMAP‖非常接近于0或小于预定的相机旋转阈值，则进入步骤P80；否则，重复步骤P30至P70。
在步骤P80，发现最佳相机方位R*是当前相机方位，即R*←R，所估计的MAP相机方位是最佳相机方位。
尽管本发明的以上描述仅涉及地面AGV，但是本领域普通技术人员可以容易地将本发明各种实施例改编和应用到其他机器视觉应用中，例如空中和海上无人机，而不需要进行过多的实验或偏离本发明精神。
本文所公开的电子实施例可以使用计算设备、计算机处理器或电子电路来实现，包括但不限于专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及根据本公开的教导而配置或编程的其他可编程逻辑装置。在计算设备、计算机处理器或可编程逻辑装置中运行的计算机指令或软件代码可以由软件或电子领域的技术人员基于本公开的教导容易地准备。
全部或部分电子实施例可以在一个或多个计算设备中执行，所述计算设备包括服务器计算机、个人计算机、膝上型计算机、移动计算设备，如智能电话和平板计算机。
电子实施例包括其中存储有计算机指令或软件代码的计算机存储介质，该计算机指令或软件代码可用于对计算机或微处理器进行编程以执行本发明的任何过程。存储介质可以包括但不限于软盘、光盘、蓝光光盘、DVD、CD-ROM和磁光盘、ROM、RAM、闪存设备或适合存储指令、代码和/或数据任何类型的介质或设备。
本发明各种实施例也可以在分布式计算环境和/或云计算环境中实现，其中，机器指令的全部或部分由通过通信网络互连的一个或多个处理设备以分布式方式执行，所述通信网络包括如内联网、广域网(WAN)、局域网(LAN)、互联网和其他形式的数据传输介质。
为了说明和描述的目的，已经提供了本发明的前述描述。其并非旨在穷举或将本发明限制为所公开的精确形式。许多修改和变化对本领域技术人员而言是显而易见的。
选择和描述的实施例是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例以及具有适合于所设想的特定用途的各种修改。
Claims (10)
1.一种估计相机相对于地面的相机方位的方法，包括：
用所述相机的最佳猜测或随机相机方位来初始化先验相机方位及其对应的先验相机方位不确定性；
执行迭代的多图像相机方位估计，包括：
拍摄新的图像或从所述相机前的场景的视频中提取新的视频帧；
在所述图像或视频帧中的场景中检测一个或多个线段；
将所述图像或视频帧的线段分类并分组为正面、横向和垂直线段组；
通过获取所述相机的校准矩阵并通过旋转所述相机方位下的X-Y-Z坐标系以使其在所述正面、横向、垂直正交方向中的至少两个方向上与所述线段最佳对齐，来计算一个最大似然(ML)相机方位；
估计使后验目标最大化的最大后验(MAP)相机方位，使得所述MAP相机方位是介于所述先验相机方位和所述ML相机方位之间的最优值，并且更接近不确定性较小的那一个；
将所述MAP相机方位与预定的MAP相机方位不确定性进行比较；
如果所述MAP相机方位不确定性高于所述MAP相机方位不确定性阈值，则将所述先验相机方位及其对应的先验相机方位不确定性分别设置为所述计算出的MAP相机方位及其对应的MAP相机方位不确定性，对所述多图像相机方位估计进行迭代；和
如果所述MAP相机方位不确定性等于或小于所述MAP相机方位不确定性阈值，则将对应于所述MAP相机方位不确定性等于或小于所述MAP相机方位不确定性阈值的所述MAP相机方位作为相机方位估计方法结果。
2.根据权利要求1所述的方法，其中将所述图像或视频帧的线段分类并分组为正面、横向、垂直线段组包括：
将对应于相机的初始方位的三维(3D)x轴无限远点、3Dy轴无限远点和3D z轴无限远点投影到所述图像或视频帧上，以获得所述图像或视频帧中场景的二维(2D)X方向正交消失点、2D Y方向正交消失点、和2DZ方向正交消失点；
将所述线段分类并分组为正面线段组、横向线段组、垂直线段组，所述正面线段组包含与其他消失点相比，与所述X方向正交消失点的垂直距离最短的线段；所述横向线段组包含与其他消失点相比，与所述Y方向正交消失点的垂直距离最短的线段；所述垂直线段组包含与其他消失点相比，与所述Z方向正交消失点的垂直距离最短的线段；
其中，所述相机的初始方位是从所述相机的校准矩阵、最佳猜测方向、随机设置的方位或使用方位传感器的测量值获得的。
3.根据权利要求1所述的方法，其中所述MAP相机方位估计包括：
将当前估计的相机方位旋转矩阵初始化为所述先验相机方位的先验相机方位旋转矩阵；
将当前估计的相机方位不确定性初始化为所述先验相机方位的先验相机方位不确定性；
执行迭代的后验目标最大化，包括：
计算在所述当前估计的相机方位下的X-Y-Z坐标系的X方向正交消失点、Y方向正交消失点和Z方向正交消失点；
将所述X方向正交消失点、Y方向正交消失点和Z方向正交消失点投影到所述图像或视频帧上；
测量所述正面线段组中的每个线段与所述X方向正交消失点之间的垂直距离、所述横向线段组中的每个线段与所述Y方向正交消失点之间的垂直距离、以及所述垂直线段组中的每个线段和所述Z方向正交消失点之间的垂直距离；
从所述当前估计的相机方位旋转矩阵、当前估计的相机方位不确定性和所述垂直距离，计算出用于旋转的相机旋转欧拉角，以使所述后验目标最大化；
通过由所述相机旋转欧拉角的扰动来更新所述当前估计的相机方位旋转矩阵；
通过将当前估计的相机方位不确定性设置为所述相机旋转欧拉角的协方差来更新当前估计的相机方向不确定性；以及
如果所述相机旋转欧拉角大于预定的相机旋转阈值，则迭代所述后验目标最大化；
如果所述相机旋转欧拉角等于或小于所述相机旋转阈值，则输出所述当前估计的相机方位作为所述MAP相机方位，并输出所述当前估计的相机方位不确定性作为所述MAP相机方位不确定性。
4.根据权利要求3所述的方法，其中所述相机旋转欧拉角的计算包括：
通过求解[Φ0]×＝ln R0，从R0计算Φ0；
通过对所述先验相机方位不确定性
进行伪逆运算，计算出所述先验相机方位的精度
即
通过求解
b，计算Φ，使
的变化率为0，其中
其中：
通过求解
计算所述相机旋转的欧拉角ΔΦMAP，其中：
li表示线段i，即两个端点(pi,qi)和(ui,vi)之间的li＝(pi,qi,1)×(ui,vi,1)；
K是所述相机的校准矩阵；
Σg是用户定义的线段li两端的像素噪声协方差。
5.根据权利要求1所述的方法，还包括：通过求解n＝R*[0,0,1]T来计算所述相机前的场景的地平面法线向量n；其中R*是所述相机方位估计方法结果的旋转矩阵。
6.根据权利要求1所述的方法，其中在所述图像或视频帧中的场景中检测一个或多个线段包括：
使用Canny边缘检测将所述图像或视频帧转换为仅包含0和1的2D阵列；
使用统计Hough变换从所述2D阵列中检测所述线段。
7.一种用于导引具有前置相机的车辆或移动机器人的方法，包括：
执行权利要求1所述的估计前置相机的相机方位的方法；
根据所述估计的相机方位，由远程处理服务器控制所述车辆或移动机器人的运动。
8.一种用于估计自动导引车辆(AGV)或移动机器人的前置相机的相机方位的远程处理服务器，包括：
与所述AGV或移动机器人进行数据通信的处理器；
其中所述处理器被配置以从所述AGV或所述移动机器人接收视频文件或数据流，并关于所述AGV或所述移动机器人的所述前置相机执行权利要求1所述的估计相机方位的方法。
9.一种自动导引车辆(AGV)，包括：
安装在所述AGV车体前侧的前置相机，其被配置以拍摄所述AGV前的场景；
处理器，其被配置以从所述前置相机接收视频文件或数据流，并关于所述AGV的所述前置相机执行权利要求1所述的估计相机方位的方法。
10.一种移动机器人，包括：
安装在所述移动机器人前侧的前置相机，其被配置以拍摄所述移动机器人前的场景；
处理器，其被配置以从所述前置相机接收视频文件或数据流，并关于所述移动机器人的所述前置相机执行权利要求1所述的估计相机方位的方法。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/992,088 | 2020-08-12 | ||
| US16/992,088 US11348277B2 (en) | 2020-08-12 | 2020-08-12 | Apparatus and method for estimating camera orientation relative to ground surface |
| US17/197,069 US12002235B2 (en) | 2020-08-12 | 2021-03-10 | Apparatus and method for estimating camera orientation relative to ground surface |
| US17/197,069 | 2021-03-10 | ||
| PCT/CN2021/080455 WO2022033023A1 (en) | 2020-08-12 | 2021-03-12 | Apparatus and method for estimating camera orientation relative to ground surface |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114391157A true CN114391157A (zh) | 2022-04-22 |
| CN114391157B CN114391157B (zh) | 2024-08-13 |
Family
ID=80222981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180000643.4A Active CN114391157B (zh) | 2020-08-12 | 2021-03-12 | 估计相机相对于地面的方位的装置和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12002235B2 (zh) |
| CN (1) | CN114391157B (zh) |
| WO (1) | WO2022033023A1 (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| CN105701790A (zh) * | 2009-02-13 | 2016-06-22 | Metaio有限公司 | 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 |
| CN111194416A (zh) * | 2017-08-08 | 2020-05-22 | 皇家飞利浦有限公司 | 用于生成场景的表示的装置和方法 |
| CN111260736A (zh) * | 2020-01-16 | 2020-06-09 | 中国科学院西安光学精密机械研究所 | 一种空间相机内参在轨实时标定方法 |
| US20200218913A1 (en) * | 2019-01-04 | 2020-07-09 | Qualcomm Incorporated | Determining a motion state of a target object |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2465793A (en) * | 2008-11-28 | 2010-06-02 | Sony Corp | Estimating camera angle using extrapolated corner locations from a calibration pattern |
| US9008460B2 (en) | 2012-04-27 | 2015-04-14 | Adobe Systems Incorporated | Automatic adjustment of images using a homography |
| GB2506411B (en) | 2012-09-28 | 2020-03-11 | 2D3 Ltd | Determination of position from images and associated camera positions |
| US9928594B2 (en) | 2014-07-11 | 2018-03-27 | Agt International Gmbh | Automatic spatial calibration of camera network |
| USRE49930E1 (en) | 2015-03-26 | 2024-04-23 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
| US10564716B2 (en) | 2018-02-12 | 2020-02-18 | Hong Kong Applied Science and Technology Research Institute Company Limited | 3D gazing point detection by binocular homography mapping |
| CN109166149B (zh) | 2018-08-13 | 2021-04-02 | 武汉大学 | 一种融合双目相机与imu的定位与三维线框结构重建方法与系统 |
| JP7095559B2 (ja) | 2018-11-09 | 2022-07-05 | トヨタ自動車株式会社 | 区画線検出装置及び区画線検出方法 |
| US11341676B2 (en) | 2019-02-05 | 2022-05-24 | Google Llc | Calibration-free instant motion tracking for augmented reality |
| CN110930459B (zh) | 2019-10-29 | 2023-02-17 | 北京经纬恒润科技股份有限公司 | 灭点提取方法、相机标定方法以及存储介质 |
| CN110930365B (zh) | 2019-10-30 | 2023-11-03 | 长安大学 | 一种交通场景下的正交消失点检测方法 |
| US11410334B2 (en) * | 2020-02-03 | 2022-08-09 | Magna Electronics Inc. | Vehicular vision system with camera calibration using calibration target |
-
2021
- 2021-03-10 US US17/197,069 patent/US12002235B2/en active Active
- 2021-03-12 CN CN202180000643.4A patent/CN114391157B/zh active Active
- 2021-03-12 WO PCT/CN2021/080455 patent/WO2022033023A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110115912A1 (en) * | 2007-08-31 | 2011-05-19 | Valeo Schalter Und Sensoren Gmbh | Method and system for online calibration of a video system |
| CN105701790A (zh) * | 2009-02-13 | 2016-06-22 | Metaio有限公司 | 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 |
| CN111194416A (zh) * | 2017-08-08 | 2020-05-22 | 皇家飞利浦有限公司 | 用于生成场景的表示的装置和方法 |
| US20200218913A1 (en) * | 2019-01-04 | 2020-07-09 | Qualcomm Incorporated | Determining a motion state of a target object |
| CN111260736A (zh) * | 2020-01-16 | 2020-06-09 | 中国科学院西安光学精密机械研究所 | 一种空间相机内参在轨实时标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220051430A1 (en) | 2022-02-17 |
| WO2022033023A1 (en) | 2022-02-17 |
| US12002235B2 (en) | 2024-06-04 |
| CN114391157B (zh) | 2024-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11629965B2 (en) | Methods, apparatus, and systems for localization and mapping | |
| CN111258313B (zh) | 多传感器融合slam系统及机器人 | |
| Andreasson et al. | Localization for mobile robots using panoramic vision, local features and particle filter | |
| Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
| CN112233177A (zh) | 一种无人机位姿估计方法及系统 | |
| CN112837352B (zh) | 基于图像的数据处理方法、装置及设备、汽车、存储介质 | |
| EP3293700B1 (en) | 3d reconstruction for vehicle | |
| CN111738032B (zh) | 一种车辆行驶信息确定方法及装置、车载终端 | |
| KR101737950B1 (ko) | 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법 | |
| WO2023016182A1 (zh) | 位姿确定方法、装置、电子设备和可读存储介质 | |
| Suhr et al. | Dense stereo-based robust vertical road profile estimation using Hough transform and dynamic programming | |
| Mehralian et al. | EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images | |
| CN117451032A (zh) | 一种低算力与松耦合的激光雷达和imu的slam方法及系统 | |
| CN111656404B (zh) | 图像处理方法、系统及可移动平台 | |
| CN116681733A (zh) | 一种空间非合作目标近距离实时位姿跟踪方法 | |
| CN114391157B (zh) | 估计相机相对于地面的方位的装置和方法 | |
| CN113016007B (zh) | 估计相机相对于地面的方位的装置和方法 | |
| Matsuyama et al. | Estimation of pedestrian pose and velocity considering arm swing using point-cloud data | |
| CN114119885A (zh) | 图像特征点匹配方法、装置及系统、地图构建方法及系统 | |
| US11348277B2 (en) | Apparatus and method for estimating camera orientation relative to ground surface | |
| Lee et al. | Real-time object tracking in sparse point clouds based on 3D interpolation | |
| US20230154133A1 (en) | Key point correction system, key point correction method, and nontransitory computer readable medium | |
| US20240112363A1 (en) | Position estimation system, position estimation method, and program | |
| Bai | Outlier-aware GNSS/INS/visual integrated navigation system in urban canyons | |
| CN118736019A (zh) | 一种基于语义边缘对齐的激光雷达-相机在线自标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40069795 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |