CN110851978A

CN110851978A - 一种基于可见性的摄像机位置优化方法

Info

Publication number: CN110851978A
Application number: CN201911086287.3A
Authority: CN
Inventors: 张辉; 王玉; 张胜文; 程德俊; 李群
Original assignee: Jiangsu University of Science and Technology
Current assignee: Jiangsu University of Science and Technology
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2020-02-28
Anticipated expiration: 2039-11-08
Also published as: CN110851978B

Abstract

本发明公了一种基于可见性的摄像机位置优化方法，步骤是：首先，物体表面被表示为采样点，并且潜在的摄像机位置被参数化为相对姿势的函数；其次，采用隐藏点去除算法进行点可见性分析；然后，考虑到不同摄像机位置之间的可见度以及射线角度，通过遗传算法进行摄像机位置优化，根据近景摄影测量中的精度理论，将极大地影响测量精度，所以接着进行优化循环，直到表示满足表面点的覆盖程度的比率。本发明的方法，获得了多个摄像机优化后的位置，可用于自动化制造计量应用。

Description

一种基于可见性的摄像机位置优化方法

技术领域

本发明涉及计算机视觉，具体涉及一种基于可见性的摄像机位置优化方法。

背景技术

随着机器视觉技术的发展，视觉测量逐步成为工业制造计量领域研究的重点。典型的视觉测量的架构体系包括摄像机定位，固件设置，图像获取，图像处理，重建，数据输出。摄像机定位作为整个视觉测量的基础部分，显得尤为重要。但摄像机定位最容易受到影响，导致只能在特定条件下由有经验的专家进行实施。已有研究人员在该问题上努力，但仍然存在问题尚未解决。

一种基于可见性的摄像机位置优化方法是一种新型的摄像机位置识别方法，相比于基于嵌入式、基于三维重建的识别方法，其具有计算简单、精度稳定的优点。中国专利“一种自动确定摄像机位置的方法及装置”(专利号：CN201610793372.3)，提出根据所拍摄的视频图像识别周围场景中的信息点集合，识别摄像机的经纬度，该方法虽然在一定程度上提高了标定摄像机位置的效率，但是只局限在单摄像机的位置上。中国专利“一种摄像机位置调整方法及装置”(专利号：CN201910648982.8)，接受摄像机的预设参数，即摄像机的视角参数，对镜头高度和预设参数进行计算，将获得的视野面积与预设范围对比，根据对结果，对摄像机位置进行调整。该方法主要是通过视野面积与预设范围对比，在测量精度方面有所欠缺，且无法保证摄像机位置的最优。外文文献《Camera Placement for NetworkDesign in Vision Metrology Based On Fuzzy Inference System》一文中，提出了一种使用摄像机布局网络设计的模糊逻辑推理方法的方法。这通过自动添加新曝光来制造视觉约束的不确定行为。事实证明，在他的工作中处理这些例子是可靠的，但正如他所指出的那样，它并不能保证全局最优。虽然它降低了FIS设计的复杂性，但是当视觉约束和精度增强具有高度不一致时，它可能导致故障。

发明内容

本发明需要解决的技术问题是针对上述现有技术的不足，而提出一种基于可见性的摄像机位置优化方法。根据摄像机位置进行参数化，对物体表面进行采样，针对目前可见性分析容易出错的情况，多方面考虑可见性分析的方法，提出一种新的综合可见性分析方法，减少点的错误分类，提高计算效率，再利用局部优化获得摄像机位置，进行全局优化检测结果，接着进行优化循环，对摄像机位置进行变化，达到最优化的位置。

为解决上述技术问题，本发明采用的技术方案是：

一种基于可见性的摄像机位置优化方法，包括以下步骤：

步骤(1)、采用方位角度和高度对摄像机位置进行参数化；

步骤(2)、对于步骤(1)中得到的摄像机位置存在的摄像机参数约束进行数学建模，实现清楚的物体成像；

步骤(3)、对于步骤(2)中拍摄的物体进行基于三角测量和隐藏点移除的可见性方法，分别得出两种方法的结果；

步骤(4)、对于步骤(3)得出结果进行比对分析，提出一种新的综合可见性分析方法，即三角测量和隐藏点移除分别进行的综合性可见性分析方法，得出物体的可见性；

步骤(5)、对于步骤(4)得出的可见性结果，进行局部优化，建立由可见度函数和摄像机位置函数组成的目标函数，以目标函数为标准，执行单个摄像机的位置优化，为多摄像机整体全局优化作基础；

步骤(6)、对于步骤(5)中得出的单个摄像机优化位置，使用数字对摄像机进行编号，将多个摄像机的可见度函数和摄像机位置函数进行累积，从而实现多摄像机的首次全局优化；

步骤(7)、对于步骤(6)中得出的首次全局优化结果，对比目标函数的标准，采用GA算法对不同参数位置的摄像机进行优化，通过改变摄像机编号进行优化循环，输出多摄像机的最优位置。

作为进一步的优选方案，步骤(1)中，所述摄像机位置参数化是指将摄像机位置用方位角度和高度来表示。

作为进一步的优选方案，步骤(2)中，所述摄像机参数约束建模是指通过可见性约束、景深约束和遮挡约束等对拍摄的物体表面进行修改。

作为进一步的优选方案，步骤(4)中，所述综合性可见性方法是一种基于三角测量和隐藏点移除分而治之的组合性分析方法，对于边缘点进行三角测量交叉法进行分析，对于普通点通过隐藏点移除方法进行，从而降低错误率。

作为进一步的优选方案，步骤(5)中，所述局部优化，是指对单个摄像机进行位置优化。

作为进一步的优选方案，步骤(6)中，所述全局优化，是指把局部优化获得的摄像机位置放到多个摄像机的环境中，对各个不同参数的摄像机位置优化。

作为进一步的优选方案，步骤(7)中，所述优化循环，是指按照目标函数建立的标准，通过比率与阈值的对比，进行循环优化。

附图说明

图1为摄像机定位整体流程图；

图2为综合可见性分析方法流程图；

图3为用于摄像机定位的图像；

图4为对图像进行阈值处理；

图5为摄像机位置优化方案图；

图6为得到的最佳摄像机位置图。

具体实施方式

下面结合附图详细说明本发明的技术方案。

如图1所示，一种基于可见性的摄像机位置优化方法，首先，通过数学计算将摄像机位置移动空间进行参数化，然后将感兴趣的表面采样到用于表示物体表面的点。通过采样表面和参数化摄像机位置，分析物体的表面可见度，并通过适应度函数优化摄像机位置。在优化过程中，第一步先完成单摄像机位置优化，并记为局部优化和摄像机位置优化。第二步，在全局布局中，按照标准检测，记为全局优化。第三步，按照全局优化的结果，进行再一步优化，持续到优化结果能够达到最优。具体步骤如下：

步骤(1)、采用方位角度和高度对摄像机位置进行参数化；

首先，确定可能的摄像机位置，参数化有效的摄像机移动空间，此空间可以被建模为连续空间或离散空间。使用离散的镶嵌三角形或六边形代表摄像机位置，从而消耗更少的存储和计算。这里使用两个参数来表示摄像机位置，α表示方位角度，β表示高度，并且CQ可以使用三角公式将其转换为相应的笛卡尔坐标以用于后续计算，公式如下：

CQ＝{(α,θ)0°≤α＜360°,0≤β≤180°}

在公式中，α表示方位角度，θ表示高度。

采用简单的采样点代表对象的表面，对于不同形状的物体，点是灵活和简单的，特别是对于具有高自遮挡可能性的自由曲面或高曲率曲面。对象表面可以表示如下公式：

SQ＝{(x,y,z)|(x,y,z)在目标的表面}

摄像机位置经过优化，可以改善捕捉点的定位和方向，这其中存在许多约束，比如摄像机图像的分辨率，摄像机视野，摄像机景深，摄像机的可见性，这部分约束可以通过建模来衡量改进。

1.分辨率约束表示相应对齐区域的摄像机图像的粒度高于某个阈值，是清楚地查看对象是测量的前提，约束建模如下：

r(Q_i)≥r_R

在公式中，Q_i表示物体表面上的点，D_Q表示笛卡尔坐标在世界坐标中的距离，D_q表示图像平面中图像像素距离的距离，r_R∈R是分辨率阈值。

2.视场约束指示对象在摄像机的视锥体内，因为通常摄像机具有有限的视野。并且必须将物体放入摄像机的观察区域。约束建模如下：

v(Q_i)≤v_l&v(Q_i)≤v_r

在公式中，Q_i表示物体表面上的点，v_l和v_r并表示摄像机的左半和右半平截头体。

3.景深约束表示应放置物体和摄像机使被检查物体位于摄像机焦平面周围的范围内，以便清楚地对物体进行成像。因此，约束建模如下：

D(Q_i)≥z_n&D(Q_i)≤z_f

在公式中，Q_i表示物体表面上的点，D(Q_i)∈R表示从摄像机到物体的距离，z_n和z_f∈R表示指定摄像机焦距范围的两个距离。

4.遮挡约束或可见性约束指示对象表面至少不被其他对象遮挡或甚至自身遮挡，使得它可以在摄像机视图中可见并且被测量。约束建模如下：

在公式中，Q_i表示物体表面上的点，D(Q_i)∈R表示从摄像机到物体的距离，Q_t表示从摄像机到视线的所有点。

给定摄像机视点的情况下，有多种方法可以找到对象的可见性。它们可以被分类为基于表面三角测量的方法，基于体素的方法和基于点的方法。其中，体素体积大小将极大地影响算法的性能，所以我们采用基于三角测量和基于点的方法。

在基于三角测量的方法中，表面用三角测量表示。通过计算从摄像机中心到三角测量点的最小距离来计算摄像机到物体表面距离，三角形交点公式如下：

在该公式中，D_i表示距离，(u,v)表示交叉点的重心坐标。

在基于点的方法中，名为隐藏点移除的方法是较为出名的，其广泛用于计算机视觉和计算机图形领域。由于隐藏点移除的容易出错的错误分类点在诸如边缘的高曲率区域周围，因此首先确定这些点被分类为近边缘点和普通点，可以被描述为以下公式：

Q_e＝{q_i|D(q_i,e)＜D_th},q_i∈Q

在公式中，D_th表示距离阈值，Q_e表示近边缘点的集合，Q_o表示普通点的集合。

对于近边缘点，可见性分析通过三角测量交叉法进行，因为边缘周围的点仅是整个点的一小部分，所以该方法准确且计算量不大。对于普通点，可以通过隐藏点移除方法进行可见性分析，该方法计算速度快且准确。因此，采用组合方法进行分而治之会更好。我们的综合可见性分析方法如图2所示。

对图像距离阈值进行初始化，初始化角度阈值，以stl格式为例，三角片分块，循环所有三角片的临接。使用距离阈值，得到小于距离阈值的所有边界点。分别使用不同的方法得到其可见性。为了检验我们的综合可见性分析方法的有效性，拍摄图像和阈值图如图3和图4所示，。

优化方案如图5所示。首先，初始化方案，包括用于循环结束的标准建立，初始化用于可见性和摄像机间角度的阈值，初始构建用于优化的目标函数。然后，进行局部优化来找到良好的单个摄像机位置，其中当单个摄像机围绕对象移动时，使用前一部分中的算法计算可见性得分。之后，通过从局部优化获得的数据，针对特定摄像机编号开发全局优化，然后根据标准检查全局优化的结果。如果仍未达到标准，则根据具体情况，摄像机编号将逐渐或逐渐改变，并且将重建目标函数并重新运行全局优化。这个过程将持续到满足标准，然后将获得当前对象的摄像机位置。

1)目标函数

目标函数或适应度函数对于优化至关重要，因此首先必须定义和构建目标函数。对于摄像机定位问题，它是根据会影响测量精度的因素来定义的。在工作中，评估不同汇聚角度下的摄像机分布后，45度是在所有情况下实现的最佳放置布局。因此目标函数定义如下:

G_obj＝ω_vG_vis+ω_iG_int`ω_v+ω_i＝1

G_vis＝G_HPR(O_i),O_i∈摄像机移动空间

G_int＝θ(O_i,O_j),O_iO_j∈摄像机移动空间

在公式中，目标函数G_obj是可见度函数G_vis和摄像机间函数G_int的总和，而且ω_v和ω_i是它们的权重系数。

2)局部优化

建立目标函数之后，执行单个摄像机位置的优化，这称为局部优化。确定单个摄像机位置时，使用以前定义的算法计算可见性分数。将分数设置为连续值，并将其离散化为0到255作为传统图像像素，使用三角函数来计算，然后对具有不同参数的摄像机位置进行优化，通过遗传算法或简单搜索算法等进行优化。

在获得局部优化的单个摄像机位置之后，进行全局优化，通过改变摄像机编号来循环计算和更新摄像机位置。由于有多个摄像头用于全局优化，因此目标函数考虑可见度值和摄像机间功能。可见度值表示该特别摄像机位置中的表面点的可见性得分，摄像机间功能表示表面点的摄像机间功能得分。

为了方便计算，可见度值可以使用三角函数计算，并且可以将其离散化为0到255作为传统图像像素。同时，摄像机间功能也可以使用三角函数而不是摄像机间角度进行计算，并将其离散化为0到255。然后在具有不同参数的摄像机位置上进行优化，直至全部摄像机完成优化。图6为优化后的摄像机位置，表一为优化后的摄像机位置坐标。

表1对象的最佳单个摄像机位置坐标

在摄像机定位问题中，摄像机的3D位置与物体的可见性以及相对于物体的摄像机间角度有关。但是它对目标函数的影响无法直接确定，特别是对于摄像机间的角度。如果摄像机数量很大，搜索空间则会非常大。但在不需要计算在搜索空间的大范围内，通过遗传算法直接比较目标函数，会占用大量计算的目标函数的导数。

由于放松了摄像机的数量，因此通过改变摄像机数量来循环的进行优化。使用预定义的数字作为初始摄像机编号，并采用GA算法，使用由可见度值和摄像机间功能组成的公式来优化目标函数值。遗传算法的输出优化的摄像机位置设置如下：

L＝{L_k},k＝0～n

在公式中，L_k表示摄像机位置，n表示摄像机循环时间的索引号。

对于得出的遗传算法结果，它仅在当前摄像机编号的意义上是最佳的。因此，如果某些物体的表面点仍然不可见或弱三角形，我们需要增加摄像机站的数量；如果物体的表面点物镜值得分优于某些标准，则可以减少摄像机站的数量，以节省时间和处理成本。

为了确定临时目标函数得分的好坏，应该提前设定标准。由于目标函数由可见性和摄像机间分数组成，因此建立了关于可见性和摄像机间的标准。标准指数如下：

截断操作是强制摄像机位置倾向于覆盖尽可能多的点，而不是仅覆盖一些主要点，这是我们在没有应用上限操作时在实验中遇到的不利现象。对于GA循环，确定当前摄像机位置是否足够好以及摄像机的数量是否足够大，如果当前比率在阈值附近，则假定达到标准，并且应该结束循环。

本方法的摄像机位置识别方法是通过点可见性分析和遗传算法优环来实现的，采用了隐点去除算法和三角交叉算法的组合方法进行可见性分析，然后循环的进行摄像机位置和数量的优化，因此在保证测量精度时减少了测量时不必要的资源浪费。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于可见性的摄像机位置优化方法，其特征在于，包括以下步骤：

步骤(1)、采用方位角度和高度对摄像机位置进行参数化；

2.根据权利要求1所述的一种基于可见性的摄像机位置优化方法，其特征在于：步骤(1)中，所述摄像机位置参数化是指将摄像机位置用方位角度和高度来表示。

3.根据权利要求1所述的一种基于可见性的摄像机位置优化方法，其特征在于：步骤(2)中，所述摄像机参数约束建模是指通过可见性约束、景深约束和遮挡约束等对拍摄的物体表面进行修改。

4.根据权利要求1所述的一种基于可见性的摄像机位置优化方法，其特征在于：步骤(4)中，所述综合性可见性方法是一种基于三角测量和隐藏点移除分而治之的组合性分析方法，对于边缘点进行三角测量交叉法进行分析，对于普通点通过隐藏点移除方法进行，从而降低错误率。

5.根据权利要求1所述的一种基于可见性的摄像机位置优化方法，其特征在于：步骤(5)中，所述局部优化，是对单个摄像机进行位置优化。

6.根据权利要求1所述的一种基于可见性的摄像机位置优化方法，其特征在于：步骤(6)中，所述全局优化，是把局部优化获得的摄像机位置放到多个摄像机的环境中，对各个不同参数的摄像机位置优化。

7.根据权利要求1所述的一种基于可见性的摄像机位置优化方法，其特征在于：步骤(7)中，所述优化循环，是按照目标函数建立的标准，通过比率与阈值的对比，进行循环优化。