CN112948616A - 用于飞拍过程中拍摄位点搜寻的方法和系统 - Google Patents

Abstract

本发明提供了一种用于飞拍过程中拍摄位点搜寻的方法和系统，包括：步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。本发明利用目标检测训练图像，获得样本的角坐标，并通过不同图像的角坐标计算得到变换矩阵，对飞拍图像的筛选，从而自动化的获得运动轨迹和拍摄位点的正确参数。

Description

用于飞拍过程中拍摄位点搜寻的方法和系统

技术领域

本发明涉及计算机视觉领域，具体地，涉及用于飞拍过程中拍摄位点搜寻的方法和系统。

背景技术

在传统的工业质检过程中，图像采集的过程较为简单，一般都是固定相机，然后对样本的各个面分别拍照。在这个过程中，每次只能拍摄一个面，然后需要人工介入去调整样本的角度，这一过程会很影响样本图像采集的速度。而飞拍技术则是固定样本，采用运动相机，一次性对样本的所有面进行拍摄。这样的技术可以大大的提高工业质检中样本拍摄的效率。飞拍的原理是，对承载相机的机器臂调整好运动轨迹，在轨迹中设置好拍摄位点，当相机运动到拍摄位点后会进行拍摄。

在工业表面缺陷质量检测中，效率是一个关键的因素。利用人工智能技术代替人工，最大的优势在于速度。利用飞拍技术虽然可以大大提高工业质检的速度，但是飞拍的运动轨迹和正确的拍摄位点通常很难调节，这一过程以往需要人工介入，进行大量的调参优化。

专利文献CN111586289A揭示一种高速飞拍控制方法，其包括步骤：预设飞拍位置于拍摄控制单元；运动控制单元控制运动单元带动工件经过预设飞拍位置；运动单元触发拍摄控制单元；拍摄控制单元先后启动拍摄单元的拍摄件及光源件；拍摄件拍取工件图像。本发明还提供一种高速飞拍控制系统。本发明的高速飞拍控制方法通过拍摄控制单元对拍摄件及光源件进行控制，使得光源件迟于拍摄件启动，同时根据预设的飞拍位置对运动状态的工件进行拍摄，实现不停机拍摄。但是飞拍拍摄点的获取方式，需要进一步优化。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种用于飞拍过程中拍摄位点搜寻的方法和系统。

根据本发明提供的一种用于飞拍过程中拍摄位点搜寻的方法，包括：

步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；

步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；

步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。

优选地，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。

根据本发明提供的一种飞拍控制方法，包括：

通过所述的用于飞拍过程中拍摄位点搜寻的方法，获得拍摄位点；

通过用于飞拍过程中图像筛选的方法，对图像进行筛选。

优选地，所述通过用于飞拍过程中图像筛选的方法，包括：

步骤甲：获取单适应性矩阵H_AB；

步骤乙：根据单适应性矩阵H_AB筛选图片。

优选地，

所述步骤甲，包括：

步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；

步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i，Δy_i，i＝1，2，3，4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB；将图像块A通过H_AB的逆矩阵

转换得到图像块B；

步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督；

所述步骤乙包括：

步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；

步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；

步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵H_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；

步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；

步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

根据本发明提供的一种用于飞拍过程中拍摄位点搜寻的系统，包括：

模块MA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；

模块MA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；

模块MA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。

优选地，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。

根据本发明提供的一种飞拍控制系统，包括：

通过所述的用于飞拍过程中拍摄位点搜寻的系统，获得拍摄位点；

通过用于飞拍过程中图像筛选的系统，对图像进行筛选。

优选地，所述通过用于飞拍过程中图像筛选的系统，包括：

模块甲：获取单适应性矩阵H_AB；

模块乙：根据单适应性矩阵H_AB筛选图片。

优选地，

所述模块甲，包括：

模块甲M1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；

模块甲M2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i，Δy_i，i＝1，2，3，4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB；将图像块A通过H_AB的逆矩阵

转换得到图像块B；

模块甲M3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督；

所述模块乙包括：

模块乙M1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；

模块乙M2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；

模块乙M3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入模块甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵H_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；

模块乙M4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发模块乙M1继续执行；

模块乙M4返回模块乙M1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

与现有技术相比，本发明具有如下的有益效果：

本发明利用目标检测训练图像，获得样本的角坐标，并通过不同图像的角坐标计算得到变换矩阵，对飞拍图像的筛选，从而自动化的获得运动轨迹和拍摄位点的正确参数。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是目标检测的推理结果，飞拍图像。

图2是目标检测的推理结果，正面图像。

图3是目标检测训练的流程图。

图4为homographyNet的主要框架。

图5为飞拍图片筛选的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在工业质检领域，样本照片的成像角度和清晰度会很大程度上影响后续的检测模型。传统的样本图像获取过程，一般是用固定好的相机去拍摄固定的样本，这样速度虽然慢，但是静态拍摄的成像效果却很好。飞拍技术采用机器臂加相机，虽然大大提高了样本图像获取的速度，但是在运动拍摄过程中，如果运动轨迹和拍摄位点没有寻找正确，会很大程度影响照片的质量。

也就是说，在工业表面缺陷质量检测中，传统的拍摄方案速度慢、精度高、成像角度正确，而飞拍速度快、精度不稳定、成像角度不稳定。为了获得良好的精度和成像角度，通常需要工程师对飞拍设备的运动轨迹和拍摄位点去做大量的调参优化，这一过程以往都是非常耗时耗力的。

本发明采用LOG算子对模糊图像进行筛选，并用目标检测网络，实现对样本单个面的角定位，通过角定位的结果计算出变换矩阵，从而对飞拍的图像进行筛选，进而定位正确的拍摄位点范围和确定正确的运动轨迹范围。

根据本发明提供的一种飞拍控制方法，包括：

通过用于飞拍过程中拍摄位点搜寻的方法，获得拍摄位点；

通过用于飞拍过程中图像筛选的方法，对图像进行筛选。

所述用于飞拍过程中拍摄位点搜寻的方法，包括：

步骤SA1：采集多个样本，为了模拟飞拍效果，用固定相机，对每个样本进行360度全方位采样，例如每个样本采集200张图像。360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。将这些图像注入多角度图像库。

步骤SA2：对多角度图像库里的每张图像进行标注。对每张图像的四个顶角用框标注。如图1。获得label数据集。

步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测网络，进行训练，实现对样本单个面的角定位，从通过角定位的结果计算出变换矩阵，从而对飞拍的图像进行筛选，进而定位正确的拍摄位点范围和确定正确的运动轨迹范围。其中，目标检测网络训练图像，获得样本的角坐标(例如图像块A的四个角)，并通过不同图像的角坐标计算得到作为变换矩阵的单适应性矩阵H_AB，用于对飞拍图像的筛选。

所述通过用于飞拍过程中图像筛选的方法，包括：

步骤甲：获取单适应性矩阵H_AB；

步骤乙：根据单适应性矩阵H_AB筛选图片。

优选地，所述步骤甲，包括：

步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；

步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i，Δy_i，i＝1，2，3，4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB；将图像块A通过H_AB的逆矩阵

转换得到图像块B；

步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督。

优选地，在步骤甲S1中，按照矩形进行随机剪裁得到图像块A，矩形是固定大小的；

在步骤甲S2中，剪裁图像块A的四个角的坐标

随机扰动后的四个角坐标

其中i＝1，2，3，4；x、y分别表示直角坐标系中的横轴、纵轴；偏移量的计算过程

分别对四个角计算，获得四对偏移量Δx_i，Δy_i；

求解四对方程组：

其中i＝1，2，3，4；在求H_AB时添加约束h33＝1，求得唯一解；

h11，h12，h13；h21，h22，h23；h31，h32，h33为参数；

优选地，所述步骤乙包括：

步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；

步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；

步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵H_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；具体地，例如，将第一次筛选后的飞拍图像库的图片作为输入，送入步骤甲训练得到的目标检测网络，进行推理，获得该图像中样本的四个顶角的坐标(图1)。同样地，在正面图像库里，抽取对应的正面图像作为输入，送入步骤甲训练得到的目标检测网络，进行推理，得到正面图像的四个顶角的坐标(图2)。

步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；

步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

优选地，在所述步骤乙S2中，拉普拉斯算子是图像的二阶导，检测图像灰度值的快速变化；对于清晰图像，其边界信息较多，经拉普拉斯计算后方差较大；而对于模糊图像，其边界信息较少，经拉普拉斯计算后方差较小；对图片进行拉普拉斯计算后，得到图片方差，对此设定方差阈值，筛选出模糊图像；

在所述步骤乙S3中，H_AB是一个3*3的矩阵，拆成：

其中A_2*2是仿射变换参数，T_2*1平移变换参数；

V^T表示变换后边缘交点关系，而s＝1；

分别计算出A_2*2，T_2*1和V^T的行列式，分别记作为a，t，v；

飞拍图像和正确图像之间的变换差距用a，t，v的平均值来表示。

具体地，在步骤甲S1中，按照矩形进行随机剪裁得到图像块A，矩形是固定大小的；

在步骤甲S2中，剪裁图像块A的四个角的坐标

随机扰动后的四个角坐标

其中i＝1，2，3，4；x、y分别表示直角坐标系中的横轴、纵轴；偏移量的计算过程

分别对四个角计算，获得四对偏移量Δx_i，Δy_i；

求解四对方程组：

其中i＝1，2，3，4；在求H_AB时添加约束h33＝1，求得唯一解；

h11，h12，h13；h21，h22，h23；h31，h32，h33为参数；

在所述步骤乙S2中，拉普拉斯算子是图像的二阶导，检测图像灰度值的快速变化；对于清晰图像，其边界信息较多，经拉普拉斯计算后方差较大；而对于模糊图像，其边界信息较少，经拉普拉斯计算后方差较小；对图片进行拉普拉斯计算后，得到图片方差，对此设定方差阈值，筛选出模糊图像；

在所述步骤乙S3中，H_AB是一个3*3的矩阵，拆成：

其中A_2*2是仿射变换参数，T_2*1平移变换参数；

V^T表示变换后边缘交点关系，而s＝1；

分别计算出A₂*₂，T2*₁和V^T的行列式，分别记作为a，t，v；

飞拍图像和正确图像之间的变换差距用a，t，v的平均值来表示。

更为具体地，如图4所示，是单应性矩阵网络homographyNet的主要框架。

用固定相机拍摄样本的各个面，获得每个面的图像构成正确图像。正确图像定义：清晰，无损，角度正确，可以用于后续图像检测模型的训练。

将多个正确图像构建为正确图像库；

在正确图像库中，遍历依次获取正确图像，并对每一张正确图像执行步骤甲S。

所述步骤甲包括：

步骤甲S1：对正确图像进行随机剪裁，获得剪裁的图像块A；具体地，按照矩形进行随机剪裁，矩形需要固定大小，比如在2000*2000的大图里，剪裁300*500(固定大小)的小图片。

步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i，Δy_i，i＝1，2，3，4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB。将图像块A通过H_AB的逆矩阵

转换得到图像块B。

具体地，剪裁图像块A的四个角的坐标

随机扰动后的四个角坐标

其中i＝1，2，3，4。x、y分别表示直角坐标系中的横轴、纵轴。偏移量的计算过程

分别对四个角计算，获得四对偏移量Δx_i，Δy_i。

求解四对方程组：

其中i＝1，2，3，4。所以单适应性矩阵H_AB有9个未知数，但只有8个方程组。所以在求H_AB时一般添加约束h33＝1，最后共剩8个未知数。由此可以求得唯一解。

H11，h12，h13；h21，h22，h23；h31，h32，h33为参数。

步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练。为了让homographyNet网络去学习样本对之间的变换。图1中的图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督。

注：对步骤甲S可进行多次操作，可获得单张图片的多次随机采样。

如图5所示，是飞拍图片筛选的流程图。

初始化随机设置第一数量的拍摄位点，例如10000个拍摄位点，即拍摄10000次。初始化拍摄路径的运动轨迹。

步骤乙S包括：

步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点。将拍摄的所有图像以灰度形式存进飞拍图像库；

步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选。因为模糊图像一定是来自不佳的拍摄位点，所以最先筛除。拉普拉斯算子是图像的二阶导，可以检测图像灰度值的快速变化。对于正常图像，其边界清晰，经拉普拉斯计算后方差较大；而对于模糊图像，其边界信息少，经拉普拉斯计算后方差小。对图片进行拉普拉斯计算后，得到图片方差，对此设定一定阈值，即可筛选出模糊图像。

步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的图片与正确图像库里对应的图像作为输入，送入模块甲M训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵H_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像。

具体地，H_AB是一个3*3的矩阵，而它可以拆成

其中A_2*2是仿射变换参数，T_2*1平移变换参数，V^T表示变换后边缘交点关系，而s＝1。分别计算出A_2*2，T_2*1和V^T的行列式，分别记作为a，t，v。

飞拍图像和正确图像之间的变换差距可以用a，t，v的平均值来表示。

步骤乙S4：记录出两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹。其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；返回触发步骤乙S1继续执行；

步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，具体为上下左右前后六个角度的正投影视图。

本发明利用LOG算子和目标检测的角坐标定位，对飞拍图像进行筛选，从而大大缩短了拍摄位点定位的参数搜索过程。

根据本发明提供的一种用于飞拍过程中拍摄位点搜寻的系统，包括：

模块MA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；

模块MA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；

模块MA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。

优选地，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。

根据本发明提供的一种飞拍控制系统，包括：

通过所述的用于飞拍过程中拍摄位点搜寻的系统，获得拍摄位点；

通过用于飞拍过程中图像筛选的系统，对图像进行筛选。

根据本发明提供的一种用于飞拍过程中图像筛选的系统，包括：

模块甲：获取单适应性矩阵H_AB；

模块乙：根据单适应性矩阵H_AB筛选图片。

优选地，所述模块甲，包括：

模块甲M1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；

模块甲M2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i，Δy_i，i＝1，2，3，4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB；将图像块A通过H_AB的逆矩阵

转换得到图像块B；

模块甲M3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督。

优选地，在模块甲M1中，按照矩形进行随机剪裁得到图像块A，矩形是固定大小的；

在模块甲M2中，剪裁图像块A的四个角的坐标

随机扰动后的四个角坐标

其中i＝1，2，3，4；x、y分别表示直角坐标系中的横轴、纵轴；偏移量的计算过程

分别对四个角计算，获得四对偏移量Δx_i，Δy_i；

求解四对方程组：

其中i＝1，2，3，4；在求H_AB时添加约束h33＝1，求得唯一解；

h11，h12，h13；h21，h22，h23；h31，h32，h33为参数；

优选地，所述模块乙包括：

模块乙M1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；

模块乙M2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；

模块乙M3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入模块甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵H_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；

模块乙M4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发模块乙M1继续执行；

模块乙M4返回模块乙M1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

优选地，在所述模块乙M2中，拉普拉斯算子是图像的二阶导，检测图像灰度值的快速变化；对于清晰图像，其边界信息较多，经拉普拉斯计算后方差较大；而对于模糊图像，其边界信息较少，经拉普拉斯计算后方差较小；对图片进行拉普拉斯计算后，得到图片方差，对此设定方差阈值，筛选出模糊图像；

在所述模块乙M3中，H_AB是一个3*3的矩阵，拆成：

其中A_2*2是仿射变换参数，T_2*1平移变换参数；

V^T表示变换后边缘交点关系，而s＝1；

分别计算出A_2*2，T_2*1和V^T的行列式，分别记作为a，t，v；

飞拍图像和正确图像之间的变换差距用a，t，v的平均值来表示。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种用于飞拍过程中拍摄位点搜寻的方法，其特征在于，包括：

步骤SA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；

步骤SA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；

步骤SA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。

2.根据权利要求1所述的用于飞拍过程中拍摄位点搜寻的方法，其特征在于，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。

3.一种飞拍控制方法，其特征在于，

通过权利要求1所述的用于飞拍过程中拍摄位点搜寻的方法，获得拍摄位点；

通过用于飞拍过程中图像筛选的方法，对图像进行筛选。

4.根据权利要求3所述的飞拍控制方法，其特征在于，所述通过用于飞拍过程中图像筛选的方法，包括：

步骤甲：获取单适应性矩阵H_AB；

步骤乙：根据单适应性矩阵H_AB筛选图片。

5.根据权利要求4所述的用于飞拍过程中拍摄位点搜寻的方法，其特征在于，

所述步骤甲，包括：

步骤甲S1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；

步骤甲S2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i,Δy_i，i＝1,2,3,4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB；将图像块A通过H_AB的逆矩阵

转换得到图像块B；

步骤甲S3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督；

所述步骤乙包括：

步骤乙S1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；

步骤乙S2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；

步骤乙S3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入步骤甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵H_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；

步骤乙S4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发步骤乙S1继续执行；

步骤乙S4返回步骤乙S1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

6.一种用于飞拍过程中拍摄位点搜寻的系统，其特征在于，包括：

模块MA1：采集多个样本；其中，用固定相机，对每个样本进行360度全方位采样，将这些图像注入多角度图像库；

模块MA2：对多角度图像库里的每张图像进行标注；其中，对每张图像的四个顶角用框标注，获得label数据集；

模块MA3：将多角度图像库和label数据集作为输入，送进目标检测，进行训练。

7.根据权利要求6所述的用于飞拍过程中拍摄位点搜寻的系统，其特征在于，360度全方位采样定义：样本在固定在一个球体中心，相机位于球体表面，均匀地在球体表面找出多个点，并在这些点对着球心的样本拍摄。

8.一种飞拍控制系统，其特征在于，

通过权利要求6所述的用于飞拍过程中拍摄位点搜寻的系统，获得拍摄位点；

通过用于飞拍过程中图像筛选的系统，对图像进行筛选。

9.根据权利要求8所述的飞拍控制系统，其特征在于，所述通过用于飞拍过程中图像筛选的系统，包括：

模块甲：获取单适应性矩阵H_AB；

模块乙：根据单适应性矩阵H_AB筛选图片。

10.根据权利要求9所述的用于飞拍过程中拍摄位点搜寻的系统，其特征在于，

所述模块甲，包括：

模块甲M1：对拍摄位点正确的图像进行随机剪裁，获得剪裁的图像块A；

模块甲M2：对图像块A的四个角进行随机扰动，获得四对偏移量Δx_i,Δy_i，i＝1,2,3,4；其中，Δx_i表示平面直角坐标系下X轴的偏移量，Δy_i表示平面直角坐标系下Y轴的偏移量；并根据对偏移量计算得到单适应性矩阵H_AB；将图像块A通过H_AB的逆矩阵

转换得到图像块B；

模块甲M3：将图像块A和图像块B作为输入，单适应性矩阵H_AB作为监督Label，送入homographyNet进行训练；让homographyNet网络去学习样本对之间的变换，图像块A、B是作为一对样本对，作为模型输入，预测出单适应性矩阵

并获得单适应性矩阵H_AB作为label进行监督；

所述模块乙包括：

模块乙M1：对样本的拍摄设定运动轨迹，并在运动轨迹上设置拍摄位点；将拍摄的所有图像以灰度形式存进飞拍图像库；

模块乙M2：第一次筛选：利用拉普拉斯算子对飞拍图像库中图片进行模糊筛选；

模块乙M3：第二次筛选：将第一次筛选后的飞拍图像库的清晰图片与正确图像库里对应的图像作为输入，送入模块甲训练得到的homographyNet，进行推理，获得两张图片的单适应性矩阵G_AB，并由H_AB计算飞拍图像和正确图像之间的变换差距，并从飞拍图像库中筛除大于设定阙值T的飞拍图像；

模块乙M4：记录出经过两次筛选后，存留下来飞拍照片的拍摄位点和运动轨迹；其中，存留下来飞拍照片的拍摄位点作为更新后的拍摄位点，存留下来飞拍照片的运动轨迹作为更新后的运动轨迹；提高变换差距的阙值T；返回触发模块乙M1继续执行；

模块乙M4返回模块乙M1为迭代优化运动轨迹和拍摄位点，缩小拍摄位点随机生成的范围和数量，逐步提高变换差距的阙值T，直到剩下6个最合适的拍摄位点，6个最合适的拍摄位点具体为上下左右前后六个角度的正投影视图。

Images