CN112989982B - 一种无人车图像采集控制方法及系统 - Google Patents

一种无人车图像采集控制方法及系统 Download PDF

Info

Publication number
CN112989982B
CN112989982B CN202110245032.8A CN202110245032A CN112989982B CN 112989982 B CN112989982 B CN 112989982B CN 202110245032 A CN202110245032 A CN 202110245032A CN 112989982 B CN112989982 B CN 112989982B
Authority
CN
China
Prior art keywords
image
feature point
unmanned vehicle
scaling
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110245032.8A
Other languages
English (en)
Other versions
CN112989982A (zh
Inventor
陈荟慧
钟委钊
潘芷欣
郑春弟
王爱国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202110245032.8A priority Critical patent/CN112989982B/zh
Publication of CN112989982A publication Critical patent/CN112989982A/zh
Application granted granted Critical
Publication of CN112989982B publication Critical patent/CN112989982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明涉及图像采集技术领域，具体涉及一种无人车图像采集控制方法及系统，所述方法包括：获取包含拍摄目标的参考图像和初始图像，确定初始图像时的第一采集参数，从参考图像中提取得到第一特征点集，从初始图像中提取得到第二特征点集，基于第一特征点集和第二特征点集确定匹配图像；基于匹配图像确定初始图像和参考图像的平面位移偏差量和整体缩放比例，从而得到更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离，以对第一采集参数进行更新，得到第二采集参数；最后采用第二采集参数控制摄像头拍摄得到包含拍摄目标的最终图像，本发明能基于采集参数控制无人车自主地调整姿态和位置，从而实现对目标的精准监测。

Description

一种无人车图像采集控制方法及系统
技术领域
本发明涉及图像采集技术领域，具体涉及一种无人车图像采集控制方法及系统。
背景技术
随着传感技术和控制技术的发展，无人车已经在很多场景中得到广泛应用，例如园区巡逻、街景拍摄、治安巡逻等。无人车的图像采集功能是无人车常见的功能之一。
现有技术中，使用无人车采集图像数据的方式有两种，对应的提高采集图像质量的方法也是两种：
第一种由人远程操控无人车到特定地点朝特定目标拍照或录像，这种方式需要由人一直控制无人车，实际上是人工远程控制无人车进行图像采集，这种方式提高采集图像质量的方法是凭借人的经验和主观意识。
第二种由人给无人车下达指令，然后由无人车自主采集图像数据。这种方式主要依赖基于图像的目标识别技术，一般只能完成指定物体的图像采集，这种方式提高采集图像质量的方法主要靠提高采集图像与目标图像的匹配度。
而为了提高匹配度，提供高质量的图像采集参数能够控制摄像头采集符合预期的图像数据，对于采集与图像数据具有十分重要的意义，为满足对目标的精准监测需求，如何生成准确的采集参数是无人车成功采集到预期图像数据的关键。
因此，如何基于采集参数控制无人车自主地调整姿态和位置，从而实现对目标的精准监测，成为亟待解决的问题。
发明内容
本发明目的在于提供一种无人车图像采集控制方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，本发明提供以下技术方案：
一种无人车图像采集控制方法，所述方法包括以下步骤：
获取包含拍摄目标的参考图像；
控制设置于无人车上的摄像头采集包含拍摄目标的初始图像，确定所述摄像头在采集所述初始图像时的第一采集参数，所述第一采集参数包括经度、纬度、方位角、翻转角、以及定位精度；
从所述参考图像中提取得到第一特征点集，从所述初始图像中提取得到第二特征点集，基于所述第一特征点集和第二特征点集确定匹配图像；
基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角；
基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离；
基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数；
采用第二采集参数控制摄像头拍摄得到包含拍摄目标的最终图像。
进一步，所述基于所述第一特征点集和第二特征点集确定匹配图像，包括：
对所述第一特征点集和第二特征点集的进行特征点匹配；
采用特征点匹配优化方法对错误匹配的特征点进行过滤；
将过滤后的特征点形成匹配特征点集合，基于所述特征点集合得到匹配图像。
进一步，所述基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，包括：
设所述初始图像和参考图像的分辨率均为X*Y，对所述初始图像和参考图像进行特征点提取、匹配并过滤错误匹配的特征点后产生n对匹配特征点，作为匹配特征点集合，根据所述n对匹配特征点形成匹配图像，将所述n对匹配特征点形成队列；
其中，List[j]表示n对匹配特征点形成的队列，a表示初始图像的像素点集合，b表示参考图像的像素点集合，j表示匹配特征点集合形成的匹配图像，j∈(a，b)，List[j][i]表示匹配图像j中的第i个匹配特征点，i∈(0，1，2，...，n)，第i个匹配特征点的像素坐标表示为(xji，yji)；
记初始图像中的匹配特征点集合的中心特征点坐标为则有：
其中，(xai，yai)表示匹配特征点集合中的第i个匹配特征点在初始图像中的坐标；
记参考图像中的匹配特征点集合的中心特征点坐标为则有：
其中，(xbi，ybi)表示匹配特征点集合中的第i个匹配特征点在参考图像中的坐标；
设所述初始图像和参考图像的平面位移偏差量为(Δx,Δy)，则有：
其中，Δx为所述初始图像和参考图像在水平方向的平面位移偏差量，Δy为所述初始图像和参考图像在垂直方向的平面位移偏差量。
进一步，所述基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角，包括：
将第一采集参数表示为Sensor＝[long，lat，yaw，roll，er]，其中，long为经度、lat为纬度、yaw为方位角、roll为翻转角、er为定位精度；
设无人车图像采集装置在水平方向每旋转一度，所拍摄的图像在水平方向上改变的像素值为h，根据水平方向的平面位移偏差量△x对第一采集参数中的方位角yaw进行更新，记更新后的方位角为new_yaw，则有：
设无人车采集图像装置在竖直方向每旋转一度，所拍摄的图像在竖直方向上改变的像素值为m，根据垂直方向的平面位移偏差量△y对第一采集参数中的翻转角roll进行更新，记更新后的翻转角为new_roll，则有：
进一步，所述基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，包括：
分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例；
根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例。
进一步，所述分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例，包括：
分别选取匹配图像中的第k个特征点和第k+1个特征点，k∈(1，2，...，(n-1))；
分别确定第k个特征点和第k+1个特征点在初始图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在初始图像中的距离：
其中，(xak,yak)表示第k个特征点在初始图像中的坐标，(xa(k+1),ya(k+1))表示第k+1个特征点在初始图像中的坐标，dist_ak表示第k个特征点和第k+1个特征点在初始图像中的距离；
分别确定第k个特征点和第k+1个特征点在参考图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在参考图像中的距离：
其中，(xbk,ybk)表示第k个特征点在参考图像中的坐标，(xb(k+1),yb(k+1))表示第k+1个特征点在参考图像中的坐标，dist_bk表示第k个特征点和第k+1个特征点在参考图像中的距离；
根据以下公式计算第k个特征点和第k+1个特征点的缩放比例：
其中，ε为一个无穷小的数，ratek表示第k个特征点和第k+1个特征点的缩放比例；
确定匹配图像中的全部特征点的缩放比例均被选取，共计算得到(n-1)个缩放比例。
进一步，所述根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例，包括：
根据以下方式将所述(n-1)个缩放比例划分为small类，normal类和large类，每个类在初始状态下所包含的缩放比例的数量均为0；
当缩放比例＜0.5时，将该缩放比例划分为small类；
当0.5≤缩放比例≤2时，将该缩放比例划分为normal类；
当缩放比例＞2时，将该缩放比例划分为large类；
当任一个类的个数大于(n-1)/2时，将该类所包含的缩放比例的均值作为匹配图像的整体缩放比例，记为total_rate，计算公式为：
其中，len(p)为第p类所包含的缩放比例的个数，ratep为第p类所包含的缩放比例的总和；
当三个类所包含的缩放比例的数量均小于(n-1)/2，记整体缩放比例total_rate等于1。
进一步，所述基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离，包括：
以设置于无人车上的摄像头方向为正前方，以dist_cross表示无人车的横向移动距离，即无人车向左或者向右移动的距离，当dist_cross大于零时，无人车向右移动|dist_cross|厘米，当dist_cross小于零时，无人车向左移动|dist_cross|厘米；
以dist_line表示无人车的纵向移动距离，即无人车向前或者向后移动的距离，当dist_line大于零时，无人车向前移动|dist_line|厘米，当dist_cross小于零时，无人车向后移动|dist_line|厘米；
假设当无人车横向移动d厘米时，所拍摄的图像相比无人车横向移动前拍摄的图像在水平方向上改变了q个像素点，则当初始图像和参考图像在水平方向上偏差Δx个像素时，有：
确定dist_cross是否在区间[-2*er，2*er]内，根据以下公式将无人车横向移动距离更新为dist_cross′：
当无人车纵向移动d厘米时，记纵向移动移动后拍摄的图像与纵向移动前拍摄的图像相比，重叠区域的像素大小为s*t，设无人车纵向移动前后拍摄图像缩放比例为r，则有：
则当无人车纵向移动d厘米时，所拍摄图像的缩放比例的偏差为|r-1|，所拍摄图像的整体缩放比例的偏差为total_rate-1，有：
确定dist_line是否在区间[-2*er，2*er]内，根据以下公式将无人车纵向移动距离更新为dist_line′：
得到无人车横向移动距离dist_cross′，无人车纵向移动距离dist_line′。
进一步，所述基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数，包括：
将第一采集参数中的方位角和翻转角替换为更新后的方位角和更新后的翻转角，并增加无人车的横向移动距离，作为第二采集参数；
或，将第一采集参数中的翻转角替换为更新后的翻转角，并增加无人车的横向移动距离和纵向移动距离，作为第二采集参数。
一种无人车图像采集控制系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的无人车图像采集控制方法。
本发明的有益效果是：本发明公开一种无人车图像采集控制方法及系统，本发明通过从参考图像中提取得到第一特征点集，从初始图像中提取得到第二特征点集，基于第一特征点集和第二特征点集确定的匹配图像得到参考图像和初始图像的差异，通过更新第一采集参数，基于第二采集参数控制无人车自主地调整姿态和位置，控制摄像头再次采集图像，使得最终采集的图像比初始图像的图像质量高从而实现对目标的精准监测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中无人车图像采集控制方法的流程示意图；
图2是本发明实施例中水平方向偏差图的示意图；
图3是本发明实施例中纵向缩放的示意图。
具体实施方式
以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
参考图1，如图1所示为本申请实施例提供的一种无人车图像采集控制方法，所述方法包括以下步骤：
步骤S100、获取包含拍摄目标的参考图像；
步骤S200、控制设置于无人车上的摄像头采集包含拍摄目标的初始图像，确定所述摄像头在采集所述初始图像时的第一采集参数；其中，所述第一采集参数包括经度、纬度、方位角、翻转角、以及定位精度；
步骤S300、从所述参考图像中提取得到第一特征点集，从所述初始图像中提取得到第二特征点集，基于所述第一特征点集和第二特征点集确定匹配图像；
步骤S400、基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角；
步骤S500、基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离；
步骤S600、基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数；
步骤S700、采用第二采集参数控制摄像头拍摄得到包含拍摄目标的最终图像。
本发明提供的实施例中，无人车上设有控制装置，所述控制装置用于控制设置于无人车上的摄像头的平移和翻转，采集初始图像的姿态由方位角yaw和翻转角roll确定。参考图像可以来源于人工手动拍摄，或者选取无人车已采集的优质图像。本发明根据第一采集参数控制摄像头采集初始图像，分别提取参考图像和初始图像这两张图像的图像特征，以已获取的优质图像为参考，对比设置在无人车上的摄像头采集的初始图像和参考图像在平面位移和整体缩放比例，作为更新第一采集参数的依据，并按照更新得到的第二采集参数最终拍摄得到包含拍摄目标的图像，使无人车能采集到更贴切于参考图像，提高无人车采集图像的质量，其中，所述第二采集参数和第一采集参数采用相同的经度和纬度，即无人车的位置不做改变。本发明提出的无人车图像采集方法，可用于街景变化检测、大型设备群运行状况精准监测、无轨巡逻等场景。
在一个改进的实施例中，步骤S300中，所述基于所述第一特征点集和第二特征点集确定匹配图像，包括：
对所述第一特征点集和第二特征点集的进行特征点匹配；
采用特征点匹配优化方法对错误匹配的特征点进行过滤；
将过滤后的特征点形成匹配特征点集合，基于所述特征点集合得到匹配图像。
本步骤中，提取图像特征的方法包括但不限于SIFT(Scale-invariant-feature-trans form，尺度不变特征变换)、SURF(Speeded-Up-Robust-Features，加速稳健特征)、ORB(Oriented-Fastand-Rotated-Brief，定向快速旋转)；特征点匹配的方法包括但不限于B FMATCH(Brute-Froce-Matcher，暴力匹配方法)、KNN-MATCH(K近邻匹配方法)；特征点匹配优化方法包括但不限于距离度量、交叉匹配、RANSAC(Random-Sample-Consensus，随机抽样一致)。
在一个改进的实施例中，步骤S400中，所述基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，包括：
设所述初始图像和参考图像的分辨率均为X*Y，对所述初始图像和参考图像进行特征点提取、匹配并过滤错误匹配的特征点后产生n对匹配特征点，作为匹配特征点集合，根据所述n对匹配特征点形成匹配图像，将所述n对匹配特征点形成队列；
其中，List[j]表示n对匹配特征点形成的队列，a表示初始图像的像素点集合，b表示参考图像的像素点集合，j表示匹配特征点集合形成的匹配图像，j∈(a，b)，List[j][i]表示匹配图像j中的第i个匹配特征点，i∈(0，1，2，...，n)，第i个匹配特征点的像素坐标表示为(xji，yji)；
记匹配图像j(j∈(a，b))的中心特征点坐标为则有：
其中，(xji，yji)表示第i个匹配特征点在匹配图像中的坐标；
本实施例中，j∈(a，b)，j可以是初始图像a，也可以是参考图像b；
记初始图像中的匹配特征点集合的中心特征点坐标为则有：
其中，(xai，yai)表示匹配特征点集合中的第i个匹配特征点在初始图像中的坐标；
记参考图像中的匹配特征点集合的中心特征点坐标为则有：
其中，(xbi，ybi)表示匹配特征点集合中的第i个匹配特征点在参考图像中的坐标；
设所述初始图像和参考图像的平面位移偏差量为(Δx,Δy)，则有：
其中，Δx为所述初始图像和参考图像在水平方向的平面位移偏差量，Δy为所述初始图像和参考图像在垂直方向的平面位移偏差量。
在一个改进的实施例中，步骤S400中，所述基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角，包括：
将第一采集参数表示为Sensor＝[long，lat，yaw，roll，er]，其中，long为经度、lat为纬度、yaw为方位角、roll为翻转角、er为定位精度；
设无人车图像采集装置在水平方向每旋转一度，所拍摄的图像在水平方向上改变的像素值为h，根据水平方向的平面位移偏差量△x对第一采集参数中的方位角yaw进行更新，记更新后的方位角为new_yaw，则有：
设无人车采集图像装置在竖直方向每旋转一度，所拍摄的图像在竖直方向上改变的像素值为m，根据垂直方向的平面位移偏差量△y对第一采集参数中的翻转角roll进行更新，记更新后的翻转角为new_roll，则有：
本实施例中，通过更新第一采集参数中的方位角、翻转角，从而调整无人车采集图像的姿态，以达到无人车采集图像质量提高的目的。
在一个改进的实施例中，步骤S500中，所述基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，包括：
分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例；
根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例。
本实施例中，记匹配图像j(j∈(a，b))中的第k个特征点和第k+1个特征点之间的距离为dist_jk，k∈(1，2，...，(n-1))，则有：
在一个改进的实施例中，所述分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例，包括：
分别选取匹配图像中的第k个特征点和第k+1个特征点，k∈(1，2，...，(n-1))；
分别确定第k个特征点和第k+1个特征点在初始图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在初始图像中的距离：
其中，(xak,yak)表示第k个特征点在初始图像中的坐标，(xa(k+1),ya(k+1))表示第k+1个特征点在初始图像中的坐标，dist_ak表示第k个特征点和第k+1个特征点在初始图像中的距离；
分别确定第k个特征点和第k+1个特征点在参考图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在参考图像中的距离：
其中，(xbk,ybk)表示第k个特征点在参考图像中的坐标，(xb(k+1),yb(k+1))表示第k+1个特征点在参考图像中的坐标，dist_bk表示第k个特征点和第k+1个特征点在参考图像中的距离；
根据以下公式计算第k个特征点和第k+1个特征点的缩放比例为ratek：
其中，ratek表示第k个特征点和第k+1个特征点的缩放比例；
在另一实施例中，第k个特征点和第k+1个特征点的缩放比例也可以表示为rate′k，其中，ε为一个无穷小的数；
确定匹配图像中的全部特征点的缩放比例均被选取，共计算得到(n-1)个缩放比例。
需要说明的是，本发明提供的实施例中，i、k均为变量，用于对匹配图像j中的匹配特征点进行编号，在不同的实施例中，同一个特征点采用变量i、k分别赋值，本领域技术人员可根据具体实施例进行选用。
由于本发明实施例中计算缩放比例的方法极其依赖匹配点对的空间分布，为了避免或减少来自匹配错误对结果的影响，增加了以下的投票策略：
在一个改进的实施例中，所述根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例，包括：
根据以下方式将所述(n-1)个缩放比例划分为small类，normal类和large类，每个类在初始状态下所包含的缩放比例的数量均为0；
当缩放比例＜0.5时，将该缩放比例划分为small类；
当0.5≤缩放比例≤2时，将该缩放比例划分为normal类；
当缩放比例＞2时，将该缩放比例划分为large类；
当任一个类的个数大于(n-1)/2时，将该类所包含的缩放比例的均值作为匹配图像的整体缩放比例，记为total_rate，计算公式为：
其中，len(p)为第p类所包含的缩放比例的个数，ratep为第p类所包含的缩放比例的总和；
当三个类所包含的缩放比例的数量均小于(n-1)/2，记整体缩放比例total_rate等于1。
在一个改进的实施例中，步骤S500中，所述基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离，包括：
以设置于无人车上的摄像头方向为正前方，以dist_cross表示无人车的横向移动距离，即无人车向左或者向右移动的距离，当dist_cross大于零时，无人车向右移动|dist_cross|厘米，当dist_cross小于零时，无人车向左移动|dist_cross|厘米；
以dist_line表示无人车的纵向移动距离，即无人车向前或者向后移动的距离，当dist_line大于零时，无人车向前移动|dist_line|厘米，当dist_cross小于零时，无人车向后移动|dist_line|厘米；
如图2所示，假设当无人车横向移动d厘米时，所拍摄的图像相比无人车横向移动前拍摄的图像在水平方向上改变了q个像素点，则当初始图像和参考图像在水平方向上偏差Δx个像素时，有：
确定dist_cross是否在区间[-2*er，2*er]内，根据以下公式将无人车横向移动距离更新为dist_cross′：
即，当dist_cross不在区间[-2*er，2*er]内时，则根据以下公式将摄像头的横向移动距离更新为dist_cross′：
如图3所示，当无人车纵向移动d厘米时，记纵向移动移动后拍摄的图像与纵向移动前拍摄的图像相比，重叠区域的像素大小为s*t，设无人车纵向移动前后拍摄图像缩放比例为r，则有：
则当无人车纵向移动d厘米时，所拍摄图像的缩放比例的偏差为|r-1|，所拍摄图像的整体缩放比例的偏差为total_rate-1，有：
确定dist_line是否在区间[-2*er，2*er]内，根据以下公式将无人车纵向移动距离更新为dist_line′：
得到无人车横向移动距离dist_cross′，无人车纵向移动距离dist_line′。
在一个改进的实施例中，所述步骤S600包括：
将第一采集参数中的方位角和翻转角替换为更新后的方位角和更新后的翻转角，并增加无人车的横向移动距离，作为第二采集参数；
或，将第一采集参数中的翻转角替换为更新后的翻转角，并增加无人车的横向移动距离和纵向移动距离，作为第二采集参数。
综上所述，得到的第二采集参数可表示为：
Sensor＝[long，lat，new_yaw，new_roll，er，dist_line′]，或
Sensor＝[long，lat，yaw，new_roll，er，dist_cross′，dist_line′]。
本实施例中，通过更新第一采集参数中的方位角、翻转角，从而调整无人车采集图像的姿态，只能修正无人车在平面上的偏差，无法在整体缩放比例的偏差上做出调整；通过调整无人车的横向移动距离和纵向移动距离只能修正无人车在平面水平方向上的偏差和整体缩放比例上的偏差，无法在平面竖直方向上做出调整。本发明提供的实施例将两种方案的优点结合起来，平面水平方向上有更新方位角和增加无人车横向移动距离这个参数两种方法，二者可选其一；平面竖直方向上唯有更新翻转角；整体缩放比例上唯有增加无人车纵向移动距离这个参数。本发明将第一采集参数从平面的水平和竖直方向、空间的缩放比例方向进行全方位调整，以达到无人车采集图像质量提高的目的。
与图1的方法相对应，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有无人车图像采集控制程序，所述无人车图像采集控制程序被处理器执行时实现如上述任意一实施例所述的无人车图像采集控制方法的步骤。
与图1的方法相对应，本发明实施例还提供一种无人车图像采集控制系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一实施例所述的无人车图像采集控制方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
所述处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述无人车图像采集控制系统的控制中心，利用各种接口和线路连接整个无人车图像采集控制系统可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述无人车图像采集控制系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。

Claims (10)

1.一种无人车图像采集控制方法，其特征在于，所述方法包括以下步骤：
获取包含拍摄目标的参考图像；
控制设置于无人车上的摄像头采集包含拍摄目标的初始图像，确定所述摄像头在采集所述初始图像时的第一采集参数，所述第一采集参数包括经度、纬度、方位角、翻转角、以及定位精度；
从所述参考图像中提取得到第一特征点集，从所述初始图像中提取得到第二特征点集，基于所述第一特征点集和第二特征点集确定匹配图像；
基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角；
基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离；
基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数；
采用第二采集参数控制摄像头拍摄得到包含拍摄目标的最终图像。
2.根据权利要求1所述的一种无人车图像采集控制方法，其特征在于，所述基于所述第一特征点集和第二特征点集确定匹配图像，包括：
对所述第一特征点集和第二特征点集的进行特征点匹配；
采用特征点匹配优化方法对错误匹配的特征点进行过滤；
将过滤后的特征点形成匹配特征点集合，基于所述特征点集合得到匹配图像。
3.根据权利要求2所述的一种无人车图像采集控制方法，其特征在于，所述基于所述匹配图像确定所述初始图像和参考图像的平面位移偏差量，包括：
设所述初始图像和参考图像的分辨率均为X*Y，对所述初始图像和参考图像进行特征点提取、匹配并过滤错误匹配的特征点后产生n对匹配特征点，作为匹配特征点集合，根据所述n对匹配特征点形成匹配图像，将所述n对匹配特征点形成队列；
其中，List[j]表示n对匹配特征点形成的队列，a表示初始图像的像素点集合，b表示参考图像的像素点集合，j表示匹配特征点集合形成的匹配图像，j∈(a，b)，List[j][i]表示匹配图像j中的第i个匹配特征点，i∈(0，1，2，...，n)，第i个匹配特征点的像素坐标表示为(xji，yji)；
记初始图像中的匹配特征点集合的中心特征点坐标为则有：
其中，(xai，yai)表示匹配特征点集合中的第i个匹配特征点在初始图像中的坐标；
记参考图像中的匹配特征点集合的中心特征点坐标为则有：
其中，(xbi，ybi)表示匹配特征点集合中的第i个匹配特征点在参考图像中的坐标；
设所述初始图像和参考图像的平面位移偏差量为(Δx,Δy)，则有：
其中，Δx为所述初始图像和参考图像在水平方向的平面位移偏差量，Δy为所述初始图像和参考图像在垂直方向的平面位移偏差量。
4.根据权利要求3所述的一种无人车图像采集控制方法，其特征在于，所述基于所述平面位移偏差量对所述第一采集参数中的方位角和翻转角进行更新，得到更新后的方位角和更新后的翻转角，包括：
将第一采集参数表示为Sensor＝[long，lat，yaw，roll，er]，其中，long为经度、lat为纬度、yaw为方位角、roll为翻转角、er为定位精度；
设无人车图像采集装置在水平方向每旋转一度，所拍摄的图像在水平方向上改变的像素值为h，根据水平方向的平面位移偏差量△x对第一采集参数中的方位角yaw进行更新，记更新后的方位角为new_yaw，则有：
设无人车采集图像装置在竖直方向每旋转一度，所拍摄的图像在竖直方向上改变的像素值为m，根据垂直方向的平面位移偏差量△y对第一采集参数中的翻转角roll进行更新，记更新后的翻转角为new_roll，则有：
5.根据权利要求4所述的一种无人车图像采集控制方法，其特征在于，所述基于所述匹配图像确定所述初始图像和参考图像的整体缩放比例，包括：
分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例；
根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例。
6.根据权利要求5所述的一种无人车图像采集控制方法，其特征在于，所述分别计算所述匹配图像中的每个特征点及其相邻特征点的缩放比例，得到(n-1)个缩放比例，包括：
分别选取匹配图像中的第k个特征点和第k+1个特征点，k∈(1，2，...，(n-1))；
分别确定第k个特征点和第k+1个特征点在初始图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在初始图像中的距离：
其中，(xak,yak)表示第k个特征点在初始图像中的坐标，(xa(k+1),ya(k+1))表示第k+1个特征点在初始图像中的坐标，dist_ak表示第k个特征点和第k+1个特征点在初始图像中的距离；
分别确定第k个特征点和第k+1个特征点在参考图像中的坐标，根据以下公式得到第k个特征点和第k+1个特征点在参考图像中的距离：
其中，(xbk,ybk)表示第k个特征点在参考图像中的坐标，(xb(k+1),yb(k+1))表示第k+1个特征点在参考图像中的坐标，dist_bk表示第k个特征点和第k+1个特征点在参考图像中的距离；
根据以下公式计算第k个特征点和第k+1个特征点的缩放比例：
其中，ratek表示第k个特征点和第k+1个特征点的缩放比例；
确定匹配图像中的全部特征点的缩放比例均被选取，共计算得到(n-1)个缩放比例。
7.根据权利要求6所述的一种无人车图像采集控制方法，其特征在于，所述根据所述(n-1)个缩放比例确定所述匹配图像的整体缩放比例，包括：
根据以下方式将所述(n-1)个缩放比例划分为small类，normal类和large类，每个类在初始状态下所包含的缩放比例的数量均为0；
当缩放比例＜0.5时，将该缩放比例划分为small类；
当0.5≤缩放比例≤2时，将该缩放比例划分为normal类；
当缩放比例＞2时，将该缩放比例划分为large类；
当任一个类的个数大于(n-1)/2时，将该类所包含的缩放比例的均值作为匹配图像的整体缩放比例，记为total_rate，计算公式为：
其中，len(p)为第p类所包含的缩放比例的个数，ratep为第p类所包含的缩放比例的总和；
当三个类所包含的缩放比例的数量均小于(n-1)/2，记整体缩放比例total_rate等于1。
8.根据权利要求7所述的一种无人车图像采集控制方法，其特征在于，所述基于所述整体缩放比例确定无人车的横向移动距离和纵向移动距离，包括：
以设置于无人车上的摄像头方向为正前方，以dist_cross表示无人车的横向移动距离，即无人车向左或者向右移动的距离，当dist_cross大于零时，无人车向右移动|dist_cross|厘米，当dist_cross小于零时，无人车向左移动|dist_cross|厘米；
以dist_line表示无人车的纵向移动距离，即无人车向前或者向后移动的距离，当dist_line大于零时，无人车向前移动|dist_line|厘米，当dist_cross小于零时，无人车向后移动|dist_line|厘米；
假设当无人车横向移动d厘米时，所拍摄的图像相比无人车横向移动前拍摄的图像在水平方向上改变了q个像素点，则当初始图像和参考图像在水平方向上偏差Δx个像素时，有：
确定dist_cross是否在区间[-2*er，2*er]内，根据以下公式将无人车横向移动距离更新为dist_cross′：
当无人车纵向移动d厘米时，记纵向移动移动后拍摄的图像与纵向移动前拍摄的图像相比，重叠区域的像素大小为s*t，设无人车纵向移动前后拍摄图像缩放比例为r，则有：
则当无人车纵向移动d厘米时，所拍摄图像的缩放比例的偏差为|r-1|，所拍摄图像的整体缩放比例的偏差为total_rate-1，有：
确定dist_line是否在区间[-2*er，2*er]内，根据以下公式将无人车纵向移动距离更新为dist_line′：
得到无人车横向移动距离dist_cross′，无人车纵向移动距离dist_line′。
9.根据权利要求8所述的一种无人车图像采集控制方法，其特征在于，所述基于所述更新后的方位角、更新后的翻转角、无人车的横向移动距离和纵向移动距离对所述第一采集参数进行更新，得到第二采集参数，包括：
将第一采集参数中的方位角和翻转角替换为更新后的方位角和更新后的翻转角，并增加无人车的横向移动距离，作为第二采集参数；
或，将第一采集参数中的翻转角替换为更新后的翻转角，并增加无人车的横向移动距离和纵向移动距离，作为第二采集参数。
10.一种无人车图像采集控制系统，其特征在于，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1至9任一项所述的无人车图像采集控制方法。
CN202110245032.8A 2021-03-05 2021-03-05 一种无人车图像采集控制方法及系统 Active CN112989982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245032.8A CN112989982B (zh) 2021-03-05 2021-03-05 一种无人车图像采集控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245032.8A CN112989982B (zh) 2021-03-05 2021-03-05 一种无人车图像采集控制方法及系统

Publications (2)

Publication Number Publication Date
CN112989982A CN112989982A (zh) 2021-06-18
CN112989982B true CN112989982B (zh) 2024-04-30

Family

ID=76353042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245032.8A Active CN112989982B (zh) 2021-03-05 2021-03-05 一种无人车图像采集控制方法及系统

Country Status (1)

Country Link
CN (1) CN112989982B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014119901A (ja) * 2012-12-14 2014-06-30 Secom Co Ltd 自律移動ロボット
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
CN106529587A (zh) * 2016-08-26 2017-03-22 北京航空航天大学 基于目标点识别的视觉航向识别方法
CN106525049A (zh) * 2016-11-08 2017-03-22 山东大学 一种基于计算机视觉的四足机器人本体位姿跟踪方法
CN106548486A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN108154558A (zh) * 2017-11-21 2018-06-12 中电海康集团有限公司 一种增强现实方法、装置和系统
CN108507574A (zh) * 2018-03-19 2018-09-07 佛山科学技术学院 一种面向移动群体感知照片数据采集的空间导航方法
WO2018176426A1 (zh) * 2017-03-31 2018-10-04 深圳市大疆创新科技有限公司 一种无人机的飞行控制方法及无人机
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法
JP2020030721A (ja) * 2018-08-24 2020-02-27 株式会社ダイヘン 移動体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014119901A (ja) * 2012-12-14 2014-06-30 Secom Co Ltd 自律移動ロボット
CN104802166A (zh) * 2013-10-10 2015-07-29 精工爱普生株式会社 机器人控制系统、机器人、程序以及机器人控制方法
WO2015096806A1 (zh) * 2013-12-29 2015-07-02 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN106529587A (zh) * 2016-08-26 2017-03-22 北京航空航天大学 基于目标点识别的视觉航向识别方法
CN106548486A (zh) * 2016-11-01 2017-03-29 浙江大学 一种基于稀疏视觉特征地图的无人车位置跟踪方法
CN106525049A (zh) * 2016-11-08 2017-03-22 山东大学 一种基于计算机视觉的四足机器人本体位姿跟踪方法
WO2018176426A1 (zh) * 2017-03-31 2018-10-04 深圳市大疆创新科技有限公司 一种无人机的飞行控制方法及无人机
CN108154558A (zh) * 2017-11-21 2018-06-12 中电海康集团有限公司 一种增强现实方法、装置和系统
CN108507574A (zh) * 2018-03-19 2018-09-07 佛山科学技术学院 一种面向移动群体感知照片数据采集的空间导航方法
JP2020030721A (ja) * 2018-08-24 2020-02-27 株式会社ダイヘン 移動体
CN109387204A (zh) * 2018-09-26 2019-02-26 东北大学 面向室内动态环境的移动机器人同步定位与构图方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Prototype of Unmanned Aerial Vehicle for Image Acquisition;Paweł Iwaneczko 等;《ICCVG 2012: Computer vision and graphics》;20121231;87–94 *
Simulation Study of Homography-Based Vision-Aided Inertial Navigation for Aerial Vehicles;Kai-Yew Lum 等;《11th IEEE International Conference on Control&Automation(ICCA)》;20140807;1357-1362 *
段华旭 等.无人车基于双目视觉的同时定位与地图构建.《华中科技大学学报(自然科学版)》.2015,(第S1期),319-323. *
面向自然场景识别的和积网络建模方法研究;胡启根;《中国优秀硕士学位论文全文数据库信息科技辑》;20190815(第2019(08)期);I138-861 *

Also Published As

Publication number Publication date
CN112989982A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN109859278B (zh) 车载相机系统相机外参的标定方法及标定系统
US8698875B2 (en) Estimation of panoramic camera orientation relative to a vehicle coordinate frame
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
CN108550162B (zh) 一种基于深度强化学习的物体检测方法
US20110285810A1 (en) Visual Tracking Using Panoramas on Mobile Devices
CN110113560B (zh) 视频智能联动的方法及服务器
CN107843251A (zh) 移动机器人的位姿估计方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
US11785340B2 (en) Signal processing device, signal processing method, and parameter search method
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN110738601A (zh) 一种基于三维人脸模型低分辨率人脸图像超分辨率重建方法
CN113724297A (zh) 基于事件相机的跟踪方法
CN110827321A (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN116309719A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN112989982B (zh) 一种无人车图像采集控制方法及系统
CN114581678A (zh) 一种模板特征匹配的自动跟踪与重识别方法
CN115705651A (zh) 视频运动估计方法、装置、设备和计算机可读存储介质
CN114095780A (zh) 一种全景视频剪辑方法、装置、存储介质及设备
CN111955005B (zh) 处理360度图像内容的方法和系统
CN111612827A (zh) 基于多摄像头的目标位置确定方法、装置和计算机设备
CN115019515B (zh) 成像控制方法及系统
CN115022549B (zh) 拍摄构图方法、装置、计算机设备和存储介质
CN112991449B (zh) 一种agv定位与建图方法、系统、装置及介质
WO2022257778A1 (zh) 拍摄装置状态识别方法、装置、计算机设备和存储介质
CN107194947B (zh) 一种自适应自纠正的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant