CN109146966A - 视觉slam前端处理方法、系统、存储介质及计算机设备 - Google Patents

视觉slam前端处理方法、系统、存储介质及计算机设备 Download PDF

Info

Publication number
CN109146966A
CN109146966A CN201810671862.5A CN201810671862A CN109146966A CN 109146966 A CN109146966 A CN 109146966A CN 201810671862 A CN201810671862 A CN 201810671862A CN 109146966 A CN109146966 A CN 109146966A
Authority
CN
China
Prior art keywords
aperture time
value
image
camera
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810671862.5A
Other languages
English (en)
Other versions
CN109146966B (zh
Inventor
罗汉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201810671862.5A priority Critical patent/CN109146966B/zh
Publication of CN109146966A publication Critical patent/CN109146966A/zh
Application granted granted Critical
Publication of CN109146966B publication Critical patent/CN109146966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明提供一种视觉SLAM前端处理方法、系统、可读存储介质及计算机设备,所述方法包括:将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间;获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像;将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。本发明当中的视觉SLAM前端处理方法,直接将摄像头的快门时间设定为当前拍摄场景下的能拍出最佳图像质量的特定快门时间,以确保摄像头能够拍出稳定且较高质量的图像,同时还将摄像头拍摄的图像转换为特征点稳定的辐照度图后再作为输入图,从而提高视觉SLAM的定位精度。

Description

视觉SLAM前端处理方法、系统、存储介质及计算机设备
技术领域
本发明涉及视觉SLAM技术领域,特别涉及一种视觉SLAM前端处理方法、系统、存储介质及计算机设备。
背景技术
SLAM(Simultaneous localization and mapping,同步定位与地图构建)技术是一项希望机器人从未知环境的未知地点出发,在运动过程中通过重复观测到的地图特征(比如,墙角,柱子等)定位自身位置和姿态,再根据自身位置增量式的构建地图,来达到同时定位和地图构建的技术。
在视觉SLAM中,分为前端和后端,前端主要负责获取输入图,后端则通过在输入图中提取特征点,然后在图片间一一匹配这些特征点,通过匹配点的图像坐标信息还原出摄像头的位姿信息,从而实现定位功能。
为了提高定位精度,视觉SLAM要求输入图应具有较好且稳定的图像质量,以能够从图中获得尽可能多且稳定的匹配特征点。然而,现有技术当中,目前的视觉SLAM前端直接将摄像头拍摄的图片输入给视觉SLAM系统,导致输入图的质量和稳定性不能够得到保障,导致视觉SLAM的定位精度差。
发明内容
基于此,本发明的目的是提供一种视觉SLAM前端处理方法、系统、可读存储介质及计算机设备,以改善现有技术当中视觉SLAM定位精度差的技术问题。
根据本发明实施例的一种视觉SLAM前端处理方法,包括:
将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间;
获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像;
将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
另外,根据本发明上述实施例的一种视觉SLAM前端处理方法,还可以具有如下附加的技术特征:
进一步地,在所述将摄像头的快门时间设定为当前拍摄场景下的特定快门时间的步骤之前,还包括:
将所述摄像头的快门时间设定为初始快门时间;
获取所述摄像头在所述当前拍摄场景下以当前设定的快门时间拍摄的原始图像;
获取所述原始图像在预设的各光圈参数下的对比图像;
分别计算出每张所述对比图像的质量评估值,以得到最大质量评估值的目标对比图像;
根据所述目标对比图像的所述光圈参数,计算出下一个快门时间;
判断所述下一个快门时间是否与所述摄像头当前设定的快门时间一致;
若否,则将所述下一个快门时间设置给所述摄像头,并返回执行所述获取所述摄像头在所述当前拍摄场景下以当前设定的快门时间拍摄的原始图像的步骤;
若是,则将所述下一个快门时间做为所述特定快门时间。
进一步地,在所述将所述摄像头的快门时间设定为初始快门时间的步骤之前,还包括:
分别获取所述摄像头在各个预设快门时间下拍摄的测试图像;
分别计算出每张所述测试图像的质量评估值,以得到最大质量评估值的目标测试图像;
将所述目标测试图像对应的所述预设快门时间作为所述初始快门时间。
进一步地,计算所述对比图像的质量评估值的步骤包括:
计算出所述对比图像的图片纹理值及各像素点的像素值的梯度向量值,并对计算出的各个所述梯度向量值按照预设排列规则进行排序,以得到所述对比图像的梯度值集合;
根据梯度值集合与梯度质量评估值之间的函数关系,计算出所述对比图像的梯度质量评估值;
根据梯度质量评估值和图片纹理值之间的函数关系,计算出所述对比图像的质量评估值。
进一步地,梯度向量值的计算公式为:
其中I(x,y)代表所述对比图像的像素点的像素值;
梯度值集合与梯度质量评估值之间的函数关系为:Wi为权重值,其表达式为,
其中,M为所述对比图像的梯度质量评估值,Gi为所述对比图像的梯度值集合G={g(x,y)}中的第i个数,i∈[0,s),w为所述对比图像的长度,h为所述对比图像的高度,s=w*h;
梯度质量评估值和图片纹理值之间的函数关系为:Q=ME,Q为所述对比图像的质量评估值,E为所述对比图像的图片纹理值,其表达式为:
所述下一个快门时间的计算公式为:Δtnext=Δt*(1+c*k′),Δt为所述摄像头当前设定的快门时间,c为控制参数,c∈(0,1],k’为所述目标对比图像的所述光圈参数。
进一步地,所述将所述灰度图像转化为对应的辐照度图的布置包括:
分别计算出所述灰度图像中各像素点的像素值;
根据像素值与辐照度之间的函数关系,将所述灰度图像中各像素点的像素值转化为对应的辐照度;
根据所述灰度图像中各像素点的辐照度,对所述灰度图像进行渲染,以得到对应的所述辐照度图。
进一步地,像素值与辐照度之间的函数关系为:
B(x,y)=f(I(x,y))/Δt
其中,I(x,y)代表灰度值,B(x,y)代表辐照度,Δt为特定快门时间。
根据本发明实施例的一种视觉SLAM前端处理系统,包括:
快门设定模块,用于将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间;
图像获取模块,用于获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像;
图像转化模块,用于将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的视觉SLAM前端处理方法。
本发明还提出一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的视觉SLAM前端处理方法。
本发明当中的视觉SLAM前端处理方法、系统、可读存储介质及计算机设备,由于摄像头的快门时间直接影响着图像的像素,进而影响图像的质量,故本发明直接将摄像头的快门时间设定为当前拍摄场景下的能拍出最佳图像质量的特定快门时间,以确保摄像头始终以特定的快门时间拍出稳定且较高质量的图像;同时由于物体的辐照度是一个相对固定值,而灰度值则变化较大,故本方法并不直接将拍摄图像作为输入图,而是将摄像头拍摄的图像转换为对应的辐照度图,以保障图像中的特征点更加稳定,以为后面的SLAM系统提供一个稳定的信息数据,进而提高视觉SLAM的定位精度。
附图说明
图1为本发明第一实施例中的视觉SLAM前端处理方法的流程图;
图2为本发明第二实施例中的视觉SLAM前端处理方法的流程图;
图3为本发明第二实施例中的不同光圈大小k下的图像变化示意图;
图4为本发明第二实施例中的计算对比图像质量评估值的具体实施流程图;
图5为本发明第二实施例中将灰度图像转化为辐照度图的具体实施流程图;
图6为本发明第二实施例中的获取初始快门时间的具体实施流程图;
图7为本发明第三实施例中的视觉SLAM前端处理系统的结构示意图。
主要元件符号说明:
快门设定模块 11 图像获取模块 12
图像转化模块 13 初始设置模块 14
原图获取模块 15 对比获取模块 16
质量评估模块 17 快门计算模块 18
快门判断模块 19 循环设置模块 20
特定生成模块 21 测试获取模块 22
评估计算模块 23 初始生成模块 24
梯度向量计算单元 171 第一计算单元 172
第二计算单元 173 像素值计算单元 131
辐照度计算单元 132 渲染单元 133
以下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是,当元件被称为“固设于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1,所示为本发明第一实施例中的视觉SLAM前端处理方法,包括步骤S01至步骤S03。
步骤S01,将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间。
其中,快门是摄像器材中用来控制光线照射感光元件时间的装置,也是用来控制感光元件有效曝光时间的机构。快门时间等同于曝光时间,快门时间越大,感光元件的曝光时间越长,而曝光时间直接影响这拍摄图像的质量。
需要指出的是,摄像头对于不同拍摄场景其要求的曝光时间也存在不同,例如白天曝光时间小于晚上的曝光时间,而每个拍摄场景均会存在一个特定的曝光时间,以达到最佳的拍摄质量。
基于此,在具体实施时,可针对每个拍摄场景分别获取摄像头在不同快门时间下拍摄的多张图像,并根据各拍摄图像的质量,来确定当前拍摄场景下的最佳快门时间,即为当前拍摄场景下的特定快门时间。同时,在其它实施例当中,还可以将每个拍摄场景下对应的最佳快门时间存入映射表当中,以根据识别的不同拍摄场景,自动设置该场景下的特定快门时间。
步骤S02,获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像。
步骤S03,将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
其中,辐照度是用来描述物体表面单位面积总的入射能量的物理参数,其与图像灰度值存在一定的对应关系。由于物体的辐照度是一个相对固定值,因此对于同一拍摄场景,获得的各辐照度图中的特征点较为稳定。
需要指出的是,图像特征点的获得是基于图片中的梯度信息。图片的梯度向量定义为:假设在图像I在点(x,y)有像素值I(x,y),则点(x,y)的梯度向量为:
其中,T表示矩阵转置,表示为一个列向量。当像素点所在位置的梯度向量值越大时,越有可能被判断为是特征点。所以,为了增加图片中特征点的数目,这需要我们图片的梯度信息尽可能地大,即要求图像的质量越好,本实施例通过设置最佳快门时间来保证图像质量。而在对特征点进行匹配时,会对比特征点所在区域的图像参数信息,如果两个特征点所在区域参数信息一致,则认为这两个特征点指向了空间中的同一个位置,因此我们需要图片中的信息尽可能地稳定,本实施例通过将拍摄图像转化为辐照度图来保证图像信息尽可能地稳定。
综上,本发明上述实施例当中的视觉SLAM前端处理方法,由于摄像头的快门时间直接影响着图像的像素,进而影响图像的质量,故本发明直接将摄像头的快门时间设定为当前拍摄场景下的能拍出最佳图像质量的特定快门时间,以确保摄像头始终以特定的快门时间拍出稳定且较高质量的图像;同时由于物体的辐照度是一个相对固定值,而灰度值则变化较大,故本方法并不直接将拍摄图像作为输入图,而是将摄像头拍摄的图像转换为对应的辐照度图,以保障图像中的特征点更加稳定,以为后面的SLAM系统提供一个稳定的信息数据,进而提高视觉SLAM的定位精度。
请参阅图2,所示为本发明第二实施例中的视觉SLAM前端处理方法,包括步骤S11至步骤S20。
首先,设置步骤S11至步骤S18的目的在于,获取摄像头在当前拍摄场景的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间,获取的主要过程为通过增大/减少快门时间(以初始快门时间开始),来获知图片发生的变化,以最终确定一个最佳快门时间。
步骤S11,将所述摄像头的快门时间设定为初始快门时间。
其中,初始快门时间可进行预设,预设的根据可以为当前拍摄场景的已知快门时间范围。
步骤S12,获取所述摄像头在当前拍摄场景下以当前设定的快门时间拍摄的原始图像。
步骤S13,获取所述原始图像在预设的各光圈参数下的对比图像。
具体实施时,本步骤通过模仿光圈的变化来对图片进行曝光预测,主要为针对图片中每一个像素点I(x,y)进行一次fF-stop(I(x,y),k)操作,如下:
其中,k为光圈大小参数,一般设置为-1、-0.5、0、0.5和1,fF-stop函数模仿了摄像头的光圈值k发生改变时,图片灰度值发生的变化,如图3所示。
由图3可以看出,当k为负数并且越小时,光圈值越小,曝光量越少,图片越暗;当k为正数并且越大时,光圈越大,曝光量越多,图片越亮(k为0时表示原图)。因此可以对原图I进行一系列的fF-stop操作,模仿由于快门时间变化而对曝光量所造成变化。
步骤S14,分别计算出每张所述对比图像的质量评估值,以得到最大质量评估值的目标对比图像。
可以理解的,经过了步骤S11至步骤S14的处理后,将获得多张不同k值的图片Ik,本步骤对于每一张IK计算对应的图片质量值Q(Ik),从而得到最大质量评估值的目标对比图像,这里将目标对比图像的光圈大小k定义为k’。
具体地,请查阅图4,所示为本步骤当中计算所述对比图像的质量评估值的具体实施流程图,包括步骤S141至步骤S143。
步骤S141,计算出所述对比图像的图片纹理值及各像素点的像素值的梯度向量值,并对计算出的各个所述梯度向量值按照预设排列规则进行排序,以得到所述对比图像的梯度值集合。
其中,梯度向量值的计算公式为:
其中I(x,y)代表所述对比图像的像素点的像素值(灰度值),g(x,y)代表所述对比图像的对应像素点的梯度向量值;
步骤S142,根据梯度值集合与梯度质量评估值之间的函数关系,计算出所述对比图像的梯度质量评估值。
其中,梯度值集合与梯度质量评估值之间的函数关系为:Wi为权重值,其表达式为,
其中,M为所述对比图像的梯度质量评估值,Gi为所述对比图像的梯度值集合G={g(x,y)}中的第i个数,i∈[0,s),w为所述对比图像的长度,h为所述对比图像的高度,s=w*h,通常的p=0.8,k=5。
需要指出的是,通过梯度质量评估函数M能得到一个描述了图片I的梯度信息量的值,值越大时表示图片I的梯度信息越多。权重函数Wi的作用在于压制过小/过大的梯度值,避免图片噪点等干扰。
步骤S143,根据梯度质量评估值和图片纹理值之间的函数关系,计算出所述对比图像的质量评估值。
其中,梯度质量评估值和图片纹理值之间的函数关系为:Q=ME,Q为所述对比图像的质量评估值,E为所述对比图像的图片纹理值,其表达式为:
需要指出的是,函数E给出了一个描述图片I中纹理信息量大小的值,当E的值越大时,表示图片中纹理越丰富。图片质量评估函数Q是用于估计图片I的图片质量,当Q的值越大时,认为图片的质量越好,图中可获取的特征点数量越多。
步骤S15,根据所述目标对比图像的所述光圈参数,计算出下一个快门时间。
其中,所述下一个快门时间的计算公式为:Δtnext=Δt*(1+c*k′),Δt为所述摄像头当前设定的快门时间,c为控制参数,c∈(0,1],通常选择c为0.2,k’为所述目标对比图像的所述光圈参数。
步骤S16,判断所述下一个快门时间是否与所述摄像头当前设定的快门时间一致。
其中,当判断到所述下一个快门时间不是与所述摄像头当前设定的快门时间一致时,则执行步骤S17,当判断到所述下一个快门时间是与所述摄像头当前设定的快门时间一致时,则执行步骤S18。
步骤S17,将所述下一个快门时间设置给所述摄像头,并返回执行所述步骤S12。
需要指出的是,当图像过暗时,Δtnext的值会变大;当图像过亮时,Δtnext的值会变小;但图片质量最好时,k’的值为0,Δtnext保持不变。因此对于同一个场景,无论起始快门时间为何值,经过上述方法不断迭代后,最终会稳定于一个快门值,这个值即为当前场景下的特定快门时间,获得一张质量较好的图片。
步骤S18,将所述下一个快门时间做为所述当前拍摄场景下的特定快门时间,并设定所述摄像头。
步骤S19,获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像。
步骤S20,将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
其中,请参阅图5,所示为本步骤当中将所述灰度图像转化为对应的辐照度图的具体实施流程图,包括步骤S201至步骤S203。
步骤S201,分别计算出所述灰度图像中各像素点的像素值。
步骤S202,根据像素值与辐照度之间的函数关系,将所述灰度图像中各像素点的像素值转化为对应的辐照度。
其中,像素值与辐照度之间的函数关系为:
B(x,y)=f(I(x,y))/Δt
其中,I(x,y)代表灰度值,B(x,y)代表辐照度,Δt为特定快门时间。
上述公式的演变过程为:由于辐照度是用来描述物体表面单位面积总的入射能量的物理参数,其与图片灰度值I有以下关系:
I(x,y)=g(Δt*B(x,y))
依据上述公式可以看出,图片的灰度值I(x,y)是由物体的辐照度B(x,y)和摄像头的快门时间Δt共同决定的。对于同一个物体,在同一拍摄场景下,其辐照度B(x,y)一致,但快门时间改变时,所产生的图片灰度值也会不一样。
这里,可以对摄像头进行光度标定的操作,具体而言,在同一场景下,摄像头在不同快门时间下,重复拍照得到一系列图像。由于场景不变,B在不同图像中是一样的,图像灰度值的差异来源于曝光时间和响应函数g,然后经过光度标定(可使用经典的Debevec法来实现),即能获得灰度值与辐照度B之间的响应函数,即为B(x,y)=f(I(x,y))/Δt。
步骤S203,根据所述灰度图像中各像素点的辐照度,对所述灰度图像进行渲染,以得到对应的所述辐照度图。
除此之外,通过上述步骤可知,无论快门初始时间如何,对于同一个场景,经过步骤S11至步骤S17的不断迭代之后,最终都会令快门速度值稳定于一个最优值。但可以理解的,当快门初始时间与最优值相差太远时,需要较长的迭代时间才能得到该最优值。
基于此,在具体实施时,所述视觉SLAM前端处理方法还可以包括:请查阅图6,所示为在步骤S11之前获取所述初始快门时间的具体实施流程图,包括步骤S111至步骤S113:
步骤S111,分别获取所述摄像头在各个预设快门时间下拍摄的测试图像;
步骤S112,分别计算出每张所述测试图像的质量评估值,以得到最大质量评估值的目标测试图像;
可以理解的,在本步骤中计算测试图像的质量评估值的方式可以根据上述计算对比图像的质量评估值的方式来实现。
步骤S113,将所述目标测试图像对应的所述预设快门时间作为所述初始快门时间。
为了减少第一次运行程序时的迭代时间,首先根据一组给定的快门时间(预设快门时间)T={Δti;i=1...n},拍摄一系列照片即以每个预设快门时间拍摄一张图像,根据经验,我们一般将T设置为T={1,5,10,100},单位为毫秒;然后根据计算对比图像的质量评估值的一系列公式,得出各照片的图片质量值此时即可得到质量值最大的图片,由于快门时间越接近最优值,其对应拍摄的图像质量越好,因此这里将质量值最大的图片对应的预设快门时间作为初始快门时间,这样做的好处是,让上述步骤S11至步骤S17能够以一个比较快的时间使得快门时间达到稳定在一个最优值(即节省特定快门时间的获取时间)。
本发明另一方面还提供一种视觉SLAM前端处理系统,请查阅图7,所示为本发明第三实施例中的视觉SLAM前端处理系统,包括:
快门设定模块11,用于将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间;
图像获取模块12,用于获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像;
图像转化模块13,用于将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
进一步地,所述视觉SLAM前端处理系统还包括:
初始设置模块14,用于将所述摄像头的快门时间设定为初始快门时间;
原图获取模块15,用于获取所述摄像头在所述当前拍摄场景下以当前设定的快门时间拍摄的原始图像;
对比获取模块16,用于获取所述原始图像在预设的各光圈参数下的对比图像;
质量评估模块17,用于分别计算出每张所述对比图像的质量评估值,以得到最大质量评估值的目标对比图像;
快门计算模块18,用于根据所述目标对比图像的所述光圈参数,计算出下一个快门时间;
快门判断模块19,用于判断所述下一个快门时间是否与所述摄像头当前设定的快门时间一致;
循环设置模块20,用于在判断到所述下一个快门时间不与所述摄像头当前设定的快门时间一致时,将所述下一个快门时间设置给所述摄像头,当设置完成之后,所述原图获取模块15再次获取所述摄像头在所述当前拍摄场景下以当前设定的快门时间拍摄的原始图像;
特定生成模块21,用于在判断到所述下一个快门时间是与所述摄像头当前设定的快门时间一致时,将所述下一个快门时间做为所述特定快门时间。
进一步地,所述视觉SLAM前端处理系统还包括:
测试获取模块22,用于分别获取所述摄像头在各个预设快门时间下拍摄的测试图像;
评估计算模块23,用于分别计算出每张所述测试图像的质量评估值,以得到最大质量评估值的目标测试图像;
初始生成模块24,用于将所述目标测试图像对应的所述预设快门时间作为所述初始快门时间。
进一步地,所述质量评估模块17包括:
梯度向量计算单元171,用于计算出所述对比图像的图片纹理值及各像素点的像素值的梯度向量值,并对计算出的各个所述梯度向量值按照预设排列规则进行排序,以得到所述对比图像的梯度值集合;
第一计算单元172,用于根据梯度值集合与梯度质量评估值之间的函数关系,计算出所述对比图像的梯度质量评估值;
第二计算单元173,用于根据梯度质量评估值和图片纹理值之间的函数关系,计算出所述对比图像的质量评估值。
进一步地,梯度向量值的计算公式为:
其中I(x,y)代表所述对比图像的像素点的像素值;
梯度值集合与梯度质量评估值之间的函数关系为:Wi为权重值,其表达式为,
其中,M为所述对比图像的梯度质量评估值,Gi为所述对比图像的梯度值集合G={g(x,y)}中的第i个数,i∈[0,s),w为所述对比图像的长度,h为所述对比图像的高度,s=w*h;
梯度质量评估值和图片纹理值之间的函数关系为:Q=ME,Q为所述对比图像的质量评估值,E为所述对比图像的图片纹理值,其表达式为:
所述下一个快门时间的计算公式为:Δtnext=Δt*(1+c*k′),Δt为所述摄像头当前设定的快门时间,c为控制参数,c∈(0,1],k’为所述目标对比图像的所述光圈参数。
进一步地,所述图像转化模块13包括:
像素值计算单元131,用于分别计算出所述灰度图像中各像素点的像素值;
辐照度计算单元132,用于根据像素值与辐照度之间的函数关系,将所述灰度图像中各像素点的像素值转化为对应的辐照度;
渲染单元133,用于根据所述灰度图像中各像素点的辐照度,对所述灰度图像进行渲染,以得到对应的所述辐照度图。
进一步地,像素值与辐照度之间的函数关系为:
B(x,y)=f(I(x,y))/Δt
其中,I(x,y)代表灰度值,B(x,y)代表辐照度,Δt为特定快门时间。
综上,本发明上述实施例当中的视觉SLAM前端处理系统,由于摄像头的快门时间直接影响着图像的像素,进而影响图像的质量,故本发明直接将摄像头的快门时间设定为当前拍摄场景下的能拍出最佳图像质量的特定快门时间,以确保摄像头始终以特定的快门时间拍出稳定且较高质量的图像;同时由于物体的辐照度是一个相对固定值,而灰度值则变化较大,故本方法并不直接将拍摄图像作为输入图,而是将摄像头拍摄的图像转换为对应的辐照度图,以保障图像中的特征点更加稳定,以为后面的SLAM系统提供一个稳定的信息数据,进而提高视觉SLAM的定位精度。
本发明还提出一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述的视觉SLAM前端处理方法。
本发明还提出一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述的视觉SLAM前端处理方法。
其中,所述计算机设备是用于执行SLAM算法的设备,可以为但不限于电脑、机器人等,可根据实际对象来定。
综上,本发明当中的计算机设备,由于摄像头的快门时间直接影响着图像的像素,进而影响图像的质量,故本发明直接将摄像头的快门时间设定为当前拍摄场景下的能拍出最佳图像质量的特定快门时间,以确保摄像头始终以特定的快门时间拍出稳定且较高质量的图像;同时由于物体的辐照度是一个相对固定值,而灰度值则变化较大,故本方法并不直接将拍摄图像作为输入图,而是将摄像头拍摄的图像转换为对应的辐照度图,以保障图像中的特征点更加稳定,以为后面的SLAM系统提供一个稳定的信息数据,进而提高视觉SLAM的定位精度。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视觉SLAM前端处理方法,其特征在于,包括:
将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间;
获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像;
将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
2.根据权利要求1所述的视觉SLAM前端处理方法,其特征在于,在所述将摄像头的快门时间设定为当前拍摄场景下的特定快门时间的步骤之前,还包括:
将所述摄像头的快门时间设定为初始快门时间;
获取所述摄像头在所述当前拍摄场景下以当前设定的快门时间拍摄的原始图像;
获取所述原始图像在预设的各光圈参数下的对比图像;
分别计算出每张所述对比图像的质量评估值,以得到最大质量评估值的目标对比图像;
根据所述目标对比图像的所述光圈参数,计算出下一个快门时间;
判断所述下一个快门时间是否与所述摄像头当前设定的快门时间一致;
若否,则将所述下一个快门时间设置给所述摄像头,并返回执行所述获取所述摄像头在所述当前拍摄场景下以当前设定的快门时间拍摄的原始图像的步骤;
若是,则将所述下一个快门时间做为所述特定快门时间。
3.根据权利要求2所述的视觉SLAM前端处理方法,其特征在于,在所述将所述摄像头的快门时间设定为初始快门时间的步骤之前,还包括:
分别获取所述摄像头在各个预设快门时间下拍摄的测试图像;
分别计算出每张所述测试图像的质量评估值,以得到最大质量评估值的目标测试图像;
将所述目标测试图像对应的所述预设快门时间作为所述初始快门时间。
4.根据权利要求2所述的视觉SLAM前端处理方法,其特征在于,计算所述对比图像的质量评估值的步骤包括:
计算出所述对比图像的图片纹理值及各像素点的像素值的梯度向量值,并对计算出的各个所述梯度向量值按照预设排列规则进行排序,以得到所述对比图像的梯度值集合;
根据梯度值集合与梯度质量评估值之间的函数关系,计算出所述对比图像的梯度质量评估值;
根据梯度质量评估值和图片纹理值之间的函数关系,计算出所述对比图像的质量评估值。
5.根据权利要求4所述的视觉SLAM前端处理方法,其特征在于,梯度向量值的计算公式为:
其中I(x,y)代表所述对比图像的像素点的像素值;
梯度值集合与梯度质量评估值之间的函数关系为:Wi为权重值,其表达式为,
其中,M为所述对比图像的梯度质量评估值,Gi为所述对比图像的梯度值集合G={g(x,y)}中的第i个数,i∈[0,s),w为所述对比图像的长度,h为所述对比图像的高度,s=w*h;
梯度质量评估值和图片纹理值之间的函数关系为:Q=ME,Q为所述对比图像的质量评估值,E为所述对比图像的图片纹理值,其表达式为:
所述下一个快门时间的计算公式为:Δtnext=Δt*(1+c*k′),Δt为所述摄像头当前设定的快门时间,c为控制参数,c∈(0,1],k’为所述目标对比图像的所述光圈参数。
6.根据权利要求1所述的视觉SLAM前端处理方法,其特征在于,所述将所述灰度图像转化为对应的辐照度图的布置包括:
分别计算出所述灰度图像中各像素点的像素值;
根据像素值与辐照度之间的函数关系,将所述灰度图像中各像素点的像素值转化为对应的辐照度;
根据所述灰度图像中各像素点的辐照度,对所述灰度图像进行渲染,以得到对应的所述辐照度图。
7.根据权利要求1所述的视觉SLAM前端处理方法,其特征在于,像素值与辐照度之间的函数关系为:
B(x,y)=f(I(x,y))/Δt
其中,I(x,y)代表灰度值,B(x,y)代表辐照度,Δt为特定快门时间。
8.一种视觉SLAM前端处理系统,其特征在于,包括:
快门设定模块,用于将摄像头的快门时间设定为当前拍摄场景下的特定快门时间,所述特定快门时间为所述摄像头在所述当前拍摄场景下拍摄出最佳图像质量的快门时间;
图像获取模块,用于获取所述摄像头在所述当前拍摄场景下以所述特定快门时间拍摄的灰度图像;
图像转化模块,用于将所述灰度图像转化为对应的辐照度图,并作为视觉SLAM的输入图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一所述的方法。
10.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一所述的方法。
CN201810671862.5A 2018-06-26 2018-06-26 视觉slam前端处理方法、系统、存储介质及计算机设备 Active CN109146966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810671862.5A CN109146966B (zh) 2018-06-26 2018-06-26 视觉slam前端处理方法、系统、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810671862.5A CN109146966B (zh) 2018-06-26 2018-06-26 视觉slam前端处理方法、系统、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN109146966A true CN109146966A (zh) 2019-01-04
CN109146966B CN109146966B (zh) 2021-02-23

Family

ID=64802250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810671862.5A Active CN109146966B (zh) 2018-06-26 2018-06-26 视觉slam前端处理方法、系统、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN109146966B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354014A (zh) * 2020-02-20 2020-06-30 北京航空航天大学 一种针对相机自动曝光的特征点跟踪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888681A (zh) * 2014-04-18 2014-06-25 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
CN105554408A (zh) * 2015-12-16 2016-05-04 天津天地伟业数码科技有限公司 一种机芯光圈的自适应方法
CN107607107A (zh) * 2017-09-14 2018-01-19 斯坦德机器人(深圳)有限公司 一种基于先验信息的Slam方法和装置
CN107808395A (zh) * 2017-10-31 2018-03-16 南京维睛视空信息科技有限公司 一种基于slam的室内定位方法
CN107852447A (zh) * 2015-10-21 2018-03-27 谷歌有限责任公司 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN107948511A (zh) * 2017-11-28 2018-04-20 广东欧珀移动通信有限公司 图像亮度处理方法、装置、存储介质和电子设备
CN108012080A (zh) * 2017-12-04 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108010015A (zh) * 2017-11-07 2018-05-08 深圳市金城保密技术有限公司 一种指静脉影像质量评价方法及其系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888681A (zh) * 2014-04-18 2014-06-25 四川华雁信息产业股份有限公司 一种自动曝光方法及装置
CN107852447A (zh) * 2015-10-21 2018-03-27 谷歌有限责任公司 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN105554408A (zh) * 2015-12-16 2016-05-04 天津天地伟业数码科技有限公司 一种机芯光圈的自适应方法
CN107607107A (zh) * 2017-09-14 2018-01-19 斯坦德机器人(深圳)有限公司 一种基于先验信息的Slam方法和装置
CN107808395A (zh) * 2017-10-31 2018-03-16 南京维睛视空信息科技有限公司 一种基于slam的室内定位方法
CN108010015A (zh) * 2017-11-07 2018-05-08 深圳市金城保密技术有限公司 一种指静脉影像质量评价方法及其系统
CN107948511A (zh) * 2017-11-28 2018-04-20 广东欧珀移动通信有限公司 图像亮度处理方法、装置、存储介质和电子设备
CN108012080A (zh) * 2017-12-04 2018-05-08 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
丁文东等: "移动机器人视觉里程计综述", 《网络出版地址: HTTP://KNS.CNKI.NET/KCMS/DETAIL/11.2109.TP.20171212.0856.007.HTML》 *
张建鹏: "视觉导引AGV精准导引与精确定位技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354014A (zh) * 2020-02-20 2020-06-30 北京航空航天大学 一种针对相机自动曝光的特征点跟踪方法
CN111354014B (zh) * 2020-02-20 2022-10-04 北京航空航天大学 一种针对相机自动曝光的特征点跟踪方法

Also Published As

Publication number Publication date
CN109146966B (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
EP3496383A1 (en) Image processing method, apparatus and device
Zheng et al. Optical flow in the dark
WO2017113048A1 (zh) 一种图像融合方法、装置及终端设备
EP3817360A1 (en) Method for tracking target in panoramic video, and panoramic camera
CN113592991B (zh) 一种基于神经辐射场的图像渲染方法、装置及电子设备
CN112367474B (zh) 一种自适应光场成像方法、装置及设备
CN108401457A (zh) 一种曝光的控制方法、装置以及无人机
JP2020071875A (ja) 画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法
CN109146906A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109327626A (zh) 图像采集方法、装置、电子设备和计算机可读存储介质
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110428461B (zh) 结合深度学习的单目slam方法及装置
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
CN109872345B (zh) 一种暗背景下的单目标跟踪方法
CN110766077A (zh) 证据链图像中特写图筛选方法、装置和设备
CN106469435B (zh) 图像处理方法、装置及设备
CN109146966A (zh) 视觉slam前端处理方法、系统、存储介质及计算机设备
CN112132925A (zh) 用于重建水下图像颜色的方法和装置
JP7403995B2 (ja) 情報処理装置、制御方法およびプログラム
CN110211190B (zh) 相机自运动参数估计模型的训练方法、装置及存储介质
CN116883897A (zh) 一种低分辨率目标识别方法
CN109961422A (zh) 数字图像的对比度值的确定
Candocia Analysis and enhancements to piecewise linear comparametric image registration
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
KR20110109345A (ko) 다중 인식기 결합에 의한 저화질 문자 영상 인식 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant