CN106482711A - 一种基于灰度特征提取和稠密光流法的室内定位方法 - Google Patents

一种基于灰度特征提取和稠密光流法的室内定位方法 Download PDF

Info

Publication number
CN106482711A
CN106482711A CN201610907806.8A CN201610907806A CN106482711A CN 106482711 A CN106482711 A CN 106482711A CN 201610907806 A CN201610907806 A CN 201610907806A CN 106482711 A CN106482711 A CN 106482711A
Authority
CN
China
Prior art keywords
coordinate
pixel
image
vertical
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610907806.8A
Other languages
English (en)
Other versions
CN106482711B (zh
Inventor
马琳
赵航
何晨光
谭学治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Industrial Technology Research Institute Asset Management Co ltd
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201610907806.8A priority Critical patent/CN106482711B/zh
Publication of CN106482711A publication Critical patent/CN106482711A/zh
Application granted granted Critical
Publication of CN106482711B publication Critical patent/CN106482711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于灰度特征提取和稠密光流法的室内定位方法,本发明涉及室内定位方法。本发明为了解决现有室内定位技术成本高、所需时间较长、工序复杂以及传统光流法精度低的问题。本发明步骤为:一:使用相机传感器进行视频采集并标识出录像的起点;二:每隔时间t进行一帧图像的截取;三:得到两幅图像运动过程的水平和垂直速度;四:计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点,记录每个选取的像素的位置;五、得到去噪后的平均水平速度和平均垂直速度六、计算两幅相邻图像运动过程中的水平位移和垂直位移;七、重复执行步骤一至步骤六,得到行进路线以及每个时间点的具体位置。本发明应用于室内场景定位技术领域。

Description

一种基于灰度特征提取和稠密光流法的室内定位方法
技术领域
本发明涉及基于灰度特征提取和稠密光流法的室内定位方法。
背景技术
近年来,由于相应设备和技术广泛的进步以及实际应用场景中对基于位置服务的无缝解决方案的必要性,室内定位系统获得了广泛的关注和研究,这些系统开辟了一种全自动目标定位检测的新技术领域。在室外环境下,传统全球卫星导航系统(GlobalNavigation Satellite System,GNSS)的定位结果是对用户位置进行精确估计的最可靠来源之一。然而在室内或封闭的环境中,由于卫星信号会受到严重的衰减导致定位精度的严重损失,GNSS是不可行的。
目前,室内定位系统技术的研究热点主要包括WiFi定位技术和蓝牙定位技术。其中,WiFi定位技术具有无线接入点已部署范围广和可扩散繁殖的特点,利用用户智能手机检测到的各无线接入点的信号强度完成对用户位置的估计。然而,该技术严重依赖无线接入点的个数,并且在商场等实际环境的进口和出口等周边区域的定位精度急剧下降。蓝牙定位技术通过利用用户接收的蓝牙信号的强度完成对用户位置的估计,并且可实现1米的定位精度,然而该技术在探寻蓝牙信号阶段存在的高延迟现象限制了它实际中的应用。综合已经以上室内定位技术的优缺点,需要一种可扩展性强,部署成本低,所需时延小,定位精度高且稳定的定位系统。由于图像中包含了丰富的信息,带有图像传感器的智能手机的高普及性和可扩展移植性,以及计算机处理技术大大增强等优势,使得基于视觉的室内定位技术成为新的研究热点。
视觉室内定位技术无需额外的部署,只需通过用户终端拍摄的室内场景图片,配合已建立的室内场景数据库,即可完成对用户位置更为准确且鲁棒性更强的估计结果。并且由于图像包含丰富的场景信息,视觉室内定位还可以为用户提供更好的可视化服务,这是其他定位方式无法比拟的。目前已经提出的视觉室内定位技术主要采用位置指纹算法,通过将终端拍摄的场景图像与用户位置共同建立数据库,然后采用快速检索算法得出数据库中最匹配的场景图像及对应位置,完成定位服务。
然而主流的室内视觉定位算法研究,是提前建立图像数据库,在数据库中加入位置距离等信息。然后在线阶段,通过终端获取图片,通过特征匹配等方法与数据库中的图片进行匹配,然后进行相应的计算得到用户当前的位置。建立数据库的过程属于离线过程,数据获取会耗费大量的时间,而得到的数据又需要占一定的存储空间,于此同时,获取的数据也必然存在着一定的误差。因此,本文采用基于光流法的室内视觉定位算法进行室内定位,这种算法不需要离线建立数据库,因此节省了大量的时间,大幅度降低了了对存储设备的需求,而且避免了离线建立数据库产生的误差对定位的影响。
在进行光流法进行室内视觉定位的时候,由于受光照、障碍、图片中的特征是否明显等因素的影响,光流法的定位会产生一定的误差,因此通过对图片进行特征提取、特征选择与特征匹配的方法,对图片进行处理,从而从整幅图片的光流中选取置信区间。虽然算法复杂度上升了,但是定位精度提高了。虽然算法复杂度上升了,但是位所花费的总时间相对主流定位方法仍然是大幅度减小了。
发明内容
本发明是为了解决现有室内定位技术成本高、所需时间较长、工序复杂以及传统光流法精度低的问题,而提出的一种基于灰度特征提取和稠密光流法的室内定位方法。
一种基于灰度特征提取和稠密光流法的室内定位方法按以下步骤实现:
步骤一:人在室内行走或车在行进过程中,使用相机传感器进行固定方向和视角的视频采集,并标识出录像的起点;
步骤二:对步骤一得到的视频每隔时间T进行一帧图像的截取;
步骤三:对每两幅相邻图像利用稠密型光流法进行计算,得到这两幅图像运动过程的水平和垂直速度(u,v);
步骤四:对图像进行灰度变换,得到灰度图像后计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点,记录每个选取的像素的位置用(ll(m),lv(m))表示,其中m为第m个像素,ll为像素的横坐标集合,lv为像素的纵坐标集合;
步骤五:根据(ll(m),lv(m))确定的位置,进行光流的选取得到水平速度un((ll(m),lv(m)))和垂直速度vn((ll(m),lv(m))),根据得到的所有点的水平速度与垂直速度,计算平均水平速度和平均垂直速度并进行噪点的去除,得到去噪后的平均水平速度和平均垂直速度
步骤六:根据相机标定原理将步骤五得到的平均水平速度和平均垂直速度,转换为三维空间的平均水平速度和平均垂直速度,并根据时间间隔T,计算两幅相邻图像运动过程中的水平位移和垂直位移;
步骤七:重复执行步骤一至步骤六,直至全部位移计算完毕,并根据起点,得到行进路线以及每个时间点的具体位置。
发明效果:
本发明考虑了电动汽车出行状态对电动汽车动力电池参与电力系统调频效果的影响,以及参与电力系统调频对电动汽车动力电池寿命的影响,建立了考虑电池寿命的电动汽车动力电池参与电力系统调频模型,从系统端和电池端对电动汽车参与电力系统调频效果进行评估。按本发明所述建模方法对电动汽车参与电力系统调频策略进行选择,可以将电池容量损失由0.0158%下降为0.0113%,即最大将电池容量损失降低28.5%。
本发明考虑了主流室内视觉定位算法花费较大前期时间以及人力的投入(主流室内视觉定位算法需要提前建立数据库,在走廊中根据需要每隔一段距离便需要采集一副图片并且进行相应的距离测量如到墙的距离等,而且必须保证该位置附近有明显的特征不同,且不同地方特征尽可能不同),数据库的建立要求对场景密集踩点,每一个点固定位置照片并且准确测量距离,因此每一个点花费的时间至少3-5秒甚至更多,这在一个如机场大小的室内,工作量是不可想象的。在建立好数据库后,用户进行照相并将照片和数据库匹配,如果数据库中场景相似的图片较多很容易产生误匹配。因此我提出的一种基于灰度特征提取和稠密光流法的室内定位方法,不需要提前简历数据库,大大节省了时间,而且由于定位过程中不需要进行和数据库的匹配,因此完全不存在误匹配的问题。相对于传统的室内光流法定位算法,由于我考虑到了室内光线明暗变化的问题,提取灰度较高的点(灰度较大的点收光影变化较小)进行最终速度的计算,从而提高了传统光流法的精度,在光线较好的白天误差由10cm降低到1cm左右。
附图说明
图1为本发明实施例的稠密型光流法的结合灰度特征提取的室内定位算法的流程图;
图2为本发明实施例的30个单步80cm的定位误差累计分布图;
图3为本发明实施例的30个单步80cm的定位结果图。
具体实施方式
具体实施方式一:如图1所示,一种基于灰度特征提取和稠密光流法的室内定位方法包括以下步骤:
步骤一:人在室内行走或车在行进过程中,使用相机传感器进行固定方向和视角的视频采集,并标识出录像的起点;
步骤二:对步骤一得到的视频每隔时间T进行一帧图像的截取;
步骤三:对每两幅相邻图像利用稠密型光流法进行计算,得到这两幅图像运动过程的水平和垂直速度(u,v);
步骤四:对图像进行灰度变换,得到灰度图像后计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点,记录每个选取的像素的位置用(ll(m),lv(m))表示,其中m为第m个像素,ll为像素的横坐标集合,lv为像素的纵坐标集合;
步骤五:根据(ll(m),lv(m))确定的位置,进行光流的选取得到水平速度un((ll(m),lv(m)))和垂直速度vn((ll(m),lv(m))),根据得到的所有点的水平速度与垂直速度,计算平均水平速度和平均垂直速度并进行噪点的去除,得到去噪后的平均水平速度和平均垂直速度
步骤六:根据相机标定原理将步骤五得到的平均水平速度和平均垂直速度,转换为三维空间的平均水平速度和平均垂直速度,并根据时间间隔T,计算两幅相邻图像运动过程中的水平位移和垂直位移;
步骤七:重复执行步骤一至步骤六,直至全部位移计算完毕,并根据起点,得到行进路线以及每个时间点的具体位置。
本发明适用于室内定位,例如用户在没有数据库的室内场景。本发明的在进行定位之前只需要已知起点,且摄像头相对于人或车的移动必须是硬链接,不需要提取建立数据库,在人行走或者车行进的过程中,以不变的角度和方向录制视频。
具体实施方式二:本实施方式与具体实施方式一不同的是:所述步骤三中对每两幅相邻图像利用稠密型光流法进行计算的具体过程为:
步骤三一:对两幅图像进行灰度变换,得到两幅灰度图像;
步骤三二:计算两幅图像的时间梯度矩阵ft、第一幅图像的水平方向梯度fu以及第一幅图片的垂直方向梯度fv
其中所述xi为一幅图像中水平方向上第i个像素的横坐标,yj为一幅图像中垂直方向上第j个像素的纵坐标,tk为第k幅图像的时间;
步骤三三:计算光流平均分量
其中为由第k幅图像的横坐标为i,纵坐标为j的像素及周围像素计算得到的水平方向平均速度;为由第k幅图像的横坐标为i,纵坐标为j的像素及周围像素计算得到的垂直方向平均速度;
步骤三四:根据图像的拉普拉斯算子,将带入公式(6);
其中为根据图像的拉普拉斯算子定义计算u的拉普拉斯变换,为根据图像的拉普拉斯算子定义计算v的拉普拉斯变换,uxx图像的水平方向的二阶梯度矩阵,uyy为图像的垂直方向的二阶梯度矩阵;根据拉普拉斯的估计计算 (因为u和v是两个矩阵,按照图像的拉普拉斯算子算法来计算这个矩阵,本来拉普拉斯算子是对图像的灰度矩阵进行处理,这里是对速度矩阵进行处理,公式6是光流基本方程得来,为了能够将其中uxx与uyy的计算替换成 的估计,从而得到三五里面的迭代公式);
步骤三五:设置光流初始值以及迭代次数,将u0和v0记为光流估计的初始值;u0为迭代开始前设定的水平方向速度初值,v0为迭代开始前设定的垂直方向速度初值;
步骤三六:进行光流的迭代计算,得到水平速度和垂直速度;
其中为迭代n次后得到的水平方向速度,为迭代n次后得到的垂直方向速度,a为平滑因子。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:所述步骤四中对图像进行灰度变换,得到灰度图像后计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点的具体过程为:
步骤四一、对图像进行灰度变换,变换为灰度图像,并计算整幅图像的平均灰度,记为
步骤四二、设置灰度阈值为
步骤四三、建立像素坐标系,相邻两个像素的距离为1,原点在图像的左上角,水平方向坐标记为ll,垂直方向坐标记为lv;从第一行第一个像素开始,每个像素的灰度与阈值相比,若大于等于阈值,则保存坐标;若小于阈值,则不保存。像素坐标系为二维坐标系,即只有横纵坐标,横坐标X轴为水平方向,纵坐标Y轴为垂直方向。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述步骤五中得到去噪后的平均水平速度和平均垂直速度的具体过程为:
步骤五一:根据步骤四三保存的水平坐标ll与垂直坐标lv,得到新的水平速度集un和新的垂直水平速度集vn
步骤五二:用新的水平速度集un和新的垂直速度集vn计算平均水平速度和平均垂直速度
步骤五三:设定水平速度阈值为垂直速度阈值为将un中所有速度值与比较,若数值在之间则保留,否则则剔除,得到新的水平速度集将vn中所有速度值与比较,若数值在之间则保留,否则则剔除,得到新的垂直速度集计算水平平均速度和垂直平均速度
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述步骤六中计算两幅相邻图像运动过程中的水平位移和垂直位移的具体过程为:
步骤六一:成像平面到摄像机之间的坐标转换,像平面坐标系(像平面坐标系与像素坐标系的区别在于像平面坐标系中的距离为实际测量距离)的原点O在像素坐标系下的坐标变为(u0,v0),将单位像素在X轴和Y轴方向上的物理长度记成dx和dy,得到两个坐标系之间有如下数学关系:
其中所述sx是摄像机成像的倾斜因子,成像平面两个坐标轴不会是正好成90°此参数表示成像平面一定的畸变。但是在现代制造工艺下,其值可以近似为零。
u0为像平面坐标系的原点O在像素坐标系下的横坐标,v0为像平面坐标系的原点O在像素坐标系下的纵坐标,dx为单位像素在X轴方向上的长度,dy为单位像素在Y轴方向上的长度,Xu为像素点在像素平面坐标系下的横坐标,Yv为像素点在像素平面坐标系下的纵坐标,x为像素点在像平面坐标系下的横坐标,y为像素点在像平面坐标系下的纵坐标;
步骤六二:成像平面到摄像机之间的坐标转换,得到像平面坐标系和摄像机坐标系之间的如下数学关系:
其中所述xc为该点在摄像机坐标系下的X轴坐标,yc为该点在相机三维坐标系下的Y轴坐标,zc为该点在相机三维坐标系下的Z轴坐标,fc为相机的焦距;
步骤六三:摄像机坐标系到世界坐标系的坐标转换,通过单位正交旋转矩阵R和平移向量t获得世界坐标系与摄像机坐标系的映射关系:
其中所述xw为该点在世界三维坐标系下的X轴坐标,yw为该点在世界三维坐标系下的Y轴坐标,zw该点在世界三维坐标系下的Z轴坐标,R为单位正交旋转矩阵,t为平移向量;
摄像机坐标系中,摄像机在原点,x轴向右,z轴向前(朝向屏幕内或摄像机方向),y轴向上(不是世界的上方而是摄像机本身的上方)。
步骤六四:由得到的三维世界坐标系的速度,与截取图像的时间相乘,得到两幅相邻图片运动过程中的水平位移du和垂直位移dv
本发明的变量与物理意义列表如下:
其它步骤及参数与具体实施方式一至四之一相同。
实施例一:
步骤一:人在室内行走或车在行进过程中,使用相机传感器进行固定方向和视角的视频采集,并标识出录像的起点;摄像头相对于人或车的移动必须是硬连接;所处的室内必须有丰富的特征(正常室内即可),但是不能是整个屋子只有一个颜色且毫无其他特征,比如整个走廊除了白色只有白色,因此选取哈工大科技园2A栋12楼走廊为实验环境,在光线充足的白天,并且将走廊中的等全部打开以尽量减少光线变化,实验人员手持苹果手机,以大约每秒0.8米的速度行走24米的距离,并录制一段视频。
步骤二:根据需要以及行进的快慢,对步骤一得到的视频每隔时间t进行一帧图像的截取,t=0.5s;
步骤三:对每两幅相邻图像利用稠密型光流法进行计算,得到这两幅图像运动过程的水平和垂直速度(u,v),其中u和v为和图像尺寸相同大小的矩阵;
步骤三一:对两幅图像进行灰度变换,得到两幅灰度图像;
步骤三二:计算两幅图像的时间梯度矩阵ft、第一幅图像的水平方向梯度fu以及第一幅图片的垂直方向梯度fv
其中所述xi为一幅图像中水平方向上第i个像素的横坐标,yj为一幅图像中垂直方向上第j个像素的纵坐标,tk为第k幅图像的时间;
步骤三三:计算光流平均分量
其中为由第k幅图像的横坐标为i,纵坐标为j的像素及周围像素计算得到的水平方向平均速度;为由第k幅图像的横坐标为i,纵坐标为j的像素及周围像素计算得到的垂直方向平均速度;
步骤三四:根据图像的拉普拉斯算子,计算以及将计算得到的数据带入公式(6);
其中为根据图像的拉普拉斯算子定义计算u的拉普拉斯变换,为根据图像的拉普拉斯算子定义计算v的拉普拉斯变换,uxx图像的水平方向的二阶梯度矩阵,uyy为图像的垂直方向的二阶梯度矩阵;
步骤三五:设置光流初始值以及迭代次数,将u0和v0记为光流估计的初始值;u0为迭代开始前设定的水平方向速度初值,v0为迭代开始前设定的垂直方向速度初值;初始值为0,迭代次数根据需要设置,这里设置为100;
步骤三六:进行光流的迭代计算,得到水平速度和垂直速度;
其中为迭代n次后得到的水平方向速度,为迭代n次后得到的垂直方向速度,a为平滑因子。
步骤四:对图像进行灰度变换,得到灰度图像后计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点(也可以根据场景需要提高或降低灰度选取的阈值选择),记录每个选取的像素的位置用(ll(m),lv(m))表示,其中m为第m个像素,ll为像素的横坐标集合,lv为像素的纵坐标集合;
步骤五:根据(ll(m),lv(m))确定的位置,进行光流的选取得到水平速度un((ll(m),lv(m)))和垂直速度vn((ll(m),lv(m))),根据得到的所有点的水平速度与垂直速度,计算平均水平速度和平均垂直速度并进行噪点的去除,得到去噪后的平均水平速度和平均垂直速度
步骤六:根据相机标定原理将步骤五得到的平均水平速度和平均垂直速度,转换为三维空间的平均水平速度和平均垂直速度,并根据时间间隔t,计算两幅相邻图像运动过程中的水平位移和垂直位移;
步骤七:重复执行步骤一至步骤六,直至全部位移计算完毕,并根据起点,得到行进路线以及每个时间点的具体位置。
30个单步80cm的定位误差累计分布图,如图2所示;30个单步80cm的定位结果图,如图3所示。

Claims (5)

1.一种基于灰度特征提取和稠密光流法的室内定位方法,其特征在于,所述基于灰度特征提取和稠密光流法的室内定位方法包括以下步骤:
步骤一:人在室内行走或车在行进过程中,使用相机传感器进行固定方向和视角的视频采集,并标识出录像的起点;
步骤二:对步骤一得到的视频每隔时间T进行一帧图像的截取;
步骤三:对每两幅相邻图像利用稠密型光流法进行计算,得到这两幅图像运动过程的水平和垂直速度(u,v);
步骤四:对图像进行灰度变换,得到灰度图像后计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点,记录每个选取的像素的位置用(ll(m),lv(m))表示,其中m为第m个像素,ll为像素的横坐标集合,lv为像素的纵坐标集合;
步骤五:根据(ll(m),lv(m))确定的位置,进行光流的选取得到水平速度un((ll(m),lv(m)))和垂直速度vn((ll(m),lv(m))),根据得到的所有点的水平速度与垂直速度,计算平均水平速度和平均垂直速度并进行噪点的去除,得到去噪后的平均水平速度和平均垂直速度
步骤六:根据相机标定原理将步骤五得到的平均水平速度和平均垂直速度,转换为三维空间的平均水平速度和平均垂直速度,并根据时间间隔T,计算两幅相邻图像运动过程中的水平位移和垂直位移;
步骤七:重复执行步骤一至步骤六,直至全部位移计算完毕,并根据起点,得到行进路线以及每个时间点的具体位置。
2.根据权利要求1所述的一种基于灰度特征提取和稠密光流法的室内定位方法,其特征在于,所述步骤三中对每两幅相邻图像利用稠密型光流法进行计算的具体过程为:
步骤三一:对两幅图像进行灰度变换,得到两幅灰度图像;
步骤三二:计算两幅图像的时间梯度矩阵ft、第一幅图像的水平方向梯度fu以及第一幅图片的垂直方向梯度fv
f u = 1 4 { [ f ( x i , y j + 1 , t k - 1 ) - f ( x i + y j + t k - 1 ) ] + [ f ( x i + 1 , y j + 1 , t k - 1 ) - f ( x i + 1 , y j + t k - 1 ) ] + [ f ( x i , y j + 1 , t k ) - f ( x i , y j , t k ) ] + [ f ( x i + 1 , y j + 1 , t k ) - f ( x i + 1 , y j , t k ) ] } - - - ( 1 )
f t = 1 4 { [ f ( x i , y j , t k ) - f ( x i + y j + t k - 1 ) ] + [ f ( x i + 1 , y j , t k ) - f ( x i + 1 , y j + t k - 1 ) ] + [ f ( x i , y j + 1 , t k ) - f ( x i , y j + 1 , t k - 1 ) ] + [ f ( x i + 1 , y j + 1 , t k ) - f ( x i + 1 , y j + 1 , t k - 1 ) ] } - - - ( 2 )
f v = 1 4 { [ f ( x i , y j + 1 , t k - 1 ) - f ( x i + y j + t k - 1 ) ] + [ f ( x i + 1 , y j + 1 , t k - 1 ) - f ( x i + 1 , y j + t k - 1 ) ] + [ f ( x i + 1 , y j , t k ) - f ( x i , y j , t k ) ] + [ f ( x i + 1 , y j + 1 , t k ) - f ( x i , y j + 1 , t k ) ] } - - - ( 3 )
其中所述xi为一幅图像中水平方向上第i个像素的横坐标,yj为一幅图像中垂直方向上第j个像素的纵坐标,tk为第k幅图像的时间;
步骤三三:计算光流平均分量
u ‾ i , j , k = 1 6 ( u i - 1 , j , k + u i , j - 1 , k + u i + 1 , j , k + u i , j + 1 , k ) + 1 12 ( u i - 1 , j - 1 , k + u i - 1 , j + 1 , k + u i + 1 , j - 1 , k + u i + 1 , j + 1 , k ) - - - ( 4 )
v ‾ i , j , k = 1 6 ( v i - 1 , j , k + v i , j - 1 , k + v i + 1 , j , k + v i , j + 1 , k ) + 1 12 ( v i - 1 , j - 1 , k + v i - 1 , j + 1 , k + v i + 1 , j - 1 , k + v i + 1 , j + 1 , k ) - - - ( 5 )
其中为由第k幅图像的横坐标为i,纵坐标为j的像素及周围像素计算得到的水平方向平均速度;为由第k幅图像的横坐标为i,纵坐标为j的像素及周围像素计算得到的垂直方向平均速度;
步骤三四:根据图像的拉普拉斯算子,将带入公式(6);
f u 2 u + f u f v v = a 2 ( u x x + u y y ) - f u f t f u f v u + f v 2 v = a 2 ( v x x + v y y ) - f v f t - - - ( 6 )
其中为根据图像的拉普拉斯算子定义计算u的拉普拉斯变换,为根据图像的拉普拉斯算子定义计算v的拉普拉斯变换,uxx图像的水平方向的二阶梯度矩阵,uyy为图像的垂直方向的二阶梯度矩阵;根据拉普拉斯的估计计算
步骤三五:设置光流初始值以及迭代次数,将u0和v0记为光流估计的初始值;u0为迭代开始前设定的水平方向速度初值,v0为迭代开始前设定的垂直方向速度初值;
步骤三六:进行光流的迭代计算,得到水平速度和垂直速度;
u ‾ n + 1 = u ‾ n - f u f u u ‾ n + f v v ‾ n + f t a 2 + f u 2 + f v 2 - - - ( 7 )
v ‾ n + 1 = v ‾ n - f v f v u ‾ n + f v n + f t a 2 + f u 2 + f v 2 - - - ( 8 )
其中为迭代n次后得到的水平方向速度,为迭代n次后得到的垂直方向速度,a为平滑因子。
3.根据权利要求2所述的一种基于灰度特征提取和稠密光流法的室内定位方法,其特征在于,所述步骤四中对图像进行灰度变换,得到灰度图像后计算图像的灰度平均值,选取灰度值大于平均灰度值的像素点的具体过程为:
步骤四一、对图像进行灰度变换,变换为灰度图像,并计算整幅图像的平均灰度,记为
步骤四二、设置灰度阈值为
步骤四三、建立像素坐标系,相邻两个像素的距离为1,水平方向坐标记为ll,垂直方向坐标记为lv;从第一行第一个像素开始,每个像素的灰度与阈值相比,若大于等于阈值,则保存坐标;若小于阈值,则不保存。
4.根据权利要求3所述的一种基于灰度特征提取和稠密光流法的室内定位方法,其特征在于,所述步骤五中得到去噪后的平均水平速度和平均垂直速度的具体过程为:
步骤五一:根据步骤四三保存的水平坐标ll与垂直坐标lv,得到新的水平速度集un和新的垂直水平速度集vn
步骤五二:用新的水平速度集un和新的垂直速度集vn计算平均水平速度和平均垂直速度
步骤五三:设定水平速度阈值为垂直速度阈值为将un中所有速度值与比较,若数值在之间则保留,否则则剔除,得到新的水平速度集将vn中所有速度值与比较,若数值在之间则保留,否则则剔除,得到新的垂直速度集计算水平平均速度和垂直平均速度
5.根据权利要求4所述的一种基于灰度特征提取和稠密光流法的室内定位方法,其特征在于,所述步骤六中计算两幅相邻图像运动过程中的水平位移和垂直位移的具体过程为:
步骤六一:成像平面到摄像机之间的坐标转换,像平面坐标系的原点O在像素坐标系下的坐标变为(u0,v0),将单位像素在X轴和Y轴方向上的长度记成dx和dy,得到两个坐标系之间有如下数学关系:
X u Y v 1 = 1 d x s x u 0 0 1 d y v 0 0 0 1 x y 1 - - - ( 9 )
其中所述sx是摄像机成像的倾斜因子,u0为像平面坐标系的原点O在像素坐标系下的横坐标,v0为像平面坐标系的原点O在像素坐标系下的纵坐标,dx为单位像素在X轴方向上的长度,dy为单位像素在Y轴方向上的长度,Xu为像素点在像素平面坐标系下的横坐标,Yv为像素点在像素平面坐标系下的纵坐标,x为像素点在像平面坐标系下的横坐标,y为像素点在像平面坐标系下的纵坐标;
步骤六二:成像平面到摄像机之间的坐标转换,得到像平面坐标系和摄像机坐标系之间的如下数学关系:
x y 1 = 1 Z c f c 0 0 0 0 f c 0 0 0 0 1 0 x c y c z c 1 - - - ( 10 )
其中所述xc为该点在摄像机坐标系下的X轴坐标,yc为该点在相机三维坐标系下的Y轴坐标,zc为该点在相机三维坐标系下的Z轴坐标,fc为相机的焦距;
步骤六三:摄像机坐标系到世界坐标系的坐标转换,通过单位正交旋转矩阵R和平移向量t获得世界坐标系与摄像机坐标系的映射关系:
x c y c z c 1 = R t 0 3 T 1 x w y w z w 1 - - - ( 11 )
其中所述xw为该点在世界三维坐标系下的X轴坐标,yw为该点在世界三维坐标系下的Y轴坐标,zw该点在世界三维坐标系下的Z轴坐标,R为单位正交旋转矩阵,t为平移向量;
步骤六四:由得到的三维世界坐标系的速度,与截取图像的时间相乘,得到两幅相邻图片运动过程中的水平位移du和垂直位移dv
CN201610907806.8A 2016-10-18 2016-10-18 一种基于灰度特征提取和稠密光流法的室内定位方法 Active CN106482711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610907806.8A CN106482711B (zh) 2016-10-18 2016-10-18 一种基于灰度特征提取和稠密光流法的室内定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610907806.8A CN106482711B (zh) 2016-10-18 2016-10-18 一种基于灰度特征提取和稠密光流法的室内定位方法

Publications (2)

Publication Number Publication Date
CN106482711A true CN106482711A (zh) 2017-03-08
CN106482711B CN106482711B (zh) 2018-10-09

Family

ID=58270266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610907806.8A Active CN106482711B (zh) 2016-10-18 2016-10-18 一种基于灰度特征提取和稠密光流法的室内定位方法

Country Status (1)

Country Link
CN (1) CN106482711B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959101A (zh) * 2017-03-17 2017-07-18 哈尔滨工业大学 一种基于光流法的室内定位方法
CN109978924A (zh) * 2017-12-27 2019-07-05 长沙学院 一种基于单目的视觉里程计实现方法和系统
CN116883913A (zh) * 2023-09-05 2023-10-13 长江信达软件技术(武汉)有限责任公司 一种基于视频流相邻帧的船只识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457758A (zh) * 2014-12-19 2015-03-25 哈尔滨工业大学 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法
CN105606092A (zh) * 2016-02-04 2016-05-25 中国科学院电子学研究所 一种室内机器人定位方法及系统
CN105761277A (zh) * 2016-02-01 2016-07-13 西安理工大学 一种基于光流的运动目标跟踪方法
CN105825547A (zh) * 2016-03-11 2016-08-03 西安电子科技大学 一种基于体素和自适应光传输模型的光学三维成像方法
CN105930786A (zh) * 2016-04-18 2016-09-07 西北工业大学 一种银行自助厅异常行为检测方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457758A (zh) * 2014-12-19 2015-03-25 哈尔滨工业大学 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法
CN105761277A (zh) * 2016-02-01 2016-07-13 西安理工大学 一种基于光流的运动目标跟踪方法
CN105606092A (zh) * 2016-02-04 2016-05-25 中国科学院电子学研究所 一种室内机器人定位方法及系统
CN105825547A (zh) * 2016-03-11 2016-08-03 西安电子科技大学 一种基于体素和自适应光传输模型的光学三维成像方法
CN105930786A (zh) * 2016-04-18 2016-09-07 西北工业大学 一种银行自助厅异常行为检测方法
CN106017463A (zh) * 2016-05-26 2016-10-12 浙江大学 一种基于定位传感装置的飞行器定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李浩: ""基于多摄像头的运动目标跟踪技术研究与实现"", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *
陈旭: ""基于图像特征匹配的室内定位算法研究"", 《中国优秀硕士学位论文全文数据库(电子期刊)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959101A (zh) * 2017-03-17 2017-07-18 哈尔滨工业大学 一种基于光流法的室内定位方法
CN106959101B (zh) * 2017-03-17 2019-04-09 哈尔滨工业大学 一种基于光流法的室内定位方法
CN109978924A (zh) * 2017-12-27 2019-07-05 长沙学院 一种基于单目的视觉里程计实现方法和系统
CN116883913A (zh) * 2023-09-05 2023-10-13 长江信达软件技术(武汉)有限责任公司 一种基于视频流相邻帧的船只识别方法及系统
CN116883913B (zh) * 2023-09-05 2023-11-21 长江信达软件技术(武汉)有限责任公司 一种基于视频流相邻帧的船只识别方法及系统

Also Published As

Publication number Publication date
CN106482711B (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
Kümmerle et al. Large scale graph-based SLAM using aerial images as prior information
CN102620672B (zh) 图像拼接技术在隧道围岩变形非接触测量中的应用
CN104866873B (zh) 一种基于手机图像匹配的室内定位方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN106295512B (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
CN105225482A (zh) 基于双目立体视觉的车辆检测系统和方法
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
CN104484648A (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN110223351B (zh) 一种基于卷积神经网络的深度相机定位方法
CN103424112A (zh) 一种基于激光平面辅助的运动载体视觉导航方法
Yue et al. Fast 3D modeling in complex environments using a single Kinect sensor
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN110263713A (zh) 车道线检测方法、装置、电子设备及存储介质
CN107103056A (zh) 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法
CN110967014A (zh) 一种基于增强现实技术的机房室内导航和设备追踪的方法
CN106482711A (zh) 一种基于灰度特征提取和稠密光流法的室内定位方法
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN110825088A (zh) 一种多目视觉导引船体清洁机器人系统及清洁方法
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
CN111161334A (zh) 一种基于深度学习的语义地图构建方法
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN112581543A (zh) 运动机器人视觉导航方法
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210114

Address after: Building 9, accelerator, 14955 Zhongyuan Avenue, Songbei District, Harbin City, Heilongjiang Province

Patentee after: INDUSTRIAL TECHNOLOGY Research Institute OF HEILONGJIANG PROVINCE

Address before: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230217

Address after: 150027 Room 412, Unit 1, No. 14955, Zhongyuan Avenue, Building 9, Innovation and Entrepreneurship Plaza, Science and Technology Innovation City, Harbin Hi tech Industrial Development Zone, Heilongjiang Province

Patentee after: Heilongjiang Industrial Technology Research Institute Asset Management Co.,Ltd.

Address before: Building 9, accelerator, 14955 Zhongyuan Avenue, Songbei District, Harbin City, Heilongjiang Province

Patentee before: INDUSTRIAL TECHNOLOGY Research Institute OF HEILONGJIANG PROVINCE

TR01 Transfer of patent right