CN113642397A - 一种基于手机视频的物体长度测量方法 - Google Patents

一种基于手机视频的物体长度测量方法 Download PDF

Info

Publication number
CN113642397A
CN113642397A CN202110779312.7A CN202110779312A CN113642397A CN 113642397 A CN113642397 A CN 113642397A CN 202110779312 A CN202110779312 A CN 202110779312A CN 113642397 A CN113642397 A CN 113642397A
Authority
CN
China
Prior art keywords
camera
video
image
frame
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110779312.7A
Other languages
English (en)
Other versions
CN113642397B (zh
Inventor
宁小娟
刘玥煊
高凡
金海燕
王映辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202110779312.7A priority Critical patent/CN113642397B/zh
Publication of CN113642397A publication Critical patent/CN113642397A/zh
Application granted granted Critical
Publication of CN113642397B publication Critical patent/CN113642397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于手机视频的物体长度测量方法，具体为：通过手机相机采集视频数据，并对视频数据进行预处理；求解手机相机的内参数；保存一张包含目标物体和参照物的参考图像，对采集的视频数据和参考图进行特征点提取，将视频的每一帧与参考图像进行特征点匹配得到匹配点对；计算相机到参照物表面的距离；获取到视频初始帧中的目标物体像素大小，结合相机焦距、参照物与相机间距离和物体像素大小计算出目标物体的真实长度。本发明解决了现有技术中存在的测量精度相对较低的问题。

Description

一种基于手机视频的物体长度测量方法
技术领域
本发明属于计算机视觉和图像处理方法技术领域，涉及一种基于手机视频的物体长度测量方法。
背景技术
物体的长度测量贯穿于人们的生活之中。传统的测量方式是人工采用软尺、刻度尺等标准辅助工具进行测量，不仅效率低下，而且需要大量的人工成本。在生产和生活朝着智能化发展的趋势下，传统的测量方法早已不能满足人们生产和生活的需求。随着计算机技术的不断革新，计算机辅助的物体测量方法逐渐发展起来。虽然目前有各种测量设备，但是基于相机的机器视觉测量方法由于其简易性和方便性受到人们的青睐。
基于相机的机器视觉测量方法从数据获取上可分为基于单图像的测量方法和基于多图像的测量方法。但是基于单图像的测量方法测量精度相对较低，基于多图像的测量需要不断变换相机的位置来获取不同视角的数据，实际操作相对困难。因此，实现一种操作过程简单灵活、满足多幅图像在测量精度方面优势的目标物体长度测量方法仍然是十分必要且具有挑战性的。
发明内容
本发明的目的是提供一种基于手机视频的物体长度测量方法，解决了现有技术中存在的测量精度相对较低的问题。
本发明所采用的技术方案是，一种基于手机视频的物体长度测量方法，具体按照如下步骤实施：
步骤1，通过手机相机采集视频数据，并对视频数据进行预处理；
步骤2，基于视觉坐标系统之间的转换关系来求解手机相机的内参数；
步骤3，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据进行特征点提取，之后将视频的每一帧与参考图像进行特征点匹配得到匹配点对；
步骤4，在获取到经步骤3产生的匹配点对的前提下，计算出参考图像和视频帧的单应性矩阵，根据单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框，通过参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离；
步骤5，获取到视频初始帧中的目标物体像素大小，结合相机焦距、步骤3中参照物与相机间距离和步骤5获取的物体像素大小计算出目标物体的真实长度。
本发明的特征还在于，
步骤1中采集视频时，在手机移动过程中采集视频数据且手机在空间中水平匀速运动；
步骤1中对视频进行预处理具体为：
对采集的视频数据进行双边滤波去噪，然后采用Canny算子来获取视频各帧的边缘信息。
步骤2具体为：
步骤2.1，将6×8的棋盘格图像布满整个电脑屏幕，将电脑屏幕作为标定板，其中，每个小格的长度为37mm；
步骤2.2，使用手机相机在电脑屏幕的上、下、左、右、左上、左下、右上、右下、正前9个方位拍摄20张棋盘格图像；
步骤2.3，将步骤2.2中拍摄的20张棋盘格图像保存到指定目录下；
步骤2.4，对步骤2.3得到的20张棋盘格图像进行降采样，调用findChessboardCorners()函数进行初始化角点提取；
步骤2.5，在步骤2.4初步提取角点之上进一步使用cornerSubPix()函数提取亚像素信息，降低相机标定偏差，再调用drawChessboardCorners()函数将角点用不同颜色绘制到棋盘格图像上并保存图像；
步骤2.6，初始化标定板上的三维坐标，使用calibrateCamera函数()进行相机标定，得到相机参数；
步骤2.7，根据步骤2.6得到的相机参数对角点进行重新投影计算，得到角点在步骤2.3保存的棋盘格图像上新的投影点坐标，计算投影坐标和步骤 2.5中亚像素提取之后的角点坐标之间的偏差对获得的相机参数进行评估，并删除偏差大于设定的阈值的图像；
步骤2.8，重新按照步骤2.4-2.6计算相机参数，之后返回步骤2.7对相机参数进行重新评估，直到没有图像再被删除为止；
步骤2.9，将标定结果写入到txt文件中。
步骤3具体为：
步骤3.1，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据和保存的参考图像采用SURF算子进行特征点提取；
步骤3.2，将步骤3.1中特征点提取之后的视频的每一帧与参考图像采用 KNN算法完成初始特征匹配，得到匹配点对；
步骤3.3，根据步骤3.2得到的匹配点对连接线长度和斜率相等的几何特征构建最佳几何约束，完成初始匹配优化；
步骤3.4，用RANSAC算法对步骤3.3的优化结果进行二次优化，获得最终匹配结果。
步骤3.2具体为：
步骤3.2.1，步骤3.1得到的每个特征点利用K近邻查找法找到k个与其邻近的点，k＝2；
步骤3.2.2，设置阈值，若最近邻点和次近邻点的距离的比小于阈值，则将最近邻的点作为匹配点，最终得到步骤1中手机相机采集的视频数据和步骤3.1中保存的参考图像的匹配点对。
步骤3.3具体为：
步骤3.3.1，在计算机中初始化存储步骤3.2得到的匹配点对连接线的集合，设连接线的长度的集合为map_d，连接线的斜率集合为map_k；
步骤3.3.2，统计每对匹配点对连接线的长度di，斜率ki，将长度di作为map_d的键key，map_d的value为匹配线是该长度的条数，map_k的键key为每条匹配线的斜率ki，map_k的value为匹配线是该斜率的条数，其中，每对匹配点中的两个点p1i(xi,yi)和p2j(xj,yj)的距离di的计算公式如下：
Figure BDA0003155595510000041
两点p1i(xi,yi)和p2j(xj,yj)确定的直线斜率ki的计算公式如下：
Figure BDA0003155595510000042
步骤3.3.3，求map_d中value最大的key作为长度的基准，设为D，求 map_k中value最大的key作为斜率的基准，设为K，当D-m≤di≤D+m或者K-n≤ki≤K+n时，保留该匹配点对连接线，否则删除，其中，m为匹配线长度的误差，n为匹配线斜率的误差，m＝15，n＝0.03；
步骤3.4具体为：
步骤3.4.1，初始化投影误差的阈值λ，内点集合I，最优内点集合 I_best，迭代次数k；
步骤3.4.2，从经过步骤3.3.3得到的剩余连接线对应的匹配点对中随机抽取4个不共线的样本数据；
步骤3.4.3，根据样本数据计算变换矩阵，记作M，具体为：
根据公式：
Figure BDA0003155595510000051
其中，(x,y)和(x',y')是步骤3.4.2中样本数据中一对匹配点坐标，s为尺度参数，计算变换矩阵
Figure BDA0003155595510000052
并记作M；
步骤3.4.4，计算步骤3.3.3得到的剩余匹配点集中所有数据与M的投影误差δi，计算投影误差δi的公式如下：
Figure BDA0003155595510000053
如果δi＜λ，将该数据加入到内点集合I中；
步骤3.4.5，重复步骤3.4.2-3.4.4，找到存在最大元素个数的内点集合，并把该内点集合存入I_best，同时更新迭代次数k；
步骤3.4.6，若迭代次数k大于最大迭代次数，则最终I_best中的匹配点对即为优化后的匹配点对。
步骤4具体为：
步骤4.1，根据步骤3获得的特征匹配点对，计算出参考图像和视频帧的单应性矩阵；
步骤4.2，根据步骤4.1得到的单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框；
步骤4.3，根据参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离。
步骤4.1具体为：
步骤4.1.1，设参考图像中的某个像点为p1(x1,y1)，视频中某一帧图像的像点p2(x2,y2)是p1(x1,y1)的匹配点，单应性矩阵为H通过下式建立两个像点间的关系：
Figure BDA0003155595510000061
步骤4.1.2，将矩阵乘法展开，可得下式：
Figure BDA0003155595510000062
步骤4.1.3，将步骤4.1.2中公式(6)转化为两个公式，如下所示：
Figure DEST_PATH_FDA0003155595500000062
将上面公式(7)变换为Ax＝0的形式，如下所示：
Figure BDA0003155595510000064
步骤4.1.4，将步骤3.1.3中公式(8)改写为向量积的形式，由于单应性矩阵是齐次的，令h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T，因此公式(8) 改写为：
Figure BDA0003155595510000071
其中，ax＝(x1,y1,1,0,0,0,-x2x1,-x2y1,-x2)T ay＝(0,0,0,x1,y1,1,-x1y2,-y1y2,-y2)T，设有n对匹配点对，则得到Ah＝0，
Figure BDA0003155595510000072
求出h，再根据h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T得到单应性矩阵 H。
步骤4.2具体为：
步骤4.2.1，获取步骤3.4.6得到的参考图像和第i帧图像对应的匹配点对，分别保存在集合src_pts和集合dst_pts中；
步骤4.2.2，根据匹配点按照步骤4.1的方法得到其对应的单应矩阵Mi；
步骤4.2.3，计算参考图像中参照物的顶点坐标，即参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存到集合pts中；
步骤4.2.4，利用步骤4.1.1中公式(5)通过步骤3.4.3得到的单应矩阵Mi计算集合pts中参照物的顶点在视频第i帧图像中的坐标，记为ai、bi、ci、 di，分别是视频第i帧图像中参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存在集合dst中；
步骤4.2.5，依次连接ai、bi、ci、di得到第i帧图的边框图像，并将完成边框绘制的第i帧图像添加到集合found_list中；
步骤4.2.6，重复步骤4.2.1-4.2.5得到所有匹配点对对应的边框图像，将集合found_list中的图像合成完整的视频，保存视频，得到参照物的边框。
步骤4.3具体为：
步骤4.3.1，相机线性模型表示为：
Pc＝RPw+t (10)
其中，Pc、Pw分别指同一空间点在相机坐标系和世界坐标系下的坐标，t为平移向量，R为旋转矩阵；
相机的内参矩阵K表示为：
Figure BDA0003155595510000081
其中，f为相机焦距，α为像素比例因子；
步骤4.3.2，将世界坐标系Ow-XwYwZw建立在平面上，则PA、PB、PC、 PD四个点在Ow-XwYwZw中的坐标为PA(xA,yA,0)、PB(xB,yB,0)、PC(xC,yC,0) 和PD(xD,yD,0)，则相机坐标系中的对应的点PA'、PB'、PC'、PD'表示为：
Pi'＝RPi+t＝(r1 r2 r3)Pi+t (12)
其中，Pi'为相机坐标系下的对应的点，i为A或B或C或D，Pi为世界坐标系下的点，r1，r2，r3分别为旋转矩阵R的3个列向量，t为平移向量；
步骤4.3.3，用相机坐标系中的点表示图像坐标系中的点，如下：
Figure BDA0003155595510000082
其中si为常数因子，(ui,vi)为点Pi'在图像坐标系中的坐标，由公式(11)、公式(12)和公式(13)得下式：
Figure BDA0003155595510000083
其中xi和yi分别为PA、PB、PC、PD四个点在Ow-XwYwZw中的坐标 PA(xA,yA,0)、PB(xB,yB,0)、PC(xC,yC,0)和PD(xD,yD,0)中xA，yA，xB，yB，xC，yC，xD和yD；
步骤4.3.4，利用单应性矩阵描述两幅图像中对应像点的关系，得到：
Figure BDA0003155595510000091
由公式(14)、公式(15)得到：
Figure BDA0003155595510000092
由公式(16)得到：
Figure BDA0003155595510000093
由于r1 Tr2＝0，且|r1|＝|r2|＝1，可得到：
Figure BDA0003155595510000094
通过公式(18)确定f和α，将f和α代入公式(17)可以求出r1，r2和t，通过r3＝r1×r2求出r3，从而得到了旋转矩阵R和平移向量t；
步骤4.3.5，通过旋转矩阵R和平移向量t表示相机位姿 came_rpaosit：
camera_position＝-RT×t (19)
从而求出了相机在世界坐标系中的坐标camera_position，其中， camera_position中的z轴坐标即为相机到参照物表面的垂直距离。
步骤5具体为：
步骤5.1，获取到视频初始帧中的目标物体像素大小，具体为：
步骤5.1.1，读取包含参照物和待测物体的视频的第一帧；
步骤5.1.2，根据MEDIANFLOW追踪器手动选择包含目标物体的矩形窗口，返回数组{x,y,w,h}，其中，x为窗口最小的x值，y为窗口最小的y 值，w为窗口的宽，h为窗口的高；
步骤5.1.3，用第一帧图像和步骤5.1.2中矩形窗口初始化跟踪器；
步骤5.1.4，读取下一帧，重复步骤5.1.2-5.1.4，更新追踪器，返回新窗口数组{xi,yi,wi,hi}直到视频没有下一帧；
步骤5.1.5，如果追踪器成功追踪到目标物体，更新新窗口的左上角坐标 p1(xi,yi)和右上角坐标p2(xi+wi,yi+hi)；
步骤5.1.6，根据p1、p2的坐标绘制矩形框，保存并打印第i帧图像窗口的宽wi和高hi；
步骤5.2，根据小孔成像模型中的相似三角形关系，结合相机焦距、步骤4中参照物与相机间距离和步骤5.1获取的物体像素大小计算出目标物体的真实长度。
步骤5.2具体为：
步骤5.2.1，据小孔成像模型中的物和像的相似三角形关系，设L为目标物体的长度，h为目标物体的像素长度，f为相机焦距，D为相机到物体的距离，则：
Figure BDA0003155595510000101
得到：
Figure BDA0003155595510000102
即得到了目标物体的长度L。
本发明的有益效果是：
本发明首先选择了双边滤波算法实现了本文视频帧的去噪效果，提高了图像质量，基于Canny算子确保了目标物体能够被准确地定位和测量，并估计了相机内参；然后选择了特征点质量较高且数量较多的SURF算法和KNN 算法实现了特征点的初始匹配，并采用最佳几何约束和RANSAC算法完成了精细化匹配，很大程度上保证了特征点匹配的质量；接着计算单应性矩阵，根据单应性矩阵更新参照物顶点在视频各帧中的二维坐标，同时估计参照物边框，计算参照物与相机间的距离，能为物体长度测量提供很好的数据支撑；最后基于小孔成像模型的相似三角形关系，通过目标跟踪计算出目标物体的真实长度，能够基本满足非精密的日常测量任务。本发明的目标物体长度测量工作，不仅基本能够满足日常的测量需求，并且在有效性，稳定性和准确性上都有了很大的提高，拥有较好的鲁棒性，丰富了计算机图形学和视觉智能的方法体系。
附图说明
图1是本发明一种基于手机视频的物体长度测量方法实施例的步骤1中某个视频数据的第一帧图像；
图2是本发明一种基于手机视频的物体长度测量方法实施例的步骤1中得到的双边滤波结果；
图3是本发明一种基于手机视频的物体长度测量方法实施例的步骤1中采用Canny算子得到的边缘检测结果；
图4是本发明一种基于手机视频的物体长度测量方法实施例的步骤2中选取的棋盘格图像；
图5是本发明一种基于手机视频的物体长度测量方法实施例的步骤3中得到的SURF特征点提取结果；
图6是本发明一种基于手机视频的物体长度测量方法实施例的步骤3中得到的KNN特征匹配结果；
图7是本发明一种基于手机视频的物体长度测量方法实施例的步骤3中得到的采用RANSAC匹配优化结果；
图8是本发明一种基于手机视频的物体长度测量方法实施例的步骤4中得到的参照物的边框估计结果；
图9是本发明一种基于手机视频的物体长度测量方法实施例的步骤5中获得的MEDIANFLOW目标跟踪算法结果；
图10是本发明一种基于手机视频的物体长度测量方法实施例的步骤5 中对目标物体长度的测量结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于手机视频的物体长度测量方法，具体按照如下步骤实施：
步骤1，通过手机相机采集视频数据，并对视频数据进行预处理，采集视频时，在手机移动过程中采集视频数据且手机在空间中水平匀速运动，如图1所示，对视频进行预处理具体为：对采集的视频数据进行双边滤波去噪，然后采用Canny算子来获取视频各帧的边缘信息；本发明比较了高斯滤波、均值滤波、中值滤波、双边滤波四种滤波方法，根据四种滤波方法在输入数据中的去噪效果，选择效果最好的双边滤波算法实现对图像的去噪处理，去噪效果如图2所示；用Canny算子来获取视频各帧的边缘信息如图3所示；
步骤2，基于视觉坐标系统之间的转换关系来求解手机相机的内参数；具体为：
步骤2.1，将6×8的棋盘格图像布满整个电脑屏幕，将电脑屏幕作为标定板，其中，每个小格的长度为37mm；
步骤2.2，使用手机相机在电脑屏幕的上、下、左、右、左上、左下、右上、右下、正前9个方位拍摄20张棋盘格图像；
步骤2.3，将步骤2.2中拍摄的20张棋盘格图像保存到指定目录下；
步骤2.4，对步骤2.3得到的20张棋盘格图像进行降采样，调用findChessboardCorners()函数进行初始化角点提取；
步骤2.5，在步骤2.4初步提取角点之上进一步使用cornerSubPix()函数提取亚像素信息，降低相机标定偏差，再调用drawChessboardCorners()函数将角点用不同颜色绘制到棋盘格图像上并保存图像；
步骤2.6，初始化标定板上的三维坐标，使用calibrateCamera函数()进行相机标定，得到相机参数；
步骤2.7，根据步骤2.6得到的相机参数对角点进行重新投影计算，得到角点在步骤2.3保存的棋盘格图像上新的投影点坐标，计算投影坐标和步骤 2.5中亚像素提取之后的角点坐标之间的偏差对获得的相机参数进行评估，并删除偏差大于设定的阈值的图像；
步骤2.8，重新按照步骤2.4-2.6计算相机参数，之后返回步骤2.7对相机参数进行重新评估，直到没有图像再被删除为止；
步骤2.9，将标定结果写入到txt文件中；
本发明通过实验对比了几种特征点提取算法的优缺点，然后基于步骤1 中的输入数据的特点采用SURF算法进行特征点提取，接着采用BF算法和KNN算法完成初始匹配，构建最佳几何约束粗略地完成匹配优化，接着使用RANSAC算法二次优化以获得高质量的匹配结果，具体如下：
步骤3，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据进行特征点提取，之后将视频的每一帧与参考图像进行特征点匹配得到匹配点对；具体为：
步骤3.1，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据和保存的参考图像采用SURF算子进行特征点提取，如图5所示；
步骤3.2，将步骤3.1中特征点提取之后的视频的每一帧与参考图像采用 KNN算法完成初始特征匹配，得到匹配点对，匹配结果如图6所示，具体为：
步骤3.2.1，步骤3.1得到的每个特征点利用K近邻查找法找到k个与其邻近的点，k＝2；
步骤3.2.2，设置阈值，若最近邻点和次近邻点的距离的比小于阈值，则将最近邻的点作为匹配点，最终得到步骤1中手机相机采集的视频数据和步骤3.1中保存的参考图像的匹配点对；
步骤3.3，根据步骤3.2得到的匹配点对连接线长度和斜率相等的几何特征构建最佳几何约束，完成初始匹配优化；具体为：
步骤3.3.1，在计算机中初始化存储步骤3.2得到的匹配点对连接线的集合，设连接线的长度的集合为map_d，连接线的斜率集合为map_k；
步骤3.3.2，统计每对匹配点对连接线的长度di，斜率ki，将长度di作为map_d的键key，map_d的value为匹配线是该长度的条数，map_k的键key为每条匹配线的斜率ki，map_k的value为匹配线是该斜率的条数，其中，每对匹配点中的两个点p1i(xi,yi)和p2j(xj,yj)的距离di的计算公式如下：
Figure BDA0003155595510000151
两点p1i(xi,yi)和p2j(xj,yj)确定的直线斜率ki的计算公式如下：
Figure BDA0003155595510000152
步骤3.3.3，求map_d中value最大的key作为长度的基准，设为D，求 map_k中value最大的key作为斜率的基准，设为K，当D-m≤di≤D+m或者K-n≤ki≤K+n时，保留该匹配点对连接线，否则删除，其中，m为匹配线长度的误差，n为匹配线斜率的误差，m＝15，n＝0.03；
步骤3.4，用RANSAC算法对步骤3.3的优化结果进行二次优化，获得最终匹配结果；具体为：
步骤3.4.1，初始化投影误差的阈值λ，内点集合I，最优内点集合 I_best，迭代次数k；
步骤3.4.2，从经过步骤3.3.3得到的剩余连接线对应的匹配点对中随机抽取4个不共线的样本数据；
步骤3.4.3，根据样本数据计算变换矩阵，记作M，具体为：
根据公式：
Figure BDA0003155595510000153
其中，(x,y)和(x',y')是步骤3.4.2中样本数据中一对匹配点坐标，s为尺度参数，计算变换矩阵
Figure BDA0003155595510000154
并记作M；
步骤3.4.4，计算步骤3.3.3得到的剩余匹配点集中所有数据与M的投影误差δi，计算投影误差δi的公式如下：
Figure BDA0003155595510000161
如果δi＜λ，将该数据加入到内点集合I中；
步骤3.4.5，重复步骤3.4.2-3.4.4，找到存在最大元素个数的内点集合，并把该内点集合存入I_best，同时更新迭代次数k；
步骤3.4.6，若迭代次数k大于最大迭代次数，则最终I_best中的匹配点对即为优化后的匹配点对，如图7所示；
步骤4，在获取到经步骤3产生的匹配点对的前提下，计算出参考图像和视频帧的单应性矩阵，根据单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框，通过参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离，具体为：
步骤4.1，根据步骤3获得的特征匹配点对，计算出参考图像和视频帧的单应性矩阵；具体为：
步骤4.1.1，设参考图像中的某个像点为p1(x1,y1)，视频中某一帧图像的像点p2(x2,y2)是p1(x1,y1)的匹配点，单应性矩阵为H通过下式建立两个像点间的关系：
Figure BDA0003155595510000162
步骤4.1.2，将矩阵乘法展开，可得下式：
Figure BDA0003155595510000163
步骤4.1.3，将步骤4.1.2中公式(6)转化为两个公式，如下所示：
Figure BDA0003155595510000171
将上面公式(7)变换为Ax＝0的形式，如下所示：
Figure BDA0003155595510000172
步骤4.1.4，将步骤3.1.3中公式(8)改写为向量积的形式，由于单应性矩阵是齐次的，令h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T，因此公式(8) 改写为：
Figure BDA0003155595510000173
其中，ax＝(x1,y1,1,0,0,0,-x2x1,-x2y1,-x2)T ay＝(0,0,0,x1,y1,1,-x1y2,-y1y2,-y2)T，设有n对匹配点对，则得到Ah＝0，
Figure BDA0003155595510000174
求出h，再根据h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T得到单应性矩阵 H。
步骤4.2，根据步骤4.1得到的单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框；具体为：
步骤4.2.1，获取步骤3.4.6得到的参考图像和第i帧图像对应的匹配点对，分别保存在集合src_pts和集合dst_pts中；
步骤4.2.2，根据匹配点按照步骤4.1的方法得到其对应的单应矩阵Mi；
步骤4.2.3，计算参考图像中参照物的顶点坐标，即参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存到集合pts中；
步骤4.2.4，利用步骤4.1.1中公式(5)通过步骤3.4.3得到的单应矩阵Mi计算集合pts中参照物的顶点在视频第i帧图像中的坐标，记为ai、bi、ci、di，分别是视频第i帧图像中参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存在集合dst中；
步骤4.2.5，依次连接ai、bi、ci、di得到第i帧图的边框图像，并将完成边框绘制的第i帧图像添加到集合found_list中；
步骤4.2.6，重复步骤4.2.1-4.2.5得到所有匹配点对对应的边框图像，将集合found_list中的图像合成完整的视频，保存视频，得到参照物的边框，如图8所示。
步骤4.3，根据参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离；具体为：
步骤4.3.1，相机线性模型表示为：
Pc＝RPw+t (10)
其中，Pc、Pw分别指同一空间点在相机坐标系和世界坐标系下的坐标， t为平移向量，R为旋转矩阵；
相机的内参矩阵K表示为：
Figure BDA0003155595510000181
其中，f为相机焦距，α为像素比例因子；
步骤4.3.2，将世界坐标系Ow-XwYwZw建立在平面上，则PA、PB、PC、 PD四个点在Ow-XwYwZw中的坐标为PA(xA,yA,0)、PB(xB,yB,0)、PC(xC,yC,0) 和PD(xD,yD,0)，则相机坐标系中的对应的点PA'、PB'、PC'、PD'表示为：
Pi'＝RPi+t＝(r1 r2 r3)Pi+t (12)
其中，Pi'为相机坐标系下的对应的点，i为A或B或C或D，Pi为世界坐标系下的点，r1，r2，r3分别为旋转矩阵R的3个列向量，t为平移向量；
步骤4.3.3，用相机坐标系中的点表示图像坐标系中的点，如下：
Figure BDA0003155595510000191
其中si为常数因子，(ui,vi)为点Pi'在图像坐标系中的坐标，由公式(11)、公式(12)和公式(13)得下式：
Figure BDA0003155595510000192
其中xi和yi分别为PA、PB、PC、PD四个点在Ow-XwYwZw中的坐标 PA(xA,yA,0)、PB(xB,yB,0)、PC(xC,yC,0)和PD(xD,yD,0)中xA，yA，xB，yB， xC，yC，xD和yD；
步骤4.3.4，利用单应性矩阵描述两幅图像中对应像点的关系，得到：
Figure BDA0003155595510000193
由公式(14)、公式(15)得到：
Figure BDA0003155595510000194
由公式(16)得到：
Figure BDA0003155595510000195
由于r1 Tr2＝0，且|r1|＝|r2|＝1，可得到：
Figure BDA0003155595510000201
通过公式(18)确定f和α，将f和α代入公式(17)可以求出r1，r2和t，通过r3＝r1×r2求出r3，从而得到了旋转矩阵R和平移向量t；
步骤4.3.5，通过旋转矩阵R和平移向量t表示相机位姿 came_rpaosit：
camera_position＝-RT×t (19)
从而求出了相机在世界坐标系中的坐标camera_position，其中， camera_position中的z轴坐标即为相机到参照物表面的垂直距离。
步骤5，获取到视频初始帧中的目标物体像素大小，结合相机焦距、步骤3中参照物与相机间距离和步骤5获取的物体像素大小计算出目标物体的真实长度，具体为：
步骤5.1，获取到视频初始帧中的目标物体像素大小，具体为：
步骤5.1.1，读取包含参照物和待测物体的视频的第一帧；
步骤5.1.2，根据MEDIANFLOW追踪器手动选择包含目标物体的矩形窗口，返回数组{x,y,w,h}，其中，x为窗口最小的x值，y为窗口最小的y 值，w为窗口的宽，h为窗口的高；
步骤5.1.3，用第一帧图像和步骤5.1.2中矩形窗口初始化跟踪器；
步骤5.1.4，读取下一帧，重复步骤5.1.2-5.1.4，更新追踪器，返回新窗口数组{xi,yi,wi,hi}，直到视频没有下一帧；
步骤5.1.5，如果追踪器成功追踪到目标物体，更新新窗口的左上角坐标 p1(xi,yi)和右上角坐标p2(xi+wi,yi+hi)；
步骤5.1.6，根据p1、p2的坐标绘制矩形框，保存并打印第i帧图像窗口的宽wi和高hi，如图9所示；
步骤5.2，根据小孔成像模型中的相似三角形关系，结合相机焦距、步骤4中参照物与相机间距离和步骤5.1获取的物体像素大小计算出目标物体的真实长度。
步骤5.2具体为：
步骤5.2.1，据小孔成像模型中的物和像的相似三角形关系，设L为目标物体的长度，h为目标物体的像素长度，f为相机焦距，D为相机到物体的距离，则：
Figure BDA0003155595510000211
得到：
Figure BDA0003155595510000212
即得到了目标物体的长度L，如图10所示。
步骤2中最终得到的相机的内参如表1所示：
表1相机内部参数
Figure BDA0003155595510000213
步骤3中，为了验证本发明的特征匹配算法是可靠的，将本文算法与经典算法Lowe的算法进行对比：
表2特征匹配实验结果
Figure BDA0003155595510000221
由表2可知，本发明的特征匹配算法在误匹配的剔除上和获取到的匹配点对数量上都优于Lowe的算法，效率方面与Lowe的算法无较大差别，从而验证了本发明的特征匹配算法在特征匹配优化上的有效性。
步骤4中得到的参照物与相机间的距离如表3所示：
表3参照物与相机间距离测量结果
Figure BDA0003155595510000222
由表3可知本发明估计的相机与参照物所在平面的距离存在一定的误差，但是总体误差仍旧在比较低的范围内，误差是不可避免的。
步骤5中所获得的目标物体的宽为93.1876035453mm，目标物体的高为91.5762905157mm，目标物体的长度为119.237164191mm。
为验证通过视频数据实现目标物体长度测量的有效性，还进行了三组实验。实验一是同一参照物下多个距离的长度估算实验，验证了相机与目标物体的距离不同时，不会对目标物体长度测量结果造成影响。实验二是同一距离下不同参照物的长度估算实验，验证了参照物种类的不同不会对目标物体长度测量结果造成影响。实验三是将本发明物体长度测量算法估算出的结果与其他方法测得的长度进行对比，验证本发明方法在日常长度测量应用中的价值。
表4不同距离下目标物体长度测量结果
Figure BDA0003155595510000231
平均误差为0.684cm,可见本发明方法基本能够达到物体测量的目标。
表5不同参照物下目标物体长度测量结果
Figure BDA0003155595510000232
平均误差为0.535cm，证明了本方明方法在长度测量上是行之有效的，能够满足日常的测量需求。
表6实验结果对比
Figure BDA0003155595510000233
表7误差对比
Figure BDA0003155595510000234
由表6和表7可知，本发明方法产生的误差略小于“测距仪”产生的误差，略大于“AR尺子”产生的误差。“测距仪”和“AR尺子”两种手机测距软件虽然精度很高，但是在测量时需要先识别平面后方可测量，而本发明方法在此方面并无限制。除此之外，“AR尺子”在测量时极易受到手部抖动的影响而产生非常大的误差，如测量次数过少，很难得到精确的结果。并且手机测距软件需要软件和陀螺仪、加速器等手机硬件设备的相互配合，无法扩展到其他相机，而本发明方法并不受限。因此，本发明发明更具优势，能够更好地满足日常测量需求。

Claims (10)

1.一种基于手机视频的物体长度测量方法，其特征在于，具体按照如下步骤实施：
步骤1，通过手机相机采集视频数据，并对视频数据进行预处理；
步骤2，基于视觉坐标系统之间的转换关系来求解手机相机的内参数；
步骤3，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据进行特征点提取，之后将视频的每一帧与参考图像进行特征点匹配得到匹配点对；
步骤4，在获取到经步骤3产生的匹配点对的前提下，计算出参考图像和视频帧的单应性矩阵，根据单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框，通过参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离；
步骤5，获取到视频初始帧中的目标物体像素大小，结合相机焦距、步骤3中参照物与相机间距离和步骤5获取的物体像素大小计算出目标物体的真实长度。
2.根据权利要求1所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤1中采集视频时，在手机移动过程中采集视频数据且手机在空间中水平匀速运动；
所述步骤1中对视频进行预处理具体为：
对采集的视频数据进行双边滤波去噪，然后采用Canny算子来获取视频各帧的边缘信息。
3.根据权利要求2所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤2具体为：
步骤2.1，将6×8的棋盘格图像布满整个电脑屏幕，将电脑屏幕作为标定板，其中，每个小格的长度为37mm；
步骤2.2，使用手机相机在电脑屏幕的上、下、左、右、左上、左下、右上、右下、正前9个方位拍摄20张棋盘格图像；
步骤2.3，将步骤2.2中拍摄的20张棋盘格图像保存到指定目录下；
步骤2.4，对步骤2.3得到的20张棋盘格图像进行降采样，调用findChessboardCorners()函数进行初始化角点提取；
步骤2.5，在步骤2.4初步提取角点之上进一步使用cornerSubPix()函数提取亚像素信息，降低相机标定偏差，再调用drawChessboardCorners()函数将角点用不同颜色绘制到棋盘格图像上并保存图像；
步骤2.6，初始化标定板上的三维坐标，使用calibrateCamera函数()进行相机标定，得到相机参数；
步骤2.7，根据步骤2.6得到的相机参数对角点进行重新投影计算，得到角点在步骤2.3保存的棋盘格图像上新的投影点坐标，计算投影坐标和步骤2.5中亚像素提取之后的角点坐标之间的偏差对获得的相机参数进行评估，并删除偏差大于设定的阈值的图像；
步骤2.8，重新按照步骤2.4-2.6计算相机参数，之后返回步骤2.7对相机参数进行重新评估，直到没有图像再被删除为止；
步骤2.9，将标定结果写入到txt文件中。
4.根据权利要求2所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤3具体为：
步骤3.1，在计算机中保存一张包含目标物体和参照物的参考图像，对步骤1中手机相机采集的视频数据和保存的参考图像采用SURF算子进行特征点提取；
步骤3.2，将步骤3.1中特征点提取之后的视频的每一帧与参考图像采用KNN算法完成初始特征匹配，得到匹配点对；
步骤3.3，根据步骤3.2得到的匹配点对连接线长度和斜率相等的几何特征构建最佳几何约束，完成初始匹配优化；
步骤3.4，用RANSAC算法对步骤3.3的优化结果进行二次优化，获得最终匹配结果。
5.根据权利要求4所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤3.2具体为：
步骤3.2.1，步骤3.1得到的每个特征点利用K近邻查找法找到k个与其邻近的点，k＝2；
步骤3.2.2，设置阈值，若最近邻点和次近邻点的距离的比小于阈值，则将最近邻的点作为匹配点，最终得到步骤1中手机相机采集的视频数据和步骤3.1中保存的参考图像的匹配点对。
步骤3.3具体为：
步骤3.3.1，在计算机中初始化存储步骤3.2得到的匹配点对连接线的集合，设连接线的长度的集合为map_d，连接线的斜率集合为map_k；
步骤3.3.2，统计每对匹配点对连接线的长度di，斜率ki，将长度di作为map_d的键key，map_d的value为匹配线是该长度的条数，map_k的键key为每条匹配线的斜率ki，map_k的value为匹配线是该斜率的条数，其中，每对匹配点中的两个点p1i(xi,yi)和p2j(xj,yj)的距离di的计算公式如下：
Figure FDA0003155595500000041
两点p1i(xi,yi)和p2j(xj,yj)确定的直线斜率ki的计算公式如下：
Figure FDA0003155595500000042
步骤3.3.3，求map_d中value最大的key作为长度的基准，设为D，求map_k中value最大的key作为斜率的基准，设为K，当D-m≤di≤D+m或者K-n≤ki≤K+n时，保留该匹配点对连接线，否则删除，其中，m为匹配线长度的误差，n为匹配线斜率的误差，m＝15，n＝0.03；
步骤3.4具体为：
步骤3.4.1，初始化投影误差的阈值λ，内点集合I，最优内点集合I_best，迭代次数k；
步骤3.4.2，从经过步骤3.3.3得到的剩余连接线对应的匹配点对中随机抽取4个不共线的样本数据；
步骤3.4.3，根据样本数据计算变换矩阵，记作M，具体为：
根据公式：
Figure FDA0003155595500000043
其中，(x,y)和(x',y')是步骤3.4.2中样本数据中一对匹配点坐标，s为尺度参数，计算变换矩阵
Figure FDA0003155595500000044
并记作M；
步骤3.4.4，计算步骤3.3.3得到的剩余匹配点集中所有数据与M的投影误差δi，计算投影误差δi的公式如下：
Figure FDA0003155595500000051
如果δi＜λ，将该数据加入到内点集合I中；
步骤3.4.5，重复步骤3.4.2-3.4.4，找到存在最大元素个数的内点集合，并把该内点集合存入I_best，同时更新迭代次数k；
步骤3.4.6，若迭代次数k大于最大迭代次数，则最终I_best中的匹配点对即为优化后的匹配点对。
6.根据权利要求5所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4具体为：
步骤4.1，根据步骤3获得的特征匹配点对，计算出参考图像和视频帧的单应性矩阵；
步骤4.2，根据步骤4.1得到的单应性矩阵更新参照物顶点在每一帧图像中的坐标并估计参照物的边框；
步骤4.3，根据参照物的边框推导出相机位姿，根据相机位姿得到相机到参照物表面的距离。
7.根据权利要求6所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4.1具体为：
步骤4.1.1，设参考图像中的某个像点为p1(x1,y1)，视频中某一帧图像的像点p2(x2,y2)是p1(x1,y1)的匹配点，单应性矩阵为H通过下式建立两个像点间的关系：
Figure FDA0003155595500000052
步骤4.1.2，将矩阵乘法展开，可得下式：
Figure FDA0003155595500000061
步骤4.1.3，将步骤4.1.2中公式(6)转化为两个公式，如下所示：
Figure FDA0003155595500000062
将上面公式(7)变换为Ax＝0的形式，如下所示：
Figure FDA0003155595500000063
步骤4.1.4，将步骤3.1.3中公式(8)改写为向量积的形式，由于单应性矩阵是齐次的，令h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T，因此公式(8)改写为：
Figure FDA0003155595500000064
其中，ax＝(x1,y1,1,0,0,0,-x2x1,-x2y1,-x2)T ay＝(0,0,0,x1,y1,1,-x1y2,-y1y2,-y2)T，设有n对匹配点对，则得到Ah＝0，
Figure FDA0003155595500000065
求出h，再根据h＝(H11,H12,H13,H21,H22,H23,H31,H32,1)T得到单应性矩阵H。
8.根据权利要求7所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4.2具体为：
步骤4.2.1，获取步骤3.4.6得到的参考图像和第i帧图像对应的匹配点对，分别保存在集合src_pts和集合dst_pts中；
步骤4.2.2，根据匹配点按照步骤4.1的方法得到其对应的单应矩阵Mi；
步骤4.2.3，计算参考图像中参照物的顶点坐标，即参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存到集合pts中；
步骤4.2.4，利用步骤4.1.1中公式(5)通过步骤3.4.3得到的单应矩阵Mi计算集合pts中参照物的顶点在视频第i帧图像中的坐标，记为ai、bi、ci、di，分别是视频第i帧图像中参照物的左上角顶点、右上角顶点、右下角顶点、左下角顶点，并保存在集合dst中；
步骤4.2.5，依次连接ai、bi、ci、di得到第i帧图的边框图像，并将完成边框绘制的第i帧图像添加到集合found_list中；
步骤4.2.6，重复步骤4.2.1-4.2.5得到所有匹配点对对应的边框图像，将集合found_list中的图像合成完整的视频，保存视频，得到参照物的边框。
9.根据权利要求8所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤4.3具体为：
步骤4.3.1，相机线性模型表示为：
Pc＝RPw+t (10)
其中，Pc、Pw分别指同一空间点在相机坐标系和世界坐标系下的坐标，t为平移向量，R为旋转矩阵；
相机的内参矩阵K表示为：
Figure FDA0003155595500000071
其中，f为相机焦距，α为像素比例因子；
步骤4.3.2，将世界坐标系Ow-XwYwZw建立在平面上，则PA、PB、PC、PD四个点在Ow-XwYwZw中的坐标为PA(xA,yA,0)、PB(xB,yB,0)、PC(xC,yC,0)和PD(xD,yD,0)，则相机坐标系中的对应的点PA'、PB'、PC'、PD'表示为：
Pi'＝RPi+t＝(r1 r2 r3)Pi+t (12)
其中，Pi'为相机坐标系下的对应的点，i为A或B或C或D，Pi为世界坐标系下的点，r1，r2，r3分别为旋转矩阵R的3个列向量，t为平移向量；
步骤4.3.3，用相机坐标系中的点表示图像坐标系中的点，如下：
Figure FDA0003155595500000081
其中si为常数因子，(ui,vi)为点Pi'在图像坐标系中的坐标，由公式(11)、公式(12)和公式(13)得下式：
Figure FDA0003155595500000082
其中xi和yi分别为PA、PB、PC、PD四个点在Ow-XwYwZw中的坐标PA(xA,yA,0)、PB(xB,yB,0)、PC(xC,yC,0)和PD(xD,yD,0)中xA，yA，xB，yB，xC，yC，xD和yD；
步骤4.3.4，利用单应性矩阵描述两幅图像中对应像点的关系，得到：
Figure FDA0003155595500000083
由公式(14)、公式(15)得到：
Figure FDA0003155595500000084
由公式(16)得到：
Figure FDA0003155595500000085
由于r1 Tr2＝0，且|r1|＝|r2|＝1，可得到：
Figure FDA0003155595500000091
通过公式(18)确定f和α，将f和α代入公式(17)可以求出r1，r2和t，通过r3＝r1×r2求出r3，从而得到了旋转矩阵R和平移向量t；
步骤4.3.5，通过旋转矩阵R和平移向量t表示相机位姿came_rpaosit：
camera_position＝-RT×t (19)
从而求出了相机在世界坐标系中的坐标camera_position，其中，camera_position中的z轴坐标即为相机到参照物表面的垂直距离。
10.根据权利要求9所述的一种基于手机视频的物体长度测量方法，其特征在于，所述步骤5具体为：
步骤5.1，获取到视频初始帧中的目标物体像素大小，具体为：
步骤5.1.1，读取包含参照物和待测物体的视频的第一帧；
步骤5.1.2，根据MEDIANFLOW追踪器手动选择包含目标物体的矩形窗口，返回数组{x,y,w,h}，其中，x为窗口最小的x值，y为窗口最小的y值，w为窗口的宽，h为窗口的高；
步骤5.1.3，用第一帧图像和步骤5.1.2中矩形窗口初始化跟踪器；
步骤5.1.4，读取下一帧，重复步骤5.1.2-5.1.4，更新追踪器，返回新窗口数组{xi,yi,wi,hi}，直到视频没有下一帧；
步骤5.1.5，如果追踪器成功追踪到目标物体，更新新窗口的左上角坐标p1(xi,yi)和右上角坐标p2(xi+wi,yi+hi)；
步骤5.1.6，根据p1、p2的坐标绘制矩形框，保存并打印第i帧图像窗口的宽wi和高hi；
步骤5.2，根据小孔成像模型中的相似三角形关系，结合相机焦距、步骤4中参照物与相机间距离和步骤5.1获取的物体像素大小计算出目标物体的真实长度，具体为：
步骤5.2.1，据小孔成像模型中的物和像的相似三角形关系，设L为目标物体的长度，h为目标物体的像素长度，f为相机焦距，D为相机到物体的距离，则：
Figure FDA0003155595500000101
得到：
Figure FDA0003155595500000102
即得到了目标物体的长度L。
CN202110779312.7A 2021-07-09 2021-07-09 一种基于手机视频的物体长度测量方法 Active CN113642397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110779312.7A CN113642397B (zh) 2021-07-09 2021-07-09 一种基于手机视频的物体长度测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110779312.7A CN113642397B (zh) 2021-07-09 2021-07-09 一种基于手机视频的物体长度测量方法

Publications (2)

Publication Number Publication Date
CN113642397A true CN113642397A (zh) 2021-11-12
CN113642397B CN113642397B (zh) 2024-02-06

Family

ID=78416987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110779312.7A Active CN113642397B (zh) 2021-07-09 2021-07-09 一种基于手机视频的物体长度测量方法

Country Status (1)

Country Link
CN (1) CN113642397B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663689A (zh) * 2022-05-18 2022-06-24 沈阳和研科技有限公司 一种多步进测量方法
CN114882095A (zh) * 2022-05-06 2022-08-09 山东省科学院海洋仪器仪表研究所 一种基于轮廓匹配的物体高度在线测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648240A (zh) * 2018-05-11 2018-10-12 东南大学 基于点云特征地图配准的无重叠视场相机姿态标定方法
WO2020155616A1 (zh) * 2019-01-29 2020-08-06 浙江省北大信息技术高等研究院 一种基于数字视网膜的拍摄装置的定位方法
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李奇敏;李扬宇;: "基于改进SIFT算法的双目视觉距离测量", 传感器与微系统, no. 11 *
李山坤;陈立伟;李爽;: "基于实例分割的双目特征点匹配目标识别和定位研究", 无线电工程, no. 02 *
王向阳;梁涛;徐妙语;张锐;: "多光电跟踪仪视频图像的目标测距方法设计与实现", 电子世界, no. 20 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882095A (zh) * 2022-05-06 2022-08-09 山东省科学院海洋仪器仪表研究所 一种基于轮廓匹配的物体高度在线测量方法
CN114882095B (zh) * 2022-05-06 2022-12-20 山东省科学院海洋仪器仪表研究所 一种基于轮廓匹配的物体高度在线测量方法
CN114663689A (zh) * 2022-05-18 2022-06-24 沈阳和研科技有限公司 一种多步进测量方法

Also Published As

Publication number Publication date
CN113642397B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
Zhou et al. Canny-vo: Visual odometry with rgb-d cameras based on geometric 3-d–2-d edge alignment
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN107392947B (zh) 基于轮廓共面四点集的2d-3d图像配准方法
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
KR100816607B1 (ko) 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
US7747106B2 (en) Method and system for filtering, registering, and matching 2.5D normal maps
CN108629810B (zh) 双目相机的标定方法、装置及终端
JPWO2004063991A1 (ja) 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム
CN109613974B (zh) 一种大场景下的ar家居体验方法
JP5476264B2 (ja) カメラトラッキング装置およびそのプログラム
CN113642397B (zh) 一种基于手机视频的物体长度测量方法
CN110415304B (zh) 一种视觉标定方法及系统
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN101794459A (zh) 一种立体视觉影像与三维虚拟物体的无缝融合方法
CN114998448B (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN111126418A (zh) 一种基于平面透视投影的倾斜影像匹配方法
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN113340201A (zh) 一种基于rgbd相机的三维测量方法
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
Wan et al. A performance comparison of feature detectors for planetary rover mapping and localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant