CN109064536A - 一种基于双目结构光的书页三维重建方法 - Google Patents
一种基于双目结构光的书页三维重建方法 Download PDFInfo
- Publication number
- CN109064536A CN109064536A CN201810842223.0A CN201810842223A CN109064536A CN 109064536 A CN109064536 A CN 109064536A CN 201810842223 A CN201810842223 A CN 201810842223A CN 109064536 A CN109064536 A CN 109064536A
- Authority
- CN
- China
- Prior art keywords
- page
- point
- bin
- structure light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Abstract
本发明公开了一种基于双目结构光的书页三维重建方法,涉及机器视觉技术领域,本发明基于GPU实现的SIFT方法进行实时双目匹配得到三维点云后,建立空间直角坐标系,将点云投影至ZOX平面,使用分段拟合的方法自动标定书轴点,以书轴点等角度划分空间,使用直方图统计与波形分析的方法获得书页状态,根据出现与消失区域点云数的脉冲函数追踪书页数量,在有书页在最佳拍摄区被检测到时,给高清相机拍摄信号,捕获畸变相对最小的书页图像,本发明可以提供高速的、非接触的书页扫描方式,大大提高了扫描精度与效率,具有很高的实用价值。
Description
技术领域
本发明涉及机器视觉技术领域,更具体的是涉及一种基于双目结构光的书页三维重建方法。
背景技术
双目视觉始于20世纪80年代,David Marr等人在多年研究的基础上,提出了一种新的计算机视觉理论框架,该理论框架解决了通过二维平面图像获得三维立体信息的问题;张正友(2000)提出了相机标定的一种灵活新方法,基于这种方法,出现了被广泛应用的双目相机标定方法。双目视觉技术经过不断的发展,现在已经广泛的应用在了测距、检测及三维重建等领域,起到了良好的效果,提升了工业自动化水平。但是在双目匹配算法上面,该技术还有很大的提升空间,如何更快更准确的对图像进行匹配,得到稠密的视差图和准确的三维坐标信息,仍是需要深入探讨和研究的问题。
使用结构光就是为了更快更准确的对图像进行匹配,得到稠密的视差图和准确的三维坐标信息。结构光编码方式分为时间编码、空间编码和直接编码,其中,时间编码又分有二值编码、n值编码、时间编码与相移法结合、混合编码;空间编码有非正式编码、DeBruijn序列编码、M-列阵编码;直接编码分为灰度直接编码和彩色直接编码。
Minou通过增加使用海明误差纠错码的方法来改善普通二值码的稳健性;Inokuchi用格雷码代替普通二值码,格雷码相邻码值之间的海明距离至多为1;在二值编码的条纹精确定位面,Trobina比较了几种条纹边界检测方法,认为通过投影正反两个图案寻找条纹边界交点的方法具有最佳子像素级定位精度;1998年,Valken-burg和Mclvor将图像分成17x17像素的图像子块,对每个图像子块进行多项式拟合或正弦函数拟合来精确定位条纹边界;1998年,Caspi提出了一个彩色n值编码方法.这种方法使用的是一个n值码值表,其中每种码值与一个特定的RGB颜色相对应,因而能够有效减少投影图案的数量,实现了对二值编码策略的泛化;Bergman首先提出格雷码与相移法相结合的方法,有效解决了周期信号二义性问题,同时得到较高的空间分辨率;1996年,Sato提出一种方法,在二值条纹图案的每一行插入一个尖锐的自相关脉冲,水平移动多次得到多个投影图像,然后计算每一行的最大自相关峰值,并根据三角法计算具有最大峰值像素的深度信息;2006年,Koninckx和Van Gool提出一种自适应编码方法,可随场景噪声程度和颜色等自动调节基图案中的条纹宽度、彩色条纹的宽度和密度,这种方法的缺点是计算复杂性较高,需要对场景的特征进行预测、加标签及追踪,当编码密度加大时解码困难;Monks和Carter使用基于6值3次DeBruijn序列来生成水平彩色条纹图案,不同颜色之间用黑色分隔;2007年,Albitar针对M-阵列方法中使用符号过多和彩色图案不适合彩色场景等缺点,提出了基于3个图形元素的单色编码图案,Albitar提出的图案码字之间的海明距离均大于3,平均海明距离为6.173,远大于一般的M-阵列方法,因而具有速度快,可靠性高等优点。
尺度不变特征转换(Scale-invariant feature transform,SIFT)是一种机器视觉的算法用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变数,此算法由David Lowe在1999年所发表,2004年完善总结。SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关,对于光线、噪声、拍摄视角改变的容忍度也相当高,基于这些特性,它们是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认,但SIFT算法一直以来都存在着计算代价昂贵的问题,Changchangwu在2011年发表了David Lowe的尺度不变特征变换的GPU实现,使得SIFT达到了实时的效果。
近年来已经开发出许多类型的书籍数字化系统,例如已被广泛商用的平板扫描仪系统,但是此类系统存在扫描处理耗时长且需手动翻页的缺点,另外,部分扫描仪存在需要切割书籍而导致书本必须被破坏的问题,目前出现了使用高清相机在翻页机的运动下自动捕获书籍页面图像的技术,然而,这些系统中使用的方法难以应用在书页翻转扫描的情况,因为这种情况下纸张表面的变形很大,必须找到一种方法以确定最佳的图像捕获时机,但基于三维点云图的书页重建技术相关研究资料较少,在国内尚属空白。
发明内容
本发明的目的在于:为了解决现有的高清相机在翻页机的运动下自动捕获书籍页面图像时,由于纸张表面变形较大,无法准确确定最佳的图像捕获时机,导致书页原始图像畸变较大的问题,本发明提供一种基于双目结构光的书页三维重建方法。
本发明为了实现上述目的具体采用以下技术方案:
一种基于双目结构光的书页三维重建方法,包括如下步骤:
S1:对书页打上结构光,使用双目相机捕获书页图像;
S2:使用GPU加速的SIFT方法对书页图像进行实时双目匹配,得到三维空间点云;
S3:建立空间直角坐标系,将三维空间点云向空间直角坐标系的ZOX平面投影,得到点云投影图;
S4:判断点云投影图上是否已标定书轴点pm,若是,则执行S5,否则,自动在点云投影图上标定书轴点pm;
S5:计算点云投影图的角度统计直方图;
S6:对角度统计直方图进行波形处理,过滤干扰波形;
S7:判断当前书页数量是否等于翻起的书页数量,若是,则执行S8,否则执行S5;
S8:判断各个翻起的书页的状态,若最佳拍摄位置上出现书页,则触发高清相机对书页进行拍摄,然后执行S9,否则直接执行S9;
S9:更新翻起的书页数量;
S10:判断是否结束扫描,若是,则结束扫描,否则执行S1。
进一步的,所述S1具体包括如下步骤:
S1.1:以图像信息熵、随机纹理丰富性和局部重复性大小为标准,选取复杂纹理结构光图像,其中,图像信息熵S的计算公式为:
其中,p(i,j)为结构光图像第i行、第j列的像素值,N为结构光图像的总行数;
S1.2:使用投影仪向书页投射所选取的复杂纹理结构光图像;
S1.3:使用双目相机采集投射有复杂纹理结构光图像的书页图像。
进一步的,所述S2具体包括如下步骤:
S2.1:CPU端上载书页图像,在GPU端建立书页图像的高斯金字塔影像;
S2.2:GPU端返回高斯金字塔影像至主存,在CPU端建立高斯差分金字塔影像;
S2.3:在CPU端的高斯差分金字塔影像中选择关键点进行定位,并将关键点的定位上载至GPU端;
S2.4:GPU端精确定位关键点,并提取关键点主方向,返回至主存;
S2.5:CPU端计算基于关键点的SIFT特征向量,上载描述符至GPU端;
S2.6:GPU端根据描述符进行SIFT特征匹配,得到三维空间点云中P点的坐标(X,Y,Z),计算公式为:
其中,Xl和Xr分别是P点在双目相机的左相机和右相机的成像视图上的水平像素位置,(clx,cly)为左相机光心在左相机成像视图中的坐标,f是双目相机的焦距,T是左相机摄像头与右相机摄像头的水平中心距,Yl是P点在左相机的成像视图上的竖直像素位置,crx为右相机光心在右相机成像视图中的水平坐标。
进一步的,所述S3具体包括如下步骤:
S3.1:以书轴作Y轴、书轴中心到双目相机中心处的方向作Z轴建立空间直角坐标系;
S3.2:将三维空间点云Pi(xi,yi,zi)向ZOX平面投影,得到点云投影图的投影点pi(xi,zi),其中i为点云索引,i=1,2,…,n,n为点云数量。
进一步的,所述S4中自动在点云投影图上标定书轴点pm,具体包括如下步骤:
S4.1:对于点云投影图的投影点pi(xi,zi),其中i为点云索引,i=1,2,…,n,n为点云数量,根据每个投影点xi的值从小到大进行排序;
S4.2:对ZOX平面的投影点,以xi为自变量,使用范德蒙矩阵和QR分解的方法进行二次曲线拟合;
S4.3:以二次曲线拟合后的投影点p1、pn为定点,二次曲线拟合后的投影点pj为动点,计算以p1、pn和pj为端点的三角形的面积,其中j=2,…,n-1,n为投影点数量,记使得三角形面积最大的动点为pd;
S4.4:以pd为分段点,在pd两侧,以xi为自变量,使用范德蒙矩阵和QR分解的方法,分别对ZOX平面内二次曲线拟合后的投影点进行三次曲线拟合,其中,对两侧未定义的点,记z值为0;
S4.5:三次曲线拟合后pd两侧曲线的交点即为书轴点pm。
进一步的,所述S5具体包括如下步骤:
S5.1:以书轴点pm为中心,X正半轴为起点,按逆时针方向,等角度地以15°为一个区域将ZOX平面划分为24个区域;
S5.2:采用si(mi,θi)描述ZOX平面上投影点的状态,计算si(mi,θi),i=1,2,…,n,其中mi为从点Pi(xi,yi,zi)到书轴点pm的欧式距离,θi是点Pi(xi,yi,zi)的旋转角,则mi与θi的计算公式分别为:
其中,xm、ym为书轴点pm的坐标;
S5.3:计算每个投影至ZOX平面的点云的权重wi,计算公式为:
其中,i=1,2,…,n,a为30;
S5.4:将24个区域看作24个bin,记为bin(k),k=1,2,….24,计算索引即第i个点应落在上,计算每一个点的索引,将计算得到的索引值放在24个bin中的其中一个,即得到点云投影图的角度统计直方图。
进一步的,所述S6具体包括如下步骤:
S6.1:标记所有分割点,所述分割点为满足以下三个条件中的任一个:
条件一:bin(x)<bin(x-1)且bin(x)<bin(x+1);
条件二:bin(x)<bin(x-1)且bin(x+1)=0;
条件三:bin(x)<bin(x+1)且bin(x-1)=0;
并且24个bin是循环的,bin(1-1)=bin(24),bin(24+1)=bin(1);
S6.2:标记所有波峰点,所述波峰点的定义为:
bin(x)=bin(x-1)=…=bin(x-p)>bin(x-p-1)且
bin(x)=bin(x+1)=…=bin(x+q)>bin(x+q+1),p,q∈[0,24];
S6.3:从每一个波峰点出发,以两边相邻的分割点为端点,计算每个波的波形面积;
S6.4:设定一个阈值T,将波形面积小于阈值T的波形过滤掉,即完成波形处理。
进一步的,所述S7具体包括如下步骤:
记翻起的书页数量为f,当经过S6波形处理后的波形数量等于f时,各书页位置即为各波形波峰所对应的角度统计直方图坐标值,将该时刻书页位置记为pk,则pk=25bin(i,u),其中k=1,2,…,f;i为波峰所对应的角度统计直方图坐标值;u为bin中被放入的点的数量;
当经过S6波形处理后的波形数量不等于f时,执行S5。
进一步的,所述S9具体包括如下步骤:
记24个bin中,书页出现的位置为ia,书页消失的位置为id,当前帧的时间为t,则有:
当bin(ia,t)对时间t有一个脉冲函数时,判定有新书页被翻起,f加1;
当bin(id,t)对时间t有一个脉冲函数时,判定有新书页落下,f减1。
本发明的有益效果如下:
本发明采用复杂图案结构光和SIFT匹配生成稠密的三维空间点云图,对三维空间点云在ZOX平面投影进行直方图统计,并使用滤波和信号分析的方法确定书页状态,达到在高速自动化捕捉书页图像的同时,将书页原始图像的畸变降至最低,以利于后期的书页内容分析识别处理,大大提高了数字化扫描的效率与精度。
附图说明
图1是本发明的方法流程图。
图2是运用GPU加速的SIFT完成双目匹配后的点云在ZOX平面上的投影。
图3是书轴点与拟合曲线示意图。
图4是角度统计直方图的示意图。
图5是运用本发明的方法,对一张书页从翻起到落下的过程中书页状态实时追踪示意图。
具体实施方式
为了本技术领域的人员更好的理解本发明,下面结合附图和以下实施例对本发明作进一步详细描述。
实施例1
如图1所示,本实施例提供一种基于双目结构光的书页三维重建方法,基于投影仪、翻页机、两台高速相机与一台高清相机作为硬件平台,包括如下步骤:
S1:对书页打上结构光,使用双目相机捕获书页图像,具体的:
S1.1:以图像信息熵、随机纹理丰富性和局部重复性大小为标准,选取复杂纹理结构光图像,其中,图像信息熵S的计算公式为:
其中,p(i,j)为复杂纹理结构光图像第i行、第j列的像素值,N为复杂纹理结构光图像的总行数;
S1.2:使用投影仪向书页投射所选取的复杂纹理结构光图像;
S1.3:使用双目相机采集投射有复杂纹理结构光图像的书页图像,本实施例中的双目相机由型号相同的两高速相机组成;
S2:使用GPU加速的SIFT方法对书页图像进行实时双目匹配,得到三维空间点云;
S2.1:CPU端上载书页图像,在GPU端建立书页图像的高斯金字塔影像;
S2.2:GPU端返回高斯金字塔影像至主存,主存与CPU端交换数据,在CPU端建立高斯差分金字塔影像;
S2.3:在CPU端的高斯差分金字塔影像中选择关键点进行定位,并将关键点的定位上载至GPU端,本实施例中所述关键点为DoG尺度空间中的局部极值点;
S2.4:GPU端精确定位关键点,并提取关键点主方向,返回至主存;
S2.5:CPU端计算基于关键点的SIFT特征向量,上载描述符至GPU端;
S2.6:GPU端根据描述符进行SIFT特征匹配,得到左图像中所有特征在右图像中的位置,并且双目相机完成双目校正,利用双目立体视觉公式得到三维空间点云中P点的坐标(X,Y,Z),计算公式为:
其中,Xl和Xr分别是P点在双目相机的左相机和右相机的成像视图上的水平像素位置,(clx,cly)为左相机光心在左相机成像视图中的坐标,f是双目相机的焦距,T是左相机摄像头与右相机摄像头的水平中心距,Yl是P点在左相机的成像视图上的竖直像素位置,crx为右相机光心在右相机成像视图中的水平像素位置;
S3:建立空间直角坐标系,将三维空间点云向空间直角坐标系的ZOX平面投影,得到如图2所示的点云投影图;
S3.1:以书籍装订线即书轴作Y轴、书轴中心到双目相机中心处的方向作Z轴建立空间直角坐标系;
S3.2:将三维空间点云Pi(xi,yi,zi)向ZOX平面投影,得到点云投影图的投影点pi(xi,zi),其中i为点云索引,i=1,2,…,n,n为点云数量;
S4:判断点云投影图上是否已标定书轴点pm,若是,则执行S5,否则,自动在点云投影图上标定书轴点pm;
所述S4中自动在点云投影图上标定书轴点pm,具体包括如下步骤:
S4.1:对于点云投影图的投影点pi(xi,zi),其中i为点云索引,i=1,2,…,n,n为点云数量,根据每个投影点xi的值对投影点从小到大进行排序;
S4.2:对ZOX平面的投影点,以xi为自变量,使用范德蒙矩阵和QR分解的方法进行二次曲线拟合;
S4.3:以二次曲线拟合后的投影点p1、pn为定点,二次曲线拟合后的投影点pj为动点,计算以p1、pn和pj为端点的三角形的面积,其中j=2,…,n-1,n为投影点数量,记使得三角形面积最大的动点为pd;
S4.4:以pd为分段点,在pd两侧,以xi为自变量,使用范德蒙矩阵和QR分解的方法,分别对ZOX平面内二次曲线拟合后的投影点进行三次曲线拟合,其中,对两侧未定义的点,记z值为0;
S4.5:三次曲线拟合后pd两侧曲线的交点即为如图3所示的书轴点pm;
S5:使用统计的方法来确定书页状态,计算点云投影图的角度统计直方图;
S5.1:以书轴点pm为中心,X正半轴为起点,按逆时针方向,等角度地以15°为一个区域将ZOX平面划分为24个区域;
S5.2:采用si(mi,θi)描述ZOX平面上投影点的状态,计算si(mi,θi),i=1,2,…,n,其中mi为从点Pi(xi,yi,zi)到书轴点pm的欧式距离,θi是点Pi(xi,yi,zi)的旋转角,则mi与θi的计算公式分别为:
其中,xm、ym为书轴点pm的坐标;
S5.3:计算每个投影在ZOX平面的点云的权重wi,计算公式为:
其中,i=1,2,…,n,系数a与实际的点云数量有关,本实施例中a为30;
S5.4:将24个区域看作24个bin,记为bin(k),k=1,2,….24,计算索引即第i个点应落在上,计算每一个点的索引,根据indexi的计算值选择将计算得到的索引放在24个bin中的其中一个,即得到如图4所示的点云投影图的角度统计直方图;
S6:将角度统计直方图波形看作离散信号,对角度统计直方图进行波形处理,过滤造成干扰的小波形;
S6.1:标记所有分割点,所述分割点为满足以下三个条件中的任一个:
条件一:bin(x)<bin(x-1)且bin(x)<bin(x+1);
条件二:bin(x)<bin(x-1)且bin(x+1)=0;
条件三:bin(x)<bin(x+1)且bin(x-1)=0;
并且24个bin是循环的,bin(1-1)=bin(24),bin(24+1)=bin(1);
S6.2:标记所有波峰点,所述波峰点的定义为:
bin(x)=bin(x-1)=…=bin(x-p)>bin(x-p-1)且
bin(x)=bin(x+1)=…=bin(x+q)>bin(x+q+1),p,q∈[0,24];
S6.3:从每一个波峰点出发,以两边相邻的分割点为端点,且包含两分割点,计算每个波的波形面积;
S6.4:设定一个阈值T,将波形面积小于阈值T的波形过滤掉,阈值T与点云数量有关,本实施例中阈值T为20,即完成波形处理;
S7:判断当前帧检测的书页数量是否等于翻起的书页数量,若是,则执行S8,否则执行S5;
记翻起的书页数量为f,当经过S6波形处理后的波形数量等于f时,各书页位置即为各波形波峰所对应的角度统计直方图坐标值,将该时刻书页位置记为pk,则pk=25bin(i,u),其中k=1,2,…,f;i为波峰所对应的角度统计直方图坐标值;u为bin中被放入的点的数量;
当经过S6波形处理后的波形数量不等于f时,执行S5;
S8:判断各个翻起的书页的状态,若最佳拍摄位置上出现书页,则触发高清相机对书页进行拍摄,然后执行S9,否则直接执行S9;
书页状态的判断为:波形处理后,完成滤波的角度统计直方图的每个波峰即对应出现一个书页,各书页在ZOX平面上表现为绕原点O旋转的线段,每个波峰的对应坐标值i乘以15,即为该书页投影在ZOX平面上的线段,以OX为起点,逆时针方向的角度值;
S9:根据当前帧处理的结果,更新翻起的书页数量如图5所示,为一张书页从翻起到落下的过程的书页状态实时追踪结果,其中图(b)为书页处于出现区域,图(g)为书页处于消失区域;
记24个bin中,书页出现的位置为ia,书页消失的位置为id,当前帧的时间为t,则有:
当bin(ia,t)对时间t有一个脉冲函数时,判定有新书页被翻起,f加1;
当bin(id,t)对时间t有一个脉冲函数时,判定有新书页落下,f减1;
S10:判断是否结束扫描,若是,则结束扫描,否则返回执行S1。
本实施例基于GPU实现的SIFT方法进行实时双目匹配得到三维空间点云后,建立空间直角坐标系,将三维空间点云投影至ZOX平面,使用分段拟合的方法自动标定书轴点,以书轴点等角度划分空间,使用直方图统计与波形分析的方法获得书页状态,根据出现与消失区域点云数的脉冲函数追踪书页数量,在有书页在最佳拍摄区被检测到时,给高清相机拍摄信号,捕获畸变相对最小的书页图像;实时检测多张翻起书页状态,连续地为高清相机提供最佳拍摄时机,本实施例的基于双目结构光的实时书页三维重建方法,可以提供高速的、非接触的书页扫描方式,解决了传统非接触书页扫描中需要反复手动操作且畸变较大的问题,大大地提高了扫描精度与效率,具有很高的实用价值。
以上所述,仅为本发明的较佳实施例,并不用以限制本发明,本发明的专利保护范围以权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
Claims (9)
1.一种基于双目结构光的书页三维重建方法,其特征在于,包括如下步骤:
S1:对书页打上结构光,使用双目相机捕获书页图像;
S2:使用GPU加速的SIFT方法对书页图像进行实时双目匹配,得到三维空间点云;
S3:建立空间直角坐标系,将三维空间点云向空间直角坐标系的ZOX平面投影,得到点云投影图;
S4:判断点云投影图上是否已标定书轴点pm,若是,则执行S5,否则,自动在点云投影图上标定书轴点pm;
S5:计算点云投影图的角度统计直方图;
S6:对角度统计直方图进行波形处理,过滤干扰波形;
S7:判断当前书页数量是否等于翻起的书页数量,若是,则执行S8,否则执行S5;
S8:判断各个翻起的书页的状态,若最佳拍摄位置上出现书页,则触发高清相机对书页进行拍摄,然后执行S9,否则直接执行S9;
S9:更新翻起的书页数量;
S10:判断是否结束扫描,若是,则结束扫描,否则执行S1。
2.根据权利要求1所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S1具体包括如下步骤:
S1.1:以图像信息熵、随机纹理丰富性和局部重复性大小为标准,选取复杂纹理结构光图像,其中,图像信息熵S的计算公式为:
其中,p(i,j)为复杂纹理结构光图像第i行、第j列的像素值,N为复杂纹理结构光图像的总行数;
S1.2:使用投影仪向书页投射所选取的复杂纹理结构光图像;
S1.3:使用双目相机采集投射有复杂纹理结构光图像的书页图像。
3.根据权利要求1所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S2具体包括如下步骤:
S2.1:CPU端上载书页图像,在GPU端建立书页图像的高斯金字塔影像;
S2.2:GPU端返回高斯金字塔影像至主存,在CPU端建立高斯差分金字塔影像;
S2.3:在CPU端的高斯差分金字塔影像中选择关键点进行定位,并将关键点的定位上载至GPU端;
S2.4:GPU端精确定位关键点,并提取关键点主方向,返回至主存;
S2.5:CPU端计算基于关键点的SIFT特征向量,上载描述符至GPU端;
S2.6:GPU端根据描述符进行SIFT特征匹配,得到三维空间点云中P点的坐标(X,Y,Z),计算公式为:
其中,Xl和Xr分别是P点在双目相机的左相机和右相机的成像视图上的水平像素位置,(clx,cly)为左相机光心在左相机成像视图中的坐标,f是双目相机的焦距,T是左相机摄像头与右相机摄像头的水平中心距,Yl是P点在左相机的成像视图上的竖直像素位置,crx为右相机光心在右相机成像视图中的水平坐标。
4.根据权利要求1所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S3具体包括如下步骤:
S3.1:以书轴作Y轴、书轴中心到双目相机中心处的方向作Z轴建立空间直角坐标系;
S3.2:将三维空间点云Pi(xi,yi,zi)向ZOX平面投影,得到点云投影图的投影点pi(xi,zi),其中i为点云索引,i=1,2,…,n,n为点云数量。
5.根据权利要求4所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S4中自动在点云投影图上标定书轴点pm,具体包括如下步骤:
S4.1:对于点云投影图的投影点pi(xi,zi),其中i为点云索引,i=1,2,…,n,n为点云数量,根据每个投影点xi的值对投影点从小到大进行排序;
S4.2:对ZOX平面的投影点,以xi为自变量,使用范德蒙矩阵和QR分解的方法进行二次曲线拟合;
S4.3:以二次曲线拟合后的投影点p1、pn为定点,二次曲线拟合后的投影点pj为动点,计算以p1、pn和pj为端点的三角形的面积,其中j=2,…,n-1,n为投影点数量,记使得三角形面积最大的动点为pd;
S4.4:以pd为分段点,在pd两侧,以xi为自变量,使用范德蒙矩阵和QR分解的方法,分别对ZOX平面内二次曲线拟合后的投影点进行三次曲线拟合,其中,对两侧未定义的点,记z值为0;
S4.5:三次曲线拟合后pd两侧曲线的交点即为书轴点pm。
6.根据权利要求1所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S5具体包括如下步骤:
S5.1:以书轴点pm为中心,X正半轴为起点,按逆时针方向,等角度地以15°为一个区域将ZOX平面划分为24个区域;
S5.2:采用si(mi,θi)描述ZOX平面上投影点的状态,计算si(mi,θi),i=1,2,…,n,其中mi为从点Pi(xi,yi,zi)到书轴点pm的欧式距离,θi是点Pi(xi,yi,zi)的旋转角,则mi与θi的计算公式分别为:
其中,xm、ym为书轴点pm的坐标;
S5.3:计算每个投影在ZOX平面的点云的权重wi,计算公式为:
其中,i=1,2,…,n,a为30;
S5.4:将24个区域看作24个bin,记为bin(k),k=1,2,….24,计算索引即第i个点应落在上,计算每一个点的索引,并将计算得到的索引值放在24个bin中的其中一个,即得到点云投影图的角度统计直方图。
7.根据权利要求6所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S6具体包括如下步骤:
S6.1:标记所有分割点,所述分割点为满足以下三个条件中的任一个:
条件一:bin(x)<bin(x-1)且bin(x)<bin(x+1);
条件二:bin(x)<bin(x-1)且bin(x+1)=0;
条件三:bin(x)<bin(x+1)且bin(x-1)=0;
并且24个bin是循环的,bin(1-1)=bin(24),bin(24+1)=bin(1);
S6.2:标记所有波峰点,所述波峰点的定义为:
bin(x)=bin(x-1)=…=bin(x-p)>bin(x-p-1)且
bin(x)=bin(x+1)=…=bin(x+q)>bin(x+q+1),p,q∈[0,24];
S6.3:从每一个波峰点出发,以两边相邻的分割点为端点,计算每个波的波形面积;
S6.4:设定一个阈值T,将波形面积小于阈值T的波形过滤掉,即完成波形处理。
8.根据权利要求7所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S7具体包括如下步骤:
记翻起的书页数量为f,当经过S6波形处理后的波形数量等于f时,各书页位置即为各波形波峰所对应的角度统计直方图坐标值,将该时刻书页位置记为pk,则pk=25bin(i,u),其中k=1,2,…,f;i为波峰所对应的角度统计直方图坐标值;u为bin中被放入的点的数量;
当经过S6波形处理后的波形数量不等于f时,执行S5。
9.根据权利要求8所述的一种基于双目结构光的书页三维重建方法,其特征在于,所述S9具体包括如下步骤:
记24个bin中,书页出现的位置为ia,书页消失的位置为id,当前帧的时间为t,则有:
当bin(ia,t)对时间t有一个脉冲函数时,判定有新书页被翻起,f加1;
当bin(id,t)对时间t有一个脉冲函数时,判定有新书页落下,f减1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810842223.0A CN109064536B (zh) | 2018-07-27 | 2018-07-27 | 一种基于双目结构光的书页三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810842223.0A CN109064536B (zh) | 2018-07-27 | 2018-07-27 | 一种基于双目结构光的书页三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109064536A true CN109064536A (zh) | 2018-12-21 |
CN109064536B CN109064536B (zh) | 2022-12-06 |
Family
ID=64836788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810842223.0A Active CN109064536B (zh) | 2018-07-27 | 2018-07-27 | 一种基于双目结构光的书页三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064536B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242990A (zh) * | 2020-01-06 | 2020-06-05 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于连续相位稠密匹配的360°三维重建优化方法 |
CN112767537A (zh) * | 2021-01-07 | 2021-05-07 | 华侨大学 | 一种基于rgb编码结构光的三维重建方法 |
CN116258421A (zh) * | 2023-05-15 | 2023-06-13 | 北京一起教育科技发展有限公司 | 课堂激励的方法、装置、设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184542A (zh) * | 2011-05-05 | 2011-09-14 | 华侨大学 | 一种双目立体视觉测量的立体匹配方法 |
CN102506757A (zh) * | 2011-10-10 | 2012-06-20 | 南京航空航天大学 | 双目立体测量系统多视角测量中的自定位方法 |
CN103273745A (zh) * | 2013-04-24 | 2013-09-04 | 倪俊 | 集成有三维扫描装置的3d打印机 |
US20150084951A1 (en) * | 2012-05-09 | 2015-03-26 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3d objects and a video feed from a film camera |
CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US20170046833A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3D Reconstruction and Registration of Endoscopic Data |
US20170142405A1 (en) * | 2015-10-21 | 2017-05-18 | Praxik, LLC. | Apparatus, Systems and Methods for Ground Plane Extension |
CN107170042A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种无序图像的多视立体匹配的三维重建方法 |
CN107170043A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种三维重建方法 |
CN107292921A (zh) * | 2017-06-19 | 2017-10-24 | 电子科技大学 | 一种基于kinect相机的快速三维重建方法 |
US20170316115A1 (en) * | 2015-12-09 | 2017-11-02 | Xactware Solutions, Inc. | System and Method for Generating Computerized Models of Structures Using Geometry Extraction and Reconstruction Techniques |
CN107767442A (zh) * | 2017-10-16 | 2018-03-06 | 浙江工业大学 | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 |
-
2018
- 2018-07-27 CN CN201810842223.0A patent/CN109064536B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102184542A (zh) * | 2011-05-05 | 2011-09-14 | 华侨大学 | 一种双目立体视觉测量的立体匹配方法 |
CN102506757A (zh) * | 2011-10-10 | 2012-06-20 | 南京航空航天大学 | 双目立体测量系统多视角测量中的自定位方法 |
US20150084951A1 (en) * | 2012-05-09 | 2015-03-26 | Ncam Technologies Limited | System for mixing or compositing in real-time, computer generated 3d objects and a video feed from a film camera |
CN103273745A (zh) * | 2013-04-24 | 2013-09-04 | 倪俊 | 集成有三维扫描装置的3d打印机 |
US20170046833A1 (en) * | 2015-08-10 | 2017-02-16 | The Board Of Trustees Of The Leland Stanford Junior University | 3D Reconstruction and Registration of Endoscopic Data |
US20170142405A1 (en) * | 2015-10-21 | 2017-05-18 | Praxik, LLC. | Apparatus, Systems and Methods for Ground Plane Extension |
CN105825544A (zh) * | 2015-11-25 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
US20170316115A1 (en) * | 2015-12-09 | 2017-11-02 | Xactware Solutions, Inc. | System and Method for Generating Computerized Models of Structures Using Geometry Extraction and Reconstruction Techniques |
CN107170042A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种无序图像的多视立体匹配的三维重建方法 |
CN107170043A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种三维重建方法 |
CN107292921A (zh) * | 2017-06-19 | 2017-10-24 | 电子科技大学 | 一种基于kinect相机的快速三维重建方法 |
CN107767442A (zh) * | 2017-10-16 | 2018-03-06 | 浙江工业大学 | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 |
Non-Patent Citations (5)
Title |
---|
SALVADOR PACHECO-GUTIERREZ: "Three-dimensional interest point detection and description using Speeded-Up Robust Features and histograms of oriented points", 《2015 19TH INTERNATIONAL CONFERENCE ON SYSTEM THEORY, CONTROL AND COMPUTING (ICSTCC)》 * |
刘毅: "结合Kinect的双目视觉场景三维重建", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王庆璨: "三维点云数据配准算法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
许晓伟: "基于稀疏表示的红外与可见光图像融合方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
谢杰良等: "一种平面微观形态三维信息获取与处理方法", 《科学技术与工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242990A (zh) * | 2020-01-06 | 2020-06-05 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于连续相位稠密匹配的360°三维重建优化方法 |
CN111242990B (zh) * | 2020-01-06 | 2024-01-30 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于连续相位稠密匹配的360°三维重建优化方法 |
CN112767537A (zh) * | 2021-01-07 | 2021-05-07 | 华侨大学 | 一种基于rgb编码结构光的三维重建方法 |
CN116258421A (zh) * | 2023-05-15 | 2023-06-13 | 北京一起教育科技发展有限公司 | 课堂激励的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109064536B (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706714B (zh) | 基于深度图像和神经辐射场的新视角合成方法 | |
CN108509848B (zh) | 三维物体的实时检测方法及系统 | |
CN104463108B (zh) | 一种单目实时目标识别及位姿测量方法 | |
Micusik et al. | Descriptor free visual indoor localization with line segments | |
CN103345736A (zh) | 一种虚拟视点绘制方法 | |
Zou et al. | A method of stereo vision matching based on OpenCV | |
CN104933434A (zh) | 一种结合LBP特征提取和surf特征提取方法的图像匹配方法 | |
CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
CN108230402B (zh) | 一种基于三棱锥模型的立体标定方法 | |
CN105157602A (zh) | 基于机器视觉的远程三维扫描系统及方法 | |
CN109064536A (zh) | 一种基于双目结构光的书页三维重建方法 | |
CN106023307B (zh) | 基于现场环境的快速重建三维模型方法及系统 | |
CN111768447B (zh) | 一种基于模板匹配的单目相机物体位姿估计方法及系统 | |
Furukawa et al. | One-shot entire shape acquisition method using multiple projectors and cameras | |
CN106500626A (zh) | 一种手机立体成像方法及三维成像手机 | |
CN114882109A (zh) | 一种面向遮挡、杂乱场景下的机器人抓取检测方法及系统 | |
CN116129037A (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
Liu et al. | The applications and summary of three dimensional reconstruction based on stereo vision | |
EP3906530B1 (en) | Method for 3d reconstruction of an object | |
CN107424194A (zh) | 键盘轮廓度的检测方法 | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
CN113421286B (zh) | 一种动作捕捉系统及方法 | |
CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
Wijenayake et al. | An error correcting 3D scanning technique using dual pseudorandom arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |