CN108985310A - 基于序列特征重复度的条纹码字匹配方法 - Google Patents

基于序列特征重复度的条纹码字匹配方法 Download PDF

Info

Publication number
CN108985310A
CN108985310A CN201810417968.2A CN201810417968A CN108985310A CN 108985310 A CN108985310 A CN 108985310A CN 201810417968 A CN201810417968 A CN 201810417968A CN 108985310 A CN108985310 A CN 108985310A
Authority
CN
China
Prior art keywords
sequence
color
matrix
code word
cmarry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810417968.2A
Other languages
English (en)
Other versions
CN108985310B (zh
Inventor
韩成
杨帆
张超
蒋振刚
丁莹
胡汉平
权巍
李华
薛耀红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University of Science and Technology
Original Assignee
Changchun University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University of Science and Technology filed Critical Changchun University of Science and Technology
Priority to CN201810417968.2A priority Critical patent/CN108985310B/zh
Publication of CN108985310A publication Critical patent/CN108985310A/zh
Application granted granted Critical
Publication of CN108985310B publication Critical patent/CN108985310B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于序列特征重复度的条纹码字匹配方法，其特征在于：利用计算机生成一幅彩色编码条纹结构光图案，并通过投影仪投射该图案到待测物体表面上，并利用相机对调制的条纹图案进行采集，对采集的条纹图案进行序列特征梯度值进行求解，并查找具有最小的序列重复度的码字特征值，作为匹配的核码字，利用核码字以及序列重复度进行匹配条纹码字。有效解决非连续码字匹配问题，同时相对于动态规划方法的时间复杂度低等优点。

Description

基于序列特征重复度的条纹码字匹配方法
技术领域
本发明涉及一种基于序列特征重复度的条纹码字匹配方法，属于计算机视 觉技术领域。
背景技术
在基于彩色结构光条纹三维重建技术中，其中调制的彩色条纹解码过程中涉 及到彩色条纹码字检测、识别和匹配这三个关键问题，其中对投影仪投射的原始 编码彩色条纹码字与相机采集的调制条纹码字之间的匹配的准确性，直接决定了 三维重建的精准性。而条纹码字匹配的数理模型即是对序列进行优化匹配的问 题，在优化匹配过程中，通常会假设全局一致性或者局部一致性，而全局一致性 主要是对序列中的码值排列顺序没有发生变化，这类方法中比较经典的是动态规 划方法，以及水晶生长方法。而对应的局部一致性则是在一定局部序列范围内， 序列码值不发生改变。
对应彩色结构光条纹的码字匹配问题，即是建立投影仪投射的原始的编码彩 色条纹的码字特征与相机采集的条纹码字之间的对应关系。为此，K.L.BOYER等 人提出了一种水晶生长方法的彩色条纹匹配方法，该方法假设相机采集的调制 彩色条纹码字在待测物体表面的局部区域是不发生变化的，也即是对应的调制 条纹码字在整个序列条纹码字中的不发生改变的，为此其首先在相机采集的整 个调制彩色条纹的码字序列中找到具有局部不变性的序列，称之为核码字序 列，接着通过核码字序列对其他序列码字进行匹配，从而实现对调制彩色条纹 码字与原始编码的彩色条纹码字进行匹配。然而由于待测物体在非连续的位置 处极易导致条纹码字交叉匹配错误，为此Zhang等人提出了一种动态规划的条 纹码字匹配方法，其基本思想是将投影仪投射的原始彩色条纹码字序列和相机 采集的调制彩色条纹码字序列作为两条扫描线，进行多次动态规划匹配，通过 设定一个阈值来限定动态规划的截止条件。上述方法虽然能够对调制条纹码字 进行匹配，然而存在着待测物体交叉匹配时，极易出现匹配错误问题，以及动 态规划方法存在着时间复杂度高的问题。
发明内容
为了能够快速高精度的对调制的彩色条纹码字与原始投影条纹码字进行匹 配，本发明的目的提供了一种基于序列特征重复度的条纹码字匹配方法，其首 先利用计算机生成一幅彩色编码条纹结构光图案，并通过投影仪投射该图案到 待测物体表面上，并利用相机对调制的条纹图案进行采集，对采集的条纹图案 进行序列特征梯度值进行求解，并查找具有最小的序列重复度的码字特征值， 作为匹配的核码字，利用核码字以及序列重复度进行匹配条纹码字。
本发明的技术方案是这样实现的：一种基于序列特征重复度的条纹码字匹配 方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算 机进行连接，通过电缆将投影仪与计算机进行连接；
具体的步骤如下：
步骤1、通过计算机生成一幅7元3级的彩色结构光条纹编码图像，其中编 码图像选择的颜色码信息值分别选择为：红色、绿色、蓝色、青色、品红色、黄 色和白色，其对应的R颜色通道信息值、G颜色通道信息值、B颜色通道信息值， 分别为：(255，0，0)、(0，255，0)、(0，0，255)、(0，255，255)、(255，0，255)、 (255，255，0)和(255，255，255)，同时为了便于进行序列码字匹配，设定各个 颜色码对应各自的颜色码字序号sn，分别为1、2、3、4、5、6和7；利用De Burijng的伪随机特性和颜色码序号生成一幅7元3级的编码彩色结构光条纹图像pro_img，其中编码彩色结构光条纹图像pro_img的背景色为黑色信息值，彩色 条纹的宽度值设定为7个像素，相邻条纹之间的间隔为3个像素，图像分辨率大 小为A pixel×Bpixel。
步骤2、将相机和投影仪固定在三脚支架上，调整投影仪，使得投影仪投射 的编码彩色结构光条纹图像pro_img能够呈现在待测物体上，同时调整相机的位 姿，使得待测物体上的调制图像画面在相机的成像视野范围内，然后固定投影仪 和相机的位姿不变，并用相机采集待测物体上的调制彩色结构光条纹图像为cam_img。
步骤3、将相机采集的彩色结构光条纹图像cam_img中的所有像素点，按照 从上到下，从左到右的顺序存储在矩阵cimg_marry中，矩阵大小为n行，m列， 其中对于第i行，第j列对应的矩阵值cimg_marry(i，j)＝ (cr(i，j)，cg(i，j)，cb(i，j))，i＝1，2…n；j＝1，2…m。
步骤4、利用公式
diffr1(i，j)＝cr(i+1，j)-cr(i-1，j)+cr(i+2，j)-cr(i-2，j)；
diffg1(i，j)＝cg(i+1，j)-cg(i-1，j)+cg(i+2，j)-cg(i-2，j)；
diffb1(i，j)＝cb(i+1，j)-cb(i-1，j)+cb(i+2，j)-cb(i-2，j)；
得到图像cam_img在R颜色通道的一阶滤波差分矩阵diffr1，图像cam_img在G颜色通道的一阶滤波差分矩阵diffg1，图像cam_img在B颜色通道的一阶 滤波差分矩阵diffb1，其中i＝3，4，…n-2；j＝1，2…m；
接着利用公式
g1(i，j)＝diffr1(i，j)×diffr1(i，j)+diffg1(i，j)×diffg1(i，j)+diffb1(i，j)×diffb1(i，j) 得到图像cam_img在R颜色通道、G颜色通道和B颜色通道的二阶滤波差分矩阵 g1；
利用公式
diffg1(i，j)＝g1(i，j)(i+1，j)-g1(i，j)(i-1，j)+g1(i，j)(i+2，j)-g1(i，j)(i-2，j)；
得到图像cam_img的二阶滤波差分矩阵g1对应的一阶滤波差分矩阵diffg1；
diffg2(i，j)＝diffg1(i，j)(i+1，j)-diffg1(i，j)(i-1，j)
+diffg1(i，j)(i+2，j)-diffg1(i，j)(i-2，j)；
得到图像cam_img的二阶滤波差分矩阵g1对应的二阶滤波差分矩阵diffg2；
步骤5、为了保存相机采集的调制彩色条纹的中心码字对应的序列，构建矩 阵cam_cmarry(i，j)，i＝1，2…n；j＝1，2，…m，当满足
(diffg1(i-1，j)＞0&&diffg1(i+1，j)＜0)||(diffg1(i-1，j)＜0&&diffg1(i+1，j)＞0) &&(diffg2(i，j)＜0)
时，寻找cimg_marry(i，j)中颜色信息值对应的颜色码字序号sn，矩阵 cam_cmarry(i，j)＝sn，否则矩阵cam_cmarry(i，j)＝0。
步骤6、对投影仪投射的7元3级的编码彩色结构光条纹图像pro_img，按 照步骤3至步骤5执行，并将检测到的条纹中心对应的颜色码值序列保存在矩阵 pro_cmarry(a，b)，a＝1，2…A，b＝1，2…B。
步骤7、对矩阵pro_cmarry和矩阵cam_cmarry按照行进行扫描匹配，也即 是将矩阵pro_cmarry的第k行和矩阵cam_cmarry的第k行中所有非零元素值， 按照原始列顺序构建两个码字序列特征，分别为：Pseqk＝(ps1，ps2，ps3，...，psh)和 Cseqk＝(cs1，cs2，Cs3，...，csz)，Pseq和Cseq代表了条纹颜色码对应的特征信息 值。
步骤8、利用公式
pglpi＝pspi-pspi-1，cglci＝csci-csci-1
pgrpj＝pspj+1-pspj，cgrcj＝cscj+1-cscj
其中pspi和pspj为码字序列特征Pseq和Cseq中的序列元素值，而pgl和pgr 为条纹颜色码对应的特征梯度值，而序号pi＝2,3…h；ci＝2,3…z；pj＝1,2…h-1； cj＝1,2…z-1；构建两个码字特征序列特征分别为：左梯度值序列 Pgralk＝(pgl1,pgl2,pgl3,...,pglh-1)，Cgralk＝(cgl1,cgl2,cgl3,...,cglz-1)和右梯度 值序列Pgrark＝(pgr1,pgr2,pgr3,...,pgrh-1)，Cgrark＝(cgr1,cgr2,cgr3,...,cgrz-1)。
步骤9、查找上述四个梯度值序列中的所有满足pglx＝cgly和pgrx＝cgry的 梯度码，则梯度码对应在矩阵pro_cmarry和矩阵cam_cmarry的码字称之为内核 码字，寻找矩阵pro_cmarry和矩阵cam_cmarry中对应的所有内核码字，内核码 字对应的重复度rep最小。对矩阵pro_cmarry、cam_cmarry中相邻的内核码字 进行合并，逐渐扩大码字序列的重复度rep，找到最大序列重复度rep，对最大 重复度rep的序列中的最左端序列码字查找对应的左梯度值序列码进行匹配，如 果匹配则加入该序列中，如果不匹配则停止；同理，对最大重复度的序列中的最 右端序列码字查找对应的右梯度值序列码进行匹配，通过该过程进一步扩大码字 特征序列的重复度，得到最终的最大重复度序列。将已经匹配完的码字序列从矩 阵pro_cmarry、cam_cmarry中进行剔除。对所有的相邻内核码字进行处理，直 到剩余独立的内核码字，紧接着继续对独立的内核码字进行码字特征序列重复度 扩展，也是对码字序列的最左端和最右端序列码字查找对应的左梯度值序列码和 右梯度值序列码进行匹配，如果匹配则加入该序列中，如果不匹配则停止。
利用以上步骤可以实现对投影仪投射的原始编码条纹序列与相机采集的调 制条纹码字进行快速匹配。
本发明的积极效果是首先求取码字特征梯度值，接着构建码字序列重复 度，利用码字序列重复度对相机采集的调制条纹码字和投影条纹码字进行快速 匹配；基于序列特征重复度的条纹码字特征匹配算法能够有效的解决非连续码字 匹配问题，而且较动态匹配方法的时间复杂度低，有效解决非连续码字匹配问 题，同时相对于动态规划方法的时间复杂度低等优点。
附图说明
图1为本发明的结构示意图，其中计算机1、三脚支架2、相机3、投影仪4、 待测物体5。
具体实施方式
下面结合附图对本发明做进一步的描述：如图1所示，为一种基于序列特征 重复度的条纹码字匹配方法，计算机1、三脚支架2、相机3、投影仪4、待测物 体5；其特征在于相机3和投影仪4固定在三脚支架2上，并通过电缆将相机3 与计算机1进行连接，通过电缆将投影仪3与计算机1进行连接。
具体的步骤如下：
步骤1、通过计算机1生成一幅7元3级的彩色结构光条纹编码图像，其中 编码图像选择的颜色码信息值分别选择为：红色、绿色、蓝色、青色、品红色、 黄色和白色，其对应的R颜色通道信息值、G颜色通道信息值、B颜色通道信息 值，分别为：(255,0,0)、(0,255,0)、(0,0,255)、(0,255,255)、(255,0,255)、 (255,255,0)和(255,255,255)，同时为了便于进行序列码字匹配，设定各个 颜色码对应各自的颜色码字序号sn，分别为1、2、3、4、5、6和7。利用De Burijng 的伪随机特性和颜色码序号生成一幅7元3级的编码彩色结构光条纹图像pro_img，其中编码彩色结构光条纹图像pro_img的背景色为黑色信息值，彩色 条纹的宽度值设定为7个像素，相邻条纹之间的间隔为3个像素，图像分辨率大 小为A pixel×Bpixel，A＝1024，B＝768。
步骤2、将相机3和投影仪4固定在三脚支架2上，调整投影仪4，使得投 影仪4投射的编码彩色结构光条纹图像pro_img能够呈现在待测物体5上，同时 调整相机3的位姿，使得待测物体5上的调制图像画面在相机3的成像视野范围 内，然后固定投影仪4和相机3的位姿不变，并用相机3采集待测物体5上的调 制彩色结构光条纹图像为cam_img。
步骤3、将相机采集的彩色结构光条纹图像cam_img中的所有像素点，按照 从上到下，从左到右的顺序存储在矩阵cimg_marry中，矩阵大小为n行，m列， 其中对于第i行，第j列对应的矩阵值cimg_marry(i，j)＝ (cr(i，j)，cg(i，j)，cb(i，j))，i＝1，2…n；j＝1，2…m。
步骤4、利用公式
diffr1(i，j)＝cr(i+1，j)-cr(i-1，j)+cr(i+2，j)-cr(i-2，j)；
diffg1(i，j)＝cg(i+1，j)-cg(i-1，j)+cg(i+2，j)-cg(i-2，j)；
diffb1(i，j)＝cb(i+1，j)-cb(i-1，j)+cb(i+2，j)-cb(i-2，j)；
得到图像cam_img在R颜色通道的一阶滤波差分矩阵diffr1，图像cam_img 在G颜色通道的一阶滤波差分矩阵diffg1，图像cam_img在B颜色通道的一阶 滤波差分矩阵diffb1，其中i＝3，4，…n-2；j＝1，2…m；
接着利用公式
g1(i，j)＝diffr1(i，j)×diffr1(i，j)+diffg1(i，j)×diffg1(i，j)+diffb1(i，j)×diffb1(i，j)
得到图像cam_img在R颜色通道、G颜色通道和B颜色通道的二阶滤波差分矩阵 g1；
利用公式
diffg1(i，j)＝g1(i，j)(i+1，j)-g1(i，j)(i-1，j)+g1(i，j)(i+2，j)-g1(i，j)(i-2，j)；
得到图像cam_img的二阶滤波差分矩阵g1对应的一阶滤波差分矩阵diffg1；
diffg2(i，j)＝diffg1(i，j)(i+1，j)-diffg1(i，j)(i-1，j)
+diffg1(i，j)(i+2，j)-diffg1(i，j)(i-2，j)；
得到图像cam_img的二阶滤波差分矩阵g1对应的二阶滤波差分矩阵diffg2；
步骤5、为了保存相机采集的调制彩色条纹的中心码字对应的序列，构建矩 阵cam_cmarry(i，j)，i＝1，2…n；j＝1，2，…m，当满足
(diffg1(i-1，j)＞0&&diffg1(i+1，j)＜0)||(diffg1(i-1，j)＜0&&diffg1(i+1，j)＞0) &&(diffg2(i，j)＜0)
时，寻找cimg_marry(i，j)中颜色信息值对应的颜色码字序号sn，矩阵 cam_cmarry(i，j)＝sn，否则矩阵cam_cmarry(i，j)＝0。
步骤6、对投影仪投射的7元3级的编码彩色结构光条纹图像pro_img，按 照步骤3至步骤5执行，并将检测到的条纹中心对应的颜色码值序列保存在矩阵 pro_cmarry(a，b)，a＝1，2…A，b＝1，2…B。
步骤7、对矩阵pro_cmarry和矩阵cam_cmarry按照行进行扫描匹配，也即 是将矩阵pro_cmarry的第k行和矩阵cam_cmarry的第k行中所有非零元素值， 按照原始列顺序构建两个码字序列特征，分别为：Pseqk＝(ps1，ps2，ps3，...，psh)和 Cseqk＝(cs1，cs2，cs3，...，csz)，Pseq和Cseq代表了条纹颜色码对应的特征信息 值。
步骤8、利用公式
pglpi＝pspi-pspi-1，cglci＝csci-csci-1
pgrpj＝pspj+1-pspj，cgrcj＝cscj+1-cscj
其中pspi和pspj为码字序列特征Pseq和Cseq中的序列元素值，而pgl和pgr 为条纹颜色码对应的特征梯度值，而序号pi＝2,3…h；ci＝2,3…z；pj＝1,2…h-1； cj＝1,2…z-1；构建两个码字特征序列特征分别为：左梯度值序列 Pgralk＝(pgl1,pgl2,pgl3,...,pglh-1)，Cgralk＝(cgl1,cgl2,cgl3,...,cglz-1)和右梯度 值序列Pgrark＝(pgr1,pgr2,pgr3,...,pgrh-1)，Cgrark＝(cgr1,cgr2,cgr3,...,cgrz-1)。
步骤9、查找上述四个梯度值序列中的所有满足pglx＝cgly和pgrx＝cgry的 梯度码，则梯度码对应在矩阵pro_cmarry和矩阵cam_cmarry的码字称之为内核 码字，寻找矩阵pro_cmarry和矩阵cam_cmarry中对应的所有内核码字，内核码 字对应的重复度rep最小。对矩阵pro_cmarry、cam_cmarry中相邻的内核码字 进行合并，逐渐扩大码字序列的重复度rep，找到最大序列重复度rep，对最大 重复度rep的序列中的最左端序列码字查找对应的左梯度值序列码进行匹配，如 果匹配则加入该序列中，如果不匹配则停止；同理，对最大重复度的序列中的最 右端序列码字查找对应的右梯度值序列码进行匹配，通过该过程进一步扩大码字 特征序列的重复度，得到最终的最大重复度序列。将已经匹配完的码字序列从矩 阵pro_cmarry、cam_cmarry中进行剔除。对所有的相邻内核码字进行处理，直 到剩余独立的内核码字，紧接着继续对独立的内核码字进行码字特征序列重复度 扩展，也是对码字序列的最左端和最右端序列码字查找对应的左梯度值序列码和 右梯度值序列码进行匹配，如果匹配则加入该序列中，如果不匹配则停止。
利用以上步骤可以实现对投影仪投射的原始编码条纹序列与相机采集的调 制条纹码字进行快速匹配。基于序列特征重复度的条纹码字特征匹配算法能够 有效的解决非连续码字匹配问题，而且较动态匹配方法的时间复杂度低。

Claims (1)

1.一种基于序列特征重复度的条纹码字匹配方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪与计算机进行连接；
具体的步骤如下：
步骤1、通过计算机生成一幅7元3级的彩色结构光条纹编码图像，其中编码图像选择的颜色码信息值分别选择为：红色、绿色、蓝色、青色、品红色、黄色和白色，其对应的R颜色通道信息值、G颜色通道信息值、B颜色通道信息值，分别为：(255,0,0)、(0,255,0)、(0,0,255)、(0,255,255)、(255,0,255)、(255,255,0)和(255,255,255)，同时为了便于进行序列码字匹配，设定各个颜色码对应各自的颜色码字序号sn，分别为1、2、3、4、5、6和7；利用DeBurijng的伪随机特性和颜色码序号生成一幅7元3级的编码彩色结构光条纹图像pro_img，其中编码彩色结构光条纹图像pro_img的背景色为黑色信息值，彩色条纹的宽度值设定为7个像素，相邻条纹之间的间隔为3个像素，图像分辨率大小为A pixel×B pixel；
步骤2、将相机和投影仪固定在三脚支架上，调整投影仪，使得投影仪投射的编码彩色结构光条纹图像pro_img能够呈现在待测物体上，同时调整相机的位姿，使得待测物体上的调制图像画面在相机的成像视野范围内，然后固定投影仪和相机的位姿不变，并用相机采集待测物体上的调制彩色结构光条纹图像为cam_img；
步骤3、将相机采集的彩色结构光条纹图像cam_img中的所有像素点，按照从上到下，从左到右的顺序存储在矩阵cimg_marry中,矩阵大小为n行，m列，其中对于第i行，第j列对应的矩阵值cimg_marry(i，j)＝(cr(i,j),cg(i,j),cb(i,j)),i＝1,2…n；j＝1,2…m；
步骤4、利用公式
diffr1(i,j)＝cr(i+1,j)-cr(i-1,j)+cr(i+2,j)-cr(i-2,j)；
diffg1(i,j)＝cg(i+1,j)-cg(i-1,j)+cg(i+2,j)-cg(i-2,j)；
diffb1(i,j)＝cb(i+1,j)-cb(i-1,j)+cb(i+2,j)-cb(i-2,j)；
得到图像cam_img在R颜色通道的一阶滤波差分矩阵diffr1,图像cam_img在G颜色通道的一阶滤波差分矩阵diffg1，图像cam_img在B颜色通道的一阶滤波差分矩阵diffb1，其中i＝3,4,…n-2；j＝1,2…m；
接着利用公式
g1(i,j)＝diffr1(i,j)×diffr1(i,j)+diffg1(i,j)×diffg1(i,j)+diffb1(i,j)×diffb1(i,j)得到图像cam_img在R颜色通道、G颜色通道和B颜色通道的二阶滤波差分矩阵g1；
利用公式
diffg1(i,j)＝g1(i,j)(i+1,j)-g1(i,j)(i-1,j)+g1(i,j)(i+2,j)-g1(i,j)(i-2,j)；得到图像cam_img的二阶滤波差分矩阵g1对应的一阶滤波差分矩阵diffg1；diffg2(i,j)＝diffg1(i,j)(i+1,j)-diffg1(i,j)(i-1,j)+diffg1(i,j)(i+2,j)-diffg1(i,j)(i-2,j)；
得到图像cam_img的二阶滤波差分矩阵g1对应的二阶滤波差分矩阵diffg2；
步骤5、为了保存相机采集的调制彩色条纹的中心码字对应的序列，构建矩阵cam_cmarry(i，j),i＝1,2…n；j＝1,2,…m,当满足(diffg1(i-1,j)＞0&&diffg1(i+1,j)＜0)||(diffg1(i-1,j)＜0&&diffg1(i+1,j)＞0)&&(diffg2(i,j)＜0)
时，寻找cimg_marry(i，j)中颜色信息值对应的颜色码字序号sn，矩阵cam_cmarry(i，j)＝sn,否则矩阵cam_cmarry(i，j)＝0；
步骤6、对投影仪投射的7元3级的编码彩色结构光条纹图像pro_img，按照步骤3至步骤5执行，并将检测到的条纹中心对应的颜色码值序列保存在矩阵pro_cmarry(a,b)，a＝1,2…A,b＝1,2…B；
步骤7、对矩阵pro_cmarry和矩阵cam_cmarry按照行进行扫描匹配，也即是将矩阵pro_cmarry的第k行和矩阵cam_cmarry的第k行中所有非零元素值，按照原始列顺序构建两个码字序列特征，分别为：Pseqk＝(ps1,ps2,ps3,...,psh)和Cseqk＝(cs1,cs2,cs3,...,csz)，Pseq和Cseq代表了条纹颜色码对应的特征信息值；
步骤8、利用公式
pglpi＝pspi-pspi-1,cglci＝csci-csci-1
pgrpj＝pspj+1-pspj，cgrcj＝cscj+1-cscj
其中pspi和pspj为码字序列特征Pseq和Cseq中的序列元素值，而pgl和pgr为条纹颜色码对应的特征梯度值，而序号pi＝2,3…h；ci＝2,3…z；pj＝1,2…h-1；cj＝1,2…z-1；构建两个码字特征序列特征分别为：左梯度值序列Pgralk＝(pgl1,pgl2,pgl3,...,pglh-1)，Cgralk＝(cgl1,cgl2,cgl3,...,cglz-1)和右梯度值序列Pgrark＝(pgr1,pgr2,pgr3,...,pgrh-1)，Cgrark＝(cgr1,cgr2,cgr3,...,cgrz-1)；
步骤9、查找上述四个梯度值序列中的所有满足pglx＝cgly和pgrx＝cgry的梯度码，则梯度码对应在矩阵pro_cmarry和矩阵cam_cmarry的码字称之为内核码字，寻找矩阵pro_cmarry和矩阵cam_cmarry中对应的所有内核码字，内核码字对应的重复度rep最小，对矩阵pro_cmarry、cam_cmarry中相邻的内核码字进行合并，逐渐扩大码字序列的重复度rep，找到最大序列重复度rep，对最大重复度rep的序列中的最左端序列码字查找对应的左梯度值序列码进行匹配，如果匹配则加入该序列中，如果不匹配则停止；同理，对最大重复度的序列中的最右端序列码字查找对应的右梯度值序列码进行匹配，通过该过程进一步扩大码字特征序列的重复度，得到最终的最大重复度序列，将已经匹配完的码字序列从矩阵pro_cmarry、cam_cmarry中进行剔除，对所有的相邻内核码字进行处理，直到剩余独立的内核码字，紧接着继续对独立的内核码字进行码字特征序列重复度扩展，也是对码字序列的最左端和最右端序列码字查找对应的左梯度值序列码和右梯度值序列码进行匹配，如果匹配则加入该序列中，如果不匹配则停止；
利用以上步骤可以实现对投影仪投射的原始编码条纹序列与相机采集的调制条纹码字进行快速匹配。
CN201810417968.2A 2018-05-04 2018-05-04 基于序列特征重复度的条纹码字匹配方法 Expired - Fee Related CN108985310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810417968.2A CN108985310B (zh) 2018-05-04 2018-05-04 基于序列特征重复度的条纹码字匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810417968.2A CN108985310B (zh) 2018-05-04 2018-05-04 基于序列特征重复度的条纹码字匹配方法

Publications (2)

Publication Number Publication Date
CN108985310A true CN108985310A (zh) 2018-12-11
CN108985310B CN108985310B (zh) 2021-12-07

Family

ID=64542470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810417968.2A Expired - Fee Related CN108985310B (zh) 2018-05-04 2018-05-04 基于序列特征重复度的条纹码字匹配方法

Country Status (1)

Country Link
CN (1) CN108985310B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647072A (zh) * 2019-09-09 2020-01-03 周爱霞 自动化车辆限速控制系统及方法
WO2022143992A1 (zh) * 2020-12-31 2022-07-07 先临三维科技股份有限公司 三维扫描设备、方法、装置、存储介质及处理器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
CN101853515A (zh) * 2010-05-14 2010-10-06 长春理工大学 一种基于动态规划的De Bruijn彩色结构光解码方法
CN102184555A (zh) * 2011-04-01 2011-09-14 长春理工大学 一种De Bruijn彩色结构光编码图像的中心彩色条纹的颜色聚类化方法
CN106091986A (zh) * 2016-06-08 2016-11-09 韶关学院 一种适用于光亮表面的三维测量方法
US20170102224A1 (en) * 2010-01-20 2017-04-13 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2d camera and method of obtaining 3d representations
US9626568B2 (en) * 2013-11-26 2017-04-18 Rowan University Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation
US20170163969A1 (en) * 2015-12-04 2017-06-08 Empire Technology Development Llc Coordination of multiple structured light-based 3d image detectors
CN107516333A (zh) * 2016-06-17 2017-12-26 长春理工大学 自适应De Bruijn彩色结构光编码方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667303A (zh) * 2009-09-29 2010-03-10 浙江工业大学 一种基于编码结构光的三维重建方法
US20170102224A1 (en) * 2010-01-20 2017-04-13 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2d camera and method of obtaining 3d representations
CN101853515A (zh) * 2010-05-14 2010-10-06 长春理工大学 一种基于动态规划的De Bruijn彩色结构光解码方法
CN102184555A (zh) * 2011-04-01 2011-09-14 长春理工大学 一种De Bruijn彩色结构光编码图像的中心彩色条纹的颜色聚类化方法
US9626568B2 (en) * 2013-11-26 2017-04-18 Rowan University Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation
US20170163969A1 (en) * 2015-12-04 2017-06-08 Empire Technology Development Llc Coordination of multiple structured light-based 3d image detectors
CN106091986A (zh) * 2016-06-08 2016-11-09 韶关学院 一种适用于光亮表面的三维测量方法
CN107516333A (zh) * 2016-06-17 2017-12-26 长春理工大学 自适应De Bruijn彩色结构光编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENG HAN 等: "Indexing Coded Stripe Patterns Based on De Bruijn in Color Structured Light System", 《NATIONAL CONFERENCE ON INFORMATION TECHNOLOGY AND COMPUTER SCIENCE (CITCS 2012)》 *
FAN YANG 等: "The research on multi-projection correction based on color coding grid array", 《PROC. SPIE 10459, AOPC 2017: OPTICAL STORAGE AND DISPLAY TECHNOLOGY》 *
SANDRO BARONE 等: "A Coded Structured Light System Based on Primary Color Stripe Projection and Monochrome Imaging", 《SENSORS》 *
陆军 等: "基于De Bruijn序列的彩色结构光编解码方法研究", 《光 电 子 · 激 光》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647072A (zh) * 2019-09-09 2020-01-03 周爱霞 自动化车辆限速控制系统及方法
WO2022143992A1 (zh) * 2020-12-31 2022-07-07 先临三维科技股份有限公司 三维扫描设备、方法、装置、存储介质及处理器

Also Published As

Publication number Publication date
CN108985310B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN107016691B (zh) 基于超像素特征的运动目标检测方法
CN101576379B (zh) 基于二维彩色标靶的主动投影三维测量系统快速标定方法
CN110197517B (zh) 基于多域循环一致性对抗生成网络的sar图像上色方法
JP2003518614A (ja) 三次元の表面座標の決定方法
CN108592823A (zh) 一种基于双目视觉彩色条纹编码的解码方法
CN109920007A (zh) 基于多光谱光度立体与激光扫描的三维成像装置及方法
Huang et al. End-to-end projector photometric compensation
CN103345099B (zh) 一种基于偏振光消光的成像方法
CN108985310A (zh) 基于序列特征重复度的条纹码字匹配方法
US11073689B2 (en) Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space
CN109191562A (zh) 基于彩色伪随机编码结构光的三维重建方法
CN111823237B (zh) 基于rgb led动态信标的多机器人定位方法及系统
CN107516333A (zh) 自适应De Bruijn彩色结构光编码方法
CN108931209A (zh) 一种高适应性的彩色物体三维重建方法
CN113706607B (zh) 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置
CN110060208A (zh) 一种提高超分辨率算法重构性能的方法
CN101335901A (zh) 投影图像校正方法与装置
CN114092774A (zh) 基于信息流融合的rgb-t图像显著性检测系统及检测方法
Li et al. Spectral MVIR: Joint reconstruction of 3D shape and spectral reflectance
CN103297703A (zh) 多光谱图像获取方法
CN101853385A (zh) 一种提取De Bruijn彩色结构光图像的中心彩色条纹的方法
CN104408749A (zh) 一种基于色彩混合的快速红外彩色夜视实现方法
KR20190008715A (ko) 단색 순열 구조광 패턴의 생성 방법 및 그 방법을 이용한 구조광 시스템
CN113905223A (zh) 基于单个彩色相机零配准误差彩色3d成像方法及彩色相机
CN112991516A (zh) 一种用于三维重建的纹理编码影像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211207

CF01 Termination of patent right due to non-payment of annual fee