CN111860544A - 一种投影辅助衣物特征提取方法及系统 - Google Patents

一种投影辅助衣物特征提取方法及系统 Download PDF

Info

Publication number
CN111860544A
CN111860544A CN202010739557.2A CN202010739557A CN111860544A CN 111860544 A CN111860544 A CN 111860544A CN 202010739557 A CN202010739557 A CN 202010739557A CN 111860544 A CN111860544 A CN 111860544A
Authority
CN
China
Prior art keywords
image
clothes
coordinate information
projection
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010739557.2A
Other languages
English (en)
Other versions
CN111860544B (zh
Inventor
蒋亚洪
潘永路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Youchain Times Technology Co Ltd
Original Assignee
Hangzhou Youchain Times Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Youchain Times Technology Co Ltd filed Critical Hangzhou Youchain Times Technology Co Ltd
Priority to CN202010739557.2A priority Critical patent/CN111860544B/zh
Publication of CN111860544A publication Critical patent/CN111860544A/zh
Application granted granted Critical
Publication of CN111860544B publication Critical patent/CN111860544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种投影辅助衣物特征提取方法及系统，步骤包括：获取云相机拍摄的衣物图像信息；获取投影衣物图像信息；根据投影前衣物图像和投影后衣物图像生成交差图像；将所述交差图像处理去色，得到二元交差图像；通过对所述二元交差图像进行解码，获取特征点集，所述特征点集包括多个特征点；获取第一坐标信息；获取第二坐标信息；利用三角形关系通过所述第一坐标信息和所述第二坐标信息得到第三坐标信息；对相邻云相机生成的第三坐标信息进行匹配，生成特征点云。

Description

一种投影辅助衣物特征提取方法及系统
【技术领域】
本发明涉及机器视觉的技术领域，特别是涉及一种投影辅助衣物特征提取方法及系统。
【背景技术】
随着计算机技术和图像处理技术的发展，计算机视觉技术获得了极大地发展。特征提取与立体重建是计算机视觉技术中重点研究方向。特征提取是对在两幅或多幅图像之间进行图像匹配以此来寻找同一点或同一部分。在现有特征提取技术中，存在着计算复杂、计算时间长、纯色物体无法提取特征、效果差精度低等问题。
【发明内容】
本发明的目的就是解决现有技术中计算复杂、计算时间长、纯色物体无法提取特征、效果差精度低等问题。
为实现上述目的，本发明提出了一种投影辅助衣物特征提取方法及系统。
投影辅助衣物特征提取方法包括：
获取云相机拍摄的衣物图像信息，所述衣物图像信息包括不同云相机从两个以上不同角度拍摄的同一时刻的衣物图像；
获取投影衣物图像信息，所述投影衣物图像信息包括不同云相机从两个以上不同角度拍摄的投影后衣物图像，所述投影后衣物图像是通过四个投影仪把编码图案投射到衣物表面后云相机拍摄的衣物图像，四个投影仪位于以衣物为中心的正四边形的四个顶点上，位于正四边形对角线上的两个投影仪的投影平面相互平行且与该对角线垂直，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同；
通过对所述编码图案进行解码，获取特征点集，所述特征点集包括多个特征点；
根据投影前衣物图像和投影后衣物图像生成交差图像M差，M差＝M透-M原，所述投影前衣物图像和所述投影后衣物图像是同一云相机获取的衣物图像；
将所述交差图像处理去色，得到二元交差图像；
获取第一坐标信息，所述第一坐标信息为特征点在所述二元交差图像上的坐标信息；
获取第二坐标信息，所述第二坐标信息为特征点在投影仪像平面上的坐标信息；
利用三角形关系通过所述第一坐标信息和所述第二坐标信息得到第三坐标信息，所述第三坐标信息为特征点在场景中的三维坐标信息；
对相邻云相机拍摄的图像生成的第三坐标信息进行匹配，生成特征点云。
进一步地，还包括：计算所述特征点云的梯度，提取轮廓和纹理。
进一步地，所述计算所述特征点云的梯度，提取轮廓和纹理具体包括：
根据Gi(i，j)＝K(i+1，j)-K(i-1，j)计算点云水平方向梯度，其中Gi(i，j)为(i，j)处点云水平梯度值，K(i+1，j)和K(i-1，j)分别为在点(i+1，j)和(i-1，j)处的点云浓度；
根据Gj(i，j)＝K(i，j+1)-K(i，j-1)计算点云垂直梯度，其中Gj(i，j)为为在点(i，j)处垂直梯度值，K(i，j+1)和K(i，j-1)分别为在(i，j+1)和(i，j-1)处的点云浓度；
通过
Figure BDA0002606186690000021
得出该点处的梯度大小和在该点处的梯度方向，其中G(i，j)表示为在(i，j)处的点云梯度大小，θ(i，j)表示(i，j)处的点云梯度方向；
根据所有的梯度大小和梯度方向提取轮廓和纹理。
进一步地，所述云相机以相同的垂直距离固定在一个固定架上，所述固定架位于正八边形的八个顶点上，每个云相机的像平面与中心连线相垂直，所述中心连线为所述云相机所在八边形顶点与正八边形中心的连线。
进一步地，所述将交差图像处理去色，得到二元交差图像具体包括：利用随机数R作用交差图像的全部像素点，如果R小于5，使像素点为黑色，R大于5，使像素点为白色。
进一步地，所述投影仪投射的光只能照射衣物的一个面。
投影辅助衣物特征提取系统，所述系统包括：
第一图像信息获取模块，所述第一图像信息获取模块被配置为获取云相机拍摄的衣物图像信息，所述衣物图像信息包括不同云相机从两个以上不同角度拍摄的同一时刻的衣物图像；
第二图像信息获取模块，所述第二图像信息获取模块被配置为获取投影衣物图像信息，所述投影衣物图像信息包括不同云相机从两个以上不同角度拍摄的投影后衣物图像，所述投影后衣物图像是通过四个投影仪把编码图案投射到衣物表面后云相机拍摄的衣物图像，四个投影仪位于以衣物为中心的正四边形的四个顶点上，位于正四边形对角线上的两个投影仪的投影平面相互平行且与该对角线垂直，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同；
解码模块，所述解码模块被配置为通过对所述编码图案进行解码，获取特征点集，所述特征点集包括多个特征点；
交差图像生成模块，所述交差图像生成模块被配置为根据投影前衣物图像和投影后衣物图像生成交差图像M差，M差＝M透-M原，所述投影前衣物图像和所述投影后衣物图像是同一云相机获取的衣物图像；
处理去色模块，所述处理去色模块被配置为将所述交差图像处理去色，得到二元交差图像；
第一坐标获取模块，所述第一坐标获取模块被配置为获取第一坐标信息，所述第一坐标信息为特征点在所述二元交差图像上的坐标信息；
第二坐标获取模块，所述第二坐标获取模块被配置为获取第二坐标信息，所述第二坐标信息为特征点在投影仪像平面上的坐标信息；
第三坐标获取模块，所述第三坐标获取模块被配置为利用三角形关系通过所述第一坐标信息和所述第二坐标信息得到第三坐标信息，所述第三坐标信息为特征点在场景中的三维坐标信息；
点云生成模块，所述点云生成模块被配置为对相邻云相机生成的第三坐标信息进行匹配，生成特征点云。
进一步地，还包括梯度计算模块，所述梯度计算模块被配置为计算特征点云的梯度，提取轮廓和纹理。
本发明的有益效果：
上述投影辅助衣物特征提取方法及系统通过设定一个随机数作用于交差图像中所有的像素点的方法使衣物表面局部纹理激烈变化并且全局随机显示，大大增加了解码的精确度，大大降低解码所需计算的复杂度和解码所需要的时间。通过将交差图像二值化，大大降低解码所需计算的复杂度和解码所需要的时间，更易获取特征点。二元交差图像上的特征点和投影仪平面(DMD)上的编码图案是一一对应的关系。通过对二元交差图像的解码可以建立二元交差图像上特征点与投影仪像平面上特征点一一对应的关系从而大大提高特征提取的精确度。通过对为对相邻云相机生成的第三坐标信息进行匹配，生成特征点云并计算特征点云的梯度，提取轮廓和纹理，保持衣服原有的颜色，纹理和配饰，还能保持衣服形状褶皱阴影的自然度。
本发明的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
图1是本发明实施例的投影辅助衣物特征提取方法流程图；
图2是本发明实施例中云相机从一个视角所拍摄的投影前衣物图像；
图3是本发明实施例中云相机从一个视角所拍摄的投影后衣物图像；
图4是本发明实施例中二元交差图像的示意图；
图5是本发明实施例中的投影辅助衣物特征提取系统框图；
图6是本发明实施例中梯度计算模块结构框图；
图7是本发明实施例中未使用投影进行衣物特征提取的效果图；
图8是本发明实施例中使用投影进行衣物特征提取的效果图。
【具体实施方式】
在一个实施例中，提供了一种投影辅助衣物特征提取方法。参照图1，该投影辅助衣物特征提取方法具体包括如下步骤：
S110获取云相机拍摄的衣物图像信息。
其中所述衣物图像信息包括不同云相机从两个以上不同角度拍摄的同一时刻的衣物图像。
在本实施例中，如图2所示，图2为一个云相机从一个视角所拍摄的投影前衣物图像，该衣物图像中没有投影在衣物表面的编码图案。不同云相机在不同角度拍摄的衣物图像在细节上有细微差别，主要体现在任意一个三维衣物特征点(即场景点)在不同云相机所拍摄的图片中位于不同的位置、相应的二维坐标不同。
在其他实施例中，多个云相机以相同的垂直距离固定在一个固定架上，且每个固定架上的云相机个数相等，每个固定架位于正八边形的八个顶点上，每个云相机的像平面与中心连线相垂直，所述中心连线为云相机所在八边形顶点与正八边形中心的连线。
在其他实施例中，多个云相机以相同距离固定在一个固定架上，且每个固定架上的云相机个数相等，每个固定加位于正六边形状或正四边形的顶点上。
在其他实施例中，多个云相机从多个角度对衣物进行图像采集，并按序号进行保存，更有利于在后续对衣物图像的处理，特别是在后续对相邻云相机生成的第三坐标信息进行匹配时，只需比对相邻序号的衣物图像生成的第三坐标信息，降低了匹配时间。
S120获取投影衣物图像信息。
其中所述投影衣物图像信息包括不同云相机从两个以上不同角度拍摄的投影后衣物图像，所述投影后衣物图像是通过四个投影仪把编码图案投射到衣物表面后云相机拍摄的衣物图像，四个投影仪位于以衣物为中心的正四边形的四个顶点上，位于正四边形对角线上的两个投影仪的投影平面相互平行且与该对角线垂直，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同。
在本实施例中，如图3所示，图3为云相机从一个视角所拍摄的投影后衣物图像，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同。编码图案用来帮助确定特征点在相机-投影仪之间的对应性。
在其他实施例中，固定在模特身体上的三维衣物可以看成一个长方体，四个投影仪分别将编码图案投影到与该长方体正对的面，一个投影仪投射的光只能照射三维衣物的一个面，且四个投影仪投影平面(DMD)上的编码图案各不相同，使投射到衣物四个表面的编码图案各不相同，不会造成三维场景点(衣物特征点)、相机像平面上特征点、投影平面上编码图案对应的特征点三者一一对应关系的混淆，有利于后续特征点的提取。
在其他实施例中，图7是本发明实施例中未使用投影进行衣物特征提取的效果图，图8是本发明实施例中使用投影进行衣物特征提取的效果图。可以看出使用投影进行衣物特征提取比起不使用投影进行衣物特征提取，提取到的衣物信息更加完整。
S130根据投影前衣物图像和投影后衣物图像生成交差图像M差。
其中M差＝M后-M前，所述投影前衣物图像和所述投影后衣物图像是同一云相机获取的衣物图像，M后代表投影后衣物图像，M前代表投影前衣物图像。交差图像为投影后衣物图像减去投影前衣物图像。
在本实施例中，投影前衣物图像、投影后衣物图像、交差图像都可以表示为一个矩阵。例如
Figure BDA0002606186690000071
投影前衣物图像中的像素点、投影后衣物图像中的像素点、交差图像中的像素点都可以表示为矩阵中的元素m。根据投影前衣物图像和投影后衣物图像生成交差图像只需要将投影后衣物图像所代表的矩阵和投影前衣物图像所代表的矩阵进行运算生成交差信息，整个运算简单、快速，去除了衣物图像的底色，排除了衣物底色对特征点提取匹配过程的干扰。
S140将所述交差图像处理去色，得到二元交差图像。
在本实施例中，为了得到一个更精确的、分辨率更高的特征点提取、匹配结果，对通过投影前衣物图像和投影后衣物图像生成的交差图像进行准确的二值化操作，使得交差图像中每个像素点都能够正确解码。利用随机数R作用交差图像的全部像素点，如果R小于5，使该像素点为黑色，R大于5，使该像素点为白色。
因为利用云相机拍摄衣物的环境往往是未知且复杂的。比如同样的投影光照在深色衣物表面的亮度比照射在浅色衣物表面的亮度要低。这意味着通过投影前衣物图像和投影后衣物图像生成的交差图像在衣物不同部位上灰度值不同。由于不能提前预知三维场景环境中的衣物表面信息，往往对后续编码图案的解码、特征点的提取和匹配带来困难，造成分辨率和精确度低下等问题。通过设定一个随机数作用与交差图像中所有的像素点的方法使衣物表面局部纹理激烈变化并且全局随机显示，大大增加了解码的精确度，大大降低解码所需计算的复杂度和解码所需要的时间。
在其他实施例中，通过设定一个全局灰度阈值，对灰度值高于阈值的像素点置1(显示为白色)，对灰度值低于阈值的像素点置0(显示为黑色)。
S150通过对所述二元交差图像进行解码，获取特征点集。
其中所述特征点集包括多个特征点。图4为二元交差图像的示意图，通过将交差图像二值化，大大降低解码所需计算的复杂度和解码所需要的时间，更易获取特征点。二元交差图像上的特征点和投影仪平面(DMD)上的编码图案是一一对应的关系。通过对二元交差图像的解码可以建立二元交差图像上特征点与投影仪像平面上特征点一一对应的关系。
在本实施例中，每个格子里编码图案都是随机的，每个格子的编码图案不同，即编码图案的最小单元在水平方向和垂直方向上都不同，编码图案的最小单元在水平方向和垂直方向上都有唯一特征值。通过投影仪将编码图案投影到衣物表面，交差图像是DMD上编码图案在相机像平面上的投影，所以对二元交差图像的解码就是对每个二元交差图像的最小单元进行特征值的提取，当编码图案投射到衣物表面时，保证衣物每个部位的特征不同，这样特征点明显并且容易提取，降低提取特征点所需的计算复杂度和所需的时间。
在其他实施例中，在衣物的不同位置，编码图案的细节信息不同，例如投向左领口的编码图案与其余部位的编码图案不同。这样做的目的是，使编码图案和二元交差图像特征点之间建立一一对应的关系更好的确定和匹配不同图像中的特征点。通过对二元交差图像进行解码，就可以知道二元交差图像的特征点是由投影仪DMD哪个像素发出的，也可以知道衣物表面会在虚拟的投影仪图像上的成像位置。
S160获取第一坐标信息。
其中，所述第一坐标信息为特征点在所述二元交差图像上的坐标信息。
在本实施例中，(uc，vc)表示二元交差图像上的特征点的坐标，二元交差图像上的特征点的坐标也是二元交差图像的最小单元中心点处的坐标。其中坐标原点可以是二元交差图像的左上角顶点，X轴以坐标原点向水平方向延伸，Y轴以坐标原点向竖直方向延伸。二元交差图像的最小单元都有一个唯一确定的坐标值。
S170获取第二坐标信息。
其中所述第二坐标信息为特征点在投影仪像平面上的坐标信息，所述投影仪像平面特征点与每个二元交差图像的特征点相匹配。
在本实施例中，(up，vp)表示投影仪像平面(DMD)上的特征点的坐标，投影仪像平面(DMD)上的特征点的坐标也是DMD上编码图案最小单元中心点处的坐标。其中坐标原点可以是投影仪像平面的左上角顶点，X轴以坐标原点向水平方向延伸，Y轴以坐标原点向竖直方向延伸。DMD上编码图案最小单元都有一个唯一确定的坐标值。
S180利用三角形关系通过第一坐标信息和第二坐标信息得到第三坐标信息。
其中，所述第三坐标信息为特征点在场景中的三维坐标信息。
在本实施例中，三维场景点和它在二维相机平面(CCD)上的投影点，投影仪像平面的投影像素(DMD)组成一个三角形。Oc、Op分别是云相机镜头的焦点和投影仪像平面的焦点，焦点是所有光线在此处汇聚的点。对于一个给定三维场景点，它在云相机的像平面上的点和两焦点Oc、Op形成一个平面。该平面与云相机的像平面和投影仪的相平面分别相交于Ec和Ep。根据二元交差图像上的特征点的坐标(uc，vc)，投影仪像平面上的坐标信息(up，vp)，它们之间的三角几何关系得到三维场景点的坐标。三维场景点的坐标可以表示为(xw，yw，zw)。
S190对相邻云相机拍摄的图像生成的第三坐标信息进行匹配，生成特征点云。
在本实施例中，首先使用两个云相机生成的第三坐标信息进行匹配，计算出一个初始的点云，之后不断添加相邻云相机生成的第三坐标信息。多个云相机生成的相应第三坐标信息按序号进行保存，对相邻云相机生成的第三坐标信息进行匹配时，只需比对相邻序号的衣物图像生成的第三坐标信息，降低了匹配时间。
在其他实施例中，首先使用两个云相机生成的第三坐标信息进行匹配，计算出一个初始的点云，之后不断添加相邻云相机生成的第三坐标信息，具体添加相邻云相机的方法：检查相邻云相机第三坐标信息与已有的第三坐标信息匹配度，优选匹配度最高的相邻云相机的第三坐标信息进行匹配。
在一个实施例中，投影辅助衣物特征提取方法还包括：计算所述特征点云的梯度，提取轮廓和纹理。
在本实施例中，Gi(i，j)＝K(i+1，j)-K(i-1，j)为计算特征点水平方向梯度的公式，其中Gi(i，j)为(i，j)处点云水平梯度值，K(i+1，j)和K(i-1，j)分别为在点(i+1，j)和(i-1，j)处的点云浓度。Gj(i，j)＝K(i，j+1)-K(i，j-1)为计算特征点垂直梯度的公式，其中Gj(i，j)为为在点(i，j)处垂直梯度值，K(i，j+1)和K(i，j-1)分别为在(i，j+1)和(i，j-1)处的点云浓度。通过
Figure BDA0002606186690000111
Figure BDA0002606186690000112
得出该点处的梯度大小和在该点的梯度方向，根据所有点处的梯度大小和梯度方向提取到轮廓和纹理。其中G(i，j)表示为在(i，j)处的点云梯度大小，θ(i，j)表示(i，j)处的点云梯度方向。
如图5所示，在一个实施例中，提供了一种投影辅助衣物特征提取系统，该系统包括：
第一图像信息获取模块510，所述第一图像信息获取模块被配置为获取云相机拍摄的衣物图像信息，所述衣物图像信息包括不同云相机从两个以上不同角度拍摄的同一时刻的衣物图像；
第二图像信息获取模块520，所述第二图像信息获取模块被配置为获取投影衣物图像信息，所述投影衣物图像信息包括不同云相机从两个以上不同角度拍摄的投影后衣物图像，所述投影后衣物图像是通过四个投影仪把编码图案投射到衣物表面后云相机拍摄的衣物图像，四个投影仪位于以衣物为中心的正四边形的四个顶点上，位于正四边形对角线上的两个投影仪的投影平面相互平行且与该对角线垂直，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同；
交差图像生成模块530，所述交差图像生成模块被配置为根据投影前衣物图像和投影后衣物图像生成交差图像M差，M差＝M后-M前，所述投影前衣物图像和所述投影后衣物图像是同一云相机获取的衣物图像，M后代表投影后衣物图像，M前代表投影前衣物图像；
处理去色模块540，所述处理去色模块被配置为将所述交差图像处理去色，得到二元交差图像；
解码模块550，所述解码模块被配置为通过对二元交差图像进行解码，获取特征点集，所述特征点集包括多个特征点；
第一坐标获取模块560，所述第一坐标获取模块被配置为获取第一坐标信息，所述第一坐标信息为特征点在所述二元交差图像上的坐标信息；
第二坐标获取模块570，所述第二坐标获取模块被配置为获取第二坐标信息，所述第二坐标信息为特征点在投影仪像平面上的坐标信息；
第三坐标获取模块580，所述第三坐标获取模块被配置为利用三角形关系通过所述第一坐标信息和所述第二坐标信息得到第三坐标信息，所述第三坐标信息为特征点在场景中的三维坐标信息；
点云生成模块590，所述点云生成模块被配置为对相邻云相机生成的第三坐标信息进行匹配，生成特征点云。
在一个实施例中，投影辅助衣物特征提取系统，如图6所示，还包括：
梯度计算模块610，所述梯度计算模块被配置为计算特征点云的梯度，提取轮廓和纹理。
在本实施例中，本申请提供的一种投影辅助衣物特征提取系统可以实现为一种程序的形式，程序在智能终端设备上运行。智能终端的存储器中可存储组成该投影辅助衣物特征提取系统的各个程序模块，比如，图5所示的第一图像信息获取模块510、第二图像信息获取模块520、交差图像生成模块530、处理去色模块540、解码模块550、第一坐标获取模块560、第二坐标获取模块570、第三坐标获取模块580、点云生成模块590。各个程序模块构成的程序使得处理器执行本说明书中描述的本申请各个实施例的投影辅助衣物特征提取方法中的步骤。
例如，智能终端可以通过如图5所示投影辅助衣物特征提取系统中的第一图像信息获取模块510执行S110。第二图像信息获取模块520执行S120。交差图像生成模块530执行S130。处理去色模块540执行S140。解码模块550执行S150。第一坐标获取模块560执行S160。第二坐标获取模块570执行S170。第三坐标获取模块580执行S180。点云生成模块590执行S190。
需要说明的是，在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。显然所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其它实施例，都应当属于本发明保护的范围。需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。

Claims (9)

1.一种投影辅助衣物特征提取方法，其特征在于，包括：
获取云相机拍摄的衣物图像信息，所述衣物图像信息包括不同云相机从两个以上不同角度拍摄的同一时刻的衣物图像；
获取投影衣物图像信息，所述投影衣物图像信息包括不同云相机从两个以上不同角度拍摄的投影后衣物图像,所述投影后衣物图像是通过四个投影仪把编码图案投射到衣物表面后云相机拍摄的衣物图像，四个投影仪位于以衣物为中心的正四边形的四个顶点上，位于正四边形对角线上的两个投影仪的投影平面相互平行且与该对角线垂直，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同；
根据投影前衣物图像和投影后衣物图像生成交差图像M差，M差＝M后-M前，所述投影前衣物图像和所述投影后衣物图像是同一云相机获取的衣物图像，M后代表投影后衣物图像，M前代表投影前衣物图像；
将所述交差图像处理去色，得到二元交差图像；
通过对所述二元交差图像进行解码，获取特征点集，所述特征点集包括多个特征点；
获取第一坐标信息，所述第一坐标信息为特征点在所述二元交差图像上的坐标信息；
获取第二坐标信息，所述第二坐标信息为特征点在投影仪像平面上的坐标信息；
利用三角形关系通过所述第一坐标信息和所述第二坐标信息得到第三坐标信息，所述第三坐标信息为特征点在场景中的三维坐标信息；
对相邻云相机生成的第三坐标信息进行匹配，生成特征点云。
2.如权利要求1所述的投影辅助衣物特征提取方法，其特征在于，还包括：
计算所述特征点云的梯度,提取轮廓和纹理。
3.如权利要求1所述的投影辅助衣物特征提取方法，其特征在于，所述云相机以相同的垂直距离固定在一个固定架上，所述固定架位于正八边形的八个顶点上，每个云相机的像平面与中心连线相垂直，所述中心连线为所述云相机所在八边形顶点与正八边形中心的连线。
4.如权利要求1所述的投影辅助衣物特征提取方法，其特征在于，所述将交差图像处理去色，得到二元交差图像具体包括：利用随机数R作用交差图像的全部像素点，如果R小于5，使像素点为黑色，R大于5，使像素点为白色。
5.如权利要求1所述的投影辅助衣物特征提取方法，其特征在于，所述编码图案是随机分布的,所述编码图案的最小单元在水平方向和垂直方向上都不同。
6.如权利要求2所述的投影辅助衣物特征提取方法，其特征在于，所述计算所述特征点云的梯度，提取轮廓和纹理具体包括：
根据Gi(i,j)＝K(i+1,j)-K(i-1,j)计算点云水平方向梯度，其中Gi(i,j)为(i,j)处点云水平梯度值，K(i+1,j)和K(i-1,j)分别为在点(i+1,j)和(i-1,j)处的点云浓度；
根据Gj(i,j)＝K(i,j+1)-K(i,j-1)计算点云垂直梯度，其中Gj(i,j)为为在点(i,j)处垂直梯度值，K(i,j+1)和K(i,j-1)分别为在(i,j+1)和(i,j-1)处的点云浓度；
通过
Figure FDA0002606186680000021
得出该点处的梯度大小和在该点处的梯度方向，其中G(i,j)表示为在(i,j)处的点云梯度大小，θ(i,j)表示(i,j)处的点云梯度方向；
根据所有的梯度大小和梯度方向提取轮廓和纹理。
7.如权利要求1所述的投影辅助衣物特征提取方法，其特征在于，所述投影仪投射的光只能照射衣物的一个面。
8.一种投影辅助衣物特征提取系统，其特征在于，包括：
第一图像信息获取模块，所述第一图像信息获取模块被配置为获取云相机拍摄的衣物图像信息，所述衣物图像信息包括不同云相机从两个以上不同角度拍摄的同一时刻的衣物图像；
第二图像信息获取模块，所述第二图像信息获取模块被配置为获取投影衣物图像信息，所述投影衣物图像信息包括不同云相机从两个以上不同角度拍摄的投影后衣物图像,所述投影后衣物图像是通过四个投影仪把编码图案投射到衣物表面后云相机拍摄的衣物图像，四个投影仪位于以衣物为中心的正四边形的四个顶点上，位于正四边形对角线上的两个投影仪的投影平面相互平行且与该对角线垂直，所述编码图案完全覆盖衣物表面且使衣物每个区域的纹理都不同；
交差图像生成模块，所述交差图像生成模块被配置为根据投影前衣物图像和投影后衣物图像生成交差图像M差，M差＝M后-M前，所述投影前衣物图像和所述投影后衣物图像是同一云相机获取的衣物图像，M后代表投影后衣物图像，M前代表投影前衣物图像；
处理去色模块，所述处理去色模块被配置为将所述交差图像处理去色，得到二元交差图像；
解码模块，所述解码模块被配置为通过对二元交差图像进行解码，获取特征点集，所述特征点集包括多个特征点；
第一坐标获取模块，所述第一坐标获取模块被配置为获取第一坐标信息，所述第一坐标信息为特征点在所述二元交差图像上的坐标信息；
第二坐标获取模块，所述第二坐标获取模块被配置为获取第二坐标信息，所述第二坐标信息为特征点在投影仪像平面上的坐标信息；
第三坐标获取模块，所述第三坐标获取模块被配置为利用三角形关系通过所述第一坐标信息和所述第二坐标信息得到第三坐标信息，所述第三坐标信息为特征点在场景中的三维坐标信息；
点云生成模块，所述点云生成模块被配置为对相邻云相机生成的第三坐标信息进行匹配，生成特征点云。
9.如权利要求8所述的投影辅助衣物特征提取系统，其特征在于，还包括：
梯度计算模块，所述梯度计算模块被配置为计算特征点云的梯度,提取轮廓和纹理。
CN202010739557.2A 2020-07-28 2020-07-28 一种投影辅助衣物特征提取方法及系统 Active CN111860544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010739557.2A CN111860544B (zh) 2020-07-28 2020-07-28 一种投影辅助衣物特征提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010739557.2A CN111860544B (zh) 2020-07-28 2020-07-28 一种投影辅助衣物特征提取方法及系统

Publications (2)

Publication Number Publication Date
CN111860544A true CN111860544A (zh) 2020-10-30
CN111860544B CN111860544B (zh) 2024-05-17

Family

ID=72948216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010739557.2A Active CN111860544B (zh) 2020-07-28 2020-07-28 一种投影辅助衣物特征提取方法及系统

Country Status (1)

Country Link
CN (1) CN111860544B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074532A1 (en) * 2006-11-21 2010-03-25 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
JP2013024608A (ja) * 2011-07-15 2013-02-04 Technodream 21 Co Ltd ３次元形状の取得装置、処理方法およびプログラム
CN105547189A (zh) * 2015-12-14 2016-05-04 南京航空航天大学 基于变尺度的高精度光学三维测量方法
CN105844696A (zh) * 2015-12-31 2016-08-10 清华大学 基于射线模型三维重构的图像定位方法以及装置
US9483703B2 (en) * 2013-05-14 2016-11-01 University Of Southern California Online coupled camera pose estimation and dense reconstruction from video
US20180180408A1 (en) * 2015-09-10 2018-06-28 Tenyoun 3D (Tianjin)Technology Co., Ltd Multi-line array laser three-dimensional scanning system, and multi-line array laser three-dimensional scanning method
CN108242064A (zh) * 2016-12-27 2018-07-03 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
CN108446597A (zh) * 2018-02-14 2018-08-24 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征3d数据采集方法及装置
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100074532A1 (en) * 2006-11-21 2010-03-25 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
JP2013024608A (ja) * 2011-07-15 2013-02-04 Technodream 21 Co Ltd ３次元形状の取得装置、処理方法およびプログラム
US9483703B2 (en) * 2013-05-14 2016-11-01 University Of Southern California Online coupled camera pose estimation and dense reconstruction from video
US20180180408A1 (en) * 2015-09-10 2018-06-28 Tenyoun 3D (Tianjin)Technology Co., Ltd Multi-line array laser three-dimensional scanning system, and multi-line array laser three-dimensional scanning method
CN105547189A (zh) * 2015-12-14 2016-05-04 南京航空航天大学 基于变尺度的高精度光学三维测量方法
CN105844696A (zh) * 2015-12-31 2016-08-10 清华大学 基于射线模型三维重构的图像定位方法以及装置
WO2017114507A1 (zh) * 2015-12-31 2017-07-06 清华大学 基于射线模型三维重构的图像定位方法以及装置
CN108242064A (zh) * 2016-12-27 2018-07-03 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN108446597A (zh) * 2018-02-14 2018-08-24 天目爱视（北京）科技有限公司 一种基于可见光相机的生物特征3d数据采集方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨海清等;: "基于面结构光几何关系的三维数字化研究", 计算机应用研究, vol. 35, no. 07, pages 2237 - 2240 *

Also Published As

Publication number Publication date
CN111860544B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN104268922B (zh) 一种图像渲染方法及图像渲染装置
EP3067861A2 (en) Determination of a coordinate conversion parameter
Papadhimitri et al. Uncalibrated near-light photometric stereo
CN110490916A (zh) 三维对象建模方法与设备、图像处理装置及介质
CN107907048A (zh) 一种基于线结构光扫描的双目立体视觉三维测量方法
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN101697233A (zh) 一种基于结构光的三维物体表面重建方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
WO2015179216A1 (en) Orthogonal and collaborative disparity decomposition
CN110910431A (zh) 一种基于单目相机多视点三维点集恢复方法
JP7479729B2 (ja) 三次元表現方法及び表現装置
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
JP4354708B2 (ja) 多視点カメラシステム
US7280685B2 (en) Object segmentation from images acquired by handheld cameras
CN114913308A (zh) 摄像机跟踪方法、装置、设备及存储介质
US20220335649A1 (en) Camera pose determinations with depth
Sakashita et al. A system for capturing textured 3D shapes based on one-shot grid pattern with multi-band camera and infrared projector
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN111860544B (zh) 一种投影辅助衣物特征提取方法及系统
CN107063131B (zh) 一种时间序列相关无效测量点去除方法及系统
Yamazaki et al. Coplanar shadowgrams for acquiring visual hulls of intricate objects
CN111862317B (zh) 一种衣物建模方法及系统
CN111862241B (zh) 一种人体对齐方法及装置
CN111462199A (zh) 基于gpu的快速散斑图像匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant