CN108122280A - 一种三维点云的重建方法及装置 - Google Patents
一种三维点云的重建方法及装置 Download PDFInfo
- Publication number
- CN108122280A CN108122280A CN201711381424.7A CN201711381424A CN108122280A CN 108122280 A CN108122280 A CN 108122280A CN 201711381424 A CN201711381424 A CN 201711381424A CN 108122280 A CN108122280 A CN 108122280A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- profile
- dimensional
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Abstract
本申请公开了一种三维点云的重建方法及装置，应用于终端，所述终端设置有两个图像采集装置，所述方法包括：利用所述图像采集装置分别获取第一图像和第二图像，所述第一图像和所述第二图像中均包含目标物体；分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点；基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系；根据所述空间变换关系，将所述目标物体在所述第一图像和所述第二图像中的轮廓点进行一一匹配；对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标；基于所述轮廓点的三维坐标，重建所述目标物体的轮廓的三维点云。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种三维点云的重建方法及装置。
背景技术
目前，在移动终端上使用的三维点云重建方案通常是通过手机的移动产生视差，再结合手机移动中所采集到的图像特征点的跟踪匹配获得特征在三维空间的实际坐标，从而实现三维点云的重建。
而以上方案中，往往会因为摄像头快速移动或者场景发生变化，导致三维点云的重建准确性降低，甚至重建失败的情况。
发明内容
本申请的目的是提供一种的三维点云的重建方法及装置，用以解决现有技术中三维点云的重建方案准确性较低甚至无法实现重建的技术问题。
本申请提供了一种三维点云的重建方法，应用于终端，所述终端设置有两个图像采集装置，所述方法包括：
利用所述图像采集装置分别获取第一图像和第二图像，所述第一图像和所述第二图像中均包含目标物体；
分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点；
基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系；
根据所述空间变换关系，将所述目标物体在所述第一图像和所述第二图像中的轮廓点进行一一匹配；
对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标；
基于所述轮廓点的三维坐标，重建所述目标物体的轮廓的三维点云。
上述方法，优选地，分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点，包括：
利用特征点检测算法分别检测所述第一图像和所述第二图像中的特征点；
分别检测所述目标物体在所述第一图像和所述第二图像中的轮廓点。
上述方法，优选地，基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系，包括：
分别计算所述第一图像和所述第二图像各自特征点的描述符；
基于所述第一图像和所述第二图像各自特征点的描述符，获取所述第一图像的特征点与所述第二图像的特征点之间相匹配的特征点匹配对；
根据所述特征点匹配对，获得所述第一图像和所述第二图像之间的空间变换关系。
上述方法，优选地，还包括：
对所述特征点匹配对进行筛选。
上述方法，优选地，对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标，包括：
利用双目测距算法，对所述目标物体的经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标。
本申请还提供了一种三维点云的重建装置，应用于终端，所述终端上设置有两个图像采集装置，所述装置包括：
图像获取单元，用于利用所述图像采集装置分别获取第一图像和第二图像，所述第一图像和所述第二图像中均包含目标物体；
图像检测单元，用于分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点；
关系获取单元，用于基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系；
轮廓匹配单元，用于根据所述空间变换关系，将所述目标物体在所述第一图像和所述第二图像中的轮廓点进行一一匹配；
三维重建单元，用于对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标；
点云重建单元，用于基于所述轮廓点的三维坐标，重建所述目标物体的轮廓的三维点云。
上述装置，优选的，所述图像检测单元包括：
特征点检测子单元，用于利用特征点检测算法分别检测所述第一图像和所述第二图像中的特征点；
轮廓检测子单元，用于分别检测所述目标物体在所述第一图像和所述第二图像中的轮廓点。
上述装置，优选的，所述关系获取单元包括：
描述符计算子单元，用于分别计算所述第一图像和所述第二图像各自特征点的描述符；
特征点匹配子单元，用于基于所述第一图像和所述第二图像各自特征点的描述符，获取所述第一图像的特征点与所述第二图像的特征点之间相匹配的特征点匹配对；
关系获取子单元，用于根据所述特征点匹配对，获得所述第一图像和所述第二图像之间的空间变换关系。
上述装置，优选的，所述关系获取单元还包括：
匹配对筛选子单元，用于对所述特征点匹配对进行筛选。
上述装置，优选的，所述三维重建单元具体用于：利用双目测距算法，对所述目标物体的经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标。
由上述方案可知，本申请提供的一种三维点云的重建方法及装置，利用终端上的两个图像采集装置分别采集带有共同信息如目标物体的图像进行特征点检测，结合图像匹配技术对两个图像进行匹配，从而得到图像之间的空间变换关系，然后利用图像间的空间变换关系对两个图像检测出的轮廓点进行一一匹配，从而对匹配出的轮廓点重建其在三维空间中的坐标，进而实现目标物体的三维点云的重建。本申请中借助终端上的两个图像采集装置实现三维点云的重建，而不基于终端移动产生视差进行实现，从而不会以为因为终端的快速移动或者场景的变动而出现重建准确率较低甚至重建失败的情况，实现本申请目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种三维点云的重建方法的流程图；
图2及图3分别为本申请实施例一的部分流程图；
图4为本申请实施例二提供的一种三维点云的重建装置的结构示意图；
图5及图6分别为本申请实施例二的部分结构示意图；
图7～图12分别为本申请实施例的应用实例图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，为本申请实施例一提供的一种三维点云的重建方法的实现流程图，本实施例中的方法可以应用于具有至少两个图像采集装置的终端上，如具有双摄像头的手机、pad、电脑等。图像采集单元能够采集图像。
在本实施例中，该方法可以包括以下步骤：
步骤101：利用图像采集装置分别获取第一图像和第二图像。
其中，本实施例中利用终端上其中的一个图像采集装置采集第一图像，利用终端上的另一个图像采集装置采集第二图像，而第一图像和第二图像中包含一个共有信息，如目标物体的图像，如图2中所示：图像采集装置A采集第一图像a，图像采集装置B采集第二图像b，第一图像a和第二图像b中均包含目标物体C的图像。
步骤102：分别检测第一图像和第二图像中的特征点和目标物体在第一图像和第二图像中的轮廓点。
具体的，本实施例中，步骤102可以通过以下步骤实现，如图2中所示：
步骤201：利用特征点检测算法，分别检测第一图像的特征点和第二图像的特征点。
其中，特征点检测算法用于对图像中具有稳定特征的像素点或像素区域进行检测。例如，本实施例中可以采用Harris角点检测算法或者DOG(Difference Of Gaussian)算法等特征点检测算法，分别对第一图像和第二图像进行特征点检测，从而得到第一图像中的特征点和第二图像中的特征点。
步骤202：分别检测目标物体在第一图像和第二图像中的轮廓点。
其中，本实施例中可以采用大津阈值边缘检测算法或者轮廓检测算法检测目标物体在第一图像中的轮廓点以及目标物体在第二图像中的轮廓点。
步骤103：基于特征点，获得第一图像和第二图像之间的空间变换关系。
其中，空间变换关系可以为空间变换矩阵实现，如仿射变换、投影变换等，该空间变换关系表明两个图像之间的特征点之间的换算关系，例如，已知两个图像之间的空间变换关系矩阵T之后，即可通过第一图像中的特征点求得该特征点在第二图像中的位置。
具体的，本实施例中可以通过以下步骤实现空间变换关系的获取，如图3中所示：
步骤301：分别计算所述第一图像和所述第二图像各自特征点的描述符。
其中，本实施例中可以采用sift、surf等描述符算法，根据特征点局部特征等信息按照预设的模型分别计算第一图像的特征点的描述符和第二图像的特征点的描述符，该描述符用以描述相应特征点的数值或者向量属性等。
步骤302：基于所述第一图像和所述第二图像各自特征点的描述符，获取所述第一图像的特征点与所述第二图像的特征点之间相匹配的特征点匹配对。
其中，本实施例中可以结合预设的约束条件，根据特征点的描述符，对第一图像和第二图像中的特征点进行匹配，从而得到两个图像中特征点之间的特征点匹配对。
需要说明的是，本实施例中的约束条件可以为几何约束条件或EuclideanDistance、极线约束条件等，例如：两个特征点在各自图像中的几何位置(如坐标(x，y))之间的差值较大，如大于预设的差值阈值，则认为这两个特征点不匹配，这里几何位置之间的差值阈值可以根据历史经验值确定。
步骤303：对特征点匹配对进行筛选。
其中，本实施例中可以利用RANSAC等算法剔除一些错误的特征点匹配对，从而筛选出正确的特征点匹配对。
步骤304：根据所述特征点匹配对，获得所述第一图像和所述第二图像之间的空间变换关系。
其中，本实施例中可以利用最小二乘法等算法基于特征点匹配对计算第一图像和第二图像之间的最优的空间变换关系T。
步骤104：根据空间变换关系，将目标物体在第一图像和第二图像中的轮廓点进行一一匹配。
其中，本实施例中可以利用第一图像和第二图像之间关于特征点匹配对的空间变换关系结合空间约束条件如几何约束条件对第一图像和第二图像中目标物体的轮廓点进行一一匹配。
步骤105：对经过匹配的轮廓点进行三维重建，得到轮廓点的三维坐标。
其中，本实施例中可以利用双目测距算法，对目标物体的经过匹配的轮廓点进行三维重建，得到轮廓点的三维坐标。
需要说明的是，双目测距算法中使用三角测量法，对目标物体的轮廓点进行三维重建，从而得到轮廓点的三维坐标。例如，本实施例中对第一图像和第二图像中匹配好的每组特征点(轮廓点)使用双目测距算法进行三维重建，从而得到每个轮廓点的三维坐标。
步骤106：基于轮廓点的三维坐标，重建目标物体的轮廓的三维点云。
其中，本实施例在对目标物体的轮廓点进行双目测距计算得到每个轮廓点的三维坐标之后，这些三维坐标组成目标物体的轮廓的三维点云，实现本实施例目的。
由上述方案可知，本申请实施例一提供的一种三维点云的重建方法，利用终端上的两个图像采集装置分别采集带有共同信息如目标物体的图像进行特征点检测，结合图像匹配技术对两个图像进行匹配，从而得到图像之间的空间变换关系，然后利用图像间的空间变换关系对两个图像检测出的轮廓点进行一一匹配，从而对匹配出的轮廓点利用双目测距算法重建其在三维空间中的坐标，进而实现目标物体的三维点云的重建。本实施例中借助终端上的两个图像采集装置实现三维点云的重建，而不基于终端移动产生视差进行实现，从而不会以为因为终端的快速移动或者场景的变动而出现重建准确率较低甚至重建失败的情况，实现本申请目的。
参考图4，为本申请实施例二提供的一种三维点云的重建装置的结构示意图，本实施例中的装置可以应用于具有至少两个图像采集装置的终端上，如具有双摄像头的手机、pad、电脑等。图像采集单元能够采集图像。
在本实施例中，该装置可以包括以下结构：
图像获取单元401，用于利用所述图像采集装置分别获取第一图像和第二图像。
其中，本实施例中利用终端上其中的一个图像采集装置采集第一图像，利用终端上的另一个图像采集装置采集第二图像，而第一图像和第二图像中包含一个共有信息，如目标物体的图像，如图2中所示：图像采集装置A采集第一图像a，图像采集装置B采集第二图像b，第一图像a和第二图像b中均包含目标物体C的图像。
图像检测单元402，用于分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点。
其中，本实施例中，所述图像检测单元402可以通过以下结构实现，如图5中所示：
特征点检测子单元501，用于利用特征点检测算法分别检测所述第一图像和所述第二图像中的特征点。
其中，特征点检测算法用于对图像中具有稳定特征的像素点或像素区域进行检测。例如，本实施例中特征点检测子单元501可以采用Harris角点检测算法或者DOG(Difference Of Gaussian)算法等特征点检测算法，分别对第一图像和第二图像进行特征点检测，从而得到第一图像中的特征点和第二图像中的特征点。
轮廓检测子单元502，用于分别检测所述目标物体在所述第一图像和所述第二图像中的轮廓点。
其中，本实施例中可以采用边缘检测算法或者轮廓检测算法检测目标物体在第一图像中的轮廓点以及目标物体在第二图像中的轮廓点。
关系获取单元403，用于基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系。
其中，空间变换关系可以为空间变换矩阵实现，如仿射变换、投影变换等，该空间变换关系表明两个图像之间的特征点之间的换算关系，例如，已知两个图像之间的空间变换关系矩阵T之后，即可通过第一图像中的特征点求得该特征点在第二图像中的位置。
具体的，本实施例中关系获取单元403可以通过以下结构实现，如图6中所示：
描述符计算子单元601，用于分别计算所述第一图像和所述第二图像各自特征点的描述符。
其中，本实施例中可以采用sift、surf等描述符算法，根据特征点局部特征等信息按照预设的模型分别计算第一图像的特征点的描述符和第二图像的特征点的描述符，该描述符用以描述相应特征点的数值或者向量属性等。
特征点匹配子单元602，用于基于所述第一图像和所述第二图像各自特征点的描述符，获取所述第一图像的特征点与所述第二图像的特征点之间相匹配的特征点匹配对。
其中，本实施例中可以结合预设的约束条件，根据特征点的描述符，对第一图像和第二图像中的特征点进行匹配，从而得到两个图像中特征点之间的特征点匹配对。
需要说明的是，本实施例中的约束条件可以为几何约束条件等，例如：两个特征点在各自图像中的几何位置(如坐标(x，y))之间的差值较大，如大于预设的差值阈值，则认为这两个特征点不匹配，这里几何位置之间的差值阈值可以根据历史经验值确定。
匹配对筛选子单元603，用于对所述特征点匹配对进行筛选。
其中，本实施例中可以利用RANSAC等算法剔除一些错误的特征点匹配对，从而筛选出正确的特征点匹配对。
关系获取子单元604，用于根据所述特征点匹配对，获得所述第一图像和所述第二图像之间的空间变换关系。
其中，本实施例中可以利用最小二乘法等算法基于特征点匹配对计算第一图像和第二图像之间的最优的空间变换关系T。
轮廓匹配单元404，用于根据所述空间变换关系，将所述目标物体在所述第一图像和所述第二图像中的轮廓点进行一一匹配。
其中，本实施例中可以利用第一图像和第二图像之间关于特征点匹配对的空间变换关系对第一图像和第二图像中目标物体的轮廓点进行一一匹配。
三维重建单元405，用于对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标。
其中，本实施例中，三维重建单元405可以利用双目测距算法，对目标物体的经过匹配的轮廓点进行三维重建，得到轮廓点的三维坐标。
需要说明的是，双目测距算法中使用三角测量法，对目标物体的轮廓点进行三维重建，从而得到轮廓点的三维坐标。例如，本实施例中对第一图像和第二图像中匹配好的每组特征点(轮廓点)使用双目测距算法进行三维重建，从而得到每个轮廓点的三维坐标。
点云重建单元406，用于基于所述轮廓点的三维坐标，重建所述目标物体的轮廓的三维点云。
其中，本实施例在对目标物体的轮廓点进行双目测距计算得到每个轮廓点的三维坐标之后，这些三维坐标组成目标物体的轮廓的三维点云，实现本实施例目的。
由上述方案可知，本申请实施例二提供的一种三维点云的重建装置，利用终端上的两个图像采集装置分别采集带有共同信息如目标物体的图像进行特征点检测，结合图像匹配技术对两个图像进行匹配，从而得到图像之间的空间变换关系，然后利用图像间的空间变换关系对两个图像检测出的轮廓点进行一一匹配，从而对匹配出的轮廓点利用双目测距算法重建其在三维空间中的坐标，进而实现目标物体的三维点云的重建。本实施例中借助终端上的两个图像采集装置实现三维点云的重建，而不基于终端移动产生视差进行实现，从而不会以为因为终端的快速移动或者场景的变动而出现重建准确率较低甚至重建失败的情况，实现本申请目的。
以终端为手机为例，手机上设置有后置双摄像头，以下结合图7对本实施例在对手的点云重建的实现方案进行举例说明：
首先，手机通过双摄像头采集包含共有信息的图像1、图像2，如图8，共有信息为手；
其次，采用特征点检测算法分别检测两幅图中的特征点1、特征点2，如图9；
然后，计算特征点的描述符1、描述符2；
之后，根据特征点的描述符结合一些预设的约束条件如几何约束条件对两幅图中的特征点进行匹配并利用RANSAC等算法剔除一些错误的特征点匹配对；
再然后，根据特征点匹配对计算得到两幅图像间的最优空间变换关系T；
其次，使用边缘检测算法或者轮廓检测算法检测两个图像中物体如手的轮廓点，如图10，结合图像间的空间变换关系T对两幅图像中的物体轮廓点进行一一匹配，如图11；
之后，利用双目测距的重建原理对物体轮廓点进行三维重建得到轮廓点的三维坐标，直到获取所有轮廓点匹配对的三维坐标，即可重建物体轮廓的3D点云，如图12。
本示例中基于图像配准和双目测距成像原理，对手机后置双摄像头分别采集到的带有共有信息图像进行特征点检测，结合图像配准技术对左右两幅图像进行配准得到图像间的空间变换关系；随后利用图像边缘检测算法得到两幅图像中物体的基本轮廓，结合此前计算得到的图像间空间变换关系将两幅图像中的轮廓点一一匹配，利用双目测距原理即可获得每对轮廓点在三维空间中的坐标。据此便可重建物体轮廓的三维点云。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种三维点云的重建方法，其特征在于，应用于终端，所述终端设置有两个图像采集装置，所述方法包括：
利用所述图像采集装置分别获取第一图像和第二图像，所述第一图像和所述第二图像中均包含目标物体；
分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点；
基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系；
根据所述空间变换关系，将所述目标物体在所述第一图像和所述第二图像中的轮廓点进行一一匹配；
对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标；
基于所述轮廓点的三维坐标，重建所述目标物体的轮廓的三维点云。
2.根据权利要求1所述的方法，其特征在于，分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点，包括：
利用特征点检测算法分别检测所述第一图像和所述第二图像中的特征点；
分别检测所述目标物体在所述第一图像和所述第二图像中的轮廓点。
3.根据权利要求1或2所述的方法，其特征在于，基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系，包括：
分别计算所述第一图像和所述第二图像各自特征点的描述符；
基于所述第一图像和所述第二图像各自特征点的描述符，获取所述第一图像的特征点与所述第二图像的特征点之间相匹配的特征点匹配对；
根据所述特征点匹配对，获得所述第一图像和所述第二图像之间的空间变换关系。
4.根据权利要求4所述的方法，其特征在于，还包括：
对所述特征点匹配对进行筛选。
5.根据权利要求1或2所述的方法，其特征在于，对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标，包括：
利用双目测距算法，对所述目标物体的经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标。
6.一种三维点云的重建装置，其特征在于，应用于终端，所述终端上设置有两个图像采集装置，所述装置包括：
图像获取单元，用于利用所述图像采集装置分别获取第一图像和第二图像，所述第一图像和所述第二图像中均包含目标物体；
图像检测单元，用于分别检测所述第一图像和所述第二图像中的特征点和所述目标物体在所述第一图像和所述第二图像中的轮廓点；
关系获取单元，用于基于所述特征点，获得所述第一图像和所述第二图像之间的空间变换关系；
轮廓匹配单元，用于根据所述空间变换关系，将所述目标物体在所述第一图像和所述第二图像中的轮廓点进行一一匹配；
三维重建单元，用于对经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标；
点云重建单元，用于基于所述轮廓点的三维坐标，重建所述目标物体的轮廓的三维点云。
7.根据权利要求6所述的装置，其特征在于，所述图像检测单元包括：
特征点检测子单元，用于利用特征点检测算法分别检测所述第一图像和所述第二图像中的特征点；
轮廓检测子单元，用于分别检测所述目标物体在所述第一图像和所述第二图像中的轮廓点。
8.根据权利要求6或7所述的装置，其特征在于，所述关系获取单元包括：
描述符计算子单元，用于分别计算所述第一图像和所述第二图像各自特征点的描述符；
特征点匹配子单元，用于基于所述第一图像和所述第二图像各自特征点的描述符，获取所述第一图像的特征点与所述第二图像的特征点之间相匹配的特征点匹配对；
关系获取子单元，用于根据所述特征点匹配对，获得所述第一图像和所述第二图像之间的空间变换关系。
9.根据权利要求8所述的装置，其特征在于，所述关系获取单元还包括：
匹配对筛选子单元，用于对所述特征点匹配对进行筛选。
10.根据权利要求6或7所述的装置，其特征在于，所述三维重建单元具体用于：利用双目测距算法，对所述目标物体的经过匹配的轮廓点进行三维重建，得到所述轮廓点的三维坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711381424.7A CN108122280A (zh) | 2017-12-20 | 2017-12-20 | 一种三维点云的重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711381424.7A CN108122280A (zh) | 2017-12-20 | 2017-12-20 | 一种三维点云的重建方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108122280A true CN108122280A (zh) | 2018-06-05 |
Family
ID=62229390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711381424.7A Pending CN108122280A (zh) | 2017-12-20 | 2017-12-20 | 一种三维点云的重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108122280A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109614889A (zh) * | 2018-11-23 | 2019-04-12 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN109712230A (zh) * | 2018-11-27 | 2019-05-03 | 先临三维科技股份有限公司 | 三维模型补充方法、装置、存储介质及处理器 |
| WO2020000696A1 (zh) * | 2018-06-29 | 2020-01-02 | 平安科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN110782459A (zh) * | 2019-01-08 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法及装置 |
| CN112258538A (zh) * | 2020-10-29 | 2021-01-22 | 深兰科技（上海）有限公司 | 人体三维数据的获取方法和装置 |
| WO2022088799A1 (zh) * | 2020-10-29 | 2022-05-05 | 陈志立 | 三维重建方法、三维重建装置、存储介质 |
| CN114541197A (zh) * | 2021-12-31 | 2022-05-27 | 上海天链轨道交通检测技术有限公司 | 一种轨道沉降、偏移的动态测量方法、装置及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706957A (zh) * | 2009-10-30 | 2010-05-12 | 无锡景象数字技术有限公司 | 一种双目立体视觉装置的自标定方法 |
| CN104200460A (zh) * | 2014-08-04 | 2014-12-10 | 西安电子科技大学 | 基于图像特征和互信息的图像配准方法 |
| CN104778712A (zh) * | 2015-04-27 | 2015-07-15 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和系统 |
| CN104821010A (zh) * | 2015-05-04 | 2015-08-05 | 清华大学深圳研究生院 | 基于双目视觉的人手三维信息实时提取方法及系统 |
| CN105806315A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 基于主动编码信息的非合作目标相对测量系统及测量方法 |
| CN105913474A (zh) * | 2016-04-05 | 2016-08-31 | 清华大学深圳研究生院 | 双目三维重构装置及其三维重构方法以及一种安卓应用 |
| CN106022210A (zh) * | 2016-05-04 | 2016-10-12 | 成都指码科技有限公司 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
| CN106372629A (zh) * | 2016-11-08 | 2017-02-01 | 汉王科技股份有限公司 | 一种活体检测方法和装置 |
| CN106500627A (zh) * | 2016-10-19 | 2017-03-15 | 杭州思看科技有限公司 | 含有多个不同波长激光器的三维扫描方法及扫描仪 |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN107087150A (zh) * | 2017-04-26 | 2017-08-22 | 成都通甲优博科技有限责任公司 | 一种基于双目立体和光度立体的三维摄像方法、系统及装置 |
| US9760996B2 (en) * | 2015-08-11 | 2017-09-12 | Nokia Technologies Oy | Non-rigid registration for large-scale space-time 3D point cloud alignment |
-
2017
- 2017-12-20 CN CN201711381424.7A patent/CN108122280A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101706957A (zh) * | 2009-10-30 | 2010-05-12 | 无锡景象数字技术有限公司 | 一种双目立体视觉装置的自标定方法 |
| CN104200460A (zh) * | 2014-08-04 | 2014-12-10 | 西安电子科技大学 | 基于图像特征和互信息的图像配准方法 |
| CN105806315A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 基于主动编码信息的非合作目标相对测量系统及测量方法 |
| CN104778712A (zh) * | 2015-04-27 | 2015-07-15 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和系统 |
| CN104821010A (zh) * | 2015-05-04 | 2015-08-05 | 清华大学深圳研究生院 | 基于双目视觉的人手三维信息实时提取方法及系统 |
| US9760996B2 (en) * | 2015-08-11 | 2017-09-12 | Nokia Technologies Oy | Non-rigid registration for large-scale space-time 3D point cloud alignment |
| CN105913474A (zh) * | 2016-04-05 | 2016-08-31 | 清华大学深圳研究生院 | 双目三维重构装置及其三维重构方法以及一种安卓应用 |
| CN106022210A (zh) * | 2016-05-04 | 2016-10-12 | 成都指码科技有限公司 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
| CN106500627A (zh) * | 2016-10-19 | 2017-03-15 | 杭州思看科技有限公司 | 含有多个不同波长激光器的三维扫描方法及扫描仪 |
| CN106372629A (zh) * | 2016-11-08 | 2017-02-01 | 汉王科技股份有限公司 | 一种活体检测方法和装置 |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN107087150A (zh) * | 2017-04-26 | 2017-08-22 | 成都通甲优博科技有限责任公司 | 一种基于双目立体和光度立体的三维摄像方法、系统及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 陈学峰: ""基于图像序列的植物维管束的三维绘制技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 颜远辉: "基于双目立体视觉的三维重建研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000696A1 (zh) * | 2018-06-29 | 2020-01-02 | 平安科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN109614889A (zh) * | 2018-11-23 | 2019-04-12 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| WO2020103427A1 (zh) * | 2018-11-23 | 2020-05-28 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN109614889B (zh) * | 2018-11-23 | 2020-09-18 | 华为技术有限公司 | 对象检测方法、相关设备及计算机存储介质 |
| CN109712230A (zh) * | 2018-11-27 | 2019-05-03 | 先临三维科技股份有限公司 | 三维模型补充方法、装置、存储介质及处理器 |
| CN110782459A (zh) * | 2019-01-08 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法及装置 |
| CN112258538A (zh) * | 2020-10-29 | 2021-01-22 | 深兰科技（上海）有限公司 | 人体三维数据的获取方法和装置 |
| WO2022088799A1 (zh) * | 2020-10-29 | 2022-05-05 | 陈志立 | 三维重建方法、三维重建装置、存储介质 |
| CN114541197A (zh) * | 2021-12-31 | 2022-05-27 | 上海天链轨道交通检测技术有限公司 | 一种轨道沉降、偏移的动态测量方法、装置及系统 |
| CN114541197B (zh) * | 2021-12-31 | 2024-04-05 | 上海天链轨道交通检测技术有限公司 | 一种轨道沉降、偏移的动态测量方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122280A (zh) | 一种三维点云的重建方法及装置 | |
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN107810522B (zh) | 实时、基于模型的对象检测及姿态估计 | |
| CN111833393A (zh) | 一种基于边缘信息的双目立体匹配方法 | |
| JP6760957B2 (ja) | ３次元モデリング方法及び装置 | |
| Papadakis et al. | Multi-label depth estimation for graph cuts stereo problems | |
| Li et al. | An efficient photogrammetric stereo matching method for high-resolution images | |
| CN104318552B (zh) | 基于凸包投影图匹配的模型配准方法 | |
| CN110096993A (zh) | 双目立体视觉的目标检测设备及方法 | |
| CN110825079A (zh) | 一种地图构建方法及装置 | |
| CN106023147A (zh) | 一种基于gpu的线阵遥感影像dsm快速提取方法 | |
| Gadasin et al. | Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems | |
| Aleotti et al. | Neural disparity refinement for arbitrary resolution stereo | |
| CN111161348B (zh) | 一种基于单目相机的物体位姿估计方法、装置及设备 | |
| CN117132737B (zh) | 一种三维建筑模型构建方法、系统及设备 | |
| CN104992433B (zh) | 基于线段匹配的多光谱图像配准的方法及装置 | |
| Muresan et al. | A multi patch warping approach for improved stereo block matching | |
| Gonzalez-Aguilera et al. | From point cloud to CAD models: Laser and optics geotechnology for the design of electrical substations | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
| CN114757822B (zh) | 一种基于双目的人体三维关键点检测方法及系统 | |
| Molnár et al. | ToFNest: Efficient normal estimation for time-of-flight depth cameras | |
| Zhang et al. | An enhanced multi-view vertical line locus matching algorithm of object space ground primitives based on positioning consistency for aerial and space images | |
| Domínguez-Morales et al. | Stereo matching: From the basis to neuromorphic engineering | |
| CN110148205A (zh) | 一种基于众包影像的三维重建的方法和装置 | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180605 |