CN112651357B - 图像中目标物体的分割方法、三维重建方法及相关装置 - Google Patents

图像中目标物体的分割方法、三维重建方法及相关装置 Download PDF

Info

Publication number
CN112651357B
CN112651357B CN202011614765.6A CN202011614765A CN112651357B CN 112651357 B CN112651357 B CN 112651357B CN 202011614765 A CN202011614765 A CN 202011614765A CN 112651357 B CN112651357 B CN 112651357B
Authority
CN
China
Prior art keywords
image
target object
frame
visual shell
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011614765.6A
Other languages
English (en)
Other versions
CN112651357A (zh
Inventor
余亦豪
齐勇
项骁骏
姜翰青
章国锋
鲍虎军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202011614765.6A priority Critical patent/CN112651357B/zh
Publication of CN112651357A publication Critical patent/CN112651357A/zh
Priority to PCT/CN2021/109013 priority patent/WO2022142311A1/zh
Application granted granted Critical
Publication of CN112651357B publication Critical patent/CN112651357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种图像中目标物体的分割方法、三维重建方法及相关装置、设备、存储介质，其中，分割方法包括：获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息；利用图像序列中至少一帧图像建立目标图像的可视外壳；比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中表示目标物体的有效可视外壳；判断每一帧图像中的像素点是否在有效可视外壳内；若是，则将像素点确认为属于目标物体的目标像素点；若否，则将像素点确认为不属于目标物体的非目标像素点。上述方案，能够提高确认目标物体的准确性。

Description

图像中目标物体的分割方法、三维重建方法及相关装置
技术领域
本申请属于图像处理领域，特别是涉及一种图像中目标物体的分割方法、三维重建方法及相关装置、设备、存储介质。
背景技术
三维重建是计算机视觉及增强现实领域的重要问题，如何实现对目标物体的三维重建，需要识别出所获得的视觉图像中的目标物体，然后利用图像中表示目标物体的信息来实现三维重建。
在对目标物体进行拍摄时，目标图像所在场景中通常会出现动态物体，现有的识别技术通常无法准确的区分目标物体和动态物体，无法实现目标物体的准确识别。
发明内容
本申请提供一种图像中目标物体的分割方法、三维重建方法及相关装置、设备、存储介质。
本申请第一方面提供了一种图像中目标物体的分割方法，包括：获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息；利用图像序列中至少一帧图像建立目标物体的可视外壳；比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中表示目标物体的有效可视外壳；判断每一帧图像中的像素点是否在有效可视外壳内；若是，则将像素点确认为属于目标物体的目标像素点；若否，则将像素点确认为不属于目标物体的非目标像素点。
因此，获取到目标物体在不同视角下的多帧图像，在建立目标物体的初始的可视外壳后，利用每一帧图像的深度信息对可视外壳进行判断，确定表示目标物体的准确的有效可视外壳，继而再利用准确的有效可视外壳来判断每一帧图像中像素是否属于目标物体，从而实现图像中目标物体的准确判断。
其中，获取目标物体的图像序列；利用图像序列中至少一帧图像建立目标物体的可视外壳；比对可视外壳和图像序列中每一帧图像的深度信息，包括：持续获取目标物体在不同视角的图像，图像构成图像序列；利用图像序列中第一帧图像建立目标物体的可视外壳；利用所述图像序列中后续获取的每一帧图像持续比对可视外壳和持续获取的图像。
因此，在获得第一帧图像后即建立可视外壳，在之后每获得一帧图像后均对可视外壳进行更新，实现可视外壳增量式的持续更新。
其中，比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中表示目标物体的有效可视外壳，包括：将可视外壳划分为多个单元体；将单元体投影至每一帧图像，获得单元投影；比较每一单元投影的深度信息和对应投影图像中对应单元部分的深度信息，以确定单元投影对应的单元体是否为无效的单元体；将去除所述无效的单元体的可视外壳确定为有效可视外壳。
因此，将可视外壳划分为多个单元体，将每个单元体投影至每一帧图像，以根据图像的深度信息来判断每个单元体是否无效，去除无效部分的可视外壳即为有效可视外壳。通过划分多个单元体进行判断以提高有效可视外壳的准确性。
其中，单元体包括一个中心点和多个顶点；将单元体投影至每一帧图像，获得单元投影；比较每一单元投影的深度信息和对应投影图像中对应单元部分的深度信息，以确定单元投影对应的单元体是否无效，包括：将中心点投影至图像，得到中心投影点；比较中心投影点的深度信息和图像中对应像素点的深度信息；若中心投影点的深度大于或等于图像中对应像素点的深度，则认为单元体有效；若中心投影点的深度小于图像中对应像素点的深度，则将顶点投影至图像，得到顶点投影点；比较顶点投影点的顶点深度信息和图像中对应像素点的像素深度信息；计算所述顶点深度信息小于所述像素深度信息的数量；若数量大于阈值，则认为所述单元体无效。
因此，先判断每个单元体中中心点的有效性，若中心点有效，则整个单元体有效，若中心点无效，则进一步判断顶点有效的数量，若数量大于阈值，则认为单元体有效；通过先判断中心点的方式提高效率。
其中，判断每一帧图像中的像素点是否在有效可视外壳内，包括：将每一帧图像中的像素点投影至可视外壳，以确定像素点是否在有效可视外壳内。
因此，将图像的像素点投影至可视外壳，以判断其是否在可视外壳内，从而判断该像素点是否属于目标物体。
其中，方法还包括：对所述图像序列的每一帧图像进行图像分割，获得多个图像分割块；根据图像分割块中目标像素点的比例判断图像分割块是否属于目标物体；若是，则将图像分割块的像素点重新确认为目标像素点；若否，则将图像分割块的像素点重新确认为非目标像素点。
因此，利用上述目标像素点的确认，判断图像分割得到的图像分割块是否属于目标物体，继而重新确认目标像素点，通过利用图像分割中边缘的准确性，以进一步提高确认目标物体的准确性。
其中，对每一帧图像进行分割，获得多个图像分割块，包括：计算每一帧图像中每一像素点与其他相邻像素点的差异度；将差异度小于差异阈值的像素点融合为像素点集；将像素点集作为像素点重复执行上述计算和融合的动作，直至不存在小于差异阈值的差异度；融合得到的像素点集为图像分割块。
因此，通过计算每个像素点与其他相邻像素点的差异度，并将差异度小的不断融合，从而实现图像分割。
其中，计算每一帧图像中每一像素点与其他相邻像素点的差异度，包括：计算每一帧图像中每一像素点与其他相邻像素点的深度差异值、颜色差异值，以及像素点的边缘可能值；根据深度差异值、颜色差异值和边缘可能值求解所述差异度。
因此，从深度、颜色、边缘三个方面计算差异度，以提高利用差异度进行融合的准确性，即提高图像分割的准确性。
其中，计算所述像素点的边缘可能值包括：判断像素点所在边缘的两侧像素点的深度差异是否大于深度阈值，以及像素点所在边缘的两面夹角是否大于夹角阈值；若均为是，则像素点的边缘可能值为第一预设值；若至少一个为否，则像素点的边缘可能值为第二预设值。
因此，从深度和夹角两个方面判断像素点是否为边缘，提高判断的准确性，继而提高图像分割的准确性。
其中，对每一帧图像进行分割，获得多个图像分割块，还包括：将像素点数量小于数量阈值的图像分割块与相似度最大的相邻图像分割块进行融合。
因此，对像素点数量少的图像分割块进行进一步融合，从而对干扰点进行融合，以提高图像分割的准确性。
本申请第二方面提供了一种图像中目标物体的三维重建方法，方法包括：利用上述方法确认图像中的目标像素点；根据目标像素点获取目标物体的轮廓信息；基于轮廓信息生成目标物体的三维模型。
因此，通过上述方法能够准确的确定图像中的目标像素点，从而根据目标像素点能够得到准确的轮廓信息，继而根据轮廓信息能够生成准确的三维模型。
本申请第三方面提供一种图像中目标物体的确认装置，装置包括：图像获取模块，用于获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息；可视外壳生成模块，用于利用图像序列中至少一帧图像建立目标物体的可视外壳，并比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳；目标物体判断模块，用于判断每一帧图像中的像素点是否在有效可视外壳内，若是，则将像素点确认为属于目标物体的目标像素点；若否，则将像素点确认为不属于目标物体的非目标像素点。
本申请第四方面提供一种图像中目标物体的三维重建装置，包括：图像获取模块，用于获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息；可视外壳生成模块，用于利用图像序列中至少一帧图像建立目标物体的可视外壳，并比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳；目标物体判断模块，用于判断每一帧图像中的像素点是否在有效可视外壳内，若是，则将像素点确认为属于目标物体的目标像素点；若否，则将像素点确认为不属于目标物体的非目标像素点；轮廓信息生成模块，用于根据目标像素点获取目标物体的轮廓信息；三维模型生成模块，用于基于轮廓信息生成目标物体的三维模型。
本申请第五方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的分割方法和上述第二方面中的三维重建方法。
本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的分割方法和上述第二方面中的三维重建方法。
上述方案，获取到目标物体在不同视角下的多帧图像，在建立目标物体的初始的可视外壳后，利用每一帧图像的深度信息对可视外壳进行判断，确定表示目标物体的准确的有效可视外壳，继而再利用准确的有效可视外壳来判断每一帧图像中像素是否属于目标物体，从而实现图像中目标物体的准确判断。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本申请的图像中目标物体的分割方法一实施例的流程示意图；
图2为图1所示图像中目标物体的分割方法实施例中比对可视外壳和图像序列中每一帧图像的深度信息的流程示意图；
图3是本申请的图像中目标物体的分割方法另一实施例的流程示意图；
图4是本申请的图像中目标物体的三维重建方法一实施例的流程示意图；
图5是本申请的图像中目标物体的三维重建方法一具体实施方式的示意图；
图6是本申请的图像中目标物体的确认装置一实施例的框架示意图；
图7是本申请的图像中目标物体的三维重建装置一实施例的框架示意图；
图8是本申请电子设备一实施例的框架示意图；
图9是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请的图像中目标物体的分割方法一实施例的流程示意图。
本申请一方法提供了一种图像中目标物体的分割方法，具体包括如下步骤：
步骤S11：获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息。
本申请是通过建立准确的可视外壳，并利用可视外壳来进行图像中目标物体的确认，建立可视外壳则首先需获取目标物体在不同视角的多帧图像。
本步骤中，图像序列包括目标物体在不同视角的多帧图像，图像包括物体的深度信息。通过拍摄目标物体以获得多帧图像，在图像的拍摄过程中，相机可相对目标物体转动，以获取不同视角下的多帧图像，也可使物体转动，从而获取目标物体在不同角度的图像。在进行拍摄时，可将拍摄获得的所有图像均作为图像序列，也可对图像进行选择，选择清晰的关键角度的图像构成图像序列。
具体在选择图像时，可在每一时间段内选择一帧具有代表性的关键帧图像，例如在每一秒时间内拍摄的图像中选择一帧图像；或者，还可在相机与目标物体每相对转动一定角度的过程中拍摄的图像中选择具有代表性的关键帧图像，例如在相机与目标物体每相对转动5°时拍摄的图像中选择一帧图像。上述内容仅对图像序列中的多帧图像的获取进行举例说明，并非限制，在其他实施例中还可以采用其他获取方法，仅需保证图像序列包括目标物体在不同视角的多帧图像即可。
步骤S12：利用图像序列中至少一帧图像建立目标物体的可视外壳。
在一具体的实施方式中，利用图像序列中至少一帧图像建立目标物体的可视外壳包括：可以是使用一帧图像建立可视外壳，也可以使用图像序列中部分图像建立可视外壳，或使用图像序列中全部图像建立可视外壳。
建立可视外壳的方法可以为，利用图像中的点云数据估计出三维空间中的立方体区域。若仅使用一帧图像，则只能获得一个视角下较为准确的可视外壳部分，其他部分则通过估计形成。也可使用多帧图像建立可视外壳，并在后续步骤中进行修整。本步骤中所建立的为初始的可视外壳，可以理解，所使用的图像越多，建立的初始可视外壳越准确，在完成初始可视外壳的建立后，再通过后续步骤S103对可视外壳进行修整。
步骤S13：比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳。
在步骤S12中建立初始的可视外壳后，本步骤S13中利用每一帧图像的深度信息来确定可视外壳中的有效部分。即比对可视外壳和图像序列中每一张图像的深度信息，从而把可视外壳中未准确表示目标物体的部分剔除。
具体来说，由于可视外壳表示的是目标物体的外表面，即可视外壳的深度与目标物体的深度应该是大致相同的。当拍摄时出现动态物体时，图像序列的部分图像中会出现动态物体，而建立可视外壳时可能会把动态物体当做是目标物体呈现在可视外壳上，但动态物体并不会出现在所有的图像中，因此可利用其他没有动态物体的图像来对动态物体进行剔除。
综上，本实施例中利用图像的深度信息对可视外壳进行修整，获得较为准确的可视外壳。
本实施例中，可以在拍摄完成获取多帧图像后，再进行可视外壳的建立修整步骤，也可在拍摄过程中持续性增量式的进行可视外壳的建立修整。
即步骤S11中持续获取目标物体在不同视角的图像，所获取的图像构成图像序列，图像序列也是持续性的更新。持续获取目标物体在不同视角的图像的方法，与步骤S11中获得目标物体在不同视角的图像的方法相同。
在步骤S12中则利用图像序列中第一帧图像建立目标物体的可视外壳，本实施例中，当目标物体所在场景比较干净，即非目标物体较少，特别是不存在动态的非目标物体时，开始对目标物体进行拍摄。此时利用第一帧图像可建立较为准确的初始的可视外壳。
在步骤S13中则利用图像序列中后续获取的每一帧图像持续比对可视外壳。即利用第一帧图像建立可视外壳后，再利用后续每获得的一帧图像对可视外壳进行剔除修整。
在一个具体的实施方式中，比对可视外壳和图像序列中每一帧图像的深度信息的过程具体如图2所示，图2为图1所示图像中目标物体的分割方法实施例中比对可视外壳和图像序列中每一帧图像的深度信息的流程示意图。
S131：将可视外壳划分为多个单元体。
采用有限元分析的思维将可视外壳划分为多个单元体分别进行判断，具体可将可视外壳所在的立方体区域采用八叉树结构划分为多个单元体。通过八叉树结构划分可视外壳，可保证可视外壳空间分割的精细度，保证了可视外壳的精确度，同时也不会因粒度划分过细而导致计算量大，进而影响计算效率。
S132：将单元体投影至每一帧图像，获得单元投影。
为了比较单元体与图像的深度信息，需将单元体投影到图像上，再进行深度值的比较。因此本步骤中将单元体投影至每一帧图像，获得单元投影。
S133：比较每一单元投影的深度信息和对应投影图像中对应单元部分的深度信息，以确定单元投影对应的单元体是否为无效的单元体。
在获得单元投影后，可找到所投影图像(即对应投影图像)上对应于单元投影的部分(即对应单元部分)，再比较单元投影的深度信息及对应单元部分的深度信息，从而确定单元投影对应的单元体是否无效。
具体来说，通过每个点的比较来进行判断，由于每个单元体中三维点众多，但至少包括一个中心点和多个顶点，采用八叉树结构划分的单元体则包括一个中心点和八个顶点。为了提高单元体是否无效的判断效率，本申请的实施例中采用中心点和顶点进行判断，具体如下：
S1331：将一单元体的中心点投影至当前帧图像，得到中心投影点；比较中心投影点的深度信息和当前帧图像中对应像素点的深度信息。
首先判断中心点，若中心投影点的深度大于或等于图像中对应像素点的深度，则认为单元体有效，此后无需再进行顶点的判断。
若中心投影点的深度小于图像中对应像素点的深度，则认为该单元体的中心位于物体和拍摄设备之间，该单元体可能是无效的。则进一步执行步骤S1332中顶点的判断。
S1332：将顶点投影至图像，得到顶点投影点；比较顶点投影点的顶点深度信息和图像中对应像素点的像素深度信息；计算顶点深度信息小于像素深度信息的数量。
若数量小于等于阈值，则认为该单元体为有效的单元体；若数量大于阈值，则认为该单元体为无效的单元体。需要说明的是，该阈值为大量实验后的经验值，可在实际操作过程中根据大量实验结果不断调整，以获得更为准确的判断结果。
S134：去除无效的单元体的可视外壳确定为有效可视外壳。
通过上述过程确定单元体是否有效后，将去除无效单元体的可视外壳认为是有效可视外壳。
上述判断单元体是否无效的方法中首先判断单元体中的中心点，若中心点有效，直接判断该单元体为有效，可减小一些不必要的计算量；若中心点无效，再计算八个顶点的有效性，谨慎判断该单元体是否无效，避免轻易剔除单元体。该判断方法准确度高，计算量较小，计算效率高。
上述过程通过加入深度信息对可视外壳有效性进行计算进一步提高可视外壳的准确性，在获取到准确的可视外壳后，再利用可视外壳进行目标像素点的判断。
步骤S14：判断每一帧图像中的像素点是否在有效可视外壳内。
每一帧图像中的像素点根据其相机位置信息可以对应到一三维点，具体地，可将每一帧图像中的像素点投影到对应的三维点，判断三维点是否在有效可视外壳内，以确定像素点是否在有效可视外壳内。若是，则进行步骤S15，即将该像素点确认为属于目标物体的目标像素点；若否，则进行步骤S16，将该像素点确认为不属于目标物体的非目标像素点。
步骤S15：将像素点确认为属于目标物体的目标像素点。
步骤S16：将像素点确认为不属于目标物体的非目标像素点。
本申请中目标物体的分割方法，首先使用至少一帧的图像生成一个可视外壳。对之后的每一帧图像判断该帧每一个具有深度的像素点是否在可视外壳内，如果在，则标记为属于目标物体的目标像素点，否则标记为非目标像素点。同时，通过比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳，更新后的有效可视外壳可进一步准确确认每一帧图像中属于目标物体的有效像素点。通过结合每一帧图像的深度信息增量式地更新可视外壳，并用更新后的有效可视外壳确认每一帧图像的目标像素点，即可实时、高效、准确地确认目标物体区域。
请参阅图3，图3是本申请的图像中目标物体的分割方法另一实施例的流程示意图。本实施例与上述实施例的区别在于，本实施例在通过上述实施例的步骤确定目标像素点之外，进一步利用图像分割，进行目标像素点的重新判断。本实施例具体包括如下步骤：
步骤S201：获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息。
步骤S202：利用图像序列中至少一帧图像建立目标物体的可视外壳。
步骤S203：比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳。
步骤S204：判断每一帧图像中的像素点是否在有效可视外壳内。
步骤S205：若是，则将像素点确认为属于目标物体的目标像素点。
步骤S206：若否，则将像素点确认为不属于目标物体的非目标像素点。
步骤S201-S206的过程与上述实施例步骤S11-S16的过程类似，具体不再赘述。本实施例中，上述步骤S201-S206与以下图像分割的相关步骤的执行没有先后限制，可同时执行，也可先后执行。
步骤S207：对图像序列的每一帧图像进行图像分割，获得多个图像分割块。
对每一帧图像进行图像分割，获得多个图像块包括如下步骤：
步骤S2071：计算每一帧图像中每一像素点与其他相邻像素点的差异度。
在一个具体实施方式中，计算每一帧图像中每一像素点与其他相邻像素点的差异度包括：计算每一帧图像中每一像素点与其他相邻像素点的深度差异值、颜色差异值以及像素点的边缘可能值；根据深度差异值、颜色差异值和边缘可能值求解差异度。
以下列举一具体计算方式：
对于每一帧图像中每一个像素点，连接其和右上、右、右下和下方四个像素点，计算四条连接边的差异度，即权重，连接边的权重计算公式如下：
其中，δijdepth,δijhsv,δibound分别是深度差异值，颜色差异值和边缘可能值。
深度差异值可通过直接计算两个像素点深度的差值得到，计算深度差异值的公式如下：
δijdepht＝Ds(yid,xid)-Ds(yjd,xjd)
其中，Ds(yid,xid)是在(yid,xid)坐标处的像素深度值，Ds(yjd,xjd)是在(yjd,xjd)坐标处的像素深度值。
颜色差异值为两个像素点间颜色项的差异值，可定义为像素点在HSV颜色空间上的差异度，计算颜色差异值的公式如下：
其中，k是每一项对应的权重，δv和δs分别对应HSV颜色空间中v和h的像素点差异。其计算公式如下:
δv＝kdv|viv-vjv|，δs＝kds|vis-vjs|
边缘可能值可使用Canny算子提取图像的边缘信息，并对这些边缘信息进行筛选。计算像素点的边缘可能值包括：判断像素点所在边缘的两侧像素点的深度差异是否大于深度阈值，以及像素点所在边缘的两面夹角是否大于夹角阈值，若均为是，则像素点的边缘可能值为第一预设值；若至少一个为否，则像素点的边缘可能值为第二预设值。需要说明的是，此处将像素点的边缘值通过阈值分割进行二值化处理，第一预设值可以设为1，同时第二预设值设为0，或者还可以第一预设值设为0，第二预设值设为1。
具体筛选公式及方法如下：
δibound＝εB(y,x)∪εC(y,x)
δibound是边缘可能值，其由εB(y,x)和εC(y,x)两项求交得到。
其中，εB(y,x)是度量边缘线两边像素点深度的差异，深度差异小于深度阈值说明该线不是边缘线，此时εB(y,x)的值为0，反之则是即εB(y,x)的值为1；εC(y,x)是度量边缘线两边两个面的夹角，如果夹角小于夹角阈值说明这是两个面，所以该边是边缘线，此时εC(y,x)的值为0，否则夹角太大，即εC(y,x)的值为1，说明两边的面可能是同一个面，这条边不是真正的边缘。
只有εB(y,x)和εC(y,x)的值同为1时，δibound被置为1，否则δibound的值为0。i点的δibound值为1表示点i是边缘线上的点，否则i点不是边缘线上的点。
通过上述深度差异值，颜色差异值和边缘可能值，即可计算得到差异度ωij的值。
步骤S2072：将差异度小于差异阈值的像素点融合为像素点集。
将所有差异度中差异度最小且小于差异阈值的像素点融合为像素点集。
步骤S2073：将像素点集作为像素点重复执行上述计算和融合的动作，直至不存在小于差异阈值的差异度；
通过不断的重复执行计算S2071和融合S2072的动作，直至不存在小于差异阈值的差异度，像素点分别被划分至不同的像素点集中。
步骤S2074：融合得到的像素点集为图像分割块。
融合得到的像素点集为图像分割块。根据深度差异值、颜色差异值和边缘可能值求解得到的差异度用于图像分割中，可以提高图像分割在边缘区域的准确率，进而得到较为准确的图像分割结果。
步骤S2075：将像素点数量小于数量阈值的图像分割块与相似度最大的相邻图像分割块进行融合。
由于分割出的图像分割块容易产生小块区域或一些杂点噪点的残留，影响最终的分割结果。本申请的实施例还包括将像素点小于数量阈值的图像分割块与相似度最大的相邻图像分割块进行融合，通过该后处理步骤，可对较小图像块进行融合，有效减少一些小块和杂点残留的情况。
步骤S208：判断图像分割块中目标像素点的比例是否在预定比例以上。
通过上述方式获得的图像分割块可准确的体现目标物体的边缘，利用步骤S205和S206中确认出的目标像素点，判断图像分割块是否属于目标物体。若图像分割块中目标像素点的比例在预设比例以上，则认为该图像分割块属于目标物体，重新确认该图像分割块的像素点为目标像素点，即进行步骤S209。若图像分割块中目标像素点的比例不在预设比例以上，则认为该图像分割块不属于目标物体，将该图像分割块的像素点确认为非目标像素点，即进行步骤S210。此方式所确定的目标像素点可具有准确的边缘。
步骤S209：则将图像分割块的像素点重新确认为目标像素点。
步骤S210：则将图像分割块的像素点重新确认为非目标像素点。
通过步骤S201-步骤S206的目标像素点的判断结果，结合边缘较为精确的图像分割结果，对每一帧图像中的图像分割块是否属于目标物体进行重新确认，进而对目标像素点重新确认，得到更为精确的目标物体。
用户使用相机等移动设备摄像头拍摄物体并进行重建的时候，利用本申请的方法可实时、高效、准确地分割图像中的目标物体和周边一些动态物体等非目标物体，进而利用目标物体后续重建三维模型时不会被周边走动的人等动态物体影响，甚至可以支持扫描过程中用手翻转目标物体确保扫到物体的每一个角落。
请参阅图4，图4是本申请的图像中目标物体的三维重建方法一实施例的流程示意图。
本申请又一实施例提供了一种图像中目标物体的三维重建方法，包括如下步骤：
步骤S301：利用上述任一实施例中的目标物体的分割方法确认图像中的目标像素点。
利用上述任一实施例中的目标分割方法确认图像中的目标像素像素点，获取到目标物体在不同视角下的多帧图像，在建立目标物体的初始的可视外壳后，利用每一帧图像的深度信息对可视外壳进行判断，确定表示目标物体的准确的有效可视外壳，继而再利用准确的可视外壳来判断每一帧图像中像素是否属于目标物体，从而实现图像中目标物体的准确判断。
步骤S302：根据目标像素点获取目标物体的轮廓信息。
根据目标像素点获取目标物体的轮廓信息(Mask图)，由于目标像素点较为准确，从而生成的轮廓信息(Mask图)也较为准确。具体地，若为目标像素点，可将在对应的轮廓信息(Mask图)标记为1，若为非目标像素点，可在对应的轮廓信息(Mask图)标记为0，用于后续生成三维模型的运算过程。
步骤S303：基于所述轮廓信息生成目标物体的三维模型。
基于轮廓信息(Mask图)生成目标物体的三维模型，由于轮廓信息(Mask图)较为准确，生成的三维模型也更为准确。
本申请实施例的方法实时、高效且准确，还可以支持用户在使用视频序列生成模型的时候剔除非目标物体，包括周边的环境、一些动态物体如走动的人等，还可以剔除和物体进行了交互的手，最终生成的只有目标物体没有其他杂物的三维模型。
以下结合一具体的实施例来说明，如图5所示，图5是本申请的图像中目标物体的三维重建方法一具体实施方式的示意图。
本申请的图像中目标物体的三维重建方法用于建立小鹿的三维模型。首先通过相机拍摄手持小鹿转动的图像视频，从图像视频中提取出图像序列，图像序列包括小鹿在不同视角下的多帧图像。在建立小鹿的初始的可视外壳后，利用每一帧图像的深度信息对可视外壳进行判断，确定表示目标物体的准确的有效可视外壳，继而再利用准确的可视外壳来判断每一帧图像中像素点是否属于小鹿。通过此步骤可以去除在不同帧图像中位置不一致的手的大部分位置及其他动态物体。
同时对每一帧图像进行图像分割，得到边缘较为精确的图像分割结果。此时未被去除的手的图像分割块与小鹿的图像分割块不同。
结合对每一帧图像中图像像素点的判断结果，对图像分割块是否属于小鹿进行重新确认，进而对目标像素点重新确认，可将剩余未被去除的手的部分标记为非目标像素点，得到边缘更为精确的小鹿轮廓信息(Mask图)。
最后将小鹿轮廓信息(Mask图)运用至生成三维模型的运算过程中，以得到精确的小鹿三维模型。
请参阅图6，图6是本申请的图像中目标物体的确认装置一实施例的框架示意图。
本申请又一实施例提供了一种图像中目标物体的确认装置600，包括：图像获取模块61，可视外壳生成模块62和目标物体判断模块63。其中，图像获取模块61用于获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息。可视外壳生成模块62用于利用图像序列中至少一帧图像建立目标物体的可视外壳，并比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳。目标物体判断模块63用于判断每一帧图像中的像素点是否在有效可视外壳内，若是，则将像素点确认为属于目标物体的目标像素点；若否，则将像素点确认为不属于目标物体的非目标像素点。本申请实施例的确认装置600通过获取到目标物体在不同视角下的多帧图像，在建立目标物体的初始的可视外壳后，利用每一帧图像的深度信息对可视外壳进行判断，确定表示目标物体的准确的有效可视外壳，继而再利用准确的可视外壳来判断每一帧图像中像素是否属于目标物体，从而实现图像中目标物体的准确判断。
请参阅图7，图7是本申请的图像中目标物体的三维重建装置一实施例的框架示意图。
本申请又一实施例提供了一种图像中目标物体的三维重建装置700，包括：图像获取模块71，可视外壳生成模块72，目标物体判断模块73，轮廓信息生成模块74和三维模型生成模块75。其中，图像获取模块71用于获取目标物体的图像序列，图像序列包括目标物体在不同视角的多帧图像，图像包括深度信息。可视外壳生成模块72用于利用图像序列中至少一帧图像建立目标物体的可视外壳，并比对可视外壳和图像序列中每一帧图像的深度信息，以确定可视外壳中属于目标物体的有效可视外壳。目标物体判断模块73用于判断每一帧图像中的像素点是否在有效可视外壳内，若是，则将像素点确认为属于目标物体的目标像素点；若否，则将像素点确认为不属于目标物体的非目标像素点。轮廓信息生成模块74用于根据目标像素点获取目标物体的轮廓信息。三维模型生成模块75用于基于轮廓信息生成目标物体的三维模型。本申请实施例的三维重建装置70可实时、高效且准确地判断目标物体，还可以支持用户在使用视频序列生成模型的时候剔除非目标物体，包括周边的环境、一些动态物体如走动的人等，还可以剔除和物体进行了交互的手，最终生成的只有目标物体没有其他杂物的三维模型。
请参阅图8，图8是本申请电子设备一实施例的框架示意图。
本申请又一实施例提供了一种电子设备800，包括相互耦接的存储器801和处理器802，处理器802用于执行存储器801中存储的程序指令，以实现上述任一实施例的分割方法和上述任一实施例的三维重建方法。在一个具体的实施场景中，电子设备800可以包括但不限于：微型计算机、服务器，此外，电子设备800还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器802用于控制其自身以及存储器801以实现上述任一视频分析方法实施例的步骤，或实现上述任一用于视频分析的模型训练方法实施例中的步骤。处理器802还可以称为CPU(Central Processing Unit，中央处理单元)。处理器802可能是一种集成电路芯片，具有信号的处理能力。处理器802还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器802可以由集成电路芯片共同实现。
通过上述方案，能够实时、准确且高效地实现目标物体的准确判断，并进一步生成目标物体的三维模型。
请参阅图9，图9是本申请计算机可读存储介质一实施例的框架示意图。
本申请又一实施例提供了一种计算机可读存储介质110，其上存储有程序指令1101，程序指令1101被处理器执行时实现上述任一项的分割方法以及任一项的三维重建方法。通过上述方案，能够实时、准确且高效地实现目标物体的准确判断，并进一步生成目标物体的三维模型。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质110中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质110中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质110包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种图像中目标物体的分割方法，其特征在于，所述方法包括：
获取所述目标物体的图像序列，所述图像序列包括所述目标物体在不同视角的多帧图像，所述图像包括深度信息；
利用所述图像序列中至少一帧图像建立所述目标物体的可视外壳；
比对所述可视外壳和所述图像序列中每一帧图像的深度信息，以确定所述可视外壳中表示所述目标物体的有效可视外壳；
判断每一帧图像中的像素点是否在所述有效可视外壳内；
若是，则将所述像素点确认为属于目标物体的目标像素点；
若否，则将所述像素点确认为不属于目标物体的非目标像素点；
其中，所述比对所述可视外壳和所述图像序列中每一帧图像的深度信息，以确定所述可视外壳中表示所述目标物体的有效可视外壳，包括：
将所述可视外壳划分为多个单元体，所述单元体包括一个中心点和多个顶点；
将所述中心点投影至图像，得到中心投影点；
比较所述中心投影点的深度信息和所述图像中对应像素点的深度信息；
若所述中心投影点的深度大于或等于所述图像中对应像素点的深度，则认为所述单元体有效；
若所述中心投影点的深度小于所述图像中对应像素点的深度，则将所述顶点投影至图像，得到顶点投影点；
比较所述顶点投影点的顶点深度信息和所述图像中对应像素点的像素深度信息；
计算所述顶点深度信息小于所述像素深度信息的数量；
若数量大于阈值，则认为所述单元体无效；
将去除所述无效的单元体的可视外壳确定为所述有效可视外壳。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标物体的图像序列；利用所述图像序列中至少一帧图像建立所述目标物体的可视外壳；比对所述可视外壳和所述图像序列中每一帧图像的深度信息，包括：
持续获取所述目标物体在不同视角的图像，所述图像构成图像序列；
利用所述图像序列中第一帧图像建立所述目标物体的可视外壳；
利用所述图像序列中后续获取的每一帧图像持续比对所述可视外壳。
3.根据权利要求1-2中任一项所述的方法，其特征在于，所述判断每一帧图像中的像素点是否在所述有效可视外壳内，包括：
将每一帧图像中的像素点投影至所述可视外壳，以确定所述像素点是否在所述有效可视外壳内。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述图像序列的每一帧图像进行图像分割，获得多个图像分割块；
根据所述图像分割块中目标像素点的比例判断所述图像分割块是否属于目标物体；
若是，则将所述图像分割块的像素点重新确认为目标像素点；
若否，则将所述图像分割块的像素点重新确认为非目标像素点。
5.根据权利要求4所述的方法，其特征在于，所述对所述图像序列的每一帧图像进行图像分割，获得多个图像分割块，包括：
计算每一帧图像中每一像素点与其他相邻像素点的差异度；
将差异度小于差异阈值的像素点融合为像素点集；
将像素点集作为像素点重复执行上述计算和融合的动作，直至不存在小于差异阈值的差异度；融合得到的像素点集为所述图像分割块。
6.根据权利要求5所述的方法，其特征在于，所述计算每一帧图像中每一像素点与其他相邻像素点的差异度，包括：
计算每一帧图像中每一像素点与其他相邻像素点的深度差异值、颜色差异值，以及所述像素点的边缘可能值；
根据所述深度差异值、颜色差异值和边缘可能值求解所述差异度；
其中，计算所述像素点的边缘可能值包括：
判断所述像素点所在边缘的两侧像素点的深度差异是否大于深度阈值，以及所述像素点所在边缘的两面夹角是否大于夹角阈值；
若均为是，则所述像素点的边缘可能值为第一预设值；若至少一个为否，则所述像素点的边缘可能值为第二预设值。
7.根据权利要求5-6中任一项所述的方法，其特征在于，所述对所述图像序列的每一帧图像进行图像分割，获得多个图像分割块，还包括：
将像素点数量小于数量阈值的图像分割块与相似度最大的相邻图像分割块进行融合。
8.一种图像中目标物体的三维重建方法，其特征在于，所述方法包括：
利用权利要求1-7中任一项所述的方法确认所述图像中的目标像素点；
根据所述目标像素点获取所述目标物体的轮廓信息；
基于所述轮廓信息生成所述目标物体的三维模型。
9.一种图像中目标物体的确认装置，其特征在于，用于实现权利要求1-7中任一所述的分割方法，所述装置包括：
图像获取模块，用于获取目标物体的图像序列，所述图像序列包括所述目标物体在不同视角的多帧图像，所述图像包括深度信息；
可视外壳生成模块，用于利用所述图像序列中至少一帧图像建立所述目标物体的可视外壳，并比对所述可视外壳和所述图像序列中每一帧图像的深度信息，以确定所述可视外壳中属于所述目标物体的有效可视外壳；
目标物体判断模块，用于判断每一帧图像中的像素点是否在所述有效可视外壳内，若是，则将所述像素点确认为属于目标物体的目标像素点；若否，则将所述像素点确认为不属于目标物体的非目标像素点。
10.一种图像中目标物体的三维重建装置，其特征在于，用于实现权利要求8所述的三维重建方法，所述装置包括：
图像获取模块，用于获取目标物体的图像序列，所述图像序列包括所述目标物体在不同视角的多帧图像，所述图像包括深度信息；
可视外壳生成模块，用于利用所述图像序列中至少一帧图像建立所述目标物体的可视外壳，并比对所述可视外壳和所述图像序列中每一帧图像的深度信息，以确定所述可视外壳中属于所述目标物体的有效可视外壳；
目标物体判断模块，用于判断每一帧图像中的像素点是否在所述有效可视外壳内，若是，则将所述像素点确认为属于目标物体的目标像素点；若否，则将所述像素点确认为不属于目标物体的非目标像素点；
轮廓信息生成模块，用于根据所述目标像素点获取所述目标物体的轮廓信息；
三维模型生成模块，用于基于所述轮廓信息生成所述目标物体的三维模型。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至7任一项所述的分割方法以及权利要求8所述的三维重建方法。
12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至7任一项所述的分割方法以及权利要求8所述的三维重建方法。
CN202011614765.6A 2020-12-30 2020-12-30 图像中目标物体的分割方法、三维重建方法及相关装置 Active CN112651357B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011614765.6A CN112651357B (zh) 2020-12-30 2020-12-30 图像中目标物体的分割方法、三维重建方法及相关装置
PCT/CN2021/109013 WO2022142311A1 (zh) 2020-12-30 2021-07-28 图像中目标物体的分割方法、三维重建方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011614765.6A CN112651357B (zh) 2020-12-30 2020-12-30 图像中目标物体的分割方法、三维重建方法及相关装置

Publications (2)

Publication Number Publication Date
CN112651357A CN112651357A (zh) 2021-04-13
CN112651357B true CN112651357B (zh) 2024-05-24

Family

ID=75364384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011614765.6A Active CN112651357B (zh) 2020-12-30 2020-12-30 图像中目标物体的分割方法、三维重建方法及相关装置

Country Status (2)

Country Link
CN (1) CN112651357B (zh)
WO (1) WO2022142311A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651357B (zh) * 2020-12-30 2024-05-24 浙江商汤科技开发有限公司 图像中目标物体的分割方法、三维重建方法及相关装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256670A (zh) * 2008-03-20 2008-09-03 华南师范大学 序列图像三维可视化的方法及装置
CN101271582A (zh) * 2008-04-10 2008-09-24 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
CN102222361A (zh) * 2010-04-06 2011-10-19 清华大学 三维模型的捕捉及重建方法和系统
CN107507239A (zh) * 2017-08-23 2017-12-22 维沃移动通信有限公司 一种图像分割方法及移动终端
CN107563413A (zh) * 2017-08-09 2018-01-09 千寻位置网络有限公司 无人机航拍影像农田块对象精准提取方法
CN107809583A (zh) * 2017-10-25 2018-03-16 努比亚技术有限公司 拍照处理方法、移动终端及计算机可读存储介质
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN108961383A (zh) * 2017-05-19 2018-12-07 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN109035279A (zh) * 2018-08-20 2018-12-18 图灵通诺（北京）科技有限公司 图像分割方法和装置
CN109685767A (zh) * 2018-11-26 2019-04-26 西北工业大学 一种基于聚类融合算法的双模态脑肿瘤mri分割方法
CN110349250A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于rgbd相机的室内动态场景的三维重建方法
KR20200022802A (ko) * 2018-08-23 2020-03-04 전자부품연구원 실루엣 기반 3d 영상 복원 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329012A1 (en) * 2012-06-07 2013-12-12 Liberty Reach Inc. 3-d imaging and processing system including at least one 3-d or depth sensor which is continually calibrated during use
CN103854301A (zh) * 2012-11-29 2014-06-11 沈阳工业大学 基于复杂背景下可见外壳的三维重建方法
CN103679806B (zh) * 2013-12-19 2016-06-08 北京北科光大信息技术股份有限公司 自适应可视外壳生成方法及装置
CN110060335B (zh) * 2019-04-24 2022-06-21 吉林大学 一种场景中存在镜面物体和透明物体的虚实融合方法
CN112651357B (zh) * 2020-12-30 2024-05-24 浙江商汤科技开发有限公司 图像中目标物体的分割方法、三维重建方法及相关装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256670A (zh) * 2008-03-20 2008-09-03 华南师范大学 序列图像三维可视化的方法及装置
CN101271582A (zh) * 2008-04-10 2008-09-24 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
CN102222361A (zh) * 2010-04-06 2011-10-19 清华大学 三维模型的捕捉及重建方法和系统
CN108961383A (zh) * 2017-05-19 2018-12-07 杭州海康威视数字技术股份有限公司 三维重建方法及装置
CN107563413A (zh) * 2017-08-09 2018-01-09 千寻位置网络有限公司 无人机航拍影像农田块对象精准提取方法
CN107507239A (zh) * 2017-08-23 2017-12-22 维沃移动通信有限公司 一种图像分割方法及移动终端
CN107809583A (zh) * 2017-10-25 2018-03-16 努比亚技术有限公司 拍照处理方法、移动终端及计算机可读存储介质
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN109035279A (zh) * 2018-08-20 2018-12-18 图灵通诺（北京）科技有限公司 图像分割方法和装置
KR20200022802A (ko) * 2018-08-23 2020-03-04 전자부품연구원 실루엣 기반 3d 영상 복원 장치 및 방법
CN109685767A (zh) * 2018-11-26 2019-04-26 西北工业大学 一种基于聚类融合算法的双模态脑肿瘤mri分割方法
CN110349250A (zh) * 2019-06-28 2019-10-18 浙江大学 一种基于rgbd相机的室内动态场景的三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Visual Hull Algorithm of 3D Reconstruction Based on Interframe Coherence;Guojun, C., & Baoming, S;2011 International Conference on Virtual Reality and Visualization;第231-236页 *
基于深度图的可视外壳凹面优化;陈国军, 韦鑫;系统仿真学报;第27卷(第10期);第2508-2513页 *
帧间一致性的八叉树可视外壳三维重建;李霞;中国石油大学胜利学院学报;第26卷(第1期);第24-26页 *
张弘，李嘉锋主编.《数字图像处理与分析》.北京：机械工业出版社,2020,第119-121页. *

Also Published As

Publication number Publication date
CN112651357A (zh) 2021-04-13
WO2022142311A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
US11562498B2 (en) Systems and methods for hybrid depth regularization
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
Camplani et al. Efficient spatio-temporal hole filling strategy for kinect depth maps
US7103211B1 (en) Method and apparatus for generating 3D face models from one camera
KR101706216B1 (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
CN107798702B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN110728196A (zh) 一种人脸识别的方法、装置及终端设备
CN108765317A (zh) 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
EP4296947A1 (en) Calibration information determination method and apparatus, and electronic device
CN113706373A (zh) 模型重建方法及相关装置、电子设备和存储介质
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
CN112651357B (zh) 图像中目标物体的分割方法、三维重建方法及相关装置
JP2008158984A (ja) 画像処理装置および領域追跡プログラム
CN111680573A (zh) 人脸识别方法、装置、电子设备和存储介质
WO2020151078A1 (zh) 一种三维重建的方法和装置
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN110514140B (zh) 一种三维成像方法、装置、设备以及存储介质
CN116342831A (zh) 三维场景重建方法、装置、计算机设备及存储介质
WO2016058359A1 (zh) 生成三维图像的方法和装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质
CN113610969A (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40041891

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant