CN109410318B - 三维模型生成方法、装置、设备和存储介质 - Google Patents

三维模型生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109410318B
CN109410318B CN201811160166.4A CN201811160166A CN109410318B CN 109410318 B CN109410318 B CN 109410318B CN 201811160166 A CN201811160166 A CN 201811160166A CN 109410318 B CN109410318 B CN 109410318B
Authority
CN
China
Prior art keywords
region
interest
image
category
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811160166.4A
Other languages
English (en)
Other versions
CN109410318A (zh
Inventor
江腾飞
赵晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shining 3D Technology Co Ltd
Original Assignee
Shining 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shining 3D Technology Co Ltd filed Critical Shining 3D Technology Co Ltd
Priority to CN201811160166.4A priority Critical patent/CN109410318B/zh
Publication of CN109410318A publication Critical patent/CN109410318A/zh
Priority to JP2021517414A priority patent/JP2022501737A/ja
Priority to EP19864127.6A priority patent/EP3859685A4/en
Priority to CA3114650A priority patent/CA3114650C/en
Priority to KR1020217012553A priority patent/KR20210068077A/ko
Priority to AU2019345828A priority patent/AU2019345828B2/en
Priority to PCT/CN2019/109202 priority patent/WO2020063986A1/zh
Priority to US17/280,934 priority patent/US11978157B2/en
Application granted granted Critical
Publication of CN109410318B publication Critical patent/CN109410318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种三维模型生成方法、装置、设备和存储介质。所述方法包括：获取扫描到的纹理图像和对应的深度图像，通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域以及每个感兴趣区域的类别信息和掩码信息，根据感兴趣区域的类别信息和掩码信息，更新深度图像，根据更新后的深度图像构建三维模型。采用本方法能够对深度图像进行有效处理，提高三维模型构建的准确度。

Description

三维模型生成方法、装置、设备和存储介质
技术领域
本申请涉及三维扫描技术领域，特别是涉及一种三维模型生成方法、装置、设备和存储介质。
背景技术
三维模型用来表示现实物体的三维结构和形状，通常通过扫描现实物体的深度图像，再通过三维建模工具对深度图像进行处理，构建得到现实物体的三维模型。在医疗、建筑、以及电子游戏等领域，三维模型都有着广泛应用前景。
然而，在扫描现实物体的深度图像时，往往会扫描到一些不必要的数据，这些数据容易影响三维模型构建的准确度。例如，在通过口内扫描仪对用户口内进行扫描时，除了扫描到牙齿牙龈的三维数据外，还会扫描到舌头的三维数据，这些三维数据会给牙齿三维模型的构建造成干扰。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高三维模型准确度的三维模型生成方法、装置、设备和存储介质。
一种三维模型生成方法，所述方法包括：
获取扫描到的纹理图像和对应的深度图像；
通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；
根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；
根据更新后的所述深度图像，构建相应的三维模型。
在其中一个实施例中，所述感兴趣区域的类别信息包括所述感兴趣区域对应各个预设类别的类别值，所述感兴趣区域的掩码信息包括所述感兴趣区域对应各个所述预设类别的掩码图像，所述预设类别包括正样本类别和负样本类别。
在其中一个实施例中，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，包括：
在所述感兴趣区域的类别信息中确定所述感兴趣区域的区域类别；
当所述区域类别为所述正样本类别时，在所述感兴趣区域的掩码信息中获取所述感兴趣区域对应所述区域类别的掩码图像，将所述感兴趣区域对应所述区域类别的掩码图像确定为所述感兴趣区域的掩码图像；
根据所述感兴趣区域的掩码图像，对所述深度图像进行更新。
在其中一个实施例中，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，还包括：
当所述区域类别为所述负样本类别时，对所述感兴趣区域在所述深度图像中对应的深度信息进行清除。
在其中一个实施例中，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，还包括：
获取所述纹理图像中除所述感兴趣区域之外的剩余图像区域；
对所述剩余图像区域在所述深度图像中对应的深度信息进行清除。
在其中一个实施例中，获取扫描到的纹理图像和对应的深度图像的步骤之前，所述方法还包括：
获取采集的样本图像集，对所述样本图像集中的样本图像进行区域类型标记，获得所述样本图像中所述预设类别的图像区域；
将所述样本图像输入所述掩码区域卷积神经网络，确定所述样本图像上的感兴趣样本区域、以及每个所述感兴趣样本区域的类别信息和掩码信息；
根据所述样本图像中所述预设类别的图像区域、以及所述感兴趣样本区域的类别信息和掩码信息，对所述掩码区域卷积神经网络进行训练。
在其中一个实施例中，确定所述样本图像上的感兴趣样本区域、以及每个所述感兴趣样本区域的类别信息和掩码信息的步骤，包括：
提取所述样本图像的特征图；
在所述特征图上确定候选区域，在所述候选区域中筛选出所述感兴趣样本区域；
通过预设的区域特征聚集方式和预设的全连接卷积神经网络对所述感兴趣样本区域进行处理，生成所述感兴趣样本区域的类别信息和掩码信息。
一种三维模型生成装置，所述装置包括：
图像获取模块，用于获取扫描到的纹理图像和对应的深度图像；
纹理图像处理模块，用于通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；
深度图像更新模块，用于根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；以及
模型构建模块，用于根据更新后的所述深度图像，构建相应的三维模型。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取扫描到的纹理图像和对应的深度图像；
通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；
根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；
根据更新后的所述深度图像，构建相应的三维模型。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取扫描到的纹理图像和对应的深度图像；
通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；
根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；
根据更新后的所述深度图像，构建相应的三维模型。
上述三维模型生成方法、装置、设备和存储介质，通过训练好的掩码卷积圣经网络对纹理图像进行感兴趣区域提取，依据每个感兴趣区域的类别信息和掩码信息，对纹理图像对应的深度图像进行更新，根据更新后的深度图像构建相应的三维模型，从而提高深度图像中噪声数据去除的效果，提高三维模型的准确度。
附图说明
图1为一个实施例中三维模型生成方法的流程示意图；
图2为一个实施例中三维模型生成方法中掩码区域卷积神经网络训练过程的的流程示意图；
图3为一个实施例中三维模型生成装置的结构框图；以及
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种三维模型生成方法，包括以下步骤：
步骤102，获取扫描到的纹理图像和对应的深度图像。
具体地，获取由三维扫描设备扫描到的纹理图像和与纹理图像对应的深度图像。其中，纹理图像上记录着扫描目标的纹理信息，深度图像上记录着纹理图像上每个像素点对应的深度信息。
步骤104，通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息。
其中，掩码区域卷积神经网络(Mask R-CNN)由区域卷积神经网络(R-CNN)演变而来，是图像目标检测及分割算法。感兴趣区域(Region of interest，ROI)为在纹理图像中需要处理的图像区域，在感兴趣区域中可能存在构建三维模型所需要的数据。
具体地，预先训练好掩码区域卷积神经网络，将纹理图像输入到掩码区域卷积神经网络中，输出纹理图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。
其中，感兴趣区域对应的类别信息包括感兴趣区域相对于每个预设类别的类别值，根据感兴趣区域相对于预设类别的类别值可确定感兴趣区域是否属于该预设类别。感兴趣区域的掩码信息包括感兴趣区域相对于每个预设类别的掩码图像，感兴趣区域相对于每个预设类别的掩码图像为二值掩码图像。
在一个实施例中，预设类别分为正样本类别和负样本类别，属于正样本类别的感兴趣区域中包含用于构建三维模型的有用数据，属于负样本类别的感兴趣区域中包含容易对三维模型造成干扰的噪声数据，从而后续通过对属于不同预设类别的感兴趣区域进行相应处理，提高三维模型的准确度。
步骤106，根据感兴趣区域的类别信息和掩码信息，更新深度图像。
具体地，由于感兴趣区域的类别信息中包括感兴趣区域对应每个预设类别的类别值，根据感兴趣区域相对于每个预设类别的类别值可确定感兴趣区域属于的预设类别，感兴趣区域属于的预设类别即感兴趣区域的区域类别。
在一个实施例中，感兴趣区域对应每个预设类别的类别值为0或1，当感兴趣区域对应任一预设类别的类别值为0时，认为感兴趣区域不属于该预设类别，当感兴趣区域对应任一预设类别的类别值为1时，认为感兴趣区域属于该预设类别，从而对感兴趣区域的区域类别进行准确判断。
具体地，在确定感兴趣区域的区域类别后，从感兴趣区域的掩码信息中获取感兴趣区域对应该区域类别的掩码图像，将感兴趣区域对应该区域类别的掩码图像确定为感兴趣区域的掩码图像。根据感兴趣区域的区域类别和感兴趣区域的掩码图像，对感兴趣区域在深度图像上对应的深度信息进行更新，以去除属于负样本类别的感兴趣区域所对应的深度信息，包括属于正样本类别的感兴趣区域的深度信息。
步骤108，根据更新后的深度图像，构建相应的三维模型。
具体地，在根据各感兴趣区域的区域类别和掩码图像，通过预设的三维重建算法和更新后的深度图像，进行三维模型的构建，获得构建好的三维模型，在此不对三维重建算法进行具体限制。
上述三维模型生成方法中，通过训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息，确定感兴趣区域的区域类别和掩码图像，根据感兴趣区域的区域类别和掩码图像对深度图像进行处理，从而提高对深度图像中噪声数据去除和有效数据保留的效果，提高三维模型重建的准确度。
在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为正样本类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，获得更新后的深度图像，从而有效地保留正样本类别在深度图像中对应的深度信息。其中，掩码操作可为将掩码图像中的掩码值与深度图像相应区域的深度值进行相乘。
在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地去除负样本类别在深度图像中对应的深度信息。其中，可通过先确定感兴趣区域在深度图像中对应的深度图像区域，再去除该深度图像区域的深度值。还可先将感兴趣区域的掩码图像中的掩码值设置为零，再将该更新的掩码图像与深度图像进行掩码操作。
在一个实施例中，在更新深度图像时，获取纹理图像中除所有感兴趣区域以外的剩余图像区域，对剩余图像区域在深度图像中对应的深度信息进行清除，从而有效避免剩余图像区域对应的深度信息对三维模型的构建造成干扰。
在一个实施例中，扫描到的纹理图像和深度图像分别为牙齿纹理图像和牙齿深度图像，正样本类别包括牙龈类别和牙齿类别，负样本类别包括舌头类别和舌颊侧类别，从而便于对口腔内比较容易对三维模型构造过程产生干扰的舌头、舌颊侧图像数据进行处理，提高三维模型的准确度。
在一个实施例中，在将牙齿纹理图像输入至掩码区域卷积神经网络时，获取牙齿深度图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。感兴趣区域对应的类别信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，感兴趣区域对应的掩码信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的掩码图像。根据感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，确定感兴趣区域所属的区域类别，将感兴趣区域相对该区域类别的掩码图像设置为感兴趣区域的掩码图像，从而对感兴趣区域的类别进行较为准确地判断。作为示例地，当感兴趣区域所属的区域类别为牙龈类别时，将感兴趣区域相对于牙龈类别的掩码图像设置为感兴趣区域的掩码图像。
在一个实施例中，由于牙齿类别和牙龈类别属于正样本类别、舌头类别和舌颊侧类别属于负样本类别，当感兴趣区域属于牙齿类别或牙龈类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，当感兴趣区域属于舌头类别或舌颊侧类别时，将对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地保留正样本类别在深度图像中对应的深度信息，有效地去除负样本类别在深度图像中对应的深度信息。
在另一个实施例中，如图2所示，提供了一种三维模型生成方法中掩码区域卷积神经网络的训练过程，包括以下步骤：
步骤202，获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域。
具体地，样本图像集的样本图像为与扫描目标属于同类物体的纹理图像。在获得样本图像集后，可对样本图像集中的样本图像进行区域标记，获得样本图像中预设类别的图像区域。其中，可采用lableme图像标注工具对样本图像进行区域标记。
在一个实施例中，预设类别分为正样本类别和负样本类别，从而提高对掩码区域卷积神经网络的训练效果。
在一个实施例中，当扫描目标为牙齿时，可采集不同年龄段的人的牙齿纹理图像，例如按照每10岁一个年龄段将0～80岁的年龄区间分为8段，每个年龄段采集男女比例为1:1的纹理图像。
步骤204，将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息。
具体地，由掩码区域卷积神经网络对样本图像进行处理，获得样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息。
步骤206，根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练。
具体地，由于感兴趣样本区域的类别信息中包括感兴趣样本区域对应每个预设类别的类别值，根据感兴趣样本区域相对于每个预设类别的类别值可确定感兴趣样本区域属于的预设类别。在确定感兴趣样本区域所属的预设类别(即感兴趣样本的区域类别)后，可将感兴趣样本区域与样本图像中该预设类别的图像区域进行比较，获得掩码区域卷积神经网络训练过程的误差，根据该误差调整掩码区域卷积神经网络的网络参数，如此多次对掩码区域卷积神经网络的网络参数进行调整，实现对掩码区域卷积神经网络的有监督训练。
在一个实施例中，在将样本图像输入掩码区域卷积神经网络之前，对样本图像进行图像处理操作，其中，图像处理操作包括亮度一致性处理和去均值处理，以提高掩码区域卷积神经网络的训练效果。
在一个实施例中，在将样本图像输入掩码区域卷积神经网络时，通过掩码区域卷积神经网络中的深度残差神经网络(ResNet神经网络)提取样本图像的特征图，对该特征图的每一个特征点设定预设大小的候选区域，将候选区域输入到掩码区域卷积神经网络中的区域候选网络(Region Proposal Network，简称RPN)，进行二值分类和边框回归，以对候选区域进行筛选，获得样本图像的感兴趣样本区域。再通过预设的区域特征聚集方式对感兴趣区域进行处理，确定感兴趣区域的类别信息，通过掩码区域卷积神经网络中的全连接卷积神经网络操作，生成感兴趣区域的掩码信息。其中，区域特征聚集方式为掩码区域卷积神经网络的ROI Align方式。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种三维模型生成装置300，包括：图像获取模块302、纹理图像处理模块304、深度图像更新模块306和模型构建模块308，其中：
图像获取模块302，用于获取扫描到的纹理图像和对应的深度图像。
具体地，获取由三维扫描设备扫描到的纹理图像和与纹理图像对应的深度图像。其中，纹理图像上记录着扫描目标的纹理信息，深度图像上记录着纹理图像上每个像素点对应的深度信息。
纹理图像处理模块304，用于通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息。
其中，掩码区域卷积神经网络(Mask R-CNN)由区域卷积神经网络(R-CNN)演变而来，是图像目标检测及分割算法。感兴趣区域(Region of interest，ROI)为在纹理图像中需要处理的图像区域，在感兴趣区域中可能存在构建三维模型所需要的数据。
具体地，预先训练好掩码区域卷积神经网络，将纹理图像输入到掩码区域卷积神经网络中，输出纹理图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。
其中，感兴趣区域对应的类别信息包括感兴趣区域相对于每个预设类别的类别值，根据感兴趣区域相对于预设类别的类别值可确定感兴趣区域是否属于该预设类别。感兴趣区域的掩码信息包括感兴趣区域相对于每个预设类别的掩码图像，感兴趣区域相对于每个预设类别的掩码图像为二值掩码图像。
在一个实施例中，预设类别分为正样本类别和负样本类别，属于正样本类别的感兴趣区域中包含用于构建三维模型的有用数据，属于负样本类别的感兴趣区域中包含容易对三维模型造成干扰的噪声数据，从而后续通过对属于不同预设类别的感兴趣区域进行相应处理，提高三维模型的准确度。
深度图像更新模块306，用于根据感兴趣区域的类别信息和掩码信息，更新深度图像。
具体地，由于感兴趣区域的类别信息中包括感兴趣区域对应每个预设类别的类别值，根据感兴趣区域相对于每个预设类别的类别值可确定感兴趣区域属于的预设类别，感兴趣区域属于的预设类别即感兴趣区域的区域类别。
在一个实施例中，感兴趣区域对应每个预设类别的类别值为0或1，当感兴趣区域对应任一预设类别的类别值为0时，认为感兴趣区域不属于该预设类别，当感兴趣区域对应任一预设类别的类别值为1时，认为感兴趣区域属于该预设类别，从而对感兴趣区域的区域类别进行准确判断。
具体地，在确定感兴趣区域的区域类别后，从感兴趣区域的掩码信息中获取感兴趣区域对应该区域类别的掩码图像，将感兴趣区域对应该区域类别的掩码图像确定为感兴趣区域的掩码图像。根据感兴趣区域的区域类别和感兴趣区域的掩码图像，对感兴趣区域在深度图像上对应的深度信息进行更新，以去除属于负样本类别的感兴趣区域所对应的深度信息，包括属于正样本类别的感兴趣区域的深度信息。
模型构建模块308，用于根据更新后的深度图像，构建相应的三维模型。
具体地，在根据各感兴趣区域的区域类别和掩码图像，通过预设的三维重建算法和更新后的深度图像，进行三维模型的构建，获得构建好的三维模型，在此不对三维重建算法进行具体限制。
上述三维模型生成装置中，通过训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息，确定感兴趣区域的区域类别和掩码图像，根据感兴趣区域的区域类别和掩码图像对深度图像进行处理，从而提高对深度图像中噪声数据去除和有效数据保留的效果，提高三维模型重建的准确度。
在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为正样本类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，获得更新后的深度图像，从而有效地保留正样本类别在深度图像中对应的深度信息。其中，掩码操作可为将掩码图像中的掩码值与深度图像相应区域的深度值进行相乘。
在一个实施例中，在更新深度图像时，当感兴趣区域的区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地去除负样本类别在深度图像中对应的深度信息。其中，可通过先确定感兴趣区域在深度图像中对应的深度图像区域，再去除该深度图像区域的深度值。还可先将感兴趣区域的掩码图像中的掩码值设置为零，再将该更新的掩码图像与深度图像进行掩码操作。
在一个实施例中，在更新深度图像时，获取纹理图像中除所有感兴趣区域以外的剩余图像区域，对剩余图像区域在深度图像中对应的深度信息进行清除，从而有效避免剩余图像区域对应的深度信息对三维模型的构建造成干扰。
在一个实施例中，扫描到的纹理图像和深度图像分别为牙齿纹理图像和牙齿深度图像，正样本类别包括牙龈类别和牙齿类别，负样本类别包括舌头类别和舌颊侧类别，从而便于对口腔内比较容易对三维模型构造过程产生干扰的舌头、舌颊侧图像数据进行处理，提高三维模型的准确度。
在一个实施例中，在将牙齿纹理图像输入至掩码区域卷积神经网络时，获取牙齿深度图像上的感兴趣区域和每个感兴趣区域对应的类别信息和掩码信息。感兴趣区域对应的类别信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，感兴趣区域对应的掩码信息包括感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的掩码图像。根据感兴趣区域分别相对于牙龈类别、牙齿类别、舌头类别和舌颊侧类别的类别值，确定感兴趣区域所属的区域类别，将感兴趣区域相对该区域类别的掩码图像设置为感兴趣区域的掩码图像，从而对感兴趣区域的类别进行较为准确地判断。作为示例地，当感兴趣区域所属的区域类别为牙龈类别时，将感兴趣区域相对于牙龈类别的掩码图像设置为感兴趣区域的掩码图像。
在一个实施例中，由于牙齿类别和牙龈类别属于正样本类别、舌头类别和舌颊侧类别属于负样本类别，当感兴趣区域属于牙齿类别或牙龈类别时，将感兴趣区域的掩码图像与深度图像进行掩码操作，当感兴趣区域属于舌头类别或舌颊侧类别时，将对感兴趣区域在深度图像中对应的深度信息进行清除，从而有效地保留正样本类别在深度图像中对应的深度信息，有效地去除负样本类别在深度图像中对应的深度信息。
在一个实施例中，在训练掩码区域卷积神经网络时，获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域，将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息，根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练，从而通过对掩码区域卷积神经网络进行有监督训练，提高掩码区域卷积神经网络的训练效果。
其中，样本图像集的样本图像为与扫描目标属于同类物体的纹理图像。在获得样本图像集后，可对样本图像集中的样本图像进行区域标记，获得样本图像中预设类别的图像区域。在确定感兴趣样本区域所属的预设类别后，可将感兴趣样本区域与样本图像中该预设类别的图像区域进行比较，获得掩码区域卷积神经网络训练过程的误差，根据该误差调整掩码区域卷积神经网络的网络参数，如此多次对掩码区域卷积神经网络的网络参数进行调整，实现对掩码区域卷积神经网络的有监督训练。
在一个实施例中，在将样本图像输入掩码区域卷积神经网络之前，对样本图像进行图像处理操作，其中，图像处理操作包括亮度一致性处理和去均值处理，以提高掩码区域卷积神经网络的训练效果。
在一个实施例中，在将样本图像输入掩码区域卷积神经网络时，通过掩码区域卷积神经网络中的深度残差神经网络提取样本图像的特征图，对该特征图的每一个特征点设定预设大小的候选区域，将候选区域输入到掩码区域卷积神经网络中的区域候选网络，进行二值分类和边框回归，以对候选区域进行筛选，获得样本图像的感兴趣样本区域。再通过预设的区域特征聚集方式对感兴趣区域进行处理，确定感兴趣区域的类别信息，通过掩码区域卷积神经网络中的全连接卷积神经网络操作，生成感兴趣区域的掩码信息。其中，区域特征聚集方式为掩码区域卷积神经网络的ROI Align方式。
在一个是实施例中，当扫描目标为牙齿时，可采集不同年龄段的人的牙齿纹理图像，例如按照每10岁一个年龄段将0～80岁的年龄区间分为8段，每个年龄段采集男女比例为1:1的纹理图像。
关于三维模型生成装置的具体限定可以参见上文中对于三维模型生成方法的限定，在此不再赘述。上述三维模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用于训练掩码区域卷积神经网络的样本图像集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维模型生成方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取扫描到的纹理图像和对应的深度图像；
通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息；
根据感兴趣区域的类别信息和掩码信息，更新深度图像；
根据更新后的深度图像，构建相应的三维模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在感兴趣区域的类别信息中确定感兴趣区域的区域类别；
当区域类别为正样本类别时，在感兴趣区域的掩码信息中获取感兴趣区域对应区域类别的掩码图像，将感兴趣区域对应区域类别的掩码图像确定为感兴趣区域的掩码图像；
根据感兴趣区域的掩码图像，对深度图像进行更新。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
当区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取纹理图像中除感兴趣区域之外的剩余图像区域；
对剩余图像区域在深度图像中对应的深度信息进行清除。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域；
将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息；
根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
提取样本图像的特征图；
在特征图上确定候选区域，在候选区域中筛选出感兴趣样本区域；
通过预设的区域特征聚集方式和预设的全连接卷积神经网络对感兴趣样本区域进行处理，生成感兴趣样本区域的类别信息和掩码信息。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取扫描到的纹理图像和对应的深度图像；
通过预先训练好的掩码区域卷积神经网络对纹理图像进行处理，确定纹理图像上的感兴趣区域、以及每个感兴趣区域的类别信息和掩码信息；
根据感兴趣区域的类别信息和掩码信息，更新深度图像；
根据更新后的深度图像，构建相应的三维模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在感兴趣区域的类别信息中确定感兴趣区域的区域类别；
当区域类别为正样本类别时，在感兴趣区域的掩码信息中获取感兴趣区域对应区域类别的掩码图像，将感兴趣区域对应区域类别的掩码图像确定为感兴趣区域的掩码图像；
根据感兴趣区域的掩码图像，对深度图像进行更新。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
当区域类别为负样本类别时，对感兴趣区域在深度图像中对应的深度信息进行清除。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取纹理图像中除感兴趣区域之外的剩余图像区域；
对剩余图像区域在深度图像中对应的深度信息进行清除。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取采集的样本图像集，对样本图像集中的样本图像进行区域类型标记，获得样本图像中预设类别的图像区域；
将样本图像输入掩码区域卷积神经网络，确定样本图像上的感兴趣样本区域、以及每个感兴趣样本区域的类别信息和掩码信息；
根据样本图像中预设类别的图像区域、以及感兴趣样本区域的类别信息和掩码信息，对掩码区域卷积神经网络进行训练。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
提取样本图像的特征图；
在特征图上确定候选区域，在候选区域中筛选出感兴趣样本区域；
通过预设的区域特征聚集方式和预设的全连接卷积神经网络对感兴趣样本区域进行处理，生成感兴趣样本区域的类别信息和掩码信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种三维模型生成方法，其特征在于，所述方法包括：
获取扫描到的纹理图像和对应的深度图像；
通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；所述感兴趣区域的类别信息包括所述感兴趣区域对应各个预设类别的类别值，所述感兴趣区域的掩码信息包括所述感兴趣区域对应各个所述预设类别的掩码图像，所述预设类别包括正样本类别和负样本类别；通过所述掩码区域卷积神经网络中的全连接卷积神经网络操作，生成所述感兴趣区域的掩码信息；
根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；
根据更新后的所述深度图像，构建相应的三维模型。
2.如权利要求1所述的方法，其特征在于，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，包括：
在所述感兴趣区域的类别信息中确定所述感兴趣区域的区域类别；
当所述区域类别为所述正样本类别时，在所述感兴趣区域的掩码信息中获取所述感兴趣区域对应所述区域类别的掩码图像，将所述感兴趣区域对应所述区域类别的掩码图像确定为所述感兴趣区域的掩码图像；
根据所述感兴趣区域的掩码图像，对所述深度图像进行更新。
3.如权利要求2所述的方法，其特征在于，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，还包括：
当所述区域类别为所述负样本类别时，对所述感兴趣区域在所述深度图像中对应的深度信息进行清除。
4.如权利要求2所述的方法，其特征在于，根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像的步骤，还包括：
获取所述纹理图像中除所述感兴趣区域之外的剩余图像区域；
对所述剩余图像区域在所述深度图像中对应的深度信息进行清除。
5.如权利要求1所述的方法，其特征在于，获取扫描到的纹理图像和对应的深度图像的步骤之前，所述方法还包括：
获取采集的样本图像集，对所述样本图像集中的样本图像进行区域类型标记，获得所述样本图像中所述预设类别的图像区域；
将所述样本图像输入所述掩码区域卷积神经网络，确定所述样本图像上的感兴趣样本区域、以及每个所述感兴趣样本区域的类别信息和掩码信息；
根据所述样本图像中所述预设类别的图像区域、以及所述感兴趣样本区域的类别信息和掩码信息，对所述掩码区域卷积神经网络进行训练。
6.如权利要求5所述的方法，其特征在于，确定所述样本图像上的感兴趣样本区域、以及每个所述感兴趣样本区域的类别信息和掩码信息的步骤，包括：
提取所述样本图像的特征图；
在所述特征图上确定候选区域，在所述候选区域中筛选出所述感兴趣样本区域；
通过预设的区域特征聚集方式和预设的全连接卷积神经网络对所述感兴趣样本区域进行处理，生成所述感兴趣样本区域的类别信息和掩码信息。
7.一种三维模型生成装置，其特征在于，所述装置包括：
图像获取模块，用于获取扫描到的纹理图像和对应的深度图像；
纹理图像处理模块，用于通过预先训练好的掩码区域卷积神经网络对所述纹理图像进行处理，确定所述纹理图像上的感兴趣区域、以及每个所述感兴趣区域的类别信息和掩码信息；所述感兴趣区域的类别信息包括所述感兴趣区域对应各个预设类别的类别值，所述感兴趣区域的掩码信息包括所述感兴趣区域对应各个所述预设类别的掩码图像，所述预设类别包括正样本类别和负样本类别；通过所述掩码区域卷积神经网络中的全连接卷积神经网络操作，生成所述感兴趣区域的掩码信息；
深度图像更新模块，用于根据所述感兴趣区域的类别信息和掩码信息，更新所述深度图像；以及
模型构建模块，用于根据更新后的所述深度图像，构建相应的三维模型。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201811160166.4A 2018-09-30 2018-09-30 三维模型生成方法、装置、设备和存储介质 Active CN109410318B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201811160166.4A CN109410318B (zh) 2018-09-30 2018-09-30 三维模型生成方法、装置、设备和存储介质
KR1020217012553A KR20210068077A (ko) 2018-09-30 2019-09-29 3d모델 생성 방법, 장치, 기기 및 저장매체
EP19864127.6A EP3859685A4 (en) 2018-09-30 2019-09-29 METHOD AND DEVICE FOR CREATING A THREE-DIMENSIONAL MODEL, DEVICE AND STORAGE MEDIUM
CA3114650A CA3114650C (en) 2018-09-30 2019-09-29 Method and apparatus for generating three-dimensional model, device, and storage medium
JP2021517414A JP2022501737A (ja) 2018-09-30 2019-09-29 三次元モデルの生成方法、装置、デバイス、および記憶媒体 本出願は、２０１８年９月３０日に中国特許庁に提出された中国特許出願、出願番号２０１８１１１６０１６６．４、発明タイトル「三次元モデルの生成方法、装置、デバイス、および記憶媒体」の優先権を主張し、その内容全体が本出願に参照として組み込まれている。
AU2019345828A AU2019345828B2 (en) 2018-09-30 2019-09-29 Method and apparatus for generating three-dimensional model, device, and storage medium
PCT/CN2019/109202 WO2020063986A1 (zh) 2018-09-30 2019-09-29 三维模型生成方法、装置、设备和存储介质
US17/280,934 US11978157B2 (en) 2018-09-30 2019-09-29 Method and apparatus for generating three-dimensional model, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811160166.4A CN109410318B (zh) 2018-09-30 2018-09-30 三维模型生成方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109410318A CN109410318A (zh) 2019-03-01
CN109410318B true CN109410318B (zh) 2020-09-08

Family

ID=65466672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811160166.4A Active CN109410318B (zh) 2018-09-30 2018-09-30 三维模型生成方法、装置、设备和存储介质

Country Status (8)

Country Link
US (1) US11978157B2 (zh)
EP (1) EP3859685A4 (zh)
JP (1) JP2022501737A (zh)
KR (1) KR20210068077A (zh)
CN (1) CN109410318B (zh)
AU (1) AU2019345828B2 (zh)
CA (1) CA3114650C (zh)
WO (1) WO2020063986A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410318B (zh) * 2018-09-30 2020-09-08 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
US11238586B2 (en) 2019-05-02 2022-02-01 Align Technology, Inc. Excess material removal using machine learning
US20210118132A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment
CN110251004B (zh) * 2019-07-16 2022-03-11 深圳市杉川机器人有限公司 扫地机器人及其清扫方法和计算机可读存储介质
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN112069907A (zh) * 2020-08-11 2020-12-11 盛视科技股份有限公司 基于实例分割的x光机图像识别方法、装置及系统
CN112907726B (zh) * 2021-01-25 2022-09-20 重庆金山医疗技术研究院有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN113723310B (zh) * 2021-08-31 2023-09-05 平安科技（深圳）有限公司 基于神经网络的图像识别方法及相关装置
EP4266257A1 (en) * 2022-04-21 2023-10-25 Dassault Systèmes 3d reconstruction from images
KR102547323B1 (ko) * 2023-03-16 2023-06-22 이채영 3d 스캐닝을 통해 형성된 오브젝트의 세그멘테이션 장치 및 그 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
CN101686407A (zh) * 2008-09-28 2010-03-31 新奥特（北京）视频技术有限公司 一种采样点信息的获取方法和装置
CN101388115B (zh) * 2008-10-24 2011-07-27 北京航空航天大学 一种结合纹理信息的深度图像自动配准方法
US9282321B2 (en) * 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
CN102945565B (zh) * 2012-10-18 2016-04-06 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
DE102013110445B3 (de) 2013-06-26 2014-12-18 Grammer Ag Fahrzeugsitz und Nutzkraftfahrzeug mit einem Fahrzeugsitz
EP3077956B1 (en) * 2013-12-03 2023-10-11 Children's National Medical Center Method and system for wound assessment and management
CN106056071B (zh) * 2016-05-30 2019-05-10 北京智芯原动科技有限公司 一种驾驶员打电话行为的检测方法及装置
CN107491459A (zh) * 2016-06-13 2017-12-19 阿里巴巴集团控股有限公司 三维立体图像的检索方法和装置
CN106096561B (zh) * 2016-06-16 2020-02-07 重庆邮电大学 基于图像块深度学习特征的红外行人检测方法
KR101840563B1 (ko) * 2016-07-04 2018-03-20 한양대학교 에리카산학협력단 신경망을 이용한 3차원 얼굴 복원 방법 및 장치
US11529056B2 (en) * 2016-10-18 2022-12-20 Dentlytec G.P.L. Ltd. Crosstalk reduction for intra-oral scanning using patterned light
CN106780512B (zh) * 2016-11-30 2020-01-17 厦门美图之家科技有限公司 分割图像的方法、应用及计算设备
JP2020510463A (ja) 2017-01-27 2020-04-09 アーテリーズ インコーポレイテッド 全層畳み込みネットワークを利用する自動化されたセグメンテーション
CN106802138B (zh) * 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
CN107301662B (zh) 2017-06-30 2020-09-08 深圳大学 深度图像的压缩恢复方法、装置、设备及存储介质
CN107358648B (zh) * 2017-07-17 2019-08-27 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN107644454B (zh) 2017-08-25 2020-02-18 北京奇禹科技有限公司 一种图像处理方法及装置
WO2019061202A1 (en) * 2017-09-28 2019-04-04 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR PROCESSING COLON IMAGE DATA
CN108269300B (zh) * 2017-10-31 2019-07-09 先临三维科技股份有限公司 牙齿三维数据重建方法、装置和系统
CN108154550B (zh) 2017-11-29 2021-07-06 奥比中光科技集团股份有限公司 基于rgbd相机的人脸实时三维重建方法
CN108447082A (zh) 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于联合学习关键点检测器的三维目标匹配方法
CN109410318B (zh) 2018-09-30 2020-09-08 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质

Also Published As

Publication number Publication date
US20210375043A1 (en) 2021-12-02
CN109410318A (zh) 2019-03-01
US11978157B2 (en) 2024-05-07
CA3114650A1 (en) 2020-04-02
CA3114650C (en) 2023-08-22
EP3859685A1 (en) 2021-08-04
AU2019345828A1 (en) 2021-05-13
KR20210068077A (ko) 2021-06-08
EP3859685A4 (en) 2021-12-08
WO2020063986A1 (zh) 2020-04-02
AU2019345828B2 (en) 2022-10-13
JP2022501737A (ja) 2022-01-06

Similar Documents

Publication Publication Date Title
CN109410318B (zh) 三维模型生成方法、装置、设备和存储介质
KR102581685B1 (ko) 딥 러닝을 이용한 3d 구강 악안면 구조의 분류 및 3d 모델링
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
WO2019094504A1 (en) Deep learning for tooth detection and evaluation
US7961968B2 (en) Image density conversion method, image enhancement processor, and program thereof
CN112515787B (zh) 一种三维牙颌数据分析方法
CN114424246A (zh) 用于配准口内测量的方法、系统和计算机可读存储介质
CN113962959A (zh) 三维图像处理方法、装置、计算机设备和存储介质
Cui et al. Toothpix: Pixel-level tooth segmentation in panoramic x-ray images based on generative adversarial networks
CN110222752B (zh) 图像处理方法、系统、计算机设备、存储介质和芯片
CN110795623B (zh) 一种图像增强训练方法及其系统、计算机可读存储介质
CN109712186B (zh) 图像中勾画感兴趣区域的方法、计算机设备和存储介质
CN112418043B (zh) 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质
CN112801994B (zh) 骨龄评估方法和系统
CN114708237A (zh) 一种用于头发健康状况的检测算法
CN113130028A (zh) 基于区块链的医疗电子病历信息管理方法及系统
CN114187303A (zh) 口腔图像处理方法、装置、电子设备及计算机存储介质
CN114187410A (zh) 基于进行牙齿三维重建的方法、装置及电子设备
CN112288861A (zh) 一种基于单张照片的人脸三维模型自动构建方法及系统
CN110766652B (zh) 网络训练方法、装置、分割方法、计算机设备和存储介质
CN112184884A (zh) 三维模型构建方法、装置、计算机设备及存储介质
CN111652201B (zh) 基于深度视频事件补全的视频数据异常识别方法和装置
CN113033675B (zh) 图像分类方法、装置和计算机设备
CN117315378B (zh) 一种尘肺病的分级判定方法及相关设备
CN113792773B (zh) 牙根管治疗史检测模型训练方法、图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant