CN114037744A - 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置 - Google Patents

一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置 Download PDF

Info

Publication number
CN114037744A
CN114037744A CN202111320201.6A CN202111320201A CN114037744A CN 114037744 A CN114037744 A CN 114037744A CN 202111320201 A CN202111320201 A CN 202111320201A CN 114037744 A CN114037744 A CN 114037744A
Authority
CN
China
Prior art keywords
data
region
neural network
interest
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111320201.6A
Other languages
English (en)
Inventor
汪灵梦
曾祥军
吕广志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fussen Technology Co ltd
Original Assignee
Fussen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fussen Technology Co ltd filed Critical Fussen Technology Co ltd
Priority to CN202111320201.6A priority Critical patent/CN114037744A/zh
Publication of CN114037744A publication Critical patent/CN114037744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Abstract

本发明涉及三维重建技术领域，公开了一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置，获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；获取训练后的用于筛选感兴趣区域的卷积神经网络模型；将所述二维图像数据输入到所述卷积神经网络模型，得到感兴趣区域模板数据；根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。本发明通过识别口腔图像的感兴趣区域，去除非感兴趣区域，减少了点云计算、配准、数据融合、纹理映射的计算量，降低了点云配准难度，并降低了扫描难度减少手动裁剪工作量，提高了纹理映射效果。

Description

一种基于卷积神经网络的口腔感兴趣区域三维重建方法及 装置
技术领域
本发明涉及三维重建技术领域，尤其涉及一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置。
背景技术
三维重建是指根据单视图或者多视图的图像重建三维信息的过程其技术重点在于如何获取目标场景和物体的深度信息。按照测量方式的不同可以分为主动式三维重建和被动式三维重建，主动式三维重建可分为莫尔条纹法、三角测距法、飞行时间法、结构光法，被动式三维重建可分为纹理恢复形状法、阴影恢复形状法、立体视觉法。
三维重建技术是人们研究的热点，并且成为产品快速设计、建筑服装设计、文物保护、CAD\CAM(计算机辅助设计\计算机辅助制造)、自动导航、虚拟现实、口腔数字化、整形和美容等邻域的关键技术之一。口腔三维扫描技术是一种用于获取口腔颅颌面软、硬组织表面三维形貌的扫描测量技术。由于其安全、无接触、速度快等优势被应用在口腔医学的各个专业，如口腔颌面外科、种植科、修复科、口腔内科及正畸科。
卷积神经网络是机器学习技术的最新发展也是近几年学术研究的最大热门，它通过大量的数据训练具有很多隐含层的模型，实现复杂的学习任务。卷积神经网络相对传统机器学习方法在计算机视觉、自然语言处理中往往会有更加优异的表现。
现有技术中，目前三维重建方法是将采集到的二维图像数据全部转化维三维点云数据，没有对图像进行筛选，但是扫描到的二维图像信息并不全都是感兴趣区域(regionof interest,ROI)；以口腔扫描为例，感兴趣区域为牙齿、牙龈、愈合基台扫描杆等，而舌头、嘴唇、医用口镜手套等都为非感兴趣区域，使用传统的图像处理方法如基于阈值、颜色空间转换、区域生长的方法很难区分获取二维图像中的感兴趣区域和非感兴趣区域。
因此，如何提供一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置，以区分获取二维图像中的感兴趣区域和非感兴趣区域成为亟待解决的技术问题。
发明内容
本发明要解决的技术问题在于如何提供一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置，以区分获取二维图像中的感兴趣区域和非感兴趣区域。
为此，根据第一方面，本发明实施例公开了一种基于卷积神经网络的口腔感兴趣区域三维重建方法，包括：获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；获取训练后的用于筛选感兴趣区域的卷积神经网络模型；将所述二维图像数据输入到所述卷积神经网络模型，得到感兴趣区域模板数据；根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
本发明进一步设置为，所述获取训练后的用于筛选感兴趣区域的卷积神经网络模型包括：预采集临床口腔扫描图像数据；人工对所述临床口腔扫描图像数据中的感兴趣区域进行区分；训练微调卷积神经网络模型，得到训练后的卷积神经网络模型。
本发明进一步设置为，所述口腔图像数据包括正畸、修复和种植图像数据。
本发明进一步设置为，所述将所述待三维重建的口腔图像数据输入所述卷积神经网络模型，得到三维重建模型包括：通过所述卷积神经网络对所述口腔图像数据的感兴趣区域进行识别；将所述口腔图像数据的感兴趣区域转化为三维数据，得到点云数据；对所述点云数据进行点云配准；对点云配准后的所述点云数据进行数据融合，得到网格化的三维数据；将所述口腔图像数据的二维图片的颜色信息映射至所述网格化的三维数据，得到三维重建模型。
根据第二方面，本发明实施例公开了一种基于卷积神经网络的口腔感兴趣区域三维重建装置，包括：图像获取模块，用于获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；模型获取模块，用于获取训练后的用于筛选感兴趣区域的卷积神经网络模型；三维重建模块，用于将所述待三维重建的口腔图像数据输入所述卷积神经网络模型，得到三维重建模型。
本发明进一步设置为，所述模型获取模块包括：采集单元，用于预采集临床口腔扫描图像数据；区分单元，用于人工对所述临床口腔扫描图像数据中的感兴趣区域进行区分；训练单元，用于训练微调卷积神经网络模型，得到训练后的卷积神经网络模型。
本发明进一步设置为，所述三维重建模块包括：感兴趣区域识别单元，用于通过所述卷积神经网络对所述口腔图像数据的感兴趣区域进行识别；点云计算单元，用于将所述口腔图像数据的感兴趣区域转化为三维数据，得到点云数据；点云配准单元，用于对所述点云数据进行点云配准；数据融合单元，用于对点云配准后的所述点云数据进行数据融合，得到网格化的三维数据；纹理映射单元，用于将所述口腔图像数据的二维图片的颜色信息映射至所述网格化的三维数据，得到三维重建模型。
根据第三方面，本发明实施例公开了一种计算机装置，包括处理器，处理器用于执行存储器中存储的计算机程序实现上述第一方面任一项的基于卷积神经网络的口腔感兴趣区域三维重建方法。
根据第四方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，处理器用于执行存储介质中存储的计算机程序实现上述第一方面任一项的基于卷积神经网络的口腔感兴趣区域三维重建方法。
本发明具有以下有益效果：本发明实施例公开的获取待三维重建的口腔图像数据；获取训练后的用于筛选感兴趣区域的卷积神经网络模型；将所述二维图像数据输入到上述卷积神经网络模型，得到感兴趣区域模板数据；根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。与现有技术相比，本发明通过识别口腔图像的感兴趣区域，去除非感兴趣区域，减少了点云计算、配准、数据融合、纹理映射的计算量，降低了点云配准难度，并降低了扫描难度减少手动裁剪工作量，提高了纹理映射效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本实施例公开的一种基于卷积神经网络的口腔感兴趣区域三维重建方法的流程图；
图2是本实施例公开的一种基于卷积神经网络的口腔感兴趣区域三维重建装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种基于卷积神经网络的口腔感兴趣区域三维重建方法，如图1所示，包括：
步骤S100，获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；
步骤S200，获取训练后的用于筛选感兴趣区域的卷积神经网络模型；
步骤S300，将所述二维图像数据输入到所述卷积神经网络模型，得到感兴趣区域模板数据；
步骤S400，根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
需要说明的是，本发明实施例公开的获取待三维重建的口腔图像数据；获取训练后的用于筛选感兴趣区域的卷积神经网络模型；将所述二维图像数据输入到上述卷积神经网络模型，得到感兴趣区域模板数据；根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。与现有技术相比，本发明通过识别口腔图像的感兴趣区域，去除非感兴趣区域，减少了点云计算、配准、数据融合、纹理映射的计算量，降低了点云配准难度，并降低了扫描难度减少手动裁剪工作量，提高了纹理映射效果。
在具体实施过程中，步骤S200具体的包括：
步骤S201，预采集临床口腔扫描图像数据；
步骤S202，人工对所述临床口腔扫描图像数据中的感兴趣区域进行区分；
步骤S203，训练微调卷积神经网络模型，得到训练后的卷积神经网络模型。
在具体实施过程中，所述口腔图像数据包括正畸、修复和种植图像数据。
在具体实施过程中，步骤S400具体的包括：
步骤S401，将所述口腔图像数据的感兴趣区域转化为三维数据，得到点云数据；
步骤S402，对所述点云数据进行点云配准；
步骤S403，对点云配准后的所述点云数据进行数据融合，得到网格化的三维数据；
步骤S404，将所述口腔图像数据的二维图片的颜色信息映射至所述网格化的三维数据，得到三维重建模型。
在具体实施过程中，本发明实施例公开了一种基于卷积神经网络的口腔感兴趣区域三维重建装置，如图2所示，包括：
图像获取模块50，用于获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；
模型获取模块60，用于获取训练后的用于筛选感兴趣区域的卷积神经网络模型；
区域得到模块70，用于将所述二维图像数据输入到上述卷积神经网络模型，得到感兴趣区域模板数据；
三维重建模块80，用于根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
在具体实施过程中，模型获取模块60包括：
采集单元61，用于预采集临床口腔扫描图像数据；
区分单元62，用于人工对所述临床口腔扫描图像数据中的感兴趣区域进行区分；
训练单元63，用于训练微调卷积神经网络模型，得到训练后的卷积神经网络模型。
在具体实施过程中，所述三维重建模块80包括：
点云计算单元81，用于将所述口腔图像数据的感兴趣区域转化为三维数据，得到点云数据；
点云配准单元82，用于对所述点云数据进行点云配准；
数据融合单元83，用于对点云配准后的所述点云数据进行数据融合，得到网格化的三维数据；
纹理映射单元84，用于将所述口腔图像数据的二维图片的颜色信息映射至所述网格化的三维数据，得到三维重建模型。
此外，本发明实施例中还提供一种计算机装置，处理器通过执行计算机指令，从而实现以下方法：
获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；获取训练后的用于筛选感兴趣区域的卷积神经网络模型；将所述二维图像数据输入到s所述卷积神经网络模型，得到感兴趣区域模板数据；根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，该存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。计算机处理器用于执行存储介质中存储的计算机程序实现以下方法：
获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；获取训练后的用于筛选感兴趣区域的卷积神经网络模型；将所述二维图像数据输入到所述卷积神经网络模型，得到感兴趣区域模板数据；根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种基于卷积神经网络的口腔感兴趣区域三维重建方法，其特征在于，包括：
获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；
获取训练后的用于筛选感兴趣区域的卷积神经网络模型；
将所述二维图像数据输入到上述卷积神经网络模型，得到感兴趣区域模板数据；
根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
2.根据权利要求1所述的基于卷积神经网络的口腔感兴趣区域三维重建方法，其特征在于，所述获取训练后的用于筛选感兴趣区域的卷积神经网络模型包括：
预采集临床口腔扫描图像数据；
人工对所述临床口腔扫描图像数据中的感兴趣区域进行区分；
训练微调卷积神经网络模型，得到训练后的卷积神经网络模型。
3.根据权利要求1所述的基于卷积神经网络的口腔感兴趣区域三维重建方法，其特征在于，所述口腔图像数据包括正畸、修复和种植图像数据。
4.根据权利要求1所述的基于卷积神经网络的口腔感兴趣区域三维重建方法，其特征在于，所述将所述待三维重建的口腔图像数据输入所述卷积神经网络模型，得到三维重建模型包括：
将所述口腔图像数据的感兴趣区域转化为三维数据，得到点云数据；
对所述点云数据进行点云配准；
对点云配准后的所述点云数据进行数据融合，得到网格化的三维数据；
将所述口腔图像数据的二维图片的颜色信息映射至所述网格化的三维数据，得到三维重建模型。
5.一种基于卷积神经网络的口腔感兴趣区域三维重建装置，其特征在于，包括：
图像获取模块，用于获取待三维重建的口腔图像数据；所述口腔图像数据为二维图像；
模型获取模块，用于获取训练后的用于筛选感兴趣区域的卷积神经网络模型；
区域得到模块，用于将所述二维图像数据输入到所述卷积神经网络模型，得到感兴趣区域模板数据；
三维重建模块，用于根据所述模板数据识别的感兴趣区域对口腔数据进行三维重建。
6.根据权利要求5所述的基于卷积神经网络的口腔感兴趣区域三维重建装置，其特征在于，所述模型获取模块包括：
采集单元，用于预采集临床口腔扫描图像数据；
区分单元，用于人工对所述临床口腔扫描图像数据中的感兴趣区域进行区分；
训练单元，用于训练微调卷积神经网络模型，得到训练后的卷积神经网络模型。
7.根据权利要求5所述的基于卷积神经网络的口腔感兴趣区域三维重建装置，其特征在于，所述三维重建模块包括：
点云计算单元，用于将所述口腔图像数据的感兴趣区域转化为三维数据，得到点云数据；
点云配准单元，用于对所述点云数据进行点云配准；
数据融合单元，用于对点云配准后的所述点云数据进行数据融合，得到网格化的三维数据；
纹理映射单元，用于将所述口腔图像数据的二维图片的颜色信息映射至所述网格化的三维数据，得到三维重建模型。
8.一种计算机装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序实现如权利要求1-4任一项所述的基于卷积神经网络的口腔感兴趣区域三维重建方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，处理器用于执行存储介质中存储的计算机程序实现如权利要求1-4任意一项所述的基于卷积神经网络的口腔感兴趣区域三维重建方法。
CN202111320201.6A 2021-11-09 2021-11-09 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置 Pending CN114037744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111320201.6A CN114037744A (zh) 2021-11-09 2021-11-09 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111320201.6A CN114037744A (zh) 2021-11-09 2021-11-09 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置

Publications (1)

Publication Number Publication Date
CN114037744A true CN114037744A (zh) 2022-02-11

Family

ID=80143617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111320201.6A Pending CN114037744A (zh) 2021-11-09 2021-11-09 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN114037744A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612541A (zh) * 2022-03-23 2022-06-10 江苏万疆高科技有限公司 基于3d打印技术的种植牙打印方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612541A (zh) * 2022-03-23 2022-06-10 江苏万疆高科技有限公司 基于3d打印技术的种植牙打印方法、装置、设备及介质
CN114612541B (zh) * 2022-03-23 2023-04-07 江苏万疆高科技有限公司 基于3d打印技术的种植牙打印方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN103860191B (zh) 口腔内影像与容积影像的整合
WO2018018981A1 (zh) 用于对三维表面的图像进行重建的方法、装置和系统
EP2677938B1 (en) Space carving in 3d data acquisition
Douglas Image processing for craniofacial landmark identification and measurement: a review of photogrammetry and cephalometry
CN106327535B (zh) Cbct的牙根与口内扫描的牙冠的融合方法
CN100569195C (zh) 可描述牙齿咬合关系的精细个性化头颅模型的制造方法
CN109785374A (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
US20060127854A1 (en) Image based dentition record digitization
CN111784754B (zh) 基于计算机视觉的牙齿正畸方法、装置、设备及存储介质
CN102858266A (zh) 使用表面扫描信息从三维牙科x射线数据集减少并去除伪影
JP2022516488A (ja) 歯の位置合わせを用いた歯のセグメンテーション
KR102606857B1 (ko) 구강 이미지 처리 장치 및 구강 이미지 처리 방법
CN107895364A (zh) 一种用于虚拟手术术前规划的三维重建系统
CN112308895A (zh) 一种构建真实感牙列模型的方法
CN114037744A (zh) 一种基于卷积神经网络的口腔感兴趣区域三维重建方法及装置
JP6049272B2 (ja) メッシュ生成装置、方法およびプログラム
Kim et al. Automatic registration of dental CT and 3D scanned model using deep split jaw and surface curvature
EP2142968B1 (en) A method for the manufacturing of a reproduction of an encapsulated three-dimensional physical object and objects obtained by the method
Santoro et al. Photogrammetric 3D skull/photo superimposition: a pilot study
KR20010039186A (ko) 생체 구조물의 3차원 유한 요소 모델 구성방법
CN112274172B (zh) 一种基于多次扫描的成像方法、装置及电子设备
Angelone et al. 3D Dental Reconstruction with Photogrammetry Technology
CN112690931B (zh) 一种peek骨板的制备方法
KR102493440B1 (ko) 3차원 모델로부터 대상체 영역을 결정하는 방법 및 3차원 모델 처리 장치
CN116235253A (zh) 三维扫描数据处理系统及三维扫描数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination