CN116563475A - 一种图像数据处理方法 - Google Patents

Abstract

本公开的实施例提供了一种图像数据处理方法，包括：接收包括目标牙齿的牙列图像数据；接收用户终端提交的至少一组虚拟牙齿设定参数，根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型；将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；接收用户终端提交的至少一组形象模型设定参数，根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型发送至所述用户终端。本公开的实施例通过用户终端自定义目标牙齿设定参数的方法，可以实现牙齿治疗方案的远程定制。

Description

一种图像数据处理方法

技术领域

本公开的实施例属于计算机技术领域，具体涉及一种图像数据处理方法。

背景技术

近年来，随着经济社会的发展，人们的生活水平不断提高，对各方面生活品质的要求也越来越高。在牙齿医疗领域，越来越多的人有牙齿治疗或者美化需求。现有技术中当消费者需要对牙齿进行处理，比如当牙齿有破损需要修补的时候，是医生对消费者进行当面检查后，直接使用配置好的材料进行修复或直接制作出假牙进行替换等，这种直接处理的方式通常会存在一定隐患，造成牙齿处理后难以满足用户的多方面需求，也极易造成后续的纠纷。

发明内容

本公开的实施例旨在至少解决现有技术中存在的技术问题之一，提供一种图像数据处理方法。

本公开的实施例的一个方面，提供一种图像数据处理方法，包括：

接收包括目标牙齿的牙列图像数据；

接收用户终端提交的至少一组虚拟牙齿设定参数，根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型；

将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；

接收用户终端提交的至少一组形象模型设定参数，根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型发送至所述用户终端。

可选的，所述接收包括目标牙齿的牙列图像数据，包括：

通过设置于用户终端的图像采集设备或者通过单独设置的图像采集装置获取所述包括目标牙齿的牙列图像数据，所述包括目标牙齿的牙列图像数据为二维数据或者三维数据；所述虚拟牙齿设定参数包括描述参数和/或处理参数，所述描述参数包括以下中的一种或者两种以上的任意组合：材料参数，颜色参数，形状参数，位置参数；所述处理参数包括以下中的一种或者两种以上的任意组合：更换指示参数，矫正指示参数，修补指示参数，美白指示参数。

可选的，当所述包括目标牙齿的牙列图像数据为三维数据，所述根据所述虚拟牙齿设定参数生成与所述目标牙齿对应的虚拟牙齿三维图像模型，包括：

根据所述包括目标牙齿的牙列图像数据获取包括目标牙齿的二维投影图像数据；对所述包括目标牙齿的二维投影图像数据进行处理，获取单颗牙齿图像数据；根据所述虚拟牙齿设定参数在所述单颗牙齿图像数据中识别出所述目标牙齿；根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型；或者，

当所述包括目标牙齿的牙列图像数据为二维数据，所述根据所述虚拟牙齿设定参数生成与所述目标牙齿对应的虚拟牙齿三维图像模型，包括：对所述包括目标牙齿的牙列图像数据进行处理，获取单颗牙齿图像数据；根据所述虚拟牙齿设定参数在所述单颗牙齿图像数据中识别出所述目标牙齿；根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型。

可选的，所述获取单颗牙齿图像数据，包括：

切割丢弃背景区域图像，获取牙齿区域图像；

对所述牙齿区域图像进行高斯滤波，去除所述牙齿区域图像噪声，得到去噪后的牙齿区域图像；

对所述去噪后的牙齿区域图像分割出单颗牙齿区域图像，按照分割出的单颗牙齿区域图像对所述牙齿区域图像进行切割编号处理。

可选的，所述对所述去噪后的牙齿区域图像分割出单颗牙齿区域图像，包括：

将所述去噪后的牙齿区域图像输入训练好的深度轮廓感知网络，得到初步分割结果图像；对所述初步分割图像进行平滑处理，利用与数据膨胀处理一致的圆盘过滤器缩小预测分割结果的边界，最终获取单颗牙齿区域图像。

可选的，所述根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型，包括：

获取在存储介质上预先存储的与所述虚拟牙齿设定参数相对应的虚拟牙齿三维图像模型；或者，

根据所述虚拟牙齿设定参数生成与所述目标牙齿对应的虚拟牙齿三维图像模型。

可选的，所述根据所述形象模型设定参数获取目标用户形象模型，包括：

将所述形象模型设定参数与系统中存储的形象模型设定参数相比对；

获取与所述形象模型设定参数的关系满足设定条件的所有形象模型设定参数，作为目标形象模型设定参数；

获取与所述目标形象模型设定参数对应的用户形象模型，作为目标用户形象模型。

可选的，所述将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，包括：

识别出所述目标用户形象模型的嘴部位置；

根据用户终端提交的至少一组模型展示设定参数，设置所述目标用户形象模型的嘴部位置展示方式；

将所述虚拟牙列三维图像模型展示在所述嘴部位置，生成展示模型。

本发明的另一个方面提供一种图像数据处理方法，包括：

基于用户提交的针对治疗定制应用的访问请求展示治疗定制页面；所述治疗定制页面用于对牙齿治疗方案进行定制；

基于所述治疗定制页面获取至少一组虚拟牙齿设定参数，并接收至少一组形象模型设定参数，将所述虚拟牙齿设定参数及所述形象模型设定参数发送给图像处理装置；

接收所述图像处理装置发送的组合模型并进行展示，所述组合模型通过以下方式获得：

根据所述虚拟牙齿设定参数获取与目标牙齿对应的虚拟牙齿三维图像模型；将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；

根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型。

可选的，所述方法还包括：

基于所述治疗定制页面获取包括所述目标牙齿的牙列图像数据，将所述牙列图像数据发送给图像处理装置。

本公开实施例通过用户终端自定义目标牙齿设定参数的方法，可以实现牙齿治疗方案的远程定制，避免了用户必须到医院排队、挂号、拍牙片等所需要消耗的大量时间，节省了用户时间，本公开实施例通过用户自定义的形象模型设定方式，可以以直观的方式将用户设定的治疗方案展现给用户，方便用户选择，并且提供了多种组合供用户选择，可以满足用户的不同需求，避免了现有治疗方案可能产生的纠纷。

附图说明

图1为本公开一实施例的图像数据处理方法的流程示意图；

图2为本公开一实施例的根据目标牙齿三维图像数据获取目标牙齿二维投影图像数据的示意图；

图3为本公开另一实施例的图像数据处理方法的流程示意图；

图4为本公开一实施例的用户终端治疗定制页面示意图；

图5为本公开一实施例的图像采集装置的结构示意图；

图6为本公开一实施例的图像数据处理系统结构示意图。

具体实施方式

为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开作进一步详细描述。

当牙齿治疗方案直接由医生制定，而未考虑是否与用户其它牙齿颜色及形状匹配，美观度是否合适，是否与用户的肤色相搭配以及是否满足用户的其他使用意愿，则牙齿治疗方案很容易在治疗后引起不必要的纠纷，也容易影响用户的就诊体验。基于此，本公开提供了一种图像数据处理方法，可使用户基于自己的需求对牙齿治疗方案进行定制，并且还可以将用户选择的牙齿治疗方案与各种不同的三维图像模型进行组合，比如在一些应用场景下，用户需要改变肤色，或者改变发色，这样可以提前将牙齿治疗方案与不同肤色的三维图像模型，或者不同发色的三维图像模型相组合，可以预期出未来的牙齿展示效果，从而使得牙齿治疗方案满足用户的不同需求。并且治疗方案由用户选定后，即在系统进行保存，一方面便于医生根据定制的方案进行治疗，另一方面也便于后续发生纠纷时查找取证。

如图1所示，为本公开一实施例的图像数据处理方法的流程示意图。本实施例的图像数据处理方法可以应用于具有图像处理功能的图像处理设备，比如服务器，图像处理终端等，当然，本公开的图像处理方法也可以应用于用户终端。所述用户终端例如可以为个人计算机、移动电话、个人数字助理、媒体播放器、可穿戴设备或者这些设备中的任何设备的组合。

本实施例的所述图像数据处理方法，包括：

步骤101，接收包括目标牙齿的牙列图像数据；

可以通过用户终端的摄像设备直接获取牙列图像数据，或者通过单独设置的图像采集装置获取牙列图像数据。当通过用户终端的摄像设备直接获取牙列图像数据，可以基于用户提交的针对治疗定制应用的访问请求展示治疗定制页面，之后基于治疗定制页面发送牙列图像数据。所述牙列图像数据可以包括部分牙齿图像数据或者全部牙齿图像数据，即所述牙列图像数据包括至少一颗牙齿图像数据，在本公开的一些应用场景中，可选的，所述目标牙齿可以为一颗、两颗或者多颗牙齿，可以为门牙，也可以为槽牙，也可以为包括全部牙齿的图像数据；可以为展示形象的门牙数据，也可以为包括缺陷的牙齿数据。具体应用中可以由用户根据自己的治疗目的进行选择。

具体来说，所述包括目标牙齿的牙列图像数据，包括至少一颗牙齿图像数据。在实际应用中，用户可能基于自己的特殊需要对牙齿进行处理，有可能是需要对单颗牙齿进行处理，比如对单颗龋齿进行修补，有可能是对多颗牙齿进行处理，比如两颗相邻或者不相邻的龋齿，或者也有可能对整个上颚的牙列，或者下颚的牙列进行处理，比如牙齿美白，而可以由用户提交目标牙齿的图像数据。由于口腔内部的结构特点，导致牙列图像在实际应用中获取困难。在本公开实施例中，仅需要提供包含目标牙齿的部分牙列图像数据，这样相对于获取整个牙列数据，具有图像数据获取方便，及降低数据处理量的特点，更好的满足用户的各种需求，同时也降低系统的处理负担。比如当用户仅需要对上颚的两颗门牙进行美化，本公开实施例则仅需要用户提供上颚门牙图像数据，避免了用户需要拍摄牙列的图像的弊端，大大简化了用户的操作。

用户终端提交包括目标牙齿的牙列图像数据，可以为用户终端将预先存储的牙列图像数据进行上传，比如用户终端经由他人协助拍摄好牙列数据进行存储，或者使用专用牙科拍照设备拍摄后存储的牙列数据；也可以为用户终端利用自身的成像设备获取牙列图像数据，比如可以采用终端设备自带的摄像头进行牙列图像数据的获取。当然，也可以通过设置单独的摄像装置，来获取牙列图像数据。

在本实施例中，通过用户终端提交包括目标牙齿的牙列图像数据，可以基于此实现牙列图像数据的远程上传，进而实现牙齿治疗方案的远程定制，避免了用户必须到医院排队、挂号、拍牙片等所需要消耗的大量时间，节省了用户时间，也节省了用户精力的消耗，具有操作简便的特点，增强了用户使用体验。

在本实施例中，牙列图像数据可以为二维数据或者三维数据。可以提供多种类型的数据供用户选择提供，以适应用户终端的功能要求。

步骤102，接收用户终端提交的至少一组虚拟牙齿设定参数，根据所述虚拟牙齿设定参数获取与目标牙齿对应的虚拟牙齿三维图像模型；

在本实施例中，接收用户根据使用需求设定的一组或者两组以上的虚拟牙齿设定参数，针对每一组虚拟牙齿设定参数，执行一种牙列替换方案；比如在本公开的一个具体应用场景中，所述虚拟牙齿设定参数可以为：所述虚拟牙齿设定参数包括描述参数和/或处理参数，所述描述参数包括以下中的一种或者两种以上的任意组合：材料参数，颜色参数，形状参数，位置参数；所述处理参数包括以下中的一种或者两种以上的任意组合：更换指示参数，矫正指示参数，修补指示参数，美白指示参数。当然，此处仅仅为示例，其他可以实现对虚拟牙齿进行设定，满足用户定制化需求的参数都可以为本公开实施例所采用。

在本实施例中，用户可以设定一组虚拟牙齿设定参数，从而获取一个虚拟牙齿三维图像模型，或者用户可以设定两组以上的虚拟牙齿设定参数，从而获取两组以上的虚拟牙齿三维图像模型，这样可以一次性满足用户的多种需求，比如用户可以一次性观看到不同美白色度的牙齿三维模型，或者看到不同美白色度与不同材料组合形成的多个虚拟牙齿三维图像模型，通过直观简明的方式进行展示，方便用户进行选择。

在本实施例的一个具体应用场景中，比如当用户需要对上颚门牙的两颗牙齿进行美白处理时，可以提交需要上颚门牙的两颗牙齿美白到的颜色参数。一种具体实施方式为，图像处理设备提供多种颜色参数或者数值供选择，接收用户对于所述颜色参数或者数值的选定；也可同时提交位置参数，比如牙齿编号，而所有牙齿的编号可以按照预先设定的规则进行设定，并采用合适的方式提示用户。在本公开的一个具体应用场景中，所述位置参数包括上颚门牙的两颗牙齿编号，指示对上颚门牙的两颗牙齿进行美白处理。图像处理设备接收到所述位置参数后，根据所述虚拟牙齿设定参数获取与上颚门牙的两颗牙齿对应的虚拟牙齿三维图像模型。图像处理设备可以预先存储虚拟牙齿三维图像模型及各自对应的虚拟牙齿设定参数信息，从而在接收到所述参数后，可以在存储器中查找所述虚拟牙齿设定参数对应的牙齿三维图像模型。这样通过预先存储大量样本，而根据参数进行查找的方式，可以节省图像处理设备的系统开销，缩短处理时间，加快处理速度。

当然，也可以为根据所述虚拟牙齿设定参数生成与目标牙齿对应的虚拟牙齿三维图像模型。此种情况多发生在在存储器中未查找到所述虚拟牙齿设定参数对应的牙齿三维图像模型，则需要根据虚拟牙齿设定参数生成与目标牙齿对应的虚拟牙齿三维图像模型。

在本实施例中，当所述牙列图像数据为三维数据，所述根据所述虚拟牙齿设定参数获取与目标牙齿对应的虚拟牙齿三维图像模型，包括：

根据目标牙齿三维图像数据获取目标牙齿二维投影图像数据；对所述二维投影图像数据进行处理，获取单颗牙齿图像数据；根据所述虚拟牙齿设定参数在所述单颗牙齿图像数据中识别出所述目标牙齿；

根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型。

参照图2所示，为本公开实施例的根据目标牙齿三维图像数据获取目标牙齿二维投影图像数据的示意图。在本应用场景中，所述牙列图像为包括所有牙齿的三维图像数据，所述根据目标牙齿三维图像数据获取目标牙齿二维投影图像数据，包括：

获取上颚、下颚牙齿三维图像数据；对图像进行预处理，分别以垂直于门牙内外表面、磨牙内外表面、磨牙牙窝表面的垂线为法线，将三维图像在所述法线所垂直的表面上进行投影，获取多张二维图像。

如图2所示，第一法线1为垂直于门牙内外表面的法线，第二法线2，第三法线3为垂直于磨牙内外表面的法线，第四法线4为垂直于磨牙牙窝表面6的法线，投影平面5为垂直于第四法线4的投影平面，以此类推分别垂直于第一法线1、第二法线2、第三法线3的投影平面不再示出。以下颚牙齿为例，通过投影可以获取门牙7的内外表面投影图像2张，左侧磨牙内外表面投影图像2张，右侧磨牙内外表面投影图像2张，下颚全部牙齿上表面投影图像1张，共7张投影图像。同理可以获取上颚牙齿共7张投影图像。

当然，此处仅为一种示例，本公开实施例中其他的牙列图像数据，也可以依此原理，根据目标牙齿三维图像数据获取目标牙齿二维投影图像数据。

在本公开实施例中，当所述牙列图像数据为二维图像数据，所述根据所述虚拟牙齿设定参数生成与目标牙齿对应的虚拟牙齿三维图像模型，包括：对所述二维图像数据进行处理，获取单颗牙齿图像数据；

根据所述虚拟牙齿设定参数在所述单颗牙齿图像数据中识别出目标牙齿；

根据所述虚拟牙齿设定参数获取与目标牙齿对应的虚拟牙齿三维图像模型。

在本公开的具体实施例中，所述获取单颗牙齿图像数据，包括：

切割丢弃背景区域图像，获取牙齿区域图像；

对所述牙齿区域图像进行高斯滤波，去除所述牙齿区域图像噪声，得到去噪后的牙齿区域图像；

根据所述去噪后的牙齿区域图像分割出单颗牙齿区域图像，按照分割出的单颗牙齿区域图像对所述牙齿区域图像进行切割编号处理。

在本公开的具体实施例中，可以利用训练好的数据模型识别分割出单颗牙齿区域图像，所述利用训练好的数据模型识别分割出单颗牙齿区域图像，包括：

将牙齿区域图像输入训练好的深度轮廓感知网络，得到初步分割结果图像；对所述初步分割图像进行平滑处理，利用与数据膨胀处理一致的圆盘过滤器缩小预测分割结果的边界，最终获取单颗牙齿区域图像。

在本公开的具体实施例中，所述方法还包括：对编号后的单颗牙齿图像进行缺陷识别，获取牙齿缺陷类型及对应放大图像，作为牙齿缺陷信息对应牙齿编号进行存储，所述牙齿缺陷类型包括龋齿、缺损、斑点等。这样，通过对牙齿缺陷信息的甄别及存储，可以方便治疗者参考相关信息，也便于信息的存档使用。

在本公开的具体实施例中，所述方法还包括：获取环境亮度信息，对牙列三维图像模型进行亮度补偿渲染。在本公开实施例中，通过单颗牙齿图像数据，利用牙齿三维重建模型对牙齿图像数据进行拼接三维重建，根据对应的环境亮度信息，对牙齿进行亮度补偿渲染，可以获取真实颜色的用户虚拟牙齿三维图像仿真模型。将牙齿缺陷信息作为牙齿三维仿真模型的附加信息进行存储，方便治疗人员了解牙齿真实情况。

步骤103，将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；

具体应用中，可以根据用户输入的特征参数，比如年龄，性别等，查找到与目标用户对应的牙列三维图像，也可以提供多个牙列三维图像供用户点选确定，可以理解的是，所述虚拟牙齿三维图像模型为用户预期治疗后的牙齿模型，这样，通过将预期治疗后的牙齿模型与预存的牙列三维图像进行合并处理，可以模拟出牙齿治疗后的牙列三维图像，可以更好地展示给用户，供用户进行观看、选择，从而满足用户的不同需求，并具有展示直观，效果形象逼真，便于用户理解的特点。而采用预存的牙列三维图像，可以根据用户的类别存储若干个通用的牙列三维图像，而不用每次采集用户的牙列图像，以及每次构建用户的牙列三维图像，降低了系统处理负担。

将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，一种可以采用的方式是：获取预存的牙列三维图像；在所述牙列三维图像标识出目标牙齿对应位置；将所述目标牙齿对应位置替换为虚拟牙齿三维图像模型。标识出目标牙齿对应位置，可以根据目标牙齿的编号进行标识。具体处理中，也可以采用其他的合并处理方法。

步骤104，接收用户终端提交的至少一组形象模型设定参数，根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型发送至所述用户终端。

在本实施例中，所述形象模型设定参数用于设置模型展示效果，从而实现对于模型展示效果的定制。通过将所述形象模型设定参数与系统中存储的用户形象模型相比对，获取与所述形象模型设定参数的关系满足设定条件的所有形象模型设定参数，作为目标形象模型设定参数；获取与所述目标形象模型设定参数对应的用户形象模型，作为目标用户形象模型。这样，可以获取与所述形象模型设定参数接近的一组用户形象模型。

所述形象模型设定参数可以包括与模型相关的任何特征描述，比如：性别、年龄、身高、皮肤颜色、发色、发型等。在本实施例中，获取与所述形象模型设定参数接近的一组用户形象模型，具体的处理方式可以为设置一定的数值范围，比如上下浮动一定数值范围区间的设定参数，即与所述形象模型设定参数的差值满足设定阈值的形象模型设定参数，都可以认为是接近的设定参数，而与所述接近的设定参数对应的用户形象模型，都可以认为是与所述形象模型设定参数接近的一组参数对应的用户形象模型，所述用户形象模型可以为多个，在本公开的一个具体应用场景中，当用户输入的形象模型设定参数为一参数区间，比如皮肤颜色区间，头发颜色区间，可以根据该区间数值进行多种不同的皮肤颜色和发色的组合，从而提供给用户多种可能的选择，甚至提供了超乎用户预期的多种选择，满足了用户多种需求，也对于用户的选择起到启发作用，增强用户使用体验。

在本公开的具体实施例中，所述方法还包括：

接收用户终端提交的用户图像数据；

根据所述用户图像数据，对所述目标用户形象模型进行修正处理。

在本实施例中，可以通过用户终端提交用户的图像数据，比如可以为用户终端预先存储的用户图像数据，也可以为用户终端即时拍摄的图像数据，从而可以采用用户提交的图像数据对目标用户形象模型进行修正。具体的一种修正处理方式为，通过面部特征点比对的方式，对所述目标用户形象模型面部特征进行修正，当然修正处理也可以为其他的方式，包括根据用户个体特征的任何的修正，比如对用户形象模型身材，发型，发色的修正处理等，都可以为本公开实施例所采用。

所述将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，包括：

识别出目标用户形象模型的嘴部位置；

根据用户终端提交的至少一组模型展示设定参数，设置用户形象模型的嘴部位置展示方式；

将所述虚拟牙列三维图像模型展示在所述嘴部位置，生成展示模型。

在本实施例中，通过预先标识用户形象模型的面部特征点，通过面部特征点识别出目标用户形象模型的嘴部位置。

所述模型展示设定参数，包括：嘴部位置开合度的大小，比如嘴部大张、微张等，通过根据模型展示设定参数设置用户形象模型的嘴部位置展示方式，可以满足用户的各种需求，比如当用户为歌手，需要观看牙齿修补后嘴部大张状态下的整个牙列情况，则可以通过模型展示设定参数的选择，确定嘴部展示状态为嘴部大张，对应的目标牙齿为整个牙列。

在本公开的一个具体实施例中，确定好嘴部位置展示方式后，将嘴部位置图像显示效果设置为透明，将虚拟牙列三维图像模型展示在所述嘴部透明位置，从而生成展示模型。当然，也可以通过其他的方式将虚拟牙列三维图像模型展示在所述嘴部位置，都可以为本公开所采用。

本公开实施例通过用户终端提交包括目标牙齿的牙列图像数据，可以基于此实现牙列图像数据的远程上传，进而实现牙齿治疗方案的远程定制，避免了用户必须到医院排队、挂号、拍牙片等所需要消耗的大量时间，节省了用户时间，也节省了用户精力的消耗，具有操作简便的特点，增强了用户使用体验。

本公开实施例通过用户自定义的形象模型设定方式，可以以用户乐于见到的方式展示给用户，并具有组合丰富，多种选择的特点，从而可以满足用户的不同需求，并具有展示直观，效果形象逼真，便于用户理解的特点，可以实现牙齿治疗方案的定制。

在本公开的一个实施例中，所述方法还包括：

接收用户终端提交的针对所述组合模型的选定指令，根据所述选定指令将所述组合模型及对应的虚拟牙齿设定参数、牙列图像数据进行存储。

在用户选定了组合模型后，表明了用户期望的治疗后效果，将所述牙列图像数据及对应的虚拟牙齿设定参数、牙列图像数据进行存储，方便治疗方根据相关信息制定治疗方案，比如根据虚拟牙齿设定参数生产义齿，所述牙列图像数据也可以作为第一手资料作为治疗参考。同时，上述信息也可以在系统中保存，作为后续治疗效果的评估，以及后续产生纠纷时的证据数据。

参照图3所示，为本公开另一实施例的一种图像数据处理方法的流程示意图，所述方法包括：

步骤301，基于用户提交的针对治疗定制应用的访问请求展示治疗定制页面；所述治疗定制页面用于对牙齿治疗方案进行定制；

具体参照图4所示，为本公开一实施例的用户终端治疗定制页面示意图。所述治疗定制页面用于对牙齿治疗方案进行定制。

所述治疗定制页面可以根据用户的使用需要设置多种展示方式，比如以触控的方式进行操作，提供可供参考的数值，供用户点选；或者提供一对话框，供用户输入具体数值。在本实施例中，所述治疗定制页面包括参数输入部及显示窗口，所述参数输入部设置于显示窗口下方，可以随着用户输入参数而实时在显示窗口输出展示内容。所述参数输入部及显示窗口的大小可以根据使用需求进行设定，并可以根据触控指令实现放大或者缩小的显示效果。

步骤302，基于所述治疗定制页面获取至少一组虚拟牙齿设定参数，并接收至少一组形象模型设定参数，将所述虚拟牙齿设定参数及所述形象模型设定参数发送给所述图像处理装置；

在本实施例中，图4所示治疗定制页面包括的参数输入部，用于获取至少一组虚拟牙齿设定参数，并接收至少一组形象模型设定参数。

关于虚拟牙齿设定参数及形象模型设定参数的详细描述请见本公开上文对应部分。

步骤303，接收所述图像处理装置发送的组合模型并进行展示，所述组合模型通过以下方式获得：

根据所述虚拟牙齿设定参数获取与目标牙齿对应的虚拟牙齿三维图像模型；将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；

根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型。

关于组合模型获取方式的详细描述请参见本公开上述对应描述部分，在此不再赘述。

在本实施例中，图4所示治疗定制页面包括的显示窗口，用于展示所述组合模型。

在本公开的一个具体实施方式中，所述方法还包括：

基于所述治疗定制页面获取至少一组模型展示设定参数，发送所述模型展示设定参数至图像处理装置。所述模型展示设定参数用于设置模型展示效果，从而实现对于模型展示效果的定制。

在本实施例中，所述模型展示设定参数用于设置用户形象模型的嘴部位置开合度的大小。所述用户形象模型为一组，包括多个用户形象模型。

在本实施例中，基于所述治疗定制页面的参数输入部接收用户输入的至少一组模型展示设定参数。

在本实施例中，所述模型展示设定参数，包括：嘴部位置开合度的大小，比如嘴部大张、微张等，通过根据模型展示设定参数设置用户形象模型的嘴部位置展示方式，可以满足用户的各种需求，比如当用户为歌手，需要观看牙齿修补后嘴部大张状态下的整个牙列情况，则可以通过模型展示设定参数的选择，确定嘴部展示状态为嘴部大张，对应的目标牙齿为整个牙列。

在本公开的一个实施例中，确定好嘴部位置展示方式后，将嘴部位置图像显示效果设置为透明，将虚拟牙列三维图像模型展示在所述嘴部透明位置，从而生成展示模型。当然，也可以通过其他的方式将虚拟牙列三维图像模型展示在所述嘴部位置，都可以为本发明所采用。

当然，模型展示设定参数可以包括多组，比如可以对应不同的嘴部开合度大小等，也可以根据实际应用需求进行其他的设定。

本公开实施例通过用户自定义的形象模型设定方式，可以以用户乐于见到的方式展示给用户，并具有组合丰富，多种选择的特点，从而满足可以用户的不同需求，并具有展示直观，效果形象逼真，便于用户理解的特点。

在本公开的一个实施例中，所述方法还包括：

通过人机交互接口接收接针对所述组合模型的选定指令，将所述选定指令发送给所述图像处理装置。

针对所述组合模型的选定指令可以基于图4所示治疗定制页面提交，也可以为点选终端的任何按钮。在用户选定了组合模型后，表明了用户期望的治疗后效果，将所述牙列图像数据及对应的虚拟牙齿设定参数、牙列图像数据进行存储，方便治疗方根据相关信息制定治疗方案，比如根据虚拟牙齿设定参数生产义齿，所述牙列图像数据也可以作为第一手资料作为治疗参考。同时，上述信息也可以在系统中保存，作为后续治疗效果的评估，以及后续产生纠纷时的证据数据。

在本公开的实施例中，图像采集装置可以设置于终端设备，基于所述治疗定制页面获取至少一部分牙列图像数据，将所述牙列图像数据发送给图像处理装置；

在本公开另外的实施例中，通过单独设置图像采集装置，获取牙列图像数据后，通过与用户终端的交互，将获取的牙列图像数据发送给图像处理装置，或者通过图像采集装置直接将牙列图像数据发送给图像处理装置。下面通过一实施例的详细描述来说明本公开可以提供的一种图像采集装置的结构示意图。

参照图5所示，为本公开一实施例的图像采集装置的结构示意图。所述图像采集装置包括：摄像头阵列54、牙形对齐架56、灯光装置57；

所述摄像头阵列54设置于牙形对齐架56，用于采集包括目标牙齿的牙列图像数据，并发送至图像处理装置，用于图像处理装置获取与所述目标牙齿对应的虚拟牙齿三维图像模型；

所述牙形对齐架56具有与口腔相适配的形状与尺寸，用于对摄像头阵列54在口腔内的牙齿进行拍照时提供支撑；

所述灯光装置57，用于在采集图像时为摄像头照明。

所述图像采集装置还包括：手柄52、操作按钮53、显示屏51、曲柄55，无线传输模块（未示出）、电源线。以下将详细描述各部件的功能及工作方式。

具体来说，所述摄像头阵列54用于采集牙列图像，因为空间距离较短，所以需要采用摄像头阵列54与牙形对齐架56配合以便能够采集到每一颗牙齿的图像，牙形对齐架56的形状及尺寸根据一般人员牙齿排列的形状及尺寸设计，进一步的所述牙形对齐架56为可拆卸设备，为了满足不同人员牙齿排列尺寸，将牙形对齐架56设计成不同尺寸大小，根据用户的需要进行更换，所述摄像头阵列54的信号线布置在牙形对齐架56的内部以及曲柄55内部；且在牙形对齐架56与曲柄55连接部设置接线连接器，方便更换不同尺寸的牙形对齐架56。

所述曲柄55设计成与人体口腔相适配的形状，比如一定的弧形，方便放入用户口腔中且不影响采集牙齿图像，此外在显示器51背面与手柄52连接处，所述手柄52上设置有一连接部，所述连接部52内部设置旋转结构（未示出），所述旋转结构用于曲柄55相对于手柄52可旋转连接，所述显示屏54固定连接在所述手柄52的所述连接部上，在所述曲柄55旋转时，所述显示屏54相对所述手柄52固定不发生旋转。

在采集用户牙齿图像时，如果要先采集上颚牙齿图像，再采集下颚牙齿图像，则首先旋转曲柄55，调整位置，将所述装置调整成方便采集上颚牙齿图像的位置，在采集用户下颚牙齿图像时，可将曲柄55旋转到第二位置固定，方便对下颚牙齿拍照；所述显示屏51固定连接在手柄52旋转部上，在曲柄55旋转时，显示屏51相对手柄52固定不发生旋转。所述灯光装置57亮度可调。所述显示屏51为触摸屏显示屏，用户可以采用触摸操控指令。操控内容包括选择任意位置摄像头及数量、灯光亮度等。所述操作按钮53包括装置开关，所述手柄52用于用户手持。当然，所述操作按钮53可以进行其他的设置，比如将灯光调节按钮设置在手柄52上，具体可以根据实际需求进行不同的设定。进一步的所述摄像头阵列54为3D摄像头阵列，其能够采集牙齿图像及位置参数。

在本公开的一个实施例中，所述图像采集装置用于采集用户牙列图像数据和/或用户图像数据，比如用户的脸部、身体图像数据发送到图像处理装置，进行相应处理及存储。在本公开实施例中，摄像头阵列54摄像头个数的设置，摄像头排布方式可以根据实际应用需求进行多种的选择。

本实施例中，所述图像采集装置的工作过程为：用户使用操作按钮53开启图像采集装置，选择合适尺寸的牙形对齐架56并调整朝上，将牙形对齐架56放入口腔中，操作显示屏51，观察摄像头阵列54是否对齐牙齿，如果否，则调整牙形对齐架56的角度直到对齐为止。然后查看图像是否清晰，如果否，则通过显示屏51打开灯光装置57，并调节好亮度和/或缩放图像直到图像清晰为止。最后采集上颚牙齿图像，包括牙齿上表面图像（参见图2），并对应记录环境亮度信息，通过无线通信模块发送到图像处理装置进行存储。接着将曲柄55旋转并固定，放入口腔中采集下颚牙齿，包括下颚牙齿上表面图像发送到图像处理装置。操作显示屏51，选择摄像头阵列54中间位置两个摄像头，指示用户露出牙齿外面，采集用户牙齿外面图像，并对应记录环境亮度信息发送到图像处理装置。进一步的可以采集多张牙齿图像便于后续拼接处理。

在本实施例中，通过调整图像采集装置51与用户的距离，分别采集用户脸部多种表情图像信息、半身、全身图像信息，并对应记录环境亮度信息，发送到图像处理装置，用于构建目标用户形象模型。

参照图6所示，为本公开一实施例的图像数据处理系统结构示意图。所述数据处理系统包括：图像采集装置601，图像处理装置602，移动终端603。需要指出的是，本实施例附图中示出了图像处理装置602与移动终端603分开设置的情况，此仅仅为一种示例，具体应用中，图像处理装置也可以设置于移动终端603，本公开对此不加以限定。另外，图像采集装置601也可以设置于移动终端603。

在本公开的实施例中，所述图像采集装置601包括：摄像头阵列6011，灯光装置6012，显示屏6013，操作按钮6014，处理器6015，无线传输模块6016；所述图像采集装置的其他部分的详细描述可以参照本公开关于图4的描述内容。

在本实施例中，图像处理装置602与图像采集装置601、移动终端603采用无线或有线网络实现彼此间的数据传输。当采用无线传输方式时，可以实现牙齿治疗方案的远程定制。

在本公开的实施例中，图像处理装置602直接连接控制树脂调和设备6021和假牙3D打印机6022。

在本公开实施例中，用户可以根据偏好选择修复、替换方案并通过移动终端603发送到所述图像处理装置602，所述图像处理装置602提取用户选择的修复、替换方案数据参数，如果是选择修补牙齿，则图像处理装置602控制树脂调和设备6021工作，根据相应参数调和牙齿修补填充物，包括与牙齿匹配的颜色及材料等；如果是选择替换牙齿，则图像处理装置602连接假牙3D打印机6022，根据用户选择的替换方案数据参数打印出假牙，所述替换方案数据参数包括假牙材质、颜色、形状等。

在本公开的实施例中，用户可以通过操作，将选择的参数发送到图像处理装置602，图像处理装置602分别构建多种不同的三维仿真模型，可以包括脸部图像、半身图像、全身图像等，甚至可以用用户图像进行修正，获得用户形象三维模型；之后将构建的虚拟牙齿三维模型与用户形象三维模型进行组合。用户通过移动终端603从图像处理装置602获取包括牙齿、脸部、半身、全身信息的完整三维仿真模型，选择合适的牙齿修复及替换方案。

需要说明的是，现有技术中在修补、替换牙齿时，往往没有或仅仅粗略考虑现有牙齿的颜色，更没有将现有牙齿与将修补的或替换的牙齿材料进行对比选材，导致修复、替换后的牙齿与未修复的牙齿颜色差异较大，客户不满意。可见，单一的替换方式难以满足用户的多种需求。本公开实施例采集目标牙齿图像数据的同时也采集对应的环境亮度信息，在进行牙齿三维模型重建时，能够还原重建真实的牙齿颜色，方便后续参考选择修复、替换牙齿的材料，同时将牙齿存在的缺陷类型及缺陷放大图像作为附加信息提供给用户，方便用户了解牙齿真实情况。

本公开实施例的一个具体应用场景为：移动终端603上安装有牙齿修复APP，通过牙齿修复APP能够从所述图像处理装置602接收3D仿真模型数据，用户能够通过移动终端603呈现3D仿真模型，通过手动操作选择任一组合，观看一定角度的牙齿、脸部表情、半身、全身3D仿真模型以及观看修复、替换动态展示方案，同时也可以了解牙齿缺陷类型及具体情况。

本公开用户移动终端603供用户根据偏好选择相应的牙齿修复方案后，通过远程传输到图像处理装置602，一方面用户可以远程选择而不用专门到牙齿修复机构提高了效率；另一方面能够实现所见即所得，用户能够在移动终端603根据偏好进行选择，避免纠纷。同时可以达到自动记录相关参数，方便治疗方参考，也方便发生纠纷时提供证据。

具体实现中，本公开还提供一种计算机存储介质，计算机可读介质可以是本发明的装置、设备、系统中所包含的，也可以是单独存在。

其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。

其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (10)

1.一种图像数据处理方法，其特征在于，包括：

接收包括目标牙齿的牙列图像数据；

接收用户终端提交的至少一组虚拟牙齿设定参数，根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型；

将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；

接收用户终端提交的至少一组形象模型设定参数，根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型发送至所述用户终端。

2.根据权利要求1所述的方法，其特征在于，所述接收包括目标牙齿的牙列图像数据，包括：

通过设置于用户终端的图像采集设备或者通过单独设置的图像采集装置获取所述包括目标牙齿的牙列图像数据，所述包括目标牙齿的牙列图像数据为二维数据或者三维数据；所述虚拟牙齿设定参数包括描述参数和/或处理参数，所述描述参数包括以下中的一种或者两种以上的任意组合：材料参数，颜色参数，形状参数，位置参数；所述处理参数包括以下中的一种或者两种以上的任意组合：更换指示参数，矫正指示参数，修补指示参数，美白指示参数。

3.根据权利要求2所述的方法，其特征在于，当所述包括目标牙齿的牙列图像数据为三维数据，所述根据所述虚拟牙齿设定参数生成与所述目标牙齿对应的虚拟牙齿三维图像模型，包括：

根据所述包括目标牙齿的牙列图像数据获取包括目标牙齿的二维投影图像数据；对所述包括目标牙齿的二维投影图像数据进行处理，获取单颗牙齿图像数据；根据所述虚拟牙齿设定参数在所述单颗牙齿图像数据中识别出所述目标牙齿；根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型；或者，

当所述包括目标牙齿的牙列图像数据为二维数据，所述根据所述虚拟牙齿设定参数生成与所述目标牙齿对应的虚拟牙齿三维图像模型，包括：对所述包括目标牙齿的牙列图像数据进行处理，获取单颗牙齿图像数据；根据所述虚拟牙齿设定参数在所述单颗牙齿图像数据中识别出所述目标牙齿；根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型。

4.根据权利要求3所述的方法，其特征在于，所述获取单颗牙齿图像数据，包括：

切割丢弃背景区域图像，获取牙齿区域图像；

对所述牙齿区域图像进行高斯滤波，去除所述牙齿区域图像噪声，得到去噪后的牙齿区域图像；

对所述去噪后的牙齿区域图像分割出单颗牙齿区域图像，按照分割出的单颗牙齿区域图像对所述牙齿区域图像进行切割编号处理。

5.根据权利要求4所述的方法，其特征在于，所述对所述去噪后的牙齿区域图像分割出单颗牙齿区域图像，包括：

将所述去噪后的牙齿区域图像输入训练好的深度轮廓感知网络，得到初步分割结果图像；对所述初步分割图像进行平滑处理，利用与数据膨胀处理一致的圆盘过滤器缩小预测分割结果的边界，最终获取单颗牙齿区域图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟牙齿设定参数获取与所述目标牙齿对应的虚拟牙齿三维图像模型，包括：

获取在存储介质上预先存储的与所述虚拟牙齿设定参数相对应的虚拟牙齿三维图像模型；或者，

根据所述虚拟牙齿设定参数生成与所述目标牙齿对应的虚拟牙齿三维图像模型。

7.根据权利要求1所述的方法，其特征在于，所述根据所述形象模型设定参数获取目标用户形象模型，包括：

将所述形象模型设定参数与系统中存储的形象模型设定参数相比对；

获取与所述形象模型设定参数的关系满足设定条件的所有形象模型设定参数，作为目标形象模型设定参数；

获取与所述目标形象模型设定参数对应的用户形象模型，作为目标用户形象模型。

8.根据权利要求7所述的方法，其特征在于，所述将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，包括：

识别出所述目标用户形象模型的嘴部位置；

根据用户终端提交的至少一组模型展示设定参数，设置所述目标用户形象模型的嘴部位置展示方式；

将所述虚拟牙列三维图像模型展示在所述嘴部位置，生成展示模型。

9.一种图像数据处理方法，其特征在于，包括：

基于用户提交的针对治疗定制应用的访问请求展示治疗定制页面；所述治疗定制页面用于对牙齿治疗方案进行定制；

基于所述治疗定制页面获取至少一组虚拟牙齿设定参数，并接收至少一组形象模型设定参数，将所述虚拟牙齿设定参数及所述形象模型设定参数发送给图像处理装置；

接收所述图像处理装置发送的组合模型并进行展示，所述组合模型通过以下方式获得：

根据所述虚拟牙齿设定参数获取与目标牙齿对应的虚拟牙齿三维图像模型；将所述虚拟牙齿三维图像模型与预存的牙列三维图像进行合并处理，生成虚拟牙列三维图像模型；

根据所述形象模型设定参数获取目标用户形象模型，将所述虚拟牙列三维图像模型与所述目标用户形象模型相组合，形成组合模型。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

基于所述治疗定制页面获取包括所述目标牙齿的牙列图像数据，将所述牙列图像数据发送给图像处理装置。