CN113194872B - 识别装置、扫描仪系统以及识别方法 - Google Patents

Abstract

识别装置(100)具备：输入部(1102)，包含牙齿的三维数据被输入至输入部(1102)；识别部(1130)，根据从输入部(1102)输入的包含牙齿的特征的三维数据和包含神经网络(1142)的推测模型(114)识别该牙齿的种类；以及输出部(1103)，输出识别部(1130)的识别结果。

Description

识别装置、扫描仪系统以及识别方法

技术领域

本发明涉及识别装置、具备该识别装置的扫描仪系统以及识别方法。

背景技术

以往，在牙科领域，为了在计算机上数字设计修补物等，公知有内置获取牙齿的三维形状的三维相机的三维扫描仪。例如，专利文献1中公开了通过使用三维相机拍摄牙齿来记录牙齿的形状的技术。牙科医生等施术者通过使用专利文献1中公开的三维相机，能够记录作为拍摄对象的牙齿的三维形状，进而能够在确认显示所记录的牙齿的三维形状的三维图像的同时，结合自身的知识来识别该牙齿的种类。

现有技术文献

专利文献

专利文献1：日本特开2000-74635号公报

发明内容

发明所要解决的技术问题

这样，以往施术者是根据通过三维相机获得的包含牙齿的三维图像，并结合自身的知识来识别该牙齿的种类，但每个施术者的知识等级不同，因而存在识别结果的精度根据施术者的知识等级而产生偏差这一问题。例如，中切牙与侧切牙、犬齿与第一前磨牙、第一前磨牙与第二前磨牙、第二前磨牙与第一磨牙、第一磨牙与第二磨牙等形状类似的牙齿彼此的识别精度尤为不高。

本发明是为了解决这种问题而完成的，其目的在于，提供一种能够高精度地识别牙齿的种类的识别装置、具备该识别装置的扫描仪系统以及识别方法。

用于解决问题的技术方案

根据本发明，提供一种识别牙齿的种类的识别装置。识别装置具备：输入部，接收包含牙齿的数据的三维数据；识别部，根据输入部所接收的包含牙齿的特征的三维数据和包含神经网络的推测模型识别该牙齿的种类；以及输出部，输出识别部的识别结果。

根据本发明，提供一种获取牙齿的形状信息的扫描仪系统。扫描仪系统具备：三维扫描仪，使用三维相机获取包含牙齿的数据的三维数据；以及识别装置，根据由三维扫描仪获得的包含牙齿的特征的三维数据识别该牙齿的种类，识别装置包括：输入部，接收三维数据；识别部，根据输入部所接收的包含牙齿的特征的三维数据和包含神经网络的推测模型识别该牙齿的种类；以及输出部，输出识别部的识别结果。

根据本发明，提供一种识别牙齿的种类的识别方法。识别方法包括：接收包含牙齿的数据的三维数据的步骤；根据包含牙齿的特征的三维数据和包含神经网络的推测模型识别该牙齿的种类的步骤；以及输出识别的步骤中的识别结果的步骤。

(发明效果)

根据本发明，能够根据包含牙齿的三维数据，高精度地识别牙齿的种类。

附图说明

图1是表示本实施方式涉及的识别装置的应用例的示意图。

图2是表示本实施方式涉及的系统的整体构成的示意图。

图3是表示本实施方式涉及的识别装置的硬件构成的示意图。

图4是表示本实施方式涉及的服务器装置的硬件构成的示意图。

图5是表示本实施方式涉及的识别装置的功能构成的示意图。

图6是用于说明本实施方式涉及的识别装置进行的识别处理的示意图。

图7是表示本实施方式涉及的作为识别处理中的识别对象的牙齿的一例的示意图。

图8是用于说明本实施方式涉及的学习用数据的生成的示意图。

图9是用于说明本实施方式涉及的学习用数据集的一例的示意图。

图10是用于说明本实施方式涉及的基于学习用数据集的已学习模型的生成的示意图。

图11是用于说明本实施方式涉及的识别装置执行的学习处理的一例的流程图。

图12是用于说明本实施方式涉及的服务器装置执行的学习处理的一例的流程图。

图13是用于说明本实施方式涉及的识别装置执行的服务提供处理的一例的流程图。

图14是用于说明变形例涉及的识别装置执行的服务提供处理的一例的流程图。

图15是用于说明变形例涉及的基于学习用数据集的已学习模型的生成的示意图。

图16是用于说明变形例涉及的识别装置执行的服务提供处理的一例的流程图。

图17是用于说明变形例涉及的学习用数据集的一例的示意图。

图18是用于说明变形例涉及的识别装置执行的服务提供处理的一例的流程图。

具体实施方式

参照附图对本发明的实施方式详细进行说明。需要说明的是，对于附图中的相同或相当部分，标注相同的附图标记并不重复进行说明。

[应用例]

参照图1和图2，对本实施方式涉及的识别装置100的应用例进行说明。图1是表示本实施方式涉及的识别装置100的应用例的示意图。图2是表示本实施方式涉及的系统的整体构成的示意图。

如图1所示，用户1可以通过使用扫描仪系统10获取包含对象者2所具有的牙齿的三维形状的数据(以下，也称为“三维数据”)。需要说明的是，“用户”只要是使用扫描仪系统10的人均可，例如牙科医生等施术者、牙科助手、牙科大学的老师或学生、牙科技师、制造商的技术人员、制造工厂的作业人员等。“对象者”只要是牙科医院的患者、牙科大学中的受试者等作为扫描仪系统10的对象的人即可。

本实施方式涉及的扫描仪系统10具备三维扫描仪200、识别装置100、显示器300以及扬声器400。三维扫描仪200通过内置的三维相机获取扫描对象的三维数据。具体而言，三维扫描仪200通过对口腔内进行扫描，从而使用光学传感器等获取构成扫描对象的牙齿的多个点各自的位置信息(纵向、横向、高度方向的各轴的坐标)作为三维数据。识别装置100根据通过三维扫描仪200获得的三维数据生成三维图像，并将所生成的三维图像显示在显示器300上。

例如，用户1通过利用三维扫描仪200拍摄对象者2的口腔内，从而获得包含牙齿的口腔内的三维数据，以便在计算机上数字设计修补对象者2的牙齿的缺损部分的修补物等。用户1每次拍摄口腔内时依次获得三维数据，口腔内的三维图像被显示在显示器300上。用户1一边确认显示于显示器300上的三维图像，一边重点扫描三维数据的不足部分。此时，用户1根据通过三维扫描仪200获得的包含牙齿的三维数据被可视化的三维图像，并结合自身的知识来识别正在扫描或扫描完成的牙齿的种类。但是，由于每个用户1的知识等级不同，因此，如果依赖于用户1的知识，则识别结果的精度有时会出现偏差。

因此，本实施方式涉及的扫描仪系统10被构成为执行如下处理：利用识别装置100所具有的AI(人工智能：Artificial Intelligence)，并根据通过三维扫描仪200获得的三维数据自动识别牙齿的种类。此外，将识别装置100识别牙齿的种类的处理也称为“识别处理”。

此外，“牙齿的种类”是指上颌右侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙；上颌左侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙；下颌右侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙；下颌左侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙等各牙齿的种类。

具体而言，当用户1使用三维扫描仪200扫描对象者2的口腔内的牙齿时，包含牙齿的三维数据被输入识别装置100。识别装置100根据所输入的包含牙齿的特征的三维数据及包含神经网络的推测模型，执行识别该牙齿的种类的识别处理。

“推测模型”包含神经网络和由该神经网络使用的参数，并通过根据与三维数据相关联的牙齿的种类所对应的牙齿信息和使用该三维数据的该牙齿的种类的识别结果进行学习而被优化(调整)。具体而言，当输入包含牙齿的三维数据时，推测模型根据该三维数据并通过神经网络提取牙齿的特征，根据提取出的牙齿的特征推测牙齿的种类。并且，推测模型根据自身推测的牙齿的种类和与输入的三维数据相关联的牙齿的种类(牙齿信息)，若两者一致则不更新参数，而若两者不一致则更新参数以使两者一致，由此对参数进行优化。这样，推测模型通过利用包含作为输入数据的三维数据和作为正确数据的牙齿的种类(牙齿信息)的教师数据优化参数，从而进行学习。

此外，也将这样的学习推测模型的处理称为“学习处理”。另外，将通过学习处理而被优化的推测模型也特别称为“已学习模型”。也就是说，在本实施方式中，将学习前的推测模型及学习完毕的推测模型统称为“推测模型”，另一方面，尤其将学习完毕的推测模型也称为“已学习模型”。

“牙齿信息”包括上颌右侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙；上颌左侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙；下颌右侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙；下颌左侧的中切牙、侧切牙、犬齿、第一前磨牙、第二前磨牙、第一磨牙、第二磨牙以及第三磨牙等各牙齿的名称。另外，“牙齿信息”包括分配给各牙齿的编号(例如，在牙科领域中通常使用的牙齿的编号)，例如分配给中切牙的1号、分配给侧切牙的2号、分配给犬齿的3号、分配给第一前磨牙的4号、分配给第二前磨牙的5号、分配给第一磨牙的6号、分配给第二磨牙的7号、分配给第三磨牙的8号等。此外，“牙齿信息”也可以包含分配给各牙齿的颜色的信息，还可以包含分配给各牙齿的符号的信息。

当通过识别装置100使用已学习模型执行识别处理时，该识别结果被输出至显示器300和扬声器400。

显示器300显示与识别结果对应的图像、文字、数字、图标以及符号中的至少任意一个。例如，显示器300在通过三维扫描仪200完成了与下颌右侧的7号对应的第二磨牙的扫描之后，利用识别装置100对牙齿的识别结果，如“右下7号的扫描已完成”这样显示表示与下颌右侧的7号对应的第二磨牙的扫描已完成的图像。

扬声器400输出与识别结果对应的声音。例如，扬声器400在通过三维扫描仪200完成了与下颌右侧的7号对应的第二磨牙的扫描之后，利用识别装置100对牙齿的识别结果，如“右下7号完成”这样输出表示与下颌右侧的7号对应的第二磨牙的扫描已完成的声音。

进而，将识别装置100的识别结果与识别处理时使用的三维数据一同被作为扫描信息输出至配置于牙科工厂及管理中心的服务器装置500。

例如，如图2所示，扫描仪系统10分别配置在多个本地A～C。例如，本地A和本地B是牙科医院，在该牙科医院的院内，作为用户1的施术者和牙科助手利用扫描仪系统10获取包含作为对象者2的患者的牙齿的三维数据。另外，本地C为牙科大学，在该牙科大学中，作为用户1的老师或学生获取作为对象者2的受试者的口腔内的三维数据。本地A～C分别获得的扫描信息(三维数据、识别结果)经由网络5输出至配置于作为本地D的牙科工厂及管理中心的服务器装置500。

在牙科工厂中，牙科技师等根据分别从本地A～C获得的扫描信息，制作修补对象者2的牙齿的缺损部分的修补物等。在管理中心，服务器装置500将分别从本地A～C获得的扫描信息加以积累存储，作为大数据加以保存。

此外，服务器装置500并不限于在牙科医院中配置于与本地不同的管理中心中，也可以配置于本地内。例如，也可以在本地A～C中的任意一个本地内配置服务器装置500。另外，也可以在一个本地内配置多个识别装置100，进而还可以在该一个本地内配置能够与该多个识别装置100进行通信的服务器装置500。另外，服务器装置500也可以以云服务的形式实现。

在牙科工厂中，从像本地A～C这样的各种场所汇总扫描信息。因此，牙科工厂保存的扫描信息既可以经由网络5发送至管理中心，或者也可以经由CD(Compact Disc：光盘)和USB(Universal Serial Bus：通用串行总线)存储器等的移动磁盘550发送至管理中心。

此外，也可以不经由网络5而经由移动磁盘550将扫描信息从本地A～C分别发送至管理中心。另外，在本地A～C各自之间，也可以经由网络5或者移动磁盘550相互发送扫描信息。

各本地A～C的识别装置100各自保存推测模型，在识别处理时使用各自所保存的推测模型来识别牙齿的种类。各本地A～C的识别装置100通过各自的学习处理来学习各自的推测模型，从而生成已学习模型。进而，在本实施方式中，服务器装置500也保存推测模型。服务器装置500通过使用从各本地A～C的识别装置100和牙科工厂获得的扫描信息的学习处理来学习推测模型，从而生成已学习模型，并将该已学习模型分发给各本地A～C的识别装置100。此外，在本实施方式中，呈各本地A～C的识别装置100和服务器装置500均执行学习处理的形态，但也可以是仅各本地A～C的识别装置100执行学习处理的形态、或者仅服务器装置500执行学习处理的形态。此外，在仅服务器装置500执行学习处理的形态的情况下，各本地A～C的识别装置100所保存的推测模型(已学习模型)在各本地A～C的识别装置100之间通用。

另外，服务器装置500也可以具有识别装置100中的识别处理的功能。例如，也可以是各本地A～C将获得的三维数据发送至服务器装置500，服务器装置500根据从各本地A～C接收到的各个三维数据算出各个中的牙齿种类的识别结果。然后，服务器装置500也可以将各个识别结果发送至各本地A～C，各本地A～C将从服务器装置500接收到的识别结果输出至显示器等。这样，各本地A～C和服务器装置500也可以以云服务的形态构成。这样的话，只要服务器装置500保存了推测模型(已学习模型)，则各本地A～C无需保存推测模型(已学习模型)也能得到识别结果。

这样，根据本实施方式涉及的扫描仪系统10，利用识别装置100所具有的AI，根据通过三维扫描仪200获得的三维数据自动地识别牙齿的种类。通过利用AI，能够找出通过用户1的知识得到的牙齿的特征。另外，也能够找出用户1无法提取的牙齿的特征，由此，用户1不会依赖于自身的知识，能够高精度地识别牙齿的种类。

[识别装置的硬件构成]

参照图3，对本实施方式施加的识别装置100的硬件构成的一例进行说明。图3是表示本实施方式涉及的识别装置100的硬件构成的示意图。识别装置100例如可以由通用计算机实现，也可以由扫描仪系统10专用的计算机实现。

如图3所示，识别装置100作为主要的硬件要素而具备扫描仪接口102、显示器接口103、扬声器接口104、外围设备接口105、网络控制器106、介质读取装置107、PC显示器108、存储器109、存储装置110以及运算装置130。

扫描仪接口102是用于连接三维扫描仪200的接口，实现识别装置100与三维扫描仪200之间的数据的输入输出。

显示器接口103是用于连接显示器300的接口，实现识别装置100与显示器300之间的数据的输入输出。显示器300例如由LCD(Liquid Crystal Display：液晶显示器)或有机ELD(Electro luminescence：电致发光)显示器等构成。

扬声器接口104是用于连接扬声器400的接口，实现识别装置100与扬声器400之间的数据的输入输出。

外围设备接口105是用于连接键盘601和鼠标602等外围设备的接口，实现识别装置100与外围设备之间的数据的输入输出。

网络控制器106经由网络5分别与配置于牙科工厂的装置、配置于管理中心的服务器装置500以及其他配置于本地的其他识别装置100之间收发数据。网络控制器106例如对应于以太网(注册商标)、无线LAN(Local Area Network：局域网)、Bluetooth(注册商标)等任意的通信方式。

介质读取装置107读出存储在移动磁盘550中的扫描信息等的各种数据。

PC显示器108是识别装置100专用的显示器。PC显示器108例如由LCD或有机EL显示器等构成。此外，在本实施方式中，PC显示器108与显示器300分开，但也可以与显示器300通用。

存储器109提供运算装置130执行任意的程序时临时存储程序代码、工作存储器等的存储区域。存储器109例如由DRAM(Dynamic Random Access Memory：动态随机存取存储器)或SRAM(Static Random Access Memory：静态随机存取存储器)等的易失性存储器件构成。

存储装置110提供存储识别处理和学习处理等所需的各种数据的存储区域。存储装置110例如由硬盘或SSD(Solid State Drive：固态驱动器)等的非易失性存储器件构成。

存储装置110存储扫描信息112、推测模型114(已学习模型114a)、学习用数据集116、颜色分类数据118、简档数据(profile data)119、识别用程序120、学习用程序121以及OS(Operating System：操作系统)127。

扫描信息112包括通过三维扫描仪200获得的三维数据122和根据该三维数据122执行的识别处理的识别结果124。识别结果124与识别处理中使用的三维数据122相关联地存储于存储装置110中。学习用数据集116是推测模型114的学习处理中使用的一组学习用数据。颜色分类数据118是学习用数据集116的生成及学习处理中使用的数据。简档数据119是与对象者2相关的属性信息，且是将该对象者2的年龄、性别、人种、身高、体重以及居住地等的简档汇总而成的数据(例如，病历的信息)。识别用程序120是用于执行识别处理的程序。学习用程序121是用于执行推测模型114的学习处理的程序，其一部分还包含用于执行识别处理的程序。

运算装置130是通过执行各种程序来执行识别处理和学习处理等的各种处理的运算主体，是计算机的一例。运算装置130例如由CPU(Central Processing Unit：中央处理器)132、FPGA(Field-Programmable Gate Array：现场可编程门阵列)134、以及GPU(Graphics Processing Unit：图形处理器)136等构成。此外，运算装置130既可以由CPU132、FPGA134以及GPU136中的至少任意一个构成，也可以由CPU132和FPGA134、FPGA134和GPU136、CPU132和GPU136、或者CPU132、FPGA134以及GPU136构成。另外，运算装置130也可以称为运算电路(processing circuitry)。

[服务器装置的硬件构成]

参照图4，对本实施方式涉及的服务器装置500的硬件构成的一例进行说明。图4是表示本实施方式涉及的服务器装置500的硬件构成的示意图。服务器装置500例如既可以由通用计算机实现，也可以由扫描仪系统10专用的计算机实现。

如图4所示，服务器装置500作为主要的硬件要素而具备显示器接口503、外围设备接口505、网络控制器506、介质读取装置507、存储器509、存储装置510以及运算装置530。

显示器接口503是用于连接显示器350的接口，实现服务器装置500与显示器350之间的数据的输入输出。显示器350例如由LCD或有机ELD显示器等构成。

外围设备接口505是用于连接键盘651和鼠标652等的外围设备的接口，实现服务器装置500与外围设备之间的数据的输入输出。

网络控制器506经由网络5分别与配置于本地的识别装置100和配置于牙科工厂的各个装置之间收发数据。网络控制器506例如也可以对应于以太网(注册商标)、无线LAN、Bluetooth(注册商标)等任意的通信方式。

介质读取装置507读出存储在移动磁盘550中的扫描信息等的各种数据。

存储器509提供运算装置530执行任意的程序时临时存储程序代码、工作存储器等的存储区域。存储器509例如由DRAM或SRAM等易失性存储器件构成。

存储装置510提供存储学习处理等所需的各种数据的存储区域。存储装置510例如由硬盘或SSD等非易失性存储器件构成。

存储装置510存储扫描信息512、推测模型514(已学习模型514a)、学习用数据集516、颜色分类数据518、简档数据519、学习用程序521以及OS527。

扫描信息512包括经由网络5从配置于本地的识别装置100及牙科工厂获得的三维数据522和根据该三维数据522执行的识别处理的识别结果524。识别结果524与识别处理中使用的三维数据522相关联地存储于存储装置510中。学习用数据集516是推测模型514的学习处理中使用的一组学习用数据。颜色分类数据518是学习用数据集516的生成及学习处理中使用的数据。简档数据119是与对象者2相关的属性信息，且是将对象者2的年龄、性别、人种、身高、体重以及居住地等的简档汇总而成的数据(例如，病历的信息)。学习用程序521是用于执行推测模型514的学习处理的程序，其一部分还包含用于执行识别处理的程序。

此外，通过将推测模型514(已学习模型514a)发送至本地的识别装置100，从而由识别装置100保存为推测模型114(已学习模型114a)。

运算装置530是通过执行各种程序来执行学习处理等各种处理的运算主体，是计算机的一例。运算装置530例如由CPU532、FPGA534以及GPU536等构成。此外，运算装置530既可以由CPU532、FPGA534以及GPU536中的至少任意一个构成，也可以由CPU532和FPGA534、FPGA534和GPU536、CPU532和GPU536、或者CPU532、FPGA534以及GPU536构成。另外，运算装置530也可以称为运算电路(processing circuitry)。

[识别装置的识别处理]

参照图5至图7，对本实施方式涉及的识别装置100进行的识别处理的一例进行说明。图5是表示本实施方式涉及的识别装置100的功能构成的示意图。图6是用于说明本实施方式涉及的识别装置100进行的识别处理的示意图。图7是表示本实施方式涉及的作为识别处理中的识别对象的牙齿的一例的示意图。此外，在图7中，利用线图表示作为三维扫描仪200的扫描对象的牙齿。

如图5所示，识别装置100作为识别处理所涉及的功能部而具有输入部1102、简档获取部1119、识别部1130以及输出部1103。这些各功能通过由识别装置100的运算装置130执行OS127和识别用程序120而实现。

输入部1102中被输入通过三维扫描仪200获得的三维数据。简档获取部1119获取对象者2的简档数据119。识别部1130执行根据输入至输入部1102的三维数据和由简档获取部1119获得的对象者2的简档数据119，并使用推测模型114(已学习模型114a)识别牙齿的种类的识别处理。

推测模型114包括神经网络1142和由该神经网络1142使用的参数1144。参数1144包含神经网络1142进行的计算中使用的加权系数和识别的判定中使用的判定值。输出部1103将识别部1130的识别结果输出至显示器300、扬声器400以及服务器装置500。

在此，如图6所示，输入至输入部1102的三维数据中包含牙齿的各点的三维的位置信息和牙齿的各点的颜色信息。在识别处理中，使用位置信息。位置信息包含以预先确定的位置为基准的三维的绝对位置的坐标。例如，位置信息以牙齿的各点中的中心位置为原点，包括X轴(例如牙齿的横向的轴)、Y轴(例如牙齿的纵向的轴)以及Z轴(例如牙齿的高度方向的轴)的各轴上的绝对位置的坐标。此外，位置信息并不限于以预先确定的位置为基准的三维的绝对位置的坐标，例如也可以包含表示与相邻的点之间的距离的三维的相对位置的坐标。

在此，如图7所示，在作为三维扫描仪200的扫描对象的牙齿为上颌的切牙的情况下，用户1以得到的三维图像至少包含上唇侧的部位、上颚侧的部位以及切缘侧的部位的图像的方式对对象者2的口腔内进行扫描。另外，在作为三维扫描仪200的扫描对象的牙齿为上颌的犬齿和磨牙的情况下，用户1以得到的三维图像至少包含颊侧的部位、上颚侧的部位以及咬合的部位的图像的方式对对象者2的口腔内进行扫描。在作为三维扫描仪200的扫描对象的牙齿为下颌的切牙的情况下，用户1以得到的三维图像至少包含下唇侧的部位、舌侧的部位以及切缘侧的部位的图像的方式对对象者2的口腔内进行扫描。在作为三维扫描仪200的扫描对象的牙齿为下颌的犬齿和磨牙的情况下，用户1以得到的三维图像至少包含颊侧的部位、舌侧的部位以及咬合的部位的图像的方式对对象者2的口腔内进行扫描。

通常，对象者2的牙齿的形状和大小根据其种类而不同。例如，在上颌的切牙的情况下，上唇侧的面一般呈U字形，相对于此，在上颌的犬牙的情况下，颊侧的面一般呈五边形。各牙齿的形状及大小的特征取决于其种类，识别部1130根据这些特征性的形状及大小被数值化的三维数据，使用推测模型114识别与该三维数据对应的牙齿的种类。

如图6所示，推测模型114包括神经网络1142。在神经网络1142中，输入至输入部1102的三维数据中包含的位置信息的值被输入至输入层。然后，在神经网络1142中，例如通过中间层对所输入的位置信息的值乘以加权系数、或者加上规定的偏置，并根据规定的函数进行计算，并将该计算结果与判定值进行比较。然后，在神经网络1142中，将该计算和判定的结果作为识别结果从输出层输出。此外，关于神经网络1142的计算和判定，只要能够根据三维数据识别牙齿，便可以使用任意的方法。

在推测模型114的神经网络1142中，通过使中间层为多层结构，能够根据深度学习进行处理。在本实施方式中，作为进行专门针对三维图像的识别处理的识别用程序120，使用例如VoxNet、3DShapeNets、Multi-View CNN、RotationNet、OctNet、FusionNet、PointNet、PointNet++、SSCNet以及MarrNet等，但也可以使用其他的程序。另外，在神经网络1142的结构也可以应用现有的结构。

在这样的构成中，当输入了与包含多个牙齿的三维图像对应的三维数据时，识别装置100可以根据该三维数据并使用推测模型114的神经网络1142提取多个牙齿各自的特征，并根据提取出的多个牙齿各自的特征识别该多个牙齿各自的种类。另外，如图6所示，并不限于作为识别对象的牙齿，对于包含相邻牙齿的三维数据也可以输入识别装置100，从而由推测模型114的神经网络1142考虑到与相邻牙齿的形状的关系的基础上提取牙齿的特征。识别装置100并不限于通常识别的牙齿的特征，也能够提取通常不识别的牙齿的特征，由此能够高精度地识别牙齿的种类。

此外，服务器装置500保存的推测模型514中包含的神经网络具有与图6所示的推测模型114中包含的神经网络1142相同的构成。

[学习用数据的生成]

参照图8和图9，对学习用数据集116的生成的一例进行说明。图8是用于说明本实施方式涉及的学习用数据的生成的示意图。图9是用于说明本实施方式涉及的学习用数据集116的一例的示意图。

如图8所示，首先，通过三维扫描仪200获取三维数据(STEP1)。通过三维扫描仪200获得的三维数据中包含与该三维数据对应的牙齿的各点的三维的位置信息和牙齿的各点的颜色信息(RGB值)。当根据由三维扫描仪200获得的三维数据生成三维图像时，如图8的(a)所示，生成包含被赋予了实际颜色的牙齿的三维图像。

接着，作为后述的各牙齿的颜色区分处理的准备，进行除噪处理。例如，在本实施方式中，与三维数据对应的三维图像被灰度化(STEP2)。三维图像的灰度化由用户1(该情况下为生成学习用数据的制造商的技术人员或制造工厂的作业人员等)进行。当三维图像被灰度化时，如图8的(b)所示，生成包含被灰度化的牙齿的三维图像。另外，基于三维图像的灰度化，与三维数据对应的牙齿的各点的颜色信息(RGB值)变更为与灰度对应的值。

接着，通过对与三维数据对应的三维图像中包含的各牙齿涂敷预先规定的颜色，从而将各牙齿进行颜色区分(STEP3)。例如，如图9所示，识别装置100保存的颜色分类数据118按照口腔内的各部位、例如下颌左侧、下颌右侧、上颌左侧以及上颌右侧进行设置。在图9中，示出了与下颚左侧对应的颜色分类数据118。在各颜色分类数据118中，按照牙齿的种类而被分配牙科领域通常使用的牙齿的编号和预先规定的颜色信息。

例如，第二磨牙作为牙齿的编号被分配了7号，作为颜色信息被分配了红色。第一磨牙作为牙齿的编号被分配了6号，作为颜色信息被分配了绿色。第二前磨牙作为牙齿的编号被分配了5号，作为颜色信息被分配了蓝色。这样，在各颜色分类数据118中，对于各牙齿的种类预先分配了牙齿的编号和颜色信息。

由用户1(制造商的技术人员或制造工厂的作业人员等)对各牙齿涂敷颜色。具体而言，用户1根据自身的知识识别三维图像中包含的各牙齿的种类，参照颜色分类数据118确定与识别出的牙齿的种类对应的颜色，并对该牙齿的图像涂敷所确定的颜色。

例如，用户1在识别出三维图像中包含的牙齿为第二磨牙时，对该牙齿的图像涂敷红色。另外，在识别出三维图像中包含的牙齿为第一磨牙时，对该牙齿的图像涂敷绿色。当对三维图像中包含的各牙齿涂敷了预先规定的颜色时，生成如图8的(c)及图9的(d)所示对各牙齿涂敷了预先规定的颜色的三维图像。此外，为了便于理解，在附图上用阴影线表示各种颜色。

另外，基于各牙齿的颜色区分，将与三维数据对应的牙齿的各点的颜色信息(RGB值)变更为与对各牙齿涂敷的颜色对应的值。例如，对于涂敷成红色的第二磨牙的各位置坐标而言，颜色信息(RGB值)变为“255000000”，对于涂敷成绿色的第一磨牙的各位置坐标而言，颜色信息(RGB值)变为“000255000”，对于涂敷成蓝色的第二前磨牙的各位置坐标而言，颜色信息(RGB值)变为“000000255”。也就是说，对于与三维数据对应的牙齿的各点，关联预先确定的颜色信息(RGB值)。

当对各牙齿关联了预先规定的颜色信息时，三维数据中包含位置信息和与所涂敷的颜色对应的颜色信息，这样的三维数据被用作学习用数据。也就是说，在本实施方式涉及的学习用数据中，对于识别处理中参照的位置信息，关联(标记)与牙齿的种类对应的颜色信息。进而，以能够确定与三维数据对应的多个牙齿各自的范围的方式对该三维数据关联颜色信息。具体而言，对于与各牙齿对应的每个位置信息关联相同的颜色信息。这样的学习用数据的集合作为学习用数据集116被保存在识别装置100中。

这样，在生成学习用数据时，在用户1对三维图像中包含的各牙齿涂敷颜色来标记正确数据方面有很多优点。例如，在使用单纯的文字或符号进行标记的情况下，用户1难以识别各牙齿的范围，但在通过颜色区分进行标记的情况下，用户1能够根据颜色的涂敷容易地识别作为标记对象的牙齿和与该牙齿相邻的牙齿之间的边界、以及作为标记对象的牙齿与牙龈之间的边界。另外，用户1在标记时从各种角度确认三维图像的同时涂敷颜色，但即使在变更了视点的角度的情况下，也容易识别标记作业中的牙齿的哪些范围的涂敷已完成。

此外，在本实施方式中，用户1根据自身的知识通过手动作业对三维图像中包含的各牙齿涂敷颜色，但也可以通过软件补充一部分的作业。例如，也可以通过边缘检测来确定作为标记对象的牙齿和与该牙齿相邻的牙齿之间的边界、以及作为标记对象的牙齿与牙龈之间的边界，这样，可以仅提取作为标记对象的牙齿。

此外，图8和图9所示的学习用数据集116的生成也可以应用于服务器装置500所保存的学习用数据集516的生成。例如，既可以将图9所示的学习用数据集116应用于服务器装置500所保存的学习用数据集516，也可以将图9所示的颜色分类数据118应用于服务器装置500所保存的颜色分类数据518。

[已学习模型的生成]

参照图10，对已学习模型114a的生成的一例进行说明。图10是用于说明本实施方式涉及的基于学习用数据集116的已学习模型114a的生成的示意图。

如图10所示，学习用数据集116可以根据生成该学习用数据集116时作为扫描对象的对象者2的简档，按类别进行分类。例如，可以针对年龄(未成年人、成年人、老年人)、性别(男性、女性)、人种(亚洲人、欧美人、非洲裔)、身高(不足150cm、150以上)、体重(不足50kg、50kg以上)以及居住地(居住在日本和居住在日本以外)，分别分配从包含符合的对象者2的牙齿的三维数据生成的学习用数据集。此外，各类别的分层可以适当地设定。例如，关于年龄，可以按规定的年龄差(该情况下为每3岁)、具体如0岁～3岁、4岁～6岁、7岁～9岁、……这样更加详细地进行分层。

识别装置100通过使用能够按类别分类的多个学习用数据集116a～116o使推测模型114进行学习，从而生成已学习模型114a。此外，学习用数据有时会根据类别的分类方法而重复，但在学习用数据重复的情况下，只要仅使用任意一个学习用数据使推测模型114进行学习即可。

通常，牙齿的形状取决于年龄、性别、人种、身高、体重以及居住地等、遗传或者生活环境等，其特征不同。例如，一般来说，大人的恒牙比孩子的乳牙大，两者的形状不同。另外，一般来说，男性的牙齿比女性的牙齿大，两者的形状不同。另外，一般来说，欧美人的牙齿呈顶端尖细的倾向，以便容易咬断坚硬的肉、面包，相对于此，日本人的牙齿呈顶端变平滑的倾向，以便容易磨碎柔软的米、蔬菜。因此，若如本实施方式那样，根据简档数据执行学习处理，则能够生成可以考虑遗传或生活环境等来识别牙齿的种类的已学习模型。

此外，图10所示的已学习模型114a的生成也可以应用于服务器装置500所保存的已学习模型514a的生成。例如，既可以将图10所示的学习用数据集116a～116o应用于服务器装置500所保存的学习用数据集516，也可以将图10所示的推测模型114应用于服务器装置500所保存的推测模型514。

[识别装置的学习处理]

参照图11，对识别装置100所执行的学习处理进行说明。图11是用于说明本实施方式涉及的识别装置100所执行的学习处理的一例的流程图。图11所示的各步骤通过由识别装置100的运算装置130执行OS127和学习用程序121而实现。

如图11所示，识别装置100从学习用数据集116中选择用于学习的学习用数据(S2)。具体而言，识别装置100从图10所示的学习用数据集组中包含的学习用数据集116中选择一个或多个学习用数据。此外，识别装置100并不限于自动选择学习用数据，也可以将用户1所选择的学习用数据用于学习处理。

识别装置100将所选择的学习用数据中包含的三维数据的位置信息、和生成该学习用数据时作为扫描对象的对象者2的简档数据输入推测模型114(S4)。此时，未向识别装置100输入在三维数据中标记的正确数据。识别装置100执行根据与三维数据对应的牙齿的特征，并使用推测模型114识别该牙齿的种类的识别处理(S6)。在识别处理中，除了三维数据之外，识别装置100还根据简档数据，并使用推测模型114识别该牙齿的种类。

识别装置100根据通过识别处理识别出的牙齿的种类的识别结果和与学习处理中使用的学习用数据对应的正确数据之间的误差，更新推测模型114的参数1144(S8)。

例如，识别装置100根据特定的牙齿的位置信息进行识别，由此推测与该特定的牙齿对应的颜色信息。识别装置100对学习用数据中包含的与该特定的牙齿对应的颜色信息(正确数据)与自身推测出的颜色信息进行比较，如果一致，则维持推测模型114的参数1144，另一方面，如果不正确，则更新推测模型114的参数1144以使两者一致。

或者，识别装置100根据特定的牙齿的位置信息进行识别，由此推测与该特定的牙齿对应的颜色信息，根据颜色分类数据118确定与该颜色信息对应的牙齿的种类或牙齿的编号(正确数据)。识别装置100对分配给学习用数据中包含的与该特定的牙齿对应的颜色信息的牙齿的种类或牙齿的编号(正确数据)与自身推测出的牙齿的种类或牙齿的编号进行比较，如果一致，则维持推测模型114的参数1144，另一方面，如果不正确，则更新推测模型114的参数1144以使两者一致。

接着，识别装置100判定是否根据所有的学习用数据进行了学习(S10)。当未根据所有的学习数据进行了学习时(S10中为“否”)，识别装置100返回到S2的处理。

另一方面，当根据所有的学习用数据进行了学习时(S10中为“是”)，识别装置100将学习完毕的推测模型114作为已学习模型114a加以存储(S12)，并结束本处理。

这样，识别装置100可以通过将与学习用数据中包含的三维数据相关联的牙齿的种类所对应的牙齿信息(颜色信息、牙齿的名称、或者牙齿的编号等)作为正确数据，并根据使用该三维数据通过识别处理识别该牙齿的种类的识别结果学习推测模型114，从而生成已学习模型114a。

进而，识别装置100在学习处理中除了考虑学习用数据以外还考虑简档数据来学习推测模型114，因而能够生成考虑了对象者2的简档的已学习模型114a。

[服务器装置的学习处理]

参照图12，对服务器装置500所执行的学习处理进行说明。图12是用于说明本实施方式涉及的服务器装置500所执行的学习处理的一例的流程图。图12所示的各步骤通过由服务器装置500的运算装置530执行OS527和学习用程序521而实现。

如图12所示，服务器装置500从学习用数据集中选择用于学习的学习用数据(S502)。在此，学习用数据也可以利用由服务器装置500积累存储的大数据生成。例如，服务器装置500也可以预先利用从各本地A～C的识别装置100及牙科工厂获得的扫描信息中包含的三维数据生成学习用数据，并使用生成的该学习用数据执行学习处理。此外，服务器装置500并不限于自动选择学习用数据，也可以将用户1所选择的学习用数据用于学习处理。

服务器装置500将所选择的学习用数据中包含的三维数据(位置信息)、和生成该学习用数据时作为扫描对象的对象者2的简档数据输入推测模型514(S504)。此时，未向服务器装置500输入在三维数据中标记的正确数据。服务器装置500执行根据与三维数据对应的牙齿的特征，并使用推测模型514识别该牙齿的种类的识别处理(S506)。在识别处理中，除了三维数据之外，服务器装置500还根据简档数据，并使用推测模型514识别该牙齿的种类。

服务器装置500根据通过识别处理识别出的牙齿的种类的识别结果和与学习中使用的学习用数据对应的正确数据之间的误差，更新推测模型514的参数(S508)。

例如，服务器装置500根据特定的牙齿的位置信息进行识别，由此推测与该特定的牙齿对应的颜色信息。服务器装置500对学习用数据集中包含的与该特定的牙齿对应的颜色信息(正确数据)与自身推测出的颜色信息进行比较，如果一致，则维持推测模型514的参数，另一方面，如果不正确，则更新推测模型514的参数以使两者一致。

或者，服务器装置500根据特定的牙齿的位置信息进行识别，由此推测与该特定的牙齿对应的颜色信息，根据颜色分类数据518确定与该颜色信息对应的牙齿的种类或牙齿的编号(正确数据)。服务器装置500对分配给学习用数据集中包含的与该特定的牙齿对应的颜色信息的牙齿的种类或牙齿的编号(正确数据)与自身推测出的牙齿的种类或牙齿的编号进行比较，如果一致，则维持推测模型514的参数，另一方面，如果不正确，则更新推测模型514的参数以使两者一致。

接着，服务器装置500判定是否根据所有的学习用数据进行了学习(S510)。当未根据所有的学习数据进行了学习时(S510中为“否”)，服务器装置500返回到S502的处理。

另一方面，当根据所有的学习用数据进行了学习时(S510中为“是”)，服务器装置500将学习完毕的推测模型514作为已学习模型514a加以存储(S512)。然后，服务器装置500将生成的已学习模型514a发送至各本地的识别装置100(S514)，并结束本处理。

这样，服务器装置500可以通过将与学习用数据中包含的三维数据相关联的牙齿的种类所对应的牙齿信息(颜色信息、牙齿的名称、牙齿的编号)作为正确数据，并根据使用该三维数据通过识别处理识别该牙齿的种类的识别结果使推测模型514进行学习，从而生成已学习模型514a。

另外，服务器装置500在学习处理中除了考虑学习用数据以外还考虑简档数据使推测模型514进行学习，因而能够生成考虑了对象者2的简档的已学习模型514a。

进而，服务器装置500利用从各本地A～C的识别装置100和牙科工厂获得的扫描信息中包含的三维数据作为学习处理中使用的学习用数据，因此，与各识别装置100执行的学习处理相比，能够根据更多的学习用数据执行学习处理，能够生成可高精度地识别牙齿的种类的已学习模型514a。

[识别装置的服务提供处理]

参照图13，对识别装置100执行的服务提供处理进行说明。图13是用于说明本实施方式涉及的识别装置100执行的服务提供处理的一例的流程图。图13所示的各步骤通过由识别装置100的运算装置130执行OS127和识别用程序120而实现。

如图13所示，识别装置100判定服务提供处理的开始条件是否成立(S42)。开始条件例如可以在三维扫描仪200的电源启动时成立，也可以在三维扫描仪200的电源启动之后切换为与服务提供处理对应的模式时成立。或者，开始条件也可以在与服务提供处理对应的图标(例如，AI辅助图标)被操作而使图标变为闪烁状态之后操作了开始开关时成立。另外，开始条件也可以在获得了一定量的三维数据时成立。开始条件只要是在对三维扫描仪200进行了某种动作时成立即可。

当开始条件不成立时(S42中为“否”)，识别装置100结束本处理。另一方面，当开始条件成立时(S42中为“是”)，识别装置100判定是否输入了三维数据(S44)。例如，识别装置100判定是否输入了足够执行识别处理的量的三维数据。当未输入足够量的三维数据时(S44中为“否”)，识别装置100反复进行S44的处理。

另一方面，当输入了足够量的三维数据时(S44中为“是”)，识别装置100判定是否由用户1输入了对象者2的简档数据(S46)。当未输入简档数据时(S46中为“否”)，识别装置100将三维数据(位置信息)输入已学习模型114a(S48)。另一方面，当输入了简档数据时(S46中为“是”)，识别装置100将三维数据(位置信息)和简档数据输入已学习模型114a(S50)。此外，此时使用的已学习模型并不限于在图11所示的学习处理中由识别装置100生成的已学习模型114a，也可以是在图12所示的学习处理中由服务器装置500生成的已学习模型514a。

在S48和S50之后，识别装置100执行根据与三维数据对应的牙齿的特征，并使用已学习模型114a识别该牙齿的种类的识别处理(S52)。此时，当在S50中将简档数据输入了已学习模型114a时，除了三维数据之外，识别装置100还根据简档数据，并使用已学习模型114a识别该牙齿的种类。该情况下，与仅根据三维数据并使用已学习模型114a识别牙齿的种类相比，能够更高精度地识别牙齿的种类。

然后，识别装置100将通过识别处理得到的识别结果输出至显示器300、扬声器400以及服务器装置500等(S54)，并结束本处理。

这样，由于识别装置100是根据与输入的三维数据对应的牙齿的特征，并使用已学习模型114a识别该牙齿的种类，因此，与依赖于用户自身的知识识别牙齿的种类相比，能够高精度地识别牙齿的种类。

进而，在识别处理中，除了所输入的三维数据之外，识别装置100还考虑简档数据来识别牙齿的种类，因而能够更高精度地识别牙齿的种类。

[主要构成]

如上所述，在本实施方式中包含以下的公开。

识别装置100具备：输入部1102，包含牙齿的三维数据被输入至该输入部1102；识别部1130，根据从输入部1102输入的包含牙齿的特征的三维数据和包含神经网络1142的推测模型114(已学习模型114a)识别该牙齿的种类；以及输出部1103，将识别部1130的识别结果输出，并且，推测模型114根据与三维数据相关联的牙齿的种类所对应的牙齿信息和使用该三维数据的该牙齿的种类的识别结果进行学习。

由此，用户1可以通过将包含牙齿的三维数据输入至包含神经网络1142的推测模型114(已学习模型114a)来识别该牙齿的种类，因此，与依赖于用户自身的知识来识别牙齿的种类相比，能够高精度地识别牙齿的种类。

此外，推测模型114的学习也可以通过由服务器装置500执行的推测模型514的学习来实现。

输入部1102中至少被输入与口腔内相邻的多个牙齿和牙龈对应的三维数据，识别部1130根据包含多个牙齿各自的特征的三维数据来识别该多个牙齿各自的种类。

由此，用户1可以通过将与口腔内相邻的多个牙齿和牙龈对应的三维数据输入至包含神经网络1142的推测模型114(已学习模型114a)来识别该多个牙齿各自的种类，因此，与依赖于用户自身的知识一个一个地识别牙齿的种类相比，能够高精度且顺畅地识别牙齿的种类。进而，由于用户1还可以在考虑到与相邻牙齿的形状的关系的基础上通过包含神经网络1142的推测模型114提取牙齿的特征，因而能够高精度地识别牙齿的种类。

如图6所示，三维数据包含构成与该三维数据对应的牙齿的多个点各自的三维的位置信息。

由此，用户1可以通过将构成与三维数据对应的牙齿的多个点各自的三维的位置信息输入至包含神经网络1142的推测模型114(已学习模型114a)来识别该牙齿的种类。

如图6所示，位置信息包含以预先确定的位置为基准的绝对位置的坐标。

由此，用户1可以通过将以预先确定的位置为基准的绝对位置的坐标作为与三维数据对应的牙齿的各点处的三维的位置信息输入包含神经网络1142的推测模型114(已学习模型114a)，从而识别该牙齿的种类。

如图7所示，当与输入至输入部1102的三维数据对应的牙齿为上颌的切牙时，与该三维数据对应的三维图像至少包含上唇侧的部位、上颚侧的部位以及切缘侧的部位的图像，当与输入至输入部1102的三维数据对应的牙齿为上颌的犬齿和磨牙时，与该三维数据对应的三维图像至少包含颊侧的部位、上颚侧的部位以及咬合的部位的图像，当与输入至输入部1102的三维数据对应的牙齿为下颌的切牙时，与该三维数据对应的三维图像至少包含下唇侧的部位、舌侧的部位以及切缘侧的部位的图像，当与输入至输入部1102的三维数据对应的牙齿为下颌的犬齿和磨牙时，与该三维数据对应的三维图像至少包含颊侧的部位、舌侧的部位以及咬合的部位的图像。

由此，用户1可以针对上颌的切牙、上颌的犬齿和磨牙、下颌的切牙、下颌的犬齿和磨牙分别使用包含神经网络1142的推测模型114(已学习模型114a)来识别牙齿的种类。

如图1和图5所示，输出部1103将识别部1130的识别结果输出至显示器300，显示器300显示与识别部1130的识别结果对应的图像、文字、数字、图标以及符号的至少任意一个。

由此，与包含神经网络1142的推测模型114(已学习模型114a)的识别结果对应的图像被显示在显示器300上，因此，用户1能够直观地认识到识别结果，便利性提高。

如图1和图5所示，输出部1103将识别部1130的识别结果输出至扬声器400，扬声器400输出与识别部1130的识别结果对应的声音。

由此，从扬声器400输出与包含神经网络1142的推测模型114(已学习模型114a)的识别结果对应的声音，因此，用户1能够直观地认识到识别结果，便利性提高。

如图1和图5所示，输出部1103将识别部1130的识别结果输出至服务器装置500，服务器装置500将识别部1130的识别结果加以积累存储。

由此，通过由服务器装置500积累存储识别结果而形成大数据，因此，用户1例如通过使用这样的大数据使服务器装置500执行学习处理，能够生成能够更高精度地识别牙齿的种类的已学习模型。

如图5所示，推测模型114包括加权系数和判定值中的至少任意一个作为由神经网络1142使用的参数1144，推测模型114通过根据牙齿信息和识别部1130的识别结果更新参数1144来进行学习。

由此，用户1通过更新推测模型114的参数1144，能够生成能够更高精度地识别牙齿的种类的已学习模型114a。

如图9所示，牙齿信息包含与对应于三维数据的牙齿的种类相对应的颜色、文字、数字以及符号中的至少任意一种信息。

由此，用户1能够根据与牙齿的种类相对应的颜色、文字、数字以及符号等，生成能够更高精度地识别牙齿的种类的已学习模型114a。

如图9所示，牙齿信息以能够确定与三维数据对应的多个牙齿各自的范围的方式与该三维数据相关联。

由此，用户1能够根据牙齿信息确定多个牙齿各自的范围，因而标记时的便利性提高。

如图9所示，牙齿信息与构成对应于三维数据的牙齿的多个点分别相关联。

由此，由于牙齿信息与构成对应于三维数据的牙齿的多个点分别相关联，因此，用户1能够详细地使牙齿信息与牙齿相关联，从而标记时的便利性提高。

推测模型除了根据牙齿信息和识别部1130的识别结果之外，还根据与具有牙齿的对象者2相关的属性信息进行学习。

由此，用户1除了学习用数据之外，还能够根据与对象者2相关的属性信息使推测模型114进行学习，因而能够生成考虑了对象者2的属性信息的已学习模型。

如图10所示，属性信息包含对象者的年龄、性别、人种、身高、体重以及居住地中的至少任意一种信息。

由此，用户1除了学习用数据以外，还能够根据对象者的年龄、性别、人种、身高、体重以及居住地中的至少任意一个使推测模型114进行学习，因而能够生成考虑了这些对象者2的简档的已学习模型114a。

扫描仪系统10具备：三维扫描仪200，使用三维相机获取包含牙齿的三维数据；以及识别装置100，根据由三维扫描仪200获得的包含牙齿的特征的三维数据，识别该牙齿的种类，识别装置100包括：输入部1102，三维数据被输入至该输入部1102；识别部1130，根据从输入部1102输入的包含牙齿的特征的三维数据和包含神经网络1142的推测模型114(已学习模型114a)识别该牙齿的种类；以及输出部1103，将识别部1130的识别结果输出，并且，推测模型114根据与三维数据相关联的牙齿的种类所对应的牙齿信息和使用该三维数据的该牙齿的种类的识别结果进行学习。

由此，用户1可以通过将包含牙齿的三维数据输入至包含神经网络1142的推测模型114(已学习模型114a)来识别该牙齿的种类，因此，与依赖于用户自身的知识来识别牙齿的种类相比，能够高精度地识别牙齿的种类。

识别方法包括：输入包含牙齿的三维数据的步骤(S48、S50)；根据包含牙齿的特征的三维数据和包含神经网络1142的推测模型114识别该牙齿的种类的步骤(S52)；以及输出识别步骤的识别结果的步骤(S54)，推测模型114根据与三维数据相关联的牙齿的种类所对应的牙齿信息和使用该三维数据的该牙齿的种类的识别结果进行学习。

由此，用户1可以通过将包含牙齿的三维数据输入至包含神经网络1142的推测模型114(已学习模型114a)来识别该牙齿的种类，因此，与依赖于用户自身的知识来识别牙齿的种类相比，能够高精度地识别牙齿的种类。

识别用程序120使运算装置130执行如下步骤：输入包含牙齿的三维数据的步骤(S48、S50)；根据包含牙齿的特征的三维数据和包含神经网络1142的推测模型114识别该牙齿的种类的步骤(S52)；以及输出识别步骤的识别结果的步骤(S54)，推测模型114根据与三维数据相关联的牙齿的种类所对应的牙齿信息和使用该三维数据的该牙齿的种类的识别结果进行学习。

由此，用户1可以通过将包含牙齿的三维数据输入至包含神经网络1142的推测模型114(已学习模型114a)来识别该牙齿的种类，因此，与依赖于用户自身的知识来识别牙齿的种类相比，能够高精度地识别牙齿的种类。

[变形例]

本发明并不限于上述实施例，还能够进行各种变形、应用。以下，对可适用于本发明的变形例进行说明。

(服务提供处理时学习处理)

如图13所示，本实施方式涉及的识别装置100不在服务提供处理中执行学习处理，但如图14所示，变形例涉及的识别装置100a也可以在服务提供处理中执行学习处理。图14是用于说明变形例涉及的识别装置100a所执行的服务提供处理的一例的流程图。此外，图14所示的S42～S54的处理与图13所示的S42～S54的处理相同，因此，在图14中，仅对S56及其之后的处理进行说明。

如图14所示，识别装置100a在通过S42～S54的处理输出识别结果之后，执行服务提供时学习处理。具体而言，识别装置100a在S54之后，判定是否输入了用于校正错误的正确数据(S56)。例如，在作为S54中输出的识别结果的牙齿的种类与实际作为扫描对象的牙齿的种类不同的情况下，识别装置100a判定是否通过由用户1输入实际作为扫描对象的牙齿的种类来校正错误。

当未输入用于校正错误的正确数据时(S56中为“否”)，识别装置10a结束本处理。另一方面，当输入了用于校正错误的正确数据时(S56中为“是”)，识别装置10a根据识别结果和正确数据赋予报酬(S58)。

例如，识别结果与正确数据的偏离度越小，则作为赋予的报酬而赋予值越小的负分，两者的偏离度越大，则作为赋予的报酬而赋予值越大的负分即可。具体而言，若作为识别结果输出的牙齿与作为正确数据输入的牙齿相邻，则识别装置100a赋予值小的负分，若两者分离，则识别装置100a赋予值大的负分。这样，识别装置100a根据识别结果与正确数据的偏离度而赋予不同值的报酬。此外，报酬并不限于负分，也可以是正分。

识别装置100a根据赋予的报酬更新已学习模型114a的参数1144(S60)。例如，识别装置100a更新已学习模型114a的参数1144，以使作为报酬而赋予的负分接近于0。然后，识别装置100a结束本处理。

这样，变形例涉及的识别装置100a即使在服务提供处理中也执行学习处理，因此，用户1越是使用则识别处理的精度越高，能够更高精度地识别牙齿的种类。

(每个类别的已学习模型的生成)

如图10所示，本实施方式涉及的识别装置100通过使用包含按类别分类的多个学习用数据集116a～116o的学习用数据集组使推测模型114进行学习，从而生成一个已学习模型114a，但是，如图15所示，变形例涉及的识别装置100b也可以通过按类别使用按类别分类的多个学习用数据集的各个使推测模型114进行学习，从而生成按类别的已学习模型。图15是用于说明变形例涉及的基于学习用数据集的已学习模型的生成的示意图。

如图15所示，学习用数据集116根据生成该学习用数据集116时作为扫描对象的对象者2的简档按类别分类保存。例如，根据年龄(未成年人、成年人、老年人)和性别(男性、女性)，对六个类别分配学习用数据集。

识别装置100b通过按类别使用按类别分类的多个学习用数据集116p～116u的各个使推测模型114进行学习，从而生成各类别的已学习模型114p～114u。

这样，变形例涉及的识别装置100b能够生成按类别分类的多个已学习模型114p～114u，因此，能够通过与对象者2的简档相应的更为详细的分析，更高精度地识别牙齿的种类。

此外，图15所示的已学习模型114p～114u的生成也能够应用于服务器装置500所保存的已学习模型514a的生成。例如，既可以将图15所示的学习用数据集116p～116u应用于服务器装置500所保存的学习用数据集516，也可以将图15所示的已学习模型114p～114u应用于服务器装置500所保存的已学习模型514a。

(使用各类别的已学习模型的服务提供处理)

参照图16，对于使用各类别的已学习模型114p～114u由识别装置100b执行的服务提供处理进行说明。图16是用于说明变形例涉及的识别装置100b所执行的服务提供处理的一例的流程图。图16所示的各步骤通过由识别装置100b的运算装置130执行OS127和识别用程序120而实现。

如图16所示，识别装置100b判定服务提供处理的开始条件是否成立(S142)。开始条件与图13所示的开始条件相同，故省略其说明。

当开始条件不成立时(S142中为“否”)，识别装置100b结束本处理。另一方面，当开始条件成立时(S142中为“是”)，识别装置100b判定是否获得了三维数据(S144)。例如，识别装置100b判定是否获得了足够执行识别处理的量的三维数据。当未获得足够量的三维数据时(S144中为“否”)，识别装置100b重复S144的处理。

另一方面，当获得了足够量的三维数据时(S144中为“是”)，识别装置100b获取由用户1输入的对象者2的简档数据(S146)。然后，识别装置100b从图15所示的已学习模型组中选择与简档数据对应的已学习模型(S148)。例如，如果对象者2是女性老年人，则识别装置100b选择已学习模型114u。

然后，识别装置100b将三维数据(位置信息)输入已学习模型(S150)。识别装置100b执行根据与三维数据对应的牙齿的特征，并使用已学习模型识别该牙齿的种类的识别处理(S152)。

然后，识别装置100b将通过识别处理得到的识别结果输出至显示器300、扬声器400以及服务器装置500等(S154)，并结束本处理。

这样，变形例涉及的识别装置100b能够使用最适于对象者2的简档的已学习模型执行识别处理，因此，通过与对象者2的简档相应的更为详细的分析，能够更高精度地识别牙齿的种类。

(简档的输出)

本实施方式涉及的识别装置100通过识别处理来识别牙齿的种类。但是，如图10和图15所示，鉴于是根据考虑了对象者2的简档的学习用数据集生成已学习模型，也可以通过在识别处理中将三维数据输入至已学习模型，从而根据与该三维数据对应的牙齿的特征，将该牙齿的所有者的简档作为识别结果输出。这样，对于在灾害或事件等中被发现的身份不明的对象者2，可以根据包含牙齿的三维数据确定简档。

(学习处理)

本实施方式涉及的识别装置100通过学习处理更新推测模型114的参数1144，但并不限于更新参数1144，也可以通过学习处理更新神经网络1142(例如，更新神经网络1142的算法)。另外，本实施方式涉及的服务器装置500通过学习处理更新推测模型514的参数，但并不限于更新参数，也可以通过学习处理更新神经网络(例如，更新神经网络的算法)。

(使用了法线和/或颜色信息的识别)

图17是用于说明变形例涉及的学习用数据集的一例的示意图。变形例涉及的识别装置100c除了通过三维扫描仪200获得的三维数据中包含的位置信息之外，还可以通过将牙齿的实际的颜色信息输入推测模型114使推测模型114进行学习。

例如，如使用图9所说明的那样，在学习用数据集中包含作为针对推测模型114的输入数据的位置信息和与作为正确数据的牙齿的种类相对应的颜色区分后的颜色信息，但除此以外，也可以如图17所示包含颜色区分前的牙齿的颜色信息。并且，在学习处理中，也可以通过除了位置信息以外还向推测模型114输入颜色区分前的牙齿的颜色信息，从而还考虑到牙齿的实际的颜色信息来生成已学习模型114a。

进而，如图17所示，除了作为针对推测模型114的输入数据的位置信息和与作为正确数据的牙齿的种类相对应的颜色区分后的颜色信息以外，学习用数据集中还可以包含可以根据位置信息算出的法线信息。并且，在学习处理中，也可以通过除了位置信息以外还向推测模型114输入法线信息，从而还考虑到法线信息来生成已学习模型114a。

法线信息例如可以如下算出。例如，关注构成牙齿的多个点中的一个点，并根据属于该关注点附近的规定范围内的多个点生成关注点的法线。具体而言，关注点的法线可以针对属于关注点附近的规定范围内的多个点而使用主成分分析生成。主成分分析一般可以通过计算方差-协方差矩阵来实施。只要在该方差-协方差矩阵的计算中计算固有向量，并生成主成分方向作为关注点的法线即可。此外，相对于点组中的某个点的法线的生成方法是公知的，因而也可以使用一般公知的其他技术。

这样，通过在学习用数据集中加入法线信息，识别装置也能够在构成牙齿的多个点的各个点学习各点构成的牙齿的哪一侧为表面。另外，识别装置能够仅根据属于关注点附近的规定范围内的少数的点群来学习凹坑等的形状特征。

此外，学习用数据集中既可以包含颜色区分前的牙齿的颜色信息和法线信息两者，也可以仅包含一者。

接着，参照图18，对使用根据包括颜色区分前的牙齿的颜色信息和法线信息的学习用数据集进行了学习的已学习模型执行识别处理的服务提供处理进行说明。图18是用于说明变形例涉及的识别装置100c所执行的服务提供处理的一例的流程图。

如图18所示，与图13所示的识别装置100执行的服务提供处理不同，变形例涉及的识别装置100c追加执行S245的处理。即，在输入了三维数据之后(S44中为“是”)，识别装置100c根据输入的三维数据中包含的位置信息，生成构成牙齿的多个点的法线(S245)。此外，输入的三维数据中除了位置信息之外还包括颜色区分前的牙齿的颜色信息。

然后，识别装置100c在判定为尚未输入简档数据时(S46中为“否”)，除了三维数据(位置信息、颜色信息)之外还将法线信息输入至已学习模型114a(S248)。另一方面，识别装置100c在判定为已输入了简档数据时(S46中为“是”)，除了三维数据(位置信息、颜色信息)和简档数据之外，还将法线信息输入至已学习模型114a(S250)。然后，在S248及S250之后，识别装置100c执行使用已学习模型识别牙齿的种类的识别处理(S52)。

这样，变形例涉及的识别装置100c也可以还根据颜色区分前的牙齿的颜色信息、以及针对构成与三维数据对应的牙齿的多个点分别生成的法线来识别牙齿的种类。此外，也可以是在识别装置100c中输入了颜色区分前的牙齿的颜色信息而未输入法线信息的情况。或者，也可以是在识别装置100c中输入了法线信息而未输入颜色区分前的牙齿的颜色信息。

这样，识别装置100c能够根据颜色区分前的牙齿的颜色信息和/或针对多个点分别生成的法线来识别牙齿的种类，因而能够更高精度地识别牙齿的种类。

应该认为本次公开的实施方式在所有方面均为示例而非限制性的内容。本发明的范围并非上述说明而是由权利要求书示出，意图包含与权利要求的范围均等的意思及范围内的所有变更。此外，在本实施方式中例示的构成以及变形例中例示的构成能够适当地组合。

附图标记说明

1：用户、2：对象者、5：网络、10：扫描仪系统、100、100a、100b：识别装置、102：扫描仪接口、103、503：显示器接口、104：扬声器接口、105、505：外围设备接口、106、506：网络控制器、107、507：介质读取装置、108：PC显示器、109、509：存储器、110、510：存储装置、112、512：扫描信息、114、514：推测模型、114a、514a：已学习模型、116、516：学习用数据集、118、518：颜色分类数据、119、519：简档数据、120：识别用程序、121、521：学习用程序、122、522：三维数据、124、524：识别结果、127、527：OS、130、530：运算装置、200：三维扫描仪、300、350：显示器、400：扬声器、500：服务器装置、550：移动磁盘、601、651：键盘、602、652：鼠标、1102：输入部、1103：输出部、1119：简档获取部、1130：识别部、1142：神经网络、1144：参数。

Claims (17)

1.一种识别装置，识别牙齿的种类，具备：

输入部，接收通过三维扫描仪获得的构成所述牙齿的多个点各自的三维的位置信息的值；

识别部，使用包含用于基于接收的所述三维的位置信息的值来推测牙齿的种类的神经网络的推测模型，识别该牙齿的种类；以及

输出部，输出所述识别部的识别结果，

所述识别部通过向所述推测模型中包含的所述神经网络直接输入所述输入部所接收的所述三维位置信息的值，来识别所述牙齿的种类，

所述神经网络根据接收的所述三维的位置信息的值输出所述牙齿的种类的识别结果。

2.根据权利要求1所述的识别装置，其中，

所述推测模型根据与所述三维的位置信息的值相关联的所述牙齿的种类所对应的牙齿信息和基于该三维的位置信息的值的包含该牙齿的种类的所述识别结果进行了学习。

3.根据权利要求1或2所述的识别装置，其中，

所述输入部至少接收口腔内与所述牙齿相邻的多个牙齿及牙龈所对应的所述三维的位置信息的值；

所述识别部根据包含所述多个牙齿中包含的各个所述牙齿的特征的所述三维的位置信息的值识别所述牙齿各自的种类。

4.根据权利要求1所述的识别装置，其中，

所述三维位置信息的值包含以预先确定的位置为基准的绝对位置的坐标。

5.根据权利要求1所述的识别装置，其中，

还根据针对构成与所述三维的位置信息的值对应的所述牙齿的多个点分别生成的法线识别所述牙齿的种类。

6.根据权利要求1所述的识别装置，其中，

当与所述输入部所接收的所述三维的位置信息的值对应的所述牙齿为上颌的切牙时，与该三维的位置信息的值对应的三维图像至少包括上唇侧的部位、上颚侧的部位以及切缘侧的部位的图像；

当与所述输入部所接收的所述三维的位置信息的值对应的所述牙齿为上颌的犬齿和磨牙的各个时，与该三维的位置信息的值对应的所述三维图像至少包括颊侧的部位、上颚侧的部位以及咬合的部位的图像；

当与所述输入部所接收的所述三维的位置信息的值对应的所述牙齿为下颌的切牙时，与该三维的位置信息的值对应的所述三维图像至少包括下唇侧的部位、舌侧的部位以及切缘侧的部位的图像；

当与所述输入部所接收的所述三维的位置信息的值对应的所述牙齿为下颌的犬齿和磨牙的各个时，与该三维的位置信息的值对应的所述三维图像至少包含颊侧的部位、舌侧的部位以及咬合的部位的图像。

7.根据权利要求1所述的识别装置，其中，

所述输出部将所述识别结果输出至显示部；

所述显示部显示与所述识别结果对应的图像、文字、数字、图标以及符号中的至少任意一个。

8.根据权利要求1所述的识别装置，其中，

所述输出部将所述识别结果输出至声音输出部；

所述声音输出部输出与所述识别结果对应的声音。

9.根据权利要求1所述的识别装置，其中，

所述输出部将所述识别结果输出至服务器装置；

所述服务器装置将所述识别结果加以积累存储。

10.根据权利要求2所述的识别装置，其中，

所述推测模型作为由所述神经网络使用的参数而包含加权系数和判定值中的至少任意一者；

所述推测模型通过根据所述牙齿信息和所述识别结果更新所述参数而进行学习。

11.根据权利要求2所述的识别装置，其中，

所述牙齿信息包含与所述三维的位置信息的值对应的所述牙齿的种类所对应的颜色、文字、数字以及符号中的至少任意一个信息。

12.根据权利要求2所述的识别装置，其中，

所述牙齿信息以能够确定与所述三维的位置信息的值对应的多个所述牙齿各自的范围的方式与该三维的位置信息的值相关联。

13.根据权利要求2所述的识别装置，其中，

所述牙齿信息与构成与所述三维的位置信息的值对应的所述牙齿的多个点分别相关联。

14.根据权利要求2所述的识别装置，其中，

所述推测模型除了根据所述牙齿信息和所述识别结果之外，还根据与具有所述牙齿的对象者相关的属性信息进行学习。

15.根据权利要求14所述的识别装置，其中，

所述属性信息包含所述对象者的年龄、性别、人种、身高、体重以及居住地中的至少任意一个信息。

16.一种扫描仪系统，获取牙齿的形状信息，具备：

三维扫描仪，使用三维相机获取构成所述牙齿的多个点各自的三维的位置信息的的值；和

识别装置，根据由所述三维扫描仪获得的所述三维的位置信息的值识别所述牙齿的种类；

所述识别装置包括：

输入部，接收所述三维的位置信息的值；

识别部，使用包含用于基于接收的三维的位置信息的值来推测牙齿的种类的神经网络的推测模型，识别该牙齿的种类；以及

输出部，输出所述识别部的识别结果，

所述识别部通过向所述推测模型中包含的所述神经网络直接输入所述输入部所接收的所述三维位置信息的值，来识别所述牙齿的种类，

所述神经网络根据接收的所述三维的位置信息的值输出所述牙齿的种类的识别结果。

17.一种识别方法，识别牙齿的种类，包括：

接收步骤，接收通过三维扫描仪获得的构成所述牙齿的多个点各自的三维的位置信息的值；

识别步骤，使用包含用于基于接收的所述三维的位置信息的值来推测牙齿的种类的神经网络的推测模型，识别该牙齿的种类；以及

输出所述识别的步骤中的识别结果的步骤，

在所述识别步骤中，通过向所述推测模型中包含的所述神经网络直接输入在所述接收步骤中接收的所述三维位置信息的值，来识别所述牙齿的种类，

所述神经网络根据接收的所述三维的位置信息的值输出所述牙齿的种类的识别结果。

Images