JP2023142939A - 識別装置、識別方法、および識別プログラム - Google Patents

Abstract

【課題】口腔内の複数の物体を容易にかつ適切に識別することができる技術を提供する。【解決手段】識別装置１は、複数の物体の各々の位置情報を含む位置データが入力される入力部１１０１と、入力部１１０１から入力される位置データと、少なくとも口腔内において互いに相対的な位置関係が定まる複数の物体の各々の位置データに基づき複数の物体の各々を推定するための機械学習が行われた推定モデル１２２とに基づき、複数の物体のうちの少なくとも１つの物体を識別する演算部１１とを備える。【選択図】図２

Description

本開示は、口腔内の複数の物体を識別する識別装置、識別方法、および識別プログラムに関する。

従来、歯科分野においては、三次元スキャナによって口腔内をスキャン（走査）することによって、歯牙などの物体の三次元データを取得する技術が公知である。三次元スキャナによるスキャン中においては、スキャン対象である歯牙などの物体と三次元スキャナとの間に、術者の指または診療器具、あるいは患者の舌などの不要物体が入り込み、三次元スキャナがスキャン対象である物体の三次元データを適切に取得することができない場合がある。この点、特許文献１には、三次元スキャナによって取得された三次元データのうち、ユーザによって選択された三次元データを削除することを可能とする情報処理装置が開示されている。

特開２０２１－１１１２５４号公報

特許文献１に開示された情報処理装置によれば、ユーザは、スキャン中に口腔内に不要物体が入り込んだとしても、三次元スキャナによって取得された三次元データを修正することができる。しかしながら、ユーザは、三次元データを修正するために、三次元スキャナによって取得された三次元データに基づき、口腔内の複数の物体を自ら識別して削除対象の三次元データを選択しなければならず、手間が掛かっていた。

本開示は、このような問題を解決するためになされたものであり、口腔内の複数の物体を容易にかつ適切に識別することができる技術を提供することを目的とする。

本開示の一例に従えば、口腔内の複数の物体を識別する識別装置が提供される。識別装置は、複数の物体の各々の位置情報を含む位置データが入力される入力部と、入力部から入力される位置データと、少なくとも口腔内において互いに相対的な位置関係が定まる複数の物体の各々の位置データに基づき複数の物体の各々を推定するための機械学習が行われた推定モデルとに基づき、複数の物体のうちの少なくとも１つの物体を識別する演算部とを備える。

本開示の一例に従えば、コンピュータによる口腔内の複数の物体を識別する識別方法が提供される。識別方法は、複数の物体の各々の位置情報を含む位置データが入力されるステップと、入力される位置データと、少なくとも口腔内において互いに相対的な位置関係が定まる複数の物体の各々の位置データに基づき複数の物体の各々を推定するための機械学習が行われた推定モデルとに基づき、複数の物体のうちの少なくとも１つの物体を識別するステップとを含む。

本開示の一例に従えば、口腔内の複数の物体を識別する識別プログラムが提供される。識別プログラムは、コンピュータに、複数の物体の各々の位置情報を含む位置データが入力されるステップと、入力される位置データと、少なくとも口腔内において互いに相対的な位置関係が定まる前記複数の物体の各々の位置データに基づき複数の物体の各々を推定するための機械学習が行われた推定モデルとに基づき、複数の物体のうちの少なくとも１つの物体を識別するステップとを実行させる。

本開示によれば、ユーザは、口腔内の複数の物体を容易にかつ適切に識別することができる。

実施の形態１に係る識別システムおよび識別装置の適用例を示す図である。 実施の形態１に係る識別装置のハードウェア構成を示すブロック図である。 実施の形態１に係る三次元スキャナの構成を示す図である。 実施の形態１に係る三次元スキャナが共焦点法に基づき三次元データを取得する例を説明するための図である。 三次元スキャナによるスキャン方法を説明するための図である。 実施の形態１に係る三次元スキャナによって取得された各スキャン範囲における物体を示す図である。 三次元スキャナを用いて物体をスキャンする様子を示す図である。 三次元スキャナを用いて物体をスキャンする様子を示す図である。 実施の形態１に係る識別装置の機能構成を示すブロック図である。 実施の形態１に係る識別装置に入力される三次元データを説明するための図である。 実施の形態１に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。 位置関係ラベルを説明するための図である。 複数の物体の各々と位置関係ラベルおよび正解ラベルとの対応関係を説明するための図である。 実施の形態１に係る識別装置によって生成された不要物体除去後の結合データを説明するための図である。 実施の形態１に係る識別装置が実行する処理の一例を説明するためのフローチャートである。 実施の形態２に係る識別装置の機能構成を示すブロック図である。 実施の形態２に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。 実施の形態２に係る識別装置が実行する処理の一例を説明するためのフローチャートである。 実施の形態３に係る識別装置の機能構成を示すブロック図である。 実施の形態３に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。 実施の形態３に係る識別装置によって生成された不要物体除去後の二次元データを説明するための図である。 実施の形態３に係る識別装置が実行する処理の一例を説明するためのフローチャートである。 実施の形態４に係る識別装置の機能構成を示すブロック図である。 実施の形態４に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。 実施の形態４に係る識別装置が実行する処理の一例を説明するためのフローチャートである。 実施の形態５に係る三次元スキャナが三角測量法に基づき三次元データを取得する例を説明するための図である。 実施の形態５に係る三次元スキャナによって取得された三次元データに基づき任意の視点から見た二次元画像を示す図である。 実施の形態６に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。

＜実施の形態１＞
本開示の実施の形態１について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［適用例］
図１を参照しながら、実施の形態１に係る識別システム１０および識別装置１の適用例を説明する。図１は、実施の形態１に係る識別システム１０および識別装置１の適用例を示す図である。

図１に示すように、ユーザは、三次元スキャナ２を用いて対象者の口腔内をスキャンすることによって、口腔内の複数の物体の三次元データを取得することができる。「ユーザ」は、歯科医師などの術者、歯科助手、歯科大学の先生または生徒、歯科技工士、メーカの技術者、製造工場の作業者など、三次元スキャナ２を用いて歯牙などの物体の三次元データを取得する者であればいずれであってもよい。「対象者」は、歯科医院の患者、歯科大学における被験者など、三次元スキャナ２のスキャン対象となり得る者であればいずれであってもよい。「物体」は、対象者の口腔内にある歯牙など、三次元スキャナ２のスキャン対象となり得るものであればいずれであってもよい。

識別システム１０は、識別装置１と、三次元スキャナ２とを備える。識別装置１には、ディスプレイ３、キーボード４、およびマウス５が接続されている。

三次元スキャナ２は、口腔内を撮像する撮像装置であり、内蔵された三次元カメラによって物体の三次元データを取得する。具体的には、三次元スキャナ２は、口腔内をスキャンすることで、三次元データとして、物体の表面を示す点群（複数の点）の各々の位置情報（縦方向，横方向，高さ方向の各軸の座標）を、光学センサなどを用いて取得する。すなわち、三次元データは、物体の表面を構成する点群の各々の位置の位置情報を含む位置データである。

三次元スキャナ２が一度に測定できる測定範囲は限られているため、ユーザは、口腔内の歯列全体（歯列弓）の三次元データを取得したい場合、三次元スキャナ２を歯列に沿って口腔内を移動させるように操作して複数回に亘って口腔内をスキャンする。

識別装置１は、三次元スキャナ２によって取得された三次元データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像をディスプレイ３に表示させることで、物体の表面を特定の方向から見た場合の二次元投影図をユーザに見せることができる。

さらに、識別装置１は、三次元データを歯科技工所に出力する。歯科技工所においては、識別装置１から取得した三次元データに基づき、歯科技工士が補綴物などの歯牙モデルを作製する。なお、ミリングマシンおよび３Ｄプリンタなど、歯牙モデルを自動で製造可能な自動製造装置が歯科医院内に配置されている場合、識別装置１は、三次元データを自動製造装置に出力してもよい。

［識別装置のハードウェア構成］
図２を参照しながら、実施の形態１に係る識別装置１のハードウェア構成を説明する。図２は、実施の形態１に係る識別装置１のハードウェア構成を示すブロック図である。識別装置１は、たとえば、汎用コンピュータで実現されてもよいし、識別システム１０専用のコンピュータで実現されてもよい。

図２に示すように、識別装置１は、主なハードウェア要素として、演算部１１と、記憶部１２と、スキャナインターフェース１３と、通信部１４と、ディスプレイインターフェース１５と、周辺機器インターフェース１６と、読取部１７とを備える。

演算部１１は、各種のプログラムを実行することで、各種の処理を実行する演算主体（演算装置）であり、コンピュータの一例である。演算部１１は、たとえば、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。なお、演算部１１は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵの少なくとも１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵの全てから構成されてもよい。また、演算部１１は、演算回路（processing circuitry）で構成されてもよい。なお、演算部１１は、１チップで構成されてもよいし、複数のチップで構成されてもよい。さらに、演算部１１の全ての機能または一部の機能は、図示しないサーバ装置（たとえば、クラウド型のサーバ装置）に設けられてもよい。

記憶部１２は、演算部１１が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の記憶領域（たとえば、ワーキングエリア）を含む。たとえば、記憶部１２は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。さらに、記憶部１２は、不揮発性の記憶領域を含む。たとえば、記憶部１２は、ＲＯＭ（Read Only Memory）、ハードディスク、またはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。

なお、本実施の形態においては、揮発性の記憶領域と不揮発性の記憶領域とが同一の記憶部１２に含まれる例を示したが、揮発性の記憶領域と不揮発性の記憶領域とが互いに異なる記憶部に含まれていてもよい。たとえば、演算部１１が揮発性の記憶領域を含み、記憶部１２が不揮発性の記憶領域を含んでいてもよい。識別装置１は、演算部１１と、記憶部１２とを含むマイクロコンピュータを備えていてもよい。

記憶部１２は、識別プログラム１２１と、推定モデル１２２とを格納する。識別プログラム１２１は、演算部１１が三次元スキャナ２によって取得された三次元データと推定モデル１２２とに基づき、口腔内の物体を識別するための識別処理が記述されている。

推定モデル１２２は、ニューラルネットワーク１２２１と、ニューラルネットワーク１２２１によって用いられるパラメータ１２２２とを含む。推定モデル１２２は、口腔内の複数の物体の各々の位置情報を含む三次元データと、複数の物体の各々の種類を示す正解ラベルとを含む学習用データを用いて、三次元データに基づき各物体の種類を推定するように機械学習が行われている。

具体的には、学習フェーズにおいて、推定モデル１２２は、口腔内の各物体の位置情報を含む三次元データが入力されると、ニューラルネットワーク１２２１によって、三次元データに基づき各物体の特徴および互いの位置関係を抽出し、抽出した特徴および位置関係に基づき各物体の種類を推定する。そして、推定モデル１２２は、推定した各物体の種類と、三次元データに関連付けられた各物体の種類を示す正解ラベルとに基づき、両者が一致すればパラメータ１２２２を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１２２２を更新することで、パラメータ１２２２を最適化する。このように、推定モデル１２２は、入力データである三次元データと、正解データである各物体の種類とを含む学習用データに基づき、パラメータ１２２２が最適化されることで機械学習される。これにより、推定モデル１２２は、口腔内の複数の物体の各々の三次元データに基づき、口腔内の複数の物体の各々を推定することができる。

なお、このような推定モデル１２２を学習することによって最適化された推定モデル１２２を、特に「学習済モデル」とも称する。つまり、学習前の推定モデル１２２および学習済みの推定モデル１２２をまとめて「推定モデル」と称する一方で、特に、学習済みの推定モデル１２２を「学習済モデル」とも称する。

推定モデル１２２は、演算部１１が推定処理および学習処理を実行するためのプログラムを含む。実施の形態１においては、画像に特化した処理を行うプログラムとして、たとえば、U-Net、SegNet、ENet、ErfNet、VoxNet、3D ShapeNets、3D U-Net、Multi-View CNN、RotationNet、OctNet、PointCNN、FusionNet、PointNet、PointNet++、SSCNet、MarrNet、VoxelNet、PAConv、VGGNet、ResNet、DGCNN、KPConv、FCGF、ModelNet40、ShapeNet、SemanticKITTI、SunRGB-D、VoteNet、LinkNet、Lambda Network、PREDATOR、3D Medical Point Transformer、およびPCTなどが推定モデル１２２のプログラムに用いられるが、順伝搬型ニューラルネットワーク、リカレント型ニューラルネットワーク、グラフニューラルネットワーク、注意機構（Attention Mechanism）、Transformerなど、その他のプログラムが推定モデル１２２のプログラムに用いられてもよい。

スキャナインターフェース１３は、三次元スキャナ２を接続するためのインターフェースであり、識別装置１と三次元スキャナ２との間のデータの入出力を実現する。識別装置１と三次元スキャナ２とは、ケーブルを用いた有線、または無線（ＷｉＦｉ，ＢｌｕｅＴｏｏｔｈ（登録商標）など）を介して接続される。

通信部１４は、有線通信または無線通信を介して、上述した歯科技工所または自動製造装置との間でデータを送受信する。たとえば、識別装置１は、通信部１４を介して、三次元データに基づき生成した補綴物生成用のデータを、歯科技工所または自動製造装置に送信する。

ディスプレイインターフェース１５は、ディスプレイ３を接続するためのインターフェースであり、識別装置１とディスプレイ３との間のデータの入出力を実現する。

周辺機器インターフェース１６は、キーボード４およびマウス５などの周辺機器を接続するためのインターフェースであり、識別装置１と周辺機器との間のデータの入出力を実現する。

読取部１７は、記憶媒体であるリムーバブルディスク２０に格納されている各種データを読み出す。たとえば、読取部１７は、リムーバブルディスク２０から識別プログラム１２１を取得してもよい。

［三次元スキャナの構成］
図３および図４を参照しながら、実施の形態１に係る三次元スキャナ２の構成を説明する。図３は、実施の形態１に係る三次元スキャナ２の構成を示す図である。図４は、実施の形態１に係る三次元スキャナ２が共焦点法に基づき三次元データを取得する例を説明するための図である。

図３に示すように、三次元スキャナ２は、手持ち式のハンドピースであり、ハウジング２１と、ハウジング２１に対して着脱可能に接続されたプローブ２２と、制御装置４０とを備える。

プローブ２２は、口腔内に挿入され、口腔内の物体にパターンを有する光（以下、単に「パターン」とも称する。）を投影する。プローブ２２は、パターンが投影された物体からの反射光をハウジング２１の内部に導く。

三次元スキャナ２は、ハウジング２１の内部に、光源２３と、レンズ２４と、光学センサ２５と、プリズム２６と、カウンタウェイト２７と、開口部２９とを備える。なお、図３および図４においては、説明の便宜上、開口部２９に平行な平面方向をＸ軸およびＹ軸で規定する。また、Ｘ軸およびＹ軸に対して垂直な方向をＺ軸で規定する。

光源２３は、レーザー素子またはＬＥＤ（Light Emitting Diode）などを含む。光源２３からの光（光軸Ｌ）は、プリズム２６およびレンズ２４を通過し、プローブ２２に設けられた反射部２８によって反射されて開口部２９から出力される。開口部２９から出力された光は、Ｚ軸方向に沿って物体に照射され、当該物体で反射される。すなわち、三次元スキャナ２から出力される光の光軸方向は、Ｚ軸方向と一致し、Ｘ軸およびＹ軸からなる平面方向に直交する。

物体で反射された光は、開口部２９および反射部２８を介して再びハウジング２１の内部に進入し、レンズ２４を通過してプリズム２６に入力される。プリズム２６は、物体からの光の進行方向を、光学センサ２５が位置する方向に変化させる。プリズム２６によって進行方向が変化した光は、光学センサ２５によって検出される。

共焦点法の技術を用いて物体の三次元データを取得する場合、レンズ２４と物体との間に設けられたパターン生成素子（図示せず）を通過した市松模様などのパターンを有する光がスキャン範囲Ｒ内で物体に投影される。レンズ２４が同一直線上を往復直線運動すると、Ｚ軸上において、物体に投影されたパターンの焦点位置が変化する。光学センサ２５は、Ｚ軸上において焦点位置が変化するごとに物体からの光を検出する。

制御装置４０は、たとえば、ＣＰＵ、ＲＯＭ、およびＲＡＭなどから構成され、三次元スキャナ２で行われる処理を制御する。なお、制御装置４０は、ＦＰＧＡまたはＧＰＵで構成されてもよい。また、制御装置４０は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵの少なくとも１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵの全てから構成されてもよい。また、制御装置４０は、演算回路（processing circuitry）で構成されてもよい。制御装置４０は、レンズ２４の位置と、そのときの光学センサ２５の検出結果とに基づいて、物体の表面を示す点群の各々の位置情報を算出する。

これにより、三次元スキャナ２は、スキャン範囲Ｒ内のＸＹ平面における物体の表面を示す点群の各々の位置情報（Ｘ座標およびＹ座標）を取得する。図４に示すように、三次元スキャナ２と物体との間の仮想視点からＺ軸方向に物体を見た場合、ＸＹ平面において、物体の表面を示す二次元画像を表すことができる。三次元スキャナ２は、このようなＸ座標およびＹ座標を含む二次元データの束を、Ｚ軸方向に順番に取得することによって、１スキャンごとに物体の三次元データ（Ｘ座標、Ｙ座標、およびＺ座標）を取得することができる。１スキャンとは、三次元スキャナ２のプローブ２２の位置が固定された状態で物体の三次元データ（Ｘ座標、Ｙ座標、およびＺ座標）を１回取得することに対応する。

より具体的には、三次元スキャナ２を動かさずに固定された光軸で３次元データを取得するような１回のスキャンが行われた場合、制御装置４０は、スキャン対象の物体の表面を示す点群の各々に対して、光軸方向をＺ座標とし、かつ光軸方向（Ｚ軸方向）と直交する平面方向をＸ座標およびＹ座標として、三次元の位置情報を付与する。制御装置４０は、三次元スキャナ２によって複数回のスキャンが行われた場合、各スキャンによって取得された点群の三次元データを、複数回のスキャン同士で結合する際に、重複する部分の一致する形状に基づいて三次元データを結合させる。制御装置４０は、結合の完成時、または、一定のタイミングで、結合された点群の三次元データに対して、任意の原点に基づくＸ座標、Ｙ座標、およびＺ座標を改めて付与することによって、全体として統一のある物体の位置情報を含む点群の三次元データを取得する。

三次元スキャナ２によって取得された物体の三次元データは、スキャナインターフェース１３を介して識別装置１に入力される。なお、制御装置４０の全ての機能または一部の機能を、識別装置１が備えていてもよい。たとえば、識別装置１の演算部１１が、制御装置４０の機能を備えていてもよい。

［三次元スキャナによるスキャンの一例］
図５～図８を参照しながら、三次元スキャナ２によるスキャンの一例を説明する。

図５は、三次元スキャナ２によるスキャン方法を説明するための図である。三次元スキャナ２のスキャン範囲は、口腔内に挿入可能なプローブ２２の大きさによって制限される。このため、ユーザは、プローブ２２を口腔内に挿入し、プローブ２２を歯列に沿って口腔内を移動させるようにして複数回に亘って口腔内をスキャンする。

たとえば、図５に示すように、ユーザは、口腔内でプローブ２２を動かすことによって、スキャン範囲をＲ１，Ｒ２，Ｒ３，・・・Ｒｎといったように順番に切り替えて、口腔内の様々な部分の三次元データを取得する。より具体的には、ユーザは、歯牙の舌側面から咬合面を経由して歯牙の唇側面へとプローブ２２を動かすことによって一部の歯牙をスキャンし、このようなスキャンを左奥歯側から前歯を経由して右奥歯側へとプローブ２２を動かすことによって複数の歯牙を順番にスキャンする。なお、口腔内におけるプローブ２２の動かし方は、ユーザごとまたは歯科診療ごとに異なるため、三次元データが取得される口腔内の部分および取得順は変化し得る。

図６は、実施の形態１に係る三次元スキャナ２によって取得された各スキャン範囲における物体を示す図である。図６に示すように、ユーザがプローブ２２を動かしながら物体をスキャンすることにより、三次元スキャナ２は、各スキャン範囲に含まれる物体の三次元データを取得することができる。たとえば、三次元スキャナ２は、１スキャンごとに１つのスキャン範囲における三次元データを取得することができ、図６の例においては、スキャン範囲Ｒ１１～Ｒ１５の各々の三次元データを取得することができる。三次元スキャナ２は、複数回のスキャンによって得られた複数のスキャン範囲Ｒ１１～Ｒ１５のそれぞれに対応する複数の三次元データを結合することによって、複数のスキャン範囲Ｒ１１～Ｒ１５に含まれる物体全体の三次元データを取得することができる。

図７および図８は、三次元スキャナ２を用いて物体をスキャンする様子を示す図である。図７および図８に示すように、口腔内においては、舌、下顎の歯列と舌との間の小帯、下顎の歯列、下顎の歯列と下唇との間の小帯（図示は省略する）、下唇、硬口蓋、上顎の歯列と硬口蓋との間の小帯、上顎の歯列、上顎の歯列と上唇との間の小帯（図示は省略する）、上唇、歯肉、粘膜、および補綴物（金属歯、セラミック歯、レジン歯）などの複数の物体が含まれる。三次元スキャナ２によるスキャン中においては、スキャン対象である歯牙などの物体と三次元スキャナ２との間に、術者の指または診療器具、あるいは患者の舌、唇、粘膜（頬裏）などの不要物体が入り込み、三次元スキャナ２が物体の三次元データを適切に取得することができない場合がある。たとえば、図６の例では、範囲Ｒ１２～Ｒ１４に不要物体である指が入り込んでいる。なお、指は、術者の生身の指に限らず、術者が手袋をはめた状態の指も含まれる。また、診療器具としては、バキューム、開口器、および舌圧子などの歯科用インスツルメントが挙げられる。

たとえば、図７および図８に示すように、三次元スキャナ２のプローブ２２が口腔内に挿入される際には、口腔内の軟組織を押さえるために、歯牙と唇との間に指が挿入されることがある。

具体的には、図７に示すように、ユーザは、唇側の歯牙の側面の三次元データを取得する場合、プローブ２２を歯牙と唇との隙間に挿入するが、このとき、歯列と唇との隙間に指を挿入して軟組織を押さえることによって、軟組織がスキャンの邪魔をしないようにする。また、図８に示すように、ユーザは、舌側の歯牙の側面の三次元データを取得する場合、プローブ２２を歯列と舌との隙間に挿入するが、このとき、歯列と舌との隙間に指を挿入して軟組織を押さえることによって、軟組織がスキャンの邪魔をしないようにする。なお、指に限らず、歯牙と唇との隙間または歯牙と舌との隙間に軟組織を押さえるための診療器具が挿入されることもある。このように、軟組織を押さえている指が歯列に接触した状態で口腔内をスキャンすると、図６に示すように、範囲Ｒ１２～Ｒ１４に不要物体である指が入り込んだ状態で、三次元データが取得される。

このように、歯科診療においては、通常、指および診療器具などの挿入物体が口腔内に挿入された状態で口腔内がスキャンされるが、たとえば、図４のスキャン範囲Ｒおよび図６のスキャン範囲Ｒ１２～Ｒ１４に示すように、スキャン範囲内に挿入物体が入り込み、三次元スキャナ２が物体の三次元データを適切に取得することができない場合がある。

そこで、実施の形態１に係る識別装置１は、ＡＩ（人工知能：Artificial Intelligence）を利用して、口腔内の歯牙、舌、唇、小帯、歯肉、粘膜、補綴物（金属歯、セラミック歯、レジン歯）、および口腔内に挿入される挿入物体などの複数の物体の各々の種類を識別し、識別結果に基づいて、歯科診療に不要な物体の三次元データを抽出して削除するように構成されている。以下、識別装置１の具体的な機能について説明する。

［識別装置の機能構成］
図９を参照しながら、実施の形態１に係る識別装置１の機能構成について説明する。図９は、実施の形態１に係る識別装置１の機能構成を示すブロック図である。

図９に示すように、識別装置１は、主な機能部として、入力部１１０１と、識別部１１０２と、除去部１１０３と、結合部１１０４と、画像生成部１１０５と、記憶部１２とを備える。

入力部１１０１は、スキャナインターフェース１３の機能部であり、三次元スキャナ２によって取得される１スキャンごとの三次元データを取得する。なお、入力部１１０１は、通信部１４、周辺機器インターフェース１６、または読取部１７の機能部であってもよい。たとえば、入力部１１０１が通信部１４の機能部である場合、通信部１４は、有線通信または無線通信を介して、外部装置から三次元データを取得する。なお、外部装置は、歯科医院に設置されたサーバ装置であってもよいし、歯科医院とは別の場所に設置されたクラウド型のサーバ装置であってもよい。入力部１１０１が周辺機器インターフェース１６の機能部である場合、周辺機器インターフェース１６は、キーボード４およびマウス５を用いてユーザによって入力された三次元データを取得する。入力部１１０１が読取部１７の機能部である場合、読取部１７は、リムーバブルディスク２０に記憶された三次元データを取得する。

ここで、図１０を参照しながら、識別装置１に入力される三次元データについて説明する。図１０は、実施の形態１に係る識別装置１に入力される三次元データを説明するための図である。図１０に示すように、入力部１１０１に入力される１スキャンごとの三次元データは、スキャン範囲内の物体の表面を示す点群の各々に対応付けられた、Ｘ座標、Ｙ座標、およびＺ座標の位置情報と、Ｘ成分、Ｙ成分、およびＺ成分の法線情報とを含む。なお、図示は省略するが、三次元データは、スキャン範囲内の物体の表面を示す点群の各々に対応付けられた色情報も含む。

位置情報とは、図４を用いて説明したように、スキャン範囲に含まれる物体の表面を示す点群の各々におけるＸ座標、Ｙ座標、およびＺ座標である。法線情報とは、点群に含まれる１つの点に注目して、その注目点における接線に垂直な法線のＸ成分、Ｙ成分、およびＺ成分である。なお、点群に含まれる１つの点に対する法線の生成には、主成分分析などの公知の技術を用いればよい。

図９に戻り、識別部１１０２は、演算部１１の機能部である。識別部１１０２は、入力部１１０１から入力される口腔内の複数の物体の各々の三次元データと、推定モデル１２２とに基づき、複数の物体のうちの少なくとも１つの物体を識別する。具体的には、識別部１１０２は、スキャン範囲内に含まれる歯牙、舌、唇、小帯、歯肉、粘膜、補綴物（金属歯、セラミック歯、レジン歯）、および指または診療器具などの挿入物体の各々を識別する。すなわち、識別部１１０２は、ユーザが取得したい歯牙の表面を示す点群の各々の位置情報を含む三次元データを抽出するとともに、ユーザにとって不要な指、診療器具、または舌などの不要物体の表面を示す点群の各々の位置情報を含む三次元データ（以下、「不要三次元データ」とも称する。）を抽出する。識別部１１０２は、識別結果を除去部１１０３に出力する。

ここで、図１１～図１３を参照しながら、推定モデル１２２の機械学習について説明する。図１１は、実施の形態１に係る推定モデル１２２を機械学習させるときに用いられる学習用データを説明するための図である。図１１に示すように、実施の形態１に係る推定モデル１２２は、口腔内の複数の物体の各々の位置情報および法線情報を含む三次元データと、複数の物体の間における相対的な位置関係を示す位置関係ラベルと、複数の物体の各々を示す正解ラベルとを含む１スキャン分の学習用データを用いて、１スキャン分の三次元データに基づき複数の物体の各々を推定するように機械学習（教師あり学習）が行われる。

ここで、複数の物体の間における相対的な位置関係について説明する。口腔内においては、解剖学的に歯牙および舌などの複数の物体の各々の位置が任意のランドマークとの関係で、つまり、相対的な関係で予め決まっている。たとえば、上述した図７および図８に示すように、口を開けた顔を正面から見た状況で、下顎においては、上顎または下顎の中心付近（口腔の奥側）から外側（開口方向）の順に、舌、下顎の歯列と舌との間の小帯、下顎の歯列、下顎の歯列と下唇との間の小帯（図示は省略する）、および下唇が位置している。言い換えると、下顎の歯列を起点（任意のランドマーク）とした場合、舌は下顎の歯列よりも口腔の奥側に位置し、下唇は下顎の歯列よりも口腔の手前側に位置する。また、口を開けた顔を正面から見た状況で、上顎においては、上顎または下顎の中心付近（口腔の奥側）から外側（開口方向）の順に、硬口蓋、上顎の歯列と硬口蓋との間の小帯、上顎の歯列、上顎の歯列と上唇との間の小帯（図示は省略する）、および上唇が位置している。言い換えると、上顎の歯列を起点（任意のランドマーク）とした場合、硬口蓋は上顎の歯列よりも口腔の奥側に位置し、上唇は上顎の歯列よりも口腔の開口方向側に位置する。すなわち、口腔内においては、歯牙、舌、および唇などの複数の物体の間における相対的な位置関係が定まっている。

このように、口腔内の複数の物体の間においては相対的な位置関係が定まっているため、推定モデル１２２の入力データである物体の位置情報を含む三次元データと、推定モデル１２２の出力データである当該物体の種類の識別結果との間には、相関関係があると言える。すなわち、三次元データに含まれる物体の位置情報は当該物体の種類に対応付けられるといったように、入力データと出力データとの間で相関関係があるため、推定モデル１２２は、入力された物体の位置情報を含む三次元データに基づき、当該三次元データに対応する位置が口腔内のどの領域に含まれるかを特定することによって、物体の種類を識別することができる。

図１２は、位置関係ラベルを説明するための図である。図１２に示すように、口腔内を複数の領域に分けた場合、下顎においては、舌が存在する領域と、下顎の歯列と舌との隙間（以下、「下顎第１隙間」とも称する。）が存在する領域と、下顎の歯列が存在する領域と、下顎の歯列と下唇との隙間（以下、「下顎第２隙間」とも称する。）が存在する領域と、下唇が存在する領域とに分けることができる。上顎においては、硬口蓋が存在する領域と、上顎の歯列と硬口蓋との隙間（以下、「上顎第１隙間」とも称する。）が存在する領域と、上顎の歯列が存在する領域と、上顎の歯列と上唇との隙間（以下、「上顎第２隙間」とも称する。）が存在する領域と、上唇が存在する領域とに分けることができる。位置関係ラベルは、これら複数の領域うちの少なくとも１つを示すデータを含む。

具体的には、舌が存在する領域に対しては、位置関係ラベルとして「００１」を示すデータが対応付けられる。下顎第１隙間が存在する領域に対しては、位置関係ラベルとして「００２」を示すデータが対応付けられる。下顎の歯列が存在する領域に対しては、位置関係ラベルとして「００３」を示すデータが対応付けられる。下顎第２隙間が存在する領域に対しては、位置関係ラベルとして「００４」を示すデータが対応付けられる。下唇が存在する領域に対しては、位置関係ラベルとして「００５」を示すデータが対応付けられる。硬口蓋が存在する領域に対しては、位置関係ラベルとして「００６」を示すデータが対応付けられる。上顎第１隙間が存在する領域に対しては、位置関係ラベルとして「００７」を示すデータが対応付けられる。上顎の歯列が存在する領域に対しては、位置関係ラベルとして「００８」を示すデータが対応付けられる。上顎第２隙間が存在する領域に対しては、位置関係ラベルとして「００９」を示すデータが対応付けられる。上唇が存在する領域に対しては、位置関係ラベルとして「０１０」を示すデータが対応付けられる。なお、舌は動作することによって、その先端が下顎第１隙間および下顎第２隙間などの他の領域に存在することがあり得るが、舌の根元が存在する位置は固定されているため、舌の根元が存在する領域に対して、位置関係ラベルとして「００１」を示すデータが対応付けられる。

図１３は、複数の物体の各々と位置関係ラベルおよび正解ラベルとの対応関係を説明するための図である。図１３に示すように、下顎について、舌に対しては、位置関係ラベルとして「００１」を示すデータが対応付けられ、正解ラベルとして「０１」を示すデータが対応付けられる。下顎第１隙間に対しては、位置関係ラベルとして「００２」を示すデータが対応付けられ、正解ラベルとして「０２」を示すデータが対応付けられる。下顎の歯列に含まれる複数の歯牙のそれぞれに対しては、位置関係ラベルとして「００３」を示すデータが対応付けられ、正解ラベルとして「３１」～「４８」を示すデータが対応付けられる。下顎第２隙間に対しては、位置関係ラベルとして「００４」を示すデータが対応付けられ、正解ラベルとして「０４」を示すデータが対応付けられる。下唇に対しては、位置関係ラベルとして「００５」を示すデータが対応付けられ、正解ラベルとして「０５」を示すデータが対応付けられる。

上顎について、硬口蓋に対しては、位置関係ラベルとして「００６」を示すデータが対応付けられ、正解ラベルとして「０６」を示すデータが対応付けられる。上顎第１隙間に対しては、位置関係ラベルとして「００７」を示すデータが対応付けられ、正解ラベルとして「０７」を示すデータが対応付けられる。上顎の歯列に含まれる複数の歯牙のそれぞれに対しては、位置関係ラベルとして「００８」を示すデータが対応付けられ、正解ラベルとして「１１」～「２８」を示すデータが対応付けられる。上顎第２隙間に対しては、位置関係ラベルとして「００９」を示すデータが対応付けられ、正解ラベルとして「０９」を示すデータが対応付けられる。上唇に対しては、位置関係ラベルとして「０１０」を示すデータが対応付けられ、正解ラベルとして「１０」を示すデータが対応付けられる。

上述したように、歯科診療においては、指および診療器具などの挿入物体が口腔内に挿入され得るが、挿入物体が挿入される口腔内の位置は概ね決まっている。具体的には、挿入物体は、下顎の歯列と舌との間の下顎第１隙間、下顎の歯列と下唇との間の下顎第２隙間、上顎の歯列と硬口蓋との間の上顎第１隙間、および上顎の歯列と上唇との間の上顎第２隙間のうち、いずれかに挿入されて位置する可能性が高い。

その理由は、図７を用いて説明したように、術者などのユーザは、唇側の歯牙の側面の三次元データを取得する場合に、歯列と唇との間（図７の例では下顎第２隙間）に指または診療器具を挿入して軟組織を押さえることによって、軟組織がスキャンの邪魔をしないようにするからである。また、図８を用いて説明したように、術者などのユーザは、舌側の歯牙の側面の三次元データを取得する場合に、歯列と舌との間（図８の例では下顎第１隙間）に指または診療器具を挿入して軟組織を押さえることによって、軟組織がスキャンの邪魔をしないようにするからである。言い換えると、たとえば、舌が歯列を跨いで口腔から外側へ飛び出すケース、および、指が歯牙を覆い被さるようなケースは、スキャン中において発生する可能性は低い。

よって、図１３に示すように、挿入物体のうち、指に対しては、位置関係ラベルとして、下顎第１隙間に対応する「００２」を示すデータ、下顎第２隙間に対応する「００４」を示すデータ、上顎第１隙間に対応する「００７」を示すデータ、または上顎第２隙間に対応する「００９」を示すデータが対応付けられ、正解ラベルとして「５１」を示すデータが対応付けられる。また、挿入物体のうち、診療器具に対しては、位置関係ラベルとして、下顎第１隙間に対応する「００２」を示すデータ、下顎第２隙間に対応する「００４」を示すデータ、上顎第１隙間に対応する「００７」を示すデータ、または上顎第２隙間に対応する「００９」を示すデータが対応付けられ、正解ラベルとして「５２」を示すデータが対応付けられる。

図１１に戻り、学習用データにおいては、１スキャンで得られる複数の物体の各々の表面を示す点群の各々の三次元データ（位置情報，法線情報）に対して、物体の種類を示す正解ラベルと、複数の物体の間における相対的な位置関係を示す位置関係ラベルとが対応付けられている。

たとえば、図１１に示すように、舌をスキャンすることによって得られた三次元データに対しては、位置関係ラベルとして「００１」を示すデータが対応付けられ、正解ラベルとして「０１」を示すデータが対応付けられている。下顎左第三大臼歯をスキャンすることによって得られた三次元データに対しては、位置関係ラベルとして「００３」を示すデータが対応付けられ、正解ラベルとして「３８」を示すデータが対応付けられている。下顎左第二大臼歯をスキャンすることによって得られた三次元データに対しては、位置関係ラベルとして「００３」を示すデータが対応付けられ、正解ラベルとして「３７」を示すデータが対応付けられている。さらに、下顎第２隙間に挿入された指をスキャンすることによって得られた三次元データに対しては、位置関係ラベルとして「００４」を示すデータが対応付けられ、正解ラベルとして「５１」を示すデータが対応付けられている。

このように、実施の形態１においては、推定モデル１２２を機械学習させるための学習用データとして、１スキャンで得られる複数の物体の各々の表面を示す点群の各々の三次元データ（位置情報，法線情報）に対して、物体の種類を示す正解ラベルに加えて、複数の物体の間における相対的な位置関係を示す位置関係ラベルが対応付けられている。

推定モデル１２２は、１スキャン分の三次元データに基づき、スキャンされた複数の物体の各々の種類を識別し、識別結果と正解ラベルとの一致度合いに基づきパラメータ１２２２を調整する。

これにより、推定モデル１２２は、１スキャン分の三次元データに対応付けられた正解ラベルに基づき、当該三次元データに対応する物体の種類を識別するように機械学習することができ、さらに、当該三次元データに対応付けられた位置関係ラベルに基づき、当該三次元データに対応する位置が口腔内のどの領域に含まれるかを機械学習することによって、より精度よく当該三次元データに対応する物体の種類を識別することができるようになる。

また、学習用データは、点群の各点ごとに、位置関係ラベル、三次元データ（位置情報，法線情報）、正解ラベルの順に推定モデル１２２に入力される。たとえば、点群に含まれる第１の点について、位置関係ラベル、三次元データ（位置情報，法線情報）、正解ラベルの順に推定モデル１２２に入力され、次に、点群に含まれる第２の点について、位置関係ラベル、三次元データ（位置情報，法線情報）、正解ラベルの順に推定モデル１２２に入力される。１スキャンで得られた全ての点について位置関係ラベル、三次元データ（位置情報，法線情報）、および正解ラベルが順番に推定モデル１２２に入力されるまで、上述したような入力が繰り返される。

学習用データにおいて、位置関係ラベルは、三次元データ（位置情報，法線情報）に近接して配列されており、上述したように、三次元データの直前に推定モデル１２２に入力される。これにより、推定モデル１２２は、位置関係ラベルで規定された複数の物体の間における相対的な位置関係に基づき、三次元データの特徴を見出し易くなるため、三次元データに対応する位置が口腔内のどの領域に含まれるかを効率的かつ精度よく機械学習することができる。

図９に戻り、除去部１１０３は、演算部１１の機能部である。除去部１１０３は、識別部１１０２から物体の種類の識別結果を取得する。識別結果は、図１３に示すように、舌、下顎第１隙間、下顎の歯列に含まれる各歯牙、下顎第２隙間、下唇、硬口蓋、上顎第１隙間、上顎の歯列に含まれる各歯牙、上顎第２隙間、および上唇の各々の識別結果とともに、指および診療器具などの挿入物体の識別結果も含まれる。除去部１１０３は、識別部１１０２の識別結果に、術者の指または診療器具、あるいは患者の舌などの不要物体の識別結果が含まれている場合、入力部１１０１から入力された三次元データから、識別部１１０２によって識別された不要物体の表面を示す点群の各々の位置情報を含む不要三次元データを除去する。除去部１１０３は、入力部１１０１から入力された三次元データから不要三次元データを除去した後の三次元データを、結合部１１０４に出力する。

結合部１１０４は、演算部１１の機能部である。結合部１１０４は、入力部１１０１に１スキャン分の三次元データが入力されるごとに、除去部１１０３から１スキャン分の三次元データを取得し、蓄積された複数スキャン分の三次元データを結合させることによって、結合された複数スキャン分の三次元データ（以下、「結合データ」とも称する。）を生成する。

図１４は、実施の形態１に係る識別装置１によって生成された不要物体除去後の結合データを説明するための図である。識別部１１０２は、入力部１１０１から入力された図１０に示す三次元データに基づき、図１４に示すように、各点についての識別結果を出力する。除去部１１０３は、識別部１１０２の識別結果に、術者の指または診療器具、あるいは患者の舌、唇、粘膜などの不要物体の識別結果が含まれている場合、図１４に示すように、識別部１１０２によって識別された不要物体に対応する三次元データ（不要三次元データ）に対して除去フラグをセットする。図１４の例では、除去対象となる舌、唇、粘膜、および指に対応する不要三次元データに対して、除去フラグとして「０１」をセットする。識別装置１は、除去フラグに「０１」がセットされた不要三次元データについては、ディスプレイ３に表示する二次元画像に用いないように構成されている。結合部１１０４は、除去部１１０３から入力された三次元データに基づき、図１４に示すように、複数スキャン分の三次元データを結合させることによって、不要物体除去後の結合データを生成する。

図９に戻り、結合部１１０４は、結合データを記憶部１２および画像生成部１１０５に出力する。記憶部１２は、結合部１１０４から入力された結合データを記憶する。画像生成部１１０５は、演算部１１の機能部である。画像生成部１１０５は、結合部１１０４から入力された結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力する。このとき、画像生成部１１０５は、除去フラグに「０１」がセットされた不要三次元データを用いることなく、二次元画像データを生成する。これにより、識別装置１は、不要物体が除去された後の口腔内の二次元画像をディスプレイ３に表示させてユーザに見せることができる。

［識別装置の処理フロー］
図１５を参照しながら、識別装置１が実行する処理の一例を示す図である。図１５は、実施の形態１に係る識別装置１が実行する処理の一例を説明するためのフローチャートである。図１５に示す各ステップ（以下、「Ｓ」で示す。）は、識別装置１の演算部１１が識別プログラム１２１を実行することで実現される。また、識別装置１は、三次元スキャナ２によるスキャンが開始された後、図１５に示すフローチャートの処理を実行する。

図１５に示すように、識別装置１は、三次元スキャナ２によってスキャンされた任意の点の三次元データを取得する（Ｓ１１）。識別装置１は、三次元スキャナ２によって取得された１スキャン分の三次元データと、推定モデル１２２とに基づき、スキャンされた複数の物体の各々を識別する（Ｓ１２）。

識別装置１は、識別結果に基づき、不要物体を検出したか否かを判定する（Ｓ１３）。すなわち、識別装置１は、識別結果として、舌に対応する「０１」を示すデータ、指に対応する「５１」を示すデータ、または診療器具に対応する「５２」を示すデータ、下唇に対応する「０５」を示すデータ、上唇に対応する「１０」を示すデータを出力したか否かを判定する。識別装置１は、不要物体を検出した場合（Ｓ１３でＹＥＳ）、検出した不要物体に対応する不要三次元データを抽出し、抽出した不要三次元データを除去する（Ｓ１４）。すなわち、識別装置１は、不要三次元データに対して除去フラグをセットする。

識別装置１は、不要物体を検出しなかった場合（Ｓ１３でＮＯ）、または、Ｓ１４で不要三次元データを除去した後、複数スキャン分の三次元データを結合させることによって、結合データを生成する（Ｓ１５）。

識別装置１は、結合データを記憶部１２に記憶する（Ｓ１６）。さらに、識別装置１は、結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力することによって、口腔内の二次元画像をディスプレイ３に表示させる（Ｓ１７）。

識別装置１は、三次元スキャナ２によるスキャンが停止したか否かを判定する（Ｓ１８）。識別装置１は、三次元スキャナ２によるスキャンが停止していない場合（Ｓ１８でＮＯ）、Ｓ１１に処理を戻す。一方、識別装置１は、三次元スキャナ２によるスキャンが停止した場合（Ｓ１８でＹＥＳ）、本処理を終了する。

以上のように、識別装置１は、三次元スキャナ２によってスキャンされた口腔内において互いに相対的な位置関係が定まる口腔内の複数の物体の各々を、学習済みの推定モデル１２２を用いて識別することができる。推定モデル１２２は、複数の物体の間における相対的な位置関係に基づき、三次元データに対応する位置が口腔内のどの領域に含まれるかを効率的かつ精度よく機械学習されている。これにより、ユーザは、口腔内の複数の物体の各々を自ら識別する必要がなく、口腔内の複数の物体の各々を容易にかつ適切に識別することができる。

識別装置１は、三次元スキャナ２によってスキャンされた複数の物体のうち、歯科診療に不要な不要物体も推定モデル１２２を用いて識別し、識別した不要物体の表面を示す点群の各々の位置情報を含む不要三次元データを抽出することができる。これにより、ユーザは、不要物体の三次元データを自ら抽出する必要がなく、不要物体の三次元データを容易にかつ適切に抽出することができる。

識別装置１は、三次元スキャナ２によって入力される三次元データから、不要三次元データを除去することができるため、ユーザは、不要物体の三次元データを自ら除去して不要物体除去後の三次元データを作成する必要がなく、不要物体が除去された後の三次元データを容易に取得することができる。

識別装置１は、不要三次元データを除去した後の三次元データを用いて生成した画像データをディスプレイ３に出力するため、ユーザは、不要物体が除去された後の口腔内の二次元画像を自ら生成する必要がなく、不要物体が除去された後の二次元画像を容易に取得することができる。

＜実施の形態２＞
本開示の実施の形態２について、図面を参照しながら詳細に説明する。なお、実施の形態２においては、実施の形態１と異なる部分のみを説明し、実施の形態１と同じ部分については、同一符号を付してその説明は繰り返さない。

［識別装置の機能構成］
図１６は、実施の形態２に係る識別装置２００の機能構成を示すブロック図である。実施の形態２に係る識別装置２００は、先に、三次元スキャナ２によって取得された複数スキャン分の三次元データを結合することによって結合データを生成し、結合データに基づき、推定モデル１２２を用いて口腔内の複数の物体の各々を識別し、識別結果に基づき不要物体に対応する三次元データを抽出するように構成されている。

具体的には、図１６に示すように、識別装置２００は、主な機能部として、入力部１１０１と、結合部１１０４と、識別部１１０２と、除去部１１０３と、画像生成部１１０５と、記憶部１２とを備える。

入力部１１０１は、三次元スキャナ２によって取得される１スキャンごとの三次元データを取得する。

結合部１１０４は、入力部１１０１に１スキャン分の三次元データが入力されるごとに、１スキャン分の三次元データを取得し、蓄積された複数スキャン分の三次元データを結合させることによって、結合データを生成する。結合部１１０４は、生成した結合データを、識別部１１０２、画像生成部１１０５、および記憶部１２に出力する。

識別部１１０２は、結合部１１０４から入力される結合データと、推定モデル１２２とに基づき、複数の物体のうちの少なくとも１つの物体を識別する。識別部１１０２は、識別結果を除去部１１０３に出力する。

ここで、図１７を参照しながら、推定モデル１２２の機械学習について説明する。図１７は、実施の形態２に係る推定モデル１２２を機械学習させるときに用いられる学習用データを説明するための図である。図１７に示すように、実施の形態２に係る推定モデル１２２は、口腔内の複数の物体の各々の位置情報および法線情報を含む三次元データと、複数の物体の間における相対的な位置関係を示す位置関係ラベルと、複数の物体の各々を示す正解ラベルとを含む複数スキャン分の学習用データを用いて、複数スキャン分の三次元データに基づき複数の物体の各々を推定するように機械学習（教師あり学習）が行われる。

学習用データにおいては、複数スキャンで得られる複数の物体の各々の表面を示す点群の各々の三次元データ（位置情報，法線情報）に対して、物体の種類を示す正解ラベルと、複数の物体の間における相対的な位置関係を示す位置関係ラベルとが対応付けられている。

推定モデル１２２は、複数スキャン分の三次元データに基づき、スキャンされた複数の物体の各々の表面を示す点群の各々について物体の種類を識別し、識別結果と正解ラベルとの一致度合いに基づきパラメータ１２２２を調整する。

これにより、推定モデル１２２は、複数スキャン分の三次元データに対応付けられた正解ラベルに基づき、当該三次元データに対応する物体の種類を識別するように機械学習することができ、さらに、当該三次元データに対応付けられた位置関係ラベルに基づき、当該三次元データに対応する位置が口腔内のどの領域に含まれるかを機械学習することによって、より精度よく当該三次元データに対応する物体の種類を識別することができるようになる。

図１６に戻り、除去部１１０３は、識別部１１０２の識別結果に、不要物体の識別結果が含まれている場合、入力部１１０１から入力された三次元データから、識別部１１０２によって識別された不要物体の表面を示す点群の各々の位置情報を含む不要三次元データを除去することによって、不要物体除去後の結合データを生成する。除去部１１０３は、結合データを記憶部１２および画像生成部１１０５に出力する。

記憶部１２は、除去部１１０３から入力された結合データを記憶する。さらに、記憶部１２は、結合部１１０４から入力された不要物体除去前の結合データを記憶する。画像生成部１１０５は、除去部１１０３から入力された結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力する。これにより、識別装置２００は、不要物体が除去された後の口腔内の二次元画像をディスプレイ３に表示させてユーザに見せることができる。さらに、画像生成部１１０５は、除去部１１０３から入力された不要物体除去前の結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力する。これにより、識別装置２００は、不要物体が除去される前の口腔内の二次元画像をディスプレイ３に表示させてユーザに見せることができる。

［識別装置の処理フロー］
図１８を参照しながら、識別装置２００が実行する処理の一例を示す図である。図１８は、実施の形態２に係る識別装置２００が実行する処理の一例を説明するためのフローチャートである。図１８に示す各ステップ（以下、「Ｓ」で示す。）は、識別装置２００の演算部１１が識別プログラム１２１を実行することで実現される。また、識別装置２００は、三次元スキャナ２によるスキャンが開始された後、図１８に示すフローチャートの処理を実行する。

図１８に示すように、識別装置２００は、三次元スキャナ２によってスキャンされた任意の点の三次元データを取得する（Ｓ２１）。識別装置２００は、三次元スキャナ２によって取得された複数スキャン分の三次元データを結合させることによって、結合データを生成する（Ｓ２２）。

識別装置２００は、所定タイミングに到達したか否かを判定する（Ｓ２３）。「所定タイミング」は、三次元スキャナ２によるスキャン開始後に蓄積された結合データのデータ量が所定量に達した第１タイミング、過去において直近でＳ２３で所定タイミングに達したと判定した後に蓄積された結合データのデータ量が所定量に達した第２タイミング、三次元スキャナ２によるスキャン開始後からの経過時間が所定時間に達した第３タイミング、過去において直近でＳ２３で所定タイミングに達したと判定した後からの経過時間が所定時間に達した第４タイミング、ユーザによって所定操作がなされた第５タイミングなどを含む。なお、上述の第１タイミング～第４タイミングの判定について、後述するＳ２５において不要物体を検出してＳ２７以降の処理に移行した場合には、第１タイミング～第４タイミングに到達したと判定されずにＳ２７以降の処理に移行した場合よりも、その後のＳ２３においてＹＥＳと判定される期間が短くなる（早期検出モードになる）。識別装置２００は、所定タイミングに到達した場合（Ｓ２３でＹＥＳ）、三次元スキャナ２によって取得された複数スキャン分の三次元データと、推定モデル１２２とに基づき、スキャンされた複数の物体の各々を識別する（Ｓ２４）。

識別装置２００は、識別結果に基づき、不要物体を検出したか否かを判定する（Ｓ２５）。識別装置２００は、不要物体を検出した場合（Ｓ２５でＹＥＳ）、検出した不要物体に対応する不要三次元データを抽出し、抽出した不要三次元データを除去する（Ｓ２６）。

識別装置２００は、所定タイミングに到達しなかった場合（Ｓ２３でＮＯ）、不要物体を検出しなかった場合（Ｓ２５でＮＯ）、または、Ｓ２６で不要三次元データを除去した後、Ｓ２７の記憶処理およびＳ２８の表示処理に移行する。

識別装置２００は、Ｓ２６の除去処理によって不要物体が除去された後の結合データを記憶部１２に記憶する（Ｓ２７）。さらに、識別装置２００は、Ｓ２２の結合処理の次の処理として、不要物体が除去される前の結合データを記憶部１２に記憶する（Ｓ２７）。また、識別装置２００は、Ｓ２６の除去処理によって不要物体が除去された後の結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力することによって、不要物体が除去された後の口腔内の二次元画像をディスプレイ３に表示させる（Ｓ２８）。さらに、識別装置２００は、Ｓ２２の結合処理の次の処理として、不要物体が除去される前の結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力することによって、不要物体が除去される前の口腔内の二次元画像をディスプレイ３に表示させる（Ｓ２８）。

識別装置２００は、三次元スキャナ２によるスキャンが停止したか否かを判定する（Ｓ２９）。識別装置２００は、三次元スキャナ２によるスキャンが停止していない場合（Ｓ２９でＮＯ）、Ｓ２１に処理を戻す。一方、識別装置２００は、三次元スキャナ２によるスキャンが停止した場合（Ｓ２９でＹＥＳ）、本処理を終了する。

以上のように、識別装置２００は、複数スキャン分の三次元データに基づき、歯科診療に不要な不要物体も推定モデル１２２を用いて識別することができる。これにより、ユーザは、口腔内の複数の物体の各々を自ら識別する必要がなく、口腔内の複数の物体の各々を容易にかつ適切に識別することができる。また、ユーザは、不要物体の三次元データを自ら抽出する必要がなく、不要物体の三次元データを容易にかつ適切に抽出することができる。

＜実施の形態３＞
本開示の実施の形態３について、図面を参照しながら詳細に説明する。なお、実施の形態３においては、実施の形態１と異なる部分のみを説明し、実施の形態１と同じ部分については、同一符号を付してその説明は繰り返さない。

［識別装置の機能構成］
図１９は、実施の形態３に係る識別装置３００の機能構成を示すブロック図である。実施の形態３に係る識別装置３００は、撮像装置である口腔内カメラ７によって取得された口腔内の複数の物体の各々の二次元データに基づき、推定モデル１２２を用いて口腔内の複数の物体の各々を識別し、識別結果に基づき不要物体に対応する二次元データを抽出するように構成されている。

具体的には、図１９に示すように、識別装置３００は、主な機能部として、入力部１１０１と、識別部１１０２と、除去部１１０３と、画像生成部１１０５と、記憶部１２とを備える。

入力部１１０１は、口腔内カメラ７が口腔内を撮像することによって得られた撮像画像の撮像データを取得する。撮像データは、図４で示すようなＸ軸およびＹ軸で規定することができる撮影画像のデータであり、撮影画像に表された物体の表面を示すＸ座標およびＹ座標の２次元データで表され得る。

識別部１１０２は、入力部１１０１から入力される口腔内の複数の物体の各々の二次元データと、推定モデル１２２とに基づき、複数の物体のうちの少なくとも１つの物体を識別する。識別部１１０２は、識別結果を除去部１１０３に出力する。

ここで、図２０を参照しながら、推定モデル１２２の機械学習について説明する。図２０は、実施の形態３に係る推定モデル１２２を機械学習させるときに用いられる学習用データを説明するための図である。図２０に示すように、実施の形態３に係る推定モデル１２２は、口腔内の複数の物体の各々の位置情報を含む二次元データと、複数の物体の間における相対的な位置関係を示す位置関係ラベルと、複数の物体の各々を示す正解ラベルとを含む画像１枚分の学習用データを用いて、画像１枚分の二次元データに基づき複数の物体の各々を推定するように機械学習（教師あり学習）が行われる。

学習用データにおいては、複数の物体の各々の表面を示す二次元データ（位置情報）に対して、物体の種類を示す正解ラベルと、複数の物体の間における相対的な位置関係を示す位置関係ラベルとが対応付けられている。

推定モデル１２２は、画像１枚分の二次元データに基づき、撮像された複数の物体の各々について物体の種類を識別し、識別結果と正解ラベルとの一致度合いに基づきパラメータ１２２２を調整する。

これにより、推定モデル１２２は、画像１枚分の二次元データに対応付けられた正解ラベルに基づき、当該二次元データに対応する物体の種類を識別するように機械学習することができ、さらに、当該二次元データに対応付けられた位置関係ラベルに基づき、当該二次元データに対応する位置が口腔内のどの領域に含まれるかを機械学習することによって、より精度よく当該二次元データに対応する物体の種類を識別することができるようになる。

図１９に戻り、除去部１１０３は、識別部１１０２の識別結果に、不要物体の識別結果が含まれている場合、入力部１１０１から入力された二次元データから、識別部１１０２によって識別された不要物体の表面を示す二次元データ（以下、「不要二次元データ」とも称する。）を除去することによって、不要物体除去後の二次元データを生成する。除去部１１０３は、不要物体除去後の二次元データを記憶部１２および画像生成部１１０５に出力する。

図２１は、実施の形態３に係る識別装置３００によって生成された不要物体除去後の二次元データを説明するための図である。識別部１１０２は、入力部１１０１から入力された二次元データに基づき、各点についての識別結果を出力する。除去部１１０３は、識別部１１０２の識別結果に、不要物体の識別結果が含まれている場合、図２１に示すように、識別部１１０２によって識別された不要物体に対応する二次元データ（不要二次元データ）に対して除去フラグをセットする。図２１の例では、除去対象となる舌、唇、粘膜、および指に対応する不要二次元データに対して、除去フラグとして「０１」をセットする。識別装置３００は、除去フラグに「０１」がセットされた不要二次元データについては、ディスプレイ３に表示する二次元画像に用いないように構成されている。

図１９に戻り、記憶部１２は、除去部１１０３から入力された不要物体除去後の二次元データを記憶する。画像生成部１１０５は、除去部１１０３から入力された不要物体除去後の二次元データに基づき、二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力する。このとき、画像生成部１１０５は、除去フラグに「０１」がセットされた不要二次元データを用いることなく、二次元画像データを生成する。これにより、識別装置３００は、不要物体が除去された後の口腔内の二次元画像をディスプレイ３に表示させてユーザに見せることができる。

［識別装置の処理フロー］
図２２を参照しながら、識別装置３００が実行する処理の一例を示す図である。図２２は、実施の形態３に係る識別装置３００が実行する処理の一例を説明するためのフローチャートである。図２２に示す各ステップ（以下、「Ｓ」で示す。）は、識別装置３００の演算部１１が識別プログラム１２１を実行することで実現される。また、識別装置３００は、口腔内カメラ７による撮影が開始された後、図２２に示すフローチャートの処理を実行する。

図２２に示すように、識別装置３００は、口腔内カメラ７によって撮像された撮像画像に表された物体の表面を示す二次元データを取得する（Ｓ３１）。識別装置３００は、口腔内カメラ７の撮像によって取得された画像１枚分の二次元データと、推定モデル１２２とに基づき、撮像された複数の物体の各々を識別する（Ｓ３２）。

識別装置３００は、識別結果に基づき、不要物体を検出したか否かを判定する（Ｓ３３）。識別装置３００は、不要物体を検出した場合（Ｓ３３でＹＥＳ）、検出した不要物体に対応する不要二次元データを抽出し、抽出した不要二次元データを除去する（Ｓ３４）。すなわち、識別装置３００は、不要二次元データに対して除去フラグをセットする。

識別装置３００は、不要物体を検出しなかった場合（Ｓ３３でＮＯ）、または、Ｓ３４で不要二次元データを除去した後、不要二次元データを除去した後の二次元データを記憶部１２に記憶する（Ｓ３５）。さらに、識別装置３００は、不要二次元データを除去した後の二次元データに基づき、二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力することによって、口腔内の二次元画像をディスプレイ３に表示させる（Ｓ３６）。

識別装置３００は、口腔内カメラ７による撮像が停止したか否かを判定する（Ｓ３７）。識別装置３００は、口腔内カメラ７による撮像が停止していない場合（Ｓ３７でＮＯ）、Ｓ３１に処理を戻す。一方、識別装置３００は、口腔内カメラ７による撮像が停止した場合（Ｓ３７でＹＥＳ）、本処理を終了する。

以上のように、識別装置３００は、口腔内カメラ７の撮影によって得られた画像１枚分の二次元データに基づき、歯科診療に不要な不要物体も推定モデル１２２を用いて識別することができる。これにより、ユーザは、口腔内の複数の物体の各々を自ら識別する必要がなく、口腔内の複数の物体の各々を容易にかつ適切に識別することができる。また、ユーザは、不要物体の二次元データを自ら抽出する必要がなく、不要物体の二次元データを容易にかつ適切に抽出することができる。

＜実施の形態４＞
本開示の実施の形態４について、図面を参照しながら詳細に説明する。なお、実施の形態４においては、実施の形態１と異なる部分のみを説明し、実施の形態１と同じ部分については、同一符号を付してその説明は繰り返さない。

［識別装置の機能構成］
図２３は、実施の形態４に係る識別装置４００の機能構成を示すブロック図である。実施の形態４に係る識別装置４００は、三次元スキャナ２によって取得された三次元データから次元を落とした二次元データを生成し、二次元データに基づき、推定モデル１２２を用いて口腔内の複数の物体の各々を識別し、識別結果に基づき不要物体に対応する三次元データを抽出するように構成されている。

具体的には、図２３に示すように、識別装置４００は、主な機能部として、入力部１１０１と、二次元データ生成部１１０６と、識別部１１０２と、除去部１１０３と、結合部１１０４と、画像生成部１１０５と、記憶部１２とを備える。

入力部１１０１は、三次元スキャナ２によって取得される１スキャンごとの三次元データが入力される。

二次元データ生成部１１０６は、演算部１１の機能部である。二次元データ生成部１１０６は、入力部１１０１から入力される１スキャン分の三次元データから二次元データを生成する。

具体的には、図４を用いて説明したように、共焦点法の技術を用いた三次元スキャナ２は、スキャン範囲に含まれる物体からの光を検出することによって、物体の表面を示す点群の各々の位置情報を含む三次元データを取得することができる。図１０に示すように、三次元スキャナ２によって取得されて入力部１１０１から入力される三次元データは、位置情報として、物体の表面を示す点群の各々のＸ座標、Ｙ座標、およびＺ座標を含み、その位置での色情報を含む。二次元データ生成部１１０６は、入力部１１０１から入力される三次元データに含まれる位置情報のうち、Ｘ座標およびＹ座標のみを用いて物体の表面を示す点群の各々の二次元データを生成する。Ｘ座標およびＹ座標は、二次元データのピクセル位置であり、色情報はそのピクセル位置での画素値である。すなわち、二次元データ生成部１１０６によって三次元データに基づき生成される二次元データは、スキャン範囲に含まれる少なくとも１つの物体を一定距離離間した位置（たとえば、図４の仮想視点位置）から見た場合の当該少なくとも１つの物体の外観を示す二次元画像のデータである。二次元データ生成部１１０６は、生成した二次元データを識別部１１０２に出力する。

なお、二次元データ生成部１１０６は、入力部１１０１から入力される三次元データに含まれる位置情報のうち、Ｘ座標、Ｙ座標、およびＺ座標を用いて物体の表面を示す点群の各々を、距離画像として二次元データを生成してもよい。すなわち、二次元データ生成部１１０６は、Ｘ座標およびＹ座標を二次元データのピクセル位置とし、Ｚ座標をそのピクセル位置での画素値に変換してもよい。距離画像は、Ｚ座標が画像の濃淡を含む色情報によって表現される二次元データである。さらに、二次元データ生成部１１０６は、Ｘ座標およびＹ座標のみを用いて生成した物体の表面を示す二次元データと、Ｘ座標、Ｙ座標、およびＺ座標を用いて生成した距離画像を用いた二次元データの両方を生成してもよい。このように、Ｚ座標を色情報とすれば、人間が視覚的に二次元画像（距離画像）を見る場合に有用である。たとえば、奥歯を上からスキャンした場合の距離画像（Ｚ座標を画素値に変換した画像）においては、歯の咬合面付近が白に近い色になり、歯肉の奥側は黒に近い色になる。すなわち、奥歯における高低差を白黒によって表すことができる。一方、カラー写真のような通常の二次元画像の場合は、色またはＸＹ平面における輪郭によって奥歯の形状が表され、高低差は表現され得ない。特に、機械学習においては、カラー写真のような二次元画像だけでは、スキャンされた物体が歯肉、粘膜（頬の裏側）、および唇のいずれであるのか判断が難しい場合に、上述したような高低差のある距離画像を用いれば各物体を識別することが可能になる。また、演算部１１のようなコンピュータ（ＡＩ）においても、距離画像のようなＺ座標に画素値を用いる場合は、Ｚ座標に単に形状の高さを用いる場合よりも、隣り合う複数の物体間の関係が分かりやすくなるため、畳み込み演算(convolution)を使って計算し易くなる。

識別部１１０２は、二次元データ生成部１１０６から入力される二次元データと、推定モデル１２２とに基づき、複数の物体のうちの少なくとも１つの物体を識別する。識別部１１０２は、識別結果を除去部１１０３に出力する。

ここで、図２４を参照しながら、推定モデル１２２の機械学習について説明する。図２４は、実施の形態４に係る推定モデル１２２を機械学習させるときに用いられる学習用データを説明するための図である。図２４に示すように、実施の形態４に係る推定モデル１２２は、口腔内の複数の物体の各々の位置情報として、Ｘ座標およびＹ座標を含む二次元データと、複数の物体の間における相対的な位置関係を示す位置関係ラベルと、複数の物体の各々を示す正解ラベルとを含む１スキャン分の学習用データを用いて、１スキャン分の二次元データに基づき複数の物体の各々を推定するように機械学習（教師あり学習）が行われる。すなわち、推定モデル１２２は、Ｚ座標を用いることなく、Ｘ座標およびＹ座標を含む二次元データに基づき物体を推定するように機械学習が行われている。

学習用データにおいては、１スキャンで得られる複数の物体の各々の表面を示す点群の各々の二次元データ（位置情報）に対して、物体の種類を示す正解ラベルと、複数の物体の間における相対的な位置関係を示す位置関係ラベルとが対応付けられている。

推定モデル１２２は、１スキャン分の二次元データに基づき、スキャンされた複数の物体の各々の表面を示す点群の各々について物体の種類を識別し、識別結果と正解ラベルとの一致度合いに基づきパラメータ１２２２を調整する。

これにより、推定モデル１２２は、１スキャン分の二次元データに対応付けられた正解ラベルに基づき、当該二次元データに対応する物体の種類を識別するように機械学習することができ、さらに、当該二次元データに対応付けられた位置関係ラベルに基づき、当該二次元データに対応する位置が口腔内のどの領域に含まれるかを機械学習することによって、より精度よく当該二次元データに対応する物体の種類を識別することができるようになる。

さらに、推定モデル１２２は、Ｚ座標の分だけ次元を落とした２次元データに基づき機械学習するため、Ｚ座標を含む三次元データを用いるよりも、演算処理の負担を低減しながら機械学習することができる。

図２３に戻り、除去部１１０３は、識別部１１０２の識別結果に、不要物体の識別結果が含まれている場合、入力部１１０１から入力された三次元データから、識別部１１０２によって識別された不要物体の表面を示す点群の各々の位置情報を含む不要三次元データを除去することによって、不要物体除去後の三次元データを生成する。

具体的には、除去部１１０３は、不要物体の表面を示す点群の各々のＸＹ平面方向における位置情報（Ｘ座標，Ｙ座標）を抽出し、不要物体の表面を示す点群の各々に対応する光軸方向における位置情報（Ｚ座標）を抽出することによって、不要三次元データを抽出する。たとえば、除去部１１０３は、二次元データ生成部１１０６によって生成された二次元データに基づき、識別部１１０２によって識別された不要物体の表面を示す点群の各々のＸ座標およびＹ座標を抽出する。さらに、除去部１１０３は、抽出した不要物体のＸ座標およびＹ座標を検索キーにして、入力部１１０１が取得した三次元データに基づき、不要物体のＸ座標およびＹ座標に対応付けられたＺ座標を抽出する。除去部１１０３は、抽出した不要物体のＸ座標、Ｙ座標、およびＺ座標を不要三次元データとすることができる。ここで、不要物体を抽出するとは、たとえば、Ｘ座標、Ｙ座標、およびＺ座標の各データに対して不要物体を識別できるような識別データを関連付けて記憶することを含む。除去部１１０３は、入力部１１０１から入力された三次元データから、不要三次元データを除去することによって、不要物体除去後の三次元データを生成することができる。除去部１１０３は、不要物体除去後の三次元データを結合部１１０４に出力する。

結合部１１０４は、入力部１１０１に１スキャン分の三次元データが入力されるごとに、除去部１１０３から１スキャン分の三次元データを取得し、蓄積された複数スキャン分の三次元データを結合させることによって、結合データを生成する。結合部１１０４は、結合データを記憶部１２および画像生成部１１０５に出力する。

記憶部１２は、結合部１１０４から入力された結合データを記憶する。画像生成部１１０５は、結合部１１０４から入力された結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力する。これにより、識別装置４００は、不要物体が除去された後の口腔内の二次元画像をディスプレイ３に表示させてユーザに見せることができる。

［識別装置の処理フロー］
図２５を参照しながら、識別装置４００が実行する処理の一例を示す図である。図２５は、実施の形態４に係る識別装置４００が実行する処理の一例を説明するためのフローチャートである。図２４に示す各ステップ（以下、「Ｓ」で示す。）は、識別装置４００の演算部１１が識別プログラム１２１を実行することで実現される。また、識別装置４００は、三次元スキャナ２によるスキャンが開始された後、図２５に示すフローチャートの処理を実行する。

図２５に示すように、識別装置４００は、三次元スキャナ２によってスキャンされた任意の点の三次元データを取得する（Ｓ４１）。識別装置４００は、取得した三次元データから、Ｘ座標およびＹ座標のみを用いて二次元データを生成する（Ｓ４２）。識別装置４００は、二次元データと、推定モデル１２２とに基づき、スキャンされた複数の物体の各々を識別する（Ｓ４３）。

識別装置４００は、識別結果に基づき、不要物体を検出したか否かを判定する（Ｓ４４）。識別装置４００は、不要物体を検出した場合（Ｓ４４でＹＥＳ）、検出した不要物体に対応する不要三次元データを抽出し、抽出した不要三次元データを除去する（Ｓ４５）。すなわち、識別装置４００は、不要三次元データに対して除去フラグをセットする。

識別装置４００は、不要物体を検出しなかった場合（Ｓ４４でＮＯ）、または、Ｓ４５で不要三次元データを除去した後、複数スキャン分の三次元データを結合させることによって、結合データを生成する（Ｓ４６）。

識別装置４００は、結合データを記憶部１２に記憶する（Ｓ４７）。さらに、識別装置４００は、結合データに基づき、任意の視点から見た二次元画像に対応する二次元画像データを生成し、生成した二次元画像データをディスプレイ３に出力することによって、口腔内の二次元画像をディスプレイ３に表示させる（Ｓ４８）。

識別装置４００は、三次元スキャナ２によるスキャンが停止したか否かを判定する（Ｓ４９）。識別装置４００は、三次元スキャナ２によるスキャンが停止していない場合（Ｓ４９でＮＯ）、Ｓ４１に処理を戻す。一方、識別装置４００は、三次元スキャナ２によるスキャンが停止した場合（Ｓ４９でＹＥＳ）、本処理を終了する。

以上のように、識別装置４００は、三次元スキャナ２によって取得された三次元データに基づき、歯科診療に不要な不要物体も推定モデル１２２を用いて識別することができる。これにより、ユーザは、口腔内の複数の物体の各々を自ら識別する必要がなく、口腔内の複数の物体の各々を容易にかつ適切に識別することができる。また、ユーザは、不要物体の三次元データを自ら抽出する必要がなく、不要物体の三次元データを容易にかつ適切に抽出することができる。さらに、識別装置４００は、Ｚ座標の分だけ次元を落とした２次元データに基づき、推定モデル１２２を用いて口腔内の複数の物体の各々を識別することができるため、Ｚ座標を含む三次元データを用いて口腔内の複数の物体の各々を識別するよりも、演算処理の負担を低減しながら不要物体の三次元データを抽出することができる。

＜実施の形態５＞
本開示の実施の形態５について、図面を参照しながら詳細に説明する。なお、実施の形態５においては、実施の形態１と異なる部分のみを説明し、実施の形態１と同じ部分については、同一符号を付してその説明は繰り返さない。

図２６は、実施の形態５に係る三次元スキャナ１０２が三角測量法に基づき三次元データを取得する例を説明するための図である。図２７は、実施の形態５に係る三次元スキャナ１０２によって取得された三次元データに基づき任意の視点から見た二次元画像を示す図である。実施の形態５に係る三次元スキャナ１０２は、実施の形態１に係る三次元スキャナ２と異なり、三角測量法に基づき三次元データを取得する。

図２６に示すように、三角測量法においては、プロジェクタ８によって物体にパターンが投影され、プロジェクタ８とは異なる位置にあるカメラ９によって物体に投影されたパターンが撮像される。図２６（Ａ）に示すように、プロジェクタ８が物体に対して直線パターンを投影した場合、プロジェクタ８と物体とを結ぶ線と、カメラ９と物体とを結ぶ線とによって成される角度に基づき、図２６（Ｂ）に示すように、カメラ９の撮像によって得られたパターン画像は、物体の形状に沿ったパターンが表れる。図２６（Ｃ）に示すように、三次元スキャナ１０２は、プロジェクタ８と物体とを結ぶ線の長さ、カメラ９と物体とを結ぶ線の長さ、プロジェクタ８とカメラ９とを結ぶ線の長さ、およびこれら複数の線によって生成される三角形の各頂点の角度に基づき、公知の三角測量法を用いて物体に投影されたパターンの位置を検出する。

図２７に示すように、三次元スキャナ１０２は、口腔内の物体にパターンを投影するプロジェクタ８と、物体に投影されたパターンを撮像するカメラ９とを備える。三次元スキャナ１０２は、図２７（Ａ）に示すように、プロジェクタ８によって物体にパターンが投影された状態でカメラ９によって物体を撮像する。三次元スキャナ１０２は、図２７（Ａ）の撮像画像に基づき、公知の三角測量法を用いて物体の表面を示す点群の各々の位置情報（Ｘ座標，Ｙ座標，Ｚ座標）を取得する。

さらに、三次元スキャナ１０２は、図２７（Ｂ）に示すように、プロジェクタ８によって物体にパターンが投影されていない状態でカメラ９によって物体を撮像してもよい。上述したように、実施の形態３に係る識別装置３００は、二次元データに基づき口腔内の複数の物体の各々を識別するように構成されており、識別装置３００は、三次元スキャナ１０２によって取得された図２７（Ｂ）の撮像画像に基づき、口腔内の複数の物体の各々を識別してもよい。さらに、識別装置３００は、抽出した不要物体のＸ座標およびＹ座標を検索キーにして、図２７（Ａ）の撮像画像に基づき取得した不要物体のＺ座標を抽出してもよい。

なお、三次元スキャナ１０２は、プロジェクタ８によって物体にパターンが投影された状態でカメラ９によって物体を撮像する処理と、プロジェクタ８によって物体にパターンが投影されていない状態でカメラ９によって物体を撮像する処理とを切り替えることによって、図２７（Ａ）の撮像画像と、図２７（Ｂ）の撮像画像とを取得してもよい。あるいは、三次元スキャナ１０２は、カメラ９を複数備え、プロジェクタ８によって物体にパターンが投影された状態で第１のカメラによって物体を撮像し、プロジェクタ８によって物体にパターンが投影されていない状態で第２のカメラによって物体を撮像することによって、図２７（Ａ）の撮像画像と、図２７（Ｂ）の撮像画像とを取得してもよい。

＜実施の形態６＞
本開示の実施の形態６について、図面を参照しながら詳細に説明する。なお、実施の形態６においては、実施の形態１と異なる部分のみを説明し、実施の形態１と同じ部分については、同一符号を付してその説明は繰り返さない。

図２８は、実施の形態６に係る推定モデルを機械学習させるときに用いられる学習用データを説明するための図である。図２８に示すように、実施の形態６に係る推定モデルは、口腔内の複数の物体の各々の位置情報および法線情報を含む三次元データと、複数の物体の間における相対的な位置関係を示す位置関係ラベルと、複数の物体の各々を示す正解ラベルと、複数の物体の各々が可動可能であるか否かを示す可動ラベルとを含む学習用データを用いて、三次元データに基づき複数の物体の各々を推定するように機械学習（教師あり学習）が行われる。

具体的には、口腔内の複数の物体のうち、口腔内に挿入される指または診療器具などの挿入物、および舌の先端は、動作することによって下顎第１隙間および下顎第２隙間などに存在することが可能であり、その場合、三次元スキャナ２を用いた三次元データの取得において不要物体となり得る。そこで、舌、唇、粘膜、および挿入物体などの可動物体をスキャンすることによって得られた三次元データに対しては、可動ラベルとして「０１」を示すデータが対応付けられる。

これにより、推定モデル１２２は、三次元データに対応付けられた正解ラベルに基づき、当該三次元データに対応する物体の種類を識別するように機械学習することができ、さらに、当該三次元データに対応付けられた可動ラベルに基づき、当該三次元データに対応する物体が可動可能な物体（すなわち、舌、唇、粘膜、または挿入物体）であるかを機械学習することによって、より精度よく当該三次元データに対応する物体の種類を識別することができるようになる。

＜変形例＞
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。

入力部１１０１に入力される三次元データには、物体の表面を示す点群の各々における位置情報および法線情報に加えて、点群の各々における実際の色を表す色情報（ＲＧＢ値）が含まれていてもよい。さらに、推定モデル１２２は、入力部１１０１に入力された三次元データに対応付けられた色情報（ＲＧＢ値）に基づき、物体の種類を識別するように機械学習されてもよい。なお、入力部１１０１に入力される三次元データには、点群の各々における位置情報のみが含まれ、法線情報および色情報が含まれていなくてもよい。

除去部１１０３は、不要三次元データを除去することに限らず、不要三次元データに不要物体を示す色情報を付加してもよい。そして、画像生成部１１０５は、不要物体が除去された後の口腔内の二次元画像を生成することに限らず、不要物体に対応する部分に当該不要物体を示す色が付された二次元画像を生成してディスプレイ３に出力してもよい。

三次元計測方法として、上記の技術以外には、ランダムパターン投影またはパターン投影のないSfM（Stracture From Motion）及びSLAM（Simultaneous Localization and Mapping）などの三角測量法を用いてもよいし、TOF（Time Of Flight）またはLIDAR（Light Detection and Ranging）などのレーザー技術などを用いてもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１，２００，３００，４００ 識別装置、２，１０２ 三次元スキャナ、３ ディスプレイ、４ キーボード、５ マウス、７ 口腔内カメラ、８ プロジェクタ、９ カメラ、１０ 識別システム、１１ 演算部、１２ 記憶部、１３ スキャナインターフェース、１４ 通信部、１５ ディスプレイインターフェース、１６ 周辺機器インターフェース、１７ 読取部、２０ リムーバブルディスク、２１ ハウジング、２２ プローブ、２３ 光源、２４ レンズ、２５ 光学センサ、２６ プリズム、２７ カウンタウェイト、２８ 反射部、２９ 開口部、４０ 制御装置、１２１ 識別プログラム、１２２ 推定モデル、１１０１ 入力部、１１０２ 識別部、１１０３ 除去部、１１０４ 結合部、１１０５ 画像生成部、１１０６ 二次元データ生成部、１２２１ ニューラルネットワーク、１２２２ パラメータ。

Claims (13)

1. 口腔内の複数の物体を識別する識別装置であって、
   前記複数の物体の各々の位置情報を含む位置データが入力される入力部と、
   前記入力部から入力される前記位置データと、少なくとも前記口腔内において互いに相対的な位置関係が定まる前記複数の物体の各々の位置データに基づき前記複数の物体の各々を推定するための機械学習が行われた推定モデルとに基づき、前記複数の物体のうちの少なくとも１つの物体を識別する演算部とを備える、識別装置。
2. 前記複数の物体は、歯牙、舌、唇、小帯、歯肉、粘膜、補綴物、および前記口腔内に挿入される挿入物体のうちの少なくとも１つを含む、請求項１に記載の識別装置。
3. 前記挿入物体は、前記口腔内を撮像するための撮像装置が前記口腔内に挿入される際に、前記口腔内の軟組織を押さえるために挿入される指および診療器具のうちの少なくとも１つを含む、請求項２に記載の識別装置。
4. 前記推定モデルは、前記複数の物体の各々の位置情報を含む前記位置データと、前記複数の物体の各々を示す正解ラベルとを含む学習用データを用いて、前記位置データに基づき前記複数の物体の各々を推定するように機械学習が行われている、請求項１～請求項３のいずれか１項に記載の識別装置。
5. 前記学習用データは、前記複数の物体の間における相対的な位置関係を示す位置関係ラベルを含み、
   前記位置関係ラベルは、前記複数の物体の各々の前記位置データに対応付けられている、請求項４に記載の識別装置。
6. 前記学習用データにおいては、前記位置関係ラベルが、対応する前記位置データに近接するように配列されている、請求項５に記載の識別装置。
7. 前記位置関係ラベルは、歯牙が存在する第１領域、舌が存在する第２領域、唇が存在する第３領域、前記第１領域と前記第２領域との間の第４領域、および前記第１領域と前記第３領域との間の第５領域のうちの少なくとも１つを示すデータを含む、請求項５に記載の識別装置。
8. 前記複数の物体は、前記口腔内に挿入される挿入物体を含み、
   前記挿入物体は、前記第４領域または前記第５領域に存在する、請求項７に記載の識別装置。
9. 前記複数の物体は、歯科診療に不要な物体として、前記口腔内に挿入される挿入物体、舌、唇、および粘膜（頬裏）のうちの少なくとも１つを含む不要物体を含み、
   前記演算部は、前記入力部から入力される前記位置データから、識別結果に基づき特定した前記不要物体に対応する不要位置データを除去する、請求項１に記載の識別装置。
10. 前記演算部は、前記不要位置データを除去した後の位置データを用いて生成した画像データを出力する、請求項９に記載の識別装置。
11. 前記入力部から入力される前記位置データは、前記口腔内に挿入されて共焦点法または三角測量法に基づき前記口腔内を撮像する撮像装置によって取得される、請求項１に記載の識別装置。
12. コンピュータによる口腔内の複数の物体を識別する識別方法であって、
    前記複数の物体の各々の位置情報を含む位置データが入力されるステップと、
    入力される前記位置データと、少なくとも前記口腔内において互いに相対的な位置関係が定まる前記複数の物体の各々の位置データに基づき前記複数の物体の各々を推定するための機械学習が行われた推定モデルとに基づき、前記複数の物体のうちの少なくとも１つの物体を識別するステップとを含む、識別方法。
13. 口腔内の複数の物体を識別する識別プログラムであって、
    コンピュータに、
    前記複数の物体の各々の位置情報を含む位置データが入力されるステップと、
    入力される前記位置データと、少なくとも前記口腔内において互いに相対的な位置関係が定まる前記複数の物体の各々の位置データに基づき前記複数の物体の各々を推定するための機械学習が行われた推定モデルとに基づき、前記複数の物体のうちの少なくとも１つの物体を識別するステップとを実行させる、識別プログラム。
    

Images