JP2022170352A - 推定装置、推定方法、および推定用プログラム - Google Patents

Abstract

【課題】正確に、容易に、早い段階で、診療内容または処置内容を推定することができる推定装置、推定方法、および推定用プログラムを提供する。
【解決手段】推定装置１００は、診療内容を推定するための複数の推定用データが略時系列で入力される入力部１５０と、入力部１５０から入力される複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接部１５６と、近接処理が実行された複数の推定用データと、ニューラルネットワーク１６２を含む推定モデル１６１とに基づき、診療内容を推定する推定部１６０とを備える。
【選択図】図８

Description

本開示は、歯科における診療内容または処置内容を推定する推定装置、推定方法、および推定用プログラムに関する。

近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い活用するといった技術が生み出されている。たとえば、特許文献１は、機械学習による演算結果に基づいて患者の負担を軽減するようにマニピュレータの駆動を制御する歯科診療装置を開示する。

特開２０１９－１７０６８７号公報

特許文献１に開示されるように、ＡＩ技術は歯科分野においても適用することが想定されるが、歯科分野においては、ＦＡ（Factory Automation）分野のような産業分野に比べてＡＩ技術の発展が未だ乏しい。ＡＩ技術を用いて歯科における診療内容または処置内容を推定することができれば、正確に、容易に、早い段階で、診療内容または処置内容を推定することができ、より利便性のある歯科診療を実現することができる。

本開示は、正確に、容易に、早い段階で、診療内容または処置内容を推定することができる推定装置、推定方法、および推定用プログラムを提供することを目的とする。

本開示の一例に従えば、歯科における診療内容を推定する推定装置が提供される。推定装置は、診療内容を推定するための複数の推定用データが略時系列で入力される入力部と、入力部から入力される複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接部と、近接処理が実行された複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、診療内容を推定する推定部とを備える。

本開示の一例に従えば、歯科における処置内容を推定する推定装置が提供される。推定装置は、処置内容を推定するための複数の推定用データが略時系列で入力される入力部と、入力部から入力される複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接部と、近接処理が実行された複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、処置内容を推定する推定部とを備える。

本開示の一例に従えば、コンピュータによる歯科における診療内容を推定する推定方法が提供される。推定方法は、診療内容を推定するための複数の推定用データが略時系列で入力される入力ステップと、入力される複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接ステップと、近接処理が実行された複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、診療内容を推定する推定ステップとを含む。

本開示の一例に従えば、コンピュータによる歯科における診療内容を推定する推定用プログラムが提供される。推定用プログラムは、コンピュータに、診療内容を推定するための複数の推定用データが略時系列で入力される入力ステップと、入力される複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接ステップと、近接処理が実行された複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、診療内容を推定する推定ステップとを実行させる。

本開示によれば、正確に、容易に、早い段階で、診療内容または処置内容を推定することができ、より利便性のある歯科診療を実現することができる。

本実施の形態に係る推定システムの全体構成を示す模式図である。 治療内容および処置内容を説明するための図である。 トレーカメラの撮影画像の一例を説明するための図である。 患者カメラの撮影画像の一例を説明するための図である。 全体カメラの撮影画像の一例を説明するための図である。 本実施の形態に係る推定システムの内部構成を示すブロック図である。 本実施の形態に係る推定装置の学習段階における機能構成を示すブロック図である。 本実施の形態に係る推定装置の運用段階における機能構成を示すブロック図である。 根管治療におけるトレーカメラの撮影画像の一例を説明するための図である。 トレーカメラの撮影画像から取得されたトレー画像データの一例を説明するための図である。 患者カメラの撮影画像から取得された患者画像データの一例を説明するための図である。 全体カメラの撮影画像から取得された全体画像データの一例を説明するための図である。 診療装置から取得された診療関連データの一例を説明するための図である。 同期データの一例を説明するための図である。 同期データの一例を説明するための図である。 同期データの一例を説明するための図である。 近接処理の一例を説明するための図である。 近接処理の一例を説明するための図である。 近接処理の一例を説明するための図である。 近接データの一例を説明するための図である。 処置ごとの近接データの一例を説明するための図である。 記憶処理の一例を説明するための図である。 推定装置が実行する推定処理の一例を説明するためのフローチャートである。 推定装置によるカルテの作成支援の一例を説明するための図である。 推定装置による診療装置の操作支援の一例を説明するための図である。 推定装置によるアラート出力支援の一例を説明するための図である。

本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜推定システムの全体構成＞
図１は、本実施の形態に係る推定システム１０００の全体構成を示す模式図である。本実施の形態に係る推定システム１０００は、歯科分野において用いられ、歯科における診療内容または処置内容を推定する。

「診療内容」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の学生、および歯科技工士など、歯科における医療従事者（以下、単に「術者」とも称する。）によって行われる患者に対する診療の内容を含む。「診療」は、診察および治療の少なくともいずれか１つを含む。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含み、本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと（審美治療）を含み、本実施の形態においては、これら治療の内容を「治療内容」とも称する。すなわち、「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか１つを含む。術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。すなわち、「治療内容」は、１または複数の「処置内容」を含む。

図１に示すように、推定システム１０００は、診療装置１と、推定装置１００とを備える。

診療装置１は、たとえば、術者が患者に対して診療を行うためのチェアユニットである。診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダ１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置１９と、器具制御装置２１と、表示制御装置２２と、スピーカ３５とを備える。

チェア１１は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。

ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。

トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。なお、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）によって吊り下げられてもよい。たとえば、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６によって吊り下げられてもよい。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。

「診療器具」は、ピンセット、ミラー、エキスカベーター、探針、およびマイクロスコープなど、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダ１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダ１４によって保持されない診療器具が主に置かれる。

診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。

フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の姿勢を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。

ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。

操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。

照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。なお、照明装置１９に限らず、ディスプレイ１７も、ポール５またはアーム６の先端に取り付けられてもよい。

スピーカ３５は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。

上述したように構成された診療装置１を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、術者においては、患者に対して行った診療の内容を正確に、容易に、早い段階で、把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられているが、その一方で、短時間で効率よく患者を診療することも求められている。このため、術者は、診療中に行った処置ないし治療の内容を、その都度、記録することができない場合もある。近年、ＡＩを用いてデータの分析・学習を行い活用するといった技術が生み出されているが、ＡＩ技術を用いて歯科における診療内容または処置内容を推定することができれば、正確に、容易に、早い段階で、診療内容または処置内容を推定することができ、より利便性のある歯科診療を実現することができる。

ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言える。さらに、複数の処置の組み合わせから診療の内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。

そこで、本実施の形態に係る推定システム１０００（推定装置１００）は、トレー３０、診療装置１の動作、術者の行動、および患者の行動を、ＡＩを用いて分析・学習することで、処置内容ないしは診療内容を推定する技術を提供する。以下、当該技術を具体的に説明する。

本実施の形態に係る診療装置１には、複数のカメラが取り付けられている。具体的には、推定システム１０００は、ディスプレイ１７に取り付けられたトレーカメラ５１と、照明装置１９に取り付けられた患者カメラ５２と、ポール５の上部に取り付けられた全体カメラ５３とを備える。

トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた撮影情報を含む画像データ（以下、「トレー画像データ」とも称する。）は、推定装置１００によって取得される。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などを推定装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

患者カメラ５２は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置１９によって患者の口腔内が照明されるため、照明装置１９に取り付けられた患者カメラ５２は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ５２によって得られた撮影情報を含む画像データ（以下、「患者画像データ」とも称する。）は、推定装置１００によって取得される。患者カメラ５２におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を推定装置１００が認識できる程度に予め調整されている。なお、患者カメラ５２は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。患者カメラ５２は、口腔周辺の部位と診療器具とにおける奥行き方向（たとえば、患者カメラ５２から患者を見る方向）の位置関係を推定装置１００が検出できるように、全体カメラ５３と同様に三次元の位置座標を検出可能であってもよい。

全体カメラ５３は、診療装置１を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ５３は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５３は、ポール５の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の行動と、診療装置１の動作とを上空から俯瞰して撮影する。

なお、全体カメラ５３は、図１に示すような診療装置１のチェア１１（またはチェア１１に座った患者）の正面から撮影するカメラに加えて、診療装置１のチェア１１（またはチェア１１に座った患者）の背面から撮影するカメラを含んでいてもよい。このようにすれば、全体カメラ５３は、診療装置１の正面に限らず、背面からも診療空間を撮影することができるため、死角無くより詳細に、かつ、より広範囲に、診療空間を撮影することができる。さらに、全体カメラ５３は、診療空間に存在する撮影対象（たとえば、術者および患者などの人物）を追尾することができるものであってもよい。

「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５３によって得られた撮影情報を含む画像データ（以下、「全体画像データ」とも称する。）は、推定装置１００によって取得される。全体カメラ５３におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定装置１００が認識できる程度に予め調整されている。なお、全体カメラ５３は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。また、全体カメラ５３は、診療空間を平面で認識する他に、診療空間を奥行き方向で認識可能なデプスカメラであってもよい。さらに、全体カメラ５３は、診療空間を全方位で撮影可能な３６０度カメラであってもよい。

上述したトレー画像データ、患者画像データ、および全体画像データをまとめて「画像関連データ」とも称する。なお、「画像関連データ」という文言は、トレー画像データ、患者画像データ、および全体画像データの全てを意味する場合もあるが、トレー画像データ、患者画像データ、および全体画像データのうちの少なくともいずれか１つを意味する場合もある。推定装置１００は、画像関連データに基づき診療内容を推定するため、「画像関連データ」を「推定用データ」とも称する。

詳しくは後述するが、推定装置１００は、トレー画像データおよび患者画像データに基づき、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類を検出する。推定装置１００は、全体画像データに基づき、撮影画像に映し出された歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した推定装置１００による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、患者画像データ、および全体画像データそのものを含んでいてもよいし、これらのデータに基づき推定装置１００の画像認識によって取得された検出結果を含んでいてもよい。

推定装置１００は、取得した各種のデータに基づき、診療装置１を用いて行われた患者に対する診療の内容を推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、推定装置１００は、診療装置１に取り付けられたトレーカメラ５１、患者カメラ５２、および全体カメラ５３の少なくともいずれか１つから、画像データを取得する。さらに、推定装置１００は、診療装置１で取得した診療に関するデータ（以下、「診療関連データ」とも称する。）を取得する。推定装置１００は、診療装置１から取得した画像データおよび診療関連データの少なくともいずれか１つに基づき、患者に対する診療内容を推定する。

「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の少なくともいずれか１つにおける過去および現在の少なくとも１つの制御データを含む。たとえば、「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、および操作パネル１８の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア１１の現在の状態（姿勢および位置など）を特定するためのデータを含んでいてもよい。推定装置１００は、診療関連データに基づき診療内容を推定するため、「診療関連データ」を「推定用データ」とも称する。

なお、本実施の形態においては、表示装置１１０が推定装置１００に接続されているが、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が推定装置１００に接続されていてもよい。

＜診療内容および処置内容＞
図２は、治療内容および処置内容を説明するための図である。図２に示すように、治療内容としては、治療Ａ、治療Ｂ、および治療Ｃといったように、複数の治療内容が存在する。各治療は、１または複数の処置の組み合わせで構成されている。具体的には、治療Ａは、処置ａ、処置ｂ、処置ｃ、処置ｄ、および処置ｅから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ａを施すことができる。治療Ｂは、処置ａ、処置ｄ、および処置ｆから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ｂを施すことができる。治療Ｃは、処置ｂ、処置ｃ、処置ｄ、および処置ｇから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ｃを施すことができる。

このように、各治療においては、術者によって１または複数の処置が患者に行われ、互いに異なる複数の治療の間においては共通の処置が含まれる場合がある。たとえば、処置ｄは、治療Ａ、治療Ｂ、および治療Ｃのいずれにおいても行われる処置である。また、各治療のみで行われる処置もある。たとえば、処置ｅは、治療Ａのみで行われる処置である。

治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、診査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。

図２においては、治療内容として根管治療の例が示されている。根管治療とは、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。

診査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。なお、図２に示される根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、図２に示される処置の一部が省かれてもよい。

＜トレーカメラの撮影画像＞
図３は、トレーカメラ５１の撮影画像の一例を説明するための図である。図３に示すように、トレーカメラ５１によって、トレー３０に置かれた１または複数の診療器具が撮影される。

たとえば、図３に示す例では、ラバーダム防湿一式３０１、ラバーダムシート３０２、根管長測定器３０３、バーセット３０４、ファイル（リーマ）３０５、口角対極３０６、ファールクリップ３０７、ブローチ３０８、洗浄用ニードル３０９、洗浄用シリンジ３１０、仮封材充填器３１１、クレンザー３１２、タービン３１３、ピンセット３１４、バキューム３１５、ミラー３１６、エキスカベーター３１７、探針３１８、および根管材料注入器３１９といったように、複数の診療器具がトレー３０に置かれた様子が撮影画像に映し出されている。

診療中においては、トレー３０に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ５１の撮影画像に映し出されない。たとえば、診療中にミラー３１６が使用された場合は、トレー３０上からミラー３１６が存在しないため、トレーカメラ５１の撮影画像にミラー３１６が映し出されない。

推定装置１００は、図３に示すようなトレーカメラ５１によって取得された撮影画像を含むトレー画像データを画像認識などで分析することで、トレー３０に置かれた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などを特定することができる。

＜患者カメラの撮影画像＞
図４は、患者カメラ５２の撮影画像の一例を説明するための図である。図４に示すように、患者カメラ５２によって、患者の口腔内を少なくとも含む領域が撮影される。

たとえば、図４に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具（この例ではピンセット３１４およびミラー３１６）が位置する様子が撮影画像に映し出されている。

診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図４に示すように、患者カメラ５２の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。

推定装置１００は、図４に示すような患者カメラ５２によって取得された撮影画像を含む患者画像データを画像認識などで分析することで、患者の口腔内における診療器具の位置などを特定することができる。

＜全体カメラの撮影画像＞
図５は、全体カメラ５３の撮影画像の一例を説明するための図である。図５に示すように、全体カメラ５３によって、診療空間を少なくとも含む領域が撮影される。

たとえば、図５に示す撮影画像では、診療中の術者（この例では歯科医師３および歯科助手４など）および患者２の行動と、診療装置１の動作（この例ではトレーテーブル１３における操作パネル１８およびトレー３０上の診療器具など）とが撮影画像に映し出されている。

診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図５に示すように、全体カメラ５３の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などが映し出される。

推定装置１００は、図５に示すような全体カメラ５３によって取得された撮影画像を含む全体画像データを画像認識などで分析することで、診療中の歯科医師および歯科助手などの術者の行動（位置）、患者の行動（位置）、および診療装置１の動作（位置）などを特定することができる。

＜推定システムの内部構成＞
図６は、本実施の形態に係る推定システム１０００の内部構成を示すブロック図である。図６に示すように、推定システム１０００は、複数のカメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）と、診療装置１と、推定装置１００とを備える。

［診療装置の内部構成］
診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、音制御装置３２と、ベースンユニット１２とを備える。

チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、推定装置１００からの制御データをＣＡＮ（Controller Area Network）通信を介して受信すると、当該制御データに基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１に座った患者が座位姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１に座った患者が仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。

器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、推定装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、診療器具１５の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、推定装置１００が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置２１は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。このように、器具制御装置２１は、フットコントローラ１６または操作パネル１８に対する術者の操作に基づき診療器具１５の駆動を制御する。

表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、推定装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、ディスプレイ１７を制御する。パネル制御部２２２は、推定装置１００の制御に基づく制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、操作パネル１８を制御する。

音制御装置３２は、音制御部３２１を含む。音制御部３２１は、推定装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、スピーカ３５を制御する。

ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、推定装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、推定装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、照明装置１９の照明および消灯を制御する。

上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。

チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、ＣＡＮ通信によって相互に通信する。ＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。

さらに、ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３と、蓄積部１２３によって蓄積された診療関連データを通信によって推定装置１００に出力するための通信部１２４とを含む。

蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信によって通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭまたはＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。

通信部１２４は、有線または無線のＬＡＮ（Local Area Network）通信によって推定装置１００との間で通信する。なお、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、推定装置１００は、一時的に記憶する揮発性の記憶媒体を介して、ＣＡＮ通信に流れている診療関連データを、直接的に取得してもよい。

［推定装置の内部構成］
推定装置１００は、通信装置１０１と、演算装置１０２と、記憶装置１０３とを備える。

通信装置１０１は、診療装置１との間で通信する一方で、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々との間でも通信可能である。通信装置１０１は、有線または無線のＬＡＮ通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される画像関連データを取得してもよい。なお、診療装置１との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。

通信装置１０１は、有線または無線のＬＡＮ通信によって推定装置１００との間で通信することで、診療装置１から診療関連データを取得する。なお、通信装置１０１は、その他の形式で診療装置１から診療関連データを取得してもよい。たとえば、上述したように、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。

演算装置１０２は、各種のプログラム（たとえば、後述する推定用プログラム１４１）を実行することで、診療内容または処置内容の推定処理、および診療内容または処置内容を推定するための学習処理などの各種の処理を実行する演算主体である。演算装置１０２は、「コンピュータ」の一実施形態である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。

なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）で構成されてもよい。

記憶装置１０３は、「記憶部」の一実施形態である。記憶装置１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域（たとえば、ワーキングエリア）を提供する。記憶装置１０３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成されたり、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成されたりする。記憶装置１０３は、データベースエンジンで構成されてもよい。

推定装置１００は、演算装置１０２と、記憶装置１０３とを含むマイクロコンピュータを備えていてもよい。この場合、記憶装置１０３は、マイクロコンピュータのワーキングエリアとして用いられる揮発性のメモリであってもよい。

記憶装置１０３は、推定装置１００が備えるものに限らない。たとえば、診療装置１に通信可能に接続された院内サーバが記憶装置１０３を備えていてもよいし、診療装置１が設置された診療空間外に設置された院外サーバが記憶装置１０３を備えていてもよい。さらに、記憶装置１０３は、複数の診療装置１の各々が備える複数の推定装置１００の各々が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した画像関連データおよび診療関連データを記憶装置１０３によって一律に蓄積しかつ管理することができる。

記憶装置１０３は、推定モデル１６１と、推定用プログラム１４１と、ＯＳ（Operating System）１４２とを格納する。

推定モデル１６１は、各カメラから取得した画像関連データおよび診療装置１から取得した診療関連データの少なくともいずれか１つに基づき、患者の診療内容を推定するために用いられる。推定モデル１６１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）され、患者の診療内容の推定精度を向上させることができる。

なお、推定装置１００の演算装置１０２によって診療内容を推定する処理を「推定処理」とも称し、推定装置１００の演算装置１０２によって推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。

推定用プログラム１４１は、演算装置１０２が推定処理および学習処理を実行するためのプログラムである。なお、推定装置１００は、推定処理によって得られた推定結果に基づき、各制御対象を制御するための制御データを生成するとともに、生成した制御データを各制御対象に出力する制御プログラムを含んでいてもよい。

推定装置１００には、表示装置１１０が接続されている。表示装置１１０は、たとえば、推定した診療内容または処置内容を示す画像など、各種の画像を表示する。なお、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が推定装置１００に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。表示装置１１０は、推定装置１００が備えていてもよい。

＜推定装置の機能構成＞
［推定装置の学習段階における機能構成］
図７は、本実施の形態に係る推定装置１００の学習段階における機能構成を示すブロック図である。図７に示すように、推定装置１００は、主な機能部として、入力部１５０と、検出部１５１～１５３と、変換部１５４と、同期部１５５と、近接部１５６と、圧縮部１５７と、記憶処理部１５８と、推定部１６０と、多数決部１７０とを備える。なお、入力部１５０は、通信装置１０１の機能部であり、検出部１５１～１５３、変換部１５４、同期部１５５、近接部１５６、圧縮部１５７、記憶処理部１５８、推定部１６０、および多数決部１７０は、各々演算装置１０２および記憶装置１０３の機能部である。

入力部１５０には、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々で撮影した画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と、診療装置１で取得した診療関連データといった複数の推定用データが略時系列で入力される。

推定用データが略時系列で入力されることは、１または複数の推定用データが時系列で入力されることを含む。推定用データが略時系列で入力されることは、１または複数の推定用データが一定時間ごとまたはランダムな間隔で入力部１５０に入力されることを含む。

さらに、推定用データが略時系列で入力されることは、複数の推定用データが互いに同じタイミングで入力部１５０に入力されることと、複数の推定用データが互いに異なるタイミングで入力部１５０に入力されることとを含む。たとえば、時刻ｔ１において取得されたトレー画像データが入力部１５０に入力されるタイミングと、同じく時刻ｔ１において取得された診療関連データが入力部１５０に入力されるタイミングとが同じであってもよいし、異なるタイミングであってもよい。たとえば、時刻ｔ２において取得されたトレー画像データが入力部１５０に入力されるタイミングと、同じく時刻ｔ２において取得された患者画像データが入力部１５０に入力されるタイミングとが同じであってもよいし、異なるタイミングであってもよい。このように、複数の推定用データの各々は、同期しながら入力部１５０に入力されてもよいし、同期することなく入力部１５０に入力されてもよい。

検出部１５１～１５３は、入力部１５０に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。たとえば、検出部１５１は、後述する図９に示すようなトレーカメラ５１による複数枚の撮影画像のデータから、後述する図１０に示すように、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに変化するトレー３０に置かれた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などを推定する。

ここで、検出部１５１の構成についてさらに詳細に説明する。図中の破線部Ｘに示すように、検出部１５１は、推定モデル１５１１を有する。さらに、推定モデル１５１１は、ニューラルネットワーク１５１２と、当該ニューラルネットワーク１５１２によって用いられるパラメータ１５１３とを含む。パラメータ１５１３は、ニューラルネットワーク１５１２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。

ニューラルネットワーク１５１２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。

検出部１５１は、トレーカメラ５１によって入力部１５０に入力されたトレー画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定する。

学習段階において、推定モデル１５１１は、トレー画像データに関連付けられた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などと、当該トレー画像データを用いた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などの推定結果とに基づき学習されることで最適化（調整）される。具体的には、推定モデル１５１１は、教師データとしてトレー画像データが入力されると、当該トレー画像データに基づきニューラルネットワーク１５１２によってトレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定する。そして、推定モデル１５１１は、自身の推定結果と、入力されたトレー画像データに関連付けられた正解データである診療器具の有無、形状、種類、および位置などとが一致するか否かを判定し、両者が一致すればパラメータ１５１３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１５１３を更新することで、パラメータ１５１３を最適化する。なお、上述したような推定モデル１５１１の学習は、学習段階に限らず、運用段階においても行われてもよい。なお、推定モデル１５１１は、診療器具の有無、形状、種類、および位置のうち、少なくともいずれか１つに基づき学習されてもよい。

このような推定モデル１５１１を用いることで、後述する図９に示すように、検出部１５１は、トレーカメラ５１によって入力部１５０に略時系列で入力されたトレー画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定することができる。たとえば、図１０に示すトレー画像データにおいては、トレー３０上に存在する診療器具に対応する記憶領域に第１データ（たとえば、「０」のデータ）が格納され、トレー３０上に存在しない診療器具に対応する記憶領域に第２データ（たとえば、「１」のデータ）が格納される。

なお、図示は省略するが、検出部１５２および検出部１５３の各々についても、検出部１５１と同様の構成を有する。

検出部１５２は、ＣＮＮなど、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、検出部１５２の推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。

このような推定モデルを用いることで、後述する図１１に示すように、検出部１５２は、患者カメラ５２によって入力部１５０に略時系列で入力された患者画像データと、当該推定モデルとに基づき、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定することができる。たとえば、図１１に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に第１データ（たとえば、「０」のデータ）が格納され、両者が所定範囲内に位置する場合に記憶領域に第２データ（たとえば、「１」のデータ）が格納される。

同様に、検出部１５３は、ＣＮＮなど、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、検出部１５３の推定モデルは、全体画像データに関連付けられた術者および患者の行動、診療装置１の動作などと、当該全体画像データを用いた術者および患者の行動、診療装置１の動作などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。

このような推定モデルを用いることで、後述する図１２に示すように、検出部１５３は、全体カメラ５３によって入力部１５０に略時系列で入力された全体画像データと、当該推定モデルとに基づき、所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定することができる。たとえば、図１２に示す全体画像データにおいては、歯科医師や歯科助手などの術者、患者、および診療器具などの位置関係において、術者と患者、または診療器具と患者が所定範囲内に位置しない場合に記憶領域に第１データ（たとえば、「０」のデータ）が格納され、術者と患者、または診療器具と患者が所定範囲内に位置する場合に記憶領域に第２データ（たとえば、「１」のデータ）が格納される。

なお、本実施の形態において、検出部１５１～１５３の各々は、ニューラルネットワークを含む推定モデルによって画像認識を行うものであったが、このようなＡＩ技術に限らず、公知のパターンマッチングなどの技術を用いて画像認識を行ってもよい。また、検出部１５１～１５３の各々の機能は、推定装置１００が有するものではなく、各カメラまたは各カメラの近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる画像認識の結果を含む画像関連データが入力部１５０に入力される。

変換部１５４は、診療装置１から入力部１５０に入力された診療関連データを、所定の形式に変換する。具体的には、変換部１５４は、入力部１５０に入力された診療関連データを、同じく入力部１５０に入力された画像関連データと同期させるために適した形式に変換する。たとえば、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸に合わせるように、診療関連データの形式を変換する。あるいは、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、診療関連データの形式を変換する。

同期部１５５は、検出部１５１～１５３による推定結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させる。たとえば、同期部１５５は、後述する図１４～図１６に示すように、画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに同期させる。画像関連データと診療関連データとが同期することで得られるデータを「同期データ」とも称する。

近接部１５６は、同期データに含まれる複数の推定用データ（トレー画像データ、患者画像データ、および全体画像データの各々に含まれるデータ、診療関連データに含まれるデータ）の配列を入れ替えることで、関連する複数のデータを近接させる処理（以下、「近接処理」とも称する。）を実行する。

たとえば、後述する図１６に示すように、複数の推定用データを所定時間ごと（たとえば、Ｔ１、Ｔ２、Ｔ３、…）に互いに関連付けた場合、所定時間ごとに第１データ（「０」のデータ）と第２データ（「１」のデータ）とが配列されるような表ができあがる。図１６の例では、表の横軸において同期時間（同期タイミング）が表され、表の縦軸において各推定用データの項目種別が表されている。

近接部１５６は、後述する図１７～図１９に示すように、近接処理を実行することで、所定時間ごとに複数の推定用データの配列を入れ替える。より具体的には、近接部１５６は、近接処理を実行することで、同期時間ごとに縦軸で表される推定用データの配置を入れ替える。これにより、近接部１５６は、図１６に示す状態から後述する図２０に示す状態へと、同期データのマッピング態様（表の態様）を変化することができる。近接処理が実行された後の同期データを「近接データ」とも称する。

近接部１５６は、近接処理において、予め定められた規定に基づいて、複数の推定用データに対して近接処理を実行する。「規定」は、トレー画像データ、患者画像データ、および全体画像データの各々に基づく画像認識の結果と、診療関連データから特定されるチェア１１などの制御データ（たとえば、ログデータ）との関連性を示す。

たとえば、「規定」は、トレー画像データに基づきミラーの有無を認識した結果を含むデータ（「０」または「１」のデータ）と、照明装置１９の動作（点灯状態、発光強度など）に関するデータ（「０」または「１」のデータ）との関連性を定める。「規定」は、診療器具１５の動作（ピックアップ、回転数など）に関するデータ（「０」または「１」のデータ）と、フットコントローラ１６の動作（踏込量、踏込パターンなど）に関するデータ（「０」または「１」のデータ）との関連性を定める。「規定」は、チェア１１の動作（座面高さ、背板角度、動作有無など）に関するデータ（「０」または「１」のデータ）と、全体画像データに基づき患者の位置を認識した結果を含むデータ（「０」または「１」のデータ）との関連性を定める。「規定」は、診療器具１５の動作（ピックアップ、回転数など）に関するデータ（「０」または「１」のデータ）と、患者画像データに基づき治療部位を認識した結果を含むデータ（「０」または「１」のデータ）との関連性を定める。「規定」は、注水の動作（診療器具１５の注水の動作有無、コップの載置の有無など）に関するデータ（「０」または「１」のデータ）と、患者画像データに基づき治療部位を認識した結果を含むデータ（「０」または「１」のデータ）との関連性を定める。「規定」は、全体画像データに基づき歯科医師の位置を認識した結果を含むデータ（「０」または「１」のデータ）と、全体画像データに基づき歯科助手の位置を認識した結果を含むデータ（「０」または「１」のデータ）との関連性を定める。

一連の診療において、関連性がある複数の推定用データは、同じようなデータを表す。たとえば、本実施の形態においては、一連の診療において、当該診療に含まれる処置ごとに関連性がある複数の推定用データに対して「１」のデータが割り当てられる。近接部１５６は、「１」のデータが割り当てられた複数の推定用データ同士を近接させることを、近接処理における「規定」とする。

なお、「規定」は、「１」のデータが割り当てられた複数の推定用データ同士を近接させることに限らない。たとえば、一連の診療において、当該診療に含まれる処置ごとに、複数の推定用データの各々について、他の推定用データとの間の相関関係が統計によって割り出されてもよい。あるいは、術者などのユーザまたは設計者が、自身の経験から、予め相関係数の高い複数の推定用データを割り出してもよい。そして、「規定」は、相関係数の高い複数の推定用データ同士を近接させることを含んでいてもよい。つまり、近接部１５６は、単純に、「１」のデータが割り当てられた複数の推定用データ同士を近接させてもよいし、相関係数の高い複数の推定用データ同士を近接させてもよい。

このように、近接部１５６は、同期データに含まれる複数の推定用データ（トレー画像データ、患者画像データ、および全体画像データの各々に含まれる複数のデータ、診療関連データに含まれる複数のデータ）の配列を、所定時間ごと（たとえば、Ｔ１、Ｔ２、Ｔ３、…）に予め定められた規定に基づいて入れ替えることで、関連する複数のデータ（たとえば、「１」のデータ同士）を近接させる。

圧縮部１５７は、近接部１５６から取得した近接データを圧縮することで、近接データに含まれる複数の推定用データのうちから、推定部による推定処理に影響を与えない程度でデータを省く。たとえば、圧縮部１５７は、複数の推定用データの各々を、時間軸方向で圧縮することで、より推定処理に適した推定用データ群を作成する。好ましくは、圧縮部１５７は、推定処理による診療内容の推定精度を極力低下させない一方で、推定処理の時間を短縮するように、近接データに含まれる複数の推定用データを圧縮する。

記憶処理部１５８は、入力部１５０から略時系列で入力される複数の推定用データを、所定期間ごとにまとめて記憶領域に記憶させる処理（以下、「記憶処理」とも称する。）を繰り返し実行する。なお、記憶処理によってデータが記憶される記憶領域は、記憶装置１０３であってもよい。なお、演算装置１０２は、複雑な演算を伴わない処理を高速で繰り返す場合、ロジック回路とＧＰＵとを備えたマイクロコンピュータであってもよい。演算装置１０２がマイクロコンピュータとして構成される場合、記憶領域は、マイクロコンピュータのワーキングエリアであってもよい。

たとえば、後述する図２２に示すように、一連の診療期間を第３所定期間とした場合、記憶処理部１５８は、記憶処理を実行することで、第３所定期間に亘って取得する近接データを、第１所定期間ごとにまとめて記憶装置１０３に一時記憶させる。記憶処理部１５８は、このような記憶処理を実行する際、前回開始した記憶処理における第１所定期間の終了タイミングから第２所定期間遡ったタイミングで、今回の記憶処理を開始する。なお、各所定期間の長さは、第３所定期間＞第１所定期間＞第２所定期間の関係にある。

たとえば、記憶処理部１５８は、第１の記憶処理によって１つ目の期間分の近接データを取得した後、第２の記憶処理によって２目の第１所定期間分の近接データを取得する際、第１の記憶処理が終了するタイミングから第２所定期間遡ったタイミングで、第２の記憶処理を開始する。これにより、第１の記憶処理によって得られた１つ目の第１所定期間分の近接データと、第２の記憶処理によって得られた１つ目の第１定期間分の近接データとで、一部のデータ（すなわち、第２所定期間分のデータ）が重複することになる。

このように、記憶処理部１５８は、第３所定期間に亘って取得した近接データを、第１所定期間分に亘る複数の近接データに分割する。記憶処理によって得られた第１所定期間分に亘る複数の近接データの各々を「分割データ」とも称する。さらに、上述したように、記憶処理部１５８は、第１所定期間分に亘る複数の分割データの各々について、一部のデータを他の分割データと重複させて、記憶装置１０３に一時記憶させる。

なお、入力部１５０から入力された画像関連データにおける画像の撮影タイミングと、診療関連データにおけるログデータの取得タイミングとが予め同期している場合、推定装置１００は、変換部１５４および同期部１５５を備えていなくてもよい。この場合、近接部１５６は、同期データではなく、入力部１５０から入力された画像関連データおよび診療関連データを直接用いて、近接処理を実行してもよい。

推定装置１００は、近接部１５６および記憶処理部１５８の各々の処理によって、図２２に示すような複数の分割データを得ることができる。これら複数の分割データの各々は、所定時間ごとに第１データ（「０」のデータ）と第２データ（「１」のデータ）とが配列されるような表を１枚の画像として可視化することができる。推定部１６０は、これら１枚の画像として可視化された分割データに基づき機械学習を行うことで、診療内容または処置内容を推定することができる。なお、学習段階において、術者などのユーザまたは設計者は、図２２に示すような画像として可視化された複数の分割データを予め準備しておき、その学習用の複数の分割データを推定装置１００の推定部１６０に入力してもよい。

推定部１６０は、推定モデル１６１を備える。さらに、推定モデル１６１は、ニューラルネットワーク１６２と、当該ニューラルネットワーク１６２によって用いられるパラメータ１６３とを含む。パラメータ１６３は、ニューラルネットワーク１６２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。

ニューラルネットワーク１６２は、畳み込みニューラルネットワーク（ＣＮＮ）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。

推定部１６０は、記憶処理部１５８によって第１所定期間ごとにまとめて記憶された複数の推定用データ（分割データ）の各々と、ニューラルネットワーク１６２を含む推定モデル１６１とに基づき、患者の診療内容または処置内容を推定する。

たとえば、ニューラルネットワーク１６２として、畳み込みニューラルネットワーク（ＣＮＮ）が適用された場合の推定処理について説明する。ＣＮＮは、畳み込み層とプーリング層とを含む。畳み込み層は、図２２に示すような第１所定期間ごとにまとめられた分割データを可視化することで１枚の画像として捉え、予め定められたフィルタ（カーネル）を用いて分割データに対応する画像の特徴部分を抽出する。これにより、分割データに対応する画像のサイズは圧縮されて小さくなる。プーリング層は、演算によって、畳み込み処理が実行された分割データに対応する画像の特徴部分をさらに抽出する。これにより、分割データに対応する画像のサイズはさらに圧縮されて小さくなる。推定部１６０は、ニューラルネットワーク１６２（ＣＮＮ）によって抽出された分割データの特徴量に基づき、処理対象となった分割データに対応する診療内容または処置内容を推定する。

学習段階において、推定モデル１６１は、分割データと、当該分割データを用いた診療内容の推定結果とに基づき学習されることで最適化（調整）される。

学習段階において、画像として可視化された複数の分割データに基づいて、診療内容または処置内容を推定できるように、ニューラルネットワーク１６２を含む推定モデル１６１を機械学習させる。

たとえば、推定部１６０は、予め準備された正解データを用いて、推定モデル１６１の学習を行う学習処理を実行する。学習処理においては、診療状況をリアルタイムに観察することで診療内容または処置内容を把握した関係者（歯科医師や歯科助手などの術者、または推定システム１０００におけるシステム設計の関係者など）がディスプレイ１７に表示されたタッチパネル画面において診療内容または処置内容を表すアイコンをタッチ操作することで決まる教師データ（正解データ）と、そのアイコンの選択タイミング、または、その前後に推定モデル１６１から出力された診療内容または処置内容の推定結果とが比較されることで、推定モデル１６１の学習が行われる。

また、録画されていた全体カメラ５３の撮影動画（撮影画像）がディスプレイ１７において再生表示され、視聴時に診療内容または処置内容を把握した関係者がタッチパネル画面において診療内容を表すアイコンをタッチ操作することで決まる教師データ（正解データ）と、そのアイコンの選択タイミング、または、その前後に推定モデル１６１から出力された診療内容または処置内容の推定結果とが比較されることで、推定モデル１６１の学習が行われてもよい。なお、録画されていた全体カメラ５３の撮影動画（撮影画像）と、予め準備されていた教師データ（正解データ）とが比較されることで、推定モデル１６１の学習が行われてもよい。

なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１６２を含む推定モデル１６１を機械学習させてもよい。たとえば、運用段階において、推定部１６０の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容または処置内容が入力されると、推定部１６０の推定モデル１６１は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど診療内容または処置内容の推定精度が向上する。

詳しくは図２２を用いて後述するが、本実施形態に係る推定部１６０は、第１所定期間ごとにまとめられた複数の分割データの各々について、診療内容を推定し、その推定結果を多数決部１７０に出力する。多数決部１７０は、推定部１６０から取得した複数の分割データの各々に対応する推定結果に基づき、多数決によって最終的に一の診療内容を決定する。

なお、学習段階においては、近接部１５６、圧縮部１５７、および記憶処理部１５８のうちの少なくともいずれか１つは、推定装置１００が備えていないものであってもよい。たとえば、学習段階において、画像関連データおよび診療関連データといった複数の推定用データに対して、設計者が、近接処理、圧縮処理、および記憶処理といった前処理を施し、これらの前処理が施された複数の推定用データを用いて、推定部１６０が学習されてもよい。そして、運用段階においては、学習された推定部１６０を有するマイクロコンピュータが推定装置１００に搭載されたり、学習された推定部１６０に対応する推定用プログラム１４１が推定装置１００のマイクロコンピュータに搭載されてもよい。

［推定装置の運用段階における機能構成］
図８は、本実施の形態に係る推定装置１００の運用段階における機能構成を示すブロック図である。図８に示すように、運用段階における推定装置１００は、検出部１５１～１５３および推定部１６０の各々が学習済みとなっている。

運用段階においては、術者が患者を診療した後、あるいは、術者の診療中にリアルタイムで、各カメラから画像関連データが略時系列で入力部１５０に入力され、さらに、診療装置１から診療関連データが略時系列で入力部１５０に入力される。

検出部１５１～１５３は、入力部１５０に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。一方、変換部１５４は、診療装置１から入力部１５０に入力された診療関連データを、所定の形式に変換する。同期部１５５は、検出部１５１～１５３による推定結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させて同期データを生成する。

近接部１５６は、近接処理によって、同期データに含まれる複数の推定用データ（トレー画像データ、患者画像データ、および全体画像データの各々に含まれる複数のデータ、診療関連データに含まれる複数のデータ）の配列を入れ替えることで、関連する複数のデータを近接させる。

圧縮部１５７は、近接部１５６から取得した近接データを圧縮することで、より推定処理に適した推定用データ群を作成する。

記憶処理部１５８は、記憶処理によって、入力部１５０から略時系列で入力される複数の推定用データを、所定期間ごとにまとめて記憶装置１０３（たとえば、マイクロコンピュータのワーキングエリア）に記憶させる。このようにして生成された複数の分割データは、推定部１６０に出力される。

推定部１６０は、記憶処理部１５８によって第１所定期間ごとにまとめて記憶された複数の分割データの各々と、ニューラルネットワーク１６２を含む推定モデル１６１とに基づき、患者の診療内容または処置内容を推定する。推定部１６０は、学習段階において、１枚の画像として可視化された第１所定期間分の分割データに基づき推定モデル１６１の機械学習を行っている。このため、推定部１６０は、第１所定期間分の分割データが入力されると、学習時の経験から、第１所定期間分の分割データを１枚の画像として捉えて、診療内容または処置内容を推定することができる。なお、本実施形態においては、推定部１６０は、診療内容を推定するが、後述する図２５に示すように、推定部１６０は、処置内容を推定してもよい。

多数決部１７０は、推定部１６０から取得した複数の分割データの各々に対応する推定結果に基づき、多数決によって最終的に一の診療内容を決定する。多数決部１７０は、最終的に決めた一の診療内容の推定結果を、診療支援部１９０に出力する。

なお、多数決部１７０は、一連の診療が開始してから一連の診療が終了するまでの第３所定期間が経過したタイミング、またはそれ以降のタイミングで多数決を行ってもよいし、第３所定期間が経過する前のタイミングで多数決を行ってもよい。多数決部１７０は、第３所定期間が経過したタイミング、またはそれ以降のタイミングで多数決を行った場合、診療内容の推定結果を出力するまでの時間を要するが、推定処理に用いられる推定用データの数が多いため、診療内容の推定結果の精度を高めることができる。一方、多数決部１７０は、第３所定期間が経過する前のタイミングで多数決を行った場合、診療内容の推定結果の精度が落ちる可能性があるが、診療内容の推定結果を出力するまでの時間を短縮することができる。

診療支援部１９０は、推定部１６０による推定結果に基づき、診療支援を実行する。より具体的には、診療支援部１９０は、多数決部１７０から出力された一の診療内容の推定結果に基づき、診療支援を実行する。

診療支援部１９０は、診療支援として、カルテの作成支援、診療装置１の診療支援、アラート出力支援、および術者の評価支援など、推定部１６０によって推定された診療内容を利用して術者の診療支援を行う。診療支援部１９０による診療支援の一例については、図２４～図２６を参照しながら後述する。

このように、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワーク１６２を含む推定モデル１６１とに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを含む複数の推定用データを用いて、正確に、容易に、早い段階で、診療内容または処置内容を推定することができ、より利便性のある歯科診療を実現することができる。

推定部１６０は、ニューラルネットワーク１６２としてＣＮＮを用いた場合、第１所定期間ごとにまとめられた分割データを１枚の画像として認識する。ここで、図２０に示すような近接処理後の推定用データを可視化した画像は、図１６に示すような近接処理前の推定用データを可視化した画像よりも、関連するデータが近接しているため、画像に特徴部分が現れ易い。さらに、畳み込み層における畳み込み処理およびプーリング層における演算処理によって分割データが圧縮された場合でも、近接処理後の推定用データを可視化した画像は、近接処理前の推定用データを可視化した画像よりも、その特徴部分が消えることなく残り易い。このように、推定部１６０は、図２０に示すような近接処理後の推定用データに基づき診療内容または処置内容を推定する場合は、図１６に示すような近接処理前の推定用データに基づき診療内容または処置内容を推定する場合よりも、特徴量を抽出し易いため、特徴量を抽出するための処理負担を軽減することができる。その結果、推定部１６０は、診療内容または処置内容の推定精度を高めることができる。

＜診療内容の推定の一例＞
図９～図２３を参照しながら、推定装置１００による診療内容の推定の一例について説明する。なお、図９～図２３には、根管治療の例が示されている。

診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた１または複数の診療器具が撮影される。

たとえば、図９は、根管治療におけるトレーカメラ５１の撮影画像の一例を説明するための図である。図９に示すように、根管治療に含まれる処置として診査が行われているタイミングｔＡ２では、術者によってピンセット３１４、ミラー３１６、および探針３１８が使用されるため、トレーカメラ５１の撮影画像にはピンセット３１４、ミラー３１６、および探針３１８が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングｔＡ４では、術者によってファイル３０５およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像にはファイル３０５およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管長測定が行われているタイミングｔＡ６では、術者によって根管長測定器３０３およびファイル３０５が使用されるため、トレーカメラ５１の撮影画像には根管長測定器３０３およびファイル３０５が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングｔＡ８では、術者によって洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像には洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングｔＡ１０では、術者によってミラー３１６および根管材料注入器３１９が使用されるため、トレーカメラ５１の撮影画像にはミラー３１６および根管材料注入器３１９が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングｔＡ１２では、術者によって仮封材充填器３１１、ピンセット３１４、およびミラー３１６が使用されるため、トレーカメラ５１の撮影画像には仮封材充填器３１１、ピンセット３１４、およびミラー３１６が映し出されない。

このように、診療中においては、トレー３０に置かれた診療器具の有無、形状、種類、および位置などが、トレーカメラ５１の撮影画像によって映し出される。

推定装置１００は、上述したようなトレーカメラ５１の撮影画像のデータ（トレー画像データとしての画像関連データ）が入力部１５０から入力されると、検出部１５１による画像認識によって、画像に含まれる特徴量を抽出する。

たとえば、図１０は、トレーカメラ５１の撮影画像から取得されたトレー画像データの一例を説明するための図である。図１０に示すように、推定装置１００は、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定し、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータを格納する。これにより、図１０に示すように、推定装置１００は、所定のタイミングごとに診療器具の有無を区別可能なトレー画像データ（画像関連データ）を得ることができる。

トレー画像データが入力部１５０から入力される所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）は、一定時間ごとであってもよいし、ランダムな間隔であってもよい。

なお、ピンセット３１４の有無を表すデータなど、各検出項目におけるデータ（「０」、「１」のデータ）は、推定用データに対応する。本実施の形態においては、説明の便宜上、トレー画像データにおける各検出項目に対して、ａ１、ａ２、…といったような項目種別が割り当てられている。

診療中においては、患者カメラ５２によって、シャッタータイミングに依存する所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内が撮影される。

そして、推定装置１００は、患者カメラ５２の撮影画像のデータ（患者画像データとしての画像関連データ）が入力部１５０から入力されると、検出部１５２による画像認識によって、画像に含まれる特徴量を抽出する。

たとえば、図１１は、患者カメラ５２の撮影画像から取得された患者画像データの一例を説明するための図である。図１１に示すように、推定装置１００は、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、図１１に示すように、推定装置１００は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能な患者画像データ（画像関連データ）を得ることができる。

患者画像データが入力部１５０から入力される所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）は、一定時間ごとであってもよいし、ランダムな間隔であってもよい。

なお、診療器具と上唇との位置関係を表すデータなど、各検出項目におけるデータ（「０」、「１」のデータ）は、推定用データに対応する。本実施の形態においては、説明の便宜上、患者画像データにおける各検出項目に対して、ｂ１、ｂ２、…といったような項目種別が割り当てられている。

診療中においては、全体カメラ５３によって、シャッタータイミングに依存する所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、術者および患者の行動、診療装置１の動作などが撮影される。

そして、推定装置１００は、全体カメラ５３の撮影画像のデータ（全体画像データとしての画像関連データ）が入力部１５０から入力されると、検出部１５３による画像認識によって、画像に含まれる特徴量を抽出する。

たとえば、図１２は、全体カメラ５３の撮影画像から取得された全体画像データの一例を説明するための図である。図１２に示すように、推定装置１００は、所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、図１２に示すように、推定装置１００は、所定のタイミングごとに術者の行動、患者の行動、および診療装置１の動作を特定可能な全体画像データ（画像関連データ）を得ることができる。

全体画像データが入力部１５０から入力される所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）は、一定時間ごとであってもよいし、ランダムな間隔であってもよい。

なお、歯科医師の右手と患者との位置関係を表すデータなど、各検出項目におけるデータ（「０」、「１」のデータ）は、推定用データに対応する。本実施の形態においては、説明の便宜上、全体画像データにおける各検出項目に対して、ｃ１、ｃ２、…といったような項目種別が割り当てられている。

診療中においては、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御を示すログデータが、診療装置１から出力される。

たとえば、図１３は、診療装置１から取得された診療関連データの一例を説明するための図である。図１３に示すように、診療関連データにおいては、診療器具１５について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア１１について、座面高さ、背板角度、およびチェア１１の動作状態などを表すログデータが含まれ、フットコントローラ１６について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置１９について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット１２について、コップの載置の有無などを表すログデータが含まれる。

診療関連データが入力部１５０から入力される所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）は、一定時間ごとであってもよいし、ランダムな間隔であってもよい。

なお、診療器具１５のピックアップの有無を表すデータなど、各検出項目におけるデータ（「０」、「１」のデータ）は、推定用データに対応する。本実施の形態においては、説明の便宜上、診療関連データにおける各検出項目に対して、ｄ１、ｄ２、…といったような項目種別が割り当てられている。

図１３の例では、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ１６の踏込量、および照明装置１９の発光強度について、大小または高低などの程度を示すデータが診療関連データ（ログデータ）に含まれている。なお、診療関連データは、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ１６の踏込量、および照明装置１９の発光強度の値（たとえば、絶対値）を含んでいてもよい。フットコントローラ１６の踏込パターンは、診療関連データに含まれなくてもよい。たとえば、推定装置１００は、フットコントローラ１６の踏込量の時系列の変化を解析することで、フットコントローラ１６の踏込パターンを特定してもよい。

なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で診療装置１から出力されるものに限らず、イベントの発生（たとえば、チェア１１の動作の切り替え、診療器具１５の動作の切り替えなど）ごとに診療装置１から出力されるものであってもよい。

推定装置１００は、診療関連データが入力部１５０から入力されると、変換部１５４によって、画像関連データと同期させるために適した形式に診療関連データを変換する。

トレー画像データ、患者画像データ、全体画像データ、および診療関連データは、互いに同じタイミング（間隔）で入力部１５０に入力されてもよいし、互いに異なるタイミング（間隔）で入力部１５０に入力されてもよい。すなわち、トレー画像データ、患者画像データ、全体画像データ、および診療関連データは、同期しながら入力部１５０に入力されてもよいし、同期することなく入力部１５０に入力されてもよい。

次に、推定装置１００は、同期部１５５によって、図１０～図１２に示す各画像関連データ、および図１３に示す診療関連データの各々を、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに同期させる。

たとえば、図１４～図１６は、同期データの一例を説明するための図である。なお、図１６においては、図１４の同期データと図１５の同期データとをまとめた同期データの一覧が示される。図１４～図１６に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、画像関連データおよび診療関連データを同期させたデータが含まれる。

たとえば、図１０に示すトレー画像データにおけるｔＡ２、ｔＡ３のデータは、図１４に示す同期データにおけるＴ５、Ｔ６のデータに対応付けられている。図１１に示す患者画像データにおけるｔＢ２、ｔＢ３のデータは、図１４に示す同期データにおけるＴ５、Ｔ６のデータに対応付けられている。図１２に示す全体画像データにおけるｔＣ２、ｔＣ３のデータは、図１４に示す同期データにおけるＴ５、Ｔ６のデータに対応付けられている。図１３に示す診療関連データにおけるｔＤ１のデータは、図１５に示す同期データにおけるＴ１のデータに対応付けられ、図１３に示す診療関連データにおけるｔＤ５、ｔＤ６のデータは、図１５に示す同期データにおけるＴ５、Ｔ６のデータに対応付けられている。

図１４および図１５に示す例では、根管治療に関する同期データが示されている。たとえば、Ｔ１においては、未だ根管治療が開始していないが、Ｔ２からＴ１９まで根管治療が行われ、Ｔ２０においては、根管治療が終了している。

具体的には、Ｔ２でうがいが行われた場合、図１５のコップの載置に対応する診療関連データ（項目種別ｄ２４）が、「０」（コップの載置なし）に対応するデータになる。Ｔ３およびＴ４でチェア１１が診療位置にまで動作した場合、図１５のチェア１１の動作に対応する診療関連データ（項目種別ｄ１５）が、「１」（チェア１１の動作あり）に対応するデータになる。Ｔ５およびＴ６で診査が行われた場合、図１４のピンセットおよびミラーなどの診療器具に対応するトレー画像データ（項目種別ａ１４，ａ１６）が、「１」（診療器具がトレー３０上になし）に対応するデータになる。同様に、患者画像データにおいても、診療器具と患者との位置関係に変化が現れ、全体画像データにおいても、歯科医師と患者との位置関係に変化が現れる。

さらに、Ｔ１７およびＴ１８でチェア１１が起立位置にまで動作した場合、図１５のチェア１１の動作に対応する診療関連データ（項目種別ｄ１５）が、「１」（チェア１１の動作あり）に対応するデータになる。Ｔ１９でうがいが行われた場合、図１５のコップの載置に対応する診療関連データ（項目種別ｄ２４）が、「０」（コップの載置なし）に対応するデータになる。

このように、根管治療が行われた場合、最初にうがいおよびチェア動作が行われた後、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せといった根管治療が行われ、最後に、再びチェア動作およびうがいが行われる。このような一連の根管治療において、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々が変化しながら入力部１５０に入力される。

上述したような同期データに対して、推定装置１００は、近接部１５６によって近接処理を実行する。図１７～図１９は、近接処理の一例を説明するための図である。

図１７においては、図１６に示したＴ１～Ｔ２０のデータのうち、Ｔ３およびＴ４のデータ（チェア動作時のデータ）のみが示されている。図１７（Ａ）に示すように、同期データを画像として可視化した場合、複数の「１」のデータがまばらに配置されている。このため、推定部１６０は、このようなデータを画像として可視化しても、当該画像の特徴部分を抽出し難い。そこで、近接部１５６は、診療内容を推定する前処理として近接処理を実行することで、同期データに含まれる複数の推定用データの配列を入れ替える。これにより、図１７（Ｂ）に示すように、複数の「１」のデータが所定領域に集められてまとまって配置される。推定部１６０は、このような近接処理が施されたデータを用いることで、当該データを画像として可視化した場合に、当該画像の特徴部分を抽出し易くなる。

ここで、近接部１５６は、予め定められた規定に基づいて、複数の推定用データに対して近接処理を実行する。たとえば、Ｔ３でチェア１１が動作している場合、ｄ１５のチェア１１の動作と、ｄ２１の照明装置１９の点灯状態と、ｄ２３の照明装置１９の発光強度と、ｄ２４のコップの載置とが関連し、これらのデータに対して「１」のデータが割り当てられている。たとえば、術者は、Ｔ３およびＴ４においてチェア１１を動かしている間、照明装置１９を高い発光強度で点灯させ、かつ、コップを載置した状態にする。

近接部１５６は、これらチェア動作時において関連性のある複数の推定用データに対して近接処理を実行することで、関連性のある複数の推定用データをまとめて配置する。本実施の形態においては、近接部１５６は、同期時間ごとに、「１」のデータが割り当てられた複数の推定用データ同士を近接させる。これにより、推定部１６０は、関連性のある複数の推定用データがまとまって配置されることで、特徴部分をより抽出し易くなる。

図１８においては、図１６に示したＴ１～Ｔ２０のデータのうち、Ｔ５およびＴ６のデータ（診査時のデータ）のみが示されている。図１８（Ａ）に示すように、同期データを画像として可視化した場合、複数の「１」のデータがまばらに配置されている。このため、推定部１６０は、このようなデータを画像として可視化しても、当該画像の特徴部分を抽出し難い。そこで、近接部１５６は、診療内容を推定する前処理として近接処理を実行することで、同期データに含まれる複数の推定用データの配列を入れ替える。これにより、図１８（Ｂ）に示すように、複数の「１」のデータが所定領域に集められてまとまって配置される。推定部１６０は、このような近接処理が施されたデータを用いることで、当該データを画像として可視化した場合に、当該画像の特徴部分を抽出し易くなる。

ここで、Ｔ５およびＴ６で診査が行われている場合、ａ１４のピンセット３１４の有無と、ａ１６のミラー３１６の有無と、ａ１８の探針３１８の有無と、ｂ２の診療器具と下唇との位置関係と、ｂ３の診療器具と右頬との位置関係と、ｃ１の歯科医師の右手と患者との位置関係と、ｃ２の歯科医師の左手と患者との位置関係と、ｄ２１の照明装置１９の点灯状態と、ｄ２３の照明装置１９の発光強度と、ｄ２４のコップの載置とが関連し、これらのデータに対して「１」のデータが割り当てられている。たとえば、術者はＴ５およびＴ６において診査を行っている間、ピンセット３１４、ミラー３１６、および探針３１８をトレー３０から取り出したり、照明装置１９を高い発光強度で点灯させたりする。

近接部１５６は、これら診査時において関連性のある複数の推定用データに対して近接処理を実行することで、関連性のある複数の推定用データをまとまて配置する。本実施の形態においては、近接部１５６は、同期時間ごとに、「１」のデータが割り当てられた複数の推定用データ同士を近接させる。これにより、推定部１６０は、関連性のある複数の推定用データがまとまって配置されることで、特徴部分をより抽出し易くなる。

図１９においては、図１６に示したＴ１～Ｔ２０のデータのうち、Ｔ７およびＴ８のデータ（抜髄時のデータ）のみが示されている。図１９（Ａ）に示すように、同期データを画像として可視化した場合、複数の「１」のデータがまばらに配置されている。このため、推定部１６０は、このようなデータを画像として可視化しても、当該画像の特徴部分を抽出し難い。そこで、近接部１５６は、診療内容を推定する前処理として近接処理を実行することで、同期データに含まれる複数の推定用データの配列を入れ替える。これにより、図１９（Ｂ）に示すように、複数の「１」のデータが所定領域に集められてまとまって配置される。推定部１６０は、このような近接処理が施されたデータを用いることで、当該データを画像として可視化した場合に、当該画像の特徴部分を抽出し易くなる。

ここで、Ｔ７およびＴ８で抜髄が行われている場合、ａ５のファイル３０５の有無と、ａ１５のバキューム３１５の有無と、ｂ２の診療器具と下唇との位置関係と、ｂ３の診療器具と右頬との位置関係と、ｃ１の歯科医師の右手と患者との位置関係と、ｃ３の助手の右手と患者との位置関係と、ｃ７の根管拡大治療器と患者との位置関係と、ｄ１の診療器具１５のピックアップと、ｄ８のバキュームシリンジの動作と、ｄ１７のフットコントローラ１６の踏込量と、ｄ１８のフットコントローラ１６の踏込パターンと、ｄ２０のフットコントローラ１６のスイッチ状態と、ｄ２１の照明装置１９の点灯状態と、ｄ２３の照明装置１９の発光強度と、ｄ２４のコップの載置とが関連し、これらのデータに対して「１」のデータが割り当てられている。たとえば、術者はＴ７およびＴ８において抜髄を行っている間、ファイル３０５およびバキューム３１５をトレー３０から取り出したり、フットコントローラ１６の足踏操作によって診療器具１５を駆動させたり、照明装置１９を高い発光強度で点灯させたりする。

近接部１５６は、これら抜髄時において関連性のある複数の推定用データに対して近接処理を実行することで、関連性のある複数の推定用データをまとまて配置する。本実施の形態においては、近接部１５６は、同期時間ごとに、「１」のデータが割り当てられた複数の推定用データ同士を近接させる。これにより、推定部１６０は、関連性のある複数の推定用データがまとまって配置されることで、特徴部分をより抽出し易くなる。

図１７～図１９に示したように、同期時間ごと、または処置ごとに、複数の推定用データに対して近接処理が実行されることで、図１６に示す状態から図２０に示す状態へと、同期データのマッピング態様が変更される。図２０に示す同期データは、図１６に示す同期データよりも、関連するデータが近接し、「１」のデータがまとまっているため、推定部１６０が特徴部分をより抽出し易い。

なお、近接部１５６は、同じカテゴリに属する複数のデータ同士を近接させてもよいし、互いに異なるカテゴリに属する複数のデータ同士を近接させてもよい。たとえば、近接部１５６は、診療関連データに属する複数のデータ同士を近接させてもよいし、診療関連データに属するデータと、画像関連データ（トレー画像データ、患者画像データ、全体画像データ）に属するデータとを近接させてもよい。但し、近接部１５６は、時系列方向においてデータを入れ替えることはない。たとえば、近接部１５６は、項目種別ｄ１２のデータについて、Ｔ３の「０」とＴ４の「１」とを入れ替えるようなことはしない。

図２１は、処置ごとの近接データの一例を説明するための図である。学習段階においては、処置ごとに得られた複数の推定用データに対して、術者などのユーザまたは設計者が自身の経験に基づき相関係数（関連性）の高い複数の推定用データ同士を近接させることを繰り返すことで、処置ごとに複数パターンの近接データが得られる。あるいは、学習段階においては、処置ごとに得られた複数の推定用データに対して、推定装置１００が予め設定された規定に基づき複数の推定用データ同士を近接させることを繰り返すことで、処置ごとに複数パターンの近接データが得られる。

たとえば、図２１に示すように、処置Ｘにおいては、パターンＸ１、パターンＸ２、およびパターンＸ３といった複数パターンの近接データが得られる。これらパターンＸ１、パターンＸ２、およびパターンＸ３の各々は、可視化によって画像で表されると、互いに似たような画像になる。

処置Ｙにおいては、パターンＹ１、パターンＹ２、およびパターンＹ３といった複数パターンの近接データが得られる。これらパターンＹ１、パターンＹ２、およびパターンＹ３の各々は、可視化によって画像で表されると、互いに似たような画像になる。

処置Ｚにおいては、パターンＺ１、パターンＺ２、およびパターンＺ３といった複数パターンの近接データが得られる。これらパターンＺ１、パターンＺ２、およびパターンＺ３の各々は、可視化によって画像で表されると、互いに似たような画像になる。

このように、近接処理によって得られる近接データは、処置ごとに似通ったパターンとなる。よって、このような似通ったパターンの近接データを複数用いて処置ごとに推定モデル１６１を学習させることで、診療内容の推定精度が高い推定モデル１６１を作成することができる。

なお、一般的には、教師データが多ければ多いほど、推定モデル１６１の学習量が多くなるため、推定モデル１６０による推定精度が向上する。このため、より多くの教師データを集める方が好ましいが、より多くの患者に対して一連の歯科診療におけるデータ（画像関連データ、診療関連データ）を取得することを要求することは困難である。そこで、設計者は、一の患者に対して行われた一連の歯科診療におけるデータ（画像関連データ、診療関連データ）を、複数の規定の各々に従って近接させることで、より多くの教師データを集めてもよい。たとえば、設計者は、一の患者に対して行われた一連の歯科診療におけるデータを規定Ａに従って近接させることで近接データＡ（教師データＡ）を取得し、同じデータを規定Ｂに従って近接させることで近接データＢ（教師データＢ）を取得してもよい。このようにすれば、設計者は、一のデータ（画像関連データ、診療関連データ）を用いて複数の近接データ（教師データ）を集めることができる。

上述したような近接データに対して、推定装置１００は、記憶処理部１５８によって記憶処理を実行する。図２２は、記憶処理の一例を説明するための図である。

図２２に示すように、一連の診療期間を第３所定期間とした場合、推定装置１００は、記憶処理を実行することで、第３所定期間に亘って取得した近接データを、第１所定期間ごとにまとめて記憶装置１０３に記憶させる。

図２２（Ａ）に示すように、推定装置１００は、略時系列で入力される複数の推定用データ（近接データ）に基づき第３所定期間の開始タイミングを特定すると、１回目の記憶処理として、第３所定期間の開始タイミングから第１所定期間に亘って入力される複数の推定用データをまとめて記憶装置１０３に記憶させる。図２２に示す例では、第１所定期間は、予め定められた期間であり、たとえば、Ｔ３～Ｔ１０など、６回のサンプリング数に対応する期間である。

推定装置１００は、１回目の記憶処理によって記憶された第１所定期間（Ｔ３～Ｔ１０の期間）における複数の推定用データと、推定モデル１６１とに基づき、診療内容を推定する。すなわち、この例において、推定装置１００は、チェア動作、診査、抜髄、および根管長測定に対応する複数の推定用データに基づき、診療内容を推定する。

図２２（Ｂ）に示すように、推定装置１００は、略時系列で入力される複数の推定用データ（近接データ）に基づき、第３所定期間の開始タイミングから２回のサンプリング数に対応する期間（Ｔ３、Ｔ４の期間）が経過すると、２回目の記憶処理として、そのタイミングから第１所定期間（Ｔ５～Ｔ１２の期間）に亘って入力される複数の推定用データをまとめて記憶装置１０３に記憶させる。すなわち、推定装置１００は、２回目の記憶処理を実行する際、１回目の記憶処理における第１所定期間の終了タイミング（Ｔ１０）から第２所定期間（Ｔ５～Ｔ１０の期間）遡ったタイミング（Ｔ５）で、２回目の記憶処理を開始する。

推定装置１００は、２回目の記憶処理によって記憶された第１所定期間（Ｔ５～Ｔ１２の期間）における複数の推定用データと、推定モデル１６１とに基づき、診療内容を推定する。すなわち、この例において、推定装置１００は、診査、抜髄、根管長測定、および洗浄・消毒に対応する複数の推定用データに基づき、診療内容を推定する。

図２２（Ｃ）に示すように、推定装置１００は、略時系列で入力される複数の推定用データ（近接データ）に基づき、第３所定期間の開始タイミングから４回のサンプリング数に対応する期間（Ｔ３～Ｔ６の期間）が経過すると、３回目の記憶処理として、そのタイミングから第１所定期間（Ｔ７～Ｔ１４の期間）に亘って入力される複数の推定用データをまとめて記憶装置１０３に記憶させる。すなわち、推定装置１００は、３回目の記憶処理を実行する際、２回目の記憶処理における第１所定期間の終了タイミング（Ｔ１２）から第２所定期間（Ｔ７～Ｔ１２の期間）遡ったタイミング（Ｔ７）で、３回目の記憶処理を開始する。

推定装置１００は、３回目の記憶処理によって記憶された第１所定期間（Ｔ７～Ｔ１４の期間）における複数の推定用データと、推定モデル１６１とに基づき、診療内容を推定する。すなわち、この例において、推定装置１００は、抜髄、根管長測定、洗浄・消毒、および根管充填に対応する複数の推定用データに基づき、診療内容を推定する。

このようにして、推定装置１００は、略時系列で入力される複数の推定用データ（近接データ）を、第１所定期間ごとにまとめて記憶装置１０３に記憶させる。そして、推定装置１００は、各記憶処理によって第１所定期間ごとにまとめて記憶された複数の推定用データに基づき、診療内容を推定する。なお、推定装置１００は、各記憶処理によって第１所定期間ごとにまとめて記憶された複数の推定用データに基づき、処置内容を推定してもよい。

さらに、推定装置１００は、多数決部１７０によって、第３所定期間が経過したタイミング、またはそれ以降のタイミングで多数決を行って、最も多く推定された診療内容を、最終的な推定結果として決定する。

なお、本実施の形態においては、図１０～図２０に示すように、「０」および「１」のデータ（値）を用いて、診療器具、患者、および術者などの状態と診療関連データの状態とが表わされていたが、これらの状態は、「０」および「１」の値以外の値を用いて表されてもよい。たとえば、上述した各種の状態は、「０」～「１０００」および「０」～「１００００」など、所定範囲内に属する値を用いて表されてもよい。さらに、推定装置１００は、近接処理において、完全に同じ値が割り当てられた複数の推定用データ同士を近接するものに限らず、特定範囲内（たとえば、「０」～「１０」、「１１」～「２０」など）の値が割り当てられた複数の推定用データ同士を近接してもよい。

以上のように、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、トレー画像データ、患者画像データ、および全体画像データの少なくともいずれか１つに基づき、診療内容または処置内容を推定するための特徴を見出すことで、診療内容または処置内容を推定することができる。

推定装置１００は、図２０に示すような近接処理後の推定用データに基づき診療内容または処置内容を推定することで、図１６に示すような近接処理前の推定用データに基づき診療内容または処置内容を推定するよりも、推定用データの特徴量を抽出し易い。これにより、推定装置１００は、特徴量を抽出するための処理負担を軽減することができるとともに、診療内容または処置内容の推定精度を高めることができる。

推定装置１００は、図２２に示すような一部のデータが重複した複数の分割データの各々に基づき診療内容または処置内容を推定することで、一部のデータを重複させていない複数の分割データの各々に基づき診療内容または処置内容を推定するよりも、診療内容または処置内容の推定精度を高めることができる。

さらに、推定装置１００は、第３所定期間が経過する前のタイミングで多数決を行った場合は、第３所定期間に亘る全ての推定用データを用いて診療内容を推定するよりも、診療内容の推定結果を出力するまでの時間を短縮することができる。

＜推定装置の推定処理＞
図２３を参照しながら、運用段階において推定装置１００が実行する推定処理について説明する。図２３は、推定装置１００が実行する推定処理の一例を説明するためのフローチャートである。図２３に示す各ステップ（以下、「Ｓ」で示す。）は、推定装置１００の演算装置１０２がＯＳ１４２および推定用プログラム１４１を実行することで実現される。

図２３に示すように、推定装置１００は、画像関連データが入力されたか否かを判定する（Ｓ１）。推定装置１００は、画像関連データが入力された場合（Ｓ１でＹＥＳ）、検出部１５１～１５３によって、画像関連データに含まれるオブジェクト（物体）の特徴量を抽出してオブジェクトを推定する（Ｓ２）。これにより、推定装置１００は、画像認識によって、診療器具などのオブジェクトの有無および位置などを特定することができる。

推定装置１００は、画像関連データが入力されていない場合（Ｓ１でＮＯ）、またはＳ２の処理の後、診療関連データが入力されたか否かを判定する（Ｓ３）。推定装置１００は、診療関連データが入力された場合（Ｓ３でＹＥＳ）、変換部１５４によって、診療関連データを所定の形式に変換する（Ｓ４）。

推定装置１００は、診療関連データが入力されていない場合（Ｓ３でＮＯ）、またはＳ４の処理の後、画像関連データおよび診療関連データを所定量蓄積したか否かを判定する（Ｓ５）。たとえば、推定装置１００は、診療内容を推定するために必要となる第１所定期間分のデータ量を蓄積したか否かを判定する。推定装置１００は、画像関連データおよび診療関連データを所定量蓄積していない場合（Ｓ５でＮＯ）、Ｓ１の処理に戻る。

推定装置１００は、画像関連データおよび診療関連データを所定量蓄積した場合（Ｓ５でＹＥＳ）、同期部１５５によって、画像関連データと診療関連データとを同期させることで同期データを生成する（Ｓ６）。

推定装置１００は、近接部１５６によって、同期データに対して近接処理を実行する（Ｓ７）。

推定装置１００は、圧縮部１５７によって、近接データに対してを圧縮処理を実行する（Ｓ８）。

推定装置１００は、記憶処理部１５８によって、記憶処理を実行することで、第１所定期間ごとにまとめて近接データを記憶装置１０３に記憶させる（Ｓ９）。

推定装置１００は、新たに第１所定期間分の近接データを記憶したか否かを判定する（Ｓ１０）。すなわち、推定装置１００は、図２２（Ａ）～（Ｃ）の各々に示すように、第１所定期間分の近接データを記憶したか否かを判定する。

推定装置１００は、新たに第１所定期間分の近接データを記憶した場合（Ｓ１０でＹＥＳ）、推定部１６０によって、新たに記憶した第１所定期間分の近接データに基づき診療内容を推定する（Ｓ１１）。なお、推定装置１００は、新たに記憶した第１所定期間分の近接データに基づき処置内容を推定してもよい。

推定装置１００は、新たに第１所定期間分の近接データを記憶していない場合（Ｓ１０でＮＯ）、または、Ｓ１１の処理の後、第３所定期間分の近接データを記憶したか否かを判定する（Ｓ１２）。

推定装置１００は、第３所定期間分の近接データを記憶していない場合（Ｓ１２でＮＯ）、Ｓ１の処理に戻る。

推定装置１００は、第３所定期間分の近接データを記憶した場合（Ｓ１２でＹＥＳ）多数決部１７０によって、多数決処理を行うことで、最終的に一の診療内容を推定結果として決定する（Ｓ１３）。

推定装置１００は、決定した推定結果を診療支援部１９０に出力し（Ｓ１４）、推定処理を終了する。これにより、推定装置１００は、推定結果に基づき診療支援を実行することができる。

このように、推定装置１００は、推定用プログラム１４１によって規定された推定方法を用いることにより、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確に、容易に、早い段階で、診療内容または処置内容を推定することができ、より利便性のある歯科診療を実現することができる。

推定装置１００は、推定用プログラム１４１によって規定された推定方法を用いることにより、図２０に示すような近接処理後の推定用データに基づき診療内容または処置内容を推定することで、図１６に示すような近接処理前の推定用データに基づき診療内容または処置内容を推定するよりも、特徴量を抽出し易い。これにより、推定装置１００は、特徴量を抽出するための処理負担を軽減することができるとともに、診療内容または処置内容の推定精度を高めることができる。

推定装置１００は、推定用プログラム１４１によって規定された推定方法を用いることにより、図２２に示すような一部のデータが重複した複数の分割データの各々に基づき診療内容または処置内容を推定することで、一部のデータを重複させていない複数の分割データの各々に基づき診療内容または処置内容を推定するよりも、診療内容または処置内容の推定精度を高めることができる。

さらに、推定装置１００は、第３所定期間が経過する前のタイミングで多数決を行った場合は、第３所定期間に亘る全ての推定用データを用いて診療内容を推定するよりも、診療内容の推定結果を出力するまでの時間を短縮することができる。

＜診療支援＞
図２４～図２６を参照しながら、推定装置１００の診療支援部１９０による診療支援について説明する。

［カルテの作成支援］
図２４は、推定装置１００によるカルテの作成支援の一例を説明するための図である。推定装置１００は、推定した診療内容または処置内容に基づき、患者のカルテを自動的に作成してもよい。

たとえば、図２４に示すように、推定装置１００は、推定した治療内容、および、推定処理を実行する過程で得られた画像関連データおよび診療関連データに基づき、治療対象となった部位および時系列の処置内容などをカルテに自動的に記入してもよい。なお、推定装置１００は、ニューラルネットワークを用いて、画像関連データおよび診療関連データに基づき傷病名（う蝕、歯肉炎など）についても推定するように機械学習を行うようにすれば、傷病名についてもカルテに自動的に記入することもできる。

推定装置１００は、図２２に示すような複数の分割データの各々を取得するごとに処置内容を推定する場合、分割データの各々を取得するたびに、推定した処置内容をカルテに記入してもよい。このようにすれば、推定装置１００は、診療が終了した時点でカルテの記入を完了することができ、利便性のある歯科診療を実現することができる。また、診療が終了した時点で推定装置１００が推定したカルテ内容をドクターが承認することで、カルテ入力を確定するようにしてもよい。

［診療装置１の操作支援］
図２５は、推定装置１００による診療装置１の操作支援の一例を説明するための図である。推定装置１００は、推定した処置内容に基づき、診療装置１を制御することで、ある処置が完了した後の次の処置内容を術者に報知したり、当該次の処置内容のための行動を促したりしてもよい。

たとえば、図２５に示すように、推定装置１００は、ある処置が完了した後、次の処置のための診療装置１の操作（たとえば、チェア１１の操作、診療器具１５の操作など）を術者に報知させるための制御データを診療装置１に出力してもよい。報知態様として、推定装置１００は、操作パネル１８に表示されたアイコン画像を点滅させたり、バキュームおよびエアタービンハンドピースなどの診療器具１５の操作ボタンを点滅させたりするための制御データを診療装置１に出力してもよい。

なお、推定装置１００は、ブザー音や音声などの音で次の処置内容などを知らせたり、ディスプレイ１７にイラストや文章を表示することで次の処置内容などを知らせたり、表示機能が搭載された眼鏡に表示することで次の処置内容などを知らせたりといったように、その他の報知によって操作支援を行うための制御データを生成してもよい。

［アラート出力支援］
図２６は、推定装置１００によるアラート出力支援の一例を説明するための図である。推定装置１００は、ある処置において、術者があり得ない異常な行動をしている場合に、診療装置１を制御することで、アラートを出力してもよい。

たとえば、図２６に示すように、推定装置１００は、ある処置において歯科医師３が診療器具を持ちながら後ろを向いている場合、患者である小児が治療時に突然動いた場合、あるいは、診療器具が頬や舌に接触しそうになる場合に、操作パネル１８およびスピーカ３５からアラートを出力してもよい。さらに、術者の行動の異常度（危険度）が高ければ高いほど、アラートの出力レベル（輝度や音量のレベル）を高くしたり、アラートの出力頻度を高くしたりしてもよい。

なお、推定装置１００は、診療器具のうち、たとえば、駆動中のエアタービンハンドピースやモータハンドピースの回転数を下げたり、これらを停止する制御を実行したりしてもよい。

なお、図２５および図２６に示すように、推定システム１０００は、診療装置１とは別に、または、診療装置１の一部として、携帯端末４０１またはウェアラブルグラス４０２を備えていてもよい。推定装置１００は、推定した処置内容に基づき、携帯端末４０１（たとえば、タブレット端末）または術者などが装着可能なウェアラブルグラス４０２に、所定画像（たとえば、次の処置のための診療装置１の操作を示す画像、異常を知らせるアラート画像など）を表示させたり、所定音（たとえば、次の処置のための診療装置１の操作を示す音、異常を知らせるアラート音など）を出力させたりしてもよい。

＜変形例＞
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。

[カメラについて]
本実施の形態においては、トレーカメラ５１、患者カメラ５２、および全体カメラ５３が各１台ずつ診療装置１に取り付けられていたが、これらのカメラは複数台ずつ診療装置１に取り付けられてもよい。

トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、固定式に限らず、トレー３０が載せられたトレーテーブル１３の動き、あるいは術者の動きに追従して動く可動式であってもよいし、全方位を撮影可能な３６０度カメラであってもよい。

トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、診療装置１に搭載される他、診療装置１の周囲から当該診療装置１方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、推定装置１００が処置内容ないしは診療内容を推定してもよい。

推定装置１００は、トレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。

推定装置１００は、事前情報として、以前受診した際の患者のカルテに関するデータを推定装置１００へ追加入力させるようにしてもよく、推定装置１００は、患者のカルテに関するデータに基づき、診療内容または処置内容を推定してもよい。

[推定装置について]
本実施の形態においては、推定装置１００は、診療装置１が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、推定装置１００は、診療空間内に設置された複数の診療装置１に接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置１００による機械学習の頻度が上がり、推定装置１００は、より精度良く診療内容を推定することができる。

推定装置１００は、診療装置１が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、推定装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置１００による機械学習の頻度がさらに上がり、推定装置１００は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。

推定装置１００は、推定モデル１６１の後段、または推定モデル１６１と並列に、ＬＳＴＭネットワークを備えた推定モデルをさらに備えていてもよい。そして、ＬＳＴＭネットワークを備えた推定モデルは、画像関連データおよび診療関連データといった複数の推定用データに基づき、推定モデル１６１とは独立して、診療内容を推定してもよい。このようにすれば、推定装置１００は、多数決部１７０による多数決の結果として複数の推定結果を取得した場合（たとえば、診療内容Ａと診療内容Ｂとで同じ票数を獲得した場合）、ＬＳＴＭネットワークを備えた推定モデルによる診療内容の推定結果を、最終的な推定結果として出力してもよい。

[センサについて]
推定装置１００は、トレーカメラ５１、患者カメラ５２、全体カメラ５３のような画像センサに限らず、生体センサ（たとえば、血圧センサ、呼吸センサ、体温センサ、心電図センサ、心拍センサなどのバイタルサインを検知するセンサ）、または音入力センサ（たとえば、マイクなどの患者の音声を検知するセンサ）によって検知されたデータを取得してもよい。さらに、推定装置１００は、これらのデータに基づき、診療内容または処置内容を推定してもよい。また、推定装置１００は、バイタルサインとして、患者カメラ５２または全体カメラ５３などの画像センサによって検出された患者の状態（たとえば、診療中の苦痛な顔、意識レベル、呼吸の乱れなど）を示すデータを取得し、これらのデータに基づき、診療内容または処置内容を推定してもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１ 診療装置、２ 患者、３ 歯科医師、４ 歯科助手、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダ、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、３２ 音制御装置、３５ スピーカ、５１ トレーカメラ、５２ 患者カメラ、５３ 全体カメラ、１００ 推定装置、１０１ 通信装置、１０２ 演算装置、１０３ 記憶装置、１１０ 表示装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１２４ 通信部、１４１ 推定用プログラム、１５０ 入力部、１５１，１５２，１５３ 検出部、１５４ 変換部、１５５ 同期部、１５６ 近接部、１５７ 圧縮部、１５８ 記憶処理部、１６０ 推定部、１６１，１５１１ 推定モデル、１６２，１５１２ ニューラルネットワーク、１６３，１５１３ パラメータ、１７０ 多数決部、１９０ 診療支援部、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３０１ ラバーダム防湿一式、３０２ ラバーダムシート、３０３ 根管長測定器、３０４ バーセット、３０５ ファイル、３０６ 口角対極、３０７ ファールクリップ、３０８ ブローチ、３０９ 洗浄用ニードル、３１０ 洗浄用シリンジ、３１１ 仮封材充填器、３１２ クレンザー、３１３ タービン、３１４ ピンセット、３１５ バキューム、３１６ ミラー、３１７ エキスカベーター、３１８ 探針、３１９ 根管材料注入器、３２１ 音制御部、４０１ 携帯端末、４０２ ウェアラブルグラス、１０００ 推定システム。

Claims (11)

1. 歯科における診療内容を推定する推定装置であって、
   前記診療内容を推定するための複数の推定用データが略時系列で入力される入力部と、
   前記入力部から入力される前記複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接部と、
   前記近接処理が実行された前記複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、前記診療内容を推定する推定部とを備える、推定装置。
2. 前記複数の推定用データは、少なくとも、歯科診療空間を撮影したカメラ画像の認識結果に関する第１データと、患者を歯科診療するための歯科診療装置の制御に関する第２データとを含み、
   前記近接部は、前記認識結果と前記制御との関連性を示す規定に基づいて、前記第１データと前記第２データを近接させる、請求項１に記載の推定装置。
3. 前記複数の推定用データは、所定時間ごとに前記第１データまたは前記第２データが割り当られており、
   前記近接部は、前記所定時間ごとに前記複数の推定用データに対して前記近接処理を実行する、請求項２に記載の推定装置。
4. 前記規定は、少なくとも、ミラーに関するデータと照明装置に関するデータ、診療器具に関するデータとフットコントローラに関するデータ、チェアに関するデータと患者の位置に関するデータ、前記診療器具に関するデータと治療部位に関するデータ、注水に関するデータと前記治療部位に関するデータ、および、歯科医師の位置に関するデータと助手の位置に関するデータのいずれかを、前記関連性のある前記認識結果と前記制御とする、請求項２または請求項３に記載の推定装置。
5. 前記推定部の推定結果に基づき診療支援を実行する診療支援部をさらに備える、請求項１～請求項４のいずれか１項に記載の推定装置。
6. 前記診療支援部は、前記診療支援として、前記推定部の推定結果に基づき歯科診療の記録データを生成する、請求項５に記載の推定装置。
7. コンピュータによる歯科における診療内容を推定する推定方法であって、
   前記診療内容を推定するための複数の推定用データが略時系列で入力される入力ステップと、
   入力される前記複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接ステップと、
   前記近接処理が実行された前記複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、前記診療内容を推定する推定ステップとを含む、推定方法。
8. コンピュータによる歯科における診療内容を推定する推定用プログラムであって、
   前記推定用プログラムは、前記コンピュータに、
   前記診療内容を推定するための複数の推定用データが略時系列で入力される入力ステップと、
   入力される前記複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接ステップと、
   前記近接処理が実行された前記複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、前記診療内容を推定する推定ステップとを実行させる、推定用プログラム。
9. 歯科における処置内容を推定する推定装置であって、
   前記処置内容を推定するための複数の推定用データが略時系列で入力される入力部と、
   前記入力部から入力される前記複数の推定用データの配列を入れ替えて関連する複数のデータを近接させる近接処理を実行する近接部と、
   前記近接処理が実行された前記複数の推定用データと、ニューラルネットワークを含む推定モデルとに基づき、前記処置内容を推定する推定部とを備える、推定装置。
10. 前記推定部の推定結果に基づき診療支援を実行する診療支援部をさらに備える、請求項９に記載の推定装置。
11. 前記診療支援部は、前記診療支援として、前記推定部の推定結果に基づき、患者を歯科診療するための歯科診療装置を制御する、請求項１０に記載の推定装置。

Images