JP2021133135A - 推定装置、推定システム、推定方法、および推定用プログラム - Google Patents

Abstract

【課題】正確かつ容易に診療内容を推定することができる推定装置、推定システム、推定方法、および推定用プログラムを提供する。【解決手段】推定装置（１００）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する第１推定部（１６０）と、を備える。【選択図】図８

Description

本発明は、歯科における診療内容を推定する推定装置、推定システム、推定方法、および推定用プログラムに関する。

近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い活用するといった技術が生み出されている。たとえば、特許文献１は、機械学習による演算結果に基づいて患者の負担を軽減するようにマニピュレータの駆動を制御する歯科診療装置を開示する。

特開２０１９−１７０６８７号公報

特許文献１に開示されるように、ＡＩ技術は歯科分野においても適用することが想定されるが、歯科分野においては、ＦＡ（Factory Automation）分野のような産業分野に比べてＡＩ技術の発展が未だ乏しい。ＡＩ技術を用いて歯科における診療内容を推定することができれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

本発明は、正確かつ容易に診療内容を推定することができる推定装置、推定システム、推定方法、および推定用プログラムを提供することを目的とする。

本開示の一例に従えば、歯科における診療内容を推定する推定装置が提供される。推定装置は、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力される入力部と、入力部から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、セグメント化部によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定する第１推定部と、を備える。

本開示の一例に従えば、歯科における処置内容を推定する推定装置が提供される。推定装置は、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力される入力部と、入力部から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、セグメント化部によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の処置内容を推定する第１推定部と、を備える。

本開示の一例に従えば、歯科における診療内容を推定する推定システムが提供される。推定システムは、患者を診療する診療空間を撮影するカメラと、患者を診療する診療装置と、カメラで撮影した画像関連データと、診療装置で取得した診療関連データとに基づき、患者の診療内容を推定する推定装置と、を備える。推定装置は、画像関連データと診療関連データとが入力される入力部と、入力部から入力される画像関連データおよび診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、セグメント化部によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定する第１推定部とを含む。

本開示の一例に従えば、コンピュータによる歯科における診療内容を推定する推定方法が提供される。推定方法は、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力されるステップと、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、セグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定するステップと、を含む。

本開示の一例に従えば、歯科における診療内容を推定する推定用プログラムが提供される。推定用プログラムは、コンピュータに、患者を診療する診療空間をカメラで撮影した画像関連データと、患者を診療する診療装置で取得した診療関連データとが入力されるステップと、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、セグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、患者の診療内容を推定するステップと、を実行させる。

本発明によれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

本実施の形態に係る推定システムの全体構成を示す模式図である。 治療内容および処置内容を説明するための図である。 トレーカメラの撮影画像の一例を説明するための図である。 患者カメラの撮影画像の一例を説明するための図である。 全体カメラの撮影画像の一例を説明するための図である。 本実施の形態に係る推定システムの内部構成を示すブロック図である。 本実施の形態に係る推定装置の学習段階における機能構成を示すブロック図である。 本実施の形態に係る推定装置の運用段階における機能構成を示すブロック図である。 第１実施形態に係る推定装置の学習段階における機能構成を示すブロック図である。 第１実施形態に係る推定装置の運用段階における機能構成を示すブロック図である。 推定装置によるカルテの作成支援の一例を説明するための図である。 推定装置による診療装置の操作支援の一例を説明するための図である。 推定装置によるアラート出力支援の一例を説明するための図である。 推定装置による術者の評価支援の一例を説明するための図である。 根管治療におけるトレーカメラの撮影画像の一例を説明するための図である。 トレーカメラの撮影画像から取得されたトレー画像データの一例を説明するための図である。 患者カメラの撮影画像から取得された患者画像データの一例を説明するための図である。 全体カメラの撮影画像から取得された全体画像データの一例を説明するための図である。 診療装置から取得された診療関連データの一例を説明するための図である。 同期データの一例を説明するための図である。 同期データの一例を説明するための図である。 画像関連データおよび診療関連データのセグメント化の一例を説明するための図である。 推定装置が実行する推定処理の一例を説明するためのフローチャートである。 第２実施形態に係る推定装置の学習段階における機能構成を示すブロック図である。 第２実施形態に係る推定装置の運用段階における機能構成を示すブロック図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜推定システムの全体構成＞
図１は、本実施の形態に係る推定システム１０００の全体構成を示す模式図である。本実施の形態に係る推定システム１０００は、歯科分野において用いられ、歯科における診療内容を推定する。

「診療内容」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の生徒、および歯科技工士など、歯科における医療従事者（以下、単に「術者」とも称する。）によって行われる患者に対する診療の内容を含む。「診療」は、診察および治療の少なくともいずれか１つを含む。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含み、本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと（審美治療）を含み、本実施の形態においては、これら治療の内容を「治療内容」とも称する。すなわち、「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか１つを含む。術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。すなわち、「治療内容」は、１または複数の「処置内容」を含む。

図１に示すように、推定システム１０００は、診療装置１と、推定装置１００とを備える。

診療装置１は、たとえば、術者が患者に対して診療を行うためのチェアユニットである。診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダー１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置１９と、器具制御装置２１と、表示制御装置２２とを備える。

チェア１１は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。

ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。

トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。

「診療器具」は、ピンセット、ミラー、エキスカベーター、および深針など、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダー１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダー１４によって保持されない診療器具が主に置かれる。

診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。

フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の姿勢を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。

ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。

操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。

照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。

上述したように構成された診療装置１を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、術者においては、患者に対して行った診療の内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられているが、その一方で、短時間で効率良く患者を診療することも求められている。このため、術者は、診療中に行った処置ないし治療の内容を、その都度、記録することができない場合もある。近年、ＡＩを用いてデータの分析・学習を行い活用するといった技術が生み出されているが、ＡＩ技術を用いて歯科における診療内容を推定することができれば、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言え、さらに、複数の処置の組み合わせから診療の内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。

そこで、本実施の形態に係る推定システム１０００（推定装置１００）は、トレー３０、診療装置１の動作、術者の行動、および患者の行動を、ＡＩを用いて分析・学習することで、処置内容ないしは診療内容を推定する技術を提供する。以下、当該技術を具体的に説明する。

本実施の形態に係る診療装置１には、複数のカメラが取り付けられている。具体的には、ディスプレイ１７にはトレーカメラ５１が取り付けられ、照明装置１９には患者カメラ５２が取り付けられ、ポール５の上部には全体カメラ５３が取り付けられている。

トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた画像に関するデータ（以下、「トレー画像データ」とも称する。）は、推定装置１００によって取り込まれる。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、および種類などを推定装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

患者カメラ５２は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置１９によって患者の口腔内が照明されるため、照明装置１９に取り付けられた患者カメラ５２は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ５２によって得られた画像データ（以下、「患者画像データ」とも称する。）は、推定装置１００によって取り込まれる。患者カメラ５２におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を推定装置１００が認識できる程度に予め調整されている。なお、患者カメラ５２は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

全体カメラ５３は、患者を診療する診療空間を少なくとも含む領域、つまり、診療空間における、少なくとも、患者、および歯科医師や歯科助手などの術者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５３は、ポール５の上部に取り付けられているため、診療中の術者および患者の行動と、診療装置１の動作とを上空から俯瞰して撮影する。

「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５３によって得られた画像データ（以下、「全体画像データ」とも称する。）は、推定装置１００によって取り込まれる。全体カメラ５３におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定装置１００が認識できる程度に予め調整されている。なお、全体カメラ５３は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

上述したトレー画像データ、患者画像データ、および全体画像データの各々は、「画像関連データ」の一実施形態であり、以下ではこれらのデータをまとめて「画像関連データ」とも称する。なお、詳しくは後述するが、トレー画像データ、患者画像データ、および全体画像データは、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類が画像認識によって推定される。「画像関連データ」は、当該画像認識による推定結果を含むデータの一実施形態でもある。

推定装置１００は、診療装置１から取得した各種のデータに基づき、当該診療装置１を用いて行われた患者に対する診療の内容を推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、推定装置１００は、診療装置１に取り付けられたトレーカメラ５１、患者カメラ５２、および全体カメラ５３の少なくともいずれか１つから、画像データを取得する。さらに、推定装置１００は、診療装置１で取得した診療に関するデータ（以下、「診療関連データ」とも称する。）を取得する。推定装置１００は、診療装置１から取得した画像データおよび診療関連データの少なくともいずれか１つに基づき、患者に対する診療内容を推定する。

「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御の履歴を示すログデータを含む。具体的には、診療関連データは、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、およびベースンユニット１２を駆動するデータの少なくともいずれか１つを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。

なお、本実施の形態においては、表示装置１１０が推定装置１００に接続されているが、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が推定装置１００に接続されていてもよい。

＜診療内容および処置内容＞
図２は、治療内容および処置内容を説明するための図である。図２に示すように、治療内容としては、治療Ａ、治療Ｂ、および治療Ｃといったように、複数の治療内容が存在する。各治療は、１または複数の処置の組み合わせで構成されている。具体的には、治療Ａは、処置ａ、処置ｂ、処置ｃ、処置ｄ、および処置ｅから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ａを施すことができる。治療Ｂは、処置ａ、処置ｄ、および処置ｆから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ｂを施すことができる。治療Ｃは、処置ｂ、処置ｃ、処置ｄ、および処置ｇから構成されており、術者は患者に対してこれら各処置を順番に行うことで治療Ｃを施すことができる。

このように、各治療においては、術者によって１または複数の処置が患者に行われ、互いに異なる複数の治療の間においては共通の処置が含まれる場合がある。たとえば、処置ｄは、治療Ａ、治療Ｂ、および治療Ｃのいずれにおいても行われる処置である。また、各治療のみで行われる処置もある。たとえば、処置ｅは、治療Ａのみで行われる処置である。

治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、審査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。

図２においては、治療内容として根管治療の例が示されている。根管治療とは、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、審査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。

審査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。なお、図２に示される根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、図２に示される処置の一部が省かれてもよい。

＜トレーカメラの撮影画像＞
図３は、トレーカメラ５１の撮影画像の一例を説明するための図である。図３に示すように、トレーカメラ５１によって、トレー３０に置かれた１または複数の診療器具が撮影される。

たとえば、図３に示す例では、ラバーダム防湿一式３０１、ラバーダムシート３０２、根管長測定器３０３、バーセット３０４、ファイル（リーマ）３０５、口角対極３０６、ファールクリップ３０７、ブローチ３０８、洗浄用ニードル３０９、洗浄用シリンジ３１０、仮封剤充填器３１１、クレンザー３１２、タービン３１３、ピンセット３１４、バキューム３１５、ミラー３１６、エキスカベーター３１７、深針３１８、および根管材料注入器３１９といったように、複数の診療器具がトレー３０に置かれた様子が撮影画像に映し出されている。

診療中においては、トレー３０に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ５１の撮影画像に映し出されない。たとえば、診療中にミラー３１６が使用された場合は、トレー３０上からミラー３１６が存在しないため、トレーカメラ５１の撮影画像にミラー３１６が映し出されない。

推定装置１００は、図３に示すようなトレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを特定することができる。

＜患者カメラの撮影画像＞
図４は、患者カメラ５２の撮影画像の一例を説明するための図である。図４に示すように、患者カメラ５２によって、患者の口腔内を少なくとも含む領域が撮影される。

たとえば、図４に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具（この例ではピンセット３１４およびミラー３１６）が位置する様子が撮影画像に映し出されている。

診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図４に示すように、患者カメラ５２の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。

推定装置１００は、図４に示すような患者カメラ５２の撮影画像を画像認識によって分析することで、患者の口腔内における診療器具の位置などを特定することができる。

＜全体カメラの撮影画像＞
図５は、全体カメラ５３の撮影画像の一例を説明するための図である。図５に示すように、全体カメラ５３によって、診療空間を少なくとも含む領域が撮影される。

たとえば、図５に示す撮影画像では、診療中の術者（この例では歯科医師３や歯科助手４）および患者２の行動と、診療装置１の動作（この例ではトレーテーブル１３における操作パネル１８やトレー３０上の診療器具など）とが撮影画像に映し出されている。

診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図５に示すように、全体カメラ５３の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などが映し出される。

推定装置１００は、図５に示すような全体カメラ５３の撮影画像を画像認識によって分析することで、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを特定することができる。

＜推定システムの内部構成＞
図６は、本実施の形態に係る推定システム１０００の内部構成を示すブロック図である。図６に示すように、推定システム１０００は、複数のカメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）と、診療装置１と、推定装置１００とを備える。

［診療装置の内部構成］
診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、ベースンユニット１２とを備える。

チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく入力信号をＣＡＮ（Controller Area Network）通信を介して受信すると、当該入力信号に基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１に座った患者が座位姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１に座った患者が仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。

器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく入力信号をＣＡＮ通信を介して受信すると、当該入力信号に基づき、診療器具１５の駆動を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。このように、器具制御装置２１は、フットコントローラ１６または操作パネル１８に対する術者の操作に基づき診療器具１５の駆動を制御する。

表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、ディスプレイ１７を制御する。パネル制御部２２２は、操作パネル１８を制御する。

ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、照明装置１９の照明および消灯を制御する。

上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。

チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々は、ＣＡＮ通信によって相互に通信する。ＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。

さらに、ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３と、蓄積部１２３によって蓄積された診療関連データを通信によって推定装置１００に出力するための通信部１２４とを含む。

蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信によって通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭやＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。

通信部１２４は、有線または無線のＬＡＮ（Local Area Network）通信によって推定装置１００との間で通信する。なお、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、推定装置１００は、一時的に記憶する揮発性の記憶媒体を介して、ＣＡＮ通信に流れている診療関連データを、直接的に取得してもよい。

［推定装置の内部構成］
推定装置１００は、通信装置１０１と、演算装置１０２と、メモリ１０３と、ストレージ１０４とを備える。

通信装置１０１は、診療装置１との間で通信する一方で、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々との間でも通信可能である。なお、診療装置１との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。

通信装置１０１は、有線または無線のＬＡＮ通信によって推定装置１００との間で通信することで、診療装置１から診療関連データを取得する。なお、通信装置１０１は、その他の形式で診療装置１から診療関連データを取得してもよい。たとえば、上述したように、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、推定装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。

また、通信装置１０１は、有線または無線のＬＡＮ通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記憶媒体に一時的に記憶される画像関連データを取得してもよい。

演算装置１０２は、各種のプログラム（たとえば、後述する推定用プログラム１４１）を実行することで、診療内容の推定処理、および診療内容を推定するための学習処理などの各種の処理を実行する演算主体である。演算装置１０２は、「コンピュータ」の一実施形態である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。

なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）と称されてもよい。

メモリ１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。

ストレージ１０４は、診療内容の推定処理、および診療内容を推定するための学習処理などに必要な各種のデータを格納する記憶領域を提供する。ストレージ１０４は、たとえば、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。

ストレージ１０４は、推定モデル１６１と、推定用プログラム１４１と、ＯＳ（Operating System）１４２とを格納する。

推定モデル１６１は、各カメラから取得した画像関連データおよび診療装置１から取得した診療関連データの少なくともいずれか１つに基づき、患者の診療内容を推定するために用いられる。推定モデル１６１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）され、患者の診療内容の推定精度を向上させることができる。

なお、推定装置１００の演算装置１０２によって診療内容を推定する処理を「推定処理」とも称し、推定装置１００の演算装置１０２によって推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。

推定用プログラム１４１は、演算装置１０２が推定処理および学習処理を実行するためのプログラムである。

推定装置１００には、表示装置１１０が接続されている。表示装置１１０は、たとえば、推定した診療内容を示す画像など、各種の画像を表示する。なお、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が推定装置１００に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。

＜推定装置の機能構成＞
［推定装置の学習段階における機能構成］
図７は、本実施の形態に係る推定装置１００の学習段階における機能構成を示すブロック図である。図７に示すように、推定装置１００は、主な機能部として、入力部１５０と、推定部１５１〜１５３と、変換部１５４と、同期部１５５と、セグメント化部１５６と、推定部１６０とを有する。なお、入力部１５０は、通信装置１０１の機能部であり、推定部１５１〜１５３、変換部１５４、同期部１５５、セグメント化部１５６、および推定部１６０は、各々演算装置１０２の機能部である。

入力部１５０には、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々で撮影した画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と、診療装置１で取得した診療関連データとが時系列で入力される。

推定部１５１〜１５３は、入力部１５０に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。たとえば、推定部１５１は、後述する図１５に示すようなトレーカメラ５１による複数枚の撮影画像のデータから、後述する図１６に示すように、所定のタイミング（後述する図１６に示すｔＡ１、ｔＡ２、ｔＡ３、…）ごとに変化するトレー３０に置かれた診療器具の有無、形状、および種類などを推定する。

ここで、推定部１５１の構成についてさらに詳細に説明する。図中の破線部Ｘに示すように、推定部１５１は、推定モデル１５１１を有する。さらに、推定モデル１５１１は、ニューラルネットワーク１５１２と、当該ニューラルネットワーク１５１２によって用いられるパラメータ１５１３とを含む。パラメータ１５１３は、ニューラルネットワーク１５１２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定部１５１は、「第２推定部」の一実施形態に対応し、推定モデル１５１１は、「第２推定モデル」の一実施形態に対応し、ニューラルネットワーク１５１２は、「第２ニューラルネットワーク」の一実施形態に対応する。

ニューラルネットワーク１５１２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。

推定部１５１は、トレーカメラ５１によって入力部１５０に入力されたトレー画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、トレー３０に置かれた診療器具の有無、形状、および種類などを推定する。

学習段階において、推定モデル１５１１は、トレー画像データに関連付けられた診療器具の有無、形状、および種類などと、当該トレー画像データを用いた診療器具の有無、形状、および種類などの推定結果とに基づき学習されることで最適化（調整）される。具体的には、推定モデル１５１１は、教師データとしてトレー画像データが入力されると、当該トレー画像データに基づきニューラルネットワーク１５１２によってトレー３０に置かれた診療器具の有無、形状、および種類などを推定する。そして、推定モデル１５１１は、自身の推定結果と、入力されたトレー画像データに関連付けられた正解データである診療器具の有無、形状、および種類などとが一致するか否かを判定し、両者が一致すればパラメータ１５１３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１５１３を更新することで、パラメータ１５１３を最適化する。なお、上述したような推定モデル１５１１の学習は、学習段階に限らず、運用段階においても行われてもよい。

このような推定モデル１５１１を用いることで、後述する図１５に示すように、推定部１５１は、トレーカメラ５１によって入力部１５０に時系列で入力されたトレー画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、所定のタイミング（後述する図１６に示すｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定することができる。たとえば、図１６に示すトレー画像データにおいては、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータが格納され、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータが格納される。

なお、図示は省略するが、推定部１５２および推定部１５３の各々についても、推定部１５１と同様の構成を有する。

推定部１５２は、ＣＮＮ、ＲＮＮ、およびＬＳＴＭネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。

このような推定モデルを用いることで、後述する図１７に示すように、推定部１５２は、患者カメラ５２によって入力部１５０に時系列で入力された患者画像データと、当該推定モデルとに基づき、所定のタイミング（後述する図１７に示すｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定することができる。たとえば、図１７に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータが格納され、両者が所定範囲内に位置する場合に記憶領域に「１」のデータが格納される。

同様に、推定部１５３は、ＣＮＮ、ＲＮＮ、およびＬＳＴＭネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデル有する。学習段階において、推定モデルは、全体画像データに関連付けられた術者および患者の行動、診療装置１の動作などと、当該全体画像データを用いた術者および患者の行動、診療装置１の動作などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。

このような推定モデルを用いることで、後述する図１８に示すように、推定部１５３は、全体カメラ５３によって入力部１５０に時系列で入力された全体画像データと、当該推定モデルとに基づき、所定のタイミング（後述する図１８に示すｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定することができる。たとえば、図１８に示す全体画像データにおいては、歯科医師や歯科助手などの術者、患者、および診療器具などの位置関係において、術者と患者、または診療器具と患者が所定範囲内に位置しない場合に記憶領域に「０」のデータが格納され、術者と患者、または診療器具と患者が所定範囲内に位置する場合に記憶領域に「１」のデータが格納される。

なお、本実施の形態において、推定部１５１〜１５３の各々は、ニューラルネットワークを含む推定モデルによって画像認識を行うものであったが、このようなＡＩ技術に限らず、公知のパターンマッチングなどの技術を用いて画像認識を行ってもよい。また、推定部１５１〜１５３の各々の機能は、推定装置１００が有するものではなく、各カメラまたは各カメラの近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる画像認識の結果を含む画像関連データが入力部１５０に入力される。

変換部１５４は、診療装置１から入力部１５０に入力された診療関連データを、所定の形式に変換する。具体的には、変換部１５４は、入力部１５０に入力された診療関連データを、同じく入力部１５０に入力された画像関連データと同期させるために適した形式に変換する。たとえば、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸に合わせるように、診療関連データの形式を変換する。あるいは、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、診療関連データの形式を変換する。

同期部１５５は、推定部１５１〜１５３による推定結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させる。たとえば、同期部１５５は、後述する図２０および図２１に示すように、画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（後述する図２０および図２１に示すＴ１、Ｔ２、Ｔ３、…）ごとに同期させる。画像関連データと診療関連データとが同期することで得られるデータを「同期データ」とも称する。

セグメント化部１５６は、入力部１５０から入力された画像関連データおよび診療関連データを所定のタイミングで区切ることでセグメント化する。具体的には、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび診療関連データ（すなわち、同期データ）に対して、所定のタイミングで所定のイベントが発生したことが記録されるように、当該同期データをセグメント化する。「所定のイベントが発生したこと」は、たとえば、ハンドピースなどの診療器具１５の駆動開始や駆動停止、照明装置１９の点灯開始や点灯終了、ベースンユニット１２における給水・排水の開始や終了、トレー３０上の診療器具が取り出されたことやトレー３０上に診療器具が置かれたことなど、診療に関するイベントを含む。また、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび診療関連データ（同期データ）に対して、所定のタイミングで所定のイベントが継続していることが記録されるように、当該同期データをセグメント化する。「所定のイベントが継続していること」は、たとえば、ハンドピースなどの診療器具１５の駆動状態の継続、照明装置１９の点灯状態の継続、ベースンユニット１２における給水・排水の継続、トレー３０上の診療器具が存在する状態の継続や存在しない状態の継続など、診療に関するイベントの継続を含む。

たとえば、セグメント化部１５６は、後述する図２２に示すように、画像関連データ（トレー画像データ、患者画像データ、全体画像データ）において格納された「０」または「１」のデータと、診療関連データにおいて格納された「０」または「１」のデータとに基づき、画像関連データおよび診療関連データに対して所定のタイミングごとに区切りを付けることで、同期データを期間ごとにセグメント化する。セグメント化の方法は、所定のタイミングごとにフラグデータをセットしてもよいし、セグメント化した期間ごとに同期データを所定の記憶領域に移動させたりコピーしたりしてもよい。

セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、診療関連データに含まれる、診療装置１が備えるチェア１１を駆動するデータ、診療装置１が備える診療器具１５を駆動するデータ、診療装置１が備える照明装置１９を駆動するデータ、および診療装置１が備えるベースンユニット１２を駆動するデータの少なくともいずれか１つに基づき、これら診療に関する装置の駆動の発生または継続が判定されるタイミングである。たとえば、図２１および図２２に示すように、診療器具１５のピックアップが「０」から「１」に切り替わったタイミングＴ３、診療器具のピックアップが「１」から「０」に切り替わったタイミングＴ６などで、同期データが区切られる。

なお、セグメント化部１５６は、診療関連データに基づき同期データを区切ることができない場合でも、トレー画像データなどの画像関連データに基づき同期データを区切ることもできる。たとえば、図２０および図２２に示すように、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「０」から「１」に切り替わったタイミングＴ８、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「１」から「０」に切り替わったタイミングＴ１０などで、同期データが区切られる。すなわち、セグメント化部１５６は、画像関連データおよび診療関連データの少なくともいずれか１つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングでセグメント化する。

このように、セグメント化部１５６は、同期データのセグメント化にあたって、画像関連データおよび診療関連データの各々単体ではデータが不足している場合であっても、両者のデータを組み合わせることで、診療内容または処置内容の推定に適切なタイミングで同期データを区切ることができる。

なお、入力部１５０から入力された画像関連データにおける画像の撮影タイミングと、診療関連データにおけるログデータの取得タイミングとが予め同期している場合、変換部１５４および同期部１５５を用いなくてもよい。この場合、セグメント化部１５６は、同期データではなく、入力部１５０から入力された画像関連データおよび診療関連データを直接的に用いて、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化してもよい。

推定部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、図示しないニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定する。なお、推定部１６０は、「第１推定部」の一実施形態に対応する。

学習段階において、推定部１６０の推定モデルは、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた診療内容の推定結果とに基づき学習されることで最適化（調整）される。

このように、学習段階において、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとに基づいて、診療内容を推定できるように、ニューラルネットワークを含む推定モデルを機械学習させる。

たとえば、推定部１６０は、後述するタグ付け部１６４によってタグ付けされたタグ付け結果を用いて、推定モデル１７２の学習を行う学習処理を実行する。学習処理においては、診療状況をリアルタイムに観察することで処置内容を把握した関係者（歯科医師や歯科助手などの術者、または推定システム１０００におけるシステム設計の関係者など）がディスプレイ１７に表示されたタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる教師データ（正解データ）と、そのアイコンの選択タイミング、または、その前後に推定モデル１７２から出力された処置内容の推定結果に対して付与されたタグが示す処置内容とが比較されることで、当該推定モデル１７２の学習が行われる。

また、録画されていた全体カメラ５３の撮影動画がディスプレイ１７において再生表示され、これの視聴時に処置内容を把握した関係者がタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる教師データ（正解データ）と、そのアイコンの選択タイミング、または、その前後に推定モデル１７２から出力された処置内容の推定結果に対して付与されたタグが示す処置内容とが比較されることで、当該推定モデル１７２の学習が行われてもよい。

さらに、各画像関連データや診療関連データに基づいて、推定モデル１７２が自動で（関係者を介さずに）学習されてもよい。たとえば、推定部１６０から処置内容の推定結果が出力されたタイミング、または、その前後で、各画像関連データや診療関連データに基づいて正解データとしてバキューム駆動により吸引処理が判定される場合、その判定結果と推定モデル１７２における処置内容の推定結果とが比較されることで、当該推定モデル１７２の学習が行われてもよい。この自動で学習されるタイミングは、夜中などの診療がなされない時間帯であることが最適である。

上述したように、推定モデル１７２は、術者などの関係者によって入力されたデータを教師データ（正解データ）として機械学習が行われてもよいし、関係者が介入することなく推定装置１００自身が抽出したデータを教師データ（正解データ）として機械学習が行われてもよい。または、それらを混合させた学習処理であってもよい。

なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワークを含む推定モデルを機械学習させてもよい。たとえば、運用段階において、推定部１６０の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容が入力されると、推定部１６０の推定モデルは、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど診療内容の推定精度が向上する。

［推定装置の運用段階における機能構成］
図８は、本実施の形態に係る推定装置１００の運用段階における機能構成を示すブロック図である。図８に示すように、運用段階における推定装置１００は、推定部１５１および推定部１６０の各々が学習済みとなっている。

運用段階においては、術者が患者を診療した後、あるいは、術者の診療中にリアルタイムで、各カメラから画像関連データが入力部１５０に入力され、さらに、診療装置１から診療関連データが入力部１５０に入力される。推定部１５１〜１５３は、入力部１５０に入力された各画像関連データから、画像に含まれる特徴量を画像認識によって抽出する。一方、変換部１５４は、診療装置１から入力部１５０に入力された診療関連データを、所定の形式に変換する。同期部１５５は、推定部１５１〜１５３による推定結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させて同期データを生成する。セグメント化部１５６は、入力部１５０から入力された画像関連データと診療関連データとを所定のタイミングで区切って、同期データをセグメント化する。

その後、推定部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、図示しないニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定し、その推定結果を診療支援部１９０に出力する。診療支援部１９０は、推定部１６０による推定結果に基づき診療支援を実行する。

診療支援部１９０は、診療支援として、カルテの作成支援、診療装置１の診療支援、アラート出力支援、および術者の評価支援など、推定部１６０によって推定された診療内容を利用して術者の診療支援を行う。診療支援部１９０による診療支援については、図１１〜図１４を参照しながら後述する。

このように、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワークを含む推定モデルとに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

＜第１実施形態に係る推定装置の機能構成＞
図７および図８を参照しながら説明した推定装置１００は、推定部１６０によって診療内容を推定するものであったが、診療内容を推定する態様としては幾つかの態様が考えられる。図９および図１０を参照しながら、第１実施形態に係る推定装置１００の機能構成について説明する。

［第１実施形態に係る推定装置の学習段階における機能構成］
図９は、第１実施形態に係る推定装置１００の学習段階における機能構成を示すブロック図である。なお、図９に示す推定装置１００の機能構成では、図７に示す推定装置１００の機能構成のうち、同期部１５５よりも後段の機能構成のみを説明し、その他の機能構成については図７に示す推定装置１００の機能構成と同じであるため、その説明を省略する。

第１実施形態に係る推定装置１００においては、推定部１６０が、時系列に入力される画像関連データおよび診療関連データに基づいて、当該画像関連データおよび当該診療関連データについてセグメント化された期間ごとの処置内容を先に推定し、その後、推定した処置内容の組み合わせに基づいて、診療内容を推定する。

具体的には、図９に示すように、推定部１６０は、処置内容推定部１７１と、タグ付け部１６４と、記憶部１６５と、診療内容推定部１７６とを有する。

処置内容推定部１７１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づいて、処置内容を推定する。処置内容推定部１７１は、推定モデル１７２を有する。さらに、推定モデル１７２は、ニューラルネットワーク１７３と、当該ニューラルネットワーク１７３によって用いられるパラメータ１７４とを含む。パラメータ１７４は、ニューラルネットワーク１７３による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。なお、処置内容推定部１７１は、推定部１６０に含まれており「第１推定部」の一実施形態に対応し、推定モデル１７２は、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１７３は、「第１ニューラルネットワーク」の一実施形態に対応する。

ニューラルネットワーク１７３は、たとえば、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる時系列データに対する処理で用いられる公知のニューラルネットワークが適用される。

学習段階において、処置内容推定部１７１の推定モデル１７２は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた処置内容の推定結果とに基づき学習されることで最適化（調整）される。

具体的には、推定モデル１７２は、教師データとしてセグメント化部１５６によってセグメント化された画像関連データおよび診療関連データが入力されると、ニューラルネットワーク１７３によって、当該画像関連データおよび当該診療関連データについてセグメント化された所定の期間ごとに処置内容を推定する。そして、推定モデル１７２は、自身の推定結果と、入力された画像関連データおよび診療関連データに関連付けられた正解データである所定の期間ごとの処置内容とが一致するか否かを判定し、両者が一致すればパラメータ１７４を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１７４を更新することで、パラメータ１７４を最適化する。

このように、学習段階において、推定装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとに基づいて、処置内容を推定できるように、ニューラルネットワーク１７３を含む推定モデル１７２を機械学習させる。

また、本実施の形態においては、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化に寄与しなかったデータについては処置内容推定部１７１に入力されない。よって、処置内容推定部１７１は、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化されるにあたって利用されたデータのみに基づき、処置内容を推定して機械学習を行う。これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データを次元圧縮した上で処置内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に処置内容を推定するよりも、効率良く処置内容を推定することができ、より正確かつ容易に処置内容を推定することができる。

なお、各画像関連データおよび診療関連データに含まれるデータのうち、セグメント化に寄与したデータに限らず、セグメント化に寄与しなかったデータについても処置内容推定部１７１に入力されてもよい。つまり、セグメント化によってフラグデータなどの区切りが付けられたデータを含む全てのデータが処置内容推定部１７１に入力されてもよい。この場合、セグメント化によって区切られたデータが、全てのデータの中でどれに当たるのかを、処置内容推定部１７１が気づいて把握することができるので、処置内容の推定精度が向上することを期待することができる。

なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１７３を含む推定モデル１７２を機械学習させてもよい。たとえば、運用段階において、処置内容推定部１７１の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な処置内容が入力されると、推定モデル１７２は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど処置内容の推定精度が向上する。

なお、本実施の形態において、処置内容推定部１７１は、教師あり学習のアルゴリズムを用いていたが、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、処置内容推定部１７１は、画像関連データに基づき、診療中に使用される診療器具の種類やその使用タイミング、診療器具と患者の口腔との位置関係、診療中の術者と患者の行動、および診療装置１における各部のログデータを分類（クラスタリング）し、その分類結果に基づき処置内容を推定する。処置内容推定部１７１は、このような推定処理を繰り返し行うことで、処置内容の推定結果の精度を向上させることができる。

処置内容推定部１７１による推定結果は、タグ付け部１６４に出力される。タグ付け部１６４は、処置内容推定部１７１による処置内容の推定結果に対してタグを付ける。たとえば、タグ付け部１６４は、処置内容そのものを人間が理解できる名称（たとえば、審査、抜髄、根管長測定など）を推定結果にタグ付けしてもよいし、処置内容を識別可能な記号（たとえば、審査＝処置ａ、抜髄＝処置ｂ、根管長測定＝処置ｃなど）を推定結果にタグ付けしてもよいし、推定装置１００の演算装置１０２が処置内容を識別可能な何らかの識別子を推定結果にタグ付けしてもよい。記憶部１６５は、タグ付け部によってタグ付けられた処置内容の推定結果を記憶する。

タグ付け部１６４は、診療状況をリアルタイムに観察することで処置内容を把握した関係者（歯科医師や歯科助手などの術者、または推定システム１０００におけるシステム設計の関係者など）がディスプレイ１７に表示されたタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる処置内容に基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。

また、タグ付け部１６４は、録画されていた全体カメラ５３の撮影動画がディスプレイ１７において再生表示され、これの視聴時に処置内容を把握した関係者がタッチパネル画面において処置内容を表すアイコンをタッチ操作することで決まる処置内容に基づくタグを、そのアイコンの選択タイミング、または、その前後に処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。

さらに、タグ付け部１６４は、各画像関連データや診療関連データに基づいて、処置内容に基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果に自動でタグ付けしてもよい。たとえば、処置内容推定部１７１によって処置内容の推定結果が出力されたタイミング、または、その前後で、各画像関連データや診療関連データに基づいてバキューム駆動により吸引処理が判定される場合、その判定結果である吸引処理を示すタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。

上述したように、タグ付け部１６４は、術者などの関係者によって入力されたデータに基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよいし、関係者が介入することなく推定装置１００自身が抽出したデータに基づくタグを、処置内容推定部１７１が出力した処置内容の推定結果にタグ付けしてもよい。または、それらを混合させた学習処理であってもよい。

診療内容推定部１７６は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）に基づいて、診療内容を推定する。診療内容推定部１７６は、推定モデル１７７を有する。さらに、推定モデル１７７は、ニューラルネットワーク１７８と、当該ニューラルネットワーク１７８によって用いられるパラメータ１７９とを含む。パラメータ１７９は、ニューラルネットワーク１７８による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。なお、診療内容推定部１７６は、推定部１６０に含まれており「第１推定部」の一実施形態に対応し、推定モデル１７７は、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１７８は、「第１ニューラルネットワーク」の一実施形態に対応する。

ニューラルネットワーク１７８は、たとえば、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる時系列データに対する処理で用いられる公知のニューラルネットワークが適用される。

診療内容推定部１７６の推定モデル１７７は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と、処置内容の推定結果（推定された処置内容の組み合わせ）を用いた診療内容の推定結果とに基づき学習されることで最適化（調整）される。

具体的には、推定モデル１７７は、教師データとして処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）が入力されると、ニューラルネットワーク１７８によって、当該処置内容の推定結果（推定された処置内容の組み合わせ）に関連付けられた診療内容を推定する。そして、推定モデル１７７は、自身の推定結果と、入力された処置内容の推定結果（推定された処置内容の組み合わせ）に関連付けられた正解データである診療内容とが一致するか否かを判定し、両者が一致すればパラメータ１７９を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１７９を更新することで、パラメータ１７９を最適化する。

このように、学習段階において、推定装置１００は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）に基づいて、診療内容を推定できるように、ニューラルネットワーク１７８を含む推定モデル１７７を機械学習させる。

なお、推定装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１７８を含む推定モデル１７７を機械学習させてもよい。たとえば、運用段階において、診療内容推定部１７６の推定結果に対して、術者などのユーザから誤り訂正のための正解データとして正確な診療内容が入力されると、推定モデル１７７は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、推定装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど処置内容の推定精度が向上する。

なお、本実施の形態において、診療内容推定部１７６は、教師あり学習のアルゴリズムを用いていたが、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、処置内容推定部１７１は、診療内容推定部１７６の推定結果を分類（クラスタリング）し、その分類結果に基づき診療内容を推定する。診療内容推定部１７６は、このような推定処理を繰り返し行うことで、診療内容の推定結果の精度を向上させることができる。

なお、本実施の形態において、診療内容推定部１７６は、ニューラルネットワーク１７８を含む推定モデル１７７によって診療内容を推定するものであったが、このようなＡＩ技術に限らず、公知のルールベースの技術を用いて診療内容を推定してもよい。たとえば、図２に示すように、診療内容（治療内容）と処置内容の組み合わせとが対応付けられたデータテーブルを予め準備しておき、診療内容推定部１７６は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と当該データテーブルとに基づき、診療内容を推定してもよい。

［第１実施形態に係る推定装置の運用段階における機能構成］
図１０は、第１実施形態に係る推定装置１００の運用段階における機能構成を示すブロック図である。なお、図１０に示す推定装置１００の機能構成では、図８に示す推定装置１００の機能構成のうち、同期部１５５よりも後段の機能構成のみを説明し、その他の機能構成については図８に示す推定装置１００の機能構成と同じであるため、その説明を省略する。図１０に示すように、運用段階における第１実施形態に係る推定装置１００は、処置内容推定部１７１および診療内容推定部１７６の各々が学習済みとなっている。

運用段階においては、まず、処置内容推定部１７１は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク１７３を含む推定モデル１７２とに基づき、患者の処置内容を推定し、その推定結果をタグ付け部１６４に出力する。タグ付け部１６４は、処置内容推定部１７１による処置内容の推定結果に対してタグを付ける。タグ付け部によってタグ付けられた処置内容の推定結果は、記憶部１６５によって記憶される。また、タグ付け部によってタグ付けられた処置内容の推定結果は、診療支援部１９０に出力される。

次に、診療内容推定部１７６は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と、ニューラルネットワーク１７８を含む推定モデル１７７とに基づき、患者の診療内容を推定し、その推定結果を診療支援部１９０に出力する。

診療支援部１９０は、診療内容推定部１７６による推定結果、およびタグ付け部によってタグ付けられた処置内容の推定結果の少なくともいずれか１つに基づき診療支援を実行する。診療支援部１９０による診療支援については、図１１〜図１４を参照しながら後述する。

このように、推定装置１００は、まず、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワーク１７３を含む推定モデル１７２とに基づき、患者の処置内容を推定する。次に、推定装置１００は、処置内容推定部１７１による処置内容の推定結果（推定された処置内容の組み合わせ）と、ニューラルネットワーク１７８を含む推定モデル１７７とに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

セグメント化部１５６によって画像関連データと診療関連データとが所定のタイミングで区切られることで、画像関連データと診療関連データとが所定の期間ごとに予めセグメント化される。そして、処置内容推定部１７１は、予めセグメント化された画像関連データおよび診療関連データに基づき処置内容の推定処理を行うため、処置内容の推定精度を高めることができる。

処置内容推定部１７１によって推定された処置内容は、タグ参照部１６６によって参照されたタグが付されて出力される。具体的には、学習段階において処置内容推定部１７１によって出力された処置内容の推定結果と、当該推定結果に対してタグ付け部によってタグ付けされたタグ（処置内容）とが関連付けられてメモリなどに一覧データとして記憶される。そして、運用段階において、タグ参照部１６６は、処置内容推定部１７１によって出力された処置内容の推定結果に対応するタグを、メモリに記憶された一覧データを参照することで抽出し、抽出したタグを当該推定結果に付して出力する。診療内容推定部１７６は、タグ参照部１６６によってタグが付された処置内容の推定結果に基づき診療内容の推定処理を行うことで、処置内容を何らかのタグによって区別し易くなり、診療内容の推定精度を高めることができる。さらに、タグ参照部１６６によってタグが付された処置内容の推定結果は、診療支援部１９０による診療支援で用いられるため、より利便性のある歯科診療を実現することができる。

＜診療支援＞
図１１〜図１４を参照しながら、推定装置１００の診療支援部１９０による診療支援について説明する。

［カルテの作成支援］
図１１は、推定装置１００によるカルテの作成支援の一例を説明するための図である。推定装置１００は、診療内容推定部１７６によって推定された診療内容、および処置内容推定部１７１によって推定された処置内容に対して、術者が理解する言葉でタグ付けすることで、診療内容や処置内容を術者が理解する言葉で記録することができる。そこで、推定装置１００は、診療内容推定部１７６によって推定された診療内容、および処置内容推定部１７１によって推定された処置内容に基づき、患者のカルテを自動的に作成してもよい。たとえば、図１１に示すように、推定装置１００は、治療対象となった部位および時系列の処置内容などをカルテに自動的に記入してもよい。なお、推定装置１００は、ニューラルネットワークを用いて、画像関連データおよび診療関連データに基づき傷病名（う蝕、歯肉炎など）についても推定するように機械学習を行うようにすれば、傷病名についてもカルテに自動的に記入することもできる。

［診療装置の操作支援］
図１２は、推定装置１００による診療装置１の操作支援の一例を説明するための図である。推定装置１００の処置内容推定部１７１は、時系列で入力される画像関連データおよび診療関連データに基づき、時系列で処置内容を推定するといった学習を繰り返すことで、ある処置が完了した後の次の処置内容を予想することができる。そこで、推定装置１００は、処置内容推定部１７１によって推定された処置内容に基づき、ある処置が完了した後の次の処置内容を術者に報知したり、当該次の処置内容のための行動を促したりしてもよい。たとえば、図１２に示すように、推定装置１００は、ある処置が完了した後、次の処置のための診療装置１の操作（たとえば、チェア１１の操作、診療器具１５の操作など）を術者に報知してもよい。報知態様としては、操作パネル１８に表示されたアイコン画像を点滅させたり、バキュームおよびエアタービンハンドピースなどの診療器具１５の操作ボタンを点滅させたりすればよい。なお、推定装置１００は、ブザー音や音声などの音で次の処置内容などを知らせたり、ディスプレイにイラストや文章を表示することで次の処置内容などを知らせたり、表示機能が搭載された眼鏡に表示することで次の処置内容などを知らせたりといったように、その他の報知によって操作支援を行うものであってもよい。

［アラート出力支援］
図１３は、推定装置１００によるアラート出力支援の一例を説明するための図である。推定装置１００は、術者や患者の行動が映し出された全体画像のデータに基づき、診療内容推定部１７６によって診療内容を推定し、処置内容推定部１７１によって処置内容を推定することができる。そこで、推定装置１００は、ある処置において、術者があり得ない異常な行動をしている場合に、アラートを出力してもよい。たとえば、図１３に示すように、推定装置１００は、ある処置内において歯科医師３が診療器具を持ちながら後ろを向いている場合、患者である小児が治療時に突然動いた場合、あるいは、診療器具が頬や舌に接触しそうになる場合に、操作パネル１８およびスピーカ２０からアラートを出力してもよい。さらに、術者の行動の異常度（危険度）が高ければ高いほど、アラートの出力レベル（輝度や音量のレベル）を高くしたり、アラートの出力頻度を高くしたりしてもよい。また、推定装置１００は、診療器具のうち、たとえば、駆動中のエアタービンハンドピースやモータハンドピースの回転数を下げたり、これらを停止する制御を実行したりしてもよい。

［術者の評価支援］
図１４は、推定装置１００による術者の評価支援の一例を説明するための図である。推定装置１００の処置内容推定部１７１は、熟練者の診療中に時系列で入力される画像関連データおよび診療関連データに基づき、時系列で処置内容を推定するといった学習を繰り返すことで、治療ごとに熟練者による理想的な処置の手順、処置のタイミング、および処置内容における術者の行動を機械学習することができる。さらに、推定装置１００の処置内容推定部１７１は、理想的な術者の姿勢、ポジショニング、診療器具のグリップ方法なども機械学習することができる。そこで、推定装置１００は、一連の治療が完了した後、または、治療中にリアルタイムで、完了した処置の手順、処置のタイミング、および処置内における術者の行動の評価結果を報知してもよい。たとえば、図１４に示すように、推定装置１００は、一連の治療が完了した後、あるいは、治療中にリアルタイムで、表でまとめられた術者の行動の評価結果を表示装置１１０に表示してもよいし、当該評価結果をデータベースに蓄積することで評価の推移が分かるようにしてもよい。

＜診療内容の推定の一例＞
図１５〜図２２を参照しながら、推定装置１００による診療内容の推定の一例について説明する。なお、図１５〜図２２には、根管治療の例が示されている。

診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた１または複数の診療器具が撮影される。

たとえば、図１５は、根管治療におけるトレーカメラ５１の撮影画像の一例を説明するための図である。図１５に示すように、根管治療に含まれる処置として審査が行われているタイミングｔＡ２では、術者によってピンセット３１４、ミラー３１６、および深針３１８が使用されるため、トレーカメラ５１の撮影画像にはピンセット３１４、ミラー３１６、および深針３１８が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングｔＡ３では、術者によってファイル３０５およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像にはファイル３０５およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管長測定が行われているタイミングｔＡ５では、術者によって根管長測定器３０３およびファイル３０５が使用されるため、トレーカメラ５１の撮影画像には根管長測定器３０３およびファイル３０５が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングｔＡ７では、術者によって洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像には洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングｔＡ９では、術者によってミラー３１６および根管材料注入器３１９が使用されるため、トレーカメラ５１の撮影画像にはミラー３１６および根管材料注入器３１９が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングｔＡ１１では、術者によって仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が使用されるため、トレーカメラ５１の撮影画像には仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が映し出されない。

このように、診療中においては、トレー３０に置かれた診療器具の有無、形状、および種類などが、トレーカメラ５１の撮影画像によって映し出される。

推定装置１００は、上述したようなトレーカメラ５１の撮影画像のデータ（トレー画像データとしての画像関連データ）が入力部１５０から入力されると、推定部１５１による画像認識によって、画像に含まれる特徴量を抽出する。

たとえば、図１６は、トレーカメラ５１の撮影画像から取得されたトレー画像データの一例を説明するための図である。図１６に示すように、推定装置１００は、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定し、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータを格納する。これにより、図１６に示すように、推定装置１００は、所定のタイミングごとに診療器具の有無を区別可能なデータ（画像関連データ）を得ることができる。

また、診療中においては、患者カメラ５２によって、シャッタータイミングに依存する所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内が撮影される。

そして、推定装置１００は、患者カメラ５２の撮影画像のデータ（患者画像データとしての画像関連データ）が入力部１５０から入力されると、推定部１５２による画像認識によって、画像に含まれる特徴量を抽出する。

たとえば、図１７は、患者カメラ５２の撮影画像から取得された患者画像データの一例を説明するための図である。図１７に示すように、推定装置１００は、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、図１７に示すように、推定装置１００は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能なデータ（画像関連データ）を得ることができる。

また、診療中においては、全体カメラ５３によって、シャッタータイミングに依存する所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、術者および患者の行動、診療装置１の動作などが撮影される。

そして、推定装置１００は、全体カメラ５３の撮影画像のデータ（全体画像データとしての画像関連データ）が入力部１５０から入力されると、推定部１５３による画像認識によって、画像に含まれる特徴量を抽出する。

たとえば、図１８は、全体カメラ５３の撮影画像から取得された全体画像データの一例を説明するための図である。図１８に示すように、推定装置１００は、所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、図１８に示すように、推定装置１００は、所定のタイミングごとに術者の行動、患者の行動、および診療装置１の動作を特定可能なデータ（画像関連データ）を得ることができる。

また、診療中においては、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）ごとに、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御を示すログデータが、診療装置１から出力される。

たとえば、図１９は、診療装置１から取得された診療関連データの一例を説明するための図である。図１９に示すように、診療関連データにおいては、診療器具１５について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア１１について、座面高さ、背板角度、およびチェア１１の動作状態などを表すログデータが含まれ、フットコントローラ１６について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置１９について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット１２について、コップの載置の有無などを表すログデータが含まれる。

なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）ごとに診療装置１から出力されるものに限らず、イベントの発生（たとえば、チェア１１の動作の切り替え、診療器具１５の動作の切り替えなど）ごとに診療装置１から出力されるものであってもよい。

推定装置１００は、診療関連データが入力部１５０から入力されると、変換部１５４によって、画像関連データと同期させるために適した形式に診療関連データを変換する。

次に、推定装置１００は、同期部１５５によって、図１６〜図１８に示す画像関連データと図２０に示す診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに同期させる。

たとえば、図２０および図２１は、同期データの一例を説明するための図である。図２０および図２１に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、画像関連データと診療関連データとを同期させたデータが含まれる。

たとえば、図１６に示すトレー画像データにおけるｔＡ３、ｔＡ４のデータは、図２０に示す同期データにおけるＴ３〜Ｔ５のデータに対応付けられ、図１６に示すトレー画像データにおけるｔＡ７のデータは、図２０に示す同期データにおけるＴ８，Ｔ９のデータに対応付けられている。図１９に示す患者画像データにおけるｔＢ３、ｔＢ４のデータは、図２０に示す同期データにおけるＴ３〜Ｔ５のデータに対応付けられ、図１９に示す患者画像データにおけるｔＢ７のデータは、図２０に示す同期データにおけるＴ８，Ｔ９のデータに対応付けられている。図１８に示す全体画像データにおけるｔＣ３、ｔＣ４のデータは、図２０に示す同期データにおけるＴ３〜Ｔ５のデータに対応付けられ、図１８に示す全体画像データにおけるｔＣ７のデータは、図２０に示す同期データにおけるＴ８，Ｔ９のデータに対応付けられている。

次に、推定装置１００は、セグメント化部１５６によって、図２０および図２１に示す同期データに含まれる画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化する。

たとえば、図２２は、画像関連データおよび診療関連データのセグメント化の一例を説明するための図である。図２２に示すように、画像関連データと診療関連データとの関連付けが行われると、所定のタイミングごとに同期データが区切られる。

ここで、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータに変化がなくても、その他のデータを参照すればデータに変化が生じている場合もある。すなわち、推定装置１００は、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々から、複数のデータを参照して組み合わせることで、適切なタイミングで同期データを区切ることができる。

たとえば、図２２に示すように、トレー画像データにおいては、Ｔ８〜Ｔ１０の各々のデータが同じであるが、全体画像データおよび診療関連データにおいては、Ｔ８，Ｔ９のデータとＴ１０のデータとで異なる。よって、推定装置１００は、全体画像データおよび診療関連データに基づいて、確率が高いと予想されるＴ９のデータとＴ１０のデータとの間で同期データを区切る。

また、たとえば、図２２に示すように、診療関連データにおいては、Ｔ１〜Ｔ３の各々のデータが同じであるが、トレー画像データおよび全体画像データにおいては、Ｔ１，Ｔ２のデータとＴ３のデータとで異なる。よって、推定装置１００は、トレー画像データおよび全体画像データに基づいて、確率が高いと予想されるＴ２のデータとＴ３のデータとの間で同期データを区切る。

このように、推定装置１００は、同期データのセグメント化にあたって、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータが不足している場合があっても、他のデータを参照することで、適切なタイミングで同期データを区切ることができる。

次に、推定装置１００は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データに基づき、推定部１６０（処置内容推定部１７１）によって、処置内容を推定する。

たとえば、図２２に示すように、セグメント化された期間ごとの同期データに対して、処置内容を推定する。具体的には、推定装置１００は、Ｔ１およびＴ２に対応する同期データから、処置内容として「審査」を推定し、Ｔ３〜Ｔ５に対応する同期データから、処置内容として「抜髄」を推定し、Ｔ６およびＴ７に対応する同期データから、処置内容として「根管長測定」を推定し、Ｔ８およびＴ９に対応する同期データから、処置内容として「洗浄・消毒」を推定し、Ｔ１０およびＴ１１に対応する同期データから、処置内容として「根管充填」を推定し、Ｔ１２およびＴ１３に対応する同期データから、処置内容として「詰め込み・被せ」を推定する。

その後、推定装置１００は、推定部１６０（診療内容推定部１７６）によって、上述した処置内容の推定結果に基づき、診療内容として「根管治療」を推定する。

なお、推定装置１００は、タグ付け部１６４によって、上述した処置内容の推定結果に対してタグを付けてもよく、さらに、そのタグ付けた処置内容の推定結果を、術者などのユーザが理解できるように表示装置１１０などに表示してもよい。

以上のように、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、トレー画像データ、患者画像データ、および全体画像データの少なくともいずれか１つに基づき、診療内容ないし処置内容を推定するための特徴を見出すことで、診療内容ないし処置内容を推定することができる。

＜推定装置の推定処理＞
図２３を参照しながら、運用段階において推定装置１００が実行する推定処理について説明する。図２３は、推定装置１００が実行する推定処理の一例を説明するためのフローチャートである。図２３に示す各ステップ（以下、「Ｓ」で示す。）は、推定装置１００の演算装置１０２がＯＳ１４２および推定用プログラム１４１を実行することで実現される。

図２３に示すように、推定装置１００は、推定処理の開始条件が成立したか否かを判定する（Ｓ１）。開始条件は、たとえば、推定装置１００の電源を立ち上げたときに成立してもよいし、推定装置１００の電源を立ち上げた後に推定処理に対応するモードに切り替えられたときに成立してもよい。また、開始条件は、一定量の画像関連データおよび診療関連データが取得されたときに成立してもよい。さらに、開始条件は、術者によって診療の開始を通知する入力操作（たとえば、推定装置の開始スイッチの操作）が行われたときに成立してもよいし、術者によって診療の終了を通知する入力操作（たとえば、推定装置の終了スイッチの操作）が行われたときに成立してもよい。開始条件は、推定装置１００において何らかの開始イベントが発生したときに成立するものであればよい。

推定装置１００は、開始条件が成立していない場合（Ｓ１でＮＯ）、本処理を終了する。一方、推定装置１００は、開始条件が成立した場合（Ｓ１でＹＥＳ）、画像関連データが入力されたか否かを判定する（Ｓ２）。推定装置１００は、画像関連データが入力された場合（Ｓ２でＹＥＳ）、推定部１５１〜１５３によって、画像関連データに含まれるオブジェクト（物体）の特徴量を抽出してオブジェクトを推定する（Ｓ３）。これにより、推定装置１００は、診療器具などのオブジェクトの画像認識を行う。

推定装置１００は、画像関連データが入力されていない場合（Ｓ２でＮＯ）、またはＳ３の処理の後、診療関連データが入力されたか否かを判定する（Ｓ４）。推定装置１００は、診療関連データが入力された場合（Ｓ４でＹＥＳ）、変換部１５４によって、診療関連データを所定の形式に変換する（Ｓ５）。

推定装置１００は、診療関連データが入力されていない場合（Ｓ４でＮＯ）、またはＳ５の処理の後、画像関連データおよび診療関連データを所定量蓄積したか否かを判定する（Ｓ６）。たとえば、推定装置１００は、診療内容を推定するために必要となるデータ量を蓄積したか否かを判定する。推定装置１００は、画像関連データおよび診療関連データを所定量蓄積していない場合（Ｓ６でＮＯ）、Ｓ２の処理に戻る。

一方、推定装置１００は、画像関連データおよび診療関連データを所定量蓄積した場合（Ｓ６でＹＥＳ）、同期部１５５によって、画像関連データと診療関連データとを同期させることで同期データを生成する（Ｓ７）。なお、推定装置１００は、定期的に行われる画像関連データおよび診療関連データの蓄積における所定周期の一周期（たとえば、６０ｍｓｅｃ）が経過したか否かという条件を、Ｓ６の処理に替えて判定してもよい。この場合、推定装置１００は、一周期（たとえば、６０ｍｓｅｃ）が経過した場合に、Ｓ７の処理を実行すればよい。

次に、推定装置１００は、セグメント化部１５６によって、同期データに基づき、画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する（Ｓ８）。

次に、推定装置１００は、処置内容推定部１７１によって、セグメント化された同期データに基づき、処置内容を推定する（Ｓ９）。次に、推定装置１００は、タグ参照部１６６によって、推定した処置内容に対して参照したタグを付ける（Ｓ１０）。

次に、推定装置１００は、診療内容推定部１７６によって、タグが付された処置内容の組み合わせに基づき、診療内容を推定する（Ｓ１１）。次に、推定装置１００は、推定した診療内容を、診療支援部１９０によって用いられる装置（たとえば、表示装置１１０、診療装置１など）に出力し（Ｓ１２）、本処理を終了する。

このように、推定装置１００は、推定用プログラム１４１によって規定された推定方法を用いることにより、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

＜主な開示＞
以上のように、本実施の形態では以下のような開示を含む。

［構成１］
推定装置（１００）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する第１推定部（１６０）と、を備える。

これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

［構成２］
推定システム（１０００）は、患者を診療する診療空間を撮影するカメラ（５１，５２，５３）と、患者を診療する診療装置（１）と、カメラ（５１，５２，５３）で撮影した画像関連データと、診療装置（１）で取得した診療関連データとに基づき、患者の診療内容を推定する推定装置（１００）と、を備え、推定装置（１００）は、画像関連データと診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデルとに基づき、患者の診療内容を推定する第１推定部（１６０）とを含む。

これにより、推定システム１０００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

［構成３］
推定装置（１００）は、入力部（１５０）から入力される画像関連データと、第２ニューラルネットワーク（１５１２）を含む第２推定モデル（１５１１）とに基づき、患者を診療するための診療器具（３０１〜３１９）を少なくとも推定する第２推定部（１５１）を備え、第１推定部（１６０）は、第２推定部（１５１）による推定結果を含む画像関連データおよび診療関連データと、第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する。

これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データに基づき診療器具を推定した上で、当該推定結果に基づき診療内容を推定するため、診療器具の推定結果を利用して、診療内容の推定結果に基づいた種々の診療支援機能の提供を実現することができる。

［構成４］
推定装置（１００）は、入力部（１５０）から入力される診療関連データを、所定の形式に変換する変換部（１５４）を備える。

これにより、推定装置１００は、診療関連データを変換することで、診療関連データの形式を診療内容の推定に適した形式とすることができ、診療関連データを効率良く活用することができる。

［構成５］
推定装置（１００）は、第２推定部（１５１）による推定結果を含む画像関連データと、変換部（１５４）によって変換される診療関連データとを時系列に同期させる同期部（１５５）を備える。

これにより、たとえば、推定部１５１〜１５３による画像認識処理の時間が変換部１５４による変換処理の時間よりも長くなるような場合でも、推定装置１００は、画像関連データと診療関連データとを時系列に同期させることで、画像関連データと診療関連データと効率的に比較し易くすることができるため、より正確かつ容易に診療内容を推定することができる。

［構成６］
第１推定部（１６０）は、同期部（１５５）によって同期される画像関連データおよび診療関連データと、第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する。

これにより、推定装置１００は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、より正確かつ容易に診療内容を推定することができる。

［構成７］
第１推定部（１６０）は、同期部（１５５）によって同期される画像関連データおよび診療関連データと、第１推定モデル（１７２，１７７）とに基づき、所定の期間における患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する。

これにより、推定装置１００は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、先に処置内容を推定した上で、その後に処置内容の推定結果に基づき診療内容を推定する。すなわち、推定装置１００は、情報量の多い画像関連データおよび診療関連データを次元圧縮することで、まずは処置内容の推定結果を算出し、当該推定結果に基づき診療内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

［構成８］
第１ニューラルネットワーク（１７３，１７８）は、リカレントニューラルネットワークである。

これにより、推定装置１００は、時系列に入力される画像関連データおよび診療関連データに適したＡＩ技術であるリカレントニューラルネットワークを用いることで、より正確かつ容易に診療内容を推定することができる。

［構成９］
第１推定モデル（１７２，１７７）は、画像関連データおよび診療関連データに関連付けられた患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき学習されたものである。

これにより、推定装置１００は、画像関連データおよび診療関連データに基づき機械学習を行うことで、正確かつ容易に診療内容を推定することができる。

［構成１０］
第１推定モデル（１７２，１７７）は、第１ニューラルネットワーク（１７３，１７８）によって用いられるパラメータ（１７４，１７９）として、重み付け係数および判定値の少なくともいずれか１つを含み、第１推定モデル（１７２，１７７）は、画像関連データおよび診療関連データに関連付けられた患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき、パラメータ（１７４，１７９）が更新されることで学習される。

これにより、推定装置１００は、画像関連データおよび診療関連データに基づきパラメータ調整によって機械学習を行うことで、正確かつ容易に診療内容を推定することができる。

［構成１１］
画像関連データは、患者の口腔内、および患者を診療するための診療器具（３０１〜３１９）が置かれるトレー（３０）の少なくともいずれか１つを含む領域の画像のデータ（患者画像データ，トレー画像データ）を含む。

これにより、推定装置１００は、患者の口腔内および診療器具が置かれるトレー３０の少なくともいずれか１つを含む領域の画像のデータに基づいて、正確かつ容易に診療内容を推定することができる。

［構成１２］
診療関連データは、診療装置（１）のログデータを含む。

これにより、推定装置１００は、診療装置１のログデータに基づいて、正確かつ容易に診療内容を推定することができる。さらに、推定装置１００は、診療内容を推定するにあたって、画像関連データのみではデータが不足している場合があっても、診療装置１のログデータを参照することで、その不足分のデータを補うことができ、より正確かつ容易に診療内容を推定することができる。

［構成１３］
ログデータは、診療装置（１）が備えるチェア（１１）を駆動するデータ、診療装置（１）が備える診療器具（１５）を駆動するデータ、診療装置（１）が備える照明装置（１９）を駆動するデータ、および診療装置（１）が備える給水・排水装置（１２）を駆動するデータの少なくともいずれか１つを含む。

これにより、推定装置１００は、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、および給水・排水装置（ベースンユニット）１２を駆動するデータなど、診療中において生成されるデータを用いることで、診療内容を推定するための画像関連データの不足分を補うことができ、より正確かつ容易に診療内容を推定することができる。

［構成１４］
推定装置（１００）は、第１推定部（１６０）による推定結果に基づき診療支援を実行する診療支援部（１９０）を備える。

これにより、推定装置１００は、診療内容の推定結果を用いて診療支援を行うことができ、より利便性のある歯科診療を実現することができる。

［構成１５］
推定装置（１００）は、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定する第１推定部（１６０）と、を備える。

これにより、推定装置１００は、画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化した上で、そのセグメント化された画像関連データおよび診療関連データに基づき診療内容を推定する。すなわち、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

［構成１６］
所定のタイミングは、診療関連データに含まれる、診療装置（１）が備えるチェア（１１）を駆動するデータ、診療装置（１）が備える診療器具（１５）を駆動するデータ、診療装置（１）が備える照明装置（１９）を駆動するデータ、および診療装置（１）が備える給水・排水装置（１２）を駆動するデータの少なくともいずれか１つに基づき診療に関する装置の駆動の発生または継続が判定されるタイミングである。

これにより、推定装置１００は、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、および給水・排水装置（ベースンユニット）１２を駆動するデータなど、診療中において生成されるデータに基づき、画像関連データと診療関連データとをセグメント化するため、診療内容の推定における効率および精度が高まる適切なタイミングで画像関連データと診療関連データとを区切ってセグメント化することができる。

［構成１７］
セグメント化部（１５６）は、同期部（１５５）によって同期される画像関連データおよび診療関連データに基づき、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化する。

これにより、推定装置１００は、画像関連データと診療関連データとを時系列に同期させた同期データを用いて、画像関連データと診療関連データとをセグメント化することができる。

［構成１８］
第１推定部（１６０）は、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データに基づき、所定の期間における患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する。

これにより、推定装置１００は、セグメント化された画像関連データおよび診療関連データを用いて、先に所定の期間における処置内容を推定した上で、その後に処置内容の推定結果に基づき診療内容を推定する。すなわち、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮することで、まずは所定の期間における処置内容の推定結果を算出し、当該推定結果に基づき診療内容を推定するため、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

［構成１９］
セグメント化部（１５６）は、画像関連データおよび診療関連データの少なくともいずれか１つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化する。

これにより、推定装置１００は、患者の診療に関するイベントが発生したタイミングなど、処置内容が切り替わるであろうタイミングに基づき、画像関連データと診療関連データとを区切ってセグメント化することができ、効率的に診療内容を推定することができる。

［構成２０］
コンピュータ（１０２）による歯科における診療内容を推定する推定方法は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力されるステップ（Ｓ２，Ｓ４）と、入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を含む。

これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

［構成２０］
推定方法は、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップ（Ｓ８）と、セグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を含む。

これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

［構成２０］
推定用プログラム（１４１）は、コンピュータ（１０２）に、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力されるステップ（Ｓ２，Ｓ４）と、入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を実行させる。

これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

［構成２１］
推定用プログラム（１４１）は、入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するステップ（Ｓ８）と、セグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３，１７８）を含む第１推定モデル（１７２，１７７）とに基づき、患者の診療内容を推定するステップ（Ｓ１１）と、を実行させる。

これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

＜第２実施形態に係る推定装置の機能構成＞
第１実施形態に係る推定装置１００においては、先に、画像関連データおよび診療関連データに基づき、処置内容推定部１７１によって処置内容を推定した上で、次に、処置内容の推定結果に基づき、診療内容推定部１７６によって診療内容を推定するものであった。しかしながら、推定装置は、以下で説明する第２実施形態に係る推定装置１００ａのように、処置内容を推定することなく、画像関連データおよび診療関連データに基づき、診療内容を推定してもよい。なお、以下では、第２実施形態に係る推定装置１００ａについて、第１実施形態に係る推定装置１００と異なる部分のみを説明し、第１実施形態に係る推定装置１００と共通する部分については同じ符号を付してその説明を省略する。

図２４は、第２実施形態に係る推定装置１００ａの学習段階における機能構成を示すブロック図である。図２５は、第２実施形態に係る推定装置１００ａの運用段階における機能構成を示すブロック図である。

図２４および図２５に示すように、第２実施形態に係る推定装置１００ａは、推定部１６０ａを備える。推定部１６０ａは、診療内容推定部１７６ａを有する。診療内容推定部１７６ａは、推定モデル１７７ａを有する。さらに、推定モデル１７７ａは、ニューラルネットワーク１７８ａと、当該ニューラルネットワーク１７８ａによって用いられるパラメータ１７９ａとを含む。パラメータ１７９ａは、ニューラルネットワーク１７８ａによる計算に用いられる重み付け係数と、推定の判定に用いられる判定値とのうち、少なくともいずれか１つを含む。なお、推定部１６０ａは、「第１推定部」の一実施形態に対応し、推定モデル１７７ａは、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１７８ａは、「第１ニューラルネットワーク」の一実施形態に対応する。

第２実施形態に係る診療内容推定部１７６ａは、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データに基づき診療内容を推定する点で診療内容推定部１７６と異なる。具体的には、図２４に示すように、診療内容推定部１７６ａの推定モデル１７７ａは、教師データとしてセグメント化部１５６によってセグメント化された画像関連データおよび診療関連データが入力されると、ニューラルネットワーク１７８ａによって、当該画像関連データおよび当該診療関連データに関連付けられた診療内容を推定する。そして、推定モデル１７７ａは、自身の推定結果と、入力される画像関連データおよび診療関連データに関連付けられた正解データである診療内容とが一致するか否かを判定し、両者が一致すればパラメータ１７９ａを更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１７９ａを更新することで、パラメータ１７９ａを最適化する。

このように、学習段階において、推定装置１００ａは、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとに基づいて、診療内容を推定できるように、ニューラルネットワーク１７８ａを含む推定モデル１７７ａを機械学習させる。

なお、第２実施形態における推定モデル１７７ａの機械学習について、第１実施形態における推定モデル１７２の機械学習と同様に、診療状況をリアルタイムに観察することで処置内容を把握した関係者によって診療内容の教師データ（正解データ）が与えられて推定モデル１７７ａが機械学習されてもよい。また、全体カメラ５３の撮影動画の再生表示を観察することで処置内容を把握した関係者によって診療内容の教師データ（正解データ）が与えられて推定モデル１７７ａが機械学習されてもよい。

図２５に示すように、運用段階において、診療内容推定部１７６ａは、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク１７８ａを含む推定モデル１７７ａとに基づき、患者の診療内容を推定し、その推定結果を診療支援部１９０に出力する。

このように、運用段階において、推定装置１００ａは、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワーク１７８ａを含む推定モデル１７７ａとに基づき、患者の診療内容を推定する。これにより、画像関連データおよび診療関連データを用いて、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

上述したように、推定装置１００ａは、以下のように構成されている。すなわち、推定装置（１００ａ）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７８ａ）を含む第１推定モデル（１７７ａ）とに基づき、患者の診療内容を推定する第１推定部（１６０ａ）と、を備える。

これにより、推定装置１００ａは、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に診療内容を推定することができ、より利便性のある歯科診療を実現することができる。

推定装置（１００ａ）は、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７８ａ）を含む第１推定モデル（１７７ａ）とに基づき、患者の診療内容を推定する第１推定部（１６０ａ）と、を備える。

これにより、推定装置１００ａは、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

＜変形例＞
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。

[推定部について]
図９および図１０に示す第１実施形態において、推定装置１００は、処置内容を推定した上で、さらに診療内容を推定するものであったが、診療内容を推定することなく、処置内容を推定したものを出力するものであってもよい。具体的には、推定装置１００の推定部１６０は、診療内容推定部１７６を有しなくてもよい。すなわち、推定装置１００は、以下のように構成されてもよい。

推定装置（１００）は、患者を診療する診療空間をカメラ（５１，５２，５３）で撮影した画像関連データと、患者を診療する診療装置（１）で取得した診療関連データとが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３）を含む第１推定モデル（１７２）とに基づき、所定の期間における患者に対する処置内容を推定する第１推定部（１６０）と、を備える。

これにより、推定装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データと診療関連データとに基づき、正確かつ容易に処置内容を推定することができ、より利便性のある歯科診療を実現することができる。

推定装置（１００）は、入力部（１５０）から入力される画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部（１５６）と、セグメント化部（１５６）によってセグメント化される画像関連データおよび診療関連データと、第１ニューラルネットワーク（１７３）を含む第１推定モデル（１７２）とに基づき、患者の処置内容を推定する第１推定部（１６０）と、を備える。

これにより、推定装置１００は、情報量の多い画像関連データおよび診療関連データをセグメント化によって次元圧縮して診療内容の推定に用いることで、情報量の多い画像関連データおよび診療関連データから直接的に診療内容を推定するよりも、効率良く診療内容を推定することができ、より正確かつ容易に診療内容を推定することができる。

また、推定装置１００によって推定された処置内容に対して人間が理解できる言葉、記号、および色などでタグ付けされたものが出力される場合、術者によって行われた各処置の流れを言語化されてビジュアライズに表現することができる。このようにすれば、たとえば、熟練の歯科医師によるノウハウを口頭で伝承するのではなく、言語化されてビジュアライズに表現された処置内容を用いて、新米などの他の歯科医師にノウハウを伝えることができる。

[タグ付け部について]
本実施の形態においては、処置内容推定部１７１によって推定された処置内容に対してタグ付け部１６４がタグ付けした上で、そのタグ付けされた処置内容に基づき診療内容推定部１７６が診療内容を推定するものであった。しかしながら、タグ付け部１６４は必須ではなく、処置内容推定部１７１によって推定された処置内容がタグ付けされることなく診療内容推定部１７６に出力され、診療内容推定部１７６は、タグ付けされていない処置内容に基づき診療内容を推定してもよい。

なお、タグ付け部１６４によってタグ付けされた処置内容の推定結果に基づき、診療内容推定部１７６が診療内容を推定する場合、診療内容推定部１７６が処置内容を何らかのタグによって区別し易くなるため、診療内容の推定精度は向上する。

[カメラについて]
本実施の形態においては、トレーカメラ５１、患者カメラ５２、および全体カメラ５３が各１台ずつ診療装置１に取り付けられていたが、これらのカメラは複数台ずつ診療装置１に取り付けられてもよい。

トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、固定式に限らず、トレー３０が載せられたトレーテーブル１３の動き、あるいは術者の動きに追従して動く可動式であってもよい。

トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、診療装置１に搭載される他、診療装置１の周囲から当該診療装置１方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、推定装置１００が処置内容ないしは診療内容を推定してもよい。

推定装置１００は、トレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。

画像センサとして、カメラ以外に、生体センサ（たとえば、血圧センサ、呼吸センサ、体温センサ、心電図センサ、心拍センサなど）、音入力センサ（たとえば、マイク）などのセンサによって検知されたデータを推定装置１００へ追加入力させるようにしてもよく、推定装置１００は、これらのデータに基づき、処置内容や診療内容を推定してもよい。

推定装置１００は、事前情報として、以前受診した際の患者のカルテに関するデータを推定装置１００へ追加入力させるようにしてもよく、推定装置１００は、患者のカルテに関するデータに基づき、処置内容や診療内容を推定してもよい。

[推定装置について]
本実施の形態においては、推定装置１００は、診療装置１が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、推定装置１００は、診療空間内に設置された複数の診療装置１に接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置１００による機械学習の頻度が上がり、推定装置１００は、より精度良く診療内容を推定することができる。

推定装置１００は、診療装置１が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、推定装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、推定装置１００による機械学習の頻度がさらに上がり、推定装置１００は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。

[その他の変形例について]
第１実施形態および第２実施形態において、推定装置は、各カメラ５１〜５３による画像関連データと診療関連データとを同期させてセグメント化させた後に、セグメント化した同期データを推定する推定部に入力させ、当該推定部において処置内容を推定させたが、それらデータと推定部とを分けてもよい。

たとえば、推定装置は、各カメラ５１〜５３による画像関連データの各々を互いに同期させてセグメント化させた後に、セグメント化した画像関連データの同期データを第１の推定部に入力し、当該第１の推定部において処置内容を推定することで第１推定結果を出力し、一方、複数の診療関連データの各々を互いに同期させてセグメント化させた後に、セグメント化した診療関連データの同期データを第２の推定部に入力し、当該第２の推定部において処置内容を推定することで第２推定結果を出力し、その後、第１推定結果および第２推定結果の２つの推定結果を、第３の推定部に入力し、当該第３の推定部において処置内容を推定することで第３推定結果を出力してもよい。なお、第１の推定部、第２の推定部、および第３の推定部は、同じ推定部であってもよいし、一部が共通する推定部であってもよいし、各々が異なる推定部であってもよい。また、第３の推定部は、リカレントニューラルネットワークを含む推定モデルであってもよい。第１の推定部および第２の推定部については、予め規定した条件を満たす場合に処置内容を推定するといったルールベースのようなアルゴリズムを有してもよい。さらに、第１の推定部は、各カメラ５１〜５３による画像関連データ各々の画像に基づいて各々の推定結果を出力する３つの推定部を含んでいてもよい。このように、入力させるデータの種類ごとに推定モデルを用いれば、推定モデルごとに学習精度を調整（チューニング）することができるため、推定精度が低下している推定モデルをチューニングするだけで全体の推定精度を向上させることができる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１ 診療装置、２ 患者、３ 歯科医師、４ 歯科助手、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダー、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２０ スピーカ、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、５１ トレーカメラ、５２ 患者カメラ、５３ 全体カメラ、１００，１００ａ 推定装置、１０１ 通信装置、１０２ 演算装置、１０３ メモリ、１０４ ストレージ、１１０ 表示装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１２４ 通信部、１４１ 推定用プログラム、１５０ 入力部、１５１，１５２，１５３，１６０，１６０ａ 推定部、１５４ 変換部、１５５ 同期部、１５６ セグメント化部、１６１，１７２，１７７，１７７ａ，１５１１ 推定モデル、１６４ タグ付け部、１６５ 記憶部、１６６ タグ参照部、１７１ 処置内容推定部、１７３，１７８，１７８ａ，１５１２ ニューラルネットワーク、１７４，１７９，１７９ａ，１５１３ パラメータ、１７６，１７６ａ 診療内容推定部、１９０ 診療支援部、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３０１ ラバーダム防湿一式、３０２ ラバーダムシート、３０３ 根管長測定器、３０４ バーセット、３０５ ファイル、３０６ 口角対極、３０７ ファールクリップ、３０８ ブローチ、３０９ 洗浄用ニードル、３１０ 洗浄用シリンジ、３１１ 仮封剤充填器、３１２ クレンザー、３１３ タービン、３１４ ピンセット、３１５ バキューム、３１６ ミラー、３１７ エキスカベーター、３１８ 深針、３１９ 根管材料注入器、１０００ 推定システム。

Claims (18)

1. 歯科における診療内容を推定する推定装置であって、
   患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力される入力部と、
   前記入力部から入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、
   前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定する第１推定部と、を備える、推定装置。
2. 前記所定のタイミングは、前記診療関連データに含まれる、前記診療装置が備えるチェアを駆動するデータ、前記診療装置が備える診療器具を駆動するデータ、前記診療装置が備える照明装置を駆動するデータ、および前記診療装置が備える給水・排水装置を駆動するデータの少なくともいずれか１つに基づき、診療に関する装置の駆動の発生または継続が判定されるタイミングである、請求項１に記載の推定装置。
3. 前記入力部から入力される前記画像関連データと、第２ニューラルネットワークを含む第２推定モデルとに基づき、患者を診療するための診療器具を少なくとも推定する第２推定部を備え、
   前記第１推定部は、前記第２推定部による推定結果を含む前記画像関連データおよび前記診療関連データと、前記第１推定モデルとに基づき、前記患者の診療内容を推定する、請求項１または請求項２に記載の推定装置。
4. 前記入力部から入力される前記診療関連データを、所定の形式に変換する変換部を備える、請求項３に記載の推定装置。
5. 前記第２推定部による推定結果を含む前記画像関連データと、前記変換部によって変換される前記診療関連データとを時系列に同期させる同期部を備える、請求項４に記載の推定装置。
6. 前記セグメント化部は、前記同期部によって同期される前記画像関連データおよび前記診療関連データに基づき、当該画像関連データと当該診療関連データとを前記所定のタイミングで区切ることでセグメント化する、請求項５に記載の推定装置。
7. 前記第１推定部は、前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データに基づき、所定の期間における前記患者に対する処置内容を推定し、推定した当該処置内容に基づき当該患者の診療内容を推定する、請求項１〜請求項６のいずれか１項に記載の推定装置。
8. 前記第１ニューラルネットワークは、リカレントニューラルネットワークである、請求項１〜請求項７のいずれか１項に記載の推定装置。
9. 前記第１推定モデルは、前記画像関連データおよび前記診療関連データに関連付けられた前記患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき学習されたものである、請求項１〜請求項８のいずれか１項に記載の推定装置。
10. 前記第１推定モデルは、前記第１ニューラルネットワークによって用いられるパラメータとして、重み付け係数および判定値の少なくともいずれか１つを含み、
    前記第１推定モデルは、前記画像関連データおよび前記診療関連データに関連付けられた前記患者の診療内容と、当該画像関連データおよび当該診療関連データを用いた当該患者の診療内容の推定結果とに基づき、前記パラメータが更新されることで学習される、請求項９に記載の推定装置。
11. 前記画像関連データは、前記患者の口腔内、および患者を診療するための診療器具が置かれるトレーの少なくともいずれか１つを含む領域の画像のデータを含む、請求項１〜請求項１０のいずれか１項に記載の推定装置。
12. 前記診療関連データは、前記診療装置のログデータを含む、請求項１〜請求項１１のいずれか１項に記載の推定装置。
13. 前記第１推定部による推定結果に基づき診療支援処理を実行する診療支援部を備える、請求項１〜請求項１２のいずれか１項に記載の推定装置。
14. 前記セグメント化部は、前記画像関連データおよび前記診療関連データの少なくともいずれか１つに含まれる前記患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを前記所定のタイミングで区切ることでセグメント化する、請求項１〜請求項１３のいずれか１項に記載の推定装置。
15. 歯科における処置内容を推定する推定装置であって、
    患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力される入力部と、
    前記入力部から入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、
    前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の処置内容を推定する第１推定部と、を備える、推定装置。
16. 歯科における診療内容を推定する推定システムであって、
    患者を診療する診療空間を撮影するカメラと、
    前記患者を診療する診療装置と、
    前記カメラで撮影した画像関連データと、前記診療装置で取得した診療関連データとに基づき、前記患者の診療内容を推定する推定装置と、を備え、
    前記推定装置は、
    前記画像関連データと前記診療関連データとが入力される入力部と、
    前記入力部から入力される前記画像関連データおよび前記診療関連データとを所定のタイミングで区切ることでセグメント化するセグメント化部と、
    前記セグメント化部によってセグメント化される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定する第１推定部とを含む、推定システム。
17. コンピュータによる歯科における診療内容を推定する推定方法であって、
    患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力されるステップと、
    入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、
    セグメント化される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定するステップと、を含む、推定方法。
18. 歯科における診療内容を推定する推定用プログラムであって、
    前記推定用プログラムは、コンピュータに、
    患者を診療する診療空間をカメラで撮影した画像関連データと、前記患者を診療する診療装置で取得した診療関連データとが入力されるステップと、
    入力される前記画像関連データと前記診療関連データとを所定のタイミングで区切ることでセグメント化するステップと、
    セグメント化される前記画像関連データおよび前記診療関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記患者の診療内容を推定するステップと、を実行させる、推定用プログラム。

Images