JP2022100896A - 制御装置、制御方法、および制御プログラム - Google Patents

Abstract

【課題】術者の利便性を向上させることができる制御装置、制御方法、および制御プログラムを提供する。
【解決手段】制御装置（１００）は、診療装置（１）を含む診療空間をカメラ（５１、５２，５３）で撮影した画像関連データが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データと、第１ニューラルネットワーク（１６２）を含む第１推定モデル（１６１）とに基づき、診療装置（１）を制御するための制御データを生成する生成部（１６０）と、生成部（１６０）によって生成される制御データを制御対象（１９０）に出力する出力部（１８０）とを備える。
【選択図】図９

Description

本発明は、患者を診療するための診療装置を制御する制御装置、制御方法、および制御プログラムに関する。

従来、患者を診療するための診療装置が知られている。たとえば、特許文献１には、チェア、診療器具、および照明装置など、患者を診療するための構成を備えた診療装置が開示されている。

特許第６３８８８４９号公報

特許文献１に開示された診療装置によれば、術者は、診療内容に応じて診療装置の各構成を使用することで、患者を診療することができる。近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い利活用するといった技術が生み出されていることに鑑みれば、診療装置にＡＩ技術を用いることで、術者にとって利便性の高い診療装置を提供することができる。

本発明は、術者の利便性を向上させることができる制御装置、制御方法、および制御プログラムを提供することを目的とする。

本開示の一例に従えば、患者を診療するための診療装置を制御する制御装置が提供される。制御装置は、診療装置を含む診療空間をカメラで撮影した画像関連データが入力される入力部と、入力部から入力される画像関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、診療装置を制御するための制御データを生成する生成部と、生成部によって生成される制御データを制御対象に出力する出力部とを備える。

本開示の一例に従えば、コンピュータによる患者を診療するための診療装置を制御する制御方法が提供される。制御方法は、診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、入力される画像関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、診療装置を制御するための制御データを生成するステップと、生成される制御データを制御対象に出力するステップとを含む。

本開示の一例に従えば、患者を診療するための診療装置を制御する制御プログラムが提供される。制御プログラムは、コンピュータに、診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、入力される画像関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、診療装置を制御するための制御データを生成するステップと、生成される制御データを制御対象に出力するステップとを実行させる。

本開示によれば、術者の利便性を向上させることができる。

本実施の形態に係る制御システムの全体構成を示す模式図である。 トレーカメラの撮影画像の一例を説明するための図である。 患者カメラの撮影画像の一例を説明するための図である。 全体カメラの撮影画像の一例を説明するための図である。 本実施の形態に係る制御システムの内部構成を示すブロック図である。 本実施の形態に係る制御装置が取得する位置データの一例を説明するための図である。 位置データの検出ポイントの一例を説明するための図である。 位置データに対応する位置座標の一例を説明するための図である。 本実施の形態に係る制御装置の学習段階における機能構成を示すブロック図である。 本実施の形態に係る制御装置の運用段階における機能構成を示すブロック図である。 根管治療におけるトレーカメラの撮影画像の一例を説明するための図である。 トレーカメラの撮影情報から取得されたトレー画像データの一例を説明するための図である。 患者カメラの撮影情報から取得された患者画像データの一例を説明するための図である。 全体カメラの撮影情報から取得された位置データの一例を説明するための図である。 診療装置から取得された診療関連データの一例を説明するための図である。 同期データの一例を説明するための図である。 同期データの一例を説明するための図である。 制御装置による制御の一例を説明するための図である。 制御装置による制御の一例を説明するための図である。 制御装置による制御の一例を説明するための図である。 制御装置が実行する制御データ生成処理の一例を説明するためのフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜制御システムの全体構成＞
図１は、本実施の形態に係る制御システム１０００の全体構成を示す模式図である。本実施の形態に係る制御システム１０００は、患者を診療するための診療装置１を制御する。

「診療」は、診察および治療の少なくともいずれか１つを含む。「診察」は、術者が患者の病状および病因などを探ることを含む。「治療」は、術者が患者の病気を治すこと、および術者が患者の美容や健康を保つこと（たとえば、審美治療）を含む。診療（診察、治療）の対象となる学科は、歯科および医科の少なくともいずれか１つを含む。「歯科」は、歯または歯に関連した組織（歯周組織など）に関する疾患を扱う診療科であり、たとえば、一般歯科、矯正歯科、口腔外科、歯科放射線科、および小児歯科などを含む。「医科」は、たとえば、内科、小児科、外科、眼科、耳鼻咽喉科、産婦人科、皮膚科、脳神経外科、循環器科、および整形外科などを含む。本実施の形態に係る診療装置１は、術者が患者の歯科に関する診療を行うために用いられる。「術者」は、患者を診療する医師（たとえば、歯科医師）、医師を補助する補助者（たとえば、歯科助手）、歯科または医科大学の先生、歯科または医科大学の生徒、および歯科技工士などを含む。

図１に示すように、制御システム１０００は、診療装置１と、診療装置１を制御する制御装置１００とを備える。診療装置１は、たとえば、術者が患者に対して歯科に関する診療を行うためのチェアユニットである。診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダー１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置１９と、器具制御装置２１と、表示制御装置２２と、スピーカ３５とを備える。

チェア１１は、診療時に患者が座る椅子であり、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。

ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。

トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。なお、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）によって吊り下げられてもよい。たとえば、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６によって吊り下げられてもよい。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。

「診療器具」は、ピンセット、ミラー、エキスカベーター、深針、およびマイクロスコープなど、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダー１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダー１４によって保持されない診療器具が主に置かれる。

診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。

フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の姿勢を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。

ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。

操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。

照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、術者による診療を照明によってサポートする。なお、照明装置１９に限らず、ディスプレイ１７も、ポール５またはアーム６の先端に取り付けられてもよい。

スピーカ３５は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。

術者は、診療内容に応じて診療装置１の各構成を使用することで、患者を診療することができる。たとえば、術者は、患者をチェアに座らせる際に、フットコントローラ１６を操作することで、患者が座り易い姿勢となるようにチェア１１を動作させる。たとえば、術者は、患者を診療する際に、照明装置１９を消灯状態から照明状態へと切り替えることで、患者の口腔内を視認し易くする。たとえば、術者は、患者を診療する際に、フットコントローラ１６を操作することで、診療器具１５を駆動させる。

このように、術者は、患者の診療中に、診療装置１が備える各構成を操作することで、患者を診療することができるが、このような診療中の術者の動作をＡＩ技術を用いて先読みして診療装置１を制御することができれば、術者にとって利便性の高い診療装置１を提供することができる。

ここで、診療中、歯科医師、歯科助手、および患者の各々は、診療内容に応じて概ね決まったルーチンで動作を行い、診療内容に応じて概ね決まった姿勢をとる。歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢は、診療の手順を表しているとも言え、その手順に対応するように診療装置１も制御される。このため、歯科医師、歯科助手、および患者の各々が行う動作の順番および姿勢に基づき、診療の手順を理解することができれば、診療装置１の制御を先読みすることが可能となる。

さらに、術者は、診療内容に応じて複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出し、取り出した診療器具を用いて診療を行う。選択される診療器具の種類、および診療器具が用いられる順番は、診療の手順を表しているとも言え、その手順に対応するように診療装置１も制御される。このため、術者によって選択される診療器具の種類および診療器具が用いられる順番に基づき、診療の手順を理解することができれば、診療装置１の制御を先読みすることが可能となる。

そこで、本実施の形態に係る制御システム１０００（制御装置１００）は、歯科医師、歯科助手、および患者の行動を、ＡＩを用いて分析・学習することで、診療装置１を制御するための制御データを推定する技術を提供する。さらに、本実施の形態に係る制御システム１０００（制御装置１００）は、術者によって選択される診療器具の種類および診療器具が用いられる順番を、ＡＩを用いて分析・学習することで、診療装置１の制御データを推定する技術を提供する。以下、本実施の形態に係る制御システム１０００（制御装置１００）による診療装置１の制御を具体的に説明する。

本実施の形態に係る診療装置１には、複数のカメラが取り付けられている。具体的には、制御システム１０００は、ディスプレイ１７に取り付けられたトレーカメラ５１と、照明装置１９に取り付けられた患者カメラ５２と、ポール５の上部に取り付けられた全体カメラ５３とを備える。

トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた撮影情報を含む画像データ（以下、「トレー画像データ」とも称する。）は、制御装置１００によって取得される。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、および種類などを制御装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

患者カメラ５２は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。通常、診療中においては、照明装置１９によって患者の口腔内が照明されるため、照明装置１９に取り付けられた患者カメラ５２は、自ずと患者の口腔内を少なくとも含む領域を撮影することができる。患者カメラ５２によって得られた撮影情報を含む画像データ（以下、「患者画像データ」とも称する。）は、制御装置１００によって取得される。患者カメラ５２におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を制御装置１００が認識できる程度に予め調整されている。なお、患者カメラ５２は、患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。患者カメラ５２は、口腔周辺の部位と診療器具とにおける奥行き方向（たとえば、患者カメラ５２から患者を見る方向）の位置関係を制御装置１００が検出できるように、全体カメラ５３と同様に三次元の位置座標を検出可能であってもよい。

全体カメラ５３は、診療装置１を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ５３は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５３は、ポール５の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の行動と、診療装置１の動作とを上空から俯瞰して撮影する。

全体カメラ５３は、術者および患者の三次元の位置座標を検出できるように３Ｄカメラなどで構成されている。たとえば、全体カメラ５３は、カメラによる撮影および光（たとえば、赤外線）の反射を用いた対象物までの距離の測定によって三次元の位置座標を検出可能なＴｏＦ（Time of Flight）方式のカメラ、または、２台のカメラによる撮影によって三次元の位置座標を検出可能なステレオ方式のカメラなどで構成されている。

なお、全体カメラ５３は、図１に示すような診療装置１のチェア１１（またはチェア１１に座った患者）の正面から撮影するカメラに加えて、診療装置１のチェア１１（またはチェア１１に座った患者）の背面から撮影するカメラを含んでいてもよい。このようにすれば、全体カメラ５３は、診療装置１の正面に限らず、背面からも診療空間を撮影することができるため、死角無くより詳細に、かつ、より広範囲に、診療空間を撮影することができる。さらに、全体カメラ５３は、診療空間に存在する撮影対象（たとえば、術者および患者などの人物）を追尾することができるものであってもよい。

「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、少なくとも診療中の歯科医師、歯科助手、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５３によって得られた撮影情報を含む画像データ（以下、「全体画像データ」とも称する。）は、制御装置１００によって取得される。全体カメラ５３におけるシャッタースピードなどの各種設定は、歯科医師の行動、歯科助手の行動、患者の行動、および診療装置１の動作などを制御装置１００が認識できる程度に予め調整されている。なお、全体カメラ５３は、診療装置１を含む診療空間を少なくとも撮影することができる場所であれば、いずれの場所に設置されてもよい。

上述したトレー画像データ、患者画像データ、および全体画像データの各々は、「画像関連データ」の一実施形態であり、以下ではこれらのデータを「画像関連データ」とも称する。なお、「画像関連データ」という文言は、トレー画像データ、患者画像データ、および全体画像データの全てを意味する場合もあるが、トレー画像データ、患者画像データ、および全体画像データのうちの少なくともいずれか１つを意味する場合もある。

さらに、詳しくは後述するが、制御装置１００は、トレー画像データおよび患者画像データに基づき、撮影画像に映し出された診療器具などのオブジェクトの有無やその種類を検出する。制御装置１００は、全体画像データに基づき、撮影画像に映し出された歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した制御装置１００による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、患者画像データ、および全体画像データそのものを含んでいてもよいし、これらのデータに基づき制御装置１００によって取得された検出結果を含んでいてもよい。

制御装置１００は、取得した各種のデータに基づき、診療装置１の制御データを推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、制御装置１００は、診療装置１に取り付けられたトレーカメラ５１、患者カメラ５２、および全体カメラ５３の少なくともいずれか１つから、画像データを取得する。さらに、制御装置１００は、診療装置１で取得した診療に関するデータ（以下、「診療関連データ」とも称する。）を取得する。制御装置１００は、取得した画像データおよび診療関連データの少なくともいずれか１つに基づき、診療装置１の制御データを推定する。

「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の少なくともいずれか１つにおける過去および現在の少なくとも１つの制御データを含む。たとえば、「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア１１の現在の状態（姿勢および位置など）を特定するためのデータを含んでいてもよい。

＜診療内容＞
診療のうちの治療の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも診療内容に含まれる。

術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。処置の例としては、審査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。

診療のうち、根管治療の場合を例に挙げる。根管治療とは、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を切削拡大してから洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、審査、抜髄、根管長測定・拡大、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。

審査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定・拡大は、歯髄を除去した後の空洞になった根尖位置を測定し、その根尖までの根管を切削拡大することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。なお、上述した根管治療に含まれる処置の内容および数は、一例に過ぎず、根管治療にはその他の処置が含まれてもよいし、上述した処置の一部が省かれてもよい。

＜トレーカメラの撮影画像＞
図２は、トレーカメラ５１の撮影画像の一例を説明するための図である。図２に示すように、トレーカメラ５１によって、トレー３０に置かれた１または複数の診療器具が撮影される。

たとえば、図２に示す例では、ラバーダム防湿一式３０１、ラバーダムシート３０２、根管長測定器３０３、バーセット３０４、ファイル（リーマ）３０５、口角対極３０６、ファールクリップ３０７、ブローチ３０８、洗浄用ニードル３０９、洗浄用シリンジ３１０、仮封剤充填器３１１、クレンザー３１２、タービン３１３、ピンセット３１４、バキューム３１５、ミラー３１６、エキスカベーター３１７、深針３１８、および根管材料注入器３１９といったように、複数の診療器具がトレー３０に置かれた様子が撮影画像に映し出されている。

診療中においては、トレー３０に置かれた複数の診療器具の中から術者が所望の診療器具を選択して使用することになるが、使用中の診療器具についてはトレーカメラ５１の撮影画像に映し出されない。たとえば、診療中にミラー３１６が使用された場合は、トレー３０上からミラー３１６が存在しないため、トレーカメラ５１の撮影画像にミラー３１６が映し出されない。

制御装置１００は、図２に示すようなトレーカメラ５１によって取得された撮影画像を含むトレー画像データを画像認識などで分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを検出することができる。

＜患者カメラの撮影画像＞
図３は、患者カメラ５２の撮影画像の一例を説明するための図である。図３に示すように、患者カメラ５２によって、患者の口腔内を少なくとも含む領域が撮影される。

たとえば、図３に示す撮影画像では、患者の口腔内において、右頬の下唇の付近の歯に診療器具（この例ではピンセット３１４およびミラー３１６）が位置する様子が撮影画像に映し出されている。

診療中においては、患者の口腔内において診療器具を用いた歯科診療が行われることになるが、図３に示すように、患者カメラ５２の撮影画像には、診療中において患者の口腔内に位置する診療器具が映し出される。

制御装置１００は、図３に示すような患者カメラ５２によって取得された撮影画像を含む患者画像データを画像認識などで分析することで、患者の口腔内における診療器具の位置を検出することができる。

＜全体カメラの撮影画像＞
図４は、全体カメラ５３の撮影画像の一例を説明するための図である。図４に示すように、全体カメラ５３によって、診療空間を少なくとも含む領域が撮影される。

たとえば、図４に示す撮影画像では、診療中の術者（この例では歯科医師３および歯科助手４）および患者２の行動と、診療装置１の状態（この例ではトレーテーブル１３における操作パネル１８およびトレー３０上の診療器具など）とが撮影画像に映し出されている。

診療中においては、術者によって診療器具を用いた歯科診療が行われることになるが、図４に示すように、全体カメラ５３の撮影画像には、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の状態などが映し出される。

制御装置１００は、図４に示すような全体カメラ５３によって取得された撮影画像を含む全体画像データを画像認識などで分析することで、診療中の術者および患者の位置（たとえば、Ｘ座標、Ｙ座標）を検出することができる。さらに、後述するように、制御装置１００は、全体カメラ５３からの赤外線などの光の照射などによって、診療中の術者および患者の位置（たとえば、Ｚ座標）を検出することができる。

＜制御システムの内部構成＞
図５は、本実施の形態に係る制御システム１０００の内部構成を示すブロック図である。図５に示すように、制御システム１０００は、複数のカメラ（トレーカメラ５１、患者カメラ５２、全体カメラ５３）と、診療装置１とを備える。

診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、音制御装置３２と、ベースンユニット１２と、制御装置１００とを備える。

チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、制御装置１００からの制御データをＣＡＮ（Controller Area Network）通信を介して受信すると、当該制御データに基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１に座った患者が座位姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１に座った患者が仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。

器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、診療器具１５の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、制御装置１００が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置２１は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。

表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、ディスプレイ１７を制御する。パネル制御部２２２は、制御装置１００の制御に基づく制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、操作パネル１８を制御する。

音制御装置３２は、音制御部３２１を含む。音制御部３２１は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、スピーカ３５を制御する。

ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、制御装置１００からの制御データをＣＡＮ通信を介して受信すると、当該制御データに基づき、照明装置１９の照明および消灯を制御する。

上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。

制御装置１００、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、ＣＡＮ通信によって相互に通信する。ＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。

さらに、ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３を含む。

蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信によって通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭやＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記録媒体で構成されてもよい。

制御装置１００は、通信装置１０１と、演算装置１０２と、記録装置１０３とを備える。

通信装置１０１は、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々との間で通信することで、データの送受信を行う。通信装置１０１は、有線または無線のＬＡＮ（Local Area Network）通信によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される画像関連データを取得してもよい。通信装置１０１は、有線または無線のＬＡＮ通信によってベースンユニット１２との間で通信することで、ベースンユニット１２の蓄積部１２３に蓄積された診療関連データを取得する。なお、ベースンユニット１２が診療関連データを収集して蓄積するものに限らず、チェア１１、器具制御装置２１、表示制御装置２２、および音制御装置３２など、その他の構成が診療関連データを蓄積してもよく、制御装置１００は、これらその他の構成から診療関連データを取得してもよい。

演算装置１０２は、各種のプログラム（たとえば、後述する制御プログラム１４１）を実行することで、診療装置１を制御するための制御データ生成処理、および制御データを推定するための学習処理などの各種の処理を実行する演算主体である。演算装置１０２は、「コンピュータ」の一実施形態である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。

なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）で構成されてもよい。

記録装置１０３は、「記録部」の一実施形態である。記録装置１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記録領域を提供する。記録装置１０３は、たとえば、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成されたり、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成されたりする。記録装置１０３は、データベースエンジンで構成されてもよい。

記録装置１０３は、制御装置１００が備えるものに限らない。たとえば、診療装置１に通信可能に接続された院内サーバが記録装置１０３を備えていてもよいし、診療装置１が設置された診療空間外に設置された院外サーバが記録装置１０３を備えていてもよい。さらに、記録装置１０３は、複数の診療装置１の各々が備える複数の制御装置１００の各々が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した画像関連データおよび診療関連データを記録装置１０３によって一律に蓄積しかつ管理することができる。

記録装置１０３は、推定モデル１６１と、制御プログラム１４１と、ＯＳ（Operating System）１４２とを格納する。

推定モデル１６１は、画像関連データおよび診療装置１から取得した診療関連データの少なくともいずれか１つに基づき、診療装置１の制御データを推定するために用いられる。推定モデル１６１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）され、診療装置１の制御データの推定精度を向上させることができる。

なお、制御装置１００の演算装置１０２によって診療装置１の制御データを生成する処理を「制御データ生成処理」とも称し、制御装置１００の演算装置１０２によって推定モデル１６１を学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデル１６１を、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデル１６１および学習済みの推定モデル１６１をまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデル１６１を「学習済モデル」とも称する。

制御プログラム１４１は、演算装置１０２が制御データ生成処理および学習処理を実行するためのプログラムと、生成した制御データを各制御対象に出力するためのプログラムとを含む。

＜位置データ＞
図６～図８を参照しながら、全体カメラ５３によって得られた撮影情報に基づき制御装置１００が取得する術者および患者の位置データについて説明する。図６は、本実施の形態に係る制御装置１００が取得する位置データの一例を説明するための図である。図７は、位置データの検出ポイントの一例を説明するための図である。図８は、位置データに対応する位置座標の一例を説明するための図である。

制御装置１００において、演算装置１０２は、全体カメラ５３によって取得された撮影情報に基づき、診療中の術者および患者など撮影画像に含まれる人物の位置を特定するための位置データを生成し、生成した位置データを記録装置１０３に記録させる。

具体的には、図６に示すように、記録装置１０３は、人物Ａ、人物Ｂ、および人物Ｃといったように、人物ごとに位置データをまとめて記録する。たとえば、人物Ａは歯科医師に対応し、人物Ｂは歯科助手に対応し、人物Ｃは患者に対応する。記録装置１０３は、演算装置１０２によって生成された位置データを時間情報（タイムスタンプ）に関連付けて記録する。記録装置１０３は、演算装置１０２によって新たに生成された位置データが、記録済みの位置データと異なる場合に、演算装置１０２によって新たに生成された位置データを記録する。すなわち、本実施の形態において、記録装置１０３は、人物の位置が変化しない限り新たな位置データを記録せず、人物の位置が変化したことを条件に新たな位置データを記録する。なお、記録装置１０３は、位置データが変化するか否かに関わらず、所定時間（たとえば、１秒間）ごとに、演算装置１０２によって生成された位置データをタイムスタンプに関連付けて記録してもよい。

位置データは、検出対象の人物に対して定められた検出ポイントごとに三次元（Ｘ、Ｙ、Ｚ）の位置座標を含む。図６および図７に示すように、たとえば、検出ポイントは、人物（この例では歯科医師３）の右手首、右肘、右肩、頭、左肩、左肘、左手首、右耳、左耳、右眼、左眼、鼻、口、股関節、右膝、左膝、右足首、および左足首を含む。なお、制御装置１００は、図６に示される検出ポイント以外のポイントについて位置データを取得してもよいし、図６に示される検出ポイントの一部のポイントについてのみ位置データを取得してもよい。

なお、制御装置１００は、予め定められた検出ポイントの一部を特定できない場合、前回特定した検出ポイントに対応する位置データを、今回の位置データとして記録装置１０３に記録させてもよい。たとえば、撮影対象となる人物が全体カメラ５３の死角に入った場合、制御装置１００が一部の検出ポイントを特定することができないおそれがあるが、この場合、制御装置１００は、人物が全体カメラ５３の死角に入る前に特定した検出ポイントに対応する位置データを用いて、今回欠落した一部の検出ポイントに対応する位置データを補完してもよい。

全体カメラ５３がＴｏＦ方式のカメラで構成される場合における位置データを説明する。たとえば、位置データに対応する位置座標は、図７に示すような全体カメラ５３によって得られた撮影画像の左上の端をＸ座標およびＹ座標の原点とする。さらに、図８に示すように、位置データに対応する位置座標は、全体カメラ５３が配置された位置をＺ座標の原点とする。

演算装置１０２は、全体カメラ５３から図７に示すような撮影画像を取得した場合、画像認識によって、人物Ａ、人物Ｂ、および人物Ｃの３人の人物を特定する。演算装置１０２は、各人物について、右手首および右肘といった検出ポイントを画像認識によって特定し、特定した各検出ポイントの位置座標を特定する。診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね位置する場所（ホームポジション）が決まっている。このため、演算装置１０２は、全体カメラ５３の撮影画像に映し出された複数の人物の各々の位置データに基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。さらに、診療空間に存在する歯科医師、歯科助手、および患者などの各人物は、概ね服装の色または形が決まっている。たとえば、歯科医師であれば、通常、白衣を着ている。このため、演算装置１０２は、全体カメラ５３の撮影画像に映し出された複数の人物の各々の服装に基づき、各人物が歯科医師、歯科助手、および患者のいずれであるかを特定してもよい。

たとえば、人物Ａ（歯科医師３）に着目すると、演算装置１０２は、Ｐ１（右手首）、Ｐ２（右肘）、Ｐ３（右肩）、Ｐ４（頭）、Ｐ５（左肩）、Ｐ６（左肘）、およびＰ７（左手首）の検出ポイントを特定し、Ｐ１～Ｐ７の各検出ポイントの位置情報を特定する。たとえば、図８に示すように、演算装置１０２は、Ｐ１の位置座標について、撮影画像に基づき、Ｘ座標としてＸ１を特定し、Ｙ座標としてＹ１を特定する。さらに、演算装置１０２は、全体カメラ５３によってＺ座標の原点からＰ１に向けて照射された光の反射光に基づき、Ｚ座標としてＺ１を特定する。具体的には、演算装置１０２は、全体カメラ５３によって光が照射されてからその光の反射光が戻ってくるまでの時間に基づき、Ｚ座標の原点とＰ１との間の距離Ｌを算出する。そして、演算装置１０２は、Ｐ１からＺ軸に対して垂線を下ろし、垂線の長さと距離Ｌとに基づき三角関数を用いて、Ｚ座標としてＺ１を特定する。

演算装置１０２は、上述するようにして特定したＰ１の位置座標を、Ｐ１の位置データとして記録装置１０３に記録させる。このとき、演算装置１０２は、新たに取得したＰ１の位置データが記録装置１０３に記録済みのＰ１の位置データと異なる場合、新たに取得したＰ１の位置データをタイムスタンプとともに記録装置１０３に記録させる。一方、演算装置１０２は、新たに取得したＰ１の位置データが記録装置１０３に記録済みのＰ１の位置データと同じである場合、新たに取得したＰ１の位置データを記録装置１０３に記録させない。

このように、演算装置１０２は、人物の位置を検出するたびに、新たな位置データを記録装置１０３に毎回記録させるのではなく、人物の位置データが変化した場合に限り、新たな位置データを記録装置１０３に記録させるため、記録装置１０３が記録するデータ量が増大することを極力抑えることができる。なお、上述したように、演算装置１０２は、位置データが変化するか否かに関わらず、所定時間（たとえば、１秒間）ごとに位置データを記録装置１０３に記録させてもよい。このようにすれば、位置データを記録する時間がランダムにならないため、位置データを記録する度に、タイムスタンプを取得する必要がない。

さらに、演算装置１０２は、位置データをタイムスタンプとともに記録装置１０３に記録させることで、新規で機械学習を行う際に用いた位置データを、再学習する際にも再び用いることができる。さらに、複数の制御装置１００において記録装置１０３に記録された位置データを共有する際にも、位置データにタイムスタンプが関連付けられていることで、複数の制御装置１００が同じような機械学習を行うことができる。

このようにして、制御装置１００は、全体カメラ５３から取得した撮影情報に基づき、診療中の術者および患者の位置を特定するための各検出ポイントの位置データを取得する。制御装置１００は、取得した位置データをタイムスタンプに関連付けて、全体画像データとして記録装置１０３に蓄積して記録させる。さらに、制御装置１００は、各検出ポイントを直線などによって仮想的に繋げることによって、人物の手、腕、頭、腰、および足などの動作を特定することができる。

なお、上述した検出ポイントの位置座標の特定方法は、一例であり、制御装置１００は、その他の手法で検出ポイントの位置座標を特定してもよい。さらに、制御装置１００は、一連の診療に関わる人物に限らず、一連の診療に関わるキーアイテムの位置座標を特定してもよい。このようにすれば、制御装置１００は、特定したキーアイテムの位置座標を用いて推定モデル１６１を機械学習させることもできる。

本実施の形態においては、演算装置１０２は、全体カメラ５３から取得した撮影情報に基づきＺ座標を算出した上で、Ｘ座標およびＹ座標とともにＺ座標を記録装置１０３または記録装置２０３に記録させるものであった。しかしながら、演算装置１０２は、Ｚ座標の代わりに、撮影画像に映し出された全てのオブジェクトまでの距離をフレーム化した深度フレームを画像フレームとともに記録装置１０３または記録装置２０３に記録させてもよい。このようにすれば、一連の診療が終了した後であっても、記録装置１０３または記録装置２０３に記録された深度フレームおよび画像フレームを解析することで、Ｚ座標を算出することができる。

＜制御装置の機能構成＞
［制御装置の学習段階における機能構成］
図９は、本実施の形態に係る制御装置１００の学習段階における機能構成を示すブロック図である。図９に示すように、制御装置１００は、主な機能部として、入力部１５０と、位置検出部１５７と、物体検出部１５２と、変換部１５４と、同期部１５５と、セグメント化部１５６と、生成部１６０と、出力部１８０とを有する。なお、入力部１５０および出力部１８０は、通信装置１０１の機能部であり、位置検出部１５７、物体検出部１５２、変換部１５４、同期部１５５、セグメント化部１５６、および生成部１６０は、各々、演算装置１０２の機能部である。

入力部１５０には、トレーカメラ５１、患者カメラ５２、および全体カメラ５３の各々で撮影した画像関連データ（トレー画像データ，患者画像データ，全体画像データ）と、診療装置１で取得した診療関連データとが時系列で入力される。なお、入力部１５０には、撮影画像に映し出されたオブジェクトまでの距離をフレーム化した深度フレームが時系列で入力されてもよい。

位置検出部１５７は、ＸＹ検出部１５１とＺ検出部１５３とを含む。ＸＹ検出部１５１は、入力部１５０から入力された全体カメラ５３の全体画像データに基づき画像認識を行うことで、術者および患者などの人物の位置データ（Ｘ座標、Ｙ座標）を検出する。Ｚ検出部１５３は、図８で説明したように、ＸＹ検出部１５１によって特定された人物のＸ座標およびＹ座標と、赤外線などによる反射光から算出される人物までの距離Ｌとに基づき、人物の位置データ（Ｚ座標）を検出する。たとえば、位置検出部１５７は、全体カメラ５３の全体画像データに基づき、後述する図１４に示すように、所定のタイミング（後述する図１４に示すｔＣ１、ｔＣ２、ｔＣ３、…）ごとに、人物の位置データ（Ｘ座標、Ｙ座標、Ｚ座標）を検出する。

ここで、ＸＹ検出部１５１の構成についてさらに詳細に説明する。図中の破線部Ｃに示すように、ＸＹ検出部１５１は、推定モデル１５１１を有する。さらに、推定モデル１５１１は、ニューラルネットワーク１５１２と、当該ニューラルネットワーク１５１２によって用いられるパラメータ１５１３とを含む。パラメータ１５１３は、ニューラルネットワーク１５１２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定モデル１５１１は、「第２推定モデル」の一実施形態に対応し、ニューラルネットワーク１５１２は、「第２ニューラルネットワーク」の一実施形態に対応する。

ニューラルネットワーク１５１２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）、リカレントニューラルネットワーク（再帰型ニューラルネットワーク）（ＲＮＮ：Recurrent Neural Network）、あるいはＬＳＴＭネットワーク（Long Short Term Memory Network）など、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークが適用される。

ＸＹ検出部１５１は、全体カメラ５３から入力部１５０に入力された全体画像データと、ニューラルネットワーク１５１２を含む推定モデル１５１１とに基づき、術者および患者などの人物の位置データ（各検出ポイントのＸ座標、Ｙ座標）を推定する。

学習段階において、推定モデル１５１１は、全体画像データに関連付けられた人物の位置データ（各検出ポイントのＸ座標、Ｙ座標）と、当該全体画像データを用いた人物の位置データ（各検出ポイントのＸ座標、Ｙ座標）の推定結果とに基づき学習されることで最適化（調整）される。

具体的には、推定モデル１５１１は、教師データとして全体画像データが入力されると、当該全体画像データに基づきニューラルネットワーク１５１２によって撮影画像に映し出された人物の検出ポイントを推定する。なお、推定モデル１５１１が推定する検出ポイントは、図６で示したように予め決められている。推定モデル１５１１は、各人物において検出ポイントを推定すると、推定した検出ポイントごとに位置データ（Ｘ座標、Ｙ座標）を推定する。なお、位置データの原点は、図７および図８で示したように予め決められている。

推定モデル１５１１は、自身の推定結果と、入力された全体画像データに関連付けられた正解データである人物の位置データとが一致するか否かを判定し、両者が一致すればパラメータ１５１３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１５１３を更新することで、パラメータ１５１３を最適化する。なお、上述したような推定モデル１５１１の学習は、学習段階に限らず、運用段階においても行われてもよい。

なお、ＸＹ検出部１５１は、ニューラルネットワークを用いたＡＩの画像認識によって人物の位置データを検出するものに限らない。たとえば、ＸＹ検出部１５１は、公知のパターンマッチングのように、撮影画像と予め用意されたテンプレートとを比較することで、人物の位置データを検出してもよい。また、ＸＹ検出部１５１の機能は、制御装置１００が有するものではなく、全体カメラ５３が有するものであってもよいし、全体カメラ５３の近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる検出結果が、画像関連データとして入力部１５０に入力される。

物体検出部１５２は、入力部１５０から入力されたトレーカメラ５１のトレー画像データに基づき画像認識を行うことで、トレー３０に置かれた診療器具の有無、形状、および種類などを検出することができる。たとえば、物体検出部１５２は、後述する図１１に示すようなトレーカメラ５１による複数枚の撮影画像のデータに基づき、後述する図１２に示すように、所定のタイミング（後述する図１２に示すｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定する。たとえば、図１２に示すトレー画像データにおいては、トレー３０上に存在する診療器具に対応する記録領域に「０」のデータが格納され、トレー３０上に存在しない診療器具に対応する記録領域に「１」のデータが格納される。

さらに、物体検出部１５２は、入力部１５０から入力された患者カメラ５２の患者画像データに基づき画像認識を行うことで、患者の口腔内における診療器具の位置を検出することができる。たとえば、物体検出部１５２は、患者カメラ５２による複数枚の撮影画像のデータに基づき、後述する図１３に示すように、所定のタイミング（後述する図１３に示すｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定する。たとえば、図１３に示す患者画像データにおいては、診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記録領域に「０」のデータが格納され、両者が所定範囲内に位置する場合に記録領域に「１」のデータが格納される。

図示は省略するが、物体検出部１５２は、ＸＹ検出部１５１と同様に、ニューラルネットワークおよびパラメータを含む推定モデルを有する。そして、物体検出部１５２は、ニューラルネットワークを用いたＡＩの画像認識によって、診療器具の有無、形状、および種類などを推定したり、患者の口腔内における診療器具の位置を推定したりする。

たとえば、物体検出部１５２は、ＣＮＮ、ＲＮＮ、およびＬＳＴＭネットワークといった、ディープラーニングによる画像認識処理で用いられる公知のニューラルネットワークを含む推定モデルを有する。学習段階において、推定モデルは、トレー画像データに関連付けられた診療器具の有無、形状、および種類などと、当該トレー画像データを用いた診療器具の有無、形状、および種類などの推定結果とに基づき学習されることで最適化（調整）される。さらに、学習段階において、推定モデルは、患者画像データに関連付けられた患者の口腔内における診療器具の位置などと、当該患者画像データを用いた患者の口腔内における診療器具の位置などの推定結果とに基づき学習されることで最適化（調整）される。なお、上述したような推定モデルの学習は、学習段階に限らず、運用段階においても行われてもよい。

なお、物体検出部１５２は、ニューラルネットワークを用いたＡＩの画像認識によって診療器具の有無、形状、および種類などを検出したり、患者の口腔内における診療器具の位置を検出したりするものに限らない。たとえば、物体検出部１５２は、公知のパターンマッチングのように、撮影画像と予め用意されたテンプレートとを比較することで、診療器具の有無、形状、および種類などを検出したり、患者の口腔内における診療器具の位置を検出したりしてもよい。また、物体検出部１５２の機能は、制御装置１００が有するものではなく、患者カメラ５２またはトレーカメラ５１が有するものであってもよいし、患者カメラ５２またはトレーカメラ５１の近くに配置されたエッジコンピュータが有するものであってもよい。この場合、エッジコンピュータなどによる検出結果が、画像関連データとして入力部１５０に入力される。

変換部１５４は、ベースンユニット１２から入力部１５０に入力された診療関連データを、所定の形式に変換する。具体的には、変換部１５４は、入力部１５０に入力された診療関連データを、同じく入力部１５０に入力された画像関連データと同期させるために適した形式に変換する。たとえば、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸に合わせるように、診療関連データの形式を変換する。あるいは、変換部１５４は、診療関連データの時間軸を、画像関連データの時間軸と合わせるための共通の時間軸に合わせるように、診療関連データの形式を変換する。

同期部１５５は、位置検出部１５７および物体検出部１５２による検出結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させる。たとえば、同期部１５５は、後述する図１６および図１７に示すように、画像関連データ（トレー画像データ、患者画像データ、全体画像データ）と診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（後述する図１６および図１７に示すＴ１、Ｔ２、Ｔ３、…）ごとに同期させる。画像関連データと診療関連データとが同期することで得られるデータを「同期データ」とも称する。なお、同期データの生成時に用いる同期時間としては、診療開始時からの経過時間またはタイムスタンプから特定可能な絶対時間（たとえば、リアルタイムの時刻）が用いられ得る。

セグメント化部１５６は、入力部１５０から入力された画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する。具体的には、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび診療関連データ（すなわち、同期データ）に対して、所定のタイミングで所定のイベントが発生したことが記録されるように、当該同期データをセグメント化する。「所定のイベントが発生したこと」は、たとえば、ハンドピースなどの診療器具１５の駆動開始や駆動停止、照明装置１９の点灯開始や点灯終了、ベースンユニット１２における給水・排水の開始や終了、トレー３０上の診療器具が取り出されたことやトレー３０上に診療器具が置かれたことなど、診療に関するイベントを含む。

また、セグメント化部１５６は、同期部１５５によって同期された画像関連データおよび診療関連データ（同期データ）に対して、所定のタイミングで所定のイベントが継続していることが記録されるように、当該同期データをセグメント化する。「所定のイベントが継続していること」は、たとえば、ハンドピースなどの診療器具１５の駆動状態の継続、照明装置１９の点灯状態の継続、ベースンユニット１２における給水・排水の継続、トレー３０上の診療器具が存在する状態の継続や存在しない状態の継続など、診療に関するイベントの継続を含む。

たとえば、セグメント化部１５６は、画像関連データおよび診療関連データに対して所定のタイミングごとに区切りを付けることで、同期データを期間ごとにセグメント化する。セグメント化の方法は、所定のタイミングごとにフラグデータをセットしてもよいし、セグメント化した期間ごとに同期データを所定の記録領域に移動させたりコピーしたりしてもよい。

セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、所定時間（たとえば、５秒）ごとに定期的に訪れるタイミングであってもよい。

なお、セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、画像関連データ（トレー画像データ、患者画像データ）において格納された「０」または「１」のデータと、診療関連データにおいて格納された「０」または「１」のデータとに基づき、決められてもよい。

たとえば、セグメント化部１５６によって同期データが区切られる「所定のタイミング」は、診療関連データに含まれる、診療装置１が備えるチェア１１を駆動するデータ、診療装置１が備える診療器具１５を駆動するデータ、診療装置１が備える照明装置１９を駆動するデータ、および診療装置１が備えるベースンユニット１２を駆動するデータの少なくともいずれか１つに基づき、これら診療に関する装置の駆動の発生または継続が判定されるタイミングであってもよい。たとえば、図１７に示すように、診療器具１５のピックアップが「０」から「１」に切り替わったタイミングＴ３、診療器具のピックアップが「１」から「０」に切り替わったタイミングＴ６などで、同期データが区切られてもよい。

なお、セグメント化部１５６は、診療関連データに基づき同期データを区切ることができない場合でも、トレー画像データなどの画像関連データに基づき同期データを区切ることもできる。たとえば、図１６に示すように、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「０」から「１」に切り替わったタイミングＴ８、洗浄用ニードル３０９および洗浄用シリンジ３１０の有無判定が「１」から「０」に切り替わったタイミングＴ１０などで、同期データが区切られてもよい。すなわち、セグメント化部１５６は、画像関連データおよび診療関連データの少なくともいずれか１つに含まれる患者の診療に関するイベントの発生を示すデータに基づき、当該画像関連データと当該診療関連データとを所定のタイミングでセグメント化してもよい。

このように、セグメント化部１５６は、同期データのセグメント化にあたって、画像関連データおよび診療関連データの各々単体ではデータが不足している場合であっても、両者のデータを組み合わせることで、制御データの推定に適切なタイミングで同期データを区切ってもよい。

なお、入力部１５０から入力された画像関連データにおける画像の撮影タイミングと、診療関連データにおけるログデータの取得タイミングとが予め同期している場合、変換部１５４および同期部１５５を用いなくてもよい。この場合、セグメント化部１５６は、同期データではなく、入力部１５０から入力された画像関連データおよび診療関連データを直接的に用いて、当該画像関連データと当該診療関連データとを所定のタイミングで区切ることでセグメント化してもよい。

生成部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データに基づき、診療装置１の制御データを推定し、推定した制御データを生成する。

生成部１６０は、推定モデル１６１を有する。さらに、推定モデル１６１は、ニューラルネットワーク１６２と、当該ニューラルネットワーク１６２によって用いられるパラメータ１６３とを含む。パラメータ１６３は、ニューラルネットワーク１６２による計算に用いられる重み付け係数と、推定の判定に用いられる判定値とを含む。なお、推定モデル１６１は、「第１推定モデル」の一実施形態に対応し、ニューラルネットワーク１６２は、「第１ニューラルネットワーク」の一実施形態に対応する。

学習段階において、推定モデル１６１は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、当該画像関連データおよび当該診療関連データを用いた制御データの推定結果とに基づき学習されることで最適化（調整）される。

たとえば、推定モデル１６１は、教師データとして全体画像データ（人物の位置データ）が入力されると、当該全体画像データに基づきニューラルネットワーク１６２によって人物が行う動作の順番および姿勢を把握することで診療装置１の制御内容を先読みし、診療装置１の制御データを推定する。

推定モデル１６１は、自身の推定結果と、入力された全体画像データに関連付けられた正解データである診療装置１の制御データとが一致するか否かを判定し、両者が一致すればパラメータ１６３を更新しない一方で、両者が一致しなければ両者が一致するようにパラメータ１６３を更新することで、パラメータ１６３を最適化する。

このように、学習段階において、制御装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データとのうち、少なくともいずれか１つのデータに基づいて、制御データを推定できるように、ニューラルネットワーク１６２を含む推定モデル１６１を機械学習させる。

なお、制御装置１００は、学習段階に限らず、運用段階においても、ニューラルネットワーク１６２を含む推定モデル１６１を機械学習させてもよい。たとえば、運用段階において、生成部１６０が生成した制御データに基づいて診療装置１が動作したことに対して、術者などのユーザが異なる動作を診療装置１にさせるために正解データを入力した場合、推定モデル１６１は、推定結果と正解データとに基づき学習されることで最適化（再調整）されてもよい。このようにすれば、制御装置１００は、運用段階においても機械学習を行うため、術者などのユーザが使用すればするほど制御データの推定精度が向上する。

なお、生成部１６０の推定モデル１６１は、教師あり学習のアルゴリズムに限らず、教師なし学習のアルゴリズム、または強化学習のアルゴリズムなど、公知のアルゴリズムを用いて機械学習を行うものであってもよい。たとえば、教師なし学習のアルゴリズムを用いる場合、推定モデル１６１は、画像関連データに基づき、診療中に使用される診療器具の種類やその使用タイミング、診療器具と患者の口腔との位置関係、診療中の術者と患者の行動、および診療装置１における各部のログデータを分類（クラスタリング）し、その分類結果に基づき診療の手順（たとえば、診療中に行われる次の処置の内容）を推定してもよい。

出力部１８０は、生成部１６０によって生成された制御データを、診療装置１における制御対象１９０に出力する。制御対象１９０は、チェア１１、診療器具１５、照明装置１９、ベースンユニット１２、フットコントローラ１６、ディスプレイ１７、操作パネル１８、およびスピーカ３５の少なくともいずれか１つを含む。

［制御装置の運用段階における機能構成］
図１０は、本実施の形態に係る制御装置１００の運用段階における機能構成を示すブロック図である。図１０に示すように、運用段階における制御装置１００は、ＸＹ検出部１５１、物体検出部１５２、および生成部１６０の各々が学習済みとなっている。

運用段階においては、術者が患者を診療中にリアルタイムで、各カメラから画像関連データが入力部１５０に入力され、さらに、ベースンユニット１２から診療関連データが入力部１５０に入力される。

ＸＹ検出部１５１は、入力部１５０から入力された全体カメラ５３の全体画像データに基づき画像認識を行うことで、術者および患者などの人物の位置データ（Ｘ座標、Ｙ座標）を検出する。Ｚ検出部１５３は、ＸＹ検出部１５１によって特定された人物のＸ座標およびＹ座標と、赤外線などによる反射光から算出される人物までの距離Ｌとに基づき、人物の位置データ（Ｚ座標）を検出する。

物体検出部１５２は、入力部１５０から入力されたトレーカメラ５１のトレー画像データに基づき画像認識を行うことで、トレー３０に置かれた診療器具の有無、形状、および種類などを検出する。さらに、物体検出部１５２は、入力部１５０から入力された患者カメラ５２の患者画像データに基づき画像認識を行うことで、患者の口腔内における診療器具の位置を検出する。物体検出部１５２は、入力部１５０から入力された全体カメラ５３の全体画像データに基づき画像認識を行うことで、診療器具などの診療に関するキーアイテムの位置を検出してもよい。

変換部１５４は、ベースンユニット１２から入力部１５０に入力された診療関連データを、所定の形式に変換する。

同期部１５５は、位置検出部１５７および物体検出部１５２による検出結果を含む画像関連データと、変換部１５４によって変換された診療関連データとを時系列に同期させて同期データを生成する。

セグメント化部１５６は、入力部１５０から入力された画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する。

生成部１６０は、セグメント化部１５６によってセグメント化された画像関連データおよび診療関連データと、ニューラルネットワーク１６２を含む学習済の推定モデル１６１とに基づき、診療装置１の制御データを推定し、推定した制御データを生成する。

出力部１８０は、生成部１６０によって生成された制御データを、診療装置１における制御対象１９０に出力する。

このように、制御装置１００は、トレー画像データ、患者画像データ、および全体画像データといった各画像関連データと、ログデータのような診療装置１で取得した診療関連データと、ニューラルネットワーク１６２を含む推定モデル１６１とに基づき、診療装置１を制御するための制御データを生成する。これにより、歯科医師および歯科助手などの術者の行動に先だって、制御装置１００によって診療装置１が制御されるため、術者の利便性を向上させることができる。

なお、制御装置１００は、画像関連データおよび診療関連データの両方と、推定モデル１６１とに基づき、診療装置１を制御するための制御データを生成することに限らない。制御装置１００は、診療関連データを用いることなく、画像関連データと推定モデル１６１とに基づき、診療装置１を制御するための制御データを生成してもよい。

たとえば、制御装置１００は、全体カメラ５３によって取得された全体画像データから、術者および患者などの人物の位置データを検出し、推定モデル１６１によって、各人物の位置データに基づき各人物が行う動作の順番および姿勢を把握することで、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。

たとえば、制御装置１００は、患者カメラ５２によって取得された患者画像データから、患者の口腔内における診療器具の位置を検出し、推定モデル１６１によって、患者の口腔内における診療器具の位置に基づき術者が行う動作の順番および姿勢を把握することで、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。

たとえば、制御装置１００は、トレーカメラ５１によって取得されたトレー画像データから、トレー３０に置かれた診療器具の有無、形状、および種類を検出し、推定モデル１６１によって、トレー３０に置かれた診療器具の有無、形状、および種類に基づき術者が行う動作の順番および姿勢を把握することで、診療装置１の制御内容を先読みし、診療装置１の制御データを推定してもよい。

＜制御データの推定の一例＞
図１１～図１７を参照しながら、制御装置１００による制御データの推定の一例について説明する。なお、図１１～図１７には、根管治療の例が示されている。

診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた１または複数の診療器具が撮影される。

たとえば、図１１は、根管治療におけるトレーカメラ５１の撮影画像の一例を説明するための図である。図１１に示すように、根管治療に含まれる処置として審査が行われているタイミングｔＡ２では、術者によってピンセット３１４、ミラー３１６、および深針３１８が使用されるため、トレーカメラ５１の撮影画像にはピンセット３１４、ミラー３１６、および深針３１８が映し出されない。根管治療に含まれる処置として抜髄が行われているタイミングｔＡ３では、術者によってファイル３０５およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像にはファイル３０５およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管長測定・拡大が行われているタイミングｔＡ５では、術者によって根管長測定器３０３およびファイル３０５が使用されるため、トレーカメラ５１の撮影画像には根管長測定器３０３およびファイル３０５が映し出されない。根管治療に含まれる処置として消毒・洗浄が行われているタイミングｔＡ７では、術者によって洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が使用されるため、トレーカメラ５１の撮影画像には洗浄用ニードル３０９、洗浄用シリンジ３１０、およびバキューム３１５が映し出されない。根管治療に含まれる処置として根管充填が行われているタイミングｔＡ９では、術者によってミラー３１６および根管材料注入器３１９が使用されるため、トレーカメラ５１の撮影画像にはミラー３１６および根管材料注入器３１９が映し出されない。根管治療に含まれる処置として詰め込み・被せが行われているタイミングｔＡ１１では、術者によって仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が使用されるため、トレーカメラ５１の撮影画像には仮封剤充填器３１１、ピンセット３１４、およびミラー３１６が映し出されない。

このように、診療中においては、トレー３０に置かれた診療器具の有無、形状、および種類などが、トレーカメラ５１の撮影画像によって映し出される。

制御装置１００は、上述したようなトレーカメラ５１の撮影画像のデータ（トレー画像データとしての画像関連データ）が入力部１５０から入力されると、物体検出部１５２によって、画像に含まれる特徴量を抽出する。

たとえば、図１２は、トレーカメラ５１の撮影情報から取得されたトレー画像データの一例を説明するための図である。図１２に示すように、制御装置１００は、所定のタイミング（ｔＡ１、ｔＡ２、ｔＡ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、および種類などを推定し、トレー３０上に存在する診療器具に対応する記録領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記録領域に「１」のデータを格納する。これにより、図１２に示すように、制御装置１００は、所定のタイミングごとに診療器具の有無を区別可能なトレー画像データ（画像関連データ）を得ることができる。

診療中においては、患者カメラ５２によって、シャッタータイミングに依存する所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内が撮影される。

そして、制御装置１００は、患者カメラ５２の撮影画像のデータ（患者画像データとしての画像関連データ）が入力部１５０から入力されると、物体検出部１５２によって、画像に含まれる特徴量を抽出する。

たとえば、図１３は、患者カメラ５２の撮影情報から取得された患者画像データの一例を説明するための図である。図１３に示すように、制御装置１００は、所定のタイミング（ｔＢ１、ｔＢ２、ｔＢ３、…）ごとに、患者の口腔内における診療器具の位置などを推定し、診療器具と患者の唇、または診療器具と患者の頬との位置関係において、両者が所定範囲内に位置しない場合に記録領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記録領域に「１」のデータを格納する。これにより、図１３に示すように、制御装置１００は、所定のタイミングごとに患者の口腔内における診療器具の位置を特定可能な患者画像データ（画像関連データ）を得ることができる。

診療中においては、全体カメラ５３によって、シャッタータイミングに依存する所定のタイミングごとに、診療空間が術者および患者の行動、診療装置１の動作などが撮影される。

そして、制御装置１００は、全体カメラ５３の撮影画像のデータ（全体画像データとしての画像関連データ）が入力部１５０から入力されると、位置検出部１５７によって、画像に含まれる特徴量を抽出することで、術者および患者などの人物の位置データを生成する。制御装置１００は、位置検出部１５７によって新たに生成した位置データが、記録装置１０３に記録済みの位置データと異なる場合に、位置検出部１５７によって新たに生成した位置データを記録装置１０３に記録させる。

たとえば、図１４は、全体カメラ５３の撮影情報から取得された位置データの一例を説明するための図である。図１４に示すように、制御装置１００は、生成した人物の位置データを時間情報（タイムスタンプ）に関連付けて全体画像データ（画像関連データ）として記録する。図１４に示す例では、人物Ａ（歯科医師）の位置データが所定のタイミング（ｔＣ１、ｔＣ２、ｔＣ３、…）で記録装置１０３に記録されている。これにより、制御装置１００は、所定のタイミングごとに術者の行動および患者の行動を特定可能な位置データを含む全体画像データ（画像関連データ）を得ることができる。特に、制御装置１００は、記録装置１０３に記録された位置データに基づき、診療空間における人物と診療装置１との位置関係を把握していれば、たとえば、人物が診療装置１に不必要に接触した場合でも、制御データに基づき診療装置１の駆動を停止させることができる。

診療中においては、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、および表示制御装置２２の少なくともいずれか１つにおける動作および制御を示すログデータが、診療装置１から出力される。

たとえば、図１５は、診療装置１から取得された診療関連データの一例を説明するための図である。図１５に示すように、診療関連データにおいては、診療器具１５について、ピックアップの有無、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、バキュームシリンジの動作、サライバエジェクタの動作、および注水の動作状態などを表すログデータが含まれ、チェア１１について、座面高さ、背板角度、およびチェア１１の動作状態などを表すログデータが含まれ、フットコントローラ１６について、踏込量、踏込パターン、およびスイッチ状態などを表すログデータが含まれ、照明装置１９について、点灯状態および発光強度などを表すログデータが含まれ、ベースンユニット１２について、コップの載置の有無などを表すログデータが含まれる。

図１５の例では、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ１６の踏込量、および照明装置１９の発光強度について、大小または高低などの程度を示すデータが診療関連データ（ログデータ）に含まれている。なお、診療関連データは、エアタービンの回転数、マイクロモータの回転数、超音波スケーラの発振強度、フットコントローラ１６の踏込量、および照明装置１９の発光強度の値（たとえば、絶対値）を含んでいてもよい。フットコントローラ１６の踏込パターンは、診療関連データに含まれなくてもよい。たとえば、制御装置１００は、フットコントローラ１６の踏込量の時系列の変化を解析することで、フットコントローラ１６の踏込パターンを特定してもよい。

なお、ログデータは、ログデータの取得タイミングに依存する所定のタイミング（ｔＤ１、ｔＤ２、ｔＤ３、…）で診療装置１から出力されるものに限らず、イベントの発生（たとえば、チェア１１の動作の切り替え、診療器具１５の動作の切り替えなど）ごとに診療装置１から出力されるものであってもよい。

制御装置１００は、診療関連データが入力部１５０から入力されると、変換部１５４によって、画像関連データと同期させるために適した形式に診療関連データを変換する。

次に、制御装置１００は、同期部１５５によって、図１２～図１４に示す画像関連データと図１５に示す診療関連データとを、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに同期させる。

たとえば、図１６および図１７は、同期データの一例を説明するための図である。図１６および図１７に示すように、同期データには、同期時間の時間軸に合わせて所定のタイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、画像関連データと診療関連データとを同期させたデータが含まれる。

たとえば、図１２に示すトレー画像データにおけるｔＡ３およびｔＡ４のデータは、図１６に示す同期データにおいて、ｔＡ３およびｔＡ４に対応するタイミング（Ｔ３～Ｔ５）のデータに対応付けられている。図１３に示す患者画像データにおけるｔＢ３およびｔＢ４のデータは、図１６に示す同期データにおいて、ｔＢ３およびｔＢ４に対応するタイミング（Ｔ３～Ｔ５）のデータに対応付けられている。図１４に示す全体画像データ（位置データ）におけるｔＣ３のデータは、図１６に示す同期データにおいて、ｔＣ３に対応するタイミングのデータに対応付けられている。

次に、制御装置１００は、セグメント化部１５６によって、図１６および図１７に示す同期データに含まれる画像関連データと診療関連データとを所定のタイミングで区切ることでセグメント化する。

たとえば、制御装置１００は、所定時間（たとえば、５秒）ごとに定期的に訪れるタイミングで、同期データをセグメント化する。

あるいは、制御装置１００は、画像関連データ（トレー画像データ、患者画像データ）において格納された「０」または「１」のデータと、診療関連データにおいて格納された「０」または「１」のデータとに基づき、同期データをセグメント化する。

ここで、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータに変化がなくても、その他のデータを参照すればデータに変化が生じている場合もある。すなわち、制御装置１００は、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々から、複数のデータを参照して組み合わせることで、適切なタイミングで同期データを区切ることができる。

たとえば、図１６に示すように、トレー画像データにおいては、ファイル３０５についてはＴ３～Ｔ７の各々のデータが同じであるが、バキュームについてはＴ３～Ｔ５の各々のデータが同じである。このため、制御装置１００は、トレー画像データを参照するのみでは、Ｔ３～Ｔ５およびＴ３～Ｔ７のいずれで同期データをセグメント化すればよいか判断しかねない。ところが、図１７に示すように、診療関連データにおいては、診療器具およびフットコントローラ１６についてＴ３～Ｔ５の各々のデータが同じである。よって、制御装置１００は、トレー画像データおよび診療関連データに基づいて、確率が高いと予想されるＴ３～Ｔ５で同期データをセグメント化する。

このように、制御装置１００は、同期データのセグメント化にあたって、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々単体ではデータが不足している場合があっても、他のデータを参照することで、適切なタイミングで同期データを区切ることができる。

上述したように、診療中においては、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの各々が時系列で制御装置１００に入力される。制御装置１００は、入力されたこれらのデータに基づき同期データを生成するとともに、同期データをセグメント化する。制御装置１００は、同期データに基づき、生成部１６０に含まれる推定モデル１６１を学習することで、制御データを推定することができるようになる。

たとえば、根管治療の場合、制御装置１００は、「審査」においてＴ１およびＴ２に対応する同期データが入力され、「抜髄」においてＴ３～Ｔ５に対応する同期データが入力され、「根管長測定」においてＴ６およびＴ７に対応する同期データが入力され、「洗浄・消毒」においてＴ８およびＴ９に対応する同期データが入力され、「根管充填」においてＴ１０およびＴ１１に対応する同期データが入力され、「詰め込み・被せ」においてＴ１２およびＴ１３に対応する同期データが入力される。

たとえば、制御装置１００は、根管治療の場合、上述したような同期データを学習することで、Ｔ１およびＴ２に対応するような同期データが入力された時点で、その後、Ｔ３～Ｔ５に対応するような同期データが入力されると推定し、「抜髄」のための制御データを生成する。制御装置１００は、Ｔ３～Ｔ５に対応するような同期データが入力された時点で、その後、Ｔ６およびＴ７に対応するような同期データが入力されると推定し、「根管長測定」のための制御データを生成する。制御装置１００は、Ｔ６およびＴ７に対応するような同期データが入力された時点で、その後、Ｔ８およびＴ９に対応するような同期データが入力されると推定し、「洗浄・消毒」のための制御データを生成する。制御装置１００は、Ｔ８およびＴ９に対応するような同期データが入力された時点で、その後、Ｔ１０およびＴ１１に対応するような同期データが入力されると推定し、「根管充填」のための制御データを生成する。制御装置１００は、Ｔ１０およびＴ１１に対応するような同期データが入力された時点で、その後、Ｔ１２およびＴ１３に対応するような同期データが入力されると推定し、「詰め込み・被せ」のための制御データを生成する。

以上のように、制御装置１００は、ニューラルネットワークなどの所謂ＡＩ技術を用いて、トレー画像データ、患者画像データ、全体画像データ、および診療関連データの少なくともいずれか１つに基づき、制御データを推定するための特徴を見出すことで、制御データを推定することができる。

＜制御装置による制御の一例＞
図１８～図２０を参照しながら、制御装置１００による制御の一例について説明する。図１８～図２０は、制御装置１００による制御の一例を説明するための図である。

制御装置１００によって生成される制御データは、制御対象１９０に対する駆動開始を示すデータ、制御対象１９０に対する駆動終了を示すデータ、制御対象１９０に対する駆動禁止を示すデータ、制御対象に対する駆動継続を示すデータ、制御対象１９０に対する駆動量を示すデータ、駆動量に関する上限値を示すデータ、駆動量に関する下限値を示すデータ、制御対象１９０に対する駆動時間を示すデータ、および制御対象１９０のステータスに関するデータの少なくともいずれか１つを含む。

たとえば、図１８（Ａ）に示すように、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、患者２がチェア１１に近づくことを検出すると、チェア１１を患者２の導入ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。図１８（Ｂ）に示すように、チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１の足置き台１１ｄを導入ポジションに移動させる。

図１８（Ｃ）に示すように、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、患者２がチェア１１に座って、歯科医師３がチェア１１に近づくことを検出すると、チェア１１を診療ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。図１８（Ｄ）に示すように、チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１の背もたれ１１ｂおよび足置き台１１ｄを診療ポジションに移動させる。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、歯科医師が患者の口腔内を覗き込むことをやめて診療器具を口腔外へ移動させ、さらに、歯科医師がコップ台１２ｂの方を向くような動作をしたことを検出すると、チェア１１をうがいポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１をうがいポジションに移動させる。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、患者がうがいを完了してコップをコップ台１２ｂに置いてチェア１１の背もたれ１１ｂにもたれたことを検出し、かつ、そのときに歯科医師がその場で待機していることを検出すると、再びチェア１１を診療ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１を診療ポジションに移動させる。

一方、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、患者がうがいを完了してコップをコップ台１２ｂに置いてチェア１１の背もたれ１１ｂにもたれたことを検出し、かつ、そのときに歯科医師がその場から離れたことを検出すると、チェア１１を退出ポジションに移動させるための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１を退出ポジションに移動させる。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、歯科医師がマイクロスコープを用いて診療を行うことを検出すると、チェア１１の昇降動作の速度を通常よりも低速に設定させるための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１の速度を低速に設定する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、歯科医師が歯の詰め物（インレー）を装着する際に形状の調整を行うことを検出すると、診療器具の注水機能をＯＦＦに設定させるための制御データを生成し、生成した制御データを器具制御部２１１に出力する。器具制御部２１１は、制御装置１００からの制御データに基づき、診療器具の注水機能をＯＦＦに設定する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、歯科医師がコンポレットレジンを充填することを検出すると、コンポレットレジンの硬化を抑制するために、照明装置１９を減光させるための制御データを生成し、生成した制御データを照明制御部１２２に出力する。照明制御部１２２は、制御装置１００からの制御データに基づき、照明装置１９を減光させる。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、診療器具（たとえば、ハンドピース）を持つ歯科医師の目線が患者の口腔内から一定期間外れたことを検出すると、診療器具の駆動を抑制（停止、回転数の低下）するための制御データを生成し、生成した制御データを器具制御部２１１に出力する。器具制御部２１１は、制御装置１００からの制御データに基づき、診療器具の駆動を抑制（停止、回転数の低下）する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、診療器具（たとえば、ハンドピース）の位置が予め定められた領域の診療空間から一定期間外れたことを検出すると、診療器具の駆動を抑制（停止、回転数の低下）するための制御データを生成し、生成した制御データを器具制御部２１１に出力する。器具制御部２１１は、制御装置１００からの制御データに基づき、診療器具の駆動を抑制（停止、回転数の低下）する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、診療中に患者が手を挙げたことを検出すると、スピーカ３５から警告音を出力させるための制御データを生成し、生成した制御データを音制御部３２１に出力する。音制御部３２１は、制御装置１００からの制御データに基づき、スピーカ３５から警告音を出力する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、診療中に患者が手を挙げたことを検出すると、ディスプレイ１７に警告画像を表示させるための制御データを生成し、生成した制御データをディスプレイ制御部２２１に出力する。ディスプレイ制御部２２１は、制御装置１００からの制御データに基づき、ディスプレイ１７に警告画像を表示させる。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、診療中に患者が手を挙げたことを検出すると、診療器具の駆動を抑制（停止、回転数の低下）するための制御データを生成し、生成した制御データを器具制御部２１１に出力する。器具制御部２１１は、制御装置１００からの制御データに基づき、診療器具の駆動を抑制（停止、回転数の低下）する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、チェア１１の動作中に通常とは異なる異常（たとえば、患者が異常な姿勢になるなど）を検出すると、チェア１１の動作を抑制（停止、動作速度の低下）するための制御データを生成し、生成した制御データをチェア制御部１１１に出力する。チェア制御部１１１は、制御装置１００からの制御データに基づき、チェア１１の動作を抑制（停止、動作速度の低下）する。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、歯科医師が照明装置１９を照明または消灯させるための動作（ジェスチャー）を行ったことを検出すると、照明装置１９を照明または消灯させるための制御データを生成し、生成した制御データを照明制御部１２２に出力する。照明制御部１２２は、制御装置１００からの制御データに基づき、照明装置１９を照明または消灯させる。

図１９に示すように、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、ある処置が完了したことを検出すると、次の処置のための診療装置１の操作（たとえば、チェア１１の操作、診療器具１５の操作など）を術者に報知するための制御データを生成し、生成した制御データを診療装置１に出力してもよい。報知態様として、制御装置１００は、操作パネル１８に表示されたアイコン画像を点滅させたり、バキュームおよびエアタービンハンドピースなどの診療器具１５の操作ボタンを点滅させたりするための制御データを診療装置１に出力してもよい。なお、制御装置１００は、ブザー音や音声などの音で次の処置内容などを知らせたり、ディスプレイ１７にイラストや文章を表示することで次の処置内容などを知らせたり、表示機能が搭載された眼鏡に表示することで次の処置内容などを知らせたりといったように、その他の報知によって操作支援を行うための制御データを生成してもよい。

図２０に示すように、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、ある処置において、術者が通常ではあり得ない異常な動作をしていることを検出すると、アラートを出力するための制御データを生成し、生成した制御データを診療装置１に出力してもよい。たとえば、制御装置１００は、ある処置内において歯科医師３が診療器具を持ちながら後ろを向いていることを検出すると、操作パネル１８およびスピーカ３５からアラートを出力させるための制御データを診療装置１に出力してもよい。さらに、制御装置１００は、術者の行動の異常度（危険度）が高ければ高いほど、アラートの出力レベル（輝度や音量のレベル）を高くしたり、アラートの出力頻度を高くしたりするような制御データを生成してもよい。

なお、図１９および図２０に示すように、制御システム１０００は、診療装置１とは別に、または、診療装置１の一部として、携帯端末４０１またはウェアラブルグラス４０２を備えていてもよい。制御装置１００は、生成した制御データに基づき、携帯端末４０１（たとえば、タブレット端末）または術者などが装着可能なウェアラブルグラス４０２に、所定画像（たとえば、次の処置のための診療装置１の操作を示す画像、異常を知らせるアラート画像など）を表示させたり、所定音（たとえば、次の処置のための診療装置１の操作を示す音、異常を知らせるアラート音など）を出力させたりしてもよい。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、制御対象１９０のステータスに関する制御を行うための制御データを生成し、生成した制御データを診療装置１に出力してもよい。たとえば、制御装置１００は、診療装置１に含まれるセンサの状態、アクチュエータの状態、およびプログラムのバージョンなど、診療装置１のステータスを確認し、確認したステータスに応じて本来生成される制御データを、人物の動作に応じて推定した制御データに変更したり、人物の動作に応じて推定した制御データを加えたりしてもよい。

具体的には、制御装置１００は、ディスプレイ１７に制御対象１９０のステータスに応じた診療状況などを示すアイコンを表示させてもよい。制御装置１００は、モータ、コンプレッサ、ヒーターなどの駆動源を制御する際に、所望の制御値となるように、センサの状態（出力値）に応じてこれらの駆動源をフィードバック制御してもよく、この際、人物の動作に応じて、フィードバック制御のための制御データを新たに生成したり、変更したりしてもよい。

制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、安全モードなどの各種の設定内容を制御するための制御データを生成し、生成した制御データを診療装置１に出力してもよい。たとえば、照明装置１９の明るさの制限、ハンドピースの出力の制限、バキュームの吸引の制限、背もたれ１１ｂの傾斜速度の制限、および座面シート１１ｃの昇降速度の制限など、モードに応じて各種の制御対象１９０の制御が決められている場合、制御装置１００は、これらのモードに応じて設定される制御値を変更するための制御データを生成してもよい。

このように、制御装置１００は、制御対象１９０を直接的に制御するための制御データを生成してもよいし、制御対象１９０を制御するためのモードなどを制御するための制御データ（制御対象１９０を間接的に制御するための制御データ）を生成してもよい。

このように、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、人物の行動を分析することで、人物の行動に先立って、診療装置１を制御するため、術者の利便性を向上させることができる。

なお、上述した例では、制御装置１００は、全体カメラ５３によって取得された撮影画像から算出した位置データに基づき、制御データを生成しているが、トレー画像データ、患者画像データ、および診療関連データなど、その他のデータを参考にして、制御データを生成してもよい。

＜制御装置の制御データ生成処理＞
図２１を参照しながら、運用段階において制御装置１００が実行する制御データ生成処理について説明する。図２１は、制御装置１００が実行する制御データ生成処理の一例を説明するためのフローチャートである。図２１に示す各ステップ（以下、「Ｓ」で示す。）は、制御装置１００の演算装置１０２がＯＳ１４２および制御プログラム１４１を実行することで実現される。

まず、制御装置１００は、制御データ生成処理の開始条件が成立したか否かを判定する。たとえば、図２１に示すように、画像関連データが入力されたか否かを判定する（Ｓ１）。制御装置１００は、画像関連データが入力された場合（Ｓ１でＹＥＳ）、画像認識を行う（Ｓ２）。たとえば、制御装置１００は、全体画像データが入力された場合、位置検出部１５７によって、全体画像データに基づき、人物の位置を検出して位置データを生成する。制御装置１００は、患者画像データまたはトレー画像データが入力された場合、物体検出部１５２によって、診療器具などのオブジェクトの有無、形状、および種類などを検出する。このように、制御装置１００は、画像関連データが入力されて、当該画像関連データに基づき画像認識を行うことを契機として、制御データ生成処理を実行する。たとえば、制御装置１００は、チェア１１において患者を検知したときに、制御データ生成処理の実行を開始する。

制御装置１００は、画像関連データが入力されていない場合（Ｓ１でＮＯ）、またはＳ２の処理の後、診療関連データが入力されたか否かを判定する（Ｓ３）。制御装置１００は、診療関連データが入力された場合（Ｓ３でＹＥＳ）、変換部１５４によって、診療関連データを所定の形式に変換する（Ｓ４）。

制御装置１００は、診療関連データが入力されていない場合（Ｓ３でＮＯ）、またはＳ４の処理の後、画像関連データおよび診療関連データを所定量蓄積したか否かを判定する（Ｓ５）。たとえば、制御装置１００は、制御データを推定および生成するために必要となるデータ量を蓄積したか否かを判定する。制御装置１００は、画像関連データおよび診療関連データを所定量蓄積していない場合（Ｓ５でＮＯ）、Ｓ１の処理に戻る。

一方、制御装置１００は、画像関連データおよび診療関連データを所定量蓄積した場合（Ｓ５でＹＥＳ）、同期部１５５によって、画像関連データと診療関連データとを同期させることで同期データを生成する（Ｓ６）。

次に、制御装置１００は、セグメント化部１５６によって、同期データに基づき、画像関連データと診療関連データとを所定のタイミングで区切ることで、同期データをセグメント化する（Ｓ７）。

次に、制御装置１００は、生成部１６０によって、セグメント化された同期データに基づき、制御データを推定し、推定した制御データを生成する（Ｓ８）。

次に、制御装置１００は、生成した制御データを、診療装置１の制御対象１９０に出力し（Ｓ９）、本処理を終了する。

このように、制御装置１００は、制御プログラム１４１によって規定された診療装置１の制御方法を用いることにより、ニューラルネットワークなどの所謂ＡＩ技術を用いて、画像関連データおよび診療関連データの少なくともいずれかに基づき、制御データを生成することができる。これにより、制御装置１００は、診療空間に存在する人物の動作、診療器具などのオブジェクトの有無、および診療装置１の動作などに基づき、診療装置１を制御することができるため、術者の利便性を向上させることができる。

なお、制御装置１００は、画像関連データが入力されて、当該画像関連データに基づき画像認識を行うこと以外の開始条件が成立したときに、制御データ生成処理の実行を開始してもよい。開始条件は、たとえば、制御装置１００の電源を立ち上げたときに成立してもよいし、制御装置１００の電源を立ち上げた後に制御データ生成処理に対応するモードに切り替えられたときに成立してもよい。また、開始条件は、一定量の画像関連データおよび診療関連データが取得されたときに成立してもよい。さらに、開始条件は、術者によって診療の開始を通知する入力操作（たとえば、制御装置１００の開始スイッチの操作）が行われたときに成立してもよいし、術者によって診療の終了を通知する入力操作（たとえば、制御装置１００の終了スイッチの操作）が行われたときに成立してもよい。開始条件は、制御装置１００において何らかの開始イベントが発生したときに成立するものであればよい。

＜主な開示＞
以上のように、本実施の形態では以下のような開示を含む。

［構成１］
制御装置（１００）は、診療装置（１）を含む診療空間をカメラ（５１、５２，５３）で撮影した画像関連データが入力される入力部（１５０）と、入力部（１５０）から入力される画像関連データと、第１ニューラルネットワーク（１６２）を含む第１推定モデル（１６１）とに基づき、診療装置（１）を制御するための制御データを生成する生成部（１６０）と、生成部（１６０）によって生成される制御データを制御対象（１９０）に出力する出力部（１８０）とを備える。

これにより、制御装置１００は、ニューラルネットワーク１６２などの所謂ＡＩ技術を用いて、画像関連データに基づき、診療装置１を制御することができるため、術者の利便性を向上させることができる。

［構成２］
制御装置（１００）は、入力部（１５０）から入力される画像関連データ（全体画像データ）に基づき、診療空間に含まれる人物の位置を検出する検出部（１５１）をさらに備える。生成部（１６０）は、検出部（１５１）によって検出される人物の位置を特定するための少なくとも１つの位置データと、第１推定モデル（１６１）とに基づき、制御データを生成する。

これにより、制御装置１００は、診療空間に含まれる人物の位置を検出することで、人物の次の動作を先読みして、人物の次の動作に応じて診療装置１を制御することができるため、術者の利便性を向上させることができる。

［構成３］
検出部（１５１）は、入力部（１５０）から入力される画像関連データと、第２ニューラルネットワーク（１５１２）を含む第２推定モデル（１５１１）とに基づき、人物の位置を検出する。

これにより、制御装置１００は、ニューラルネットワーク１５１２などの所謂ＡＩ技術を用いて、画像関連データに基づき、人物の位置を検出することができるため、より精度よく診療装置１を制御することができる。

［構成４］
位置データは、人物が有する関節、眼、鼻、口、耳、および頭のいずれか１つの位置に関するデータを少なくとも含む。

これにより、制御装置１００は、関節、眼、鼻、口、耳、および頭といったような人物の動作が反映され易い各検出ポイントの位置を検出することで、より精度よく診療装置１を制御することができる。

［構成５］
制御装置（１００）は、位置データを時間情報（タイムスタンプ）に関連付けて記録する記録部（１０３）をさらに備える。

これにより、制御装置１００は、新規で機械学習を行う際に用いた位置データを、再学習する際にも再び用いることができる。さらに、複数の制御装置１００において記録装置１０３に記録された位置データを共有する際にも、位置データにタイムスタンプが関連付けられていることで、複数の制御装置１００が同じような機械学習を行うことができる。

［構成６］
記録部（１０３）は、検出部（１５１）によって新たに得られた位置データが、記録済みの位置データと異なる場合に、検出部（１５１）によって新たに得られた位置データを記録する。

これにより、制御装置１００は、人物の位置を検出するたびに、新たな位置データを記録装置１０３に毎回記録させるのではなく、人物の位置データが変化した場合に限り、新たな位置データを記録装置１０３に記録させるため、記録装置１０３が記録するデータ量が増大することを極力抑えることができる。

［構成７］
入力部（１５０）は、診療装置（１）で取得される診療関連データがさらに入力される。生成部（１６０）は、入力部（１５０）から入力される画像関連データおよび診療関連データと、第１推定モデル（１６１）とに基づき、制御データを生成する。

これにより、制御装置１００は、画像関連データに加えて、診療装置１で取得される診療関連データに基づき、診療装置１を制御するための制御データを生成するため、より精度よく診療装置１を制御することができる。

［構成８］
診療関連データは、診療装置（１）に含まれるチェア（１１）、診療器具（１５）、照明装置（１９）、給水・排水装置（１２）、フットコントローラ（１６）、ディスプレイ（１７）、操作パネル（１８）の少なくともいずれか１つにおける過去および現在の少なくともいずれか１つの制御データを含む。

これにより、制御装置１００は、チェア１１を駆動するデータ、診療器具１５を駆動するデータ、照明装置１９を駆動するデータ、および給水・排水装置（ベースンユニット）１２を駆動するデータなど、診療中において生成されるデータを用いることで、制御データを推定するための画像関連データの不足分を補うことができ、より精度よく診療装置１を制御することができる。

［構成９］
制御対象（１９０）は、診療装置（１）に含まれるチェア（１１）、診療器具（１５）、照明装置（１９）、給水・排水装置（１２）、フットコントローラ（１６）、ディスプレイ（１７）、操作パネル（１８）、およびスピーカ（３５）の少なくともいずれか１つを含む。

これにより、制御装置１００は、診療装置１に含まれるチェア１１などの各制御対象１９０を制御することができるため、術者の利便性を向上させることができる。

［構成１０］
制御データは、制御対象（１９０）に対する駆動開始を示すデータ、制御対象（１９０）に対する駆動終了を示すデータ、制御対象（１９０）に対する駆動禁止を示すデータ、制御対象（１９０）に対する駆動継続を示すデータ、制御対象（１９０）に対する駆動量を示すデータ、駆動量に関する上限値を示すデータ、駆動量に関する下限値を示すデータ、制御対象（１９０）に対する駆動時間を示すデータ、および制御対象（１９０）のステータスに関するデータの少なくともいずれか１つを含む。

これにより、制御装置１００は、生成した制御データによって、制御対象１９０を直接的または間接的に制御することができる。

［構成１１］
第１ニューラルネットワーク（１６２）は、リカレントニューラルネットワークである。

これにより、制御装置１００は、時系列に入力される画像関連データおよび診療関連データに適したＡＩ技術であるリカレントニューラルネットワークを用いることで、より精度よく制御データを生成することができる。

［構成１２］
コンピュータ（１０２）による患者を診療するための診療装置（１）を制御する制御方法は、診療装置（１）を含む診療空間をカメラ（５１、５２，５３）で撮影した画像関連データが入力されるステップ（Ｓ２、Ｓ４）と、入力される画像関連データと、第１ニューラルネットワーク（１６２）を含む第１推定モデル（１６１）とに基づき、診療装置（１）を制御するための制御データを生成するステップ（Ｓ９）と、生成される制御データを制御対象（１９０）に出力するステップ（Ｓ１０）とを含む。

これにより、制御装置１００は、ニューラルネットワーク１６２などの所謂ＡＩ技術を用いて、画像関連データに基づき、診療装置１を制御することができるため、術者の利便性を向上させることができる。

［構成１３］
制御プログラム（１４１）は、コンピュータ（１０２）に、診療装置（１）を含む診療空間をカメラ（５１、５２，５３）で撮影した画像関連データが入力されるステップ（Ｓ２、Ｓ４）と、入力される画像関連データと、第１ニューラルネットワーク（１６２）を含む第１推定モデル（１６１）とに基づき、診療装置（１）を制御するための制御データを生成するステップ（Ｓ９）と、生成される制御データを制御対象（１９０）に出力するステップ（Ｓ１０）とを実行させる。

これにより、制御装置１００は、ニューラルネットワーク１６２などの所謂ＡＩ技術を用いて、画像関連データに基づき、診療装置１を制御することができるため、術者の利便性を向上させることができる。

＜変形例＞
本発明は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本発明に適用可能な変形例について説明する。

[カメラについて]
本実施の形態においては、トレーカメラ５１、患者カメラ５２、および全体カメラ５３が各１台ずつ診療装置１に取り付けられていたが、これらのカメラは複数台ずつ診療装置１に取り付けられてもよい。

トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、固定式に限らず、トレー３０が載せられたトレーテーブル１３の動き、あるいは術者の動きに追従して動く可動式であってもよい。

トレーカメラ５１、患者カメラ５２、および全体カメラ５３は、診療装置１に搭載される他、診療装置１の周囲から当該診療装置１方向へ光軸を向けたカメラであってもよい。また、カメラの撮影画像によって把握される診療空間において、撮影において死角が無いように複数のカメラが設置されてもよい。さらに、診療器具に搭載された口腔内用カメラ、マイクロスコープ、または、術者が利用する眼鏡へ搭載されるカメラの撮影画像を利用して、制御装置１００が制御データを生成してもよい。

制御装置１００は、トレーカメラ５１の撮影画像を画像認識によって分析することで、トレー３０に置かれた診療器具の有無、形状、および種類などを特定するだけでなく、歯科医師や歯科助手などの術者の手に取られた診療器具、歯科医師や歯科助手などの術者の手に取られていた状況から置かれた診療器具を特定してもよい。

[制御装置について]
制御装置１００は、ベースンユニット１２に含まれるようにして、診療装置１が備えるものであってもよい。あるいは、制御装置１００は、診療装置１とは別体であって、診療装置１に通信可能に接続された院内サーバなどのコンピュータであってもよい。さらに、制御装置１００は、診療装置１が設置された診療空間外に設置された院外サーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、制御装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき制御データを生成してもよい。このようにすれば、制御装置１００による機械学習の頻度がさらに上がり、制御装置１００は、より精度良く制御データを生成することができる。

制御装置１００の生成部１６０は、推定モデル１６１によって診療装置１の制御データを推定するものに限らない。たとえば、生成部１６０は、推定モデル１６１によって診療装置１の次の動作（制御内容）を推定し、その推定結果に対応する制御データを生成してもよい。あるいは、生成部１６０は、推定モデル１６１によって人物の次の動作を推定し、その推定結果に対応する制御データを生成してもよい。あるいは、生成部１６０は、推定モデル１６１によって診療の手順（たとえば、診療中に行われる次の処置の内容）を推定し、その推定結果に対応する制御データを生成してもよい。

制御装置１００は、推定モデル１６１の推定結果に基づいて、診療装置１を直接制御するものに限らず、診療装置１とは別のディスプレイに警告画像を表示したり、スピーカに警告音を出力したりするなどして、術者に診療装置１を操作（たとえば、停止操作）させるものであってもよい。つまり、制御装置１００は、診療装置１を直接制御するのではなく、術者を誘導することで間接的に診療装置１を制御するものであってもよい。

本実施の形態に係る制御装置１００は、術者が患者の歯科に関する診療を行うために用いる診療装置１を制御するものであったが、術者が患者の医科に関する診療を行うために用いる診療装置を制御するものであってもよい。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１ 診療装置、２ 患者、３ 歯科医師、４ 歯科助手、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダー、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、３２ 音制御装置、３５ スピーカ、５１ トレーカメラ、５２ 患者カメラ、５３ 全体カメラ、１００ 制御装置、１０１ 通信装置、１０２ 演算装置、１０３ 記録装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１４１ 制御プログラム、１５０ 入力部、１５１ ＸＹ検出部、１５２ 物体検出部、１５３ Ｚ検出部、１５４ 変換部、１５５ 同期部、１５６ セグメント化部、１５７ 位置検出部、１６０ 生成部、１６１，１５１１ 推定モデル、１６２，１５１２ ニューラルネットワーク、１６３，１５１３ パラメータ、１８０ 出力部、１９０ 制御対象、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３０１ ラバーダム防湿一式、３０２ ラバーダムシート、３０３ 根管長測定器、３０４ バーセット、３０５ ファイル、３０６ 口角対極、３０７ ファールクリップ、３０８ ブローチ、３０９ 洗浄用ニードル、３１０ 洗浄用シリンジ、３１１ 仮封剤充填器、３１２ クレンザー、３１３ タービン、３１４ ピンセット、３１５ バキューム、３１６ ミラー、３１７ エキスカベーター、３１８ 針、３１９ 根管材料注入器、３２１ 音制御部、４０１ 携帯端末、４０２ ウェアラブルグラス、１０００ 制御システム。

Claims (13)

1. 患者を診療するための診療装置を制御する制御装置であって、
   前記診療装置を含む診療空間をカメラで撮影した画像関連データが入力される入力部と、
   前記入力部から入力される前記画像関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記診療装置を制御するための制御データを生成する生成部と、
   前記生成部によって生成される前記制御データを制御対象に出力する出力部とを備える、制御装置。
2. 前記入力部から入力される前記画像関連データに基づき、前記診療空間に含まれる人物の位置を検出する検出部をさらに備え、
   前記生成部は、前記検出部によって検出される前記人物の位置を特定するための少なくとも１つの位置データと、前記第１推定モデルとに基づき、前記制御データを生成する、請求項１に記載の制御装置。
3. 前記検出部は、前記入力部から入力される前記画像関連データと、第２ニューラルネットワークを含む第２推定モデルとに基づき、前記人物の位置を検出する、請求項２に記載の制御装置。
4. 前記位置データは、前記人物が有する関節、眼、鼻、口、耳、および頭のいずれか１つの位置に関するデータを少なくとも含む、請求項２または請求項３に記載の制御装置。
5. 前記位置データを時間情報に関連付けて記録する記録部をさらに備える、請求項２～請求項４のいずれか１項に記載の制御装置。
6. 前記記録部は、前記検出部によって新たに得られた前記位置データが、記録済みの前記位置データと異なる場合に、前記検出部によって新たに得られた前記位置データを記録する、請求項５に記載の制御装置。
7. 前記入力部は、前記診療装置で取得される診療関連データがさらに入力され、
   前記生成部は、前記入力部から入力される前記画像関連データおよび前記診療関連データと、前記第１推定モデルとに基づき、前記制御データを生成する、請求項１～請求項６のいずれか１項に記載の制御装置。
8. 前記診療関連データは、前記診療装置に含まれるチェア、診療器具、照明装置、給水・排水装置、フットコントローラ、ディスプレイ、操作パネルの少なくともいずれか１つにおける過去および現在の少なくともいずれか１つの制御データを含む、請求項７に記載の制御装置。
9. 前記制御対象は、前記診療装置に含まれるチェア、診療器具、照明装置、給水・排水装置、フットコントローラ、ディスプレイ、操作パネル、およびスピーカの少なくともいずれか１つを含む、請求項１～請求項８のいずれか１項に記載の制御装置。
10. 前記制御データは、前記制御対象に対する駆動開始を示すデータ、前記制御対象に対する駆動終了を示すデータ、前記制御対象に対する駆動禁止を示すデータ、前記制御対象に対する駆動継続を示すデータ、前記制御対象に対する駆動量を示すデータ、駆動量に関する上限値を示すデータ、駆動量に関する下限値を示すデータ、前記制御対象に対する駆動時間を示すデータ、および前記制御対象のステータスに関するデータの少なくともいずれか１つを含む、請求項１～請求項９のいずれか１項に記載の制御装置。
11. 前記第１ニューラルネットワークは、リカレントニューラルネットワークである、請求項１～請求項１０のいずれか１項に記載の制御装置。
12. コンピュータによる患者を診療するための診療装置を制御する制御方法であって、
    前記診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、
    入力される前記画像関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記診療装置を制御するための制御データを生成するステップと、
    生成される前記制御データを制御対象に出力するステップとを含む、制御方法。
13. 患者を診療するための診療装置を制御する制御プログラムであって、
    コンピュータに、
    前記診療装置を含む診療空間をカメラで撮影した画像関連データが入力されるステップと、
    入力される前記画像関連データと、第１ニューラルネットワークを含む第１推定モデルとに基づき、前記診療装置を制御するための制御データを生成するステップと、
    生成される前記制御データを制御対象に出力するステップとを実行させる、制御プログラム。

Images