JP2023033923A - 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】光が照射された状態であっても適切に患者を撮影する技術を提供する。
【解決手段】画像処理装置１００は、歯科用のチェア１１に横たわる患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される入力部１１０１と、複数の撮影画像を処理する画像処理部１１０２とを備える。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。画像処理部１１０２は、第１撮影画像と第２撮影画像とを合成する。
【選択図】図９

Description

本開示は、画像を処理する画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。

従来、診察中または治療中の患者をカメラで撮影することによって、診察中または治療中の患者を観察することが行われている。たとえば、特許文献１は、光感受性物質が蓄積された腫瘍組織に治療光を照射することによって腫瘍組織を消滅させるとともに、治療光を照射しながら通常光を照射して被検体内を撮影する電子内視鏡システムを開示する。

特開２０１２－５０６００号公報

特許文献１に開示された電子内視鏡システムにおいては、治療光が通常光よりも高出力であるため、治療光を照射しながら通常光を照射して被検体内を撮影すると、治療光の照射位置およびその周辺が白くぼけやる現象（以下、「ハレーション」とも称する。）が生じる場合があった。このように、患者の撮影部位に対して光が照射された状態で患者を撮影する場合、光の照射具合によってはハレーションが生じて適切に患者を撮影することができないおそれがあった。

本開示は、かかる問題を解決するためになされたものであり、その目的は、光が照射された状態であっても適切に患者を撮影する技術を提供することである。

本開示の一例に従えば、画像を処理する画像処理装置が提供される。画像処理装置は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される入力部と、複数の撮影画像を処理する画像処理部とを備える。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。画像処理部は、第１撮影画像と第２撮影画像とを合成する。

本開示の一例に従えば、画像を処理する画像処理システムが提供される。画像処理システムは、歯科用の診療椅子に横たわる患者の口腔内を中心に光を照射する照明装置と、照明装置によって光が照射された状態で患者を上方から撮影する少なくとも１つのカメラと、患者の撮影画像を処理する画像処理装置とを備える。少なくとも１つのカメラは、口腔の中心部分に露出を合わせて患者を撮影する第１撮影部と、口腔の中心部分以外に露出を合わせて患者を撮影する第２撮影部とを備える。画像処理装置は、第１撮影部によって撮影された第１撮影画像と第２撮影部によって撮影された第２撮影画像とを合成する。

本開示の一例に従えば、コンピュータによる画像を処理する画像処理方法が提供される。画像処理方法は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、複数の撮影画像を処理する第２ステップとを含む。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。第２ステップは、第１撮影画像と第２撮影画像とを合成する。

本開示の一例に従えば、画像を処理する画像処理プログラムが提供される。画像処理プログラムは、コンピュータに、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、複数の撮影画像を処理する第２ステップとを実行させる。複数の撮影画像は、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを含む。第２ステップは、第１撮影画像と第２撮影画像とを合成する。

本開示は、歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で患者を上方から撮影した場合に、口腔の中心部分に露出を合わせて撮影された第１撮影画像と、口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを合成することによって、口腔の中心部分および中心部分以外のいずれにおいても露出が調整された撮影画像を得ることができる。これにより、光が照射された状態であっても適切に患者を撮影することができる。

本実施の形態に係る画像処理システムの全体構成を示す模式図である。 第１カメラおよび第２カメラの一例を説明するための図である。 本実施の形態に係る画像処理システムの内部構成を示すブロック図である。 推定用の同期データの一例を説明するための図である。 第１カメラおよび第２カメラの各々のダイナミックレンジの一例を説明するための図である。 第１カメラの第１撮影画像の一例を説明するための図である。 第２カメラの第２撮影画像の一例を説明するための図である。 第１カメラの第１撮影画像と第２カメラの第２撮影画像とを合成した合成画像の一例を説明するための図である。 本実施の形態に係る画像処理装置の機能構成を示すブロック図である。 本実施の形態に係る画像処理装置が実行する画像処理の一例を説明するためのフローチャートである。 変形例に係る患者カメラの撮影態様を説明するための図である。

本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜画像処理システムの全体構成＞
図１は、本実施の形態に係る画像処理システム１０００の全体構成を示す模式図である。図１に示すように、画像処理システム１０００は、診療装置１と、画像処理装置１００とを備える。

診療装置１は、たとえば、術者が患者に対して歯科の診療を行うためのチェアユニットである。「診療」は、歯科医師、歯科助手、歯科大学の先生、歯科大学の学生、および歯科技工士など、歯科における医療従事者（以下、「術者」とも称する。）によって行われる患者に対する診察および治療の少なくともいずれか１つを含む。本実施の形態においては、診療の内容を「診療内容」とも称する。「診察」は、術者が患者の歯科に関する病状および病因などを探ることを含む。本実施の形態においては、診察の内容を「診察内容」とも称する。「治療」は、術者が患者の歯科に関する病気を治すこと、および術者が患者の歯の美容や健康を保つこと（審美治療）を含む。本実施の形態においては、治療の内容を「治療内容」とも称する。「診療内容」は、「診察内容」および「治療内容」の少なくともいずれか１つを含む。術者が患者の歯科に関する病気を治すために行う行動（手当）、および術者が患者の歯の美容や健康を保つために行う行動（手当）を処置とも称し、治療は、１または複数の処置の組み合わせで構成される。本実施の形態においては、処置の内容を「処置内容」とも称する。「治療内容」は、１または複数の「処置内容」を含む。

治療内容の例としては、う蝕治療、根管治療、歯垢除去、インプラント、矯正、およびホワイトニングなどが挙げられるが、術者が患者の歯科に関する病気を治す治療の内容、および術者が患者の歯の美容や健康を保つ審美治療の内容であれば、いずれも治療内容に含まれる。処置内容の例としては、診査、切削、ファイリング、根管洗浄、乾燥、仮封、印象、スケーリング、補綴物の修正、歯周ポケットの測定、吸引、および抜歯などが挙げられるが、術者が患者の歯科に関する病気を治すために行う処置の内容、および術者が患者の歯の美容や健康を保つために行う処置の内容であれば、いずれも処置内容に含まれる。

たとえば、根管治療は、う蝕の進行によって歯の根の中の歯髄（神経や血管など）が炎症または感染を起こしたときに必要となる治療であり、痛んだ歯髄を除去するとともに根管を洗浄・消毒し、再度の感染を防ぐために歯の根の中に詰め物をするといった治療である。根管治療は、処置内容として、診査、抜髄、根管長測定、洗浄・消毒、根管充填、および詰め込み・被せから構成されており、術者は患者に対してこれら各処置を順番に行うことで根管治療を施すことができる。

診査は、術者が患者に対してヒアリングを行ったり、患者の口腔内を検査することで患者の歯科に関する病状および病因を特定して治療方針を立てたりすることを含む処置である。抜髄は、根管治療において、痛んだ歯髄を除去することを含む処置である。根管長測定は、歯髄を除去した後の空洞になった根管の長さを測定することを含む処置である。洗浄・消毒は、空洞になった根管の奥まで洗浄して消毒することを含む処置である。根管充填は、洗浄・消毒後の根管内に細菌が侵入することを防ぐために、根管内に専用の薬剤を埋めることを含む処置である。詰め込み・被せは、根管内にゴムのような詰め物を詰め込み、その上に金属またはファイバー製の土台を作った上で、当該土台に被せ物（クラウン）を被せることを含む処置である。

診療装置１は、チェア１１と、ベースンユニット１２と、トレーテーブル１３と、診療器具１５を保持する器具ホルダ１４と、フットコントローラ１６と、ディスプレイ１７と、操作パネル１８と、照明装置（オペライト）１９と、器具制御装置２１と、表示制御装置２２と、スピーカ３５とを備える。

チェア１１は、診療時に患者が座ったり横たわったりするための診療椅子である。チェア１１は、患者の頭を支えるヘッドレスト１１ａと、患者の背中を支える背もたれ１１ｂと、患者の尾尻を支える座面シート１１ｃと、患者の足を支える足置き台１１ｄとを含む。なお、診療装置１は、チェア１１に代えて、患者が横たわる診療台を備えてもよい。

ベースンユニット１２は、排水口が形成された鉢１２ａと、コップが載置されるコップ台１２ｂと、コップに給水するための給水栓１２ｃとを含む給水・排水装置である。

トレーテーブル１３は、診療時の物置台として用いられる。トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）に接続されている。なお、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるアーム（図示は省略する。）によって吊り下げられてもよい。たとえば、トレーテーブル１３は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６によって吊り下げられてもよい。術者は、トレーテーブル１３をチェア１１に対して手動で回動、水平移動、および垂直移動させることができる。診療中において、術者は、トレーテーブル１３の上面にトレー３０を置くことがある。トレー３０には、患者を診療するための１または複数の診療器具が置かれる。

「診療器具」は、ラバーダム防湿一式、ラバーダムシート、根管長測定器、バーセット、ファイル（リーマ）、口角対極、ファールクリップ、ブローチ、洗浄用ニードル、洗浄用シリンジ、仮封材充填器、クレンザー、タービン、ピンセット、バキューム、ミラー、エキスカベーター、探針、および根管材料注入器など、術者によって診療中に用いられる診療用の器具である。なお、診療装置１の器具ホルダ１４によって保持される診療器具１５も「診療器具」に含まれるが、トレー３０には、器具ホルダ１４によって保持されない診療器具が主に置かれる。

診療器具１５は、たとえば、エアタービンハンドピース、マイクロモータハンドピース、超音波スケーラ、およびバキュームシリンジなどの歯科診療用のインスツルメントであり、器具制御装置２１の制御によって駆動する。なお、診療器具１５は、これらに限らず、口腔内カメラ、光重合用照射器、根管長測定器、３次元スキャナ、および根管拡大器などであってもよいし、ミラー、注射器、および充填器具など、駆動しない器具であってもよい。

フットコントローラ１６は、術者の足踏み操作を受け付ける複数のスイッチ（ペダル）を有する。術者は、これら複数のスイッチの各々に対して所定の機能を割り当てることができる。たとえば、術者は、チェア１１の態様を変更する機能をフットコントローラ１６のスイッチに対して割り当てることができ、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づきヘッドレスト１１ａなどが駆動する。さらに、術者は、診療器具１５を駆動する機能をフットコントローラ１６のスイッチに対して割り当てることもでき、フットコントローラ１６が術者による当該スイッチの足踏み操作を受け付けると、当該足踏み操作に基づく器具制御装置２１の制御によって診療器具１５が駆動する。なお、術者は、照明装置１９の照明および消灯を制御する機能など、フットコントローラ１６のスイッチに対してその他の機能を割り当てることもできる。

ディスプレイ１７は、トレーテーブル１３に取り付けられており、表示制御装置２２の制御によって各種の画像を表示する。

操作パネル１８は、チェア１１および診療器具１５などの動作、あるいは当該動作の設定を行うためのスイッチを含む。たとえば、チェア１１を動作させるための入力操作を操作パネル１８が受け付けると、当該入力操作に基づきチェア１１が動作する。たとえば、診療器具１５の回転速度などの設定を行うための入力操作を操作パネル１８が受け付けると、当該入力操作に基づき診療器具１５の回転速度などの設定を行うことができる。

照明装置１９は、チェア１１またはチェア１１が設置された床から延びるポール５の上部で分岐するアーム６の先端に設けられている。照明装置１９は、照明状態と消灯状態とに切り替えることができ、主に患者の口腔内を中心に光を照射することによって術者による診療をサポートする。術者は、アームを動かすことによって、照明装置１９の位置を変更することができる。なお、照明装置１９に限らず、ディスプレイ１７も、ポール５またはアーム６の先端に取り付けられてもよい。

スピーカ３５は、術者および患者などに対してアラートを発する音、および診療を補助するアシスト音など、各種の音を出力する。

上述したように構成された診療装置１を用いることで、術者は患者に対して歯科診療を行うことができる。ここで、画像処理システム１０００は、歯科診療中の術者および患者の様子を撮影し、撮影によって得られた画像（以下、「撮影画像」とも称する。）を蓄積して記憶するように構成されている。診療中の撮影画像を蓄積して残すことで、診療中に生じたアクシデントを記録することができ、また、歯科診療の教材として撮影画像を用いることもできる。

さらに、本実施の形態においては、画像処理装置１００は、診療中の撮影画像などに関するデータと、機械学習がなされたニューラルネットワークを含む推定モデルとを用いて、処置内容ないしは診療内容を推定することができるように構成されている。具体的には、術者においては、患者に対する診療内容を正確かつ容易に把握するといった要望がある。たとえば、歯科医師は、患者を診療したら遅滞なく経過を記録することが義務付けられている。しかしながら、歯科医師は、短時間で効率よく患者を診療することも求められているため、診療中に行った処置ないしは治療の内容を、その都度、記録することができない場合もある。近年、ＡＩ（Artificial Intelligence）を用いてデータの分析・学習を行い活用するといった技術が生み出されているが、ＡＩ技術を用いて歯科における診療内容などを推定することができれば、正確かつ容易に診療内容などを推定することができ、より利便性のある歯科診療を実現することができる。

ここで、歯科診療ならではの特徴として、診療目的に応じて複数の処置を組み合わせたり、各処置のために複数の診療器具の中から適切な診療器具を選択してトレー３０から取り出して使ったりするなど、術者は、診療中に様々な動作を行う。また、診療器具を使う順番およびその種類は、診療中の処置の内容を表しているとも言える。さらに、複数の処置内容の組み合わせから診療内容が表されるといった階層構造にもなっているため、その階層を理解することができれば、診療内容を推定することが可能となる。

そこで、上述したように、本実施の形態に係る画像処理システム１０００（画像処理装置１００）は、トレー３０、診療装置１の動作、術者の行動、および患者の行動を、ＡＩを用いて分析・学習することで、処置内容ないしは診療内容を推定するように構成されている。

図１に示すように、診療装置１には、複数のカメラが取り付けられている。具体的には、画像処理システム１０００は、ディスプレイ１７に取り付けられたトレーカメラ５１と、ポール５の上部に取り付けられた全体カメラ５２と、照明装置１９に取り付けられた患者カメラとして第１カメラ５３および第２カメラ５４とを備える。第１カメラ５３は、「第１カメラ」の一実施形態である。第２カメラ５４は、「第２カメラ」の一実施形態である。トレーカメラ５１、全体カメラ５２、第１カメラ５３、および第２カメラ５４は、ＣＣＤ（Charge Coupled Devices）イメージセンサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどのイメージングデバイスを搭載したカメラである。

トレーカメラ５１は、トレー３０を少なくとも含む領域を動画または静止画で撮影するように配置されている。トレーカメラ５１によって得られた撮影情報を含む画像データ（以下、「トレー画像データ」とも称する。）は、画像処理装置１００によって取得される。トレーカメラ５１におけるシャッタースピードなどの各種設定は、トレー３０に置かれた診療器具の有無、形状、種類、およびトレーカメラ５１の撮影領域における診療器具の位置などを画像処理装置１００が認識できる程度に予め調整されている。なお、トレーカメラ５１は、トレー３０を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。

全体カメラ５２は、診療装置１を含む診療空間を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、全体カメラ５２は、診療装置１を用いた診療中の診療空間における、少なくとも、歯科医師、歯科助手、および患者を含む広い領域を動画または静止画で撮影するように配置されている。全体カメラ５２は、ポール５の上部に取り付けられているため、診療中の歯科医師、歯科助手、および患者の各々の行動と、診療装置１の動作とを上空から俯瞰して撮影する。

「診療空間」は、診療空間に含まれるオブジェクト全体を含む空間に限らず、診療中の術者、患者、および診療装置１など、診療空間に含まれるオブジェクトのうちの一部のオブジェクトを含む空間であってもよい。全体カメラ５２によって得られた撮影情報を含む画像データ（以下、「全体画像データ」とも称する。）は、画像処理装置１００によって取得される。全体カメラ５２におけるシャッタースピードなどの各種設定は、診療中の歯科医師や歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを画像処理装置１００が認識できる程度に予め調整されている。

なお、全体カメラ５２は、患者を診療する診療空間を少なくとも含む領域を撮影することができる場所であれば、いずれの場所に設置されてもよい。全体カメラ５２は、診療空間を平面で認識する他に、診療空間を奥行き方向で認識可能なデプスカメラであってもよい。全体カメラ５２は、診療空間を全方位で撮影可能な３６０度カメラであってもよい。さらに、全体カメラ５２は、診療空間に存在する撮影対象（たとえば、術者および患者などの人物）を追尾することができるものであってもよい。

第１カメラ５３および第２カメラ５４は、患者の口腔内を少なくとも含む領域を動画または静止画で撮影するように配置されている。具体的には、第１カメラ５３および第２カメラ５４は、患者の口腔内を主として、患者の顔および顔の周辺を撮影する。

図２は、第１カメラおよび第２カメラの一例を説明するための図である。たとえば、図２に示すように、照明装置１９は、点灯と消灯とを切り替え可能な複数の照明部１９０が環状に配置されるように構成されている。第１カメラ５３は、環状に配置された複数の照明部１９０の上方に位置するようにして照明装置１９に取り付けられている。第２カメラ５４は、環状に配置された複数の照明部１９０によって取り囲まれるようにして照明装置１９に取り付けられている。第１カメラ５３および第２カメラ５４は、照明装置１９に取り付けられているため、照明装置１９が移動することに従って第１カメラ５３および第２カメラ５４も移動する。

通常、診療中において、照明装置１９は、患者の顔の正面に位置して、患者の口腔内を中心に複数の照明部１９０からの光を照射する。照明装置１９からの光の照射方向と、第１カメラ５３および第２カメラ５４による撮影方向とは、同一または略同一である。このため、照明装置１９が患者の顔の正面に位置すると、照明装置１９に取り付けられた第１カメラ５３および第２カメラ５４は、自然と患者の顔を含む領域を正面から撮影することができる。また、照明装置１９の位置、すなわち第１カメラ５３および第２カメラ５４の位置は、被写体である患者の位置と十分に離れている。このため、後述する図６および図７に示すように、第１カメラ５３の撮影領域と、第２カメラ５４の撮影領域とは概ね一致する。

第１カメラ５３および第２カメラ５４の各々によって得られた撮影情報を含む画像データ（以下、「患者画像データ」とも称する。）は、画像処理装置１００によって取得される。第１カメラ５３および第２カメラ５４におけるシャッタースピードなどの各種設定は、診療中の患者の口腔内を画像処理装置１００が認識できる程度に予め調整されている。

なお、第１カメラ５３および第２カメラ５４は、照明装置１９からの光の照射方向と同一または略同一の撮影方向で患者の口腔内を少なくとも含む領域を撮影することができる場所であれば、照明装置１９におけるいずれの場所に取り付けられてもよい。第１カメラ５３および第２カメラ５４は、口腔周辺の部位と診療器具とにおける奥行き方向（たとえば、第１カメラ５３および第２カメラ５４から患者を見る方向）の位置関係を画像処理装置１００が検出できるように、全体カメラ５２と同様に三次元の位置座標を検出可能であってもよい。

上述したトレー画像データ、全体画像データ、および患者画像データをまとめて「画像関連データ」とも称する。なお、「画像関連データ」という用語は、トレー画像データ、全体画像データ、および患者画像データの全てを意味する場合もあるが、トレー画像データ、全体画像データ、および患者画像データのうちの少なくともいずれか１つを意味する場合もある。

画像処理装置１００は、主にトレー画像データおよび患者画像データに基づき、撮影画像に含まれる診療器具などのオブジェクトの有無やその種類を検出する。画像処理装置１００は、主に全体画像データに基づき、撮影画像に含まれる歯科医師、歯科助手、および患者などの人物の位置を検出する。「画像関連データ」は、上述した画像処理装置１００による検出結果を含んでいてもよい。つまり、「画像関連データ」は、トレー画像データ、全体画像データ、および患者画像データそのものを含んでいてもよいし、これらのデータに基づき画像処理装置１００の画像認識によって取得された検出結果を含んでいてもよい。

画像処理装置１００は、取得した各種のデータに基づき、診療装置１を用いて行われた患者に対する診療の内容を推定するコンピュータ（後述する演算装置１０２）を搭載する。具体的には、画像処理装置１００は、診療装置１に取り付けられたトレーカメラ５１、全体カメラ５２、第１カメラ５３、および第２カメラ５４の少なくともいずれか１つから、画像関連データを取得する。

なお、本実施の形態においては、表示装置１１０が画像処理装置１００に接続されているが、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が画像処理装置１００に接続されていてもよい。

＜画像処理システムの内部構成＞
図３は、本実施の形態に係る画像処理システム１０００の内部構成を示すブロック図である。図３に示すように、画像処理システム１０００は、複数のカメラ（トレーカメラ５１、全体カメラ５２、第１カメラ５３、第２カメラ５４）と、診療装置１と、画像処理装置１００とを備える。

［診療装置の内部構成］
診療装置１は、チェア１１と、器具制御装置２１と、表示制御装置２２と、音制御装置３２と、ベースンユニット１２とを備える。診療装置１の内部において、チェア１１、器具制御装置２１、表示制御装置２２、音制御装置３２、およびベースンユニット１２の各々は、ＣＡＮ（Controller Area Network）通信を介してデータの送受信を行うことができる。また、診療装置１は、画像処理装置１００との間で、有線または無線のＬＡＮ（Local Area Network）通信、たとえばＷｉＦｉによる通信を介してデータの送受信を行うことができる。なお、診療装置１は、画像処理装置１００との間で、ＵＳＢ（Universal Serial Bus）接続による通信を介してデータの送受信を行ってもよい。

チェア１１は、ヘッドレスト１１ａと、背もたれ１１ｂと、座面シート１１ｃと、足置き台１１ｄとを含み、これらの各々は、チェア制御部１１１の制御に基づき駆動する。具体的には、チェア制御部１１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、座面シート１１ｃを上昇または下降させたり、ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄを座面シート１１ｃに対して垂直方向または水平方向に移動させたりする。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して垂直方向に位置すると、チェア１１が起立した態様となる。これにより、患者がチェア１１に座った姿勢になる。ヘッドレスト１１ａ、背もたれ１１ｂ、および足置き台１１ｄが座面シート１１ｃに対して水平方向に位置すると、チェア１１が傾斜した態様となる。これにより、患者がチェア１１に横たわり、仰向け姿勢になる。このように、チェア制御部１１１は、ヘッドレスト１１ａ、背もたれ１１ｂ、座面シート１１ｃ、および足置き台１１ｄを駆動させてチェア１１の姿勢を変更する。

器具制御装置２１は、器具制御部２１１を含む。器具制御部２１１は、フットコントローラ１６または操作パネル１８によって受け付けられた術者の操作に基づく制御データ、あるいは、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、診療器具１５の駆動または設定内容を制御する。たとえば、術者が、フットコントローラ１６におけるエアタービンハンドピースを駆動するためのスイッチを足踏み操作すると、器具制御装置２１は、エアタービンハンドピースのヘッド部に保持された切削工具を回転させる。たとえば、画像処理装置１００が、エアハンドピースの回転方向または回転速度などを制御するための制御データを出力すると、器具制御装置２１は、制御データに基づき、エアタービンハンドピースの回転方向または回転速度などを設定する。このように、器具制御装置２１は、フットコントローラ１６または操作パネル１８に対する術者の操作に基づき診療器具１５の駆動を制御する。

表示制御装置２２は、ディスプレイ制御部２２１と、パネル制御部２２２とを含む。ディスプレイ制御部２２１は、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、ディスプレイ１７を制御する。パネル制御部２２２は、画像処理装置１００の制御に基づく制御データを受信すると、当該制御データに基づき、操作パネル１８を制御する。

音制御装置３２は、音制御部３２１を含む。音制御部３２１は、画像処理装置１００からの制御データをＣＡＮ通信を受信すると、当該制御データに基づき、スピーカ３５を制御する。

ベースンユニット１２は、ベースン制御部１２１と、照明制御部１２２とを含む。ベースン制御部１２１は、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、ベースンユニット１２における給水および排水を制御する。照明制御部１２２は、画像処理装置１００からの制御データを受信すると、当該制御データに基づき、照明装置１９の照明および消灯を制御する。

上述したチェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、図示しない基板上に実装されたＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random access memory）などによって構成される。なお、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々は、予め診療装置１に備え付けられていてもよいし、モジュール化されることでオプションとして任意に診療装置１に取り付け可能であってもよい。

チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々におけるＣＡＮ通信では、各制御部におけるログデータを含む診療関連データを通信パケットにして、制御部間で互いに通信が行われる。なお、制御部間の通信では、診療関連データが送受信されさえすれば当該診療関連データを必ずしも通信パケットにする必要はない。

「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、操作パネル１８の少なくともいずれか１つにおける過去および現在の少なくとも１つの制御データを含む。たとえば、上述したように、「診療関連データ」は、診療装置１が備えるチェア１１、ベースンユニット１２、照明装置１９、器具制御装置２１、表示制御装置２２、診療器具１５、フットコントローラ１６、ディスプレイ１７、および操作パネル１８の各々における動作および制御の履歴を示すログデータを含む。なお、「診療関連データ」は、ログデータのように各種装置における動作および制御の履歴データに限らず、各種装置における動作および制御のリアルタイムのデータを含んでいてもよい。さらに、「診療関連データ」は、各種装置における現在のステータスに関するデータを含んでいてもよい。たとえば、「診療関連データ」は、チェア１１の現在の態様（姿勢および位置など）を特定するためのデータを含んでいてもよい。

ベースンユニット１２は、診療装置１内のログデータを含む診療関連データを蓄積する蓄積部１２３と、蓄積部１２３によって蓄積された診療関連データを通信によって画像処理装置１００に出力するための通信部１２４とを含む。

蓄積部１２３は、チェア制御部１１１、器具制御部２１１、ディスプレイ制御部２２１、パネル制御部２２２、音制御部３２１、ベースン制御部１２１、および照明制御部１２２の各々との間でＣＡＮ通信することで、各制御部から診療関連データを収集して蓄積する。蓄積部１２３は、図示しない基板上に実装されたＲＯＭまたはＲＡＭなどのメモリによって構成されてもよいし、メモリカードなどの不揮発の記憶媒体で構成されてもよい。

通信部１２４は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって画像処理装置１００との間で通信する。なお、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。また、画像処理装置１００は、一時的に記憶する揮発性の記憶媒体を介して、ＣＡＮ通信に流れている診療関連データを、直接的に取得してもよい。

［画像処理装置の内部構成］
画像処理装置１００は、通信装置１０１と、演算装置１０２と、記憶装置１０３とを備える。

通信装置１０１は、診療装置１との間で通信する一方で、トレーカメラ５１、全体カメラ５２、第１カメラ５３、および第２カメラ５４の各々との間で通信可能である。通信装置１０１は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって各カメラとの間で通信することで、各カメラから画像関連データを取得する。なお、通信装置１０１は、その他の形式で各カメラから画像関連データを取得してもよい。たとえば、通信装置１０１は、各カメラから取り出されたメモリカードなどの不揮発の記録媒体に一時的に記録される画像関連データを取得してもよい。なお、診療装置１との間の通信と、各カメラとの間の通信とは、互いに別の装置で行われてもよい。

通信装置１０１は、有線または無線のＬＡＮ通信、あるいはＵＳＢ接続によって診療装置１との間で通信することで、診療装置１から診療関連データを取得する。なお、通信装置１０１は、その他の形式で診療装置１から診療関連データを取得してもよい。たとえば、上述したように、蓄積部１２３がメモリカードなどの不揮発の記憶媒体で構成されている場合、画像処理装置１００は、通信装置１０１によって診療装置１の通信部１２４を介して、当該記憶媒体に蓄積されている診療関連データを取得してもよい。

演算装置１０２は、各種のプログラムを実行することで、各種の処理を実行する演算主体（コンピュータ）である。演算装置１０２は、たとえば、ＣＰＵ、ＦＰＧＡ（Field-Programmable Gate Array）、およびＧＰＵ（Graphics Processing Unit）などで構成される。

なお、演算装置１０２は、ＣＰＵ、ＦＰＧＡ、およびＧＰＵのうちの少なくともいずれか１つで構成されてもよいし、ＣＰＵとＦＰＧＡ、ＦＰＧＡとＧＰＵ、ＣＰＵとＧＰＵ、あるいはＣＰＵ、ＦＰＧＡ、およびＧＰＵから構成されてもよい。また、演算装置１０２は、演算回路（processing circuitry）で構成されてもよい。

記憶装置１０３は、演算装置１０２が任意のプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する揮発性の第１記憶領域（たとえば、ワーキングエリア）を含む。たとえば、記憶装置１０３は、ＤＲＡＭ（Dynamic Random Access Memory）またはＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスで構成される。さらに、記憶装置１０３は、不揮発性の第２記憶領域を含む。たとえば、記憶装置１０３は、ハードディスクまたはＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスで構成される。

なお、本実施の形態においては、揮発性の第１記憶領域と不揮発性の第２記憶領域とが同一の記憶装置１０３に含まれる例を示したが、揮発性の第１記憶領域と不揮発性の第２記憶領域とが互いに異なる記憶装置に含まれていてもよい。たとえば、演算装置１０２が揮発性の第１記憶領域を含んでいてもよい。画像処理装置１００は、演算装置１０２と、記憶装置１０３とを含むマイクロコンピュータを備えていてもよい。

記憶装置１０３は、画像処理装置１００が備えるものに限らない。たとえば、診療装置１に通信可能に接続された院内サーバが記憶装置１０３を備えていてもよいし、診療装置１が設置された診療空間外に設置された院外サーバが記憶装置１０３を備えていてもよい。さらに、記憶装置１０３は、複数の診療装置１のそれぞれが備える複数の画像処理装置１００が通信可能なクラウドコンピューティングの態様で存在してもよい。このようにすれば、複数の診療装置１から取得した画像関連データおよび診療関連データを記憶装置１０３によって一律に蓄積しかつ管理することができる。

記憶装置１０３は、推定モデル１６１と、推定プログラム１４１と、画像処理プログラム１４２とを格納する。

推定モデル１６１は、たとえば、ニューラルネットワークと、ニューラルネットワークにおける処理で用いられるパラメータ（判定閾値、重み係数など）とを含み、各カメラから取得した画像関連データおよび診療装置１から取得した診療関連データの少なくともいずれか１つと、ニューラルネットワークなどとに基づき、患者の診療内容を推定する。推定モデル１６１は、画像関連データおよび診療関連データの少なくともいずれか１つに基づき機械学習を行うことで最適化（調整）される。具体的には、推定モデル１６１は、ニューラルネットワークにおける処理で用いられるパラメータが教師データ（たとえば、画像関連データおよび診療関連データと、正解データである診療内容とのセット）などに基づいて適正化されることで、患者の診療内容の推定精度を向上させることができる。

なお、演算装置１０２が診療内容を推定する処理を「推定処理」とも称し、演算装置１０２が推定モデルを学習する処理を「学習処理」とも称する。さらに、学習処理によって最適化された推定モデルを、特に「学習済モデル」とも称する。つまり、本実施の形態においては、学習前の推定モデルおよび学習済みの推定モデルをまとめて「推定モデル」と総称する一方で、特に、学習済みの推定モデルを「学習済モデル」とも称する。なお、画像関連データおよび診療関連データは、診療内容の推定処理に用いられるため、まとめて「推定用データ」とも称される。

推定プログラム１４１は、演算装置１０２が推定処理および学習処理を実行するためのプログラムである。なお、画像処理装置１００は、推定処理によって得られた推定結果に基づき、各制御対象を制御するための制御データを生成するとともに、生成した制御データを各制御対象に出力する制御プログラムを含んでいてもよい。

画像処理プログラム１４２は、各カメラによる診療空間または患者の撮影を制御するとともに、各カメラによって得られた撮影画像に対して画像処理を実行するためのプログラムである。

たとえば、画像処理プログラム１４２は、第１カメラ５３および第２カメラ５４を含む各カメラにおける撮影時の露出を調整するためのソースコードを含む。「露出」とは、カメラの撮像素子（イメージングセンサ）に光を取り込むこと、またはその光の量のことである。露出は、絞り（Ｆ値）、シャッタースピード、およびＩＳＯ感度の少なくともいずれか１つを調整することで調整され得る。絞り（Ｆ値）を調整することで、カメラのレンズの内径の大きさが調整され得る。シャッタースピードを調整することで、カメラの撮像素子に光を取り込む時間が調整され得る。ＩＳＯ感度を調整することで、カメラの撮像素子に取り込んだ光に対する感度が調整され得る。画像処理装置１００は、演算装置１０２が画像処理プログラム１４２を実行することで、第１カメラ５３および第２カメラ５４の各々における撮影時の露出を調整することができる。なお、画像処理装置１００が各カメラの露出を調整することに限らず、各カメラにおいて予め露出が調整されていてもよい。

さらに、画像処理プログラム１４２は、第１カメラ５３によって得られた撮影画像（以下、「第１撮影画像」とも称する。）と、第２カメラ５４によって得られた撮影画像（以下、「第２撮影画像」とも称する。）とを合成するためのソースコードを含む。画像処理装置１００は、画像処理プログラム１４２を実行することで、第１カメラ５３の第１撮影画像と、第２カメラ５４の第２撮影画像とを合成することができる。

画像処理装置１００には、表示装置１１０が接続されている。表示装置１１０は、たとえば、推定した診療内容または処置内容を示す内容（文字、アイコン、画像など）、各種の画像を表示する。なお、表示装置１１０に限らずキーボードやマウスなどの操作ツール（ユーザインターフェース）が画像処理装置１００に接続されていてもよく、術者などのユーザによって学習処理用のデータが入力されるように構成されてもよい。表示装置１１０は、画像処理装置１００が備えていてもよい。

上述した例では、画像処理装置１００が診療装置１と別体となるように構成されていたが、画像処理装置１００は、エッジコンピューティングの態様で、診療装置１の内部に小型のコンピュータとして実装されてもよい。この場合、画像処理装置１００は、診療装置１に含まれるチェア１１、器具制御装置２１、表示制御装置２２、音制御装置３２、およびベースンユニット１２の各々との間で、ＣＡＮ通信を介してデータの送受信を行ってもよい。

＜診療内容の推定の一例＞
図４を参照しながら、画像処理装置１００による診療内容の推定の一例について説明する。図４は、推定用の同期データの一例を説明するための図である。なお、図４には、画像関連データを用いて根管治療を推定する例が示されている。

診療中においては、トレーカメラ５１によって、シャッタータイミングに依存する所定のタイミングごとに、トレー３０に置かれた１または複数の診療器具が撮影される。画像処理装置１００は、トレーカメラ５１の撮影画像のデータ（トレー画像データ）が入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。

たとえば、図４に示すように、画像処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、トレー３０に置かれた診療器具の有無、形状、種類、および位置などを推定し、トレー３０上に存在する診療器具に対応する記憶領域に「０」のデータを格納し、トレー３０上に存在しない診療器具に対応する記憶領域に「１」のデータを格納する。これにより、図４に示すように、画像処理装置１００は、同期タイミングごとに診療器具の有無を区別可能な推定用データ（トレー画像データ）を得ることができる。

診療中においては、第１カメラ５３および第２カメラ５４の各々によって、シャッタータイミングに依存する所定のタイミングごとに、患者の顔および顔の周辺が撮影される。画像処理装置１００は、第１カメラ５３および第２カメラ５４の各々から撮影画像のデータ（患者画像データ）が入力されると、第１カメラ５３の第１撮影画像と、第２カメラ５４の第２撮影画像とを合成することで、所定のタイミングごとに１枚の合成画像を生成する。画像処理装置１００は、画像認識によって、合成画像に含まれる特徴量を抽出する。

たとえば、図４に示すように、画像処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、患者の口腔周辺における診療器具の位置などを推定し、診療器具と患者の唇、診療器具と患者の頬、診療器具と患者の頭、または診療器具と患者の顎との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、画像処理装置１００は、同期タイミングごとに患者の周辺における診療器具の位置を特定可能な推定用データ（患者画像データ）を得ることができる。たとえば、診療器具が患者の下唇付近に位置し、かつ、診療器具が患者の右頬付近に位置する場合、画像処理装置１００は、患者の口腔内における右下付近の歯牙を治療中であることを推定することができる。また、診療器具が患者の頭付近または患者の顎付近に位置する場合、画像処理装置１００は、患者に診療器具が近づいていることを推定することができる。

診療中においては、全体カメラ５２によって、シャッタータイミングに依存する所定のタイミングごとに、術者および患者の行動、診療装置１の動作などが撮影される。画像処理装置１００は、全体カメラ５２の撮影画像のデータ（全体画像データ）が入力されると、画像認識によって、撮影画像に含まれる特徴量を抽出する。

たとえば、図４に示すように、画像処理装置１００は、所定の同期タイミング（Ｔ１、Ｔ２、Ｔ３、…）ごとに、歯科医師または歯科助手などの術者の行動、患者の行動、および診療装置１の動作などを推定し、術者と患者、または診療器具と患者との位置関係において、両者が所定範囲内に位置しない場合に記憶領域に「０」のデータを格納し、両者が所定範囲内に位置する場合に記憶領域に「１」のデータを格納する。これにより、画像処理装置１００は、同期タイミングごとに術者の行動、患者の行動、および診療装置１の動作を特定可能な推定用データ（全体画像データ）を得ることができる。

画像処理装置１００は、上述したようにして得られた推定用データに基づき、診療内容または処置内容を推定するための特徴を見出すことで、診療内容または処置内容を推定することができる。さらに、画像処理装置１００は、患者画像データまたは全体画像データに基づき診療器具が患者の顔に近づいていることを推定することで、診療器具が患者の顔に近づいていることを報知する画像を表示装置１１０に表示させたり、診療器具が患者の顔に近づいていることを報知する音を診療装置１のスピーカ３５から報知させたりする。

＜患者カメラの撮影画像＞
上述したように、本実施の形態においては、第１カメラ５３および第２カメラ５４は、照明装置１９に取り付けられ、患者の口腔内を主として、患者の顔および顔の周辺を撮影するように構成されている。さらに診療中において、第１カメラ５３および第２カメラ５４は、チェア１１に横たわる患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影する。

ここで、患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影すると、照明装置１９の光によって特に患者の口腔内が白くぼけやる現象（ハレーション）が生じ、適切に患者を撮影することができないおそれがある。照明装置１９は、原則、術者が患者の口腔内を見やすいように口腔の中心部分（中心付近、口腔の内側）に向けて光を照射しており、第１カメラ５３や第２カメラ５４の撮影のために適した照射にはなっていないからである。

たとえば、図５は、第１カメラおよび第２カメラの各々のダイナミックレンジの一例を説明するための図である。なお、ダイナミックレンジとは、一度の撮影でカメラが識別できる照度範囲のことである。図５に示すように、照明装置１９によって光が照射されない部分の照度範囲（Ｄ１～Ｄ２）と、照明装置１９によって光が照射される部分の照度範囲（Ｄ３～Ｄ４）とは、重複し難い。カメラのダイナミックレンジの範囲には限界があるため、光が照射されない部分の照度範囲（Ｄ１～Ｄ２）にカメラのダイナミックレンジを合わせるように露出を調整すれば、光が照射される部分の照度範囲（Ｄ３～Ｄ４）にカメラのダイナミックレンジを合わせることが難しい。一方、光が照射される部分の照度範囲（Ｄ３～Ｄ４）にカメラのダイナミックレンジを合わせるように露出を調整すれば、光が照射されない部分の照度範囲（Ｄ１～Ｄ２）にカメラのダイナミックレンジを合わせることが難しい。特に、ＣＣＤイメージセンサのようなイメージングデバイスを搭載したカメラの場合、照度範囲が極端に異なる複数の部分（被写体）をハレーションを生じさせることなく１つのカメラで１回で撮影することは難しい。

そこで、本実施の形態においては、第１カメラ５３および第２カメラ５４といった複数の患者カメラを用いて患者を撮影するとともに、第１カメラ５３と第２カメラ５４とで、露出を調整する部分を異ならせる。そして、画像処理装置１００は、第１カメラ５３の撮影によって得られた第１撮影画像と、第２カメラ５４の撮影によって得られた第２撮影画像とを合成することで、患者の口腔内を中心に照明装置１９によって光が照射された状態であっても、光が照射された患者の口腔内と、光が照射されていない患者の口腔内以外の部分（たとえば、患者の顔の周辺部分）とのいずれも明確となる撮影画像を得ることができる。以下、画像処理装置１００による画像処理について具体的に説明する。

図６は、第１カメラ５３の第１撮影画像の一例を説明するための図である。患者の口腔内を中心に照明装置１９によって光が照射された状態で、第１カメラ５３は、口腔の中心部分に露出を合わせて患者を撮影する。具体的には、第１カメラ５３は、照明装置１９の光によって明るく照らされた口腔の中心部分を明確に撮影するように、露出を小さくすることで、第１カメラ５３の撮像素子（イメージングセンサ）に取り込まれる光の量を所定量以下に調整する。

これにより、図６に示すように、第１撮影画像においては、照明装置１９の光が照射された口腔の中心部分が中心部分以外よりも明確に示される。一方、口腔の中心部分以外は、照明装置１９の光が照射されず、かつ、第１カメラ５３の露出も小さく設定されているため、第１撮影画像においては、口腔の中心部分以外が中心部分よりも暗くなるように示される。

図７は、第２カメラ５４の第２撮影画像の一例を説明するための図である。患者の口腔内を中心に照明装置１９によって光が照射された状態で、第２カメラ５４は、口腔の中心部分以外に露出を合わせて患者を撮影する。具体的には、第２カメラ５４は、照明装置１９によって光が照射されていない口腔の中心部分以外を明確に撮影するように、露出を大きくすることで、第２カメラ５４の撮像素子（イメージングセンサ）に取り込まれる光の量を所定量以上に調整する。より具体的には、第２カメラ５４の露出は、第１カメラ５３の露出よりも大きくなるように露出が調整される。

これにより、図７に示すように、第２撮影画像においては、照明装置１９の光が照射されていない口腔の中心部分以外が中心部分よりも明確に示される。一方、口腔の中心部分は、照明装置１９の光が照射され、かつ、第２カメラ５４の露出も大きく設定されているため、第２撮影画像においては、口腔の中心部分が中心部分以外よりも白くなるように示される。すなわち、口腔の中心部分は、ハレーションが生じている。

図８は、第１カメラ５３の第１撮影画像と第２カメラ５４の第２撮影画像とを合成した合成画像の一例を説明するための図である。図８に示すように、画像処理装置１００は、第１撮影画像（図８（Ａ）の画像）と、第２撮影画像（図８（Ｂ）の画像）とを合成する。具体的には、画像処理装置１００は、第１撮影画像および第２撮影画像の各々において、左上の端を原点としてＸ軸およびＹ軸からなる仮想のピクセル座標を設定する。画像処理装置１００は、ピクセル座標の原点を基準に合わせるようにして、第１撮影画像と第２撮影画像とを合成することで、合成画像（図８（Ｃ）の画像）を生成する。

画像処理装置１００は、第１撮影画像のハレーションが発生していない口腔の中心部分（第１部分、たとえば口腔の内側部分）を検出し、第２撮影画像のハレーションが発生していない口腔の中心部分以外（第２部分、たとえば口腔の外側部分）を検出し、それぞれの画像を上述の基準に基づいて合わせつつ、検出した第１部分および第２部分を残し、それら以外の部分を除去することで、第１撮影画像と第２撮影画像とを合成する。また、第１撮影画像および第２撮影画像の各々においてハレーションが発生している部分は、ハレーションが発生していない第１部分や第２部分と比較して画素値が大きく異なる。このため、画像処理装置１００は、画素値が大きく変化する部分に基づいて、上述したような第１部分および第２部分の検出を行う。第１カメラ５３および第２カメラ５４は、同じ照明装置１９に取り付けられているが、第１カメラ５３と第２カメラ５４とで照明装置１９に対する取り付け位置が多少異なるため、第１カメラ５３と第２カメラ５４とで口腔に対する光軸の角度が微妙に異なっている。このため、画像処理装置１００は、第１撮影画像および第２撮影画像のうちの少なくとも１つについて、視点変換の補正を行うことで、第１撮影画像と第２撮影画像とで同じ光軸のカメラが撮影したような画像を生成してもよい。

図８（Ｃ）に示すように、第１撮影画像によって明確に示された口腔の中心部分（すなわち、ハレーションが発生していない部分）と、第２撮影画像によって明確に示された口腔の中心部分以外（すなわち、ハレーションが発生していない部分）とが合わさることで、合成画像においては、患者の口腔の中心部分（すなわち、ハレーションが発生していない部分）を含む顔全体および顔の周辺部分が明確に示される。画像処理装置１００は、画像認識によって、このような合成画像に含まれる特徴量を抽出することで、図４の例で示したように、患者の周辺における診療器具の位置を特定可能な推定用データ（患者画像データ）を推定することができる。

＜画像処理装置の機能構成＞
図９は、本実施の形態に係る画像処理装置１００の機能構成を示すブロック図である。図９に示すように、画像処理装置１００は、主な機能部として、入力部１１０１と、画像処理部１１０２と、記憶部１１０３とを備える。なお、入力部１１０１は、通信装置１０１の機能部であり、画像処理部１１０２は、演算装置１０２の機能部であり、記憶部１１０３は、記憶装置１０３の機能部である。

入力部１１０１は、第１撮影部５０１による撮影によって得られた第１撮影画像を取得する。第１撮影部５０１は、第１カメラ５３の機能部である。第１撮影部５０１は、時系列で患者を撮影し、入力部１１０１には、第１撮影部５０１から時系列で撮影された複数の第１撮影画像が時系列に入力される。

入力部１１０１は、第２撮影部５０２による撮影によって得られた第２撮影画像を取得する。第２撮影部５０２は、第２カメラ５４の機能部である。第２撮影部５０２は、時系列で患者を撮影し、入力部１１０１には、第２撮影部５０２から時系列で撮影された複数の第２撮影画像が時系列に入力される。

画像処理部１１０２は、入力部１１０１に入力される第１撮影画像と第２撮影画像とを合成する。画像処理部１１０２は、記憶装置１０３における揮発性の第１記憶領域において、第１撮影画像と第２撮影画像とを合成する。具体的には、画像処理部１１０２は、第１記憶領域において過去の記憶情報を上書きしながら第１撮影画像と第２撮影画像とを合成する。一方、画像処理部１１０２は、合成によって得られた合成画像を、記憶装置１０３における不揮発性の第２記憶領域に蓄積して記憶する。

これにより、揮発性の第１記憶領域においては過去の記憶情報が残らないため、記憶装置１０３が記憶するデータ量の増大を抑えることができる。さらに、不揮発性の第２記憶領域においては加工後の撮影画像を蓄積して記憶することができる。

＜画像処理装置の画像処理＞
図１０を参照しながら、画像処理装置１００が実行する画像処理について説明する。図１０は、本実施の形態に係る画像処理装置１００が実行する画像処理の一例を説明するためのフローチャートである。図１０に示す各ステップ（以下、「Ｓ」で示す。）は、画像処理装置１００の演算装置１０２が画像処理プログラム１４２を実行することで実現される。なお、画像処理装置１００は、診療中に限らず画像処理を常に繰り返し実行してもよいし、患者がチェア１１に座った後に画像処理を繰り返し実行してもよいし、患者がチェア１１に座って診療が開始された後に画像処理を繰り返し実行してもよい。

図１０に示すように、画像処理装置１００は、第１カメラ５３から第１撮影画像を取得するとともに、第２カメラ５４から第２撮影画像を取得する（Ｓ１）。図６で示したように、第１撮影画像は、第１カメラ５３によって口腔の中心部分に露出を合わせて撮影された画像である。図７で示したように、第２撮影画像は、第２カメラ５４によって口腔の中心部分以外に露出を合わせて撮影された画像である。

画像処理装置１００は、第１撮影画像および第２撮影画像の各々において仮想のピクセル座標を設定し、ピクセル座標の原点を合わせるようにして、第１撮影画像と第２撮影画像とを合成する（Ｓ３）。

画像処理装置１００は、第１撮影画像と第２撮影画像とを合成した後、その合成画像を記憶装置１０３に蓄積して記憶し（Ｓ３）、本処理フローを終了する。

以上のように、画像処理装置１００は、チェア１１に横たわる患者の口腔内を中心に照明装置１９によって光が照射された状態で患者を上方から撮影した場合に、第１カメラ５３によって口腔の中心部分に露出を合わせて撮影された第１撮影画像と、第２カメラ５４によって口腔の中心部分以外に露出を合わせて撮影された第２撮影画像とを合成することによって、口腔の中心部分および中心部分以外のいずれにおいても露出が調整された撮影画像を得ることができる。これにより、光が照射された状態であっても適切に患者を撮影することができる。

＜変形例＞
本開示は、上記の実施例に限られず、さらに種々の変形、応用が可能である。以下、本開示に適用可能な変形例について説明する。

[患者カメラについて]
本実施の形態においては、画像処理システム１０００は、照明装置１９に取り付けられた患者カメラとして、第１カメラ５３および第２カメラ５４といった２つの患者カメラを備えていた。しかしながら、画像処理システム１０００は、照明装置１９に取り付けられた患者カメラとして、３つ以上の患者カメラを備えていてもよい。たとえば、画像処理システム１０００は、口腔の中心部分に露出を合わせて撮影する患者カメラとして、１または複数の第１カメラ５３を備えていてもよいし、口腔の中心部分以外に露出を合わせて撮影する患者カメラとして、１または複数の第２カメラ５４を備えていてもよい。さらに、画像処理装置１００は、１または複数の第１カメラ５３の撮影によって得られた１または複数の第１撮影画像と、１または複数の第２カメラ５４の撮影によって得られた１または複数の第２撮影画像とを合成してもよい。

さらに、画像処理システム１０００は、照明装置１９に取り付けられた患者カメラとして、１つの患者カメラを備えていてもよい。すなわち、第１撮影画像および第２撮影画像は、一の患者カメラの撮影によって得られた撮影画像であってもよい。

たとえば、図１１は、変形例に係る患者カメラの撮影態様を説明するための図である。図１１に示すように、照明装置１９に取り付けられた一の患者カメラは、タイミングｔ１で第１撮影画像を取得し、ｔ１からΔｔ後のタイミングｔ２で第２撮影画像を取得し、ｔ２からΔｔ後のタイミングｔ３で第１撮影画像を取得し、ｔ３からΔｔ後のタイミングｔ４で第１撮影画像を取得するといったように、第１撮影画像と第２撮影画像とを時系列で交互に（時分割で）取得してもよい。さらに、画像処理装置１００は、一の患者カメラの撮影によって時系列で得られた第１撮影画像と、第２撮影画像とを合成してもよい。

さらに、画像処理装置１００は、画像として重要度が比較的高い口腔の中心部分が明確な第１撮影画像の取得を第１所定回数（たとえば、３回）に亘って行い、Δｔ後のタイミングで、重要度が比較的低い口腔の中心部分以外が明確な第２撮影画像の取得を第１所定回数よりも少ない第２所定回数（たとえば、１回）に亘って行い、このような取得を繰り返してもよい。第１所定回数および第２所定回数の各々はそれぞれ予め設定され得る。

また、画像処理装置１００は、第１撮影画像および第２撮影画像の取得について、各々の画像を交互に１回ずつ取得する第１モードを基本としつつ、第１所定タイミング（たとええば、診療器具１５におけるエアハンドピースなどの制御開始タイミング）で、上述したように、第１所定回数および第２所定回数のそれぞれで第１撮影画像および第２撮影画像を取得する第２モードへ移行してもよい。画像処理装置１００は、このように撮影画像の取得を動的に変化させれば、診療器具１５によって口腔の中心部分の診療が開始されるタイミングで、第１撮影画像の取得量（情報量）を多くするできるため、診療箇所の様子を示す動画の画質を向上させることができる。

さらに、画像処理装置１００は、第２モードが継続している状態において、第２所定タイミング（たとえば、診療器具１５におけるエアタービンなどの制御が停止し、その停止から所定期間（たとえば、２分）経過したタイミング）で、第１モードへ移行してもよい。診療器具１５の制御の停止が継続している状態は、口腔の中心部分の診療が終了または中断していると推定できるため、口腔の中心部分以外の状況も比較的重要度が高くなっている。画像処理装置１００は、このような状況において第２モードから第１モードへ移行させれば、第２撮影画像の取得量（情報量）を多くするできるため、口腔の中心部分以外の様子を示す動画の画質を向上させることができる。

[撮影画像の合成について]
本実施の形態においては、図８に示すように、画像処理装置１００は、ピクセル座標の原点を合わせるようにして、第１撮影画像と第２撮影画像とを合成していた。しかしながら、画像処理装置１００は、第１撮影画像に含まれるランドマークとなる特定部分と、第２撮影画像に含まれるランドマークとなる特定部分とを合わせることで、第１撮影画像と第２撮影画像とを合成してもよい。

たとえば、画像処理装置１００は、第１撮影画像に含まれる患者の顔の特定部分と第２撮影画像に含まれる患者の顔の特定部分とを合わせることで、第１撮影画像と第２撮影画像とを合成してもよい。特定部分は、たとえば、患者の顔の輪郭、目、鼻、および口のうち、少なくともいずれか１つを含む。たとえば、画像処理装置１００は、第１撮影画像に基づき画像認識を行うことで、患者の顔の輪郭を検出し、第２撮影画像に基づき画像認識を行うことで、患者の顔の輪郭を検出してもよい。そして、画像処理装置１００は、第１撮影画像から検出した患者の顔の輪郭と、第２撮影画像から検出した患者の顔の輪郭とを合わせることで、第１撮影画像と第２撮影画像とを合成してもよい。

[画像処理装置について]
本実施の形態においては、画像処理装置１００は、診療装置１が設置された診療空間内に配置されていたが、診療空間内に設置されたサーバであってもよい。この場合、画像処理装置１００は、診療空間内に設置された複数の診療装置１に接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、画像処理装置１００による機械学習の頻度が上がり、画像処理装置１００は、より精度良く診療内容を推定することができる。

画像処理装置１００は、診療装置１が設置された診療空間外に設置されたサーバなど、クラウドコンピューティングの態様で存在してもよい。この場合、画像処理装置１００は、診療空間内に設置された複数の診療装置１に接続されるとともに、他の歯科医院に設置された複数の診療装置１にも接続され、これら複数の診療装置１の各々について、画像関連データおよび診療関連データに基づき処置内容ないし診療内容を推定してもよい。このようにすれば、画像処理装置１００による機械学習の頻度がさらに上がり、画像処理装置１００は、より精度良く診療内容を推定することができる。また、推定精度が十分な推定モデルを不必要にチューニングして過学習させないようにすることができる。画像処理装置１００がクラウドコンピューティングの態様で収集した大量のデータを用いて機械学習を行えば、少量のデータを用いて機械学習を行うよりも、過学習を抑制することができる。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。なお、本実施の形態で例示された構成および変形例で例示された構成は、適宜組み合わせることができる。

１ 診療装置、５ ポール、６ アーム、１１ チェア、１１ａ ヘッドレスト、１１ｂ 背もたれ、１１ｃ 座面シート、１１ｄ 足置き台、１２ ベースンユニット、１２ａ 鉢、１２ｂ コップ台、１２ｃ 給水栓、１３ トレーテーブル、１４ 器具ホルダ、１５ 診療器具、１６ フットコントローラ、１７ ディスプレイ、１８ 操作パネル、１９ 照明装置、２１ 器具制御装置、２２ 表示制御装置、３０ トレー、３２ 音制御装置、３５ スピーカ、５１ トレーカメラ、５２ 全体カメラ、５３ 第１カメラ、５４ 第２カメラ、１００ 画像処理装置、１０１ 通信装置、１０２ 演算装置、１０３ 記憶装置、１１０ 表示装置、１１１ チェア制御部、１２１ ベースン制御部、１２２ 照明制御部、１２３ 蓄積部、１２４ 通信部、１４１ 推定プログラム、１４２ 画像処理プログラム、１６１ 推定モデル、１９０ 照明部、２１１ 器具制御部、２２１ ディスプレイ制御部、２２２ パネル制御部、３２１ 音制御部、５０１ 第１撮影部、５０２ 第２撮影部、１０００ 画像処理システム、１１０１ 入力部、１１０２ 画像処理部、１１０３ 記憶部。

Claims (10)

1. 画像を処理する画像処理装置であって、
   歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される入力部と、
   前記複数の撮影画像を処理する画像処理部とを備え、
   前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第１撮影画像と、前記口腔の前記中心部分以外の部分に露出を合わせて撮影された第２撮影画像とを含み、
   前記画像処理部は、前記第１撮影画像と前記第２撮影画像とを合成する、画像処理装置。
2. 前記第１撮影画像は、第１カメラによって撮影された撮影画像であり、
   前記第２撮影画像は、第２カメラによって撮影された撮影画像である、請求項１に記載の画像処理装置。
3. 前記第１撮影画像および前記第２撮影画像は、一のカメラによって撮影された撮影画像であり、
   前記一のカメラは、前記第１撮影画像と前記第２撮影画像とを時系列で交互に取得する、請求項１に記載の画像処理装置。
4. 前記画像処理部は、前記第１撮影画像に含まれる前記患者の顔の特定部分と前記第２撮影画像に含まれる前記顔の前記特定部分とを合わせることで、前記第１撮影画像と前記第２撮影画像とを合成する、請求項１～請求項３のいずれか１項に記載の画像処理装置。
5. 前記特定部分は、前記顔の輪郭、目、鼻、および口のうち、少なくともいずれか１つを含む、請求項４に記載の画像処理装置。
6. 記憶装置をさらに備え、
   前記記憶装置は、揮発性の第１記憶領域と、不揮発性の第２記憶領域とを含み、
   前記画像処理部は、
   前記第１記憶領域において過去の記憶情報を上書きしながら前記第１撮影画像と前記第２撮影画像とを合成し、
   合成後の撮影画像を前記第２記憶領域に蓄積して記憶する、請求項１～請求項５のいずれか１項に記載の画像処理装置。
7. 前記第１撮影画像および前記第２撮影画像の各々は、イメージングデバイスを搭載したカメラによって撮影された撮影画像である、請求項１～請求項６のいずれか１項に記載の画像処理装置。
8. 画像を処理する画像処理システムであって、
   歯科用の診療椅子に横たわる患者の口腔内を中心に光を照射する照明装置と、
   前記照明装置によって光が照射された状態で前記患者を上方から撮影する少なくとも１つのカメラと、
   前記患者の撮影画像を処理する画像処理装置とを備え、
   前記少なくとも１つのカメラは、
   前記口腔の中心部分に露出を合わせて前記患者を撮影する第１撮影部と、
   前記口腔の前記中心部分以外に露出を合わせて前記患者を撮影する第２撮影部とを備え、
   前記画像処理装置は、前記第１撮影部によって撮影された第１撮影画像と前記第２撮影部によって撮影された第２撮影画像とを合成する、画像処理システム。
9. コンピュータによる画像を処理する画像処理方法であって、
   歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、
   前記複数の撮影画像を処理する第２ステップとを含み、
   前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第１撮影画像と、前記口腔の前記中心部分以外に露出を合わせて撮影された第２撮影画像とを含み、
   前記第２ステップは、前記第１撮影画像と前記第２撮影画像とを合成する、画像処理方法。
10. 画像を処理する画像処理プログラムであって、
    前記画像処理プログラムは、コンピュータに、
    歯科用の診療椅子に横たわる患者の口腔内を中心に照明装置によって光が照射された状態で前記患者を上方から撮影して得られた複数の撮影画像が入力される第１ステップと、
    前記複数の撮影画像を処理する第２ステップとを実行させ、
    前記複数の撮影画像は、前記口腔の中心部分に露出を合わせて撮影された第１撮影画像と、前記口腔の前記中心部分以外に露出を合わせて撮影された第２撮影画像とを含み、
    前記第２ステップは、前記第１撮影画像と前記第２撮影画像とを合成する、画像処理プログラム。

Images