JP2018099297A - 制御装置、制御方法、及び医療用観察システム - Google Patents

Abstract

【課題】制御装置、制御方法、及び医療用観察システムを提供する。【解決手段】撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、を備える制御装置。【選択図】図３

Description

本開示は、制御装置、制御方法、及び医療用観察システムに関する。

歯科治療では、患部を直視することは困難な場合があり、例えば、術者（歯科医師）は一方の手で把持したデンタルミラーの鏡面反射像を観察しながら、他方の手で把持した術具を用いて処置を行うことがある。また、特許文献１には、デンタルミラーの把柄部にビデオカメラを装着し、鏡面反射像をビデオカメラで撮像するシステムが開示されている。

一方、近年では歯科治療にビデオ顕微鏡が用いられつつある。ビデオ顕微鏡において所望の視野（表示画像）を得るためには、例えば術者がビデオ顕微鏡の位置や角度を決定することで、視野を決定することができる。その後、例えば術者は得られた視野に応じてデンタルミラーの位置や角度を調整して、患部を観察しながら歯科治療を行うことができる。

特開２００５−０６６２８４号公報

しかし、上述したように、歯科治療中の術者の両手はデンタルミラーと術具で塞がってしまうため、例えばより自由に患部を観察するため、ビデオ顕微鏡の位置や角度を変更することは困難な場合があった。

そこで、本開示では、ビデオ顕微鏡とデンタルミラーを用いた歯科治療において、より自由に患部（観察対象）を観察することが可能な、新規かつ改良された制御装置、制御方法、及び医療用観察システムを提案する。

本開示によれば、撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、を備える制御装置が提供される。

また、本開示によれば、撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得することと、プロセッサが、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行うことと、を含む、制御方法が提供される。

また、本開示によれば、撮像画像を取得する撮像装置と、前記撮像画像からのデンタルミラー検出情報を取得する取得部、及び前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部、を備える制御装置と、を含む、医療用観察システムが提供される。

以上説明したように本開示によれば、ビデオ顕微鏡とデンタルミラーを用いた歯科治療において、より自由に患部（観察対象）を観察することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示に係る実施形態が適用され得る医療用観察システム５３００の概略的な構成の一例を示す図である。 医療用観察システム５３００を用いた手術の様子を示す図である。 本開示の第１の実施形態に係る制御装置１−１の機能構成の一例を示したブロック図である。 同実施形態に係る画像処理部１１２による切出し処理、及び画像拡大処理の一例を示す説明図である。 同実施形態に係る制御装置１−１の動作例を示すフローチャート図である。 本開示の第２の実施形態に係る制御装置１−２の機能構成の一例を示したブロック図である。 同実施形態に係る制御装置１−２の動作の一例を示すフローチャート図である。 同実施形態に係る制御装置１−２の動作の他の例を示すフローチャート図である。 同実施形態に係る制御装置１−２の動作の他の例を示すフローチャート図である。 同実施形態に係る制御装置１−２の動作の他の例を示すフローチャート図である。 本開示の第３の実施形態に係る制御装置１−３の機能構成の一例を示したブロック図である。 同実施形態に係る制御装置１−３の動作例を示すフローチャート図である。 本開示の第４の実施形態に係る制御装置１−４の機能構成の一例を示したブロック図である。 患部（観察対象）が観察可能な初期状態を示している。 カメラの位置と姿勢が変更された状態における平面図である。 より詳細に好適角度を算出する手順を説明するための説明図である。 同実施形態に係るナビゲーション情報の例を示す説明図である。 同実施形態に係る制御装置１−４の動作例を示すフローチャート図である。 本開示の第５の実施形態に係る制御装置１−５の機能構成の一例を示したブロック図である。 同実施形態に係る制御装置１−５の動作例を示すフローチャート図である。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
＜２−２．第２の実施形態＞
＜２−３．第３の実施形態＞
＜２−４．第４の実施形態＞
＜２−５．第５の実施形態＞
＜＜３．ハードウェア構成例＞＞
＜＜４．むすび＞＞

＜＜１．概要＞＞
まず、本開示をより明確なものとするために、本開示に係る実施形態が適用され得る医療用観察システムについて説明する。

図１は、本開示に係る実施形態が適用され得る医療用観察システム５３００の概略的な構成の一例を示す図である。図１を参照すると、医療用観察システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の医療用観察システム５３００についての説明において、「ユーザ」とは、例えば手術の術者及び助手等、医療用観察システム５３００を使用する任意の医療スタッフのことを意味する。

顕微鏡装置５３０１は、観察対象（患者の術部等）を拡大観察するための顕微鏡部５３０３（撮像装置）と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。

顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。

筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light Emitting Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。

撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。

なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の合焦距離（合焦した観察対象までの距離）が調整され得る。また、撮像部には、ＡＥ（Auto Exposure）機能やＡＦ（Auto Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。

また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。

操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの合焦距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び合焦距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。

アーム部５３０９は、複数のリンク（第１リンク５３１３ａ〜第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ〜第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。

第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ_１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ_１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ_１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。

第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ_１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。

第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ_１と直交する回転軸（第２軸Ｏ_２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。

第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ_２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。

第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ_１及び第２軸Ｏ_２と互いに直交する回転軸（第３軸Ｏ_３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ_２及び第３軸Ｏ_３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ_２及び第３軸Ｏ_３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。

第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。

第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ_３と直交する回転軸（第４軸Ｏ_４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。

第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ_４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。

第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ_４と平行な回転軸（第５軸Ｏ_５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ_４及び第５軸Ｏ_５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ_４及び第５軸Ｏ_５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。

第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。

第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ_６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。

第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。

第１関節部５３１１ａ〜第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。

なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。

ここで、第１関節部５３１１ａ〜第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ〜第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。

例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。

また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。

また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その合焦距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な合焦距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする合焦距離に対応する半径を有する半球面（図１に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その合焦距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の合焦距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で合焦距離の調整が行われてもよい。

また、第１関節部５３１１ａ〜第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。

このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。

制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、医療用観察システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する（アーム制御処理を行う）。また、例えば、制御装置５３１７は、第１関節部５３１１ａ〜第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理（画像処理）を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。

なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ〜第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。

制御装置５３１７は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ〜第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。

表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。

図２は、図１に示す医療用観察システム５３００を用いた手術の様子を示す図である。図２では、術者５３２１が、医療用観察システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図２では、簡単のため、医療用観察システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。

図２に示すように、手術時には、医療用観察システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。

以上、本開示に係る実施形態が適用され得る医療用観察システム５３００の一例について説明した。続いて、上述した医療用観察システム５３００が歯科治療に用いられる場合について検討する。

歯科治療では、ユーザは一方の手で把持したデンタルミラーの鏡面反射像（患部）を観察しながら、他方の手で把持した術具を用いて処置を行うことがある。したがって、歯科治療中の術者の両手はデンタルミラーと術具で塞がってしまい、上述したアーム部５３０９を移動させることが困難となり得る。その結果、ユーザは自由に患部（観察対象）を観察するための所望の視野を得ることが困難な場合があった。

また、光学顕微鏡が用いられる場合には、ユーザの視線と、光学顕微鏡の光軸とが一致するため、ユーザは、肉眼においてデンタルミラーを用いる場合と同様の感覚でデンタルミラーの角度調整、及び位置調整を行うことが可能である。したがって、光学顕微鏡が用いられる場合、ユーザはデンタルミラーの角度調整、及び位置調整を直感的に行うことが可能であり、特に肉眼におけるデンタルミラーによる歯科治療に慣れたユーザにとって違和感が発生し難い。

一方で、ビデオ顕微鏡（顕微鏡部５３０３）を有する医療用観察システム５３００が用いられる場合、図２に示すようにユーザ（術者５３２１）の視線は、表示装置５３１９に向かう。係る場合、ユーザの視線と顕微鏡部５３０３の光軸は一致しないため、ユーザは自らの視線ではなく、顕微鏡部５３０３の光軸に対する角度や位置を意識しながらデンタルミラーの角度調整、及び位置調整を行うことになる。したがって、ユーザにとってデンタルミラーの角度調整、及び位置調整を行うことは容易でなく、自由に患部（観察対象）を観察することは困難であった。

そこで、上記事情を一着眼点にして本開示に係る実施形態を創作するに至った。本開示に係る実施形態によれば、撮像画像からのデンタルミラー検出情報に基づいて、撮像画像に対する画像処理またはアーム部５３０９を制御するアーム制御処理を行うことで、より自由に患部（観察対象）を観察することが可能となる。以下、上記の効果を実現する本開示のいくつかの実施形態について説明を行う。

＜＜２．実施形態＞＞
＜２−１．第１の実施形態＞
ユーザがビデオ顕微鏡とデンタルミラーを用いて患部を観察する場合、表示装置に表示される出力画像のうち、デンタルミラー先端のミラー部が占める割合が小さいと、ユーザは鏡面反射像として当該ミラー部に映る患部を快適に観察することが困難である。そこで、本開示に係る第１の実施形態として、ミラー部が占める割合が高い出力画像を得ることが可能な制御装置について説明する。

（構成例）
まず、本開示の第１の実施形態の構成例について、図３を参照して説明する。図３は、本実施形態に係る制御装置１−１の機能構成の一例を示したブロック図である。図３に示す制御装置１−１は、図１を参照して説明した制御装置５３１７に相当する。図３に示すように、制御装置１−１は、制御部１１、検出部２０、インタフェース部３０、及び記憶部４０を備える。

制御部１１は、制御装置１−１の各構成を制御する。また、本実施形態に係る制御部１１は、画像処理部１１２としても機能する。以下、制御装置１−１の全体構成を説明した後に、制御部１１の画像処理部１１２としての機能について説明する。

検出部２０は、図１を参照して説明した顕微鏡部５３０３により取得される撮像画像からデンタルミラーの検出を行い、デンタルミラーの検出に係るデンタルミラー検出情報を取得する取得部として機能する。

例えば、検出部２０は、デンタルミラーのうち、鏡面反射像を映すデンタルミラー先端のミラー部を検出してもよい。また、検出部２０が取得し、制御部１１に提供するデンタルミラー検出情報は、ミラー部の位置（例えばミラー部の重心位置）を示す情報、ミラー部の領域を示す情報、及びミラー部の検出に成功したか否かを示す情報を含んでもよい。なお、検出部２０によるミラー部の検出は、周知の物体検出技術により行われてもよい。

インタフェース部３０は、入出力のためのインタフェースである。例えば、インタフェース部３０は、図１を参照して説明した顕微鏡装置５３０１、及び表示装置５３１９との間で情報の入出力を行う。例えば、制御部１１は、インタフェース部３０を介して、顕微鏡装置５３０１から、顕微鏡部５３０３による撮像画像を取得してもよい。また、制御部１１は、インタフェース部３０を介して、アーム部５３０９の制御を行うための制御信号を顕微鏡装置５３０１に出力させてもよい。また、制御部１１は、インタフェース部３０を介して表示装置５３１９へ出力画像を出力させてもよい。

記憶部４０は、制御装置１−１の各構成が機能するためのプログラムやパラメータを記憶する。

以上、制御装置１−１の全体構成について説明した。続いて、制御部１１の画像処理部１１２としての機能について説明する。

画像処理部１１２は、検出部２０から提供されるデンタルミラー検出情報に基づいて、撮像画像に対する画像処理を行う。本実施形態に係る画像処理部１１２は、例えばデンタルミラー検出情報に基づいて、切出し領域を特定し、当該切出し領域を撮像画像から切出す画像処理を行ってもよい。

例えば、撮像画像が所謂４Ｋ解像度であり、表示装置５３１９が例えば２Ｋ解像度で表示可能な場合、画像処理部１１２は、ミラー部の領域を含む２Ｋ解像度相当の領域を切出し領域として特定してもよい。また、画像処理部１１２は、撮像画像から切出した当該切出し領域を、出力画像として表示装置５３１９へ出力させてもよい。

また、画像処理部１１２は、ミラー部の領域を含み、表示装置５３１９の解像度に相当する領域より小さい領域を切出し領域として特定してもよい。係る場合、画像処理部１１２は、当該切り出し領域を切出した後、拡大処理を行って、表示装置５３１９へ出力させる出力画像を生成してもよい。なお、画像処理部１１２による画像拡大処理は、超解像処理を含んでもよいし、Bi-cubic法、Bi-linear法等の周知の画像拡大処理を含んでもよい。

なお、画像処理部１１２は、切り出し領域の大きさを、検出されたミラー部の領域の面積に基づいて特定してもよいし、不図示のフットスイッチ等を介したユーザの入力に基づいて特定してもよい。また、画像処理部１１２は、切り出し領域の中心位置が、ミラー部の位置となるように、切り出し領域を特定してもよい。

図４は、画像処理部１１２による切出し処理、及び画像拡大処理の一例を示す説明図である。例えば、図４に示す撮像画像Ｇ１２から、検出部２０によりデンタルミラー５の先端のミラー部５２が検出される。例えば、検出部２０は、検出したミラー部５２の領域として領域Ｄ１２を制御部１１へ提供し得る。制御部１１の画像処理部１１２は、領域Ｄ１２を含むような切り出し領域Ｄ１０を特定し、切り出し領域Ｄ１０を切出した後、画像拡大処理を行って、表示装置５３１９に表示される出力画像Ｇ１４を生成する。

係る構成により、撮像画像のうち、デンタルミラー先端のミラー部の領域が占める割合が小さい場合であっても、表示装置５３１９にはミラー部が十分な大きさで表示され、ユーザは快適に患部を観察することが可能となる

（動作例）
以上、本実施形態に係る制御装置１−１の構成例について説明した。続いて、本実施形態の動作例について図５を参照して説明する。図５は、本実施形態に係る制御装置１−１の動作例を示すフローチャート図である。

図５に示すように、まず、撮像画像がインタフェース部３０を介して入力される（Ｓ１０２）。続いて、検出部２０により、デンタルミラー先端のミラー部が検出される（Ｓ１０４）。

続いて、画像処理部１１２は、検出部２０により提供されるミラー部の領域に基づき、切出し領域を特定し（Ｓ１０６）、当該切出し領域を撮像画像から切出す（Ｓ１０８）。

さらに、画像処理部１１２は、ステップＳ１０８で得られた当該切出し領域を必要に応じて拡大し（Ｓ１１０）、得られた出力画像を表示装置５３１９へ出力させる（Ｓ１１２）。

上述したステップＳ１０２〜Ｓ１１２の処理は適宜繰り返されてもよい。

（効果）
以上、本開示の第１の実施形態について説明した。本開示の第１の実施形態によれば、撮像画像のうち、ミラー部の領域が占める割合が小さい場合であっても、鏡面反射像を映すミラー部が十分な大きさで表示され、ユーザは快適に患部を観察することが可能となる。

なお、本実施形態に係る制御装置１−１はアーム制御処理を行わなくてもよいため、図１に示した顕微鏡装置５３０１がアーム部５３０９の駆動機構を備えていない場合であっても本実施形態は適用可能である。

＜２−２．第２の実施形態＞
上記第１の実施形態では、画像処理により、ユーザの所望の出力画像（ミラー部の占める割合のより大きい画像）を得る例を説明した。続いて、本開示の第２の実施形態として、画像処理に加え、アーム制御処理を行う例を説明する。

（構成例）
まず、本開示の第２の実施形態の構成例について、図６を参照して説明する。図６は、本開示の第２の実施形態に係る制御装置１−２の機能構成の一例を示したブロック図である。図６に示す制御装置１−２は、図１を参照して説明した制御装置５３１７に相当する。図６に示すように、制御装置１−１は、制御部１２、検出部２０、インタフェース部３０、及び記憶部４０を備える。図６に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。

制御部１２は、制御装置１−２の各構成を制御する。また、本実施形態に係る制御部１２は、図６に示すように画像処理部１２２、及びアーム制御部１２４としても機能する。

画像処理部１２２は、図３を参照して説明した画像処理部１１２と同様に、検出部２０から提供されるデンタルミラー検出情報に基づいて、撮像画像に対する画像処理を行う。例えば、画像処理部１２２は、画像処理部１１２と同様に、切出し領域の特定処理、切出し処理、及び拡大処理等を行ってもよい。

また、本実施形態に係る画像処理部１２２は、切出し領域を特定する際に、切出し領域が撮像範囲の外に出そうか否かを判定してもよい。例えば、画像処理部１２２は、切出し領域が、撮像画像における所定の外周領域に含まれるか否かを判定することで、当該切出し領域が切出し領域が撮像範囲の外に出そうか否かを判定してもよい。また、画像処理部１２２は切出し領域の特定に用いられるミラー部の領域のうち少なくとも一部が撮像画像における所定の外周領域に含まれるか否かを判定することで、当該切出し領域が撮像範囲の外に出そうか否かを判定してもよい。画像処理部１２２は、当該判定の結果をアーム制御部１２４へ提供する。係る構成により、切出し領域が撮像範囲外に出そうな場合に、後述するアーム制御部１２４がアーム制御処理を行って、ミラー部が撮像範囲の外に出ることを防ぐことが可能となる。

アーム制御部１２４は、図１、図２を参照して説明したアーム部５３０９を制御するアーム制御処理を行う。例えば、本実施形態に係るアーム制御部１２４は、検出されたミラー部の位置に基づいて、アーム制御処理を行ってもよい。

アーム制御部１２４は、例えばミラー部の位置が、撮像画像における所定の位置（例えば中心位置）となるようにアーム制御処理を行ってもよい。アーム制御部１２４によるアーム制御処理は、例えば、画像処理部１２２により切出し領域が撮像範囲の外に出そうであると判定された場合に行われてもよい。係る場合の動作例については、図７を参照して後述する。また、アーム制御部１２４によるアーム制御処理は、常に行われてもよい。係る場合の動作例については、図８を参照して後述する。

係る構成により、ミラー部が撮像範囲の外に出ることを防ぐことが可能となる。したがって、ユーザが最初に設定した撮像範囲よりも術野が広い場合に、ユーザが撮像範囲を例えば手動で再設定を行う手間を省くことが可能となる。

また、アーム制御部１２４は、検出されたミラー部の領域が撮像画像に含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるように、アーム制御処理を行ってもよい。なお、係るアーム制御処理は、例えばビジュアルフィードバック制御により実現されてもよい。係るアーム制御処理によれば、画像処理部１２２による切出し処理により得られる画像と同様の画角の画像を、撮像により得ることが可能となる。そのため、係る場合に画像処理部１２２による切出し処理と拡大処理は、行われなくてもよく、出力画像は切出し処理と拡大処理が行われる場合よりも高画質となり得る。係る例では、顕微鏡部５３０３の撮像範囲がミラー部を追跡するように、アーム制御処理が行われるため、以下では係るアーム制御処理をミラー部の追跡と呼ぶ場合がある。

なお、ミラー部の追跡は、例えば予め設定される医療用観察システム５３００のモード設定に応じて常時行われてもよい。また、不図示のフットスイッチ等を介したユーザの入力に基づいて、当該モードが切り替えられてもよい。係る場合の動作例については、図９を参照して後述する。

また、ミラー部の追跡は、不図示のフットスイッチ等を介したユーザの入力により指示されたタイミングにのみ行われてもよい。係る場合、ミラー部が連続的に追跡されないため、検出部２０が撮像画像からミラー部の検出に失敗する恐れがある。そこで、アーム制御部１２４は、ミラー部の検出に失敗したことを示す情報がデンタルミラー検出情報に含まれていた場合に、顕微鏡部５３０３の撮像範囲が広くなるようにアーム制御処理を行ってもよい。例えば、アーム制御部１２４は、顕微鏡部５３０３が後方に移動するように、アーム制御処理を行ってもよい。係る場合の動作例については、図１０を参照して後述する。

係る構成により、撮像画像にミラー部が含まれず、検出部２０がミラー部の検出に失敗した場合であっても、顕微鏡部５３０３の撮像範囲が広くなるように、アーム制御処理が行われるため、検出部２０はミラー部を検出し得る。

（動作例）
以上、本実施形態に係る制御装置１−２の構成例について説明した。続いて、本実施形態に係るいくつかの動作例について図７〜１０を参照して説明する。

図７は、本実施形態に係る制御装置１−２の動作の一例を示すフローチャート図である。図７に示すステップＳ２０２〜Ｓ２０６の処理は、図５を参照して説明したステップＳ１０２〜Ｓ１０６の処理と同様であるため、説明を省略する。

ステップＳ２０８において、画像処理部１２２は、切出し領域が撮像範囲の外に出そうか否かを判定する。切出し領域が撮像範囲の外に出そうである場合（ステップＳ２０８においてＹＥＳ）、アーム制御部１２４は、ミラー部の位置が、撮像画像における中心位置となるようにアーム制御処理を行い（Ｓ２１０）、処理はステップＳ２０２に戻る。

一方、切出し領域が撮像範囲の外に出そうと判定されない場合（ステップＳ２０８においてＮＯ）、処理はステップＳ２１２に進む。図７に示すステップＳ２１２〜Ｓ２１６の処理は、図５を参照して説明したステップＳ１０８〜Ｓ１１２の処理と同様であるため、説明を省略する。

上述したステップＳ２０２〜Ｓ２１６の処理は適宜繰り返されてもよい。

図８は、本実施形態に係る制御装置１−２の動作の他の例を示すフローチャート図である。図８に示す例では、切出し領域が撮像範囲の外に出そうか否かに関わらず、常にアーム制御処理が行われ得る。

図８に示すステップＳ２２２〜Ｓ２２４の処理は、図５を参照して説明したステップＳ１０２〜Ｓ１０４の処理と同様であるため、説明を省略する。

ステップＳ２２６において、アーム制御部１２４は、ミラー部の位置が、撮像画像における中心位置となるようにアーム制御処理を行う（Ｓ２２６）。

続いて、画像処理部１２２が撮像画像の中央部分を切出す処理を行う（Ｓ２２８）。続くステップＳ２３０〜Ｓ２３２の処理は、図５を参照して説明したステップＳ１１０〜Ｓ１１２の処理と同様であるため、説明を省略する。

上述したステップＳ２２２〜Ｓ２３２の処理は適宜繰り返されてもよい。

図９は、本実施形態に係る制御装置１−２の動作の他の例を示すフローチャート図である。図９に示す例では、顕微鏡部５３０３の撮像範囲がミラー部を追跡するように、アーム制御処理が行われる。また、図９に示す例では、アーム制御処理に係る動作のみ示してあり、表示装置５３１９への画像出力は、本動作とは独立に行われ得る。例えば、顕微鏡部５３０３の撮像画像がそのまま出力画像として、表示装置５３１９へ出力されてもよい。

図９に示すように、まず、撮像画像がインタフェース部３０を介して入力される（Ｓ２４２）。続いて、撮像範囲がミラー部を追跡するモードであるか否かが判定される（Ｓ２４４）。撮像範囲がミラー部を追跡するモードでない場合（Ｓ２４４においてＮＯ）、処理は終了する。

一方、撮像範囲がミラー部を追跡するモードである場合（Ｓ２４４においてＹＥＳ）、検出部２０により、デンタルミラー先端のミラー部が検出される（Ｓ２４６）。続いて、アーム制御部１２４が、撮像画像に検出されたミラー部の領域が含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるようにアーム制御処理を行う（Ｓ２４８）。

上述したステップＳ２４２〜Ｓ２４８の処理は適宜繰り返されてもよい。

図１０は、本実施形態に係る制御装置１−２の動作の他の例を示すフローチャート図である。図１０に示す例では、例えばユーザにより指示されたタイミングのみ、顕微鏡部５３０３の撮像範囲がミラー部を追跡するように、アーム制御処理が行われる。

また、図１０に示す例では、アーム制御処理に係る動作のみ示してあり、表示装置５３１９への画像出力は、本動作とは独立に行われ得る。例えば、顕微鏡部５３０３の撮像画像がそのまま出力画像として、表示装置５３１９へ出力されてもよい。

図１０に示すように、まず、撮像画像がインタフェース部３０を介して入力される（Ｓ２６２）。続いて、例えばユーザの入力により撮像範囲がミラー部を追跡する指示が行われているか否かが判定される（Ｓ２６４）。撮像範囲がミラー部を追跡する指示が行われていない場合（Ｓ２６４においてＮＯ）、処理は終了する。

一方、撮像範囲がミラー部を追跡する指示が行われている場合（Ｓ２６４においてＹＥＳ）、検出部２０により、デンタルミラー先端のミラー部の検出処理が行われる（Ｓ２６６）。

ステップＳ２６６において、ミラー部の検出に成功した場合（Ｓ２６８においてＹＥＳ）、アーム制御部１２４は、検出されたミラー部の領域が撮像画像に含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるようにアーム制御処理を行う（Ｓ２７０）。

ステップＳ２６６において、ミラー部の検出に失敗した場合（Ｓ２６８においてＮＯ）、観察対象との距離（例えば合焦距離）等の状態が記憶部４０に記憶される（Ｓ２７８）。続いて、アーム制御部１２４は、顕微鏡部５３０３の撮像範囲が広くなるように、アーム制御処理を行う（Ｓ２８０）。

続いて、検出部２０が、再度ミラー部の検出処理を行う（Ｓ２８２）。ステップＳ２８２において、ミラー部の検出に成功した場合（Ｓ２８４においてＹＥＳ）、アーム制御部１２４は、撮像画像に検出されたミラー部の領域が含まれ、かつ、撮像画像に占めるミラー部の領域の割合がより大きくなるようにアーム制御処理を行う（Ｓ２８６）。また、アーム制御部１２４は、ステップＳ２７８で記憶された状態に復帰するようにアーム制御処理を行う（Ｓ２９２）。一方、ステップＳ２８２において、ミラー部の検出に失敗した場合（Ｓ２８４においてＮＯ）、制御部１２は、表示装置５３１９へエラー画面を出力させ（Ｓ２９４）、処理は終了する。

上述したステップＳ２６２〜Ｓ２９４の処理は適宜繰り返されてもよい。

（効果）
以上、本開示の第２の実施形態について説明した。本開示の第２の実施形態によれば、例えば術野が広い場合や、患者が移動した場合であっても、ミラー部が撮像範囲に含まれるようにアーム制御処理が行われ、ユーザが手動で撮像範囲を再設定する手間を省くことが可能となる。

＜２−３．第３の実施形態＞
続いて、本開示の第３の実施形態として、デンタルミラーのミラー部を、アーム制御処理のためのＵＩ（User Interface）として用いる例について説明する。

上述したように、歯科治療中のユーザの両手はデンタルミラーと術具で塞がってしまうため、ユーザ自身がアーム部５３０９を直接動かすことが出来ない。そこで、本実施形態では、デンタルミラーのミラー部の位置と角度をユーザが動かすことに応じて、顕微鏡部５３０３が、図１を参照して説明したピボット動作をするようにアーム制御処理を行う。

（構成例）
まず、本開示の第３の実施形態の構成例について、図１１を参照して説明する。図１１は、本開示の第３の実施形態に係る制御装置１−３の機能構成の一例を示したブロック図である。図１１に示す制御装置１−３は、図１を参照して説明した制御装置５３１７に相当する。図１１に示すように、制御装置１−３は、制御部１３、検出部２０、インタフェース部３０、及び記憶部４０を備える。図１１に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。

制御部１３は、制御装置１−３の各構成を制御する。また、本実施形態に係る制御部１３は、図１１に示すようにアーム制御部１３４、及びミラー角度特定部１３６としても機能する。

アーム制御部１３４は、図１、図２を参照して説明したアーム部５３０９を制御するアーム制御処理を行う。例えば、アーム制御部１３４は、検出されたミラー部の位置に基づいて、アーム制御処理を行ってもよい。また、アーム制御部１３４は、後述するミラー角度特定部１３６により特定されるミラー部の角度に基づいて、アーム制御処理を行う。

例えば、アーム制御部１３４は、第一の時刻（過去）におけるミラー部の位置と、第二の時刻（現在）のミラー部の位置との差に応じて、顕微鏡部５３０３が平行移動するように、アーム制御処理を行ってもよい。

また、アーム制御部１３４は、第一の時刻（過去）におけるミラー部の角度と、第二の時刻（現在）のミラー部の角度との差に応じて、ミラー部の中心位置をピボット軸として、顕微鏡部５３０３がピボット動作するように、アーム制御処理を行ってもよい。

上述した平行移動と、ピボット動作は同時に行われてもよい。すなわち、撮像画像から検出されるミラー部の位置に応じて顕微鏡部５３０３を平行移動させて、ミラー部を撮像画像の中心に捉え、かつその時点のミラー部の角度に応じて、ミラー部の中心位置をピボット軸として、ピボット動作させてもよい。

係る構成により、ユーザはミラー部の位置や角度を変更することで、第一の時刻においてミラー部に映っていた患部を、他の角度から観察することが可能となる。

ミラー角度特定部１３６は、検出部２０により検出されたミラー部の角度を特定する。例えば、ミラー角度特定部１３６は、検出部２０により検出されたミラー部の領域に対してハフ変換処理による楕円形状検出を行い、検出された楕円形状の曲率（歪み）に基づいて、ミラー部の角度を特定してもよい。

（動作例）
以上、本実施形態に係る制御装置１−３の構成例について説明した。続いて、本実施形態に係る動作例について図１２を参照して説明する。

図１２は、本実施形態に係る制御装置１−３の動作例を示すフローチャート図である。図１２に示すステップＳ３０２〜Ｓ３０４の処理は、図５を参照して説明したステップＳ１０２〜Ｓ１０４の処理と同様であるため、説明を省略する。

続いて、ミラー角度特定部１３６は、ステップＳ３０４で検出されたミラー部の角度を特定する（Ｓ３０６）。続いて、ステップＳ３０８において、現時刻（第一の時刻）におけるミラー部の位置、及び角度が記憶部４０に記憶される（Ｓ３０８）。なお、ステップＳ３０８において患部（観察対象）は撮像画像におけるミラー部に含まれており、ミラー部の位置、及び角度を記憶するトリガは、例えばユーザの入力であってもよい。

続いて、デンタルミラーによるアーム操作を行うか否かが判定される（Ｓ３１０）。ステップＳ３１０の判定は、例えばユーザ入力や、予め設定される医療用観察システム５３００のモード設定に基づいて行われてもよい。デンタルミラーによるアーム操作が行われない場合（Ｓ３１０においてＮＯ）、処理はステップＳ３０２に戻る。

続いて、ミラーによるアーム操作が行われる場合（Ｓ３１０においてＹＥＳ）、処理はステップＳ３１２へ進む。ステップＳ３１２〜Ｓ３１６の処理は、ステップＳ３０２〜Ｓ３０６の処理と同様であるため、説明を省略する。

続いて、ステップＳ３０８で記憶された第一の時刻におけるミラー部の位置、及び角度と、現在（第二の時刻）におけるミラー部の位置、及び角度との差が算出される（Ｓ３１８）。

続いて、アーム制御部１３４は、ステップＳ３１８で算出されたミラー部の位置の差に応じて顕微鏡部５３０３が平行移動するようにアーム制御処理を行う（Ｓ３２０）。さらに、アーム制御部１３４は、ステップＳ３１８で算出されたミラー部の角度の差に応じて顕微鏡部５３０３がピボット動作するようにアーム制御処理を行う（Ｓ３２２）。続いて、処理はステップＳ３１０へ戻る。

（効果）
以上、本開示の第３の実施形態について説明した。本開示の第３の実施形態によれば、ユーザはミラー部の位置や角度を変更することで、患部を他の角度から観察することが可能となる。係る観察は、例えば肉眼での観察において、ユーザが頭を動かしながら角度を変えて観察することに相当し、ユーザにとってより直観的な観察が実現され得る。

本実施形態によれば、例えばユーザがドリル等の術具の位置を変更した際、顕微鏡部５３０３の視線と術具が干渉して所望の視野が得られない場合に、ミラー部の位置や角度を調整することで、顕微鏡部５３０３を移動させて、所望の視野を得ることが可能となる。

＜２−４．第４の実施形態＞
続いて、第４の実施形態として、ミラー部に観察対象が含まれるような、ミラー部の好適な角度（好適角度）を特定し、好適角度を実現するようにユーザを誘導するナビゲーション情報を表示させる例を説明する。本実施形態によれば、何らかの理由で顕微鏡部５３０３の位置や姿勢が変更され、患部を観察できなくなってしまった場合に、現状の顕微鏡部５３０３の位置や姿勢をさらに変更することなく、患部を観察するためのナビゲーション情報をユーザに提供し得る。例えば、ユーザがナビゲーション情報に従ってミラー部の角度を変更することで、患部を観察することが可能となる。

（構成例）
まず、本開示の第４の実施形態の構成例について、図１３〜図１７を参照して説明する。図１３は、本開示の第４の実施形態に係る制御装置１−４の機能構成の一例を示したブロック図である。図１３に示す制御装置１−４は、図１を参照して説明した制御装置５３１７に相当する。図１３に示すように、制御装置１−４は、制御部１４、検出部２０、インタフェース部３０、及び記憶部４０を備える。図１３に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。

制御部１４は、制御装置１−４の各構成を制御する。また、本実施形態に係る制御部１４は、図１３に示すように画像処理部１４２、ミラー角度特定部１４６、及び好適ミラー角度特定部１４８としても機能する。

画像処理部１４２は、検出部２０から提供されるデンタルミラー検出情報に基づいて、撮像画像に対する画像処理を行う。本実施形態に係る、画像処理部１４２は、後述する好適ミラー角度特定部１４８により特定されるミラー部の好適角度に誘導するナビゲーション情報を、撮像画像に合成する画像処理を行う。例えば、画像処理部１４２は、撮像画像にナビゲーション情報を重畳合成して、出力画像を生成してもよい。なお、ナビゲーション情報の例については、図１７を参照して後述する。

ミラー角度特定部１４６は、図１１を参照して説明したミラー角度特定部１３６と同様に、検出部２０により検出されたミラー部の角度を特定する。また、好適ミラー角度特定部１４８は、ミラー角度特定部１４６により特定されたミラー部の角度に基づいて、撮像画像におけるミラー部に、観察対象（例えば患部）が含まれるようなミラー部の好適角度を特定する。好適ミラー角度特定部１４８は、さらに顕微鏡部５３０３に係るカメラパラメータ（位置、及び姿勢）に基づいて、ミラー部の好適角度を特定する。なお、顕微鏡部５３０３に係るカメラパラメータは、例えばアーム部５３０９の各関節角度と長さの情報に基づいて得られてもよいし、顕微鏡部５３０３に光学的、または磁気的なマーカが取り付けられ、光学センサまたは磁気センサによりセンシングされて得られてもよい。

以下、図１４〜図１６を参照して、好適ミラー角度特定部１４８による好適角度の特定について説明する。

図１４は、位置Ｐに存在する患部（観察対象）が観察可能な初期状態を示している。また、図１４に示す平面図Ｃ１２と、側面図Ｃ１４において、原点Ｏに対するカメラ（顕微鏡部５３０３）の位置Ｃの相対座標と姿勢が得られている。さらに、カメラからミラー部５２までの距離ＣＭ、カメラから患部までの合焦距離ＣＭ＋ＭＰ、ミラー部の角度θ₀、及びφ₀が観測可能である。上記の観測可能な情報から、原点Ｏに対する患部の位置Ｐの相対座標を求めることが可能となる。

図１５は、図１４に示した状態から、カメラの位置と姿勢が変更された状態における平面図Ｃ２２である。ここで、原点Ｏと患部の位置Ｐの相対関係が不変である場合、移動後のカメラ位置Ｃ’と、ミラー部５２までの距離Ｃ’Ｍ、及び患部の位置Ｐから、好適ミラー角度特定部１４８はミラー部の好適角度θ_vを特定することが可能である。なお、好適角度におけるミラー部の姿勢は、符号Ｖ５２として図１５に示されている。

また、現在のミラー部５２の角度は、ミラー角度特定部１４６により特定されるため、ミラー部５２と好適角度におけるミラー部Ｖ５２との角度差を算出することも可能となる。なお、上記では、平面図において、Ｚ軸周りの角度差を算出する例を説明したが、側面図でも同様に、Ｘ軸周りの角度差を算出することが可能である。

図１６は、より詳細に好適角度を算出する手順を説明するための説明図である。図１６において、カメラ、好適角度におけるミラー部、及び観察対象のそれぞれの位置と向きを（t,n）t,n∈R³で表す。また、n_Cはカメラ光軸、n_M、n_Oはそれぞれ好適角度におけるミラー部と観察対象の法線方向であり、

であるとする。また、カメラからミラー部を介した観察対象までの光路長が、カメラの合焦距離ｌに等しいとすると、

の関係が得られる。ここで、

とすると、次式（１）の関係が得られる。

また、ミラー部の位置t_Mは、次の２つのベクトルの交点である。

したがって、次式（２）の関係が得られる。

上記の式（１）、式（２）より、a,bはそれぞれ以下のように求められる。

また、ミラー部の位置t_Mは、次式（３）で得られる。

また、ミラー部に対する入射角と反射角は等しいため、観察対象を観察可能なミラー部の向き（好適角度）n_Mは、次式（４）で表される。

以上、説明したように、好適ミラー角度特定部１４８は、ミラー部の好適角度を特定し得る。

図１７は、上述した好適角度に誘導するナビゲーション情報の例を示す説明図である。例えば、画像処理部１４２は、図１７に示す出力画像Ｇ２０のように、現在のミラー部を、好適角度に誘導する回転方向を示す矢印であるナビゲーション情報Ｇ２２を撮像画像に合成してもよい。また、画像処理部１４２は、図１７に示す出力画像Ｇ３０のように、好適角度におけるデンタルミラーのイメージを示すナビゲーション情報Ｇ３２を撮像画像に合成してもよい。

図１７に示したような、好適角度に誘導するナビゲーション情報が撮像画像に合成された出力画像が表示されることで、ユーザは好適角度にミラー部を調整することが可能であり、患部（観察対象）を観察可能となる。なお、図１７に示した例は一例であって、ナビゲーション情報は図１７の例に限定されない。例えば、ナビゲーション情報は、好適角度や、好適角度と現在のミラー部の角度との差を示す数値情報等を含んでもよい。また、ナビゲーション情報は、回転方向を示す矢印のアニメーション情報や、デンタルミラーのイメージの角度が変化するアニメーション情報を含んでもよい。

（動作例）
以上、本実施形態に係る制御装置１−４の構成例について説明した。続いて、本実施形態に係る動作例について図１８を参照して説明する。

図１８は、本実施形態に係る制御装置１−４の動作例を示すフローチャート図である。図１８に示すステップＳ４０２〜Ｓ４０６の処理は、図１２を参照して説明したステップＳ３０２〜Ｓ３０６の処理と同様であるため、説明を省略する。

続いて、ステップＳ４０８において、図１４を参照して説明した初期状態の情報が記憶部４０に記憶される。なお、ステップＳ４０８において患部（観察対象）は撮像画像におけるミラー部に含まれており、初期状態を記憶するトリガは、例えばユーザの入力であってもよい。

続いて、撮像画像がインタフェース部３０を介して入力される（Ｓ４１０）。続いて、ナビゲーション情報を出力させるモードであるか否かが判定される（Ｓ４１２）。ステップＳ４１２の判定は、予め設定される医療用観察システム５３００のモード設定に基づいて行われてもよいし、ユーザの入力に基づいて行われてもよい。ナビゲーション情報を出力させるモードではない場合（Ｓ４１２においてＮＯ）、処理はステップＳ４１０に戻る。

ナビゲーション情報を出力させるモードであると判定された場合（Ｓ４１２においてＹＥＳ）、現時点の顕微鏡部５３０３に係るカメラパラメータ（位置、及び姿勢）が取得される（Ｓ４１４）。なお、ステップＳ４１４における顕微鏡部５３０３に係るカメラパラメータは、ステップＳ４０８において初期状態として記憶された顕微鏡部５３０３に係るカメラパラメータと異なっていてもよい。

続くステップＳ４１６〜Ｓ４１８の処理は、ステップＳ４０４〜Ｓ４０６の処理と同様であるため説明を省略する。続いて、ステップＳ４１６において検出されたミラー部の位置が、図１４、図１５を参照して説明した原点Ｏに対する相対座標に変換される（Ｓ４２０）。

続いて、好適ミラー角度特定部１４８は例えば、図１４〜図１６を参照して説明したように、原点Ｏに対する相対座標におけるミラー部の好適角度（好適ミラー角度）を特定する（Ｓ４２２）。さらに、好適ミラー角度特定部１４８はステップＳ４２２で得られた好適角度を、画面内の角度（撮像画像における角度）に変換する（Ｓ４２４）。続いて、ステップＳ４２４において得られたミラー部の好適角度と、ステップＳ４１８において特定されたミラー部の角度の差が算出される（Ｓ４２６）。

続いて、ステップＳ４２６で得られる角度の差に基づいて、画像処理部１４２が、好適角度に誘導するナビゲーション情報を撮像画像に重畳合成する画像処理を行う（Ｓ４２８）。ステップＳ４２８において重畳合成されて得られた出力画像が、表示装置５３１９へ出力される（Ｓ４３０）。続いて、処理はステップＳ４１０に戻る。

（効果）
以上、本開示の第４の実施形態について説明した。本開示の第４の実施形態によれば、何らかの理由で顕微鏡部５３０３の位置や姿勢が変更され、患部を観察できなくなってしまった場合に、現状の顕微鏡部５３０３の位置や姿勢をさらに変更することなく、患部を観察するためのナビゲーション情報を表示させることができる。また、ユーザは、当該ナビゲーション情報に従ってミラー部の角度を変更することで、患部を観察することが可能となる。

なお、本実施形態に係る制御装置１−４はアーム制御処理を行わなくてもよいため、図１に示した顕微鏡装置５３０１がアーム部５３０９の駆動機構を備えていない場合であっても本実施形態は適用可能である。

＜２−５．第５の実施形態＞
上述した第４の実施形態では、現状のカメラ（顕微鏡部５３０３）の位置、及び姿勢を変更せずに患部（観察対象）を観察可能にするためにユーザを誘導するナビゲーション情報をユーザに提供する例を説明した。

続いて、第５の実施形態として、患部とミラー部との両方を基準として、現在のミラー部の位置と姿勢に応じて、患部が観察可能なカメラの位置や姿勢となるようにアーム制御処理を行う例を説明する。

（構成例）
まず、本開示の第５の実施形態の構成例について、図１９を参照して説明する。図１９は、本開示の第５の実施形態に係る制御装置１−５の機能構成の一例を示したブロック図である。図１９に示す制御装置１−５は、図１を参照して説明した制御装置５３１７に相当する。図１９に示すように、制御装置１−５は、制御部１５、検出部２０、インタフェース部３０、及び記憶部４０を備える。図１９に示す構成のうち、検出部２０、インタフェース部３０、及び記憶部４０の構成は、それぞれ図３を参照して説明した検出部２０、インタフェース部３０、及び記憶部４０の構成と実質的に同一であるため、ここでの説明は省略する。

制御部１５は、制御装置１−５の各構成を制御する。また、本実施形態に係る制御部１５は、図１９に示すようにアーム制御部１５４、ミラー角度特定部１５６、及び好適カメラパラメータ特定部１５８としても機能する。

アーム制御部１５４は、図１、図２を参照して説明したアーム部５３０９を制御するアーム制御処理を行う。本実施形態に係るアーム制御部１５４は、後述する好適カメラパラメータ特定部１５８により特定される、顕微鏡部５３０３に係るカメラパラメータ（位置、及び姿勢）に基づき、例えば当該カメラパラメータを実現するように、アーム制御処理を行う。

ミラー角度特定部１５６は、図１１を参照して説明したミラー角度特定部１３６と同様に、検出部２０により検出されたミラー部の角度を特定する。

好適カメラパラメータ特定部１５８は、ミラー角度特定部１５６により特定されたミラー部の角度に基づいて、撮像画像におけるミラー部に観察対象が含まれるような、顕微鏡部５３０３に係るカメラパラメータ（以下、好適カメラパラメータと呼ぶ）を特定する。

ここで、図１６を参照して、好適カメラパラメータ特定部１５８による好適カメラパラメータの特定について説明する。

図１６を参照して導出した式（４）より、好適カメラパラメータに含まれるカメラの向き（姿勢）n_Cは、次式（５）のように算出される。

図１６を参照して導出した式（３）、及び上式（５）より、好適カメラパラメータに含まれるカメラの位置t_Cは、次式のように算出される。

以上説明したように、好適カメラパラメータ特定部１５８は、顕微鏡部５３０３に係る好適カメラパラメータ（位置、及び姿勢）を特定し得る。

（動作例）
以上、本実施形態に係る制御装置１−５の構成例について説明した。続いて、本実施形態に係る動作例について図２０を参照して説明する。図２０は、本実施形態に係る制御装置１−５の動作例を示すフローチャート図である。なお、図２０に示す例では、アーム制御処理に係る動作のみ示してあり、表示装置５３１９への画像出力は、本動作とは独立に行われ得る。例えば、顕微鏡部５３０３の撮像画像がそのまま出力画像として、表示装置５３１９へ出力されてもよい。

図２０に示すステップＳ５０２〜Ｓ５１０の処理は、図１８を参照して説明したステップＳ４０２〜Ｓ４１０の処理と同様であるため、説明を省略する。

続いて、カメラが患部（観察対象）を追跡するモードであるか否かが判定される（Ｓ５１２）。ステップＳ５１２の判定は、予め設定される医療用観察システム５３００のモード設定に基づいて行われてもよいし、ユーザの入力に基づいて行われてもよい。カメラが患部を追跡するモードではない場合（Ｓ５１２においてＮＯ）、処理はステップＳ５１０に戻る。

カメラが患部を追跡するモードであると判定された場合（Ｓ５１２においてＹＥＳ）、処理はステップＳ５１４に進む。続くステップＳ５１４〜Ｓ５２０の処理は、図１８を参照して説明したステップＳ４１４〜Ｓ４２０の処理と同様であるため説明を省略する。

好適カメラパラメータ特定部１５８が、好適カメラパラメータを特定する（Ｓ５２２）。さらに、アーム制御部１５４が、好適カメラパラメータに基づいて、アーム制御処理を行う（Ｓ５２４）。続いて、処理はステップＳ５１０に戻る。

（効果）
以上、本開示の第５の実施形態について説明した。本開示の第５の実施形態によれば、ユーザがミラー部の位置、角度を変更させた場合であっても、患部を観察可能なように自動的に顕微鏡部５３０３の位置、及び姿勢が制御される。したがって、ユーザは、顕微鏡部５３０３の位置や姿勢を意識することなく、より直感的にミラー部の位置、角度を変更させながら患部の観察を行うことが可能となる。

＜＜３．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。最後に、図２１を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２１は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２１に示す情報処理装置９００は、例えば、制御装置１−１、制御装置１−２、制御装置１−３、制御装置１−４、制御装置１−５を実現し得る。本実施形態に係る制御装置１−１、制御装置１−２、制御装置１−３、制御装置１−４、制御装置１−５による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図２１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１１、制御部１２、制御部１３、制御部１４、及び制御部１５を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部４０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜４．むすび＞＞
以上説明したように、本開示の実施形態によれば、より自由に患部（観察対象）を観察することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、制御装置が備える検出部がデンタルミラーのミラー部を検出する例を説明したが、本技術は係る例に限定されず、ミラー部の検出は制御装置以外の装置で行われてもよい。また、係る場合、例えば、インタフェース部が取得部として機能し、デンタルミラー検出情報を他の装置から受信して取得してもよい。

また、制御装置が備える制御部は、顕微鏡部５３０３の光学倍率（焦点距離）をさらに制御してもよい。例えば、上述した第２の実施形態において、顕微鏡部５３０３の撮像範囲が広くなるように、アーム制御処理を行う例を説明したが、制御部は、当該アーム制御処理に代えて、または加えて、上記光学倍率を制御することで、撮像範囲を広くしてもよい。

また、制御装置が備える制御部は、ユーザへの警告を通知する警告情報を重畳合成する画像処理を行ってもよい。例えば、上述した第２の実施形態において、切出し領域、またはミラー部が撮像範囲の外に出そうであると判定された場合に、切出し領域、またはミラー部が撮像範囲の外に出そうであるという警告を通知する警告情報を撮像画像に重畳合成してもよい。係る構成により、ユーザは切出し領域、またはミラー部が撮像範囲の外に出ないように、ミラー部の位置や角度を調整することが可能となる。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、
前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、
を備える制御装置。
（２）
前記制御部は、少なくとも前記画像処理を行い、
前記画像処理は、前記デンタルミラー検出情報に基づいて特定される切出し領域を切出す処理を含む、前記（１）に記載の制御装置。
（３）
前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の領域を示す情報を含み、
前記切出し領域は、前記ミラー部の領域を含む、前記（２）に記載の制御装置。
（４）
前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の位置を示す情報を含み、
前記制御部は、前記ミラー部の位置に基づいて前記アーム制御処理を行う、前記（１）〜（３）のいずれか一項に記載の制御装置。
（５）
前記制御部は、前記ミラー部の位置が前記撮像画像における所定の位置となるように、前記アーム制御処理を行う、前記（４）に記載の制御装置。
（６）
前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
前記制御部は、前記デンタルミラーの領域のうち少なくとも一部が前記撮像画像の外周領域と重なる場合に、前記アーム制御処理を行う、前記（５）に記載の制御装置。
（７）
前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
前記制御部は、前記デンタルミラーの領域を含み、前記撮像画像に占める前記デンタルミラーの領域の割合がより大きくなるように、前記アーム制御処理を行う、前記（４）に記載の制御装置。
（８）
前記デンタルミラー検出情報は、デンタルミラーのミラー部の検出に成功したか否かを示す情報をさらに含み、
前記制御部は、前記デンタルミラー検出情報に、前記ミラー部の検出に失敗したことを示す情報が含まれていた場合に、前記撮像装置の撮像範囲が広くなるように、前記アーム制御処理を行う、前記（７）に記載の制御装置。
（９）
前記制御部は、前記撮像画像から検出されたデンタルミラーのミラー部の角度に基づいて、前記アーム制御処理を行う、前記（１）に記載の制御装置。
（１０）
前記制御部は、第一の時刻における前記ミラー部の角度と、第二の時刻における前記ミラー部の角度との差に応じて、前記アーム制御処理を行う、前記（９）に記載の制御装置。
（１１）
前記制御部は、前記ミラー部の角度に基づいて、前記撮像画像における前記ミラー部に観察対象が含まれるような、前記撮像装置に係るカメラパラメータを特定し、前記カメラパラメータに基づいて、前記アーム制御処理を行う、前記（９）に記載の制御装置。
（１２）
前記制御部は、前記撮像画像におけるデンタルミラーのミラー部に観察対象が含まれるような、前記ミラー部の好適角度を特定し、前記好適角度に誘導するナビゲーション情報を、前記撮像画像に合成する前記画像処理を行う、前記（１）に記載の制御装置。
（１３）
撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得することと、
プロセッサが、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行うことと、
を含む、制御方法。
（１４）
撮像画像を取得する撮像装置と、
前記撮像画像からのデンタルミラー検出情報を取得する取得部、及び
前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部、
を備える制御装置と、
を含む、医療用観察システム。

１ 制御装置
５ デンタルミラー
１１、１２、１３、１４、１５ 制御部
２０ 検出部
３０ インタフェース部
４０ 記憶部
５２ ミラー部
１１２ 画像処理部
１２４ アーム制御部
１３６ ミラー角度特定部
１４８ 好適ミラー角度特定部
１５８ 好適カメラパラメータ特定部

Claims (14)

1. 撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得する取得部と、
   前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部と、
   を備える制御装置。
2. 前記制御部は、少なくとも前記画像処理を行い、
   前記画像処理は、前記デンタルミラー検出情報に基づいて特定される切出し領域を切出す処理を含む、請求項１に記載の制御装置。
3. 前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の領域を示す情報を含み、
   前記切出し領域は、前記ミラー部の領域を含む、請求項２に記載の制御装置。
4. 前記デンタルミラー検出情報は、検出されたデンタルミラーのミラー部の位置を示す情報を含み、
   前記制御部は、前記ミラー部の位置に基づいて前記アーム制御処理を行う、請求項１に記載の制御装置。
5. 前記制御部は、前記ミラー部の位置が前記撮像画像における所定の位置となるように、前記アーム制御処理を行う、請求項４に記載の制御装置。
6. 前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
   前記制御部は、前記デンタルミラーの領域のうち少なくとも一部が前記撮像画像の外周領域と重なる場合に、前記アーム制御処理を行う、請求項５に記載の制御装置。
7. 前記デンタルミラー検出情報は、前記ミラー部の領域を示す情報をさらに含み、
   前記制御部は、前記デンタルミラーの領域を含み、前記撮像画像に占める前記デンタルミラーの領域の割合がより大きくなるように、前記アーム制御処理を行う、請求項４に記載の制御装置。
8. 前記デンタルミラー検出情報は、デンタルミラーのミラー部の検出に成功したか否かを示す情報をさらに含み、
   前記制御部は、前記デンタルミラー検出情報に、前記ミラー部の検出に失敗したことを示す情報が含まれていた場合に、前記撮像装置の撮像範囲が広くなるように、前記アーム制御処理を行う、請求項７に記載の制御装置。
9. 前記制御部は、前記撮像画像から検出されたデンタルミラーのミラー部の角度に基づいて、前記アーム制御処理を行う、請求項１に記載の制御装置。
10. 前記制御部は、第一の時刻における前記ミラー部の角度と、第二の時刻における前記ミラー部の角度との差に応じて、前記アーム制御処理を行う、請求項９に記載の制御装置。
11. 前記制御部は、前記ミラー部の角度に基づいて、前記撮像画像における前記ミラー部に観察対象が含まれるような、前記撮像装置に係るカメラパラメータを特定し、前記カメラパラメータに基づいて、前記アーム制御処理を行う、請求項９に記載の制御装置。
12. 前記制御部は、前記撮像画像におけるデンタルミラーのミラー部に観察対象が含まれるような、前記ミラー部の好適角度を特定し、前記好適角度に誘導するナビゲーション情報を、前記撮像画像に合成する前記画像処理を行う、請求項１に記載の制御装置。
13. 撮像装置により取得される撮像画像からのデンタルミラー検出情報を取得することと、
    プロセッサが、前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行うことと、
    を含む、制御方法。
14. 撮像画像を取得する撮像装置と、
    前記撮像画像からのデンタルミラー検出情報を取得する取得部、及び
    前記デンタルミラー検出情報に基づいて、前記撮像画像に対する画像処理、前記撮像装置を支持するアーム部を制御するアーム制御処理、のうち少なくともいずれか一方を行う制御部、
    を備える制御装置と、
    を含む、医療用観察システム。
    

Images