JP2021137130A

JP2021137130A - 医療用画像処理装置および医療用観察システム

Info

Publication number: JP2021137130A
Application number: JP2020035368A
Authority: JP
Inventors: 一博山口; Kazuhiro Yamaguchi; 公後田; Akira Nochida
Original assignee: Sony Olympus Medical Solutions Inc
Current assignee: Sony Olympus Medical Solutions Inc
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2021-09-16
Also published as: US20210267434A1; US11864732B2

Abstract

【課題】視認性のよい画像を生成することができる医療用画像処理装置および医療用観察システムを提供する。【解決手段】被観察体を撮像した画像信号を取得する取得部と、前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、を備え、前記画像処理部は、前記画像を撮像する際の被写界深度に応じて画面内における前記第２領域を設定する。【選択図】図２

Description

本開示は、医療用画像処理装置および医療用観察システムに関する。

被観察体である患者の脳や心臓等における微小部位の手術を行う際にその微小部位を拡大して撮像し、撮像した画像をモニタで表示する医療用観察システムが知られている（例えば、特許文献１を参照）。この医療用観察システムでは、撮像部がズーム機能やフォーカス機能を有している。

特開２０１６−４２９８２号公報

上述した医療用観察システムにおいて、例えばズーム倍率を上げて被写界深度を浅くした状態で撮像すると、画面全体にピントが合わず、画面の一部がぼけた状態となりやすい。このような撮像画像を医師等のユーザがモニタを介して観察すると、ぼけた領域も視認することになる。このような状況の下、より視認性のよい画像を生成することができる技術が求められていた。

本開示は、上記に鑑みてなされたものであって、視認性のよい画像を生成することができる医療用画像処理装置および医療用観察システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、被観察体を撮像した画像信号を取得する取得部と、前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、を備え、前記画像処理部は、前記画像を撮像する際の被写界深度に応じて画面内における前記第２領域を設定する。

本開示に係る医療用観察システムは、被観察体を撮像する撮像装置と、前記撮像装置が撮像した画像信号を取得する取得部と、前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、を有し、前記画像処理部は、前記画像を撮像する際の被写界深度に応じて画面内における前記第２領域を設定する医療用画像処理装置と、前記医療用画像処理装置が生成した表示用の画像信号を表示する表示装置と、を備える。

本開示によれば、視認性のよい画像を生成することができる。

図１は、本開示の一実施の形態に係る医療用観察システムを模式的に示す図である。図２は、医療用観察装置の機能構成を示すブロック図である。図３は、画像処理部が生成して表示装置に表示させる画像の表示例（その１）を示す図である。図４は、画像処理部が生成して表示装置に表示させる画像の表示例（その２）を示す図である。図５は、画像処理部が生成して表示装置に表示させる画像の表示例（その３）を示す図である。

以下、添付図面を参照して、本開示を実施するための形態（以下、「実施の形態」という）を説明する。

図１は、本開示の一実施の形態に係る医療用観察システムを模式的に示す図である。同図に示す医療用観察システム１は、医療用観察装置２と、表示装置３とを備える。

医療用観察装置２は、顕微鏡装置４と、制御装置５とを備える。顕微鏡装置４は、被観察体を撮像して画像信号を取得する撮像装置としての機能を有する。制御装置５は、顕微鏡装置４が撮像した画像信号に対して画像処理を行う医療用画像処理装置としての機能を有する。本実施の形態に係る医療用観察装置２は、手術用顕微鏡である。

表示装置３は、制御装置５が生成した表示用の画像信号を制御装置５から受信し、該画像信号に対応する画像を表示する。表示装置３は、表示する映像のエリアごとに発光量を制御する発光量制御部３１を有する。表示装置３は、液晶または有機ＥＬ（Electro-Luminescense）からなる表示パネルを用いて構成される。発光量制御部３１は、表示パネルが液晶の場合、表示パネルの裏側に並べた複数のＬＥＤ（Light Emitting Diode）からなるバックライトの発光量を制御する。また、発光量制御部３１は、表示パネルが有機ＥＬからなる場合、自発光素子の発光量を制御する。

顕微鏡装置４の外観構成を説明する。顕微鏡装置４は、被観察体の微細構造を拡大して撮像する顕微鏡部６と、顕微鏡部６を支持する支持部７と、支持部７の基端を保持するとともに制御装置５を内蔵するベース部８とを有する。

顕微鏡部６は、円柱状をなす筒状部を有する。本体部の下端部の開口面にはカバーガラスが設けられている（図示せず）。筒状部は、ユーザによって把持可能であり、ユーザが顕微鏡部６の撮像視野を変更する際に把持しながら移動させることが可能な大きさを有している。なお、筒状部の形状は円筒状に限られるわけではなく、多角筒状をなしていてもよい。

支持部７は、アーム部に複数のリンクを有し、隣接するリンク同士が関節部を介して回動可能に連結されている。支持部７の内部に形成された中空部には、顕微鏡部６と制御装置５との間で各種信号を伝送する伝送ケーブルおよび制御装置５が発生する照明光を顕微鏡部６に伝送するライトガイドが通っている。

図２は、医療用観察装置２の機能構成を示すブロック図である。まず、顕微鏡装置４の機能構成を説明する。顕微鏡装置４は、レンズユニット４１と、レンズ駆動部４２と、絞り４３と、絞り駆動部４４と、検出部４５と、撮像部４６と、アーム駆動部４７と、入力部４８と、通信部４９と、制御部４ａとを備える。

レンズユニット４１は、光軸に沿って移動可能な複数のレンズを用いて構成され、集光した被写体像を撮像部４６が有する撮像素子の撮像面に結像する。レンズユニット４１は、焦点を調整するフォーカスレンズ４１１と、画角を変更するズームレンズ４１２とを有する。フォーカスレンズ４１１およびズームレンズ４１２は、それぞれ１または複数のレンズを用いて構成される。

レンズ駆動部４２は、制御部４ａの制御のもと、ズームレンズを動作させるアクチュエータと、アクチュエータを駆動するドライバとを有する。

絞り４３は、レンズユニット４１と撮像部４６との間に設けられ、制御部４ａによる制御の下、レンズユニット４１から撮像部４６に向かう被写体像の光量を調整する。

絞り駆動部４４は、制御部４ａの制御のもと、絞り４３を動作させて絞り値（Ｆ値ともいう）を調整する。

検出部４５は、フォーカスレンズ４１１およびズームレンズ４１２の位置をそれぞれ検出する２つ位置センサと、絞り４３の絞り値を検出するエンコーダ等を有する。検出部４５は、検出したズームレンズ４１２の位置や絞り４３の絞り値を制御部４ａに出力する。

撮像部４６は、レンズユニット４１が集光した被写体像を結像して撮像画像（アナログ信号）を生成する撮像素子と、撮像素子からの画像信号（アナログ信号）に対して、ノイズ除去やＡ／Ｄ変換等の信号処理を行う信号処理部とを有する。撮像素子は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを用いて構成される。なお、撮像部４６は２つの撮像素子を有していてもよい。この場合、撮像部４６は３次元画像（３Ｄ画像）を生成可能である。

アーム駆動部４７は、制御部４ａの制御のもと、支持部７が有する複数のアームをそれぞれ動作させる。具体的には、アーム駆動部４７は、アーム間の関節部に設けられたアクチュエータと、アクチュエータを駆動するドライバとを有する。

入力部４８は、レンズユニット４１の操作信号や支持部７のアームの操作信号等の入力を受け付ける。入力部４８は、顕微鏡部６の筒状部の側面のうち、ユーザが顕微鏡部６を把持した状態で操作可能な位置に設けられた複数のスイッチやボタン等を有する。

通信部４９は、制御装置５との間で通信を行うインターフェースである。通信部４９は、撮像部４６が生成した画像信号（デジタル信号）を制御装置５に対して送信するとともに、制御装置５からの制御信号を受信する。

制御部４ａは、制御装置５の制御部５５と連携して顕微鏡装置４の動作を制御する。制御部４ａは、入力部４８は入力を受け付けた操作指示信号や、制御装置５の制御部５５から送られてくる操作指示信号に基づいて、顕微鏡装置４を動作させる。本実施の形態では、制御装置５の制御部５５からは、顕微鏡装置４の撮像視野を移動させるためにアームを動作させる信号を受信する。

制御部４ａは、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、およびＡＳＩＣ（Application Specific Integrated Circuit）等の少なくともいずれか一つのプロセッサを用いて構成される。

つぎに、制御装置５の機能構成を説明する。制御装置５は、通信部５１と、画像処理部５２と、入力部５３と、光源部５４と、制御部５５と、記憶部５６と、を備える。制御装置５は、通常の映像信号を生成して出力する第１モードと、映像を表示する第１領域と、第１領域よりも平均輝度が小さい第２領域とを有する映像信号を生成して出力する第２モードとを設定可能である。

通信部５１は、顕微鏡装置４が撮像し、伝送ケーブルを経由して伝送してくる画像信号を取得する。画像信号には、撮像時のゲイン調整値、フォーカスレンズ位置、ズームレンズ位置、シャッター速度、絞り値等の撮像に関する情報が含まれる。

画像処理部５２は、領域設定部５２１と、マスク生成部５２２とを有する。
領域設定部５２１は、制御装置５が第２モードに設定されている場合、被写界深度に応じて、通信部５１が取得した画像信号に対して画像を表示する第１領域と、第１領域よりも平均輝度が小さい第２領域とを設定する。領域設定部５２１は、記憶部５６を参照して、検出部４５の検出結果に応じたズーム倍率および／または絞り値に対応する大きさを有する第２領域を設定する。具体的には、領域設定部５２１は、被写界深度が浅いほど第２領域の面積を大きくする。被写界深度は、ズーム倍率を大きくすれば浅くなり、絞り値を小さくすれば浅くなる。ズーム倍率は検出部４５が検出するズームレンズ４１２とフォーカスレンズ４１１の位置に基づいて定まる。

マスク生成部５２２は、制御装置５が第２モードに設定されている場合、領域設定部５２１が設定した第２領域に対応するマスクを生成し、生成したマスクを画像信号に重畳する。

画像処理部５２は、他にも通信部５１が取得した画像信号に対して各種信号処理を施すことによって表示用の画像信号を生成し、生成した画像信号を表示装置３に出力する。具体的な画像処理として、画像信号の明るさレベルの検出処理、ゲイン調整、補間処理、色補正処理、色強調処理、および輪郭強調処理等の公知の画像処理を挙げることができる。画像処理部５２は、ＣＰＵ、ＦＰＧＡ、およびＡＳＩＣ等の少なくともいずれか一つのプロセッサを用いて構成される。

図３および図４は、画像処理部５２が生成して表示装置３に表示させる画像の例を示す図である。図３および図４は、患者の手術中の部位を、ズーム倍率および視野を変えて見た状況を模式的に示している。図３に示す画像１０１は、画面の中央部に配置される第１領域１１１と、その左右両側に配置される第２領域１１２とを有する。また、図４に示す画像１０２は、画面の中央部に配置される第１領域１２１と、その左右両側に配置される第２領域１２１とを有する。図３に示す画像１０１では、手術器具によって組織の一部を取り出している部分が第１領域１１１の右上方部に映っている一方、図４に示す画像１０２では、同じ部分が拡大されて第１領域１２１の中央部に映っている。この同じ部分を比較すれば明らかなように、画像１０２の方が、ズーム倍率が大きい画像であって被写界深度は浅い。図３に示す第２領域１１２と、図４に示す第２領域１２２とを比較すると、被写界深度が相対的に浅い画像１０２の第２領域１２２の面積が、画像１０１の第２領域１１２の面積より小さい。このようにして、被写界深度が浅いほど第２領域の面積を大きくすることにより、被写界深度が浅いほど周辺に生じるおそれがあるぼけの部分にマスクを重畳して、ユーザが見たい患部等の領域をより鮮明に表示させることができる。

なお、第１領域と第２領域の境界の形状は円形以外の形状でもよい。また、第２領域の色は黒以外の色でもよいし、単色でなくてもよい。

入力部５３は、各種情報の入力を受け付ける。入力部５３は、キーボード、マウス、タッチパネル、フットスイッチ等のユーザインタフェースを用いて構成される。なお、入力部５３に顕微鏡装置４の入力部４８の少なくとも一部の機能を兼備させてもよい。

光源部５４は、ライトガイドを介して顕微鏡装置４に供給する照明光を発生する。光源部５４は、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体発光素子、レーザ光源、キセノンランプまたはハロゲンランプ等を用いて構成される。

制御部５５は、明るさ制御部５５１と、表示制御部５５２とを有する。
明るさ制御部５５１は、顕微鏡装置４が撮像する画像信号の明るさレベルを所定の明るさレベルにするために、撮像部４６のゲイン調整、シャッター速度、画像処理部５２が行うゲイン調整、および光源部５４が発生する照明光の光量等を制御する。

表示制御部５５２は、表示装置３の表示を制御する。表示制御部５５２は、通常の表示制御に加えて、表示装置３のバックライトの発光量を制御する信号を表示装置３へ出力する。なお、表示装置３の表示パネルが有機ＥＬからなる場合、表示制御部５５２は自発光素子の発光量を制御する信号を表示装置３へ出力する。

制御部５５は、制御装置５の動作を制御するとともに、顕微鏡装置４の制御部４ａと連携して医療用観察装置２の動作を統括して制御する。制御装置５が第２モードに設定されている場合、制御部５５は、自動フォーカス（ＡＦ）や自動露出（ＡＥ）の対象から第２領域を除外してＡＦやＡＥを行う。これにより、画面周縁部の影響によってＡＦやＡＥが誤動作するのを防止することができる。制御部５５は、ＣＰＵ、ＦＰＧＡ、およびＡＳＩＣ等の少なくともいずれか一つのプロセッサを用いて構成される。なお、画像処理部５２と制御部５５を、共通のプロセッサを用いて構成してもよい。

記憶部５６は、ズーム倍率や絞り値と表示装置３に表示させる画像に重畳する第２領域の面積とを関連付けて記憶する。ズーム倍率や絞り値と第２領域の面積との関係は、図３および図４を参照して説明したように、被写界深度が浅いほど第２領域の面積が大きい。被写界深度は、ズーム倍率が大きいほど浅く、絞り値が小さいほど浅い。したがって、記憶部５６は、ズーム倍率が大きいほど第２領域の面積が大きく、かつ絞り値が小さいほど第２領域の面積が大きくなるような関係を記憶する。なお、記憶部５６が記憶する関係は、ズーム倍率および絞り値に応じてマスクの大きさが段階的に変わるような関係であってもよい。

記憶部５６は、ズームレンズ４１２の位置に制御装置５が動作するための各種プログラムを記憶するとともに、制御装置５が演算処理中のデータを一時的に記憶する。記憶部５６は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等を用いて構成される。

以上の構成を有する医療用観察システム１を用いて医師等のユーザが患者の頭部等の手術を行う場合、ユーザは表示装置３が表示する画像を目視しながら手術を行う。表示装置３が３Ｄ画像を表示する場合、ユーザは３Ｄ眼鏡を装着して表示装置３を目視する。

以上説明した本開示の一実施の形態によれば、被観察体の微小部位を撮像した画像信号に画像を表示する第１領域と、第１領域よりも平均輝度が小さい第２領域とを設定する際、画像を撮像する際の被写界深度が浅いほど画面内における第２領域の面積を大きく設定するため、画面上でのコントラストが得られ、視認性のよい画像を生成することができる。

また、本実施の形態によれば、ズーム倍率が大きいほど、また絞り値が小さいほど第２領域の面積を大きくするため、ズーム倍率や絞り値によらずに画面のぼけを少なくすることができ、ピントが合っている領域をユーザに注視させることができる。

また、本実施の形態によれば、マスク領域を設けることにより、従来からある光学式の手術用顕微鏡に慣れているユーザにとっては違和感が少ない画像を提供することができる。

ここまで、本開示を実施するための形態を説明してきたが、本開示は、上述した一実施の形態によってのみ限定されるべきものではない。例えば、表示装置３の発光量制御部３１が、第２領域の発光量を低減し、顕微鏡装置４が撮像した画像を映している領域の発光量を増加させる制御を行ってもよい。これにより、視認性を向上させることができる。

また、表示制御部５５２が、第２領域に相当する領域の発光量を低減し、顕微鏡装置４が撮像した画像を映している領域の発光量を増加させるよう、表示装置３の発光量制御部３１に制御信号を送信してもよい。図５は、この場合の表示装置３における表示例を模式的に示す図である。同図に示す画像１０３は、第２領域１３２がマスクされておらず、第２領域１３２の平均発光量が、第１領域１３１の平均発光量よりも小さい。この場合には、マスクを重畳することなく発光量の制御のみを行うことによって、マスクを重畳するのと同様の効果を得ることができる。

また、画像処理部５２が、第２領域の平均発光量が第１領域の平均発光量より小さくなるような画像信号を生成して表示装置３に送信してもよい。

また、医療用観察システム１に関する各種情報を表示装置３に表示させるＯＳＤ（On-Screen Display）機能を具備させ、その情報を第２領域に表示させてもよい。これにより、第１領域において各種情報を映像に重ねて表示しなくて済む。さらに、第２領域において各種情報を第１領域よりも暗く表示させれば、第１領域の視認性を妨げることがない。

また、表示装置３における画像の表示態様は、第１領域の中心が画面の中心から偏心し、第２領域が左右非対称となるような表示態様でもよい。

また、本開示に係る医療用観察装置は、内視鏡や外視鏡でもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
被観察体の微小部位を撮像した画像信号を取得する取得部と、
前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、
を備え、
前記画像処理部は、
前記画像を撮像する際の被写界深度に応じて画面内における前記第２領域を設定する医療用画像処理装置。
（２）
前記画像処理部は、
前記画像を撮像する際の被写界深度が浅いほど画面内における前記第２領域の面積を大きく設定する前記（１）に記載の医療用画像処理装置。
（３）
前記画像処理部は、
前記画像を撮像する際のズーム倍率が大きいほど前記第２領域の面積を大きく設定する前記（１）または（２）に記載の医療用画像処理装置。
（４）
前記画像処理部は、
前記画像を撮像する際の絞り値が小さいほど前記第２領域の面積を大きく設定する前記（１）〜（３）のいずれか一項に記載の医療用画像処理装置。
（５）
前記画像処理部は、
前記第２領域に対応するマスクを生成して前記画像信号に重畳する前記（１）〜（４）のいずれか一項に記載の医療用画像処理装置。
（６）
前記第２領域の平均発光量を前記第１領域の平均発光量より小さくする制御信号を表示装置に出力する制御部をさらに備える前記（１）〜（５）のいずれか一項に記載の医療用画像処理装置。
（７）
前記画像処理部は、
前記画像信号に応じて領域ごとの発光量を制御する表示装置に、前記第２領域の平均発光量が前記第１領域の平均発光量より小さくなるよう表示させる前記画像信号を生成する前記（１）に記載の医療用画像処理装置。
（８）
前記画像処理部は、
前記第２領域に前記画像信号を生成する撮像装置および当該医療用画像処理装置に関する情報を表示する表示領域を設定する前記（５）または（６）に記載の医療用画像処理装置。
（９）
前記第２領域を除外して自動フォーカスおよび自動露出を行う制御部をさらに備える前記（１）〜（８）のいずれか一項に記載の医療用画像処理装置。
（１０）
被観察体の微小部位を撮像する撮像装置と、
前記撮像装置が撮像した画像信号を取得する取得部と、前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、を有し、前記画像処理部は、前記画像を撮像する際の被写界深度が浅いほど画面内における前記第２領域の面積を大きく設定する医療用画像処理装置と、
前記医療用画像処理装置が生成した表示用の画像信号を表示する表示装置と、
を備える医療用観察システム。

１医療用観察システム
２医療用観察装置
３表示装置
４顕微鏡装置
５制御装置
６顕微鏡部
７支持部
８ベース部
３１発光量制御部
４１レンズユニット
４２レンズ駆動部
４３絞り
４４絞り駆動部
４５検出部
４６撮像部
４７アーム駆動部
４８、５３入力部
４９、５１通信部
４ａ、５５制御部
５２画像処理部
５４光源部
５６記憶部
１０１、１０２、１０３画像
１１１、１２１、１３１第１領域
１２１、１２２、１３２第２領域
４１１フォーカスレンズ
４１２ズームレンズ
５２１領域設定部
５２２マスク生成部
５５１明るさ制御部
５５２表示制御部

Claims

被観察体を撮像した画像信号を取得する取得部と、
前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、
を備え、
前記画像処理部は、
前記画像を撮像する際の被写界深度に応じて画面内における前記第２領域を設定する医療用画像処理装置。
前記画像処理部は、
前記画像を撮像する際の被写界深度が浅いほど画面内における前記第２領域の面積を大きく設定する請求項１に記載の医療用画像処理装置。
前記画像処理部は、
前記画像を撮像する際のズーム倍率が大きいほど前記第２領域の面積を大きく設定する請求項１に記載の医療用画像処理装置。
前記画像処理部は、
前記画像を撮像する際の絞り値が小さいほど前記第２領域の面積を大きく設定する請求項１に記載の医療用画像処理装置。
前記画像処理部は、
前記第２領域に対応するマスクを生成して前記画像信号に重畳する請求項１に記載の医療用画像処理装置。
前記第２領域の平均発光量を前記第１領域の平均発光量より小さくする制御信号を表示装置に出力する制御部をさらに備える請求項１に記載の医療用画像処理装置。
前記画像処理部は、
前記画像信号に応じて領域ごとの発光量を制御する表示装置に、前記第２領域の平均発光量が前記第１領域の平均発光量より小さくなるよう表示させる前記画像信号を生成する請求項１に記載の医療用画像処理装置。
前記画像処理部は、
前記第２領域に前記画像信号を生成する撮像装置および当該医療用画像処理装置に関する情報を表示する表示領域を設定する請求項５に記載の医療用画像処理装置。
前記第２領域を除外して自動フォーカスおよび自動露出を行う制御部をさらに備える
請求項１に記載の医療用画像処理装置。
被観察体を撮像する撮像装置と、
前記撮像装置が撮像した画像信号を取得する取得部と、前記画像信号に画像を表示する第１領域と、前記第１領域よりも平均輝度が小さい第２領域とを設定する画像処理部と、を有し、前記画像処理部は、前記画像を撮像する際の被写界深度に応じて画面内における前記第２領域を設定する医療用画像処理装置と、
前記医療用画像処理装置が生成した表示用の画像信号を表示する表示装置と、
を備える医療用観察システム。