JP2018047035A

JP2018047035A - 医療支援方法および医療支援装置

Info

Publication number: JP2018047035A
Application number: JP2016184602A
Authority: JP
Inventors: 金子　直樹; Naoki Kaneko; 直樹金子
Original assignee: Jichi Medical University
Current assignee: Jichi Medical University
Priority date: 2016-09-21
Filing date: 2016-09-21
Publication date: 2018-03-29
Anticipated expiration: 2036-09-21
Also published as: JP6795744B2

Abstract

【課題】手術前の準備を短時間で行うことができ；手術室、病棟などに持ち運ぶことができ、病変の立体的位置などを手術の際に外科医等が直観的に認識しやすいような現実味のある画像で表示でき、且つ安価な医療支援装置および医療支援方法を提供する。
【解決手段】被験者の医用３次元情報を取得し、前記被検者のテクスチャ３次元情報を取得し、前記被験者の外観特徴部３次元情報を取得し、前記外観特徴部３次元情報に前記医用３次元情報および前記テクスチャ３次元情報をマッピングし、マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含む、医療支援方法。
【選択図】図３

Description

本発明は、医療支援方法および医療支援装置に関する。より詳細に、手術前の準備を短時間で行うことができ；手術室、病棟などに簡単に運び入れて利用することができ、病変の立体的位置などを手術の際に外科医等が直観的に認識しやすいような現実味のある画像で表示でき、且つ安価な医療支援装置および医療支援方法に関する。

外科処置対象部位の３次元位置情報を手術中に計測し、これを手術前に撮影したＣＴやＭＲＩの画像の上に重畳表示することで、病変（例えば、脳腫瘍等）の立体的位置やその拡がり、周囲脳組織との位置関係をとらえやすくし、当該手術を成功へと導くための支援装置、例えば、脳神経外科の手術の支援のために開発されたニューロナビゲータが知られている。

さらに、ニューロナビゲータに類似する医療支援装置または医療支援方法が種々提案されている。
例えば、特許文献１は、外科処置対象部位を含む患者の術野に設けられたＡＲ認識用マーカと、前記術野を前記ＡＲ認識用マーカとともに撮影するカメラと、前記カメラで撮影中の映像を表示するディスプレイと、前記ディスプレイ上に表示される前記カメラが撮影中の映像に、前記外科処置対象部位についての３次元的位置情報を、撮影中の前記ＡＲ認識用マーカの位置及び姿勢に基づいて重畳して表示するＡＲ画像処理装置と、を備える、ことを特徴とする医療支援装置を開示している。

特許文献２は、対象のレンダリング３ＤコンピュータＭＲＩ画像を生成する方法であって、少なくとも１つの第１のタイプの光子検出器及び少なくとも１つの第２のタイプの光子検出器を、少なくとも１つのＭＲＩ装置内の関心体積（ＶＯＩ）からほぼ等距離のところで、同一の又は異なる幾何学的球面上に層状に配置する、又は組み立てるステップと、対象を前記ＶＯＩ内に配置し、前記対象の少なくとも１つのＭＲＩ画像、少なくとも１つの第１の光学画像及び少なくとも１つの第２の光学画像を同時に得るステップと、画像プロセッサによって、前記対象の前記ＭＲＩ画像、前記第１の光学画像及び前記第２の光学画像を重畳することによって、前記対象のレンダリングＭＲＩ画像を生成するステップとを含むことを特徴とする方法を開示している。

特許文献３は、磁場印加部と、所定のパルスシーケンスに基づいて、前記磁場印加部を介して、複数の励起パルスと傾斜磁場パルスを被検者に印加し、受信される前記被検者からのエコー信号の処理を行う制御部と、前記被検者の外観特徴点を検出する検出部とを備え、前記制御部は前記検出部が検出した前記外観特徴点の中で、前記被検者の検査項目に対応する外観特徴点を決定し、決定した前記外観特徴点を基準として前記被検者内部の特徴部位の計測位置・回転量を算出し、算出した前記計測位置・回転量に基づき、計測条件を決定する、ことを特徴とするＭＲＩ装置を開示している。

特許文献４は、手術室の所定の位置に赤外線を射出し、所定の間隔で配置されたマーカ群からの反射光を受光する撮像部を有するモーションキャプチャ装置を少なくとも３カ所に配置し、手術を受ける患者の患部に所定の第１画像を重畳表示する画像表示装置を有し、前記モーションキャプチャ装置で計測された前記マーカ群の座標位置及び回転量に応じて患者の患部と重畳表示画像を変化させる画像表示装置を有する外科手術システムにおいて、前記画像表示装置は、前記患部の画像を撮るカメラ部、及び前記患部の深度を計測するディプスカメラ部、更には前記第１マーカ群を有することを特徴とした外科手術システム用画像表示装置を開示している。

特開２０１４−１３１５５２号公報特開２０１４− ３９８１８号公報特開２０１５−１５９９１６号公報特開２０１６−１５８９１１号公報

ところが、ニューロナビゲーションシステムなどは、非常に高価であり、また、事前準備が煩雑で時間がかかることがあるので救急医療への適用が難しい。ニューロナビゲーションシステムは、手術室でしか利用できず、モニターへの表示は、無機質で、病変の位置関係を直感的瞬時に認識し難い。
本発明の課題は、手術前の準備を短時間で行うことができ；手術室、病棟などに簡単に運び入れて利用することができ、病変の立体的位置などを手術の際に外科医等が直観的に認識しやすいような現実味のある画像で表示でき、且つ安価な医療支援装置および医療支援方法を提供することである。

上記課題を解決すべく鋭意検討した結果、下記の形態を包含する本発明を完成するに至った。

〔１〕被験者の医用３次元情報を取得し、
前記被検者のテクスチャ３次元情報を取得し、
前記被験者の外観特徴部３次元情報を取得し、
前記外観特徴部３次元情報に前記医用３次元情報および前記テクスチャ３次元情報をマッピングし、
マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含む、
医療支援方法。

〔２〕外観特徴部３次元情報が被験者の眼、耳、鼻、口、眉、顎、乳頭、および臍；体表の色調変化、輪郭、隆起および陥凹；ならびに術野で観察される血管、神経、筋、腱、骨表上の縫合線、隆起および陥凹、から選ばれる少なくとも一つの３次元位置データを含むものである、〔１〕に記載の医療支援方法。
〔３〕外観特徴部３次元情報の取得を機械学習アルゴリズムを用いて行う、〔１〕または〔２〕に記載の医療支援方法。
〔４〕被験者の医用３次元情報を取得し、
前記被検者のテクスチャ３次元情報を取得し、
前記被験者の医用３次元情報に前記被験者のテクスチャ３次元情報をマッピングし、
マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含む、
医療支援方法。
〔５〕医用３次元情報がＭＲＩまたはＣＴで測定されたデータを含むものであり、
テクスチャ３次元情報がＣＣＤで測定されたデータを含むものである。〔１〕〜〔４〕のいずれはひとつに記載の医療支援方法。

〔６〕ディスプレイ、
ディスプレイに取り付けられた測量器、
前記測量器で取得した被験者の外観特徴部３次元情報に、被験者の医用３次元情報および被験者のテクスチャ３次元情報を、マッピングするための手段、および
マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させてディスプレイに表示させる手段を有する、
医療支援装置。
〔７〕測量器が測距機能を有するものである、〔６〕に記載の医療支援装置。

本発明の医療支援装置および医療支援方法は、手術前の準備を短時間で行うことができ、手術室、病棟などに簡単に運び入れて利用することができ、病変の立体的位置などを手術の際に外科医等が直観的に認識しやすいような現実味のある画像で表示でき、且つ安価である。本発明の医療支援装置および医療支援方法によって、被験者の病変部の位置と、被験者の外観位置との関係をシースルーにて重ねて表示させることができる。さらに、本発明の医療支援装置および医療支援方法は、搬送性に優れるので、無線通信若しくは有線通信、インターネット等を利用して僻地などの遠隔地における医療を支援することができる。本発明の医療支援装置および医療支援方法は、マーカや高価なモーションキャプチャなどを使用せずに実施できるので準備時間の短縮化を図れる。

被験者頭部のテクスチャ３次元情報の一例を示す図である。被験者頭部の医用３次元情報の一例を示す図である。本発明の医療支援方法を実施したときに表示される像の一例を示す図である。

本発明の医療支援方法は、被験者の医用３次元情報を取得し、前記被検者のテクスチャ３次元情報を取得し、前記被験者の医用３次元情報に前記被験者のテクスチャ３次元情報をマッピングし、マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含むものである。
また、本発明の医療支援方法は、被験者の医用３次元情報を取得し、前記被検者のテクスチャ３次元情報を取得し、前記被験者の外観特徴部３次元情報を取得し、前記外観特徴部３次元情報に前記医用３次元情報および前記テクスチャ３次元情報をマッピングし、マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含むものである。

被験者の医用３次元情報は、例えば、ＭＲＩ（Magnetic Resonanse Imaging；磁気共鳴画像法）、ＣＴ（Computed Tomography：コンピュータ断層診断装置）などの医療診断装置によって取得できる。被験者の医用３次元情報は、特に、ＭＲＩまたはＣＴで測定されたデータが好ましい。該データには、血管（例えば、正常動脈２、異常な静脈の拡張３、動静脈短絡部位４など）、血管瘤、腫瘍、内部臓器などの３次元画像が含まれる。本発明によれば、それら３次元画像を、別々にまたは重ねて表示することができる。

被験者のテクスチャ３次元情報は、例えば、光学式カメラ、３Ｄカメラ、ディプスカメラなどのＣＣＤ（Charge Coupled Device：電荷結合素子）を具えた装置によって、取得することができる。テクスチャの貼り付け方としては、単純にカメラ方向から対象物にテクスチャを投影するだけの方法や、ＵＶ座標などによって対象物へのテクスチャの投影を設定する方法がある。これらのうち、ＵＶ座標などのテクスチャ座標によってモデルへのテクスチャの投影を設定する方法が好ましい。テクスチャ座標は、２次元ベクトル、または３次元ベクトルで示され、ベクトルの成分は多くの場合Ｕ、Ｖ、Ｗで示される。Ｕ、Ｖ，Ｗ座標は、ピクセル毎に指定してもよいが、医用３次元情報またはテクスチャ３次元情報の中での特定点、例えば、皮膚表面の凹凸、テクスチャから得られる情報など、を指定し、指定された特定点で計算し、特定点間のピクセルを線形補間することによって、画像処理速度を高めることができる。マッピングの手法は特に制限されず、平面マッピング、円筒マッピング、球体マッピングなどを採用することができる。

本発明においては、さらに被験者の外観特徴部３次元情報を取得する。外観特徴部としては、例えば、眼、耳、鼻、口、眉、顎、乳頭、若しくは臍、または体表上の輪郭、隆起若しくは陥凹、またはホクロ、シミ、母斑、色素沈着、毛髪、血管による色調変化若しくは隆起などを挙げることができる。さらに、術野で観察される血管、神経、筋、腱、骨表上の縫合線、隆起および陥凹などを挙げることができる。外観特徴部３次元情報には外観特徴部の３次元位置データ、色彩データなどが包含される。これらのうち、被験者の眼、耳、鼻、口、眉、顎、乳頭、および臍、ならびに体表上の輪郭、隆起および陥凹から選ばれる少なくとも一つを含むものであることが好ましい。また、このような外観特徴部を認識させるために、機械学習アルゴリズム、特に深層学習アルゴリズムを用いることができる。

そして、外観特徴部３次元情報に、前記医用３次元情報および前記テクスチャ３次元情報をマッピングする。マッピングの手法は特に制限されない。例えば、外観特徴部の３次元位置データに、医用３次元情報およびテクスチャ３次元情報中の外観特徴部の位置に相当する座標を貼りつける。医用３次元情報およびテクスチャ３次元情報を取得した時の被験者の姿勢における外観特徴部の座標から、手術時の被験者の姿勢における外観特徴部の座標に変換することによって、マッピングされた医用３次元情報およびテクスチャ３次元情報が手術時の被験者の姿勢に一致した状態で表示できる。

人体を開くと筋肉、皮膚などが変形するので、手術前に取得した病変の位置とは異なる位置に病変が移動する。そこで、筋肉、関節、皮膚などの解剖学的人体モデルを利用して、手術前に取得した病変の３次元位置情報から、手術において人体を開いたときに見えるであろう病変の３次元位置関係を、ボクセルなどを使ってシミュレートし、手術時における病変の位置を推定して示すことができる。

マッピングされた情報は、公知のディスプレイに表示することができる。ディスプレイは、デスクトップ型などのような固定設置式ディスプレイ、ラップトップ型、ノート型、タブレット型などのようなモバイル式ディスプレイのいずれでもよい。ディスプレイは、シースルー型ディスプレイが好ましい。シースルー型ディスプレイは、例えば、ハーフミラーによって、被験者の実像を透過光で観察し、マッピングされた情報などを反射光で表示できる。また、片目のみにディスプレイ装置がついているものもある。ホログラフィック素子を用いたディスプレイを用いることもできる。眼鏡レンズに導光板を配置し、該導光板に映像を投影することができるディスプレイであってもよい。ヘッドマウントディスプレイは、手術者の両手をフリーにでき、また、光学シースルーヘッドマウントディスプレイは、手術者が被験者を見たときに、そこにマッピングされた情報を重ねて表示させることができるので、スピーディーな手術を支援できる。ディスプレイに取り付けられた測量器、好ましくは測距機能を具えた装置（３Ｄカメラ、デプスカメラなど）が、被験者の外観特徴部３次元情報をリアルタイムに入手し、その最新外観特徴部３次元情報に医用３次元情報およびテクスチャ３次元情報をマッピングすることによって、手術中にも、最新の病変位置を確認することができる。

本発明は、上記の実施形態に限定されず、本発明の趣旨の範囲内で、修正、追加、省略することができ、または周知慣用の技術を追加することができる。

Claims

被験者の医用３次元情報を取得し、
前記被検者のテクスチャ３次元情報を取得し、
前記被験者の外観特徴部３次元情報を取得し、
前記外観特徴部３次元情報に前記医用３次元情報および前記テクスチャ３次元情報をマッピングし、
マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含む、
医療支援方法。
外観特徴部３次元情報が被験者の眼、耳、鼻、口、眉、顎、乳頭、および臍；体表の色調変化、輪郭、隆起および陥凹；ならびに術野で観察される血管、神経、筋、腱、骨表上の縫合線、隆起および陥凹、から選ばれる少なくとも一つの３次元位置データを含むものである、請求項１に記載の医療支援方法。
外観特徴部３次元情報の取得を機械学習アルゴリズムを用いて行う、請求項１または２に記載の医療支援方法。
被験者の医用３次元情報を取得し、
前記被検者のテクスチャ３次元情報を取得し、
前記被験者の医用３次元情報に前記被験者のテクスチャ３次元情報をマッピングし、
マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させて表示することを含む、医療支援方法。
医用３次元情報がＭＲＩまたはＣＴで測定されたデータを含むものであり、
テクスチャ３次元情報がＣＣＤで測定されたデータを含むものである。請求項１〜４のいずれはひとつに記載の医療支援方法。
ディスプレイ、
ディスプレイに取り付けられた測量器、
前記測量器で取得した被験者の外観特徴部３次元情報に、被験者の医用３次元情報および被験者のテクスチャ３次元情報を、マッピングするための手段、および
マッピングされた前記医用３次元情報および前記テクスチャ３次元情報を重畳させてディスプレイに表示させる手段を有する、
医療支援装置。
測量器が測距機能を有するものである、請求項６に記載の医療支援装置。