JP2021121337A - 医用画像処理装置および医用画像処理プログラム - Google Patents

医用画像処理装置および医用画像処理プログラム Download PDF

Info

Publication number
JP2021121337A
JP2021121337A JP2021082521A JP2021082521A JP2021121337A JP 2021121337 A JP2021121337 A JP 2021121337A JP 2021082521 A JP2021082521 A JP 2021082521A JP 2021082521 A JP2021082521 A JP 2021082521A JP 2021121337 A JP2021121337 A JP 2021121337A
Authority
JP
Japan
Prior art keywords
medical image
display
image processing
operator
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021082521A
Other languages
English (en)
Other versions
JP7229569B2 (ja
Inventor
金吾 七戸
Kingo Shichinohe
金吾 七戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nemoto Kyorindo Co Ltd
Original Assignee
Nemoto Kyorindo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nemoto Kyorindo Co Ltd filed Critical Nemoto Kyorindo Co Ltd
Publication of JP2021121337A publication Critical patent/JP2021121337A/ja
Priority to JP2023017220A priority Critical patent/JP2023071677A/ja
Application granted granted Critical
Publication of JP7229569B2 publication Critical patent/JP7229569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】3次元医療用画像を表示し、種々の表示処理を作業性よくかつ操作者の清潔を保ちつつ行うことができる医用画像処理装置を提供する。【解決手段】画像処理装置301は、ディスプレイ361と、そのディスプレイに接続された制御部350と、マイク370と、モーションセンサ380とを備え、制御部350は、ディスプレイに3次元医用画像を表示させる画像表示部355aと、マイクを用いて入力された音声を認識し、それに応じて、3次元医用画像の表示に関するモードを切り替えるモード選択部355dと、モーションセンサを介して操作者のモーション入力を認識し、それに応じて、3次元医用画像の表示を変更する表示処理部355cと、を有する。【選択図】図2

Description

本発明は、医用画像処理装置および医用画像処理プログラムに関する。本発明は、特には、患者を撮像して得た3次元医療用画像を表示するとともに、種々の表示処理を作業性よくかつ操作者の清潔を保ちつつ行うことができる医用画像処理装置等に関する。
現在、医用の画像診断装置として、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、超音波診断装置、血管造影(アンギオグラフィ)撮像装置等が知られている。
近年では、例えば、血管が複雑に絡みあう肝臓などの臓器に対する手術を行う前にシミュレーションが行われることもある。シミュレーションは、例えば、造影CT検査を実施し、施術対象となる部位の透視撮像画像を用意し、それをディスプレイで確認するなどして行われる。こうしたシミュレーションは治療計画の検討に有用である。例えば特許文献1には、タブレット端末で肝臓等の臓器を表示して手術動作をシミュレーションする技術も開示されている。
特開2014−54358号公報
特許文献1の技術は、タブレット端末を利用するものであるので場所を選ばずどこでも持ち運んで術前シミュレーションをできるという点で有用である。また、手術室に持ち込めるため、術中に何らかの確認を行うことできる点でも有用である。
しかしながら、端末を利用する操作者にとって使い勝手が悪いものである場合には、備えられている機能が利用されない可能性がある。また、操作者の清潔を保ちながら操作を行えるものであることが望ましい。医療用の画像処理装置においては、術中に医師等が操作を行う可能性もあるものであるからである。
本発明は、こうした問題点に着目してなされたものである。その目的は、患者を撮像して得た3次元医療用画像を表示するとともに、種々の表示処理を作業性よくかつ操作者の清潔を保ちつつ行うことができる医用画像処理装置および画像処理プログラム等を提供することにある。
上記課題を解決するための本発明の一形態の医用画像処理装置は下記の通りである:
ディスプレイと、
前記ディスプレイに接続された制御部(プロセッサ)と、
音声入力デバイスと、
モーションセンサと、
を備える医用画像処理装置であって、
前記制御部(プロセッサ)は、
a:前記ディスプレイに3次元医用画像を表示させる画像表示部と、
b:前記音声認識デバイスを用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるモード選択部と、
c:前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する表示処理部と、
を有する、医用画像処理装置。
言い換えれば、本発明の一形態の装置は、制御部(プロセッサ)が、
−前記ディスプレイに3次元医用画像を表示させ、
−前記音声認識デバイスを用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替え、
−前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する、ように構成されている。
(用語の説明)
・「解剖学的構造物」とは、被写体内で認識可能な対象物(例えば臓器、骨、血管等)のことをいい、脂肪や、腫瘍等の病変等をも含む。
・「端末」とは、ネットワークに接続されまたはスダンドアロンで使用され、データ処理を行う情報処理装置をいう。該情報処理装置に任意の周辺装置を接続して構成してもよい。基本的にはタブレット端末やラップトップ型コンピュータのように各種機能が1つのデバイス内に設けられているものも好ましいが、場合によっては、その一部の機能を、例えば負荷に応じて、任意の単位で機能的または物理的に分散して構成することもできる。
・「接続」とは、2つの要素が直接接続されている場合に加え、本発明の趣旨を逸脱しない範囲で、ある要素と他の要素とが何らかの中間要素を介して間接的に接続されている場合をも含む。また、有線接続および無線接続の両方を含む。
本明細書において「機能」+「部」で表現される構成要素は、所定の機能を果す機能ブロックに相当するものである。機能ブロックは、必ずしもハードウェア回路間の分割を示すものではない。したがって、例えば、1つまたは複数の機能ブロックは、単一のハードウェアで実施できるが、複数のハードウェアで実施することもできる。
本発明によれば、患者を撮像して得た3次元医療用画像を表示するとともに、種々の表示処理を作業性よくかつ操作者の清潔を保ちつつ行うことができる医用画像処理装置等を提供することができる。
一実施形態の医用画像処理装置を示す図である。 図1の画像処理装置のブロック図の例を示す図である。 病院システムの構成要素の一例を示す図である。 図1の画像処理装置の動作例のフローチャートである。 肝臓およびその周辺の血管を表示した3次元医用画像の例を示す図である。 操作者の手の位置を認識する際のグラフィカル画像の一例である。 三次元医用画像の一例を示す図である。 三次元医用画像上の任意の対象に対して2点を指定する様子を説明するための図である。 指定された点の位置を微調整する様子を説明するための図である。 肝臓を分割する例を示す図である。 分割した肝臓の一部にタッチする様子を説明するための図である。 分割した肝臓の一部のみを非表示とした状態を示す図である。 一例としての操作手順の流れを示すフローチャートである。 領域指定の手順を説明するための図である。 領域指定の手順(一例)を説明するための図である。 異なる閾値で血管を表示した例を示す3次元医用画像である。 ステレオ画像を表示する画面の例を示す図である。 患者情報の秘匿化に関する画面の例を示す図である。 所定の場合に患者情報を表示する動作フローである。 データサーバにおいて患者の透視画像の個々の部位が予め別途独立に管理されることを示すテーブルである。 フットスイッチの配置の一例を模式的に示す図である。 音声入力がONとなっている状態で表示される画面の一例である。
本発明の実施の形態を図面を参照して以下に説明する。
〔セクションA:作業性よくかつ操作者の清潔を保ちながら種々の表示処理を実施可能な医用画像処理装置〕
1.構成
本実施形態の医用画像処理装置301は、一例として、タブレット端末のような可搬のコンピュータ装置である。または、タッチパネルディプレイを有するラップトップ型PC(ノート型PC)であってもよい。図1はタブレット端末の例を示しており、市販のタブレット端末に本願発明の一形態に係る画像処理プログラムをインストールして構成されたものであってもよい。以下、医用画像処理装置のことを単に画像処理装置と称して説明する。タブレット端末やノート型PCに関し、特に限定されるものではないが、画面サイズが9インチ以上、または、10インチ以上のものであることが、一形態において好ましい。厚みは、20mm以下または15mm以下であることが、一形態において好ましい。質量は、2kg以内または1.5kg以内であることが、一形態において好ましい。
図1に示すように、この例では、画像処理装置301は、薄型の筐体301aを有しそのうちの1つの面にタッチパネル式ディスプレイ360が設けられている。タッチパネル式ディスプレイ360は、ディスプレイ361(図2参照)とタッチパネル363(図2参照)とで構成されている。
こうした画像処理装置301は、例えば、図3に示すように、病院システムのネットワークに接続可能である。この例の病院システムは、ネットワーク30に接続された次のような機器を備えている:撮像装置1、薬液注入装置10、病院情報システムであるHIS(Hospital Information System)21、放射線科情報システムであるRIS(Radiology Information System)22、画像保存通信システムであるPACS(Picture Archiving and Communication Systems)23、ワークステーション24およびプリンタ25等。なお、これらのすべてが必須の構成要素というわけではなく、一部を省略することもできる。上記各要素は1つのみでもよいし複数でもよい。ネットワークへの接続は当然ながら有線接続であっても無線接続であってもよい。
撮像装置1としては、CT装置、MR装置、アンギオグラフィ装置といった撮像装置が挙げられる。その他の種類の撮像装置を利用してもよいし、同種のまたは異なる種類の複数台の撮像装置を利用するものであってもよい。CT装置で撮像した画像と、MR装置で撮像した画像とを組み合わせるといったように、複数のモダリティ画像を用いて、後述する3次元医用画像を作成してもよい。
薬液注入装置10としては、少なくとも造影剤を注入する造影剤注入装置であってもよく、具体的には、薬液が充填された容器(一例でシリンジ)から薬液を押し出す駆動機構と、その動作を制御する制御回路とを備えたものであってもよい。一例として、注入ヘッドとコンソールとを備えた造影剤注入装置を利用することができる。駆動機構は、ピストン駆動機構であってもよいし、ローラポンプ等であってもよい。
図2のブロック図を参照する。画像処理装置301は、ディスプレイ361、タッチパネル363、入力デバイス365、通信部367、インターフェース368、スロット369、制御部350、および記憶部359等を備えている。なお、これのすべてが必須という訳ではなく、一部が省略されてもよい。
ディスプレイ361としては、液晶パネルや有機ELパネル等のデバイスが挙げられる。タッチパネル363が一体的に設けられたタッチパネル式ディスプレイを利用することもできる。タッチパネルとしては、抵抗膜、静電容量、電磁誘導、表面弾性波、赤外線等の方式のものを用いることができる。具体的な一例として、静電容量方式等の複数の位置でのタッチであるマルチタッチを検出可能なものであってもよい。タッチ操作は、ユーザの指やタッチペン等を用いて行うことができる。タッチパネルは、該タッチパネルに対するタッチ操作の開始、タッチ位置の移動、タッチ操作の終了等を検出し、検出されたタッチの種類、および、座標情報を出力するものであってもよい。
なお、本実施形態の画像処理装置301は、後述する通り、音声入力やモーション入力を利用して画像表示に関する操作を行うことができるものである。したがって、場合によってはタッチパネル363を省略してもよい。
入力デバイス365としては、例えばキーボードやマウス等といった一般的なデバイスが挙げられる。
記憶部359は、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SDD:Solid State Drive)、および/またはメモリなどで構成されたものであってもよく、OS(Operating System)のプログラムや、本発明の一形態に係る医用画像処理プログラム(アルゴリズムデータやグラフィカルユーザインターフェースデータ等を含む)が格納されていてもよい。
また、各種処理に用いるその他のプログラムや、テーブル、データベース等を必要に応じ格納する。コンピュータプログラムは、制御部のメモリにロードされることによって実行され、CPUなどのハードウェアと協働し、これにより本実施形態のような機能を備えた制御部を構成するものであってもよい。
コンピュータプログラムは、任意のネットワークを介して必要時に外部機器からその全部または一部がダウンロードされるものであってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納してもよく、「記録媒体」とは、メモリーカード、USBメモリ、SDカード(登録商標)、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標)Disc等の任意の「可搬の物理媒体」を含むものとする。本実施形態の医用画像処理装置は、上記のような記憶媒体を読み込むためのスロット369が設けられていてもよい。
通信部367は、外部のネットワークまたは機器と、有線方式または無線方式で通信を行えるようにするためのユニットである。通信部367は、データを外部に送出するためのトランスミッタおよびデータを外部から受信するレシーバ等を有するものであってもよい。インターフェース368は外部の種々の機器等を接続するためのものであり、図では1つのみ示されているが、当然ながら複数設けられていてもよい。
スロット369は、コンピュータ読取り可能媒体からのデータを読み取るための部分である。インターフェース368は外部機器等を接続するための部分である。
本実施形態の画像処理装置301は、音声入力デバイスとしてマイク370を備えている。筐体に内蔵されたマイクであってもよいし、筐体とは別体であり有線または無線で端末に接続される外付けのマイクであってもよい。下記するモーションセンサ380とマイクとが一体化したようなデバイスを利用することも可能である。
音声認識を行うために、画像処理装置301には音声認識ソフトウェアがインストールされ、これにより、音声認識部351が構成されている。
(モーションセンサ)
モーションセンサ380は、操作者の体の少なくとも一部の動きを非接触で三次元的に検出するセンサである。画像処理装置301にはモーション認識ソフトウェアがインストールされており、これによりモーション認識部353が構成されている。
モーションセンサ380としては、例えばリープモーションコントローラ(リープモーション社製、「リープモーション」は登録商標)等を用いることができる。このリープモーションコントローラは、操作者の指の位置や形状や動き、および/または、手のひらの位置や動き等を非接触でリアルタイムに認識できる入力デバイスである。リープモーションコントローラは、赤外線照射部とCCDカメラ等を内蔵したセンサユニットとして構成されている。センサユニットの上方領域が認識エリアとなっている。このセンサユニットは、タブレット端末やラップトップ型PCに有線または無線で接続して使用される。
モーションセンサ380としては、他にも、例えばキネクト(マイクロソフト社製、登録商標)などを利用することもできる。モーションセンサ380は、1つまたは複数のカメラと1つまたは複数の距離センサとを備えるものであってもよい。または、それらの一方のみを備えるものであってもよい。モーションセンサ380のユニットにマイクが内蔵されたようなものであってもよい。モーションセンサ380の検出対象(例えば手)の精度としては、一例で5mm以下の精度で検出できるものであることが好ましく、1mm以下の精度で検出できるものであることがより好ましい。
モーションセンサ380の検出原理も特定の1つに限定されるものではない。1つの態様としては、Light Codingとよばれる方式のものを利用できる。この方式では、赤外線発光部から多数のドットパターンを照射し、ドットパターンが検出対象(人)に当たったときの変化量(ゆがみ)をカメラで読み取る。他の態様としては、TOF(Time Of Flight)と呼ばれる方式のものを利用できる。これは、認識範囲が比較的近距離で、手指の細かな動きをセンシングするような使い方に適している。TOF方式では、照射した赤外線が対象物に当たって戻ってくるまでの時間を解析して距離を測定する。一般に、上記Light Coding方式と比べて認識精度が高く、距離による精度の低下も少ないものとなる。さらに別の態様として、赤外LEDが対象物に照射した光の反射を2つのカメラで撮影し、動きを認識するような方式のものを利用してもよい。
(制御部)
再び図2を参照する。制御部350は、中央処理装置(CPU)およびメモリ等のハードウェアを有し、コンピュータプログラムがインストールされ、種々の演算処理を行う。制御部350は、概念的な構成として、画像表示部355a、操作判定部355b、表示処理部355c、モード選択部355dを有している。また、上記のとおり音声認識部351およびモーション認識部353を有している。
画像表示部355aは、医療用の3次元医用画像をディスプレイ361に表示させる。画像表示部355aは、一例として、例えば肝臓や血管といった解剖学的構造部のそれぞれを独立のオブジェクトとして表示させる。また、それぞれの解剖学的構造部を異なる色で表示させるようなものであってもよい。それぞれの解剖学的構造部をどの色で表示するかは、操作者によって手動で入力、設定されるものであってもよいが、必ずしもそれに限定されない。後述するように、予め所定のデータサーバ側で色の割当等がなされている場合(テーブル等により)、それに従って表示を行う構成であってもよい。
操作判定部355bは、入力デバイス365やタッチパネル363に対する入力操作等を受け付ける。
表示処理部355cは、種々の画像処理を行う。例えば、
−三次元表示された画像の回転、
−三次元表示された画像の平行移動、
−三次元表示され画像の拡大/縮小、
−三次元表示され画像の透過度変更、
−所定のオブジェクトの表示/非表示の切替え、
−所定のオブジェクトのカット(分割)機能、
−所定のオブジェクトの領域指定機能、等。
である。なお、これらの機能の具体的な内容については後述する一連の動作の中で詳しく説明する。
音声認識部351は、種々の音声認識を行う。例えば次のような単語を認識する。
−表示モード変更のためのコマンドである「回転」
−表示モード変更のためのコマンドである「移動」
−表示モード変更のためのコマンドである「マルチ」
−表示モード変更のためのコマンドである「停止」
−加工のためのコマンドである「カット」
−加工のためのコマンドである「ボックス」
−解剖学的構造物の名称(例えば、「肝臓」のような臓器名、または、「門脈」「肝動脈」のような血管名)。
モーション認識部353は、種々のモーション認識処理を行う。例えば、モーションセンサが手を検出するものであるとして、検出空間内における手(指)の位置や動きを検出する。
なお、画像処理やその他データ処理に主要な特徴がある発明に関しては、ハードウェアの構成は、上述した実施形態に開示した具体的なものに限らず、種々の態様を利用可能である。したがって、例えば、タブレット端末やノート型PCに限らず、他のコンピュータ手段で行われる処理であっても本願発明の一形態の対象となり得る点に留意されたい。また、以下、主には「動作」の説明として開示する発明は、当業者であれば、カテゴリー表現を変えた、物の発明またはコンピュータプログラムの発明としても把握できるものである点は理解されよう。したがって、本明細書はそのような発明をも開示する。
2.動作
続いて、本実施形態の画像処理装置301での画像表示の動作例について説明する。以下では、一例として図5に例示するような3次元医用画像を表示操作する例について説明する。この3次元医用画像には、肝臓371および血管375が含まれている。
まず、図4のフローチャートに示すように、ステップS11として3次元医用画像データの取得を行う。「3次元医用画像データ」としては、患者を撮像装置により断層撮影して得られたデータに基いて作成されたものであってもよい。特には、ボリュームレンダリングによるボリュームデータであってもよい。なお、3次元画像のデータ形式は特に限定されるものではなく種々のものを利用でき、一例でSTL(Standard Triangulated Language)ファイルフォーマット等も利用可能である。
画像データは、所定のデータベースサーバ、PACS、DICOMサーバまたはワークステーションといった所定のデータ記憶領域に保存されていてもよい。一例として、画像処理装置301は、ネットワーク上の所定のデータ記憶領域から当該データを読み込み、装置内の記憶部359に保存する。
次いで、画像処理装置301は3次元医用画像をディスプレイ361に表示させる(ステップS12)。3次元医用画像の作成については、基本的には公知の方法を用いて行うことができる。本発明の一形態に係る画像作成フローについては、図面を参照して後述するものとする。作成した3次元医用画像のデータは、画像処理装置301内に保存されてもよいし、および/または、外部のサーバ(例えばクラウド上のサーバ)に保存されてもよい。
ここで、医用画像の表示に関しては種々の表示態様が用意されている。例えば、
−所定の解剖学的構造物を半透明状態で表示する、
−所定の解剖学的構造物を不透明状態で表示する、
−所定の解剖学的構造物を色分けして表示する、
−所定の解剖学的構造物を影を付けて表示する、
−画面中に3次元座標軸(またはそれに相当するもの。例えば立方体。)の画像を表示する、等の少なくとも1つである。
透過に関し、例えば、肝臓を半透明状態で表示し、血管は不透明状態で表示する。腫瘍がある場合には、腫瘍も不透明状態で表示するものであってもよい。このような表示態様によれば、肝臓を半透明表示とすることで、本来肝臓に隠れて視認できない内部の血管の位置や走行状態を確認することが可能となる。こうした確認が行えることは、一例としては、特に腹腔鏡手術で肝臓の一部を切除するような手術において、肝臓、血管、腫瘍等の位置関係を良好に確認できる点で非常に有用である。本実施形態の画像処理装置301は可搬性のものであり、したがって、手術室内で該装置を操作して3次元医用画像の確認を行うことができる。
色分けに関し、例えば肝臓と血管とを異なる色で表示してもよい。腫瘍がある場合には、腫瘍をさらに別の色で表示してもよい。血管に関してより具体的には、肝臓と門脈と肝動脈とをそれぞれ異なる色で表示してもよい。血管がグルーピングされている場合には、それらをまとめて同一色で表示するようにしてもよい。
次いで、ステップS13で、画像処理装置301は、モーションセンサ380と操作者の手との間の距離が適正となるように、手の位置の検出を行う。具体的には、操作者が手をモーションセンサ380の上方に位置させる。センサと操作者の手との適正間隔(センサから手までの高さ)は、例えばh1(mm)〜h2(mm)の範囲と予め設定されている。このように適正範囲を予め設定しておく理由としては、操作者の手がセンサに近すぎたり、遠すぎたりする場合には良好に手の動きを認識できないおそれがあるためである。
この手位置の検出に関して、画面にどのような画像を表示するかは特に限定されるものではないが、一例で図6のようなものであってもよい。この例では、画面の略中央に所定のサイズの基準円(第1の円)391が表示されている。第1の円391は、操作者の手の位置によらず、常に一定の大きさで固定的に表示される。一方、画面上には第2の円393も表示されている。
第2の円393の中心は、操作者の手の位置に対応している。すなわち、操作者の手がモーションセンサ380の直上(一例)にある場合、第2の円393の中心は第2位置の円391の中心と同一となる。つまり、2つの円391、393が同心円で表示されることとなる。
操作者の手がモーションセンサ380の直上位置よりも所定方向(一例として右側)にずれている場合、第2の円393もこれに対応して同じ方向(一例として右側)にずれてリアルタイムに表示される。
このような表示態様により、操作者は、画面上の2つの円391、393の位置関係を見ながら、自分の手がモーションセンサ380に対し適正な位置(水平方向の位置)にあるかを確認することができる。
高さ方向の位置に関しては次のように確認することができる。すなわち、第2の円393の直径は、操作者の手の高さに対応している。例えば、手の高さが基準高さ(一例で(h1+h2)/2)の場合、第2の円393の直径が第1の円391の直径と同じになるように、第2の円393が表示される。手の位置がより高くなると、第2の円393のサイズもそれに応じて小さくなっていき、逆に手の位置がより低くなると、第2の円393のサイズもそれに応じて大きくなる。このような表示態様により、操作者は、画面上の2つの円391、393の大小関係を見ながら、自分の手の高さが適正であるかを確認することができる。
適正位置であることをより確認しやすくするために、次のような表示としてもよい。すなわち、手の水平位置、高さ位置、またはそれらの組合せが、所定の適正位置に入った場合には、第2の円393を特殊な表示で表示するようにしてもよい。例えば、図6(a)のように適正範囲外である場合と、図6(b)のように適正範囲内である場合とで、第2の円393の色を異ならせて表示したり、点滅表示と点灯表示とで切り替えるようにしたりすることが、一形態において好ましい。
以上のようにして、モーションセンサと操作者の手との間の距離が適正となるようにするためのステップが完了する(ステップS13)。
次いで、ステップS14において表示モード選択のための音声入力を受け付ける。音声入力としては、一例で、次のような言葉を認識するものであってもよい:
−「移動」
−「停止」
−「回転」
−「マルチ」
なお、音声認識機能は、ステップS3で操作者の手の位置が所定の適正範囲に入ったことをトリガとしてONとなるようなものであってもよい。この構成では、操作者の手の位置が所定の適正範囲に入っていない場合には、音声認識機能がOFFとなっており、適正範囲に入っているときのみONとなる。このように、所定の条件下となってはじめて音声認識機能がONとなる構成によれば、操作者が意図していない誤認識による音声入力を防止することが可能となる。
図1に模式的に示すように、音声認識機能がONとなっていることを操作者に知らせるために、例えば「音声認識中」といった表示が画面上に表示されるようになっていることも好ましい。
なお、本発明の1つの態様では、S13の手位置検出のステップが省略されてもよい。
<ズーム(拡大および縮小)/パン>
表示されている3次元医用画像の大きさの変更や位置の変更を行いたい場合、次のような手順で行う。
まず、操作者は音声認識機能ONの状態で「移動」と発声する。画像処理装置301は、マイク370から入力されたその音声を音声認識部351で解析し、「移動」という単語を認識する。それに応じて、「ズーム/パン」モードに遷移する(ステップS15)。
「ズーム/パン」モードでは、画像処理装置301は次いで操作者の手によるモーションの入力を待つ。画像処理装置301は、モーションセンサ380およびモーション認識部353を使用して、操作者の手の位置および動きをリアルタイムに認識する。そして、操作者が手を上方に移動させた場合(すなわち手が初期高さhからより高いhに移動した場合)には、その動きに合わせて画像が徐々に縮小させていく。一方、操作者が手を下方に移動させた場合(初期高さhからより低いhに移動した場合)には、その動きに合わせて医用画像を徐々に拡大させていく。
また、手を水平移動させた場合には、その移動方向および移動量に対応して、3次元医用画像をパン(平行移動)させる。
上記のとおり、このモードでは、手を上下移動させることで画像が縮小または拡大するようになっており、手を水平移動させることにより画像が平行移動するようになっている。本実施形態の構成によれば、音声認識や数値入力などの入力方式と比較して、アナログ的な入力を直感的に行うことができるモーション入力を用いて画像のズーム/パン(さらには下記する回転等)を実施することができる。よって、操作者にとって直感的で操作性に優れ、実用にも資するものとなる。
また、モーションセンサ380は、機器に接触することなく入力を行えるものであるので、操作者の手の清潔状態を保ったまま入力を行うことができる。このような構成によれば、例えば、術中の医師が手術室内で画像処理装置を使用して、画像の確認を行えることができる点で非常に有利である。
特に肝臓の例で言えば、肝臓には複数の血管が枝状に存在している。したがって、必要以上に血管を損傷させないように、肝臓実質の一部を切除するような場合には、血管と腫瘍との位置関係を十分に確認しておく必要がある。この点、本実施形態の画像処理装置によれば、術中に3次元医用画像を見ながら血管等の位置関係を確認することができる。また、3次元の医用画像では、例えば手前側に血管が存在しその奥に腫瘍が隠れているような場合もある(腫瘍は図示されていないが参考として図5参照)。このような場合であっても、本実施形態の画像処理装置では「回転」モードで画像を回転させて、腫瘍を確認するといったことも可能である。とりわけ、本実施形態の構成では、予め決まった角度ごとに回転させるようなものではなく、モーション入力で任意の角度だけ自由に(無段階的に)回転させることができるので、良好な観察を行うことが可能となる。
なお、この「ズーム/パン」モード中は、3次元医用画像の「回転」(詳細下記)は行なわれないように構成されていることが一形態において好ましい。このモードを利用する際は、単に拡大縮小や平行移動のみを行いたい場合であることも多い。したがって、回転が禁止され、見たい姿勢を維持したまま、拡大、縮小、平行移動が行われる方が、操作者にとってより使いやすいものとなるためである。
上記説明では、ズームとパンとの両方が行えるようなモードを説明したが、それに限定されるものではない。いずれか一方のみしか行えないモードとすることも可能である。
<回転>
表示されている3次元医用画像を回転させたい場合、次のような手順で行う:
まず、操作者は、上記の「ズーム/パン」モードを解除するため「停止」と発声する。画像処理装置301は、音声認識機能によりこれを受け付け、そして、「ズーム/パン」モードを解除して、他のモードを受け付ける状態に遷移する。
この状態で、操作者が「回転」と発声する。画像処理装置301は、音声認識機能によりこれを受け付け、「回転」モードに遷移する。画像処理装置301は次いで操作者の手によるモーションの入力を待つ。
「回転」モードでは、画像処理装置301は操作者の手の位置や動きをリアルタイムに認識する。そして、画像処理装置301は、操作者の手の動きに合わせて3次元医用画像を所定の回転軸(X軸、Y軸、Z軸)周りに回転させる。具体的には、操作者の手の水平方向の動き、または、仮想球体の表面に沿って手を移動させるような動きを認識する。そして、その移動方向、移動速度および移動量に対応して、3次元医用画像を所定角度回転させる。
この回転モードの場合も、あくまで回転のみが許容され、パン(平行移動)やズーム(拡大縮小)は禁止されていることが、一形態において好ましい。これにより、例えば、所定の画像サイズのまま、画像を所望の向きに回転させ、それに続く所定の画像処理や観察を行うことが可能となる。
「回転モード」を解除する場合も、上記のように、操作者は「停止」と発声する。
なお、これまでの説明では、「移動」と「回転」との一方が行われる場合は他方は行なわれない態様を説明したが、両方の入力を同時に行うことができるように、「マルチ」モードが用意されていてもよい。このモードでは、操作者の手の動きに応じて、「ズーム」、「パン」、「回転」の全てが行われるようになっている。
具体的には、操作者が「マルチ」と発声すると、画像処理装置301がこれを認識して「マルチ」モードに遷移する。操作者の手のモーションの入力に応じて、3次元医用画像の回転、移動、拡大・縮小を行う。
なお、モーション入力ではなく、音声入力のみで3次元医用画像の回転を行える機能が実装されていてもよい。例えば、「回転」、「左」、「15°」と発声することで、画像処理装置301がこれを認識する。そして、画像を所定の回転軸(例えば画面の上下方向に延在するZ軸)周りに15°だけ回転させる。横方向に延在する軸周りに15°上向きに回転させたい場合には、例えば、「回転」、「上」、「15°」と音声入力すればよい。
<その他の音声入力>
本実施形態の画像処理装置301は、音声入力により、解剖学的構造部の選択をしたり、選択されたものの透過率を変更したりすることもできる。なお、これについては、タッチパネルを通じた操作の説明を行った後に再度説明するものとする。
(タッチパネル入力を通じた各種機能について)
画像処理装置301は、3次元医用画像中の解剖学的構造物を独立のオブジェクトとして表示している。これにより、それぞれを個別に選択したり、表示のオンオフを切替えたりできるようになっている。血管は、例えば、肝動脈、門脈、および肝静脈がグルーピングされ一括で選択できるようになっていてもよいし、個々に選択できるようになっていてもよい。
(回転機能)
3次元医用画像の回転は、タッチパネル上の操作によっても行うことができる。画像処理装置301は、操作者が、タッチパネル上に触れてその指を移動させると、それに応じて、3次元医用画像を回転させる。
(拡大/縮小機能)
画像処理装置301は、また、操作者が、画面上の2点に触れ、その2点間の距離を離すようにまたは近づけるような操作(ピンチアウト操作、ピンチイン操作)をした場合、それに応じて、画像の拡大または表示を行うものであってもよい。
(表示透過度切替機能)
画像処理装置301は、操作者がいずれかの解剖学的構造物(例えば肝臓)をタッチした場合に、その表示濃度を変更するものであってもよい。具体的には、通常の不透明の表示状態と、半透明状態との2つの状態の間で切替えが行われるようなものであってもよい。すなわち、一例として。一回タッチすると半透明状態となり、もう一度タッチすると通常の表示状態に戻るようなものであってもよい。
他の態様としては、例えば透過度0%、30%、70%、100%(非表示)のように複数の段階に設定されており、タッチする毎に順次表示濃度がループ状に切り替わるようになっていてもよい。この場合、透過度100%(つまり非表示状態)はこのループから除外してもよい。当然ながら、透過度の具体的な数値は適宜変更可能である。要するに、透過度が少なくとも複数段に設定されていて、それらが切り替わるようなっていればよい。
このような表示透過度切替機能によれば、任意の解剖学的構造物をタッチするだけで表示透過度の切替え機能を発揮させることができる。したがって、透過度の切替を行うために何らかのアイコン等を別途選択したり、コマンドを選択したりする必要がある方式と比較して、簡便かつ直感的に操作を行うことができる。
また、表示が上記のようにループ状に切り替わるようになっている場合も、元の表示状態に戻すのに例えば別途アイコン等を選択したりする必要がないという点で好ましい。さらに、こうしたループ状の表示切替えは、選択されたオブジェクトの表示色を変更するのみで実現できるので、画像処理の簡素化や少ないメモリでの演算処理が可能となる点でも好ましい。
透過度を変更するためのジェスチャとしては上記記載のものに限らず、例えば、上下方向または左右方向に指(一例)をスワイプさせると、画像処理装置がその入力を受付け、それに応じて透過度が変更される構成としてもよい。この場合、透過度は例えば0%、30%、70%、100%(非表示)のように何段階かに設定されていてもよいし、そうではなく、無断階的(連続的に)に透過度が変わっていくような構成としてもよい。
(表示/非表示切替え機能)
画像処理装置301は、操作者が、所定の解剖学的構造物に一定時間以上触れていた場合(一例)、その解剖学的構造物を「選択された状態」とする。「選択された状態」であることを示すために、その解剖学的構造物(例えば肝臓)を初期状態とは異なる色で表示させたり、点滅表示させたりするようにしてもよい。
画像処理装置301は、操作者が、選択された状態の解剖学的構造物(例えば肝臓)に触れたままその指先(一例)を画面端の方に移動させた場合(スワイプ操作、ドラッグ操作等)、その解剖学的構造物を非表示とする。この例の場合、肝臓が非表示となり、血管等の三次元画像のみが残ることとなる。
このような機能は、操作者が所望の解剖学的構造物のみを見たい場合に有用である。また、本実施形態のように、解剖学的構造物を直接選択し、移動させるだけで非表示とすることができる方式によれば、例えば何らかのアイコンを選択するなどしてはじめて表示のオンオフを切り替えるモードとなるようなものに比べて、簡便かつ直感的に操作を行うことができる。
(カット機能)
カット機能は次のように行なわれる。肝臓をカットし、さらにその後その一部を非表示とする例について以下説明する。図8は一連の操作のフローチャートである。
画像処理装置301は、まず、ステップS1として図7Aのような3次元の医用画像を表示する。そして、画像処理装置301は、操作者が、図7Bに示すように、任意の解剖学的構造物(ここでは肝臓71)上の2点に触れた場合に、その状態、すなわち2点が触れられていることを判定する(ステップS2)。なお、タイミングとしては、2点が同時にまたは実質的同時に触れられるものであってもよい。
次いで、いわゆる長押しの場合に機能を発揮させるようにするために、画像処理装置301は、2点が触れられている状態が一定時間以上継続したか否かの判定を行う(ステップS3)。
画像処理装置301は、ステップS3で一定時間以上継続と判定した場合に、触れられていた2点P1、P2が指定されたことを所定の表示態様で画面上に表示する。「所定の表示態様」としてはどのようなものであってもよいが、例えば、(i)点P1、P2とそれらを結ぶ線L1の両方を表示する、または、(ii)点P1、P2のみもしくは線L1のみを表示するものであってもよい。点P1、P2に関しては、指定された位置がよく分かるように、単なる小さいドットではなく、図7Bのような少し大きめのグラフィカル画像(例えば、円形、矩形、多角形、星形などどのような形状であっても構わないが、ここでは円形を例示している)などの表示としてもよい。
画像処理装置301は、操作者が画面から手を離した後も、図7Cのように指定された点P1、P2をそのまま表示させるものであってもよい。また、点P1、P2の位置の微調整を受け付けるように構成されていてもよい。このように微調整を受け付けるモードであることが分かるように、例えば、P1、P2の円形のグラフィカル画像および/または線L1が点滅表示するようになっていてもよい。図7Cでは、一例として、点P2が少し動かされて点P2′に微調整された状態を例示している。
この微調整は、操作者が例えば指で点P1、P2のグラフィカル画像を動かすことで行なわれるものであってもよい(タッチパネル上での操作)。別の態様としては、モーション入力を利用し、機器には非接触で点P1、P2の位置の微調整を行うようにしてもよい。なお、音声入力で切断基準線L1を表示させることについては、再度後述するものとする。ここでは、まず、タッチパネル操作を前提とし、本実施形態のカット機能等について説明するものとする。
このようにして点P1、P2の指定が終わった後、ステップS4において、例えば操作者が画面上の所定のアイコン(例えば「OK」入力用のアイコン)をタッチする。すると、カット機能により、図7Dに示すように点P1、P2を結ぶ線L1によって肝臓が切断される(ステップS5)。
線L1を挟んで2つに分割された第1の部位71−1と第2の部位71−2は、それぞれ独立の解剖学的構造物として操作可能となる。なお、上記操作以外の方法として、例えば(i)アイコンをタッチするのではなく、画面上の所定のエリアをタッチすることにより、または、(ii)複数回タッチする(一例でダブルタップ)といった通用外の操作をすることにより、上記機能を実行するようにしてもよい。音声入力によるものであってもよい。
独立の解剖学的構造物として操作可能となっているので、例えば、第1の部位71−1をタッチした場合(ステップS6)であれば、上述した機能により、図7Eに示すように当該部位のみが選択される。そして、その表示濃度が切り替わる。具体的には、第1の部位71−1のみが半透明表示となる。もう一度タッチすることで元の表示に戻る。
また、例えば第1の部位71−1を長押しして画面周辺部側にスワイプ操作またはドラッグ操作等した場合には、その部位が非表示状態となり、第2の部位71−2と血管73、75のみが残る。非表示となったものは図7Fに例示するようにサムネイル画像66として表示されてもよい。
(領域指定)
画像処理装置301は、操作者の次のような操作により解剖学的構造物の一部を領域指定する。図9Aは、図7Bを参照して説明した操作のように点P1、P2の2点に触れられた状態である(なお、操作者の指は画面上の2点に触れたままの状態であるが、図示は省略している)。
この状態から、次いで、例えば図9Bに示すように、操作者が2本の指を移動させた場合(限定されるものではないが2本の指の同時移動)、画像処理装置301は、移動後の2点の点P1′、P2′の位置を特定し、それに基いて略四角形の領域を指定する。具体的には、移動前の2点P1、P2および移動後の2点P1′、P2′の4点で囲まれる四角形を領域指定する。
ここでも、上記同様、操作者が手を離しても画面上に指定された領域の略四角形が残り、かつ、それぞれの点P1、P2、P1′、P2′の位置を個別に動かして位置の微調整を行えるように、画像処理装置301が構成されていることも好ましい。指定された領域を確定する方式としては、例えば、操作者が、操作者が画面上の所定のアイコン(例えば「OK」入力用のアイコン)をタッチするようなものであってもよい。
図9Bのように4点P1、P2、P1′、P2′の位置が指定されている場合に、各位置を微調整できるように、点P1、P2、P1′、P2′の円形(一例)のグラフィカル画像やそれらを結ぶ線を点滅表示するようにしてもよい。
領域指定された領域Sa1(図9B参照)は、その他の部位から分割され独立のオブジェクトとして操作可能となる。したがって領域のみの表示濃度を変更したり、表示のオンオフを切替えたりすることが可能となる。このような機能によれば、例えば当該領域Sa1のみ非表示にすることで、内側の血管73、75の観察や、血管73、75と肝臓71との関係を確認することが可能となる。
なお、領域指定は必ずしも四角形で行われる必要はなく、三角形もしくは五角形以上の多角形形状が領域指定されるものであってもよい。
上記説明では、肝臓およびその周辺の医用画像を例に挙げたが、当然ながら、本発明において解剖学的構造物は特定のものに限定されない。例えば検者の頭部の医用画像を表示し、それに対して種々の画像処理を行うことができるようになっていてもよい。
〔音声入力による他の機能〕
(表示/非常時切替え)
ここまで説明したような表示非表示切替え機能やカット機能は、タッチパネルに対する入力を行なうことなく、音声入力等のみで実行できるようになっていることも好ましい。
まず、所定の解剖学的構造物の選択については、タッチではなく、音声で対象を発声しそれが認識された場合に、選択が行われるようになっている。例えば、操作者が「肝臓」と言うと、画像処理装置301はそれを音声認識し、肝臓が選択された状態とする。「選択された状態」であることを示すために、その解剖学的構造物(例えば肝臓)が初期状態とは異なる色で表示させたり、点滅表示させたりするようにしてもよい。
そして、肝臓の透過度を変更したい場合には、例えば操作者が「透過」と発声する。画像処理装置301はそれを音声認識し、肝臓を半透明状態での表示に切り替える。この除隊では、他の解剖学的構造部(一例で、血管および腫瘍)は不透過のまま表示され続ける。このような構成によれば、本来であれば肝臓に隠れて見ることができない血管等についても、確認できるようになる。
一つの実施形態として、例えば、モーションセンサから操作者の手までの距離に応じて透過度が変更される構成としてもよい。すなわち、モーションセンサに手を近づけていくと徐々に透過度が増大し(または減少し)、反対にモーションセンサから手を遠ざけていくと徐々に透過度が減少(または増大)する構成としてもよい。具体的には、操作者が「透過」と発声し画像処理装置301がそれを音声認識すると、上記のようなモーション入力を受けつけるモードとなる。次いで、装置は、モーションセンサから操作者の手までの距離を検出し、それに応じて透過度を変更する。
(ラインカット/ボックスカット)
ラインカットを行う場合、例えば操作者が「ラインカット」と発声する。画像処理装置301はそれを音声認識し、切断の基準線を画面上に表示する。この基準線は図7Bの線L1のようなものであってもよい。
そして、画像処理装置301はモーション入力を待つ。操作者は、モーション入力により、切断基準線の位置、長さ、向き等の変更を行うことができる。これにより、非接触で基準線を所定位置に設定することができる。
次いで、例えば「右カット」と言うことで、基準線の右側領域が除去される。代わりに、「左カット」と言うことで、基準線の左側領域が除去される。除去ではなく、半透明表示としてもよい。図5(b)はその一例を示しており、基準線の右側の符号371−2の部分が不透明の表示のままで、左側の符号371−1の部分が半透明の表示となっている。
ボックスカットを行う場合、例えば操作者が「ボックスカット」を発声する。詳細な図示は省略するが、画像処理装置301はそれを音声認識し、切除の基準となる矩形(一例)を画面上に表示する。四角形の大きさは、所定の1サイズのみであってもよいし、例えば大、中、小のような複数サイズ用意されていてもよい。
このボックスカットは、対象の解剖学的構造物を所定の深さで切除するものである。画面上の切除の基準となる矩形を表示している状態で、画像処理装置301はモーション入力を待つ。四角形のサイズや形状は固定であってもよいが、変更自在となっていてもよい。例えば、最初に表示されたデフォルトの四角形の角部の位置を動かすことができるになっていることにより、四角形のサイズや形状を変更可能な構成としてもよい。角部の位置を動かすために、モーション入力を使用することができる。
この状態で操作者が、例えば手をモーションセンサ380に近づけていくと、それに対応して、上記矩形を輪郭としつつ手の移動距離に応じた所定深さの略直方体型の穴が肝臓に形成されていく。これにより、肝臓の一部は切除しながら、かつ、内部の血管は切除されていないような医用観察用画像を得ることができる。
なお、このように所定深さの切除部を形成した状態で、3次元医用画像全体を所定角度だけ回転させることも可能である。例えば、操作者が、回転モードで、「上」、「15°」等と発声することで、画像処理装置301はそれを認識して、穴が形成された状態の医用画像を15°回転させる。このような構成によれば、穴の内部構成(例えば、肝臓の一部は切除されているが、血管は表示されている)を異なる角度から観察することができるので、有用である。
上記では矩形の輪郭で除去を行うことが説明したが、当然ながら、三角形、多角形、円形、楕円形その他の任意の幾何形状で輪郭を規定してもよい。
上記ではボックスとして指定した領域を切除するものであったが、これとは逆に、ボックスとして指定した領域のみが残されそれ以外の領域を非表示とする構成としてもよい。
〔セクションB:複数の解剖学的構造部の一括的取扱い〕
1.本セクションの発明の課題
図5に例示したような3次元医用画像としては、既述のとおり、ボリュームデータ等が利用される。ところで、このような3次元医用画像(すなわち、種類の異なる幾つかの解剖学的構造部を含むもの)では、肝臓と血管とではそのデータのCT値(信号値)が異なったものとなっている。また、同じ血管であっても、例えば動脈、静脈、門脈などでそれぞれ異なるCT値(信号値)となっている。
これは、造影剤を利用した透視撮像においては、造影剤を注入した後、所定時間後に透視撮像を行って画像データが取得されるものであるところ、造影剤の到達する時間の違い等によって、動脈、静脈、門脈、肝臓実質といった各部のCT値(信号値)に差が生じるためである。従来の手法では、それぞれの血管や臓器ごとに閾値の設定やフィルター処理を行い、各部のボリュームデータを作成していた。
しかしながら、例えば同じ血管であっても、CT値(信号値)の違いから動脈、静脈、門脈が個別にデータ登録されているような場合、次のような場合に、比較的手間のかかる作業が必要となりうる。すなわち、3次元医用画像のビューワ機能においては、例えば血管を強調した状態で表示したり、強調しない表示としたりを切り換えることが可能であるものがある。このようなことができることにより、例えば、血管の末梢部分(CT値(信号値)が低い)を必要に応じて表示させたりさせなかったりを切り替えることができ、必要に応じた観察を行えるものとなる(図10参照)。ところが、種類の異なる複数の血管を含む3次元医用画像の場合、それぞれの血管ごとに、操作者が、表示閾値の再設定やフィルタリングを行なわないと全ての血管の表示態様を一様に変更することはできず、そのために、簡単にこのような表示変更を行い難いという問題点がある。
これに対して、実際の観察では、例えば、血管系は血管系、実質系は実質系といったような切り分けで、取扱いを行えるようになっていることが好ましい場合もある。そこで、このセクションの発明では、画像処理装置は以下のような機能を備えている。
2.機能および動作
本実施形態の画像処理装置は、患者を撮像することによって得られた情報に基づくボリュームデータを読み込む(図3のステップS1も参照)。
そして、ボリューム内の信号値やCT値、標準偏差(SD:Standard Deviation)の解析を行う。そして、例えばCT値の平均が300HU以上であれば動脈であると自動判定し、CT値の平均が100HU以下であれば臓器であると自動判定する。また、CT値に加え、CT値のヒストグラム形状も認識する。一般的に、動脈はピークが高く幅(分布)が狭く、門脈や静脈はピークが低く幅(分布)が広いという傾向がある。したがって、そうした要素に基いて、血管の種別の自動認識を実現し得る。
以上のようにして、本来、CT値(信号値)の異なる動脈、静脈、門脈等を画像処理装置で自動的に区別してデータ登録することが可能となる。また、自動的に、動脈、静脈、門脈等に異なる色を振り当てて別々の色で表示するようにしてもよい。
また、血管のヒストグラムは、本来、動脈、静脈、門脈等ごとに1つずつ存在するが、それぞれを統合して正規化を行い、1つのヒストグラムで全ての血管(別の実施態様では任意の2つ以上でもよい)を表わすようにしてもよい。具体的には、一例であるが、それぞれのヒストグラムの平均値や重心などを計算し、低いものは高いものに合わせるように全体をシフトさせて1つのヒストグラムを作成してもよい。
このように複数の血管(他の解剖学的構造物でもよい)を1つのヒストグラムに統合して表した場合、個々の血管のヒストグラムに対する操作を行うのではなく、1つのヒストグラムに対する操作のみで一括的に表示の変更等を行うことができる。つまり、例えば、血管の末梢部分は表示しなくて構わないような場合、画像処理装置は操作者からの所定の入力を受け付け、ある基準値以下の部分については表示しない(または、ある基準値以下の部分については表示しない)といった処理を行うことで、動脈、静脈、門脈等の末梢部分をまとめて非表示とすることができる(例えば、図10(b)参照)。一方、血管の末梢部分まで強調して表示したい場合には、図10(a)に示すように(ここでは閾値が130HUとなっている)表示するCT値の下限値をより低く設定すればよい。
この構成によれば、動脈、静脈、門脈等のそれぞれの表示態様を変更する必要がなるので、非常に操作性が良く実用に資するものとなる。
上記した「操作者からの所定の入力」としては、例えば、画面上のアイコンやカーソル、スライダーといった画像ボタンを操作することで行なわれるものであってもよい。または、タッチパネル上での操作者の指の所定のジェスチャを認識し、それに基いて行なわれるものであってもよい。
例えば、血管の表示を変更するモードの状態で、操作者が数本の指でタッチパネル上をタッチし、指を同時に所定方向に移動させることで血管の表示が変更されるような構成としてもよい。より具体的には、数本の指を同時に画面上方(第1の方向)に移動させると、血管の末梢部分まで表示されるようになり、反対に、指を下方(第2の方向)に移動させると、血管の末梢部分(より正確には血管の太い部分の外縁付近も)が消えていくような構成としてもよい。
タッチパネルでの操作ではなく、モーションセンサ380を介したモーション入力によって上記の操作を行うことができる構成であることも好ましい。すなわち、この構成では、音声入力とモーション入力のみで血管(一例。他の解剖学的構造部でもよい。)の表示の切替えを行うことができるので、タッチパネルに触れる必要がなく、清潔を維持したまま3次元医用画像の観察を行うことができる。
〔セクションC:その他の機能〕
(1)3D−ポインタ
図5に例示したような3次元医用画像の利用態様としては、例えば複数の医療従事者が術前に血管の走行状態(一例)などを確認し、実際の手術のシミュレーションを行うこと等が挙げられる。
2次元の医用画像の場合では、例えば、画像としてポインタを画面上に出現させそれを所定の部位に位置させることで、当該部分を注視できるものとなる。しかしながら、3次元医用画像ではポインタは、平面内ではなく、3次元空間内の任意の部位に配置させることが必要となる。このように次元空間内の任意の部位にポインタを移動させるような操作は、マウスやタッチパネル等の入力インターフェースでは比較的行い難いものである。
そこで、本実施形態では、モーション入力を使ってポインタの3次元的な配置を行うようにしてもよい。具体的には、医用画像処理装置301は、先ず、音声認識機能で「ポインタ」(一例)との入力を受け付ける。そして、画面上に、一例として、立体的に表示されたポインタを表示させる。
画面上の上下方向および左右方向については、操作者の手の水平面内での動きに対応してポインタを移動させるようにすればよい。奥行き方向については、操作者が手をモーションセンサ380に近づけるとポインタが3次元医用画像の奥方向へと移動し、遠ざけるとポインタが手前方向へと移動するようになっていてもよい。
ポインタの表示に関し、奥方向へと移動するにつれて徐々に表示サイズが小さくなっていき、手前方向に移動するにつれて徐々に大きくなる表示態様を採用してもよい。
(2)シェーマ画像の書出し
診断や検査においては患者の身体部位を表すシェーマ画像と呼ばれる2次元的な絵図が利用されることがある。そこで、本発明の一形態に係る画像処理装置は、シェーマ画像の書き出し機能を備えるものであってもよい。
例えば、画像処理装置は、操作者による所定の入力があった場合に、3次元医用画像(例えば図5参照)のデータを利用してそれに対応するシェーマ画像を作成する。シェーマ画像としては、線画、モノクロ画像、カラー画像のいずれの2次元画像であっても構わない。操作者による所定の入力としては、例えば、画面上のアイコンをタッチすることによる入力、音声入力、またはモーションセンサを介した所定のジェスチャ入力など、種々の入力が挙げられる。
3次元医用画像のデータを利用してそれに対応する2次元のシェーマ画像を作成する例としては、例えば、図5のような向き(一例)で表示されている医用画像について、現在表示されている画像をそのまま2次元化してデータを書き出すようなものであってもよい。この際、輪郭抽出処理を行って線画を作成するようにしてもよい。データの形式はどのようなものであってもよいが、例えばPDF(Portable Document Format)形式や、または、GIF、PNG、JPEGといったその他任意の画像形式を利用することができる。医師は、このようにして作成されたシェーマ画像に対して、例えば、タッチペンや指でスケッチや所見等を書き込むことができる。
画像処理装置によって作成されたシェーマ画像は、同装置から外部に送り出され、ネットワーク(図3参照)上に接続された所定の記憶領域に保存することができる。例えば、電子カルテの一部資料として取り込まれるものであってもよい。
(3−1)秘匿化
本実施形態の画像処理装置は、タブレット端末のような可搬型のものであり、場合によっては病院の外部に持ち出して利用しうるものである。こうした構成は、例えば院外で特定の患者の3次元医用画像を確認しながら施術のシミュレーションを行うような場合に有用であることがある。しかしながら、病院の外部に持ち出す際には内部の情報が秘匿化されていることが、セキュリティ上の観点から必要となる。
そこで、本発明の一形態の画像処理装置は、次のような機能を有していることが好ましい:(a)装置の現在位置を認識する機能、(b)それに基づいて装置が病院の外部に存在するか否か(または、装置が病院の内部には存在しないか否か)を判定する機能、および、(c)病院の外部と判定した場合(または、病院内部には存在しないと判定した場合)に装置に保持されている所定の情報を自動的に非表示とする機能。
非表示とされる情報としては、例えば、患者を特定できる情報を少なくとも含む情報(識別情報)がこれに該当する。なお、単に表示とするのではなく、対象となる情報を暗号化したり、同情報へのアクセスを禁止するようにしたりしてもよい。
病院の内部か外部かを判定するための方式としては、例えば、病院内の無線ネットワークシステムの範囲内か否かを基準とするようにしてもよい。
このように、装置が院外に持ち出された際に所定の情報が自動的に秘匿化される構成によれば、患者情報等の漏洩防止に寄与するので、セキュリティの観点からより好ましいものとなる。
なお、上記のような秘匿化による作用効果は必ずしも「病院」の中か外かのみに限定されるものではない。対象となる特定エリア(どのような施設または場所であっても構わない)においてそのような秘匿化を行うようにしてもよい。
(3−2)
秘匿化に関して、さらに、次のような機能が備わっていてもよい。図12は、秘匿化を実施している状態を模式的に示した図である。この画面では、患者を特定できる情報は全て秘匿化されている。また、画面にはアイコン441が表示されている。
ところで、3次元医用画像を閲覧している医師等にとって、例えば当該画像がどの患者のものかを確認したい場合など、一時的に患者情報を確認したいことが生じることも想定される。
そこで、この例の医用画像処理装置は、まず、アイコン441が押されたことを判別し(図12、図13)、次いで、患者情報を表示する。患者情報は、装置の内部に保存されたデータを用いてもよいし、または、外部サーバ(一例で病院システム内のサーバ)にアクセスしてそこから取得されるデータであってもよい。
より具体的には、このような患者情報の表示を行うことができる条件が、一定条件下に限定されていることも好ましい。例えば、装置に対して操作者の指紋認証が行われている場合である。当然ながら、他の認証方式によって本人認証が行われている場合であってもよい。
外部サーバとの通信は、一例で、VPN(Virtual Private Network)などのセキュアな通信状況下のみで可能となるように構成されていることも好ましい。
表示する情報としては、例えば、患者のイニシャル、生年月日、性別、年齢、住所、手術日、担当医師等のうちの1つ、2つ、または3つ以上であってもよい。患者ID、検査ID等を表示してもよい。
上記のような状況下で患者情報を確認する場合、患者等に関する必要最低限の情報(例えば、患者を特定でき、かつ、手術日または医師を特定できるような内容)のみが表示される構成であることが、一形態において、好ましい。
表示された患者情報は、一定時間経過後に自動的に再び秘匿されるようになっていてもよい。または、一旦表示した後、操作中は継続して表示を続けるようになっていてもよい(一例で、作業終了(ログアウト)の状態まで表示を続ける)。
上記のように、必要に応じて最小限の患者情報および/または手術情報を確認できるようになっていることで、表示されている3次元医用画像と実際に手術が施される患者との取り違え等の問題の発生の可能性を低減させることができる。
なお、上記の特徴に関し、本明細書は、装置の発明のみならず、上記内容に対応する方法およびプログラムの発明も開示する。
(4)ステレオ画像
本発明の一形態に係る医用画像処理装置は、下記のような、ステレオ画像を表示する機能を有していてもよい。
図11に示すように、操作者による立体視が可能となるように、第1の画像431Lと第2の画像431Rとを含む画像が表示されるようになっていてもよい。第1の画像431Lおよび第2の画像431Rは、同一被写体を所定の視差をもって表示するものである。左目画像および右目画像などと称されることもある。
画像431L、431Rを含む画面の中に、図11に示すように、操作パッドエリア433が表示されていてもよい。この操作パッドエリア433は、被写体の表示角度を変えるための領域である。操作者が、このエリア433内に指を触れて指を動かすことにより、医用画像処理装置は、それに応じて、被写体(2つの画像)の表示角度を同時に変更する。つまり、指の動きに連動して、被写体の向き等を変更できるようになっている。
なお、上記の操作はタッチパネルに対する操作を想定したものであるが、入力方式としてはそれに限定されず種々のものを利用できる。例えば、本明細書で開示する非接触の入力方式の1つまたは複数を利用することが可能である。
図11のように、第1の画像431Lおよび第2の画像431Rと一緒に、1つの操作パッドエリア433を表示するような態様の場合、操作者は、そこを操作することにより被写体画像の向きを変更等できることを直感的に理解できる。
被写体画像としては、特に限定されるものではないが、血管の造影画像であってもよい。
上記のように、第1の画像431Lと第2の画像431Rとを表示する構成によれば、医師は立体視によって、被写体の三次元的構造をより正確に把握できることとなる。
上記説明に係る本発明の一形態の装置は、互いに視差の異なる第1の画像および第2の画像を表示する機能を有するものである。より具体的には、さらに、それらの表示角度を操作するための操作パッドエリアを表示する機能を有する。これらの立体視用の画像の表示変更に対して、例えば、ジェスチャ入力、音声入力、モーション入力等の1つまたは組合せを利用しうる。なお、本明細書は、上記内容に対応する方法およびプログラムの発明も開示する。
(5)画像作成のフロー
医用画像を作成する方法として、例えば、次のような方法を採用してもよい。この方法では、まず、所定のデータサーバ(一例でDICOMサーバ:モダリティから受信したデータを所定の形式で保存するもの)に患者の透視撮像画像が保存される。
そして、その所定のデータサーバ(または、他のコンピュータ)において、被写体の個々の部位を自動認識して、それらを別個独立のオブジェクトとして管理する。図14に例示する表に示すように、動脈、静脈、骨、臓器等の区分(さらにはそれらをより細分化した区分)に分けて管理されてもよい。個々のオブジェクトごとに、音声認識機能で選択される場合の情報(例えば、大動脈であれば「大動脈(だいどうみゃく)」という音声入力)が設定されていてもよい。
また、個々のオブジェクトのうち必要なもののみを選択的に読み込む際に便利なように、自動判別キー(記号、アルファベット、数字、それらの組合せ)が設定されていてもよい。
また、個々のオブジェクトごとにオフセット値が設定されていてもよい。この例では、オフセット値(表の「CombineOfs」参照)が、例えば、大動脈であれば「+50」、腹部動脈であれば「+100」、静脈であれば「+400」等のように設定されている。
オフセット値は、一例で次のように利用される。例えば、動脈の中心CT値が350HU、静脈の中心CT値が200HUであったとする。このように、血管は、動脈や静脈(さらには門脈)等でそれぞれ造影の度合いが異なる。したがって、それらを揃えるために、オフセット値が利用される上記の例で言えば、静脈のオフセット値を+150HUとして、仮想的に造影効果を上げたことにより、動脈および静脈を同一の閾値設定で扱うことが可能となる。なお、当然ながら、動脈および静脈に限らず門脈などの他の血管でオフセット値が設定されていてもよい。
また、血管系ではなく実質系のオフセット値に関して次のような利用がされてもよい。ここで、一例で、実質臓器(例えば肝臓など)のオフセット値が+700HUなど大きな値で設定されているとする。実質臓器をこのような大きな値とすることで、下記の通り、臓器形状がキープされ易くなるという利点がある。
すなわち、例えば、動脈の抹消の表示が不要である場合、閾値を上げて抹消が表示されない状態とするような操作が想定されるが、この場合、肝臓などの実質臓器もそれに併せて表示が変わり、形状が崩れてしまうこととなる。これを防止するために(つまり、血管の表示態様は変えつつ、実質臓器は本来の形態のままとする)、実質臓器については+700HUなどの大きなオフセット値で表示するようにしてもよい。
(データ変換)
所定のデータサーバ(例えばDICOMサーバ)において、血管、骨、臓器などが別個のオブジェクトとして管理されている場合(一例でテーブルに設定)、次のような利点もある。すなわち、タブレット端末等において医用画像を構成する際に、手作業で個々のオブジェクトの情報(音声認識のためのテキストや、画像合成のためのオフセット値など)を入力する必要がなく、簡便に医用画像を作成することが可能となる。
本実施形態では、基本的に、医用画像処理装置専用の医用画像を作成しておくことが必要となる。その際に、上記のような設定テーブルがあることは作製の手間を少しでも省けるという点で好ましい。但し、術式(どのような手術を行うか等)によっては、幾つかのテーブルが用意されていることが好ましい場合も想定される。この理由は、ある術式ではA血管(もしくはA臓器)がはっきりと視認できることが好ましいが、別の術式ではA血管(もしくはA臓器)よりもB血管(もしくはB臓器)がはっきりと視認できることが好ましいといったことがあるためである。つまり、それぞれ術式に応じたオフセット値が設定されたテーブルがいくつか登録されていることが、一形態において好ましい。
また、この場合、システムまたは装置は次のように構成されていてもよい。すなわち、(i)複数の術式を表示し、(ii)操作者がそのうちの1つを選択したことを受け付け、(iii)それに対応するテーブルを呼び出す(必要に応じて表示する)ように構成されていてもよい。
術式の表示は、例えば、注入条件を設定するユーザインターフェースにおいて、体のどの部位に対する施術かを選択するためのモード(部位選択)に応じてなされてもよい。例えば、選択された所定の部位(頭部、胸部、腹部など)に対応して、その部位に対応する術式を表示する(上記(i)参照)構成であってもよい。
(5)物理的スイッチ等との併用
上述した実施形態は、音声入力やモーション入力(人の動作に対応した入力)を利用するものであった。本発明の一形態では、さらに、所定の物理的スイッチをこれらの入力と併用するようにしてもよい。
具体的には、物理的な接触を検出するスイッチ(たとえばフットスイッチ)などを利用可能である。「フットスイッチ」とは、一例で、床に配置されて使用されるものであって、センサや基板が配置されるスイッチ筐体と、足などで踏まれる押下部とを有している。押下部は、限定されるものではないが、踏まれた時に押し下がるように可動に構成された部分であってもよい。フットスイッチからの検出信号はケーブル(有線)で外部に供給されるようになっていてもよいし、または、無線で外部に供給される構成でもよい。
フットスイッチは、本発明の医用画像処理装置(一例で制御部350、図2参照)に電気的に接続されるものであってもよいが、これに限定されるものではない。フットスイッチが他の機器に接続される構成(一例で薬液注入装置の一部として設けられる)などとしてもよい。
図15は、フットスイッチの配置の一例を示している。この例では、薬液注入装置は、撮像装置470の近くに配置される注入ヘッド475と、それに接続された第1の制御ユニット(電源ユニット)478と、それに接続されたコンソール(第2の制御ユニット)476とを備えている。フットスイッチ477dは一例として電源ユニットに接続されている。
(物理的スイッチの利用例)
本発明の一形態の装置においては、音声操作に関し、複数の受付条件が設定されていてもよい。この受付条件の1つとしてフットスイッチを利用してもよい。
まず、音声操作の複数の受付条件としては、次のような設定がなされていてもよい(1つまたは複数)。
1)モーション入力があるときのみ、音声入力を受け付ける
2)フットスイッチがONとなっているときのみ、音声入力を受け付ける
3)モーション入力があり、かつ、フットスイッチがONとなっているときのみ、音声入力を受け付ける
4)常時、音声入力を受け付ける
なお、上記のような入力条件が、装置の音声操作コマンドテーブルに登録されていてもよい。1)の入力は、換言すれば、モーション入力がない状態では、音声入力を受け付けない構成となっているということである。
音声入力に関し、次のような入力方式となっていることも好ましい。すなわち、例えば「左45°、上30°」のように方向と角度の組合せ情報が入ってきたときに、コマンド入力を受け付けるというものである。組合せ情報でない場合、誤認識の確率が上がるおそれがあるためである。以下詳しく説明する。
音声入力がONとなっており、例えば「上」や「前」のような単語のみも認識可能となっている場合、場合によっては、施術中の会話の中の単語を認識してしまい、意図しない入力が行われることも想定される。そこで、複数の単語の組合せが認識されたときにはじめてコマンドを受け付けるような構成としてもよい。
こうした誤認識防止のための音声入力方式は、必ずしも上記のような、方向と角度の組合せ情報に限定されるものではない。具体的な一例として、画像を前方向に移動させる場合を考える。この場合、移動させる動作モードであることを識別するための「方向」という単語(一例)と、移動させたい向きである「前」という単語(一例)の2つを認識した場合に、コマンドを受け付ける。誤認識防止の観点から、「方向」+「前」のような入力は受け付けるが、反対の「前」+「方向」のような入力は受け付けない構成としてもよい(すなわち、組合せの順序が決まっている)。他にも、画像を拡大表示するコマンドに関し、単に「拡大」という単語を認識するのではなく、例えば「3D」+「拡大」のような組合せを認識したときにはじめてコマンドを受け付ける構成としてもよい。このような構成により、意図しない音声入力を防止することができ、より使い勝手のよいものとなる。
音声入力の一態様として、上記の態様の他にまたは上記の態様とともに、ある一定時間の間のみ、音声入力を受け付ける(その一定時間以外は音声入力を受け付けない構成)構成であってもよい。
フットスイッチの入力に関し、フットスイッチは、押下部が踏まれている間のみONとなるようなものであってもよい。フットスイッチの入力に対する処理として、一定時間以上踏まれた場合(いわゆる長押しの場合)にのみ、それに続く処理を行うようにしてもよい。これによれば、意図せずフットスイッチを押してしまって不要な処理が行われるといったことが防止される。このような処理が懸念されるプロセスに関し、上記のような入力を行うようにしてもよい。また、フットスイッチではなく、他のスイッチ(物理的スイッチ)がONとなっているときに、上記動作を行うようにしてもよい。
音声入力に関し、次のような機能が備わっていてもよい。ここで、本発明の一形態に係る典型的な画像処理装置は、音声入力に適した所定のモードのみ音声入力で入力が行われ、それ以外は別の入力方式で入力が行われるようになっているものとする。このような場合に、所定の入力がなされたとき(一例で「音声オールON」と音声入力する)、本来音声入力による入力がデフォルトとなっていないもの(それらの少なくとも一部)についても、音声入力が可能となる機能が備わっていてもよい。もっとも、このような音声入力の拡張は、一例で、一定時間経過後自動的に終了してもとの状態に戻るようになっていてもよい(タイムアウト機能)。限定されるものではないが、予め設定された1分、3分、または5分程度のタイムアウト時間としてもよい。
限定されるものではないが、角度を指定するための入力に関しては、常に、音声のみに反応する構成としてもよい。また、音声入力の各ワードのテーブルを用意し、そのワードごとに、どのような状況のときに入力を許可するか等(例えば「aaa」というワード入力に関してはフットスイッチがONとなっている状態でないと受け付けない、「bbb」というワード入力は常に受け付ける等)が設定されていてもよい。
(ホームポジション設定機能)
ところで、本発明の画像処理装置は、基本的には、どの部位であろうと、常に一定の向きから見た医用画像をデフォルト表示するような構成であってもよい。一例で、どのような部位および/または術式であっても、常に、体の正面から見た画像をデフォルト表示するという構成である。
しかしながら、部位および/または術式の種別によっては、それに好ましい、予め設定されたアングルから見た画像をデフォルト表示するような構成であることも、一形態において、好ましい。例えば、胸腔鏡下手術では、側臥位が基本となる。したがって、胸腔鏡下手術の場合には、側臥位の向きをホームポジションとしデフォルト表示するように構成されていてもよい。
つまり、本発明の一形態においては、部位および/または術式の種別に応じて、正面視のみではなく、それぞれに適した別々の表示アングルがプリセットされていて、それをデフォルト表示する構成となっていてもよい。
ホームポジションの選択は、術式、部位および腫瘍の位置の少なくとも1つに応じて、手動または自動で、設定されるものであってもよい。具体的な一例で言えば、病変が左肺にあるか右肺にあるかによって、左側臥位とすべきか右側臥位とすべきかが決まる。病変(腫瘍)の位置を自動認識し、それに応じて、いずれかを自動的に決定するような構成も有用である。
(画面表示の一例)
音声入力がONとなっている状態で表示される画面は、例えば図16のようなものであってもよい。なお、この画面は図6に示した表示例に、幾つかの画像を追加して表示するものであるが、図6の画像(符号391、393参照)等は省略してもよいことは当業者であれば容易に理解されよう。
図16に示すように、音声認識(音声入力)が可能である状態であることを理解できるように、画面上に音声認識(音声入力)ONの表示397bがあってもよい。また、モーション入力についても同様に、モーション入力ONの表示397aがあってもよい。また、認識した音声を、文字として表示する表示部398を有することも好ましい。これにより、どのような音声入力がされたかを視覚的に確認することが可能となる。
また、認識した音声に対して、コマンドとして受け付けられたか否かを示す表示部399を有していてもよい。受け付けられなかった場合に、「REJECTED」のような表示が出るようになっていてもよく、これにより、操作者は受け付けられなかったことを視覚的に確認可能となる。
以上、図面を参照して本発明の実施形態について説明したが、本発明はその趣旨を逸脱しない範囲で種々変更可能であり、上記例に限定されるものではない。
以上、複数の技術的特徴を説明したが、上記に開示のそれぞれの技術的特徴は、互いに相反するもののような場合を除き、適宜組合せて利用できるものであり、本明細書はそのような内容をも開示する。また、説明の都合上、幾つかの技術的特徴を1つの実施態様として説明した個所に関しても、それらの特徴の1つまたは複数を省略することが可能である。物の発明、方法の発明、またはコンピュータプログラムの発明の区別をせずに説明した技術内容であっても、当業者であれば、いずれの発明としても把握できることを理解されよう。
(付記)
本明細書は下記の発明を開示する(なお、括弧中の符号は本発明を何ら限定するものではない):
1.ディスプレイ(361)と、
前記ディスプレイに接続された制御部(350)と、
音声入力デバイス(370)と、
モーションセンサ(380)と、
を備える医用画像処理装置(301)であって、
前記制御部(350)は、
a:前記ディスプレイに3次元医用画像を表示させる画像表示部と、
b:前記音声認識デバイス(170)を用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるモード選択部と、
c:前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する表示処理部と、
を有する、
医用画像処理装置。または、上記のような特徴を有する制御部を少なくとも有する装置またはシステム。
2.3次元医用画像の表示に関する前記モードとして、
画像の拡大および縮小をズームモード、
画像を平行移動させるパンモード、
画像を回転させる回転モード、
のうち少なくとも1つを有する、上記記載の医用画像処理装置。
3.前記ズームモードでは、操作者の手を第1の方向に移動させると3次元医用画像が拡大し、それとは反対の第2の方向に移動させると3次元医用画像が縮小する、
上記記載の医用画像処理装置。
4.前記ズームモードでは、3次元用画像を回転させずに、拡大または縮小が行われる、上記記載の医用画像処理装置。
5.前記回転モードでは、操作者の手の動きに対応して、3次元医用画像が回転する、
上記記載の医用画像処理装置。
6.前記回転モードでは、3次元用画像を拡大または縮小させずに、拡大または縮小が行われる、上記記載の医用画像処理装置。
7.筐体(301a)を備え、
少なくとも前記ディスプレイと前記制御部とが一体的に前記筐体に組み込まれた、可搬型の上記記載の医用画像処理装置。
8.前記モーションセンサは、1つもしくは複数のカメラを有する、上記記載の医用画像処理装置。
9.前記3次元医用画像が、少なくとも肝臓および血管の画像データを含むものである、上記記載の医用画像処理装置。
10.前記音声入力デバイスがマイクである、上記記載の医用画像処理装置。
11.コンピュータに、
a:ディスプレイに3次元医用画像を表示させる処理と、
b:音声認識デバイス(170)を用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替える処理と、
c:モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する処理と、
を行わせる、医用画像処理プログラム。
12.3次元医用画像の表示に関する前記モードとして、
画像の拡大および縮小をズームモード、
画像を平行移動させるパンモード、
画像を回転させる回転モード、
のうち少なくとも1つを有する、上記記載のプログラム。
13.前記ズームモードでは、操作者の手を第1の方向に移動させると3次元医用画像が拡大し、それとは反対の第2の方向に移動させると3次元医用画像が縮小するように、コンピュータに処理を行わせる、上記記載のプログラム。
14.前記ズームモードでは、3次元用画像を回転させずに、拡大または縮小が行われるように、コンピュータに処理を行わせる、上記記載のプログラム。
15.前記回転モードでは、操作者の手の動きに対応して、3次元医用画像が回転するように、コンピュータに処理を行わせる、上記記載のプログラム。
16.前記回転モードでは、3次元用画像を拡大または縮小させずに、拡大または縮小が行われるように、コンピュータに処理を行わせる、上記記載のプログラム。
17.コンピュータが、ディスプレイに3次元医用画像を表示させるステップと、
コンピュータが、音声認識デバイス(170)を用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるステップと、
コンピュータが、モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更するステップと、
を含む、医用画像処理装置の作動方法。
18.3次元医用画像の表示に関する前記モードとして、
画像の拡大および縮小をズームモード、
画像を平行移動させるパンモード、
画像を回転させる回転モード、
のうち少なくとも1つを有する、上記記載の方法。
19.前記ズームモードでは、操作者の手を第1の方向に移動させると3次元医用画像が拡大し、それとは反対の第2の方向に移動させると3次元医用画像が縮小するようになっている、上記記載の作動方法。
20.前記ズームモードでは、3次元用画像を回転させずに、拡大または縮小が行われるようになっている、上記記載の作動方法。
21.前記回転モードでは、操作者の手の動きに対応して、3次元医用画像が回転するようになっている、上記記載の作動方法。
1 撮像装置
10 薬液注入装置
71、371 肝臓
73、75、375 血管
301 医用画像処理装置
301a 筐体
350 制御部
351 音声認識部
353 ジェスチャ認識部
355a 画像表示部
355b 操作判定部
355c 表示処理部
359 記憶部
360 タッチパネル式ディスプレイ
361 ディスプレイ
363 タッチパネル
365 入力デバイス
367 通信部
368 インターフェース
369 スロット
370 マイク
380 モーションセンサ
上記課題を解決するための本発明の一形態の医用画像処理装置は下記の通りである: ディスプレイと、
前記ディスプレイに接続された制御部(プロセッサ)と、
音声入力デバイスと、
モーションセンサと、
を備える医用画像処理装置であって、
前記制御部(プロセッサ)は、
a:前記ディスプレイに3次元医用画像を表示させる画像表示部と、
b:前記音声入力デバイスを用いて入力された音声を認識し、それに応じて、前記3次元 医用画像の表示に関するモードを切り替えるモード選択部と、
c:前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前 記3次元医用画像の表示を変更する表示処理部と、
を有する、医用画像処理装置。
言い換えれば、本発明の一形態の装置は、制御部(プロセッサ)が、
−前記ディスプレイに3次元医用画像を表示させ、
−前記音声入力デバイスを用いて入力された音声を認識し、それに応じて、前記3次元医 用画像の表示に関するモードを切り替え、
−前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する、ように構成されている。
そして、肝臓の透過度を変更したい場合には、例えば操作者が「透過」と発声する。画像処理装置301はそれを音声認識し、肝臓を半透明状態での表示に切り替える。この状態では、他の解剖学的構造部(一例で、血管および腫瘍)は不透過のまま表示され続ける。このような構成によれば、本来であれば肝臓に隠れて見ることができない血管等についても、確認できるようになる。
この構成によれば、動脈、静脈、門脈等のそれぞれの表示態様を変更する必要がなくなるので、非常に操作性が良く実用に資するものとなる。
)物理的スイッチ等との併用
上述した実施形態は、音声入力やモーション入力(人の動作に対応した入力)を利用す るものであった。本発明の一形態では、さらに、所定の物理的スイッチをこれらの入力と 併用するようにしてもよい。
(付記)
本明細書は下記の発明を開示する(なお、括弧中の符号は本発明を何ら限定するものではない):
1.ディスプレイ(361)と、
前記ディスプレイに接続された制御部(350)と、
音声入力デバイス(370)と、
モーションセンサ(380)と、
を備える医用画像処理装置(301)であって、
前記制御部(350)は、
a:前記ディスプレイに3次元医用画像を表示させる画像表示部と、
b:前記音声入力デバイス(70)を用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるモード選択部と、
c:前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する表示処理部と、
を有する、
医用画像処理装置。または、上記のような特徴を有する制御部を少なくとも有する装置
またはシステム。
11.コンピュータに、
a:ディスプレイに3次元医用画像を表示させる処理と、
b:音声入力デバイス(70)を用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替える処理と、
c:モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する処理と、
を行わせる、医用画像処理プログラム。
12.3次元医用画像の表示に関する前記モードとして、
画像拡大および縮小させるズームモード、
画像を平行移動させるパンモード、
画像を回転させる回転モード、
のうち少なくとも1つを有する、上記記載のプログラム。
17.コンピュータが、ディスプレイに3次元医用画像を表示させるステップと、
コンピュータが、音声入力デバイス(70)を用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるステップと、
コンピュータが、モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更するステップと、
を含む、医用画像処理装置の作動方法。
18.3次元医用画像の表示に関する前記モードとして、
画像拡大および縮小させるズームモード、
画像を平行移動させるパンモード、
画像を回転させる回転モード、
のうち少なくとも1つを有する、上記記載の方法。

Claims (12)

  1. ディスプレイと、
    前記ディスプレイに接続された制御部と、
    音声入力デバイスと、
    モーションセンサと、
    を備える医用画像処理装置であって、
    前記制御部は、
    a:前記ディスプレイに3次元医用画像を表示させる画像表示部と、
    b:前記音声認識デバイスを用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるモード選択部と、
    c:前記モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する表示処理部と、
    を有する、
    医用画像処理装置。
  2. 3次元医用画像の表示に関する前記モードとして、
    画像の拡大および縮小をズームモード、
    画像を平行移動させるパンモード、
    画像を回転させる回転モード、
    のうち少なくとも1つを有する、請求項1に記載の医用画像処理装置。
  3. 前記ズームモードでは、操作者の手を第1の方向に移動させると3次元医用画像が拡大し、それとは反対の第2の方向に移動させると3次元医用画像が縮小する、
    請求項2に記載の医用画像処理装置。
  4. 前記ズームモードでは、3次元用画像を回転させずに、拡大または縮小が行われる、請求項2または3に記載の医用画像処理装置。
  5. 前記回転モードでは、操作者の手の動きに対応して、3次元医用画像が回転する、
    請求項2に記載の医用画像処理装置。
  6. 前記回転モードでは、3次元用画像を拡大または縮小させずに、拡大または縮小が行われる、請求項5に記載の医用画像処理装置。
  7. 筐体を備え、
    少なくとも前記ディスプレイと前記制御部とが一体的に前記筐体に組み込まれた、可搬型の請求項1〜6のいずれか一項に記載の医用画像処理装置。
  8. 前記モーションセンサは、1つもしくは複数のカメラを有する、請求項1〜7のいずれか一項に記載の医用画像処理装置。
  9. 前記3次元医用画像が、少なくとも肝臓および血管の画像データを含むものである、請求項1〜8のいずれか一項に記載の医用画像処理装置。
  10. 前記音声入力デバイスがマイクである、請求項1〜9のいずれか一項に記載の医用画像処理装置。
  11. コンピュータに、
    a:ディスプレイに3次元医用画像を表示させる処理と、
    b:音声認識デバイスを用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替える処理と、
    c:モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更する処理と、
    を行わせる、医用画像処理プログラム。
  12. コンピュータが、ディスプレイに3次元医用画像を表示させるステップと、
    コンピュータが、音声認識デバイスを用いて入力された音声を認識し、それに応じて、前記3次元医用画像の表示に関するモードを切り替えるステップと、
    コンピュータが、モーションセンサを介して操作者のモーション入力を認識し、それに応じて、前記3次元医用画像の表示を変更するステップと、
    を含む、医用画像処理装置の作動方法。
JP2021082521A 2015-08-26 2021-05-14 医用画像処理装置および医用画像処理プログラム Active JP7229569B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023017220A JP2023071677A (ja) 2015-08-26 2023-02-08 医用画像処理装置および医用画像処理プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015166871 2015-08-26
JP2015166871 2015-08-26
JP2017536488A JPWO2017034020A1 (ja) 2015-08-26 2016-08-26 医用画像処理装置および医用画像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017536488A Division JPWO2017034020A1 (ja) 2015-08-26 2016-08-26 医用画像処理装置および医用画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023017220A Division JP2023071677A (ja) 2015-08-26 2023-02-08 医用画像処理装置および医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2021121337A true JP2021121337A (ja) 2021-08-26
JP7229569B2 JP7229569B2 (ja) 2023-02-28

Family

ID=58100556

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017536488A Pending JPWO2017034020A1 (ja) 2015-08-26 2016-08-26 医用画像処理装置および医用画像処理プログラム
JP2021082521A Active JP7229569B2 (ja) 2015-08-26 2021-05-14 医用画像処理装置および医用画像処理プログラム
JP2023017220A Pending JP2023071677A (ja) 2015-08-26 2023-02-08 医用画像処理装置および医用画像処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017536488A Pending JPWO2017034020A1 (ja) 2015-08-26 2016-08-26 医用画像処理装置および医用画像処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023017220A Pending JP2023071677A (ja) 2015-08-26 2023-02-08 医用画像処理装置および医用画像処理プログラム

Country Status (2)

Country Link
JP (3) JPWO2017034020A1 (ja)
WO (1) WO2017034020A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070053485A1 (en) * 2005-09-08 2007-03-08 Aloka Co., Ltd. Computerized tomography device using X rays and image processing method
JP2008259710A (ja) * 2007-04-12 2008-10-30 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2014012208A (ja) * 2007-12-03 2014-01-23 Data Physics Research Inc 効率的な撮像システムおよび方法
JP2014054358A (ja) * 2012-09-12 2014-03-27 Fujifilm Corp 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
JP2014079317A (ja) * 2012-10-15 2014-05-08 Toshiba Corp 画像処理装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3625933B2 (ja) * 1995-12-14 2005-03-02 ジーイー横河メディカルシステム株式会社 医用画像表示装置
JPH10301567A (ja) * 1997-04-22 1998-11-13 Kawai Musical Instr Mfg Co Ltd 電子楽器の音声制御装置
JP2003280681A (ja) * 2002-03-25 2003-10-02 Konica Corp 医用画像処理装置、医用画像処理方法、プログラム、及び記録媒体
JP2006051170A (ja) * 2004-08-11 2006-02-23 Toshiba Corp 画像診断装置、頭部虚血部位解析システム、頭部虚血部位解析プログラムおよび頭部虚血部位解析方法
JP2009061028A (ja) * 2007-09-05 2009-03-26 Nemoto Kyorindo:Kk 画像処理装置及びそれを備えた医用ワークステーション
JP4519898B2 (ja) * 2007-11-06 2010-08-04 ザイオソフト株式会社 医療画像処理装置および医療画像処理プログラム
JP2011118684A (ja) * 2009-12-03 2011-06-16 Toshiba Tec Corp 調理補助端末及びプログラム
EP2524280A1 (en) * 2010-01-14 2012-11-21 BrainLAB AG Controlling a surgical navigation system
JP6088498B2 (ja) * 2011-06-22 2017-03-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 医用画像を処理するシステム及び方法
US20150212676A1 (en) * 2014-01-27 2015-07-30 Amit Khare Multi-Touch Gesture Sensing and Speech Activated Radiological Device and methods of use

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070053485A1 (en) * 2005-09-08 2007-03-08 Aloka Co., Ltd. Computerized tomography device using X rays and image processing method
JP2008259710A (ja) * 2007-04-12 2008-10-30 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2014012208A (ja) * 2007-12-03 2014-01-23 Data Physics Research Inc 効率的な撮像システムおよび方法
JP2014054358A (ja) * 2012-09-12 2014-03-27 Fujifilm Corp 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
JP2014079317A (ja) * 2012-10-15 2014-05-08 Toshiba Corp 画像処理装置及びプログラム

Also Published As

Publication number Publication date
WO2017034020A1 (ja) 2017-03-02
JPWO2017034020A1 (ja) 2018-08-02
JP2023071677A (ja) 2023-05-23
JP7229569B2 (ja) 2023-02-28

Similar Documents

Publication Publication Date Title
US11096668B2 (en) Method and ultrasound apparatus for displaying an object
US10403402B2 (en) Methods and systems for accessing and manipulating images comprising medically relevant information with 3D gestures
US11314846B1 (en) Surgical communication and computerization infrastructure
KR102244258B1 (ko) 디스플레이 장치 및 이를 이용한 영상표시방법
EP2821013B1 (en) Method and apparatus for changing user interface based on user motion information
US10617391B2 (en) Ultrasound apparatus and information providing method of the ultrasound apparatus
JP6994466B2 (ja) 医療情報との相互作用のための方法およびシステム
US20200293174A1 (en) Medical record system using a patient avatar
JP6774367B2 (ja) ヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム、並びに画像表示システム
JP5747007B2 (ja) 医用画像表示装置、医用画像表示方法および医用画像表示プログラム
US20110214055A1 (en) Systems and Methods for Using Structured Libraries of Gestures on Multi-Touch Clinical Systems
US10269453B2 (en) Method and apparatus for providing medical information
JP6501525B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6462358B2 (ja) 医用画像表示端末および医用画像表示プログラム
JP7229569B2 (ja) 医用画像処理装置および医用画像処理プログラム
US11650672B2 (en) Healthcare information manipulation and visualization controllers
JP6902012B2 (ja) 医用画像表示端末および医用画像表示プログラム
WO2016201637A1 (en) Guided ultrasound breast cancer screening system
JP7107590B2 (ja) 医用画像表示端末および医用画像表示プログラム
US20190015073A1 (en) Image displaying device, control method thereof, and medical device
JP2018094421A (ja) 医療映像表示方法及び医療映像表示装置
JP6968950B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2022145671A (ja) ビューワ、前記ビューワの制御方法および前記ビューワの制御プログラム
JP2021133170A (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
JP2021171443A (ja) 医用画像処理装置、医用画像処理装置の制御方法および医用画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R150 Certificate of patent or registration of utility model

Ref document number: 7229569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150