JP2008079770A - 読影支援装置、読影支援方法及びプログラム - Google Patents

読影支援装置、読影支援方法及びプログラム Download PDF

Info

Publication number
JP2008079770A
JP2008079770A JP2006262257A JP2006262257A JP2008079770A JP 2008079770 A JP2008079770 A JP 2008079770A JP 2006262257 A JP2006262257 A JP 2006262257A JP 2006262257 A JP2006262257 A JP 2006262257A JP 2008079770 A JP2008079770 A JP 2008079770A
Authority
JP
Japan
Prior art keywords
image
information
blood vessel
interpretation
interpretation report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006262257A
Other languages
English (en)
Other versions
JP4026158B1 (ja
Inventor
Hiroshi Fujita
廣志 藤田
Ryoichi Uchiyama
良一 内山
Hitoshi Futamura
仁 二村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gifu University NUC
Konica Minolta Medical and Graphic Inc
Original Assignee
Gifu University NUC
Konica Minolta Medical and Graphic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gifu University NUC, Konica Minolta Medical and Graphic Inc filed Critical Gifu University NUC
Priority to JP2006262257A priority Critical patent/JP4026158B1/ja
Application granted granted Critical
Publication of JP4026158B1 publication Critical patent/JP4026158B1/ja
Publication of JP2008079770A publication Critical patent/JP2008079770A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】読影レポートの入力作業の容易化を図るとともに入力の自由度を保持し、かつ精度の高い検索が可能な読影支援装置を提供する。
【解決手段】読影支援装置10では、候補検出部16において入力された頭部画像から動脈瘤候補を検出し、当該動脈瘤候補の特徴量を算出する。制御部11はこの特徴量と対応付けられたインデックス情報を生成して情報分析系DB21に記憶させる。また、制御部11は前記特徴量を用いて読影レポートのテンプレート文を生成するとともに、修正入力に応じて前記テンプレート文を修正し、修正された修正文を用いて読影レポート情報を生成する。生成された読影レポート情報は前記インデックス情報とを対応付けて業務系DB22に記憶させる。
【選択図】図1

Description

本発明は、頭部画像の読影作業を支援する読影支援装置、読影支援方法及びプログラムに関する。
近年、多くの病院で読影レポートがデータ化されている。放射線科医は、患者のX線撮影、CT撮影、MRI撮影等によって得られた医用画像を読影した後、その結果を読影レポートとしてコンピュータに入力している。コンピュータでは入力に応じて読影レポート情報が生成され、データベース化されて保存される(例えば、特許文献1参照)。
読影レポートの入力作業については医師の負担を軽減するため、様々な入力支援方法が考えられている。
例えば、いくつかの単語部分を自由入力欄としたテンプレート文を準備しておき、異常部分の検出結果を当該自由入力欄へ入力してレポート文を自動生成するものがある(例えば、特許文献2参照)。この場合、医師が読影レポート文を全て入力するのではなく、読影の結果に応じて修正すればよく、医師の入力は最小限で済む。また、修正が可能であるため、医師が慣用する用語等を用いることができ、医師の読影スタイルに応じた読影レポート文とすることができる。
特開平7−323024号公報 特開平7−31591号公報
しかしながら、上記特許文献2に記載の方法では、自由に修正が可能であるため、医師によって異なる表現により読影レポート情報が生成されることとなる。例えば、脳動脈瘤が存在する血管部位の名称を入力するにも、「右中大脳動脈」、「Rt.MCA」、「右MCA」等、同じ意味を表すために様々な表現が用いられる。従って、後日、読影レポート文に用いた表現を検索キーとして類似症例の読影レポートを検索しようとする場合、類似症例であるにも拘わらず、読影レポート中に用いている表現が異なるため検索漏れが生じるという問題がある。
このような問題に対し、上記テンプレート文中の単語部分について予めいくつかの入力候補を用意しておき、医師に何れの候補を入力するかを選択させるという方法も考えられる。この方法によれば、検索キーワードの表現を統一することができ、検索漏れを防止することができるが、医師の表現の自由度が低下し、読影結果を十分に表現することができない場合が考えられる。
また、類似症例の検索にあたっては脳動脈瘤等の病変部分の大きさや形状等の特徴量が検索キーワードとなりやすいが、医師がそれらを検索キーワードとして選択する場合、医師の主観的な判断によって選択されるため、選択に偏りが生じ、効率よく検索を行うことができないという問題がある。
本発明の課題は、読影レポートの入力作業の容易化を図るとともに入力の自由度を保持し、かつ精度の高い検索が可能な読影支援装置を提供することである。
請求項1に記載の発明は、読影支援装置において、
入力された頭部画像から動脈瘤候補を検出する検出手段と、
前記検出された動脈瘤候補の特徴量を算出する特徴量算出手段と、
前記算出された特徴量と対応付けられたインデックス情報を生成するインデックス生成手段と、
前記生成されたインデックス情報を記憶する検索用記憶手段と、
前記算出された特徴量を用いて読影レポートのテンプレート文を生成するテンプレート生成手段と、
修正入力に応じて前記テンプレート文を修正し、修正された修正文を用いて読影レポート情報を生成するレポート生成手段と、
前記生成された読影レポート情報と前記検索用記憶手段に記憶されたインデックス情報とを対応付けて記憶する保存用記憶手段と、
前記検索用記憶手段に記憶されたインデックス情報を検索する検索手段と、
前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力手段と、
を備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載の読影支援装置において、
前記動脈瘤候補が検出された頭部画像を、前記生成されたインデックス情報と対応付けて記憶する画像記憶手段を備え、
前記出力手段は、前記検索手段により検索されたインデックス情報に対応する頭部画像を前記保存用記憶手段から取得して出力することを特徴とする。
請求項3に記載の発明は、請求項1又は2に記載の読影支援装置において、
前記特徴量には、前記動脈瘤候補の大きさ、形状、動脈瘤候補が位置する血管部位が含まれることを特徴とする。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の読影支援装置において、
前記頭部画像から血管像を抽出する抽出手段と、
血管像に含まれる一又は複数の血管部位の位置が予め定められた参照画像を用いて、前記頭部画像から抽出された血管像に含まれる一又は複数の血管部位を判別する血管判別手段と、
前記頭部画像において判別された各血管部位のうち、前記動脈瘤候補が検出された血管部位の血管像のみを抽出した抽出画像を生成する画像処理手段と、を備え、
前記レポート生成手段は、前記生成された抽出画像を前記読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の読影支援装置において、
前記レポート生成手段は、前記生成されたインデックス情報に対応する過去の読影レポート情報又は頭部画像を前記記憶手段から取得し、この取得された読影レポート情報又は頭部画像へのリンク情報を前記生成された読影レポート情報に付加して前記記憶手段に記憶させることを特徴とする。
請求項6に記載の発明は、請求項1〜5の何れか一項に記載の読影支援装置において、
前記保存用記憶手段は、前記インデックス情報に対応付けて前記脳動脈瘤候補について実施された手術件数の情報を記憶し、
前記出力手段は、前記インデックス生成手段により生成されたインデックス情報に対応する過去の手術件数の情報を前記保存用記憶手段から取得し、この取得された手術件数の総数を算出して出力することを特徴とする。
請求項7に記載の発明は、
入力された頭部画像から動脈瘤候補を検出する検出工程と、
前記検出された動脈瘤候補の特徴量を算出する特徴量算出工程と、
前記算出された特徴量と対応付けられたインデックス情報を生成するインデックス生成工程と、
検索用記憶手段に前記生成されたインデックス情報を記憶するインデックス記憶工程と、
前記算出された特徴量を用いて読影レポートのテンプレート文を生成するテンプレート生成工程と、
修正入力に応じて前記テンプレート文を修正し、修正された修正文を用いて読影レポート情報を生成する読影レポート生成工程と、
保存用記憶手段に前記生成された読影レポート情報と前記検索用記憶手段に記憶されたインデックス情報とを対応付けて記憶する読影レポート記憶工程と、
前記検索用記憶手段に記憶されたインデックス情報を検索する検索工程と、
前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力工程と、
を含むことを特徴とする。
請求項8に記載の発明は、
コンピュータを、請求項1〜6の何れか一項に記載の医用画像処理装置として機能させるプログラムであることを特徴とする。
請求項1、3、7、8に記載の発明によれば、テンプレート文を生成することにより医師による読影レポート文の入力作業を省くことができる。このテンプレート文について修正があった場合にはその修正に応じて新たに生成された修正文により読影レポート情報を作成するので、医師が自由に読影レポート文の編集することができ、読影レポート文の入力の自由度が高い。また、動脈瘤候補についての特徴量に対応してインデックス情報を生成し、このインデックス情報により読影レポート情報を検索することができる。すなわち、インデックス情報により、検索キーワードの表現を統一することができ、検索精度を向上させることができる。また、読影レポート情報とは別個にインデックス情報が保持されるので、読影レポート文について修正の有無に拘わらず検索を行うことができる。従って、医師の表現の自由度が担保された状態でありながら、精度の高い読影レポートの検索が可能となる。
請求項2に記載の発明によれば、読影レポート情報と同様に頭部画像についてもインデックス情報による検索が可能となる。
請求項4に記載の発明によれば、読影レポート情報に付加する画像を選択したり、編集する医師の作業負担を軽減することができる。また、付加する抽出画像は動脈瘤候補が検出された血管部位のみを抽出したものであるので、医師は関心がある血管部位に注目して読影を行うことが可能となる。血管像は複数の血管部位が重なり合うことが多いため、このように関心が高い血管部位のみを抽出した画像は読影に際して非常に有用である。
請求項5に記載の発明によれば、読影レポート情報に付加する過去の類似症例に係る読影レポート情報等を選択したり、編集したりする医師の作業負担を軽減することができる。また、読影レポート情報の参照時にはリンク情報により類似症例に係る読影レポート情報等に容易にアクセスすることができる。
請求項6に記載の発明によれば、読影レポート情報に付加するため、手術件数の割合を求めて入力するといった手間を省くことができる。動脈瘤候補は未発症の状態であるため、手術件数の割合は今後の病状の進行、手術の必要性を判断する上で上記手術件数の割合は非常に有用な情報である。
まず、構成を説明する。
図1に、本実施形態における読影支援装置10の構成を示す。
図1に示すように、読影支援装置10は制御部11、操作部12、表示部13、通信部14、記憶部15、候補検出部16、情報分析系DB21、業務系DB22を備えて構成されている。
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成されている。制御部11は、記憶部15に記憶されている制御用プログラムをRAMに展開し、当該プログラムに従って各種演算を行う。また、各部12〜22の動作を集中制御する。
制御部11は、後述する保存処理においてインデックス情報を生成するインデックス情報生成手段、読影レポートのテンプレート文を生成するテンプレート生成手段、読影レポート情報を生成するレポート生成手段、読影レポート情報に付加するMIP画像(動脈瘤候補が検出された血管部位の血管像のみを抽出した抽出画像)を生成する画像処理手段として機能する。また、情報分析系DB21においてインデックス情報を検索する検索手段として機能する。
操作部12は、キーボードやマウス等を備えて構成されており、これらの操作に応じて対応する操作信号を生成して制御部11に出力する。
表示部13は、LCD(Liquid Crystal Display)等を備えた出力手段である。表示部13は、制御部11の表示制御に従ってLCD上に操作画面や検索結果等を表示出力させる。
通信部14は、通信用のインターフェイスを備え、ネットワーク上の外部装置と通信を行う。例えば、ネットワーク上のモダリティにおいて生成された頭部画像を当該モダリティから受信する。
記憶部15は、制御用のプログラム、プログラムの実行に必要なパラメータ、データ等を記憶している。
候補検出部16は、頭部画像から動脈瘤候補を検出する検出手段である。また、検出された動脈瘤候補について画像特徴量(以下、単に特徴量という)を算出する特徴量算出手段である。また、候補検出部16は頭部画像から血管像を抽出する抽出手段、検出された動脈瘤候補が位置する血管部位及びその名称を判別する血管判別手段として機能する。
情報分析系DB21は、検索のための情報、すなわちインデックス情報を記憶するための検索用記憶手段である。インデックス情報は、候補検出部16により算出された動脈瘤候補の特徴量を用いて生成されるものであり、統一的な規格に従って生成されるものである。
図2に、インデックス情報のデータ例を示す。
インデックス情報H1は、図2に示すように動脈瘤候補の大きさ(動脈瘤候補が占める領域の直径)の情報H11、形状(球形度)の情報H12、位置(動脈瘤候補が検出された血管部位の名称)の情報H13の各項目情報からなる。また、インデックス情報には個々のインデックス情報を識別するためのインデックスID(符号h1で示す)が付与されている。
業務系DB22は、保存用の情報を記憶するための保存用記憶手段であり、頭部画像を記憶する画像記憶手段でもある。業務系DB22は、図3に示すように検査撮影により生成された頭部画像H2や当該頭部画像についての読影レポート情報H3、動脈瘤候補の詳細な検出結果の情報H4の他、関連情報H5として当該動脈瘤候補について実施された手術に関する手術情報H51(手術日、執刀医、手術件数等の情報)、電子カルテH52等を対応付けて記憶している。これら一連の情報には対応するインデックス情報のIDh1が対応付けられている。なお、読影レポート情報H3にはレポート文H31(テンプレート文、当該テンプレート文を修正した修正文を含む)、過去の類似症例へのリンク情報H32、当該類似症例における手術件数の割合の情報H33、MIP画像(サムネイル)H34等が含まれる。
次に、上記読影支援装置10の動作について説明する。
図4〜図6は、読影支援装置10により実行される保存処理を説明するフローチャートである。なお、以下の処理において、ステップS3が検出工程に、ステップS4が特徴量算出工程に、ステップS5がインデックス生成工程、インデックス記憶工程に、ステップS11がテンプレート生成工程に、ステップS18が読影レポート生成工程に、ステップS7が読影レポート記憶工程に、ステップS21が検索工程に、ステップS22〜S25が出力工程に対応するものである。
図4に示すように、まず処理対象の頭部画像H2が読影支援装置10に入力されると(ステップS1)、制御部11は当該頭部画像H2について前処理を行った後、MIP(Maximum Intensity Projection)処理を施して得られた処理画像を表示部13上に表示させる(ステップS2)。頭部画像H2は、患者の頭部を撮影した3次元MRA画像である。MRAはMRIの血管撮像方法の1種であり、血流のある血管を画像化する方法である。また、MIP処理は3次元画像においてある方向から平行光線によって投影を行うとともに、この投影線上にあるボクセル中の最大の輝度(ボクセル値)を投影面に反映させて2次元画像を作成する処理である。この投影方向は医師が観察を行う視線方向となる。
前処理としては正規化処理を行う。
正規化処理は、被写体や撮影条件によって頭部画像H2のボクセルが等サイズではない直方体となったり、ボクセル値の最大値、最小値にばらつきが生じたりすることから、頭部画像H2の前提条件を統一するために行う処理である。
正規化処理では、頭部画像H2のボクセルを構成する全ての変が等サイズとなるように線形補間法により変換する。次に、頭部画像H2の全てのボクセルのボクセル値についてヒストグラムを作成し、ヒストグラムの上位5%以上のボクセル値を1024、最小のボクセル値を0として頭部画像H2の全てのボクセル値を0〜1024の階調に線形変換する。
図7に、読影画面d1上に表示されたMIP処理後の頭部画像g1の例を示す。
図7に示すように、読影画面d1は左右に2分割され、左側が頭部画像g1の表示領域、右側が読影レポート用の表示領域とされている。この読影画面d1において、医師は動脈瘤候補を検出する対象領域を指定することが可能である。指定操作は読影画面d1上に表示されたポインタを動脈瘤かどうかが疑わしい位置に移動させ、クリック操作することにより可能である。
読影画面d1の頭部画像g1において検出対象領域の指定操作がなされると、候補検出部16は頭部画像g1上のポインタの位置から所定範囲内の領域(図7に示す点線領域)を検出対象領域として、当該検出対象領域において動脈瘤候補の検出処理を実行する(ステップS3)。
動脈瘤候補の検出処理では、血管像の抽出処理を行って頭部画像H2(正規化処理後のもの)から血管像のみを抽出した血管抽出画像を生成した後、この血管抽出画像を用いて検出を行う。
血管像の抽出処理では、まず閾値処理によって2値化を行い、その2値化画像を用いて領域拡張法により頭部画像H2における血管像を判断する。MRA画像では、血管像は白く、その他の組織成分は黒っぽく現れるため、2値化画像では血管像はその他の領域とは異なる値となる。よって、領域拡張法により血管像と同程度の信号値を有する領域を検出する。具体的には、2値化画像において始点となるボクセル(最も白く高濃度値のボクセル)を決定し、2値化処理前の頭部画像H2においてその始点のボクセルの近傍26ボクセルを調べ、ある判定条件(例えば、濃度値が500以上であること)を満たす近傍ボクセルを血管像と判断する。この血管像と判断された近傍ボクセルについて同様の処理を繰り返すことにより頭部画像H2において血管像を構成するボクセルを判断することができる。最終的に当該血管像を構成するボクセルのみを抽出した血管抽出画像を生成する。
次に、血管抽出画像の指定された検出対象画像において動脈瘤候補の検出を行う。検出方法としては何れの方法を適用してもよいが、ここではベクトル集中度による検出方法について説明する。
動脈瘤は線形上の血管上に球状の瘤が存在するため、そのボクセル値の勾配ベクトルは瘤の中心へ向かい傾向がある。一方、血管は線形状であるためそのような傾向は生じない。そのため動脈瘤の領域は他の血管領域に比べてベクトル集中度の値が高くなる。従って、ベクトル集中度が所定値以上となる高い領域を動脈瘤の可能性が高い候補領域として検出することができる。
具体的には、血管抽出画像において図8に示すような注目ボクセルPを設定し、この注目ボクセルPを中心とする半径Rの球の範囲内に血管像を構成するボクセルが存在した場合にベクトル集中度を算出する。ベクトル集中度は下記式1により算出する。
ここで、角度θは注目ボクセルPから周辺ボクセルQjまでの方向ベクトルと、周辺ボクセルQjにおけるベクトルの方向との間の角度を示し、Mは演算の対象となった周辺ボクセルQjの個数を示している(図8参照)。
ベクトル集中度は0〜1の範囲で出力されるので、例えば閾値0.5以上となるボクセルからなる領域を動脈瘤候補として検出する。検出した動脈瘤候補についてはその特徴量から偽陽性候補を削除する処理を行う。特徴量としては検出された動脈瘤候補の候補領域の体積(候補領域を構成するボクセル数)、球形度、ベクトル集中度の平均値を用いる。球形度は、図9に示すように検出した動脈瘤候補の体積と同一の体積の球を、動脈瘤候補と重心と当該球の重心とが一致するように配置したときに、この球と一致する動脈瘤候補の体積と動脈瘤候補の全体積との比率から求める。
特徴量を算出すると、識別器を用いて動脈瘤候補の候補領域につき、真に動脈瘤(真陽性)であるか、正常組織(偽陽性)であるかを識別する。ここではルールベース法を用いた識別器の例を示すが、人工ニューラルネットワーク、サポートベクトルマシン等の他の手法を適用したものでもよい。
ルールベース法の識別器では、体積に対する球形度、体積に対するベクトル集中度の平均値の関係を示すプロファイルが準備されている。プロファイルには真陽性と偽陽性が判明している教師データを用いて真陽性として検出する検出範囲(図10(a)、(b)で実線により囲まれた範囲)が決定されている。候補検出部16では識別対象の動脈瘤候補の各特徴量を変量データとして上記プロファイルに入力した際に、検出範囲内に変量データが分布すればこれを真陽性と判断する。一方、検出範囲外に変量データが分布する場合には偽陽性であると判断し、動脈瘤候補の中から当該変量データに係る動脈瘤候補を削除する。
以上のようにして、候補検出部16は偽陽性候補が削除された動脈瘤候補を最終的に検出結果の情報H4として出力する。
動脈瘤候補が検出されると、候補検出部16では当該動脈瘤候補について特徴量を算出する(ステップS4)。ここで算出する特徴量はインデックス情報に用いるためのものである。特徴量は候補領域の大きさ、形状、当該動脈瘤が位置する血管部位の名称である。なお、動脈瘤を特徴付けることができるのであればどのような特徴量を算出するかは特に限定せず、例えば算出したベクトル集中度の平均値等の他の特徴量を算出することとしてもよい。
大きさの特徴量としては、候補領域の直径(ボクセル数から演算した長さ(単位;mm))を算出する。形状の特徴量としては動脈瘤候補の球形度を算出する。球形度は検出処理時に算出したものと同様であるので上記の算出結果から取得すればよい。また、血管像に含まれる一又は複数の血管部位を判別し血管部位判別処理(後述する)を別途行い、この処理結果に基づいて動脈瘤候補が位置する血管部位を判別し、その名称を位置の特徴量として取得する。
血管部位判別処理は、図11に示すように血管像に含まれる一又は複数の血管部位が予め特定され、各血管部位の名称が対応付けられた参照画像を用いて、判別対象の血管抽出画像の血管像に含まれる一又は複数の血管部位を判別するとともに、その名称を対応付ける処理である。ここで、血管部位とは解剖学上の血管の分類をいう。図11に示す参照画像では8つの血管部位(前大脳動脈、右中大脳動脈、左中脳動脈、右内頸動脈、左内頸動脈、右後大脳動脈、左後大脳動脈、脳底動脈)について特定した例を示している。なお、便宜上、右中大脳動脈、前大脳動脈、脳底動脈のみ名称を図示している。
参照画像には血管の屈曲点、終局点、血管部位同士の交差点等の特徴的な箇所においてランドマークのボクセルが設定されている。ランドマークは判別対象の血管抽出画像と参照画像との位置合わせに用いられる。
候補検出部16は、最初に判別対象の血管抽出画像と参照画像との位置合わせを行う。位置合わせは、各画像の重心位置を一致させて大まかに位置を合わせた後、参照画像に設定されたランドマークを用いて血管抽出画像に剛体変形を施し、細かな位置合わせを行う。剛体変形は位置合わせを行う2つの画像についてそれぞれ複数の対応点を設定し、この2つの画像の対応点がそれぞれ一致するように一方の画像を変換するものである。ここでは参照画像において予め定められているランドマークのボクセルと、血管抽出画像において局所的に画像特性が類似するボクセルが対応点として設定される。画像特性の類似性は、血管抽出画像と参照画像について相互相関係数を求め、この相互相関係数に基づいて判断する。
具体的には、図12(a)に示すように、予め参照画像に設定されている12点のランドマークに対応する対応点を血管抽出画像から検索する。対応点の検索時には、図12(b)に示すように血管抽出画像において参照画像の各ランドマークと対応する位置のボクセルを開始点とし、血管抽出画像及び参照画像において当該開始点及びランドマークのボクセルからX軸、Y軸、Z軸方向に−10〜+10ボクセルの範囲(21×21×21ボクセルの立方領域)内のボクセルを探索し、各ボクセルについて下記式2により相互相関係数C(以下、相関値Cという)を算出する。
上記式2においてA(i,j,k)は参照画像のボクセル位置、B(i,j,k)は血管抽出画像のボクセル位置を示す。IJKは探索領域のサイズを示し、IJK=21×21×21である。
また、α、βはそれぞれ参照画像、血管抽出画像における探索領域内のボクセル値の平均値であり、下記式3、4により示される。
σ、σは、それぞれ参照画像、血管抽出画像における探索領域内のボクセル値の標準偏差であり、下記式5、6により示される。
相関値Cは−1.0〜1.0の値域を持ち、最大値1.0に近いほど、参照画像と血管抽出画像の画像特性が類似していることを示す。そこで、最も大きな相関値Cをとるボクセルの位置を、参照画像のランドマークに対応する血管抽出画像の対応点として設定する。
対応点を設定すると、候補検出部16はこの対応点に基づき、血管抽出画像にICP(Iterative Closest Point)アルゴリズムにより剛体変形(回転、平行移動による座標変換)を施す。このアルゴリズムによれば、剛体変形を行う毎に、参照画像のランドマークと血管抽出画像の対応点における距離の最小二乗誤差を算出し、当該最小二乗誤差がある閾値を超える等の終了条件を満たすまで剛体変形を繰り返す。
以上のように位置合わせした参照画像と血管抽出画像とを照合することにより、血管抽出画像における血管部位を判別する。まず、参照画像の各血管部位に属するボクセル全てを対象に(これを対象ボクセルという)、血管抽出画像におけるある注目ボクセルとのユークリッド距離の2乗を求める。そして、その求めたユークリッド距離が最短となる対象ボクセルが属する血管部位が、注目ボクセルが属する血管部位であると判断する。このとき、対象ボクセルに設定されている血管部位の名称から注目ボクセルの血管部位の名称も判断する。
上記の血管部位及びその名称の判別結果から、候補検出部16は動脈瘤候補が位置する血管部位及びその名称を判断することとなる。
候補検出部16において特徴量の算出が終了すると、制御部11では当該特徴量の情報を用いてインデックス情報H1を生成する。生成したインデックス情報H1にはインデックスIDh1を付与し、情報分析系DB21に記憶させる(ステップS5)。例えば、検出された動脈瘤候補についてその直径が5.7、球形度が0.78、検出された血管部位が右中大脳動脈であった場合、制御部11は大きさ「5.7」、形状「0.78」、位置「右中大脳動脈」の各項目情報H11〜H13からなるインデックス情報H1を生成する。すなわち、インデックス情報H1は特徴量に対応付けられたものとなる。
次いで、制御部11は読影レポート情報を生成する読影レポート生成処理を実行する(ステップS6)。
レポート生成処理については図5を参照して説明する。
図5に示すように、制御部11では動脈瘤候補について算出された特徴量を用いて読影レポート文のテンプレート文を生成する。一方で、読影レポートを作成するための入力画面を表示部13上に表示させ、当該入力画面上に生成したテンプレート文を表示させる(ステップS11)。例えば、「(位置の特徴量)に大きさ(大きさの特徴量)mmの形状(形状の特徴量)の未破裂動脈瘤が存在する」のように、かっこ部分において所定の特徴量を示す文章を入力可能としておき、その他の文章自体は予め作成されている文章のデータを準備しておき、制御部11がこのような文章のかっこ部分に動脈瘤候補について算出された特徴量を示す文章を入力し、テンプレート文を生成する。
次いで、制御部11は動脈瘤候補が検出された血管部位のみを抽出したMIP画像のサムネイル画像を生成し、これを読影レポートの入力画面上に表示させる(ステップS12)。このMIP画像は読影に供されるものであり、後に読影レポート情報に付加されて保存されるものである。制御部11は、上記血管判別処理による判別結果に基づいて動脈瘤候補が検出された血管部位を構成するボクセルを判別し、血管抽出画像から当該ボクセルのみを抽出した画像についてMIP処理を施し、得られたMIP画像を縮小してサムネイル画像とする。
図13に、読影レポートの入力画面例を示す。
図13に示すように、読影レポートの入力画面d2は読影画面d1の左側の表示領域に表示される。入力画面d2には、読影レポート文を入力するための入力領域d21の他、生成されたMIP画像d22が表示されている。入力領域d21には制御部11により生成されたテンプレート文が修正可能に表示されている。また、入力画面d2下部には過去の類似症例の検索を指示するための過去症例キーd23が表示されている。
医師は、上記入力領域d21において新たに文字を入力、削除する操作入力を行うことによりテンプレート文を修正することが可能である。また、検出された動脈瘤候補の類似症例の情報を得たい場合には過去症例キーd23を操作する。
制御部11ではこの過去症例キーd23の操作により過去の類似症例の検索が指示されたか否かを判別し(ステップS13)、過去症例キーd23が操作されて検索が指示されると(ステップS13;Y)、ステップS14の過去の類似症例の検索処理に移行する。一方、過去症例キーd23の操作がない場合には(ステップS13;N)、ステップS15の処理に移行する。
図6を参照して、過去の類似症例の検索処理について説明する。
図6に示すように、制御部11は情報分析系DB21に記憶されているインデックス情報H1のうち、図4のステップS5で生成されたインデックス情報H1に対応するものを検索する(ステップS21)。検索はインデックス情報H1に含まれる項目情報の全部が一致するものを検索することとしてもよいし、例えば大きさの特徴量のみ一致するもの等、一部が一致するインデックス情報H1を検索することとしてもよい。また、大きさ、形状の項目情報H11、H12については所定の数値範囲内にあるインデックス情報H1、例えば形状の情報H12については球形度が0.6〜0.7の範囲内に該当するインデックス情報H1を検索することとしてもよい。
インデックス情報H1が検索されると、制御部11は当該インデックス情報H1に対応する読影レポート情報H3、頭部画像H2、その他関連情報H5等を業務系DB22から取得する(ステップS22)。そして、当該取得された読影レポート情報H3、頭部画像H2、その他関連情報H5へのリンク情報H32を生成し、過去の類似症例の検索結果として当該リンク情報H32を読影レポートの入力画面上に表示させる(ステップS23)。リンク情報H32とは、読影レポート情報H3、頭部画像H2等が記憶されている記憶領域へのアクセス情報であり、具体的にはアドレス情報である。
また、制御部11は取得された関連情報H5から検索された類似症例において手術が実施されているかどうかを判別し、検索された類似症例の全件数に対して手術が実施された件数の割合を算出する(ステップS24)。
そして、制御部11は生成したリンク情報H32及び算出した手術件数の割合の情報H33を、過去の類似症例の検索結果として、読影レポートの入力画面上に表示させる(ステップS25)。
図14に、リンク情報H32、手術件数の割合の情報H33が表示された入力画面例を示す。
図14に示すように、入力画面d2上には過去の類似症例に係る読影レポート情報等へのリンクd24が表示されている。リンクd24はリンク情報H32が類似症例の検索数を示す数字に変換されて表示されたものである。また、検索された類似症例における手術件数の割合を示すメッセージd25が表示されている。
以上の処理を終了すると、図5に示すステップS15の処理へ移行する。
ステップS15では、入力画面d2におけるレポート文の入力領域d21においてテンプレート文の修正が行われたか否かを制御部11が判別する(ステップS15)。操作部12を介して入力操作が行われ、テンプレート文の修正が行われたと判別すると(ステップS15;Y)、制御部11はその操作入力に応じてテンプレート文を修正し、この修正されたレポート文(以下、修正文という)を生成して入力画面d2上に表示させる(ステップS16)。
修正文の表示後、或いは操作部12を介しての入力操作がなく、テンプレート文の修正が行われない場合(ステップS15;N)、読影レポート情報の保存の指示操作がなされたか否かを判別する(ステップS17)。保存が指示されていない場合(ステップS17;N)、ステップS13の処理に戻り、操作に応じた処理を実行する。一方、保存が指示された場合(ステップS17;Y)、制御部11はテンプレート文又は修正文(レポート文H31)からなる読影レポート情報H3を生成する。さらに、制御部11はこの読影レポート情報H3について生成されたMIP画像H34、過去の類似症例へのリンク情報H32、手術件数の割合の情報H33等を付加する(ステップS18)。その後、図4に示すステップS7の処理へ移行する。
ステップS7では、制御部11は処理対象となった頭部画像H2、当該頭部画像H2について生成した読影レポート情報H3に、ステップS5で生成されたインデックス情報H1を対応付けて業務系DB22に記憶させ、保存する(ステップS7)。具体的には、頭部画像H2、読影レポート情報H3等に、インデックス情報H1に付与されているインデックスIDh1を対応付けて記憶させる。以後、電子カルテH52が生成されたり、手術等が行われ、その手術に関する手術情報H51等が入力されたりした場合にも同様に、これら電子カルテH52等を業務系DB22に記憶させる際にインデックスIDh1を対応付ける。
以後、インデックス情報H1を用いて業務系DB22に記憶させた頭部画像H2等を検索することが可能である。すなわち、医師が検索キーワードとして検索したい症例の特徴量、つまり大きさ、形状、血管部位の位置の情報H11〜H13を入力すると、読影支援装置10では制御部11が当該検索キーワードに対応するインデックス情報H1を情報分析系DB21から検索する。該当するインデックス情報H1が検索された場合には、制御部11は当該インデックス情報H1に対応する頭部画像H2、読影レポート情報H3等を業務系DB22から取得し、表示部13上に表示させる。
以上のように、本実施形態によれば、検出した動脈瘤候補について算出した特徴量を示す文を用いて読影レポート文のテンプレート文を生成し、表示する。これにより、医師による読影レポート文の入力作業を省くことができ、入力支援を行うことができる。このテンプレート文は修正可能であり、修正の操作入力に応じて新たな読影レポート文(修正文)を生成する。よって、医師が自由に読影レポート文を編集することができ、入力の自由度が高い。
また、算出した特徴量を検索キーワードとするインデックス情報H1を生成し、このインデックス情報H1に対応付けて、頭部画像H2や読影レポート情報H3、その他関連情報H5等を保存する。よって、検索キーワードの表現を統一化することができる。従来は、医師が自由に入力することにより生成された読影レポート文から検索キーワードが一致する用語があるか否かにより読影レポートの検索が行われていた。或いは医師の自由入力を制限し、検索キーワードとなり得る単語についてはいくつかの候補の中から選ばせることにより、検索時の検索キーワードの表現を統一するとともに検索キーワードの選択が容易となるように構成していた。
しかし、前者の場合は医師によって様々な表現がなされるため検索キーワードの一致性が低く、類似の症例であるにも拘わらず検索できないという検索精度の低下が問題であった。この点、後者の方法では問題を解決しているが、入力の自由度が失われるという新たな問題が生じる。これに対し、本実施形態によればインデックス情報によって検索キーワードの表現を統一することができ、検索精度の向上を図ることができる。また、インデックス情報は読影レポート情報H3とは独立しているため、読影レポート文の修正の有無に関係無く検索を行うことが可能となる。よって、検索精度を低下させることなく、医師が読影レポート文を自由に入力することができ、入力の自由度も確保することができる。
さらに、大きさ、形状の特徴量は、読影支援装置10において数値化した、客観的な指標である。よって、これら特徴量を検索キーワードとして入力する際には数値(或いは数値範囲)で指定すればよい。従来は医師の主観によって大きさ等を判断し、検索キーワードとして入力していたため、客観的に類似症例を検索することが難しかった。しかし、本実施形態によれば、医師の検索キーワードの選択を容易にするとともに、客観的な指標を件枠キーワードとすることにより精度良く類似症例の検索を行うことが可能である。
また、インデックス情報H1は情報分析系DB21へ、頭部画像H2、読影レポート情報H3等は業務系DB22へと別々の記憶手段に記憶する。検索時にはまず情報分析系DB21においてインデックス情報H1を検索し、該当するインデックス情報H1があれば当該インデックス情報H1に対応する頭部画像H2等を業務系DB22から取得するという、2段階の構成となっている。DBにおける情報の検索中は当該DBからの情報の読み出しが制限されるため、このように検索用と実際に要求される情報が保存される保存用とにDBを分けることにより、検索による処理の遅延を防止することができる。
また、頭部画像H2の血管像を構成する各血管部位を判別する。この判別結果に基づいて動脈瘤候補が検出された血管部位を判別し、当該血管部位のみを抽出したMIP画像H34を生成して読影レポート情報H3に付加する。これにより、読影レポート情報H3に付加するMIP画像H34を編集する、選択する等といった医師の作業負担を軽減することができる。また、このMIP画像H34は動脈瘤候補が検出された血管部位のみを抽出したものであるため、観察しやすいMIP画像H34を提供することができる。通常、単にMIP処理した場合、複数の血管部位で血管像が重なり合い、奥側に位置する血管部位が見づらい表示となる。しかし、本実施形態によれば医師は注目したい血管部位のみ観察することができ、読影作業が容易となる。
また、生成したインデックス情報H1を用いて過去の類似症例に係る頭部画像H2、読影レポート情報H3、関連情報H5等を検索し、そのリンク情報を生成して読影レポート情報H3に付加する。これにより、類似症例を検索し、読影レポート情報H3としてその類似症例に係る情報を入力する手間が省けるとともに、読影レポート情報H3の参照時にはリンク情報H32によって類似症例についての情報に容易にアクセスすることが可能となる。
また、上記検索された関連情報H5から手術件数の割合を算出し、その情報H33を読影レポート情報H3に付加する。これにより、類似症例においてどれぐらいの割合で手術が行われているかを医師は容易に知ることができる。医師にとって手術件数の割合は動脈瘤の病状の進行具合、手術の必要性等を判断するうえで非常に有用な情報である。また、医師が読影レポート情報H3としてこの情報を入力する作業を省略することができ、入力支援を行うことができる。
なお、上記実施形態は本発明を適用した好適な一例であり、これに限定されるものではない。
例えば、上記実施形態では読影支援装置10が情報分析系DB21、業務系DB22を備え、当該読影支援装置10単独で動作する例を説明したが、これに限らず、情報分析系DB21、業務系DB22をネットワーク上に配置し、当該ネットワークを介して複数の読影支援装置10により情報分析系DB21、業務系DB22を共用できる構成としてもよい。
本実施形態における読影支援装置の構成を示す図である。 図1の情報系DBに記憶されているインデックス情報の一例を示す図である。 図1の業務系DBに記憶されている頭部画像、読影レポート情報等の一例を示す図である。 読影支援装置により実行される保存処理を説明するフローチャートである。 保存処理の一部である読影レポート生成処理を示すフローチャートである。 保存処理の一部である過去の類似症例の表示処理を示すフローチャートである。 読影画面例を示す図である。 ベクトル集中度の算出方法を説明する図である。 球形度の算出方法を説明する図である。 ルールベース法により真陽性と偽陽性を識別する方法について説明する方法である。 参照画像例を示す図である。 (a)参照画像におけるランドマークを示す図である。(b)血管抽出画像における対応点を示す図である。 テンプレート文、MIP画像の表示例を示す図である。 過去の類似症例の検出結果、手術件数の割合の情報の表示例を示す図である。
符号の説明
10 読影支援装置
11 制御部
12 操作部
13 表示部
14 通信部
15 記憶部
21 情報分析系DB
22 業務系DB
請求項1に記載の発明は、読影支援装置において、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する検出手段と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する特徴量算出手段と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成手段と、
前記生成されたインデックス情報をデータベースに記憶する検索用記憶手段と、
予め読影レポートのテンプレート文用に作成された文章のデータに、前記算出された特徴量を示す文章を入力し、テンプレート文を生成するテンプレート生成手段と、
前記テンプレート文を修正するための操作入力を行う操作部と、
前記操作部による操作入力に応じて前記テンプレート文を修正し、修正された修正文を読影レポート情報とするレポート生成手段と、
前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けてデータベースに記憶する保存用記憶手段と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量と全部又は一部が一致する特徴量を含むインデックス情報を検索する検索手段と、
前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力手段と、
を備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載の読影支援装置において、
前記保存用記憶手段は、前記動脈瘤候補が検出された頭部画像を、前記生成されたインデックス情報と対応付けてデータベースに記憶
前記出力手段は、前記検索手段により検索されたインデックス情報に対応する頭部画像を前記保存用記憶手段から取得して出力することを特徴とする。
請求項に記載の発明は、請求項1又は2に記載の読影支援装置において、
前記頭部画像に基づいて前記頭部画像から血管像を抽出する抽出手段と、
血管像に含まれる一又は複数の血管部位の位置が予め定められた参照画像を用いて、前記頭部画像から抽出された血管像に含まれる一又は複数の血管部位を判別する血管判別手段と、
前記頭部画像において判別された各血管部位のうち、前記動脈瘤候補が検出された血管部位の血管像のみを抽出した抽出画像を生成する画像処理手段と、を備え、
前記レポート生成手段は、前記生成された抽出画像を前記読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項に記載の発明は、請求項1〜の何れか一項に記載の読影支援装置において、
前記レポート生成手段は、前記検索用記憶手段に記憶されたインデックス情報のうち、前記インデックス生成手段により生成されたインデックス情報に含まれる特徴量と一部又は全部が一致する特徴量を含む他のインデックス情報を検索し、当該検索されたインデックス情報に対応する過去の読影レポート情報又は頭部画像を前記保存用記憶手段から取得し、この取得された読影レポート情報又は頭部画像へのリンク情報を前記生成された読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項に記載の発明は、請求項1〜の何れか一項に記載の読影支援装置において、
前記保存用記憶手段は、前記インデックス情報に対応付けて前記脳動脈瘤候補について実施された手術件数の情報を記憶し、
前記出力手段は、前記インデックス生成手段により生成されたインデックス情報に対応する過去の手術件数の情報を前記保存用記憶手段から取得し、この取得された手術件数の総数を算出して出力することを特徴とする。
請求項に記載の発明は、
読影支援装置の制御部において実行される読影支援方法であって、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する工程と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する工程と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成手段と、
検索用記憶手段のデータベースに前記生成されたインデックス情報を記憶する工程と、
予め読影レポートのテンプレート文用に作成された文章のデータに、前記算出された特徴量を示す文章を入力し、テンプレート文を生成する工程と、
前記テンプレート文を修正するための操作入力を行う操作部からの操作入力に応じて前記テンプレート文を修正し、修正された修正文読影レポート情報とする工程と、
保存用記憶手段のデータベースに前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けて記憶する工程と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量と全部又は一部が一致する特徴量を含むインデックス情報を検索する工程と、
前記検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する工程と、
を含むことを特徴とする。
請求項に記載の発明は、
コンピュータを、請求項1〜の何れか一項に記載の読影支援装置として機能させるプログラムであることを特徴とする。
請求項1、6、7に記載の発明によれば、テンプレート文を生成することにより医師による読影レポート文の入力作業を省くことができる。このテンプレート文について修正があった場合にはその修正に応じて新たに生成された修正文により読影レポート情報を作成するので、医師が自由に読影レポート文の編集することができ、読影レポート文の入力の自由度が高い。また、動脈瘤候補についての特徴量に対応してインデックス情報を生成し、このインデックス情報により読影レポート情報を検索することができる。すなわち、インデックス情報により、検索キーワードの表現を統一することができ、検索精度を向上させることができる。また、読影レポート情報とは別個にインデックス情報が保持されるので、読影レポート文について修正の有無に拘わらず検索を行うことができる。従って、医師の表現の自由度が担保された状態でありながら、精度の高い読影レポートの検索が可能となる。
請求項に記載の発明によれば、読影レポート情報に付加する画像を選択したり、編集する医師の作業負担を軽減することができる。また、付加する抽出画像は動脈瘤候補が検出された血管部位のみを抽出したものであるので、医師は関心がある血管部位に注目して読影を行うことが可能となる。血管像は複数の血管部位が重なり合うことが多いため、このように関心が高い血管部位のみを抽出した画像は読影に際して非常に有用である。
請求項に記載の発明によれば、読影レポート情報に付加する過去の類似症例に係る読影レポート情報等を選択したり、編集したりする医師の作業負担を軽減することができる。また、読影レポート情報の参照時にはリンク情報により類似症例に係る読影レポート情報等に容易にアクセスすることができる。
請求項に記載の発明によれば、読影レポート情報に付加するため、手術件数の割合を求めて入力するといった手間を省くことができる。動脈瘤候補は未発症の状態であるため、手術件数の割合は今後の病状の進行、手術の必要性を判断する上で上記手術件数の割合は非常に有用な情報である。
請求項1に記載の発明は、読影支援装置において、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する検出手段と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する特徴量算出手段と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成手段と、
前記生成されたインデックス情報をデータベースに記憶する検索用記憶手段と、
予め読影レポートのテンプレート文用に作成された文章のデータを記憶するテンプレート記憶手段と、
前記記憶された文章のデータを読み出し、当該文章に前記算出された特徴量を示す文章を入力し、テンプレート文を生成するテンプレート生成手段と、
前記テンプレート文を修正するための操作入力を行う操作部と、
前記操作部による操作入力に応じて前記テンプレート文を修正し、修正された修正文を読影レポート情報とするレポート生成手段と、
前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けてデータベースに記憶する保存用記憶手段と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量の全部或いはそのうちの一つと一致する特徴量を含むインデックス情報又は一つの特徴量において所定の範囲が一致する特徴量を含むインデックス情報を検索する検索手段と、
前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力手段と、
を備えることを特徴とする。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の読影支援装置において、
前記レポート生成手段は、前記検索用記憶手段に記憶されたインデックス情報のうち、前記インデックス生成手段により生成されたインデックス情報に含まれる特徴量の全部或いはそのうちの一つと一致する特徴量を含む他のインデックス情報又は一つの特徴量において所定の範囲が一致する特徴量を含む他のインデックス情報を検索し、当該検索されたインデックス情報に対応する過去の読影レポート情報又は頭部画像を前記保存用記憶手段から取得し、この取得された読影レポート情報又は頭部画像へのリンク情報を前記生成された読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項6に記載の発明は、
読影支援装置の制御部において実行される読影支援方法であって、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する工程と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する工程と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成工程と、
検索用記憶手段のデータベースに前記生成されたインデックス情報を記憶する工程と、
予め読影レポートのテンプレート文用に作成された文章のデータに、前記算出された特徴量を示す文章を入力し、テンプレート文を生成する工程と、
予め読影レポートのテンプレート文用に作成された文章のデータを記憶するテンプレート記憶手段から当該文章のデータを読み出し、当該文章に前記算出された特徴量を示す文章を入力し、テンプレート文を生成する工程と、
保存用記憶手段のデータベースに前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けて記憶する工程と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量の全部或いはそのうちの一つと一致する特徴量を含むインデックス情報又は一つの特徴量において所定の範囲が一致する特徴量を含むインデックス情報を検索する工程と、
前記検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する工程と、
を含むことを特徴とする。
請求項1に記載の発明は、読影支援装置において、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する検出手段と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する特徴量算出手段と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成手段と、
前記生成されたインデックス情報をデータベースに記憶する検索用記憶手段と、
予め読影レポートのテンプレート文用に作成された文章のデータを記憶するテンプレート記憶手段と、
前記記憶された文章のデータを読み出し、当該文章に前記算出された特徴量を示す文章を入力し、テンプレート文を生成するテンプレート生成手段と、
前記テンプレート文を修正するための操作入力を行う操作部と、
前記操作部による操作入力に応じて前記テンプレート文を修正し、修正された修正文を読影レポート情報とするレポート生成手段と、
前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けてデータベースに記憶する保存用記憶手段と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量の全部或いはそのうちの一つと一致する特徴量を含むインデックス情報を検索する検索手段と、
前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力手段と、
を備えることを特徴とする。
請求項2に記載の発明は、読影支援装置において、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する検出手段と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する特徴量算出手段と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成手段と、
前記生成されたインデックス情報をデータベースに記憶する検索用記憶手段と、
予め読影レポートのテンプレート文用に作成された文章のデータを記憶するテンプレート記憶手段と、
前記記憶された文章のデータを読み出し、当該文章に前記算出された特徴量を示す文章を入力し、テンプレート文を生成するテンプレート生成手段と、
前記テンプレート文を修正するための操作入力を行う操作部と、
前記操作部による操作入力に応じて前記テンプレート文を修正し、修正された修正文を読影レポート情報とするレポート生成手段と、
前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けてデータベースに記憶する保存用記憶手段と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量において所定の範囲が一致する特徴量を含むインデックス情報を検索する検索手段と、
前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力手段と、
を備えることを特徴とする。
請求項に記載の発明は、請求項1又は2に記載の読影支援装置において、
前記保存用記憶手段は、前記動脈瘤候補が検出された頭部画像を、前記生成されたインデックス情報と対応付けてデータベースに記憶し、
前記出力手段は、前記検索手段により検索されたインデックス情報に対応する頭部画像を前記保存用記憶手段から取得して出力することを特徴とする。
請求項に記載の発明は、請求項1〜3の何れか一項に記載の読影支援装置において、
前記頭部画像に基づいて前記頭部画像から血管像を抽出する抽出手段と、
血管像に含まれる一又は複数の血管部位の位置が予め定められた参照画像を用いて、前記頭部画像から抽出された血管像に含まれる一又は複数の血管部位を判別する血管判別手段と、
前記頭部画像において判別された各血管部位のうち、前記動脈瘤候補が検出された血管部位の血管像のみを抽出した抽出画像を生成する画像処理手段と、を備え、
前記レポート生成手段は、前記生成された抽出画像を前記読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項に記載の発明は、請求項に記載の読影支援装置において、
前記レポート生成手段は、前記検索用記憶手段に記憶されたインデックス情報のうち、前記インデックス生成手段により生成されたインデックス情報に含まれる特徴量の全部或いはそのうちの一つと一致する特徴量を含む他のインデックス情報を検索し、当該検索されたインデックス情報に対応する過去の読影レポート情報又は頭部画像を前記保存用記憶手段から取得し、この取得された読影レポート情報又は頭部画像へのリンク情報を前記生成された読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項6に記載の発明は、請求項2に記載の読影支援装置において、
前記レポート生成手段は、前記検索用記憶手段に記憶されたインデックス情報のうち、前記インデックス生成手段により生成されたインデックス情報に含まれる特徴量において所定の範囲が一致する特徴量を含む他のインデックス情報を検索し、当該検索されたインデックス情報に対応する過去の読影レポート情報又は頭部画像を前記保存用記憶手段から取得し、この取得された読影レポート情報又は頭部画像へのリンク情報を前記生成された読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする。
請求項に記載の発明は、請求項1〜の何れか一項に記載の読影支援装置において、
前記保存用記憶手段は、前記インデックス情報に対応付けて前記脳動脈瘤候補について実施された手術件数の情報を記憶し、
前記出力手段は、前記インデックス生成手段により生成されたインデックス情報に対応する過去の手術件数の情報を前記保存用記憶手段から取得し、この取得された手術件数の総数を算出して出力することを特徴とする。
請求項に記載の発明は、
読影支援装置の制御部において実行される読影支援方法であって、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する工程と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する工程と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成工程と、
検索用記憶手段のデータベースに前記生成されたインデックス情報を記憶する工程と、
予め読影レポートのテンプレート文用に作成された文章のデータを記憶するテンプレート記憶手段から当該文章のデータを読み出し、当該文章に前記算出された特徴量を示す文章を入力し、テンプレート文を生成する工程と、
前記テンプレート文を修正するための操作入力を行う操作部からの操作入力に応じて前記テンプレート文を修正し、修正された修正文を読影レポート情報とする工程と、
保存用記憶手段のデータベースに前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けて記憶する工程と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量の全部或いはそのうちの一つと一致する特徴量を含むインデックス情報を検索する工程と、
前記検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する工程と、
を含むことを特徴とする。
請求項9に記載の発明は、
読影支援装置の制御部において実行される読影支援方法であって、
頭部画像に基づいて当該頭部画像から動脈瘤候補を検出する工程と、
前記頭部画像に基づいて、前記検出された動脈瘤候補の大きさ、形状及び前記検出された動脈瘤候補が位置する血管部位の特徴量を算出する工程と、
前記算出された特徴量をインデックスIDにより対応付けたインデックス情報を生成するインデックス生成工程と、
検索用記憶手段のデータベースに前記生成されたインデックス情報を記憶する工程と、
予め読影レポートのテンプレート文用に作成された文章のデータを記憶するテンプレート記憶手段から当該文章のデータを読み出し、当該文章に前記算出された特徴量を示す文章を入力し、テンプレート文を生成する工程と、
前記テンプレート文を修正するための操作入力を行う操作部からの操作入力に応じて前記テンプレート文を修正し、修正された修正文を読影レポート情報とする工程と、
保存用記憶手段のデータベースに前記読影レポート情報を、前記検索用記憶手段に記憶されたインデックス情報に対応付けて記憶する工程と、
前記検索用記憶手段に記憶されているインデックス情報のうち、前記算出された特徴量において所定の範囲が一致する特徴量を含むインデックス情報を検索する工程と、
前記検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する工程と、
を含むことを特徴とする。
請求項10に記載の発明は、
コンピュータを、請求項1〜の何れか一項に記載の読影支援装置として機能させるためのプログラムであることを特徴とする。
請求項1、2、8、9、10に記載の発明によれば、テンプレート文を生成することにより医師による読影レポート文の入力作業を省くことができる。このテンプレート文について修正があった場合にはその修正に応じて新たに生成された修正文により読影レポート情報を作成するので、医師が自由に読影レポート文の編集することができ、読影レポート文の入力の自由度が高い。また、動脈瘤候補についての特徴量に対応してインデックス情報を生成し、このインデックス情報により読影レポート情報を検索することができる。すなわち、インデックス情報により、検索キーワードの表現を統一することができ、検索精度を向上させることができる。また、読影レポート情報とは別個にインデックス情報が保持されるので、読影レポート文について修正の有無に拘わらず検索を行うことができる。従って、医師の表現の自由度が担保された状態でありながら、精度の高い読影レポートの検索が可能となる。
請求項に記載の発明によれば、読影レポート情報と同様に頭部画像についてもインデックス情報による検索が可能となる。
請求項に記載の発明によれば、読影レポート情報に付加する画像を選択したり、編集する医師の作業負担を軽減することができる。また、付加する抽出画像は動脈瘤候補が検出された血管部位のみを抽出したものであるので、医師は関心がある血管部位に注目して読影を行うことが可能となる。血管像は複数の血管部位が重なり合うことが多いため、このように関心が高い血管部位のみを抽出した画像は読影に際して非常に有用である。
請求項5、6に記載の発明によれば、読影レポート情報に付加する過去の類似症例に係る読影レポート情報等を選択したり、編集したりする医師の作業負担を軽減することができる。また、読影レポート情報の参照時にはリンク情報により類似症例に係る読影レポート情報等に容易にアクセスすることができる。
請求項に記載の発明によれば、読影レポート情報に付加するため、手術件数の割合を求めて入力するといった手間を省くことができる。動脈瘤候補は未発症の状態であるため、手術件数の割合は今後の病状の進行、手術の必要性を判断する上で上記手術件数の割合は非常に有用な情報である。

Claims (8)

  1. 入力された頭部画像から動脈瘤候補を検出する検出手段と、
    前記検出された動脈瘤候補の特徴量を算出する特徴量算出手段と、
    前記算出された特徴量と対応付けられたインデックス情報を生成するインデックス生成手段と、
    前記生成されたインデックス情報を記憶する検索用記憶手段と、
    前記算出された特徴量を用いて読影レポートのテンプレート文を生成するテンプレート生成手段と、
    修正入力に応じて前記テンプレート文を修正し、修正された修正文を用いて読影レポート情報を生成するレポート生成手段と、
    前記生成された読影レポート情報と前記検索用記憶手段に記憶されたインデックス情報とを対応付けて記憶する保存用記憶手段と、
    前記検索用記憶手段に記憶されたインデックス情報を検索する検索手段と、
    前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力手段と、
    を備えることを特徴とする読影支援装置。
  2. 前記動脈瘤候補が検出された頭部画像を、前記生成されたインデックス情報と対応付けて記憶する画像記憶手段を備え、
    前記出力手段は、前記検索手段により検索されたインデックス情報に対応する頭部画像を前記保存用記憶手段から取得して出力することを特徴とする請求項1に記載の読影支援装置。
  3. 前記特徴量には、前記動脈瘤候補の大きさ、形状、動脈瘤候補が位置する血管部位が含まれることを特徴とする請求項1又は2に記載の読影支援装置。
  4. 前記頭部画像から血管像を抽出する抽出手段と、
    血管像に含まれる一又は複数の血管部位の位置が予め定められた参照画像を用いて、前記頭部画像から抽出された血管像に含まれる一又は複数の血管部位を判別する血管判別手段と、
    前記頭部画像において判別された各血管部位のうち、前記動脈瘤候補が検出された血管部位の血管像のみを抽出した抽出画像を生成する画像処理手段と、を備え、
    前記レポート生成手段は、前記生成された抽出画像を前記読影レポート情報に付加して前記保存用記憶手段に記憶させることを特徴とする請求項1〜3の何れか一項に記載の読影支援装置。
  5. 前記レポート生成手段は、前記生成されたインデックス情報に対応する過去の読影レポート情報又は頭部画像を前記記憶手段から取得し、この取得された読影レポート情報又は頭部画像へのリンク情報を前記生成された読影レポート情報に付加して前記記憶手段に記憶させることを特徴とする請求項1〜4の何れか一項に記載の読影支援装置。
  6. 前記保存用記憶手段は、前記インデックス情報に対応付けて前記脳動脈瘤候補について実施された手術件数の情報を記憶し、
    前記出力手段は、前記インデックス生成手段により生成されたインデックス情報に対応する過去の手術件数の情報を前記保存用記憶手段から取得し、この取得された手術件数の総数を算出して出力することを特徴とする請求項1〜5の何れか一項に記載の読影支援装置。
  7. 読影支援装置における読影支援方法であって、
    入力された頭部画像から動脈瘤候補を検出する検出工程と、
    前記検出された動脈瘤候補の特徴量を算出する特徴量算出工程と、
    前記算出された特徴量と対応付けられたインデックス情報を生成するインデックス生成工程と、
    検索用記憶手段に前記生成されたインデックス情報を記憶するインデックス記憶工程と、
    前記算出された特徴量を用いて読影レポートのテンプレート文を生成するテンプレート生成工程と、
    修正入力に応じて前記テンプレート文を修正し、修正された修正文を用いて読影レポート情報を生成する読影レポート生成工程と、
    保存用記憶手段に前記生成された読影レポート情報と前記検索用記憶手段に記憶されたインデックス情報とを対応付けて記憶する読影レポート記憶工程と、
    前記検索用記憶手段に記憶されたインデックス情報を検索する検索工程と、
    前記検索手段により検索されたインデックス情報に対応する読影レポート情報を前記保存用記憶手段から取得して出力する出力工程と、
    を含むことを特徴とする読影支援方法。
  8. コンピュータを、請求項1〜6の何れか一項に記載の医用画像処理装置として機能させるプログラム。
JP2006262257A 2006-09-27 2006-09-27 読影支援装置、読影支援方法及びプログラム Expired - Fee Related JP4026158B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006262257A JP4026158B1 (ja) 2006-09-27 2006-09-27 読影支援装置、読影支援方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006262257A JP4026158B1 (ja) 2006-09-27 2006-09-27 読影支援装置、読影支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JP4026158B1 JP4026158B1 (ja) 2007-12-26
JP2008079770A true JP2008079770A (ja) 2008-04-10

Family

ID=38935742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006262257A Expired - Fee Related JP4026158B1 (ja) 2006-09-27 2006-09-27 読影支援装置、読影支援方法及びプログラム

Country Status (1)

Country Link
JP (1) JP4026158B1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017523A (ja) * 2008-06-09 2010-01-28 Aloka Co Ltd 超音波診断装置
JP2010036041A (ja) * 2008-08-05 2010-02-18 Medison Co Ltd 弾性情報のカラーマップを形成する超音波システム及びカラーマップ形成方法
JP2010094358A (ja) * 2008-10-17 2010-04-30 Hitachi High-Technologies Corp 生体磁気計測装置の画面表示方法、プログラムおよび情報処理装置
WO2010110017A1 (ja) * 2009-03-26 2010-09-30 コニカミノルタエムジー株式会社 読影レポート作成支援装置及びプログラム
US20110169864A1 (en) * 2008-09-26 2011-07-14 Koninklijke Philips Electronics N.V. Patient specific anatiomical sketches for medical reports
WO2013001678A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
JP2013200592A (ja) * 2012-03-23 2013-10-03 Fujifilm Corp 医療情報検索装置、方法およびプログラム
JP2015102944A (ja) * 2013-11-22 2015-06-04 コニカミノルタ株式会社 医用情報処理装置
JP2016147046A (ja) * 2015-02-12 2016-08-18 東芝メディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理システム、及び医用画像処理プログラム
JP2020009186A (ja) * 2018-07-09 2020-01-16 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
KR102078393B1 (ko) * 2018-11-20 2020-02-17 주식회사 뷰노 병리 영상으로부터 병리 보고서의 생성을 보조하는 방법 및 이를 이용한 장치
KR20200059183A (ko) * 2018-11-20 2020-05-28 주식회사 뷰노 병리 영상으로부터 병리 보고서의 생성을 보조하는 방법 및 이를 이용한 장치
JP2020171480A (ja) * 2019-04-10 2020-10-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
US11348677B2 (en) 2018-02-28 2022-05-31 Fujifilm Corporation Conversion apparatus, conversion method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405922B (zh) 2018-02-01 2021-10-01 泰尔茂株式会社 支援系统、支援方法、支援程序以及记录有支援程序的记录介质

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010017523A (ja) * 2008-06-09 2010-01-28 Aloka Co Ltd 超音波診断装置
JP2010036041A (ja) * 2008-08-05 2010-02-18 Medison Co Ltd 弾性情報のカラーマップを形成する超音波システム及びカラーマップ形成方法
US9629605B2 (en) 2008-08-05 2017-04-25 Samsung Medison Co., Ltd. Formation of a color map for an elastic image
US20110169864A1 (en) * 2008-09-26 2011-07-14 Koninklijke Philips Electronics N.V. Patient specific anatiomical sketches for medical reports
JP2012507066A (ja) * 2008-09-26 2012-03-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療レポートのための患者固有の解剖学的スケッチ
US10102347B2 (en) 2008-09-26 2018-10-16 Koninklijke Philips N.V. Patient specific anatiomical sketches for medical reports
JP2010094358A (ja) * 2008-10-17 2010-04-30 Hitachi High-Technologies Corp 生体磁気計測装置の画面表示方法、プログラムおよび情報処理装置
JP5708483B2 (ja) * 2009-03-26 2015-04-30 コニカミノルタ株式会社 読影レポート作成支援装置及びプログラム
WO2010110017A1 (ja) * 2009-03-26 2010-09-30 コニカミノルタエムジー株式会社 読影レポート作成支援装置及びプログラム
WO2013001678A1 (ja) * 2011-06-30 2013-01-03 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US9008390B2 (en) 2011-06-30 2015-04-14 Panasonic Corporation Similar case searching apparatus, relevance database generating apparatus, similar case searching method, and relevance database generating method
JP5462414B2 (ja) * 2011-06-30 2014-04-02 パナソニック株式会社 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
JP2013200592A (ja) * 2012-03-23 2013-10-03 Fujifilm Corp 医療情報検索装置、方法およびプログラム
JP2015102944A (ja) * 2013-11-22 2015-06-04 コニカミノルタ株式会社 医用情報処理装置
JP2016147046A (ja) * 2015-02-12 2016-08-18 東芝メディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理システム、及び医用画像処理プログラム
US11348677B2 (en) 2018-02-28 2022-05-31 Fujifilm Corporation Conversion apparatus, conversion method, and program
JP2020009186A (ja) * 2018-07-09 2020-01-16 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
JP7086759B2 (ja) 2018-07-09 2022-06-20 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
KR102078393B1 (ko) * 2018-11-20 2020-02-17 주식회사 뷰노 병리 영상으로부터 병리 보고서의 생성을 보조하는 방법 및 이를 이용한 장치
KR20200059183A (ko) * 2018-11-20 2020-05-28 주식회사 뷰노 병리 영상으로부터 병리 보고서의 생성을 보조하는 방법 및 이를 이용한 장치
KR102390347B1 (ko) * 2018-11-20 2022-04-25 주식회사 뷰노 병리 영상으로부터 병리 보고서의 생성을 보조하는 방법 및 이를 이용한 장치
JP2020171480A (ja) * 2019-04-10 2020-10-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
CN111820898A (zh) * 2019-04-10 2020-10-27 佳能医疗系统株式会社 医用图像处理装置以及医用图像处理系统
JP7271277B2 (ja) 2019-04-10 2023-05-11 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理システム
CN111820898B (zh) * 2019-04-10 2024-04-05 佳能医疗系统株式会社 医用图像处理装置以及医用图像处理系统

Also Published As

Publication number Publication date
JP4026158B1 (ja) 2007-12-26

Similar Documents

Publication Publication Date Title
JP4026158B1 (ja) 読影支援装置、読影支援方法及びプログラム
US11894114B2 (en) Complex image data analysis using artificial intelligence and machine learning algorithms
US9826896B2 (en) Image processing apparatus, image processing method, and storage medium
EP2478834B1 (en) Radiograph interpretation report creation device, method, and program
JP5100285B2 (ja) 医用診断支援装置およびその制御方法、プログラム、記憶媒体
US10950204B2 (en) Diagnosis support apparatus and diagnosis support method
JP4911029B2 (ja) 異常陰影候補検出方法、異常陰影候補検出装置
JP6687352B2 (ja) 医用画像データ処理装置及び医用画像データ処理方法
US10424067B2 (en) Image processing apparatus, image processing method and storage medium
JP5789211B2 (ja) 類似画像検索装置、方法及びプログラム
WO2013065090A1 (ja) 類似症例検索装置および類似症例検索方法
JP3928977B1 (ja) 医用画像処理装置、画像処理方法及びプログラム
CN105074708A (zh) 放射学发现的背景驱动的概要视图
JP2007307205A (ja) 医用画像部位認識装置、及び、医用画像部位認識プログラム
JP5060097B2 (ja) 医用レポート作成システム、医用レポート作成方法
US20210151171A1 (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
KR20240054248A (ko) 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
EP3939003B1 (en) Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof
CN113516700A (zh) 图像处理方法、装置及其相关设备和存储介质
CN117501375A (zh) 用于人工智能辅助图像分析的系统和方法
JP5539478B2 (ja) 情報処理装置および情報処理方法
JP2008006187A (ja) 医用画像表示処理装置、及び、医用画像表示処理プログラム
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
JP2009128053A (ja) 医療画像表示装置
EP4327333A1 (en) Methods and systems for automated follow-up reading of medical image data

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees