JP2001325584A - 画像の位置合わせ方法および装置 - Google Patents

画像の位置合わせ方法および装置

Info

Publication number
JP2001325584A
JP2001325584A JP2001044623A JP2001044623A JP2001325584A JP 2001325584 A JP2001325584 A JP 2001325584A JP 2001044623 A JP2001044623 A JP 2001044623A JP 2001044623 A JP2001044623 A JP 2001044623A JP 2001325584 A JP2001325584 A JP 2001325584A
Authority
JP
Japan
Prior art keywords
image
images
positional relationship
oriented
energy subtraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001044623A
Other languages
English (en)
Other versions
JP4294880B2 (ja
Inventor
Satoru Osawa
哲 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2001044623A priority Critical patent/JP4294880B2/ja
Publication of JP2001325584A publication Critical patent/JP2001325584A/ja
Application granted granted Critical
Publication of JP4294880B2 publication Critical patent/JP4294880B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 比較読影の対象となる同一被写体についての
2以上の画像について、従来よりも比較読影性能を向上
させる。 【解決手段】 エネルギサブトラクション画像作成手段
(構造物重視画像取得手段)11により、エネルギサブ
トラクション用原画像に基づいて各組ごとにエネルギサ
ブトラクション画像をそれぞれ取得し、得られたエネル
ギサブトラクション画像について各組間で、対応位置関
係算出手段12により構造的対応位置関係を求め、求め
られた、エネルギサブトラクション画像についての構造
的対応位置関係に基づいて、位置合わせ手段13が、エ
ネルギサブトラクション用原画像について組間で位置合
わせする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像の位置合わせ
方法および装置に関し、詳細には、同一の構造物を有す
る2以上の画像の位置合わせの改良に関するものであ
る。
【0002】
【従来の技術】従来より、同一被写体についての2以上
の画像を比較読影して、両画像間の差異を調べ、その差
異に基づいて被写体の検査などを行うことが、種々の分
野において行われている。
【0003】例えば工業製品の製造分野においては、あ
る製品について新品の状態の時に撮影された画像と、当
該製品の耐久試験後に撮影された画像とを比較読影し
て、両者の差異の大きな部位に注目することにより、製
品の耐久性を向上させるべき部位を検討することが行わ
れており、また医療分野においては、ある患者の疾患部
位について時系列的に撮影された複数枚の放射線画像を
医師が比較読影することにより、当該疾患の進行状況や
治癒状況を把握して治療方針を検討することが行われて
いる。
【0004】このように2以上の画像を比較読影するこ
とが日常的に各種の分野で行われているが、その比較読
影のために、これら2以上の画像を画像表示装置等に表
示させる場合がある。すなわち画像を濃度信号や輝度信
号に変換したうえで、画像表示装置等に表示するのであ
る。
【0005】ところで比較読影の対象となる2以上の画
像を比較する場合、それらの画像を単に並列表示するの
が一般的であるが、比較読影を行なう場合に読影者にと
って最も関心があるのはこれらの画像間の差異である。
しかし、上述したように例えば2つの画像を単に並べて
表示させてこの差異を発見するのは、その差異が小さい
程困難であり、比較読影の性能向上が求められている。
【0006】そこで2つの画像中にそれぞれ写し込まれ
た同一の構造物についての画像の位置関係を対応させる
ように少なくとも一方の画像を変形させて上記構造物の
位置関係を対応させ、その後に両画像の画素を対応(位
置を対応)させた減算処理を施すことにより、両画像の
差異を表す差分画像(サブトラクション画像)を得、こ
のサブトラクション画像をCRT等の表示手段に表示さ
せることにより、読影者に、両画像間の差異を容易に見
い出さしめることができる。
【0007】
【発明が解決しようとする課題】ところで例えば人体の
胸部放射線画像のように、肋骨や背骨等の骨部組織と筋
肉や内臓等の軟部組織とが混在した画像において、被写
体(人体)の体位(撮影の立ち位置や、向きなど)変動
に応じた位置変動量・位置変動向きが骨部と軟部とで異
なる値・向きを示す場合がある。従来、骨部/軟部いず
れの変動によるものであるかは問わずに、求められた変
動量・変動方向に基づいて位置合わせを行なっていた。
従って、位置合わせに利用される変動量・変動方向は骨
部/軟部変動に基づくものが混在することとなるので、
骨部と軟部とが異なる変動量・変動方向を有している場
合は、画像部分間で精度よく位置合わせを行なうことが
できず、骨部のアーティファクトと軟部のアーティファ
クトとの双方が残存するサブトラクション画像が作成さ
れる場合があり、このように多種の構造物のアーティフ
ァクトがそれぞれ残存するサブトラクション画像によれ
ば、適切な診断を行なうのが困難であった。例えば、骨
部と軟部とが近接していたり重なっていたりする場合
(例えば肋骨と血管とが重なっている場合等)、骨部の
変動方向は例えば右方向、その隣の軟部の変動方向はそ
の反対の左方向といったことが起こり、これらを用いて
位置合わせするとさらに不正確となり、最悪、肋骨1本
分以上も位置ずれする場合があった。
【0008】本発明は上記事情に鑑みなされたものであ
って、比較読影の対象となる同一被写体についての2以
上の画像について、従来よりも比較対象部分の対照精度
を高めることによって、読影性能を向上させることがで
きる、画像の位置合わせ方法および装置を提供すること
を目的とするものである。
【0009】
【課題を解決するための手段】本発明の画像の位置合わ
せ方法は、2以上の画像を位置合わせする画像の位置合
わせ方法において、2以上の画像のそれぞれについて特
定の構造物を重視した特定構造物重視画像を取得し、取
得された特定構造物重視画像間で構造的対応位置関係を
求め、求められた構造的対応位置関係に基づいて、2以
上の画像を位置合わせすることを特徴とするものであ
る。
【0010】ここで、特定構造物重視画像とは、例え
ば、2以上の画像の各々が医療用放射線画像であるとき
には、骨部重視画像や軟部重視画像を示す。
【0011】骨部重視画像とは、例えばエネルギ分布が
互いに異なる2つのエネルギサブトラクション用原画像
に基づいて生成されるエネルギサブトラクション画像の
うちの骨部画像や、画像中の肋骨に相当する直線的なエ
ッジを強調したエッジ強調画像など、骨部を重視して2
以上の画像を位置合わせする際に有効な画像を広く意味
するものである。また、軟部重視画像とは、エネルギサ
ブトラクション画像のうちの軟部画像や、画像中の水平
方向の直線的なエッジ(肋骨に相当する部分)をぼかし
た画像など、軟部を重視して2以上の画像を位置合わせ
する際に有効な画像を広く意味するものである。
【0012】すなわち、上述した本発明の画像位置合わ
せ方法について、上記2以上の画像を2組以上のエネル
ギサブトラクション用原画像とし、上記特定構造物重視
画像をエネルギサブトラクション用原画像に基づいて各
組ごとに取得されたエネルギサブトラクション画像とす
ることもできる。つまり、2組以上のエネルギサブトラ
クション用原画像をそれらの組間で位置合わせする画像
の位置合わせ方法において、各組のエネルギサブトラク
ション用原画像に基づいて、各組ごとにエネルギサブト
ラクション画像をそれぞれ取得し、得られたエネルギサ
ブトラクション画像について各組間で、構造的対応位置
関係を求め、求められた、エネルギサブトラクション画
像についての構造的対応位置関係に基づいて、エネルギ
サブトラクション用原画像について前記組間で位置合わ
せすることを特徴とするものとしてもよい。
【0013】ここで、少なくとも2つのエネルギ分布が
互いに異なる原画像に基づいて、少なくとも1つのエネ
ルギサブトラクション画像を得ることができるため、上
記「2組以上のエネルギサブトラクション用原画像」と
は、少なくとも1つのサブトラクション画像を得るため
の原画像(エネルギサブトラクション用原画像)の組が
2以上存在することを示すものである。すなわち、骨部
重視画像や軟部重視画像にエネルギサブトラクション画
像を用いる場合には、全部で最低限4つの原画像が存在
することを意味する。例えばエネルギ分布が互いに異な
る2つ原画像をS1,S2とすると、これら2つの原画
像S1,S2に基づいて、下記減算式により1つのエネ
ルギサブトラクション画像Ssu1を得ることができる。
【0014】Ssu1=αS1−βS2 この式中のαおよびβは重み付け係数であり、この値を
変化させることにより、多数のエネルギサブトラクショ
ン画像Ssu1(例えば、骨部重視画像として用いられる
骨部画像や、軟部重視画像として用いられる軟部画像)
を得ることができる。このとき2つの原画像S1および
S2を、1組のエネルギサブトラクション用原画像と称
する。
【0015】「2組以上のエネルギサブトラクション用
原画像(2以上の画像)を位置合わせする」とは、例え
ば第1組のエネルギサブトラクション用原画像をS11,
S12とし、第2組のエネルギサブトラクション用原画像
をS21,S22としたとき、第1組の原画像S11と第2組
の原画像S21とで位置合わせをすることを意味する。も
ちろん第1組の原画像S12と第2組の原画像S22とで位
置合わせしてもよいし、第1組の原画像S11と第2組の
原画像S22とで、または第1組の原画像S12と第2組の
原画像S21とで位置合わせをしてもよい。ただし、エネ
ルギサブトラクション用原画像は、高圧強調画像(高圧
画像)と低圧強調画像(低圧画像)との2つが用いられ
るのが一般的であり、低圧画像同士または高圧画像同士
で位置合わせを行なうのが好ましく、さらにはノイズ成
分が比較的少ない低圧画像同士で位置合わせを行なうの
がより好ましい。
【0016】なお被写体には、人体等の他、動植物、工
業製品、地形、天体、風景等あらゆるものが含まれる。
【0017】また構造的対応位置関係とは、画像として
記録されている被写体の構造要素を対応させたときの位
置関係を意味するものであり、画像上の構造要素を無視
して画像の左端縁から○○cm,上端縁から○×cmという
単に形式的な位置を一致させた位置関係を意味するもの
ではない。なお構造とは、単に画像上の外観的な構造物
だけでなく、例えば解剖学的な構造物(例えば肺野、胸
骨、頸部等)であってもよい。医療分野においては比較
読影上、最も関心のある部分だからである。
【0018】また、本発明の画像位置合わせ方法を、骨
部重視画像間の構造的対応位置関係と軟部重視画像間の
構造的対応位置関係とを所定の割合で重み付け加算して
得られた対応位置関係に基づいて、上記2以上の画像を
位置合わせするものとしてもよい。すなわち、第1の画
像の骨部重視画像と第2の画像の骨部重視画像とで構造
的対応位置関係を求めてP1とし、第1の画像の軟部重
視画像と第2の画像の軟部重視画像とで構造的対応位置
関係を求めてP2とし、構造的対応位置関係P1とP2
とを重み付け加算して得られた対応位置関係P3(=m
P1+nP2;ただし、m+n=1)に基づいて第1の
画像と第2の画像とを位置合わせしてもよい。さらにm
とnとを連続的に変化させて対応する対応位置関係P3
も連続的に変化させ、それに伴って連続的に位置合わせ
状態も変化させてもよい。
【0019】また、重み付け加算の際の所定の割合を、
2以上の画像の部位ごとに設定してもよい。すなわち、
画像における部位別に上記mとnとを適宜変化させて対
応位置関係P3を算出してもよい。
【0020】本発明の画像の位置合わせ装置は上記本発
明の画像の位置合わせ方法を実施するための装置であっ
て、2以上の画像を位置合わせする位置合わせ手段を備
えた画像の位置合わせ装置において、2以上の画像のそ
れぞれについて特定の構造物を重視した特定構造物重視
画像を取得する構造物重視画像取得手段と、構造物重視
画像取得手段において取得された特定構造物重視画像間
で構造的対応位置関係を求める構造的対応位置関係算出
手段とを備え、位置合わせ手段が、構造的対応位置関係
算出手段により求められた構造的対応位置関係に基づい
て上記2以上の画像を位置合わせするものであることを
特徴とするものである。
【0021】また、上記2以上の画像の各々を医療用放
射線画像とし、上記特定構造物重視画像を骨部重視画像
および/または軟部重視画像としてもよい。
【0022】本発明の画像位置合わせ装置を、骨部重視
画像間の構造的対応位置関係と軟部重視画像間の構造的
対応位置関係とを所定の割合で重み付け加算して対応位
置関係を求める対応位置関係算出手段をさらに備え、位
置合わせ手段が、対応位置関係算出手段により求められ
た対応位置関係に基づいて、上記2以上の画像を位置合
わせするものとすることもできる。さらに、対応位置関
係算出手段を、重み付け加算の際の所定の割合を上記2
以上の画像の部位ごとに設定可能なものとしてもよい。
【0023】また、構造的対応位置関係算出手段を、特
定構造物重視画像間でグローバルな位置合わせを行な
い、さらに、グローバルな位置合わせがなされた特定構
造物重視画像を仮想的に多数の狭小な小領域に分割し、
分割して得られた多数の狭小な小領域をそれぞれ対応さ
せてローカルマッチングを行なうことにより、構造的対
応位置関係を求めるものとしてもよい。
【0024】また、2以上の画像を2組以上のエネルギ
サブトラクション用原画像とし、特定構造物重視画像
を、エネルギサブトラクション用原画像に基づいて各組
ごとに取得されたエネルギサブトラクション画像とする
こともできる。すなわち、2組以上のエネルギサブトラ
クション用原画像をそれらの組間で位置合わせする位置
合わせ手段を備えた画像の位置合わせ装置において、各
組のエネルギサブトラクション用原画像に基づいて、各
組ごとにエネルギサブトラクション画像をそれぞれ取得
するエネルギサブトラクション手段と、得られたエネル
ギサブトラクション画像について各組間で、構造的対応
位置関係を求める対応位置関係算出手段とを備え、位置
合わせ手段が、前記求められた、エネルギサブトラクシ
ョン画像についての構造的対応位置関係に基づいて、エ
ネルギサブトラクション用原画像について前記組間で位
置合わせするものとしてもよい。
【0025】また、骨部重視画像を、2以上の画像の各
々のエッジ強調画像とすることもできる。
【0026】なお、上記2以上の画像を、撮影時点が互
いに異なる時系列の画像としてもよいし、また、比較読
影の対象となる、同一被写体についての画像としてもよ
い。
【0027】
【発明の効果】本発明の画像の位置合わせ方法および位
置合わせ装置によれば、2以上の画像を位置合わせする
画像位置合わせ方法において、各画像から取得された特
定構造物重視画像間で構造的対応位置関係を求め、求め
られた構造的対応位置関係に基づいて画像を位置合わせ
するから、上記特定構造物同士についてより精度高く位
置合わせすることが可能となり、その結果、アーティフ
ァクトが残存する構造物の種類を限定することができ、
残存したアーティファクトと上記2以上の画像間の差異
とを容易に識別して画像間の差異を読影者に認識させる
ことができる。
【0028】すなわち2以上の画像に基づいて例えば軟
部重視画像を取得し、構造的対応位置関係算出手段によ
り、軟部重視画像同士の構造的対応位置関係を算出し、
算出された構造的対応位置関係に基づいて、位置合わせ
手段が上記2以上の画像を位置合わせすると、この際に
は、軟部の対応位置関係に基づいた位置合わせがなされ
るため、差分画像においては、軟部の同一構造物につい
てはほぼ消去されるが、軟部に存在する差異(例えば一
方の画像にのみ存在する異常陰影等)は残存し、骨部は
アーティファクトとして残る。
【0029】しかし、骨部のアーティファクトは真の輪
郭線を挟んだ狭い範囲内で正の濃度(高濃度)と負の濃
度(低濃度)との両方が生じるのに対して、軟部の陰影
はそのようなことがない。したがって、アーティファク
トから軟部の陰影(差異)を明確に峻別することができ
る。
【0030】このように本発明の画像の位置合わせ方法
および位置合わせ装置によれば、2以上の画像を位置合
わせしてサブトラクション画像を作成するときに、従来
のように骨部と軟部等の多種のアーティファクトが残存
する中途半端なサブトラクション画像が作成されるのを
防止することができ、多様なサブトラクション画像を提
供して、適切な診断を行なうことができる。
【0031】また、骨部重視画像間の構造的対応位置関
係と軟部重視画像間の構造的対応位置関係とを所定の割
合で重み付け加算して得られた対応位置関係に基づい
て、2以上の画像を位置合わせすれば、骨部と軟部の双
方をある程度消去させたサブトラクション画像を取得す
ることが可能となり、また、所定の割合を適宜変化させ
ることによって様々な種類のサブトラクション画像を得
ることができるから、読影者の要望にあわせて、例えば
経過観察に適した画像や疾患の発見に適した画像など、
種々の画像を生成することが可能になる。
【0032】さらに、画像における部位ごとに、重み付
け加算の際の所定の割合を設定可能とすれば、部位ごと
に、その部位の位置ずれ程度の特徴によって、構造的対
応位置関係の重み付けを変化させて位置合わせすること
が可能になるから、例えば姿勢の変化のため、部位ごと
に位置ずれの方向や程度が異なる場合でもある程度適切
に部位同士の位置合わせをすることができる。
【0033】
【発明の実施の形態】以下、本発明の画像の位置合わせ
方法および位置合わせ装置の実施の形態について図面を
用いて説明する。
【0034】図1は本発明の画像の位置合わせ方法およ
び位置合わせ装置の一実施形態である画像位置合わせ装
置10を含む医療用画像ネットワーク100を示す図で
ある。
【0035】図示のネットワーク100には、例えばC
T装置(コンピュータ断層像撮影装置)、MRI装置
(磁気共鳴像撮影装置)、CR装置(コンピュータラジ
オグラフィ)50等の医療用画像生成装置と、これらの
医療用画像生成装置により生成された各種の診断用医療
画像を蓄積記憶するデータベース70と、データベース
70に一旦記憶された画像や画像生成装置から直接送ら
れた複数の画像の位置合わせを行なう位置合わせ装置1
0と、位置合わせ装置10により位置合わせがなされた
画像間で減算処理を施すサブトラクション手段20と、
サブトラクション手段20により減算処理して得られた
サブトラクション画像を可視画像として表示する画像表
示手段30などが接続されている。なおネットワーク1
00には、このネットワーク100上を流通する画像を
フイルム等に出力するプリンター等も接続されている
が、CT装置およびMRI装置を含めて本図においては
図示を省略している。
【0036】CR装置50は、被写体を透過した放射線
を、輝尽性蛍光体層を有するシート状の蓄積性蛍光体シ
ートに照射することにより、蓄積性蛍光体シートに被写
体の透過放射線像を蓄積記録し、その後、当該蓄積性蛍
光体シートにレーザ光を照射して、シートに蓄積記録さ
れている放射線エネルギに応じた光量で発光する輝尽発
光光を光電的に読み取ることにより、被写体の透過放射
線像をデジタル画像として取得する装置であり、病院等
の医療機関において広く使用されているものである。
【0037】CR装置50とネットワーク100との間
に介在しているQA−WS(画像品質チェック用ワーク
ステーション)60は、上述したCR装置50等の画像
生成装置により生成された診断用画像をチェックし、必
要な場合は画像生成装置に対して画像の再取得を要求す
るなどの機能を備えたワークステーションである。本実
施形態におけるこのQA−WS60は、CR装置50に
よって生成されたデジタル画像Pを、データベース70
に蓄積記憶する前に表示して、画像濃度、コントラスト
などの画質チェック、撮影範囲等のチェックを行うもの
として設けられている。
【0038】画像位置合わせ装置10は、ネットワーク
100を介して入力された、撮影時期が組ごとにそれぞ
れ同日である2組のエネルギサブトラクション用原画像
S11,S12およびS21,S22にそれぞれ基づいて対応す
るエネルギサブトラクション画像Ssu11,Ssu21を算出
するエネルギサブトラクション画像作成手段(構造物重
視画像取得手段)11と、両サブトラクション画像Ssu
11,Ssu21の構造的対応位置関係を求める対応位置関係
算出手段(構造的対応位置関係算出手段を含む)12
と、得られた対応位置関係に基づいて、エネルギサブト
ラクション用原画像のうち低圧画像S11,S21同士を位
置合わせ処理する位置合わせ手段13とを備えた構成で
ある。
【0039】次に本実施形態の位置合わせ装置10を含
む医療用画像ネットワーク100の作用について説明す
る。
【0040】CR装置50により予め、撮影時期を異に
して、それぞれ特定の患者の胸部についてのエネルギサ
ブトラクション用原画像S11,S12およびS21,S22が
撮影され、これらの画像S11,S12(S11およびS12は
同時に撮影された画像である)およびS21,S22(S21
およびS22は同時に撮影された画像である)はQA−W
S60により画質等のチェックがされた後にネットワー
ク100を介してデータベース70に蓄積記憶されてい
る。この蓄積記憶されている各画像S11,S12およびS
21,S22には、撮影された患者に固有のID番号と、撮
影部位(本説明においては胸部)・撮影体位を表す記号
と、撮影日と、エネルギサブトラクション用原画像(高
圧画像、低圧画像の別を含む)である旨の情報がヘッダ
情報として付帯している。なお2つの原画像S11,S21
は撮影日が異なる、同一患者の胸部正面画像であり、時
系列的な比較を行おうとする画像である。第1組の第1
原画像S11よりも第2組の第1原画像S21の方が撮影時
期が新しく、第1組第1原画像S11は過去画像、第2組
第1原画像S21は現在の画像ということができるもので
ある。
【0041】まず位置合わせ装置10のエネルギサブト
ラクション画像作成手段11に、ネットワーク100を
介してデータベース70から同一のID番号、同一の撮
影部位記号、同一撮影日のヘッダ情報が付帯している2
組のエネルギサブトラクション用原画像のうち第1組第
1原画像S11および第1組第2原画像S12が入力され
る。図2の処理フローに示すように、エネルギサブトラ
クション画像作成手段11は、入力された2つの原画像
S11,S12に基づいてこれらの原画像についてのエネル
ギサブトラクション画像Ssu11を算出する。エネルギサ
ブトラクション画像は、特開昭59-83484号、特開平3-28
5475号等により開示されているように、互いにエネルギ
分布が異なる両原画像S11,S12をそれぞれ表す原画像
信号S11,S12(説明を簡単にするため、原画像S11,
S12と同一の符号を付する)について、対応する構造物
の位置を合致させた上で、画像中の所定の構造物につい
ての画素の信号値が略一致するように両原画像信号値S
11,S12に重み付けを行なって、対応する画素の信号値
間で減算処理することにより、当該所定の構造物を略消
去した画像(エネルギサブトラクション画像)Ssu11
(=αS11−βS12;α,βはそれぞれ重み付け係数)
であり、特にエネルギ吸収率の差が大きい複数の構造物
を分離して観察するのに効果的である。
【0042】本実施形態においては、2つの原画像S1
1,S12にそれぞれ存在する骨部の信号値を略一致させ
て減算処理することにより、骨部が略消去された軟部画
像をエネルギサブトラクション画像Ssu11として得る。
【0043】同様に、もう1組のエネルギサブトラクシ
ョン用原画像S21(第2組第1原画像)およびS22(第
2組第2原画像)がエネルギサブトラクション画像作成
手段11に入力され、これらに基づいて、骨部が消去さ
れた軟部画像を表すエネルギサブトラクション画像Ssu
21が算出される。
【0044】このようにして得られた2つのエネルギサ
ブトラクション(軟部)画像Ssu11およびSsu21は対応
位置関係算出手段12に入力され、エネルギサブトラク
ション画像算出の基礎となった各原画像S11,S12およ
びS21,S22はメモリ14に記憶される。
【0045】ここで算出された2つのエネルギサブトラ
クション(軟部)画像Ssu11およびSsu21は、いずれも
骨部が消去された軟部画像であるが、第1組の原画像と
第2組の原画像とは撮影時期が互いに異なる画像である
ため、両組の画像間には撮影時の体位などに差があり、
したがってそれらの原画像に基づいて得られた両サブト
ラクション(軟部)画像Ssu11,Ssu21間にも、軟部の
構造物について対応位置関係に差が存在する。なお、こ
の特定の構造物についての対応位置関係を構造的対応位
置関係という。
【0046】対応位置関係算出手段12は、入力された
両サブトラクション(軟部)画像Ssu11,Ssu21中の構
造物の構造的対応位置関係を算出する。すなわち、エネ
ルギサブトラクション(軟部)画像Ssu11,Ssu21間で
線形変換によるグローバルな位置合わせを行ない、この
グローバルな位置合わせがなされた後のエネルギサブト
ラクション(軟部)画像Ssu11,Ssu21について、仮想
的に多数の狭小な小領域に分割し、分割して得られた多
数の狭小な領域をそれぞれ対応させてさらにローカルマ
ッチングを行なうことにより、構造的対応位置関係を求
める。具体的には、エネルギサブトラクション(軟部)
画像Ssu11,Ssu21について、第1に、一方のサブトラ
クション画像(例えば、第1組のサブトラクション画像
Ssu11)を基準として他方のサブトラクション画像
(同、第2組のサブトラクション画像Ssu21)の構造物
(軟部画像中の構造物)が略一致するように、アフィン
変換等の線形変換による全体的な概略位置合わせ(グロ
ーバルな位置合わせ)を行ない、このグローバルな位置
合わせがなされた後の両エネルギサブトラクション画像
Ssu11,Ssu21について、第2に、一方のサブトラクシ
ョン画像(例えば、第1組のサブトラクション画像Ssu
11)を仮想的に多数の狭小な小領域(テンプレート領
域)に分割し、他方のサブトラクション画像(例えば、
グローバルな位置合わせ処理が施された後の第2組のサ
ブトラクション画像Ssu21)に、一方のサブトラクショ
ン画像のテンプレート領域にそれぞれ対応させた、当該
テンプレート領域よりも広い領域のテンプレート探索領
域を設定した上で、一方のサブトラクション画像中の各
テンプレート領域の画像部分と、他方のサブトラクショ
ン画像中の対応するテンプレート探索領域の画像部分と
が略一致するように、テンプレート領域をテンプレート
探索領域内で移動させて、各テンプレート/テンプレー
ト探索領域ごとに対応位置関係を算出(ローカルマッチ
ング)する。なお、このローカルマッチングによれば、
狭小な領域ごとに対応位置関係が異なるため、第1のグ
ローバルな位置合わせとは異なる非線形の位置合わせと
なる。
【0047】このようにして両サブトラクション(軟
部)画像Ssu11,Ssu21間の構造的対応位置関係が算出
されると、この構造的対応位置関係が位置合わせ手段1
3において原画像を位置合わせする際の対応位置関係と
して位置合わせ手段13に入力される。位置合わせ手段
13は、入力された対応位置関係に基づいて、メモリ1
4から入力された第1組第1の原画像S11と第2組第1
の原画像S21(いずれも低圧画像)とを位置合わせ処理
する。
【0048】ここで、位置合わせ手段13に入力された
対応位置関係は、エネルギサブトラクション(軟部)画
像Ssu11,Ssu21についての構造的対応位置関係である
ため、両原画像S11,S21中の軟部画像についての構造
的対応位置関係である。したがって、位置合わせ手段1
3により位置合わせされるのは、両原画像S11,S21中
の軟部画像部分のみである。
【0049】このように軟部画像部分が略位置合わせさ
れた後の両原画像S11,S21は、位置合わせ装置10か
ら出力され、サブトラクション手段20に入力される。
サブトラクション手段20は、軟部画像部分が位置合わ
せされている両原画像S11,S21について、所定の重み
付けを行なった上で、画素を対応させて減算処理を行な
う。この結果、得られた第1組画像と第2組画像との間
のサブトラクション画像Ssuは、骨部のアーティファク
トは残存するものの、軟部のアーティファクトは殆ど残
存せずに、軟部組織における経時変化部分のみが現れた
画像となる。そしてこのサブトラクション画像Ssuは表
示手段30に入力され、表示手段30は入力されたサブ
トラクション画像Ssuを可視的に表示し、医師等の画像
読影者に対して、診断用画像として供される。
【0050】ここで骨部のアーティファクトと軟部組織
の経時変化部分とは、画像読影者が明確に識別可能であ
る。すなわち画像間の位置ずれに起因してサブトラクシ
ョン画像に現れるアーティファクトは、位置ずれが無い
としたときの本来の基準濃度に対して高濃度部分と低濃
度部分との両方が極近接して現れるのに対して、軟部組
織の経時変化部分はそのようなことが無く、単に高濃度
または低濃度の画像部部として出現する。したがって、
骨部のアーティファクトが残存していても、軟部組織の
経時変化部分と識別し難い軟部組織のアーティファクト
が略消去されることにより、医師等の画像読影者に対し
て、非常に診断性能の高い画像となる。
【0051】このように本実施形態の画像の位置合わせ
装置によれば、比較読影の対象となる同一被写体につい
ての2以上の画像について、従来のように骨部と軟部等
の多種のアーティファクトが残存する中途半端なサブト
ラクション画像が作成されるのを防止することができ、
多様なサブトラクション画像を提供して、適切な診断を
行なうことができる。
【0052】次に、本発明の第2の実施形態について以
下に説明する。なお、その構成および作用は上記第1の
実施形態とほぼ同様であるため、構成図として図1を採
用し、上記第1の実施形態と異なる部分についてのみ説
明する。
【0053】本実施形態において、エネルギサブトラク
ション画像作成手段11は、骨部が略省略されたエネル
ギサブトラクション(軟部)画像Ssu11およびSsu21と
ともに、軟部が略省略されたエネルギサブトラクション
(骨部)画像Ssu12およびSsu22を作成し、作成された
エネルギサブトラクション(軟部)画像Ssu11,Ssu21
と、エネルギサブトラクション(骨部)画像Ssu12,S
su22とが対応位置関係算出手段12に入力される。ま
た、エネルギサブトラクション画像算出の基礎となった
各原画像S11,S12およびS21,S22はメモリ14に記
憶される。
【0054】ここで算出された2つのエネルギサブトラ
クション(骨部)画像Ssu12およびSsu22は、上記第1
の実施形態における軟部画像と同様に、撮影時期が異な
る原画像に基づいて得られた画像であるため、画像間に
は撮影時の体位などに差がある。なお、この差によって
表われる骨部画像同士の構造的対応位置関係の差は、軟
部画像同士の構造的対応位置関係の差とは必ずしも一致
するものではなく、その体位によって異なる方向に差が
表われる場合もある。
【0055】対応位置関係算出手段12は、まず、入力
されたサブトラクション(骨部)画像Ssu12,Ssu22中
の構造物の構造的対応位置関係(骨部)P1と、サブト
ラクション(軟部)画像Ssu11,Ssu21中の構造物の構
造的対応位置関係(軟部)P2とを算出し、さらに、算
出された構造的対応位置関係(骨部)P1と構造的対応
位置関係(軟部)P2とを所定の割合で重み付け加算し
て対応位置関係(原画像)P3(=mP1+nP2;た
だし、m+n=1)を算出する。
【0056】ここで、重み付け加算の際の所定の割合
(m、n)を、原画像における部位1〜3(図3、胸部
画像参照)ごとに切り替えて、部位ごとに対応位置関係
P3を算出する。例えば、部位1と部位3ではm=1、
n=0として構造的対応位置関係(骨部)P1を対応位
置関係P3とし、部位2ではm=0、n=1として構造
的対応位置関係(軟部)P2を対応位置関係P3とし、
それ以外の中間部分では部位間で線形補間するようにm
とnを設定して対応位置関係P3を算出する。上記各部
位の位置(範囲)は、例えば特願2000-298100に示すよ
うな胸郭検出方法を用いれば自動的に設定することがで
きるため、各部位における重み付け加算の所定の割合
(m、n)を予め部位ごとに設定して自動的に部位ごと
の対応位置関係P3を算出するようにしてもよい。ま
た、読影者が手動で部位の位置や重み付け加算の所定の
割合(m、n)の設定をするようにしてもよい。
【0057】位置合わせ手段13は、対応位置関係算出
手段12から入力された部位ごとの対応位置関係P3に
基づいて、メモリ14から入力された第1組第1の原画
像S11と第2組第1の原画像S21(いずれも低圧画像)
とを部位ごとに対応位置関係P3を変化させて位置合わ
せ処理する。
【0058】ここで、位置合わせ手段13に入力された
部位ごとの対応位置関係は、原画像の部位ごとの特徴
(位置ずれ方向や程度の特徴)に合わせて構造的対応位
置関係を部位別に重み付け加算して得られた対応位置関
係であるため、各部位ごとにある程度精度よく位置合わ
せをすることができる。すなわち、姿勢の変化があった
ために部位ごとに異なる方向に位置ずれした画像でも、
各部位ごとに適切な方向に合わせて位置合わせすること
ができるから、少なくとも各部位においてはある程度精
度よく位置合わせすることができる。
【0059】なお上記第1の実施形態の画像の位置合わ
せ装置においては、エネルギサブトラクション画像作成
手段11が、骨部画像を消去した軟部画像を作成するも
のとしたが、本発明の画像の位置合わせ方法および装置
はその実施形態の構成に限定されるものではなく、例え
ば上記実施形態とは反対に、軟部画像を消去した骨部画
像を作成するものとしてもよいし、骨部画像と軟部画像
とをそれぞれ作成して、骨部画像(エネルギサブトラク
ション画像としての)同士を位置合わせして主として骨
部が消去されたサブトラクション画像Ssuと軟部画像
(エネルギサブトラクション画像としての)同士を位置
合わせして主として軟部が消去されたサブトラクション
画像Ssu′との2つの経時サブトラクション画像を作成
し、これら2つのサブトラクション画像をそれぞれ表示
してもよいし、これら2つのサブトラクション画像を例
えば重み付け加算して得られた画像Ssu″(=(m・S
su+n・Ssu′)/(m+n);m,nは定数)を表示
するようにしてもよい。さらにこの定数mおよびnを連
続的に変化させて得られるモーフィング画像として表示
するようにしてもよい。
【0060】また、上記各実施形態においては、構造物
重視画像(骨部重視画像、軟部重視画像)としてエネルギ
サブトラクション画像を利用した例を示したが、本発明
における構造物重視画像はこれに限るものではなく、例
えば、骨部重視画像としては、特願2000-303743に記載
されているように肋骨に相当する直線的なエッジを強調
した画像を用いてもよく、軟部重視画像としては、水平
方向の直線的なエッジ(肋骨に相当する部分)をぼかし
た画像を用いてもよい。
【0061】また上記各実施形態の画像位置合わせ装置
によれば、エネルギサブトラクション画像同士に基づい
て得られた対応位置関係を、原画像のうち低圧画像につ
いて適用したが、高圧画像について適用してもよいこと
はいうまでもない。
【図面の簡単な説明】
【図1】本発明の画像位置合わせ装置を含む医療用画像
ネットワークを示す図
【図2】図1に示した医療用画像ネットワークにおけ
る、主として画像位置合わせ装置の処理フローチャート
を示す図
【図3】胸部画像における部位1〜3を示す図
【符号の説明】
10 画像位置合わせ装置 11 エネルギサブトラクション画像作成手段 12 対応位置関係算出手段 13 位置合わせ手段 14 メモリ 20 サブトラクション手段 30 表示手段 50 CR装置 60 QA−WS 70 データベースサーバー 100 ネットワーク
フロントページの続き Fターム(参考) 4C093 AA26 CA50 EE08 FD01 FD11 FD12 FF07 FF16 FF34 FF37 FH06 FH08 FH09 5B057 AA08 BA03 CA12 CA16 DA07 DB02 DC16 DC32 5L096 BA03 BA06 FA06 FA69 GA08 HA01

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】 2以上の画像を位置合わせする画像の位
    置合わせ方法において、 前記2以上の画像のそれぞれについて特定の構造物を重
    視した特定構造物重視画像を取得し、 該取得された特定構造物重視画像間で構造的対応位置関
    係を求め、 該求められた構造的対応位置関係に基づいて、前記2以
    上の画像を位置合わせすることを特徴とする画像の位置
    合わせ方法。
  2. 【請求項2】 前記2以上の画像の各々が医療用放射線
    画像であり、前記特定構造物重視画像が骨部重視画像お
    よび/または軟部重視画像であることを特徴とする請求
    項1記載の画像の位置合わせ方法。
  3. 【請求項3】 前記骨部重視画像間の構造的対応位置関
    係と前記軟部重視画像間の構造的対応位置関係とを所定
    の割合で重み付け加算して得られた対応位置関係に基づ
    いて、前記2以上の画像を位置合わせすることを特徴と
    する請求項2記載の画像の位置合わせ方法。
  4. 【請求項4】 前記所定の割合を、前記2以上の画像の
    部位ごとに設定することを特徴とする請求項3記載の画
    像の位置合わせ方法。
  5. 【請求項5】 前記2以上の画像が2組以上のエネルギ
    サブトラクション用原画像であり、前記特定構造物重視
    画像が、該エネルギサブトラクション用原画像に基づい
    て各組ごとに取得されたエネルギサブトラクション画像
    であることを特徴とする請求項1から4いずれか記載の
    画像の位置合わせ方法。
  6. 【請求項6】 前記骨部重視画像が、前記2以上の画像
    の各々のエッジ強調画像であることを特徴とする請求項
    2から4いずれか記載の画像の位置合わせ方法。
  7. 【請求項7】 2以上の画像を位置合わせする位置合わ
    せ手段を備えた画像の位置合わせ装置において、 前記2以上の画像のそれぞれについて特定の構造物を重
    視した特定構造物重視画像を取得する構造物重視画像取
    得手段と、 該構造物重視画像取得手段において取得された特定構造
    物重視画像間で構造的対応位置関係を求める構造的対応
    位置関係算出手段とを備え、 前記位置合わせ手段が、該構造的対応位置関係算出手段
    により求められた前記構造的対応位置関係に基づいて前
    記2以上の画像を位置合わせするものであることを特徴
    とする画像の位置合わせ装置。
  8. 【請求項8】 前記2以上の画像の各々が医療用放射線
    画像であり、前記特定構造物重視画像が骨部重視画像お
    よび/または軟部重視画像であることを特徴とする請求
    項7記載の画像の位置合わせ装置。
  9. 【請求項9】 前記骨部重視画像間の構造的対応位置関
    係と前記軟部重視画像間の構造的対応位置関係とを所定
    の割合で重み付け加算して対応位置関係を求める対応位
    置関係算出手段をさらに備え、前記位置合わせ手段が、
    該対応位置関係算出手段により求められた前記対応位置
    関係に基づいて、前記2以上の画像を位置合わせするも
    のであることを特徴とする請求項8記載の画像の位置合
    わせ装置。
  10. 【請求項10】 前記対応位置関係算出手段が、前記所
    定の割合を、前記2以上の画像の部位ごとに設定可能な
    ものであることを特徴とする請求項9記載の画像の位置
    合わせ装置。
  11. 【請求項11】 前記構造的対応位置関係算出手段が、
    前記特定構造物重視画像間でグローバルな位置合わせを
    行ない、さらに、該グローバルな位置合わせがなされた
    前記特定構造物重視画像を仮想的に多数の狭小な小領域
    に分割し、分割して得られた多数の狭小な小領域をそれ
    ぞれ対応させてローカルマッチングを行なうことによ
    り、前記構造的対応位置関係を求めるものであることを
    特徴とする請求項7から10いずれか記載の画像の位置
    合わせ装置。
  12. 【請求項12】 前記2以上の画像が2組以上のエネル
    ギサブトラクション用原画像であり、前記特定構造物重
    視画像が、該エネルギサブトラクション用原画像に基づ
    いて各組ごとに取得されたエネルギサブトラクション画
    像であることを特徴とする請求項7から11いずれか記
    載の画像の位置合わせ装置。
  13. 【請求項13】 前記骨部重視画像が、前記2以上の画
    像の各々のエッジ強調画像であることを特徴とする請求
    項8から11いずれか記載の画像の位置合わせ装置。
  14. 【請求項14】 前記2以上の画像が、撮影時点が互い
    に異なる時系列の画像であることを特徴とする請求項7
    から13いずれか記載の画像の位置合わせ装置。
  15. 【請求項15】 前記2以上の画像が、比較読影の対象
    となる、同一被写体についての画像であることを特徴と
    する請求項7から14いずれか記載の画像の位置合わせ
    装置。
JP2001044623A 2000-03-06 2001-02-21 画像の位置合わせ方法および装置 Expired - Fee Related JP4294880B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001044623A JP4294880B2 (ja) 2000-03-06 2001-02-21 画像の位置合わせ方法および装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-60547 2000-03-06
JP2000060547 2000-03-06
JP2001044623A JP4294880B2 (ja) 2000-03-06 2001-02-21 画像の位置合わせ方法および装置

Publications (2)

Publication Number Publication Date
JP2001325584A true JP2001325584A (ja) 2001-11-22
JP4294880B2 JP4294880B2 (ja) 2009-07-15

Family

ID=26586847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001044623A Expired - Fee Related JP4294880B2 (ja) 2000-03-06 2001-02-21 画像の位置合わせ方法および装置

Country Status (1)

Country Link
JP (1) JP4294880B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006006435A (ja) * 2004-06-23 2006-01-12 Fuji Photo Film Co Ltd 画像表示方法および装置並びにプログラム
JP2006095267A (ja) * 2004-04-05 2006-04-13 Fuji Photo Film Co Ltd 差分画像作成装置、差分画像作成方法、及び、そのプログラム
US7324660B2 (en) 2001-08-27 2008-01-29 Fujifilm Corporation Image position matching apparatus and image processing apparatus
US7436928B2 (en) 2006-06-23 2008-10-14 Mitsubishi Heavy Industries, Ltd. Radiotherapy device control apparatus and radiation irradiation method
JP2009153829A (ja) * 2007-12-27 2009-07-16 Ge Medical Systems Global Technology Co Llc 画像処理装置、プログラムおよびx線ct装置
JP2009165518A (ja) * 2008-01-11 2009-07-30 Ge Medical Systems Global Technology Co Llc X線ct装置
JP2009273638A (ja) * 2008-05-14 2009-11-26 Fujifilm Corp エネルギーサブトラクション方法及び装置
KR101430121B1 (ko) * 2010-04-06 2014-08-14 삼성전자주식회사 멀티-에너지 X-ray 시스템의 영상 처리 장치 및 그 방법
JP2015080555A (ja) * 2013-10-22 2015-04-27 コニカミノルタ株式会社 医用画像処理装置及びプログラム
JP2018143699A (ja) * 2017-03-09 2018-09-20 富士フイルム株式会社 医用画像撮影制御装置、方法およびプログラム
US10786197B2 (en) 2016-04-15 2020-09-29 Shiseido Company, Ltd. Evaluation method for site of color irregularity and color irregularity site evaluation apparatus
CN114469145A (zh) * 2020-11-13 2022-05-13 西门子医疗有限公司 提供最佳减影数据组

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324660B2 (en) 2001-08-27 2008-01-29 Fujifilm Corporation Image position matching apparatus and image processing apparatus
JP4647360B2 (ja) * 2004-04-05 2011-03-09 富士フイルム株式会社 差分画像作成装置、差分画像作成方法、及び、そのプログラム
JP2006095267A (ja) * 2004-04-05 2006-04-13 Fuji Photo Film Co Ltd 差分画像作成装置、差分画像作成方法、及び、そのプログラム
JP2006006435A (ja) * 2004-06-23 2006-01-12 Fuji Photo Film Co Ltd 画像表示方法および装置並びにプログラム
US7436928B2 (en) 2006-06-23 2008-10-14 Mitsubishi Heavy Industries, Ltd. Radiotherapy device control apparatus and radiation irradiation method
JP2009153829A (ja) * 2007-12-27 2009-07-16 Ge Medical Systems Global Technology Co Llc 画像処理装置、プログラムおよびx線ct装置
JP2009165518A (ja) * 2008-01-11 2009-07-30 Ge Medical Systems Global Technology Co Llc X線ct装置
JP2009273638A (ja) * 2008-05-14 2009-11-26 Fujifilm Corp エネルギーサブトラクション方法及び装置
KR101430121B1 (ko) * 2010-04-06 2014-08-14 삼성전자주식회사 멀티-에너지 X-ray 시스템의 영상 처리 장치 및 그 방법
JP2015080555A (ja) * 2013-10-22 2015-04-27 コニカミノルタ株式会社 医用画像処理装置及びプログラム
US10786197B2 (en) 2016-04-15 2020-09-29 Shiseido Company, Ltd. Evaluation method for site of color irregularity and color irregularity site evaluation apparatus
JP2018143699A (ja) * 2017-03-09 2018-09-20 富士フイルム株式会社 医用画像撮影制御装置、方法およびプログラム
US11185312B2 (en) 2017-03-09 2021-11-30 Fujifilm Corporation Medical image capturing control device, method, and program
CN114469145A (zh) * 2020-11-13 2022-05-13 西门子医疗有限公司 提供最佳减影数据组

Also Published As

Publication number Publication date
JP4294880B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
JP2001157675A (ja) 画像表示方法および画像表示装置
Booij et al. Accuracy of automated patient positioning in CT using a 3D camera for body contour detection
US8391576B2 (en) Device, method and recording medium containing program for separating image component, and device, method and recording medium containing program for generating normal image
US8334878B2 (en) Medical image processing apparatus and medical image processing program
WO2019020048A1 (zh) 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
JP5026939B2 (ja) 画像処理装置およびそのプログラム
US20010007593A1 (en) Method and unit for displaying images
CN111915696B (zh) 三维图像数据辅助的低剂量扫描数据重建方法及电子介质
JP2011160882A (ja) 医用画像表示装置及び医用画像表示方法並びにプログラム
JP4404291B2 (ja) 画像処理装置及び方法及びシステム
JP5016518B2 (ja) 位置合わせ装置およびそのプログラム
JP4188532B2 (ja) 画像間演算方法および装置並びに画像表示方法および装置
JP2001325584A (ja) 画像の位置合わせ方法および装置
JPH08103439A (ja) 画像の位置合わせ処理装置及び画像間処理装置
US7035445B2 (en) Image position matching method, apparatus and storage medium
Ikeda et al. Novel 3-dimensional analysis to evaluate temporomandibular joint space and shape
JP2001285858A (ja) 画像撮影方法および画像撮影装置
Fleute Shape reconstruction for computer assisted surgery based on non-rigid registration of statistical models with intra-operative point data and X-ray images
CN116612161A (zh) 用于医学图像配准的数据集的构建方法和装置
KR20200139491A (ko) 의료영상 처리 방법
Streetman et al. Comparative medical radiography: practice and validation
JP2001157667A (ja) 画像表示方法および画像表示装置
Derrick et al. The Computer-Assisted Decedent Identification Method of Computer-Assisted Radiographic Identification
JP2001325583A (ja) 画像処理方法および画像処理装置
Bier C-arm Cone-Beam Computed Tomography Reconstruction for Knee Imaging under Weight-Bearing Conditions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060113

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090407

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090409

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140417

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees