JP2008043757A - System and method for processing image data - Google Patents
System and method for processing image data Download PDFInfo
- Publication number
- JP2008043757A JP2008043757A JP2007204262A JP2007204262A JP2008043757A JP 2008043757 A JP2008043757 A JP 2008043757A JP 2007204262 A JP2007204262 A JP 2007204262A JP 2007204262 A JP2007204262 A JP 2007204262A JP 2008043757 A JP2008043757 A JP 2008043757A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- classification
- data set
- psf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 title claims abstract description 85
- 230000008569 process Effects 0.000 claims description 35
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000004304 visual acuity Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 32
- 238000000354 decomposition reaction Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/508—Clinical applications for non-human patients
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は一般的には、X線のシステム及び方法に関し、さらに具体的には、データ集合における構造の分類を利用して処理経路の選択をガイドし、画像からボケを低減して排除するシステム及び方法に関する。 The present invention generally relates to x-ray systems and methods, and more specifically, a system that uses classification of structures in a data set to guide processing path selection and reduce and eliminate blur from an image. And a method.
ディジタル・トモシンセシスは、可動式X線管及び静止型ディジタル検出器を用いた角度限定型のX線投影撮像から取得される対象の三次元(3D)再構成に広く用いられている。ディジタル・トモシンセシスは、1930年代以来公知である従来の線形断層写真法の改良技術である。線形断層写真法と同様に、トモシンセシスでも関心平面外に位置する対象の残留ボケが起こる。この断層写真法のボケは重なった解剖学的構造にしばしば起因し、このボケのため関心平面内の細部が不明瞭になり、投影画像スライスのコントラスト強調が制限される。重なってボケた解剖学的構造を除去すると面内構造のコントラストが改善し、この除去は、画像のダイナミック・レンジを関心のある区画に制限して、かかる区画の関心対象に類似した周波数内容を有し得る残留構造を除去することにより行なわれる。基本的レベルでは、トモシンセシス・システムの点広がり関数(PSF)が撮像容積でのボケの広がりの特徴を決定している。トモシンセシス・システムのPSFは本質的にシフト・バリアント(位置依存型)である。しかしながら、完全なボケの除去は瑣末なタスクではない。このタスクはPSFの範囲のため計算が複雑で計算集約的であり、ボケを排除することは容易ではない。 Digital tomosynthesis is widely used for three-dimensional (3D) reconstruction of objects obtained from angle-limited X-ray projection imaging using a movable X-ray tube and a stationary digital detector. Digital tomosynthesis is an improved technique of conventional linear tomography that has been known since the 1930s. Similar to linear tomography, tomosynthesis also causes residual blurring of objects located outside the plane of interest. This tomographic blur is often due to the overlapping anatomy, which blurs the details in the plane of interest and limits the contrast enhancement of the projected image slice. Removing overlapping blurred anatomy improves the contrast of the in-plane structure, which limits the dynamic range of the image to the section of interest and provides frequency content similar to the object of interest in such section. This is done by removing residual structures that may have. At a basic level, the point spread function (PSF) of the tomosynthesis system determines the blur spread characteristics in the imaging volume. The PSF of the tomosynthesis system is essentially a shift variant (position dependent). However, complete blur removal is not a trivial task. This task is complicated and computationally intensive because of the PSF range, and it is not easy to eliminate the blur.
トモシンセシスは、X線管の1回の通過から任意の数の断面画像の遡及的な形成を可能にする。投影画像は制限された角度にわたるX線走査の間に取得されて、完全な三次元容積画像に再構成される。再構成スライスの表示品質を高めるために、トモシンセシス・データは再構成の後に一連のアルゴリズムによって処理される。従来技術の殆どの画像処理手法は、撮像の幾何学的構成の第三の次元及び事前知識を考慮しないで、再構成された画像データ集合の二次元的(2D)処理を行なう。このことは、表示処理アルゴリズムによって鮮鋭化され得る非合焦点の高周波数成分が存在し得るようなトモシンセシス画像には適しない。これらのアーティファクト及び他の多くのアーティファクトのため、技術者、研究者及び科学者等は、かかる画像を処理する代替的な方法について関心を寄せている。
真の撮像の幾何学的構成はデータ集合の三次元PSFを用いて表現されるので、理論的には、この情報を用いて、再構成された画像データ集合の表示処理を改善することが可能な筈である。さらに、例えば何らかの平面において撮像容積内の全ての点が合焦点であるか非合焦点であるかに基づいて分類され得るならば、処理アルゴリズムを分類マスクに基づいてさらに十分に適応化させることができる。 Since true imaging geometry is represented using the 3D PSF of the data set, theoretically this information can be used to improve the display processing of the reconstructed image data set. It's a nasty habit. In addition, if, for example, all points in the imaging volume in any plane can be classified based on whether they are in focus or not in focus, the processing algorithm can be more fully adapted based on the classification mask. it can.
従って、トモシンセシス・データ集合についてPSFに基づく三次元表示処理を実行し、また処理をPSF型分類マスクに基づいてさらに十分に適応化させる必要がある。また、この処理を三次元多重分解能処理の枠組みにも用い得るものとする。 Therefore, it is necessary to perform PSF-based 3D display processing on the tomosynthesis data set and to more fully adapt the processing based on the PSF type classification mask. It is also assumed that this process can be used as a framework for three-dimensional multiresolution processing.
一観点では、点広がり関数による分類に基づいてデータ集合を処理する方法である。 In one aspect, a method for processing a data set based on classification by a point spread function.
もう一つの観点では、データ集合にアクセスし、データ集合において領域を分類するために点広がり関数型規則を用い、点広がり関数による分類に基づいてデータ集合を処理する方法である。 Another aspect is a method of accessing a data set, using a point spread function type rule to classify regions in the data set, and processing the data set based on the classification by the point spread function.
さらにもう一つの観点では、走査対象を提供し、データ集合を取得するために対象を走査し、データ集合において領域を分類するために点広がり関数型規則を用い、点広がり関数による分類に基づいてデータ集合を処理する方法である。 In yet another aspect, providing a scan target, scanning the target to obtain a data set, using a point spread function type rule to classify regions in the data set, and based on classification by a point spread function A method of processing a data set.
さらにもう一つの観点では、システムが、X線源と、この線源から放出されるX線を受光するように配置されているX線検出器と、線源及び検出器に動作に関して結合されているコンピュータとを含んでいる。コンピュータは、点広がり関数による分類に基づいてデータ集合を処理するように構成されている。 In yet another aspect, the system is operatively coupled to an X-ray source, an X-ray detector arranged to receive X-rays emitted from the source, and the source and detector. Computer. The computer is configured to process the data set based on the classification by the point spread function.
さらにもう一つの観点では、点広がり関数による分類に基づいてデータ集合を処理することをコンピュータに命令するように構成されているプログラムを組み入れたコンピュータ読み取り可能な媒体が提供される。 In yet another aspect, a computer readable medium is provided that incorporates a program configured to instruct a computer to process a data set based on classification by a point spread function.
さらにもう一つの観点では、方法が、データ集合にアクセスするステップと、多重分解能表示処理によってデータ集合を処理するステップと、Z加重関数によってデータ集合を処理するステップとを含んでいる。 In yet another aspect, the method includes accessing the data set, processing the data set by a multi-resolution display process, and processing the data set by a Z weight function.
さらにもう一つの観点では、方法が、トモシンセシス撮像データ集合にアクセスするステップと、トモシンセシス撮像データ集合を再構成するステップと、多重分解能表示処理によって、再構成されたトモシンセシス撮像データ集合を処理するステップとを含んでいる。 In yet another aspect, the method accesses the tomosynthesis imaging data set, reconstructs the tomosynthesis imaging data set, and processes the reconstructed tomosynthesis imaging data set by multi-resolution display processing. Is included.
本発明の様々な他の特徴、目的及び利点は、添付の図面及び以下の詳細な説明から当業者には明らかとなろう。 Various other features, objects, and advantages of the invention will be made apparent to those skilled in the art from the accompanying drawings and the following detailed description.
本書では、例えば限定しないがX線トモシンセシス・システムのようなイメージング・システムに有用なシステム及び方法について記載する。これらのシステム及び方法は図面に関して説明され、図面では類似の参照符号が全図面において同じ構成要素を指す。かかる図面は制限的ではなく説明的であることを意図しており、本発明のシステム及び方法の実施形態の一例の説明を容易にするために本書に含まれている。X線トモシンセシス・システムの設定で記載されるが、本発明の利益は全てのイメージング・システムに齎されると思量される。この開示の一つの目的は、トモシンセシス・データ集合をPSFの性質に基づいて多数のカテゴリに分解する分類の枠組みを提供し、処理経路の選択をガイドして、画像からボケを低減して排除することにある。 This document describes systems and methods useful in imaging systems such as, but not limited to, x-ray tomosynthesis systems. These systems and methods are described with reference to the drawings, wherein like reference numerals refer to the same components throughout the drawings. Such drawings are intended to be illustrative rather than restrictive and are included herein to facilitate the description of exemplary embodiments of the systems and methods of the present invention. Although described in the setting up of an X-ray tomosynthesis system, the benefits of the present invention are believed to be deceived by all imaging systems. One objective of this disclosure is to provide a classification framework that decomposes tomosynthesis data sets into multiple categories based on the nature of PSF, guides the selection of processing paths, and reduces and eliminates blur from images There is.
図面を参照すると、図1は、例示的なX線トモシンセシス・イメージング・システム100を示している。イメージング・システム100は、被検構造106にX線フォトンを照射するX線源102を含んでいる。例として、X線源102はX線管であってよく、被検構造106は患者、試験用ファントム、及び/又は他の被験無生物体であってよい。
Referring to the drawings, FIG. 1 illustrates an exemplary X-ray
X線イメージング・システム100はまた、処理回路に結合された検出器108を含んでいる。処理回路(例えばCPU、マイクロコントローラ、マイクロプロセッサ、又はカスタムASIC等)は、メモリ又はデータ記憶装置、及び表示装置に結合されている。メモリ又はデータ記憶装置(例えばフレキシブル・ディスク、又はネットワーク若しくはインターネットのような他のディジタル・ソース等のコンピュータ読み取り可能な媒体から命令及び/又はデータを読み取る固体メモリ装置、磁気メモリ装置、光メモリ装置、ディスク記憶装置、テープ記憶装置、フレキシブル・ディスク・ドライブ、ハード・ディスク・ドライブ、CD−ROMドライブ、DVDドライブ、光磁気ディスク(MOD)装置、又はイーサネット(商標)装置等のネットワーク接続装置を含めたその他任意のディジタル装置、並びに開発中のディジタル手段等の1又は複数を含む)は、撮像データを記憶する。
The
メモリはまた、本書に記載される作用を具現化するために処理回路によって実行される命令を含んだコンピュータ・プログラムを記憶することができる。処理回路は、装置に表示するための画像を形成する。本書にさらに詳細に記載されるように、画像は様々な構造(例えば軟組織、骨)を表わしていてよい。検出器108は、例えばフラット・パネル型固体画像検出器であってよいが、メモリにディジタル形態で記憶された従来のフィルム画像を処理することもできる。一実施形態では、処理回路はファームウェア(図示されていない)に記憶されている命令を実行する。一般的には、プロセッサは後述する工程を実行するようにプログラムされる。
The memory may also store a computer program that includes instructions that are executed by the processing circuitry to implement the operations described herein. The processing circuit forms an image for display on the device. As described in further detail herein, the images may represent various structures (eg, soft tissue, bone). The
トモシンセシス撮像工程は、被検対象106を通して様々な角度から取得される一連の投影X線画像を含んでいる。任意の数の不連続な投影画像が、X線管102の円弧形回転又は線形並進によって、限定された角度範囲104にわたって取得される。図1に示す実施形態では、X線管102の運動は検出器108の平面112に平行な平面110内に位置している。投影画像データ集合の取得の後に、アプリケーション・ソフトウェアを用いて画像スライスを再構成する。また、図1には座標系114も示されており、X方向、Y方向及びZ方向を図示している。
The tomosynthesis imaging process includes a series of projected X-ray images acquired from various angles through the
言うまでもなく、本書に記載される方法は、システム100での実施に制限されてはおらず、イメージング・システムのその他多くの形式及び変形と関連して利用することができる。一実施形態では、処理回路は、本書に記載される作用を果たすようにプログラムされているコンピュータであり、従って、本書で用いられるコンピュータとの用語は当技術分野でコンピュータと呼ばれている集積回路のみに限らず、コンピュータ、プロセッサ、マイクロコントローラ、マイクロコンピュータ、プログラマブル論理コントローラ、特定応用向け集積回路、及び他のプログラム可能な回路を広範に指している。本書に記載される方法は、人間の患者の設定において記載されるが、本発明の利益は、小動物研究に典型的に用いられるシステムのような人間以外を対象とするイメージング・システムにも齎されると思量される。
Of course, the methods described herein are not limited to implementation in the
本書で用いる場合には、単数形で記載されており単数不定冠詞を冠した要素またはステップとの用語は、排除を明記していない限りかかる要素又はステップを複数備えることを排除しないものと理解されたい。さらに、本発明の「一実施形態」に対する参照は、所載の特徴を同様に組み入れている他の実施形態の存在を排除すると解釈されることを意図していない。 As used in this document, the term element or step written in the singular and followed by a singular indefinite article is understood not to exclude the inclusion of a plurality of such elements or steps unless explicitly stated otherwise. I want. Furthermore, references to “one embodiment” of the present invention are not intended to be interpreted as excluding the existence of other embodiments that also incorporate the recited features.
また、本書で用いられる「画像を再構成する」との表現は、画像を表わすデータが生成されるが可視画像は形成されないような本発明の実施形態を排除するものではない。従って、本書で用いられる「画像」との用語は、可視画像及び可視画像を表わすデータの両方を広く指す。但し、多くの実施形態は少なくとも1枚の可視画像を形成する(か又は形成するように構成されている)。 Further, the expression “reconstruct an image” used in this document does not exclude embodiments of the present invention in which data representing an image is generated but a visible image is not formed. Thus, the term “image” as used herein broadly refers to both the visible image and the data representing the visible image. However, many embodiments form (or are configured to form) at least one visible image.
本書に記載される方法は医療の設定において記載されるが、産業の設定、又は例えば限定しないが空港若しくは他の運輸拠点での手荷物走査システムのような運輸の設定で典型的に用いられるシステム等のような非医用イメージング・システムにおいても、本発明の利益が齎されると思量される。 The methods described in this document are described in medical settings, such as systems typically used in industrial settings or, for example, but not limited to transportation settings such as baggage scanning systems at airports or other transportation points, etc. Even in non-medical imaging systems such as these, it is believed that the benefits of the present invention are appreciated.
多重分解能処理では、1よりも多い分解能での画像の表現及び解析が実行される。これにより計算の簡潔性及び柔軟性が提供される。加えて、一つの分解能では検出され難い特徴がもう一つの分解能で容易に見出される場合がある。この多重分解能処理の手法を図2に示す。 In multi-resolution processing, image representation and analysis at a resolution greater than one is performed. This provides computational simplicity and flexibility. In addition, features that are difficult to detect with one resolution may be easily found with another resolution. This multi-resolution processing technique is shown in FIG.
図2は、画像の空間選択的な強調のためのフィルタ処理系列200を示している。図2の例は二次元フィルタ処理系列(2D)を説明しているが、同様のフィルタ処理系列は、一次元(1D)フィルタ処理系列又は三次元(3D)フィルタ処理系列を含めて他の次元についても達成され得る。このフィルタ処理系列は、分解相202、強調相204及び再合成相206を含んでいる。分解相204は、累進的に空間周波数を低くした一連の空間周波数画像への画像データの累進的分解を含む。本書で用いる場合には、空間周波数との用語は、画定された画像区域内の個別の画像成分の数に全体的に関係している。この画像の累進的分解によって、フィルタ処理系列200は異なる空間周波数を有する一連の分解画像を形成する。次いで、これらの画像の各々が、強調相204においてゲイン画像の適用によって強調される。次いで、得られた画像は再合成相206において再結合されて強調画像を完成する。分解された画像の異なる空間周波数レベルでの個別の処理が図2では参照番号210、212、214、216及び218によって示されており、番号218が分解及び処理の最後のレベルである。前述のように、各々の累進的ステップ又はレベルが、参照番号220、222、224、226及び228に示すように、累進的に空間周波数を低くした中間画像を形成する。
FIG. 2 shows a
図2に示すように、分解相の各々の空間周波数レベルについての処理ブロックは、低域通過フィルタによって表わされているデシメータ230及び補間器232を含んでいる(図2では最も高い空間周波数レベル210のフィルタにのみ番号を付す)。これらのフィルタは、当技術分野で周知の態様で、直前の画像レベルの隣り合ったピクセルを表わすデータを累進的に結合する。フィルタは第一のフィルタ処理済み画像及び第二の画像を出力し、第一のフィルタ処理済み画像は後続の分解レベルで用いられ、第二の画像は加算器234において当該空間周波数レベルについての入力画像から減算される。このように、最も高いレベル210では、元の処理済み画像データ236が、デシメータとしての低域通過フィルタ230、及び加算器234に供給される。この元の画像データはブロック230及びブロック232においてフィルタ処理されて、ブロック230の出力はレベル212への入力データとして渡される。この態様で、元の処理済み画像データは累進的に空間周波数を低くした画像に分解される。一実施形態では、分解相における各々の後続のステップ又はレベルは、当該レベルについての入力画像の2分の1の寸法の画像を形成する。但し、他の縮小率を用いてもよい。さらに、分解相のフィルタ処理は任意の所望のレベルで終了してよいが、本実施形態ではかかるフィルタ処理が最も低いレベル218において単一ピクセル(1×1)画像に到達するまで実行されている。
As shown in FIG. 2, the processing block for each spatial frequency level of the decomposed phase includes a
次いで、フィルタ処理系列200は進行して、強調相204において空間周波数画像の各々にゲイン画像を適用する(例えば乗算する)。ゲイン画像は図2では参照番号238、240、242、244及び246によって示されており、このゲイン画像はエッジのような画像の特定の特徴を強調する割り当てられた値である。さらに、ゲイン画像の幾つかは、相対的に低い空間周波数レベルからのデータから形成される。このように、G1と示されているゲイン画像238は、レベル212での分解相から得られる画像222から形成される。同様に、G2と示されているゲイン画像240は、レベル214での処理から得られる画像224から形成される。フィルタ処理系列200の任意の適当な数のレベルが、かかる相対的に低い空間周波数に基づくゲイン画像を用いることができる。例えば、2048×2048ピクセルの原寸を有する画像において、かかる相対的に低い空間周波数に基づくゲイン画像を図2のレベル210、212及び214のような分解の最初の三つのレベルで用いると、十分なエッジ強調が形成される。他のさらに低いレベルでこの手法を用いてもよいし、又は単位値、若しくは単位値よりも大きいか小さいかを問わず他の値を有するゲイン画像をこれら他のレベルに乗算してもよい。
The
強調相204でのゲイン画像の適用に続いて、得られた強調画像を再合成相206において再結合する。図2に示すように、再合成相の各々のステップ又はレベルは、ブロック248(図2のレベル210を参照)において直前の(すなわち相対的に低い)レベルからの出力データの補間を含んでいる。得られる画像は、各々のレベルで加算器250において強調画像に加算される。次いで、得られる強調されて再合成された画像データは、再合成されて強調された原寸の画像252が得られるまで、次の(すなわち相対的に高い)レベルに送られる。
Following application of the gain image in the
尚、特定の応用では、画像データは最も低いレベルまで完全に分解され又は再合成される必要はないことを特記しておく。例えば、一連の相対的に低い空間周波数の画像が相204において類似のゲインを適用される場合には、分解をこのレベルで停止してよい。次いで、ゲインがこの末端のレベルで画像に適用されて、再合成が開始し得る。同様に、前述のように相対的に高いレベルのゲインは分解から得られる相対的に低い空間周波数の画像から導かれるが、これらのゲインはまた、相対的に低い空間周波数の画像から再合成された画像に基づいて(すなわち強調相204でのゲイン画像の適用の後に)得ることもできる。
It should be noted that for certain applications, the image data need not be completely decomposed or recombined to the lowest level. For example, if a series of relatively low spatial frequency images are applied with similar gain in
一実施形態では、相対的に低い空間周波数に基づくゲインは次のようにして導かれる。元のフィルタ処理された画像データの分解に続いて、処理回路は次式のように表わし得るアルゴリズムを適用する。 In one embodiment, a gain based on a relatively low spatial frequency is derived as follows. Following the decomposition of the original filtered image data, the processing circuit applies an algorithm that can be expressed as:
Gi(x,y)=max(1.0,Ei*S(Oj(x,y)))
ここでGi(x,y)は、決定されるべきレベルiのゲイン画像の各々のピクセルの値であり、Eiは1.0よりも大きい利用者定義のエッジ強度値であり、Sは利用者によって設定され得る空間感度関数であり、Oj(x,y)は相対的に低い空間周波数レベルの画像jの各々のピクセルの値である。従って、得られる計算値が単位値よりも小さいときには、上述のアルゴリズムは導かれたゲイン画像に単位値を実効的に保持することを特記しておく。また、このアルゴリズムは、利用者が所望のエッジ強度値を実効的に定義することを可能にして、エッジと再合成されて強調された画像との相対的な鮮鋭度を増減させ易くしている。同様に、空間感度関数が利用者によって選択されて、ゲイン計算において相対的に低い空間周波数の画像の値によって及ぼされる影響の量を調節することができる。空間感度関数としては線形関数、区分型線形関数及びシグモイド関数等がある。本実施形態では、関数Sから得られる値Sは0と1の間の何処に設定されてもよい。さらに、エッジ強度値若しくは空間感度関数、又はこれら両方が、特定の空間周波数レベルに対して一意(すなわち図2の個別のレベル210、212及び214に対して一意)であってもよい。また、かかる空間周波数に基づくゲイン画像が導かれる特定のレベルは、利用者による構成設定が可能なパラメータであってもよい。従って、利用者は、所望の強調、及び有用な情報又は雑音が期待される周波数レベルに依存して、1、2、3又はさらに多くのレベルについての空間周波数に基づく強調を選択することができる。
G i (x, y) = max (1.0, E i * S (O j (x, y)))
Where G i (x, y) is the value of each pixel in the gain image at level i to be determined, E i is a user-defined edge intensity value greater than 1.0, and S is A spatial sensitivity function that can be set by the user, where O j (x, y) is the value of each pixel of image j at a relatively low spatial frequency level. Therefore, it should be noted that when the calculated value obtained is smaller than the unit value, the above algorithm effectively holds the unit value in the derived gain image. This algorithm also allows the user to effectively define the desired edge strength value, making it easier to increase or decrease the relative sharpness between the edge and the recombined and enhanced image. . Similarly, a spatial sensitivity function can be selected by the user to adjust the amount of influence exerted by the relatively low spatial frequency image values in the gain calculation. The spatial sensitivity function includes a linear function, a piecewise linear function, a sigmoid function, and the like. In the present embodiment, the value S obtained from the function S may be set anywhere between 0 and 1. Further, the edge intensity value or the spatial sensitivity function, or both, may be unique for a particular spatial frequency level (ie unique for the
多重分解能の枠組みの範囲内では、トモシンセシス再構成された一組のスライスが入力の一つであると看做される。他の入力としては、各々の領域に一つずつの分類タイプが存在するような多数の領域に対応するPSF型分類マスクがある。一例として、次の4種の分類タイプがある。すなわち、(1)合焦点、(2)非合焦点、(3)背景、及び(4)低周波数であり、これらの分類タイプについては米国特許出願第11/463,845号に記載されている。このマスクは、別個の領域を特定するように数値符号化されていた。すなわち、(1)合焦点データについてはm=1、(2)非合焦点データについてはm=2、(3)背景データについてはm=3、及び(4)低周波数データについてはm=4とされており、ここでmはマスクの各々のピクセルの値を示している。これらの入力は、アップ・サンプリング(再合成)方法又はダウン・サンプリング(分解)方法を用いて同じ分解能を有するものとされる。一旦、各入力が同じ分解能を有するものとなったら、幾つかの異なる方法を用いてデータを処理することができる。 Within the multi-resolution framework, a set of tomosynthesis reconstructed slices is considered as one of the inputs. Another input is a PSF type classification mask corresponding to a large number of regions such that there is one classification type for each region. As an example, there are the following four classification types. (1) in focus, (2) non-focus, (3) background, and (4) low frequency, and these classification types are described in US patent application Ser. No. 11 / 463,845. . This mask was numerically encoded to identify distinct regions. That is, (1) m = 1 for in-focus data, (2) m = 2 for non-focus data, (3) m = 3 for background data, and (4) m = 4 for low-frequency data. Where m represents the value of each pixel of the mask. These inputs are assumed to have the same resolution using up-sampling (re-synthesis) or down-sampling (decomposition) methods. Once each input has the same resolution, the data can be processed using several different methods.
新規の方法体系をPSFに基づくトモシンセシス・データの三次元処理について示す。この方法体系が計算の効率と精度との兼ね合いを図りつつ取り得る幾つかの形態が存在する。以下は幾つかの方法体系の例である。 A new methodology is presented for 3D processing of tomosynthesis data based on PSF. There are several forms that this system can take while balancing the efficiency and accuracy of computation. The following are examples of several methodologies.
撮像データ集合を処理する方法300は、従来の二次元多重分解能表示処理、及び三次元PSFの正中線に沿ってPSFから導かれる一次元(1D)Z加重関数306とを用いる。図3は、方法300を示す流れ図である。この方法300は、次のステップを含んでいる。すなわち、(1)取得された投影画像から画像スライスを再構成するステップ302、(2)表示処理された画像スライスを得るために、各々の画像スライスに対して従来の二次元多重分解能表示処理を実行する(PSF分類領域を利用しない)ステップ304、(3)表示処理された画像スライス・データの各々の点において、PSFの正中線に沿ってPSFに基づく一次元Z加重プロファイルを決定するステップ、及び(4)強調された最終画像308を得るために、プロファイル方向に沿って一次元Z加重処理についてPSFに基づく一次元Z加重プロファイルを用いる(PSF分類領域を利用しない)ステップ306であり、ここで一次元Z加重処理は、ボケを軽減する鮮鋭化演算であってよい。
The
撮像データ集合を処理する方法400は、従来の二次元多重分解能表示処理、PSF型分類マスク406、並びにPSF及び三次元PSFの形状から導かれる一次元Z加重関数408を用いる。一次元Z加重処理408は、PSF分類領域410、412、414、416を利用する。図4は、方法400を示す流れ図である。この方法400は、次のステップを含んでいる。すなわち、(1)取得された投影画像から画像スライスを再構成するステップ402、(2)表示処理された画像スライスを得るために、各々の画像スライスに対して従来の二次元多重分解能表示処理を実行する(PSF分類領域を利用しない)ステップ404、(3)表示処理された画像スライス・データの各々の点において、PSFの正中線に沿ってPSFに基づく一次元Z加重プロファイルを決定するステップ、及び(4)強調された最終画像418を得るために、事前分類タイプ406に基づいてプロファイル方向に沿って一次元Z加重処理408についてPSFに基づく一次元Z加重プロファイルを適応的に用いる(PSF分類領域410、412、414、416を利用する)ステップ408である。一次元Z加重処理408は、ボケを軽減する鮮鋭化演算であってよい。鮮鋭化の強度は、分類タイプに基づいて変化し得る。
The
撮像データ集合を処理する方法500は、従来の二次元多重分解能表示処理506及びPSFの正中線プロファイルに沿った一次元Z加重処理の両方についてPSF型分類マスク504を用いる。従来の二次元多重分解能表示処理506は、PSF分類領域510、512、514、516を利用する。一次元Z加重処理508は、PSF分類領域520、522、524、526を利用する。図5は、方法500を示す流れ図である。この方法500は、次のステップを含んでいる。すなわち、(1)取得された投影画像から画像スライスを再構成するステップ502、(2)表示処理された画像スライスを得るために、事前分類タイプ504に基づいて各々の画像スライスに対して従来の二次元多重分解能表示処理を適応的に実行する(PSF分類領域510、512、514、516を利用する)ステップ506(尚、この適応的処理は、従来の手法が既に有し得る他の従来の適応的処理に加えて行なわれることに留意されたい)、(3)表示処理された画像スライス・データの各々の点において、PSFの正中線に沿ってPSFに基づく一次元Z加重プロファイルを決定するステップ、及び(4)強調された最終画像518を得るために、事前分類タイプ504に基づいてプロファイル方向に沿って一次元Z加重処理についてPSFに基づく一次元Z加重プロファイルを適応的に用いる(PSF分類領域520、522、524、526を利用する)ステップ508である。一次元Z加重処理は、ボケを軽減する鮮鋭化演算であってよい。鮮鋭化の強度は分類タイプに基づいて変化し得る。マスクの異なる領域に異なる処理アルゴリズムを適用することができる。例えば、合焦点構造を鮮鋭化して、非合焦点の細部の影響を弱めることができる。得られるデータ集合は、後にサンプリングされて所望の分解能を達成することができる。
The
撮像データ集合を処理する方法600は、三次元多重分解能表示処理606と共にPSF型分類マスク604を用いる。三次元多重分解能表示処理606は、PSF分類領域610、612、614、616を利用する。図6は、方法600を示す流れ図である。この方法600は、次のステップを含んでいる。すなわち、(1)取得された投影画像から画像スライスを再構成するステップ602、並びに(2)表示処理された画像スライス606及び強調された最終画像608を得るために、事前分類タイプ604に基づいて各々の画像スライスに対して三次元多重分解能表示処理を適応的に実行する(PSF分類領域610、612、614、616を利用する)ステップ606であり、ここで符号化されたマスク内の異なる領域に異なる処理アルゴリズムを適用してよい。
A
トモシンセシス撮像データ集合を処理する方法700は、従来の三次元多重分解能表示処理704を用いる(PSF分類領域を利用しない)。図7は、方法700を示す流れ図である。この方法700は、次のステップを含んでいる。すなわち、(1)取得された投影画像からトモシンセシス画像スライスを再構成するステップ702、及び(2)強調された最終画像706を得るために、各々の画像スライスに対して従来の三次元多重分解能表示処理を実行する(PSF分類領域を利用しない)ステップ704である。
A
撮像データ集合を処理する方法800は、従来の二次元多重分解能表示処理806についてPSF型分類マスク804を用い、またPSFの正中線プロファイルに沿った一次元Z加重処理808を用いる。従来の二次元多重分解能表示処理は、PSF分類領域810、812、814、816を利用する。一次元Z加重処理808は、PSF分類領域を利用しない。図8は、方法800を示す流れ図である。この方法800は、次のステップを含んでいる。すなわち、(1)取得された投影画像から画像スライスを再構成するステップ802、(2)表示処理された画像スライスを得るために、事前分類タイプ804に基づいて各々の画像スライスに対して従来の二次元多重分解能表示処理を適応的に実行する(PSF分類領域810、812、814、816を利用する)ステップ806(尚、この適応的処理は、従来の手法が既に有し得る他の従来の適応的処理に加えて行なわれることに留意されたい)、(3)表示処理された画像スライス・データの各々の点において、PSFの正中線に沿ってPSFに基づく一次元Z加重プロファイルを決定するステップ、及び(4)強調された最終画像818を得るために、プロファイル方向に沿って一次元Z加重処理についてPSFに基づく一次元Z加重プロファイルを用いる(PSF分類領域を利用しない)ステップ808であり、ここで一次元Z加重処理は、ボケを軽減する鮮鋭化演算であってよい。
The
つまり、本書に記載する一般的な枠組みに基づいて多くの異なる形態を作成することができる。これらの形態は、1又は複数の次元での処理を適応的にも非適応的にも行ない得るため生ずる。従来の画像方式の処理の適応化に加えて、本発明は、表示処理を適応化させる新規のPSF型分類を開示する。 That is, many different forms can be created based on the general framework described in this document. These forms arise because processing in one or more dimensions can be performed adaptively or non-adaptively. In addition to adapting conventional image processing, the present invention discloses a new PSF type classification that adapts display processing.
一つの技術的効果は、本書に記載される方法及びシステムが、PSFに基づいて構造(すなわち領域)を分類する能力を提供することであり、すると所望に応じて各々の異なるクラスについて異なるようにデータを選択的に処理することができる。撮像データを処理するこの改良された能力は、最終的な再構成画像において相対的に少ないアーティファクト及び/又はボケを導く。 One technical effect is that the methods and systems described herein provide the ability to classify structures (ie, regions) based on PSF, so that it is different for each different class as desired. Data can be selectively processed. This improved ability to process the imaging data leads to relatively little artifacts and / or blur in the final reconstructed image.
以上、実施形態の例について詳細に説明した。これらのアセンブリ及び方法は、本書に記載される特定の実施形態に限定されてはおらず、各々のアセンブリ及び/又は方法の構成要素を、本書に記載される他の構成要素と独立且つ別個に利用してよい。 The example of the embodiment has been described in detail above. These assemblies and methods are not limited to the specific embodiments described herein, and each assembly and / or method component is utilized independently and separately from the other components described herein. You can do it.
本発明を様々な実施形態を参照して記載したが、当業者であれば、発明の要旨から逸脱することなく実施形態に幾つかの置換、改変及び省略を施し得ることを認められよう。従って、以上の説明は例示的であることのみを意図しており、特許請求の範囲に記載される本発明の範囲を限定するものではない。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。 Although the present invention has been described with reference to various embodiments, those skilled in the art will recognize that several substitutions, modifications, and omissions may be made to the embodiments without departing from the spirit of the invention. Accordingly, the foregoing description is intended to be illustrative only and is not intended to limit the scope of the invention as recited in the claims. Further, the reference numerals in the claims corresponding to the reference numerals in the drawings are merely used for easier understanding of the present invention, and are not intended to narrow the scope of the present invention. Absent. The matters described in the claims of the present application are incorporated into the specification and become a part of the description items of the specification.
100 イメージング・システム
102 X線源
104 限定された角度範囲
106 被検構造
108 検出器
110 X線源平面
112 検出器平面
114 X、Y、Z座標系
200 フィルタ処理系列
202 分解相
204 強調相
206 再合成相
210、212、214、216、218 空間周波数レベル
220、222、224、226、228 中間画像
230 デシメータ
232 補間器
234 加算器
236 元の処理済み画像データ
238、240、242、244、246 ゲイン画像
248 補間器
250 加算器
252 再合成されて強調された画像
300 画像データ集合を処理する方法
302 画像スライスを再構成する
304 従来の二次元多重分解能処理
306 一次元Z加重処理
308 強調された最終画像
400 画像データ集合を処理する方法
402 画像スライスを再構成する
404 従来の二次元多重分解能処理
406 PSF型分類マスク
408 適応的なPSFに基づく一次元Z加重処理
410、412、414、416 PSF分類領域
418 強調された最終画像
500 画像データ集合を処理する方法
502 画像スライスを再構成する
504 PSF型分類マスク
506 適応的なPSFに基づく二次元多重分解能処理
508 適応的なPSFに基づく一次元Z加重処理
510、512、514、516、520、522、524、526 PSF分類領域
518 強調された最終画像
600 画像データ集合を処理する方法
602 画像スライスを再構成する
604 PSF型分類マスク
606 適応的なPSFに基づく三次元多重分解能処理
608 強調された最終画像
610、612、614、616 PSF分類領域
700 画像データ集合を処理する方法
702 画像スライスを再構成する
704 従来の三次元多重分解能処理
706 強調された最終画像
800 画像データ集合を処理する方法
802 画像スライスを再構成する
804 PSF型分類マスク
806 適応的なPSFに基づく二次元多重分解能処理
808 一次元Z加重処理
810、812、814、816 PSF分類領域
818 強調された最終画像
DESCRIPTION OF SYMBOLS 100 Imaging system 102 X-ray source 104 Limited angle range 106 Test structure 108 Detector 110 X-ray source plane 112 Detector plane 114 X, Y, Z coordinate system 200 Filtering series 202 Decomposition phase 204 Enhancement phase 206 Re Composite Phase 210, 212, 214, 216, 218 Spatial Frequency Level 220, 222, 224, 226, 228 Intermediate Image 230 Decimator 232 Interpolator 234 Adder 236 Original Processed Image Data 238, 240, 242, 244, 246 Gain Image 248 Interpolator 250 Adder 252 Recombined and enhanced image 300 Method of processing image data set 302 Reconstructing image slice 304 Conventional two-dimensional multi-resolution processing 306 One-dimensional Z-weighted processing 308 Enhanced final Image 400 Image data 402 Reconstruct image slices 404 Conventional two-dimensional multi-resolution processing 406 PSF type classification mask 408 Adaptive PSF based one-dimensional Z weighting process 410, 412, 414, 416 PSF classification region 418 Enhanced final image 500 Method of processing image data set 502 Reconstruct image slice 504 PSF type classification mask 506 Adaptive PSF based 2D multi-resolution processing 508 Adaptive PSF based 1D Z weighting processing 510 512, 514, 516, 520, 522, 524, 526 PSF classification region 518 Enhanced final image 600 Method of processing image data set 602 Reconstruct image slice 604 PSF type classification mask 606 Based on adaptive PSF Three-dimensional multi-resolution processing 608 Toned final image 610, 612, 614, 616 PSF classification region 700 Method of processing image data set 702 Reconstruct image slice 704 Conventional three-dimensional multi-resolution processing 706 Enhanced final image 800 Process image data set Method 802 Reconstruct image slice 804 PSF type classification mask 806 Two-dimensional multi-resolution processing based on adaptive PSF 808 One-dimensional Z weight processing 810, 812, 814, 816 PSF classification region 818 Enhanced final image
Claims (10)
該線源(102)から放出されるX線を受光するように配置されているX線検出器(108)と、
前記線源(102)及び前記検出器(108)に動作に関して結合されており、点広がり関数による分類に基づいてデータ集合を処理するように構成されているコンピュータと、
を備えたシステム(100)。 An X-ray source (102);
An X-ray detector (108) arranged to receive X-rays emitted from the source (102);
A computer coupled in operation to the source (102) and the detector (108) and configured to process a data set based on classification by a point spread function;
A system (100) comprising:
前記データ集合において領域を分類するために点広がり関数型規則を用いるステップと、
前記点広がり関数による分類に基づいて前記データ集合を処理するステップと、
を備えた方法。 Accessing the data set;
Using point spread functional rules to classify regions in the data set;
Processing the data set based on classification by the point spread function;
With a method.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/464,103 US7929746B2 (en) | 2006-08-10 | 2006-08-11 | System and method for processing imaging data |
US11/464,103 | 2006-08-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008043757A true JP2008043757A (en) | 2008-02-28 |
JP5207683B2 JP5207683B2 (en) | 2013-06-12 |
Family
ID=39178025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007204262A Expired - Fee Related JP5207683B2 (en) | 2006-08-11 | 2007-08-06 | System and method for processing imaging data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5207683B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008043756A (en) * | 2006-08-10 | 2008-02-28 | General Electric Co <Ge> | Classification method and device |
EP2213234A1 (en) | 2009-01-28 | 2010-08-04 | FUJIFILM Corporation | Radiographic tomosynthesis image generating apparatus |
JP2012530553A (en) * | 2009-06-19 | 2012-12-06 | エッダ・テクノロジー・インク | Computer-aided lung nodule detection system for chest tomosynthesis imaging |
US8768042B2 (en) | 2010-03-10 | 2014-07-01 | Fujifilm Corporation | Radiographic image capturing system and method of displaying radiographic images |
WO2015046465A1 (en) * | 2013-09-30 | 2015-04-02 | 富士フイルム株式会社 | Image-processing device, radiographic imaging system, image-processing program, and image-processing method |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02244881A (en) * | 1989-03-17 | 1990-09-28 | Toshiba Corp | X-ray diagnostic device |
JPH1057361A (en) * | 1996-08-14 | 1998-03-03 | Hitachi Medical Corp | Radiograph |
JPH10295680A (en) * | 1997-04-25 | 1998-11-10 | Toshiba Corp | X-ray tomography |
JP2001511372A (en) * | 1997-07-25 | 2001-08-14 | アーチ・デベロップメント・コーポレーション | Method for improving accuracy in discriminative diagnosis in radiological examination |
WO2006117706A1 (en) * | 2005-05-03 | 2006-11-09 | Koninklijke Philips Electronics, N.V. | Virtual lesion quantification |
JP2008043756A (en) * | 2006-08-10 | 2008-02-28 | General Electric Co <Ge> | Classification method and device |
-
2007
- 2007-08-06 JP JP2007204262A patent/JP5207683B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02244881A (en) * | 1989-03-17 | 1990-09-28 | Toshiba Corp | X-ray diagnostic device |
JPH1057361A (en) * | 1996-08-14 | 1998-03-03 | Hitachi Medical Corp | Radiograph |
JPH10295680A (en) * | 1997-04-25 | 1998-11-10 | Toshiba Corp | X-ray tomography |
JP2001511372A (en) * | 1997-07-25 | 2001-08-14 | アーチ・デベロップメント・コーポレーション | Method for improving accuracy in discriminative diagnosis in radiological examination |
WO2006117706A1 (en) * | 2005-05-03 | 2006-11-09 | Koninklijke Philips Electronics, N.V. | Virtual lesion quantification |
JP2008043756A (en) * | 2006-08-10 | 2008-02-28 | General Electric Co <Ge> | Classification method and device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008043756A (en) * | 2006-08-10 | 2008-02-28 | General Electric Co <Ge> | Classification method and device |
EP2213234A1 (en) | 2009-01-28 | 2010-08-04 | FUJIFILM Corporation | Radiographic tomosynthesis image generating apparatus |
JP2012530553A (en) * | 2009-06-19 | 2012-12-06 | エッダ・テクノロジー・インク | Computer-aided lung nodule detection system for chest tomosynthesis imaging |
US8837789B2 (en) | 2009-06-19 | 2014-09-16 | Edda Technology, Inc. | Systems, methods, apparatuses, and computer program products for computer aided lung nodule detection in chest tomosynthesis images |
US8768042B2 (en) | 2010-03-10 | 2014-07-01 | Fujifilm Corporation | Radiographic image capturing system and method of displaying radiographic images |
WO2015046465A1 (en) * | 2013-09-30 | 2015-04-02 | 富士フイルム株式会社 | Image-processing device, radiographic imaging system, image-processing program, and image-processing method |
JP2015066344A (en) * | 2013-09-30 | 2015-04-13 | 富士フイルム株式会社 | Image processor, radiation image photographing system, image processing program, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP5207683B2 (en) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7929746B2 (en) | System and method for processing imaging data | |
JP6208271B2 (en) | Medical image processing device | |
JP5694357B2 (en) | Improved image data / dose reduction | |
JP6275826B2 (en) | Noise removal reconstruction image data edge improvement | |
US8520971B2 (en) | Digital image resampling | |
JP2007050259A (en) | Method for filtering tomographic three-dimensional image after reconstructing volume data | |
JP2015029913A (en) | X-ray ct (computed tomography) device, image processing device, image processing method, and recording medium | |
JP5207683B2 (en) | System and method for processing imaging data | |
JP2013506520A (en) | Method for artifact reduction in cone-beam CT images | |
JP6402282B1 (en) | X-ray imaging device for objects | |
EP2447911A1 (en) | Medical image noise reduction based on weighted anisotropic diffusion | |
JP2004242285A (en) | Noise suppression processing method, apparatus and program | |
FR2848007A1 (en) | METHOD AND SYSTEM FOR ENHANCING TOMOSYNTHESIS IMAGE USING CROSS-FILTERING | |
US8213694B2 (en) | Computed tomography reconstruction from truncated scans | |
EP2317925A2 (en) | Incorporation of mathematical constraints in methods for dose reduction and image enhancement in tomography | |
Maier et al. | GPU denoising for computed tomography | |
JP5105286B2 (en) | Image restoration apparatus, image restoration method, and image restoration program | |
Hu et al. | Sinogram restoration for low-dosed X-ray computed tomography using fractional-order Perona-Malik diffusion | |
Oh et al. | Robust estimation of motion blur kernel using a piecewise-linear model | |
US10013778B2 (en) | Tomography apparatus and method of reconstructing tomography image by using the tomography apparatus | |
Lu et al. | Adaptive noise reduction toward low-dose computed tomography | |
US10891764B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN111795949A (en) | Anti-scatter imaging method and device | |
Wang et al. | Backprojection Wiener deconvolution for computed tomographic reconstruction | |
JP2019122616A (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100802 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5207683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |