JP5137243B2 - Target region extraction apparatus and method, and program - Google Patents

Target region extraction apparatus and method, and program Download PDF

Info

Publication number
JP5137243B2
JP5137243B2 JP2008080400A JP2008080400A JP5137243B2 JP 5137243 B2 JP5137243 B2 JP 5137243B2 JP 2008080400 A JP2008080400 A JP 2008080400A JP 2008080400 A JP2008080400 A JP 2008080400A JP 5137243 B2 JP5137243 B2 JP 5137243B2
Authority
JP
Japan
Prior art keywords
target
target area
region
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008080400A
Other languages
Japanese (ja)
Other versions
JP2009232962A (en
Inventor
禎之 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008080400A priority Critical patent/JP5137243B2/en
Publication of JP2009232962A publication Critical patent/JP2009232962A/en
Application granted granted Critical
Publication of JP5137243B2 publication Critical patent/JP5137243B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像中の対象領域を抽出する方法および装置ならびにプログラム、特に医用画像中の対となる対象領域を抽出する対象領域抽出装置および方法ならびにプログラムに関するものである。   The present invention relates to a method, apparatus, and program for extracting a target area in an image, and more particularly to a target area extraction apparatus, method, and program for extracting a pair of target areas in a medical image.

従来、医療分野においては、高い診断性能を有する画像を提供するために、たとえば、医用画像中の臓器領域、病変領域等の所定の対象領域を抽出して表示する処理が行われている。   Conventionally, in the medical field, in order to provide an image having high diagnostic performance, for example, a process of extracting and displaying a predetermined target region such as an organ region or a lesion region in a medical image has been performed.

画像中の対象領域を抽出する方法としては、たとえば特許文献1に示されているように、ユーザーにより与えられた画像中の対象領域を示す特定の画素と背景領域を示す特定の画素との情報に基づいて算出された、各画素が対象領域又は背景領域を示す画素である確からしさと、画像の局所的な濃度差に基づいて算出された隣接する画素が同一領域の画素である確からしさとを用いて、画像から対象領域を抽出する方法が知られている。   As a method for extracting a target area in an image, for example, as disclosed in Patent Document 1, information on a specific pixel indicating a target area in a picture given by a user and a specific pixel indicating a background area is provided. The probability that each pixel is a pixel indicating the target region or the background region, and the probability that the adjacent pixels calculated based on the local density difference of the image are pixels in the same region. A method of extracting a target area from an image using the method is known.

また、非特許文献1では、ユーザーにより与えられた画像中の対象領域を示す特定の画素と背景領域を示す特定の画素のそれぞれを対象領域の拡張基準点と背景領域の拡張基準点とし、画像の局所的な濃度差に基づいて算出された隣接する画素が同一領域の画素である確からしさを用いて各基準点を領域拡張させ、拡張して得られた対象領域と背景領域とがぶつかった所に境界を生成することにより、画像から対象領域を抽出する方法が提案されている。
米国特許出願公開第2004/0008886号明細書 Rie Tachibanaa and Shoji Kidoa, “Automatic segmentation of pulmonary nodules on CT images by use of NCI Lung Image Database Consortium”, SPIC Medical Imaging 2006
Further, in Non-Patent Document 1, a specific pixel indicating a target area and a specific pixel indicating a background area in an image given by a user are set as an extension reference point of the target area and an extension reference point of the background area, respectively. Each reference point was expanded using the probability that the adjacent pixels calculated based on the local density difference of the pixels are in the same region, and the target region and the background region obtained by the expansion collided A method for extracting a target region from an image by generating a boundary at a location has been proposed.
US Patent Application Publication No. 2004/0008886 Rie Tachibanaa and Shoji Kidoa, “Automatic segmentation of pulmonary nodules on CT images by use of NCI Lung Image Database Consortium”, SPIC Medical Imaging 2006

ところが、上記特許文献1または非特許文献1において提案されている手法では、画像中の対象領域を示す特定の画素と背景領域を示す特定の画素とをそれぞれ手動で与える煩雑な操作を要し、かつ画像中の指定された対象領域のみしか抽出できない。   However, the method proposed in the above-mentioned Patent Document 1 or Non-Patent Document 1 requires a complicated operation to manually give a specific pixel indicating a target area and a specific pixel indicating a background area in an image, Only the specified target area in the image can be extracted.

本発明は、上記事情に鑑み、対となる対象領域抽出処理の自動化を図り、利便性を向上させることができる対象領域抽出装置および方法ならびにプログラムを提供することを目的とするものである。   In view of the above circumstances, an object of the present invention is to provide a target area extraction apparatus, method, and program capable of automating a pair of target area extraction processes and improving convenience.

本発明の対象領域抽出装置は、対となる対象領域の一方の対象領域内に任意の点を設定する設定手段と、対となる対象領域の位置関係を示す解剖学的情報を記憶する解剖学的情報データベースと、設定された任意の点と解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算する計算手段と、画像中に、前記一方の対象領域が存在し得る存在範囲を、設定した任意の点と一方の対象領域のありうる大きさとを用いて決定するとともに、画像中に、他方の対象領域が存在し得る存在範囲を、計算された所定の点の位置と他方の対象領域のありうる大きさとを用いて決定する範囲決定手段と、設定された任意の点、計算された所定の点の位置、決定された一方の対象領域の存在範囲の外側の点および決定された他方の対象領域の存在範囲の外側の点に基づいて画像から対となる対象領域を抽出する対象領域抽出手段と、を備えたことを特徴とするものである。   The target region extraction apparatus according to the present invention includes a setting unit that sets an arbitrary point in one target region of a pair of target regions, and an anatomy that stores anatomical information indicating a positional relationship between the pair of target regions. A target information database, a calculation means for calculating a position of a predetermined point in the other target region of the target region to be paired based on the set arbitrary point and anatomical information, and the one in the image The target area where the target area can exist is determined using the set arbitrary point and the possible size of one target area, and the target range where the other target area can exist in the image is calculated. Range determining means for determining using the position of the determined predetermined point and the possible size of the other target area, the set arbitrary point, the position of the calculated predetermined point, and the determined one target area Points outside the existence range and determined And is characterized in that it comprises other and target area extracting means for extracting a target region to be paired from the image based on the outside of the existence range of the target area point, the.

「対となる対象領域」とは、被写体の解剖学的領域として2つ1組で存在する対象となる領域をいい、例えば、腎臓領域、肺野領域、睾丸領域、眼球領域等が挙げられる。また、対象領域は、医用画像中の病変領域であってもよい。   The “target region to be paired” refers to a target region that exists in pairs as an anatomical region of a subject, and examples thereof include a kidney region, a lung field region, a testicle region, and an eyeball region. The target area may be a lesion area in the medical image.

ここで、本発明の対象領域抽出装置は、設定手段により設定された任意の点を含む対となる腎臓領域の一方の腎臓領域が、左右いずれの腎臓であるか否かを判別する腎臓判別手段とを更に備えるものであってもよい。   Here, the target region extraction apparatus of the present invention is a kidney determination unit that determines whether one kidney region of a pair of kidney regions including an arbitrary point set by the setting unit is a right or left kidney. May be further provided.

「解剖学的情報」は、対となる対象領域の統計的な位置情報であってもよい。また、解剖学的情報は、対となる対象領域の血管の接続関係を示す情報であってもよい。
「位置情報」は、被写体の略体軸方向における対となる対象領域の体軸方向の位置関係を示す情報であってもよい。
The “anatomical information” may be statistical position information of a pair of target areas. Further, the anatomical information may be information indicating the connection relationship between the blood vessels of the paired target regions.
The “position information” may be information indicating the positional relationship in the body axis direction of the target region that is paired in the body axis direction of the subject.

「計算手段」は、設定された任意の点と解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算するものである。また、設定された任意の点を用いて、抽出された一方の対象領域と、解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算するものであってもよい。   The “calculation means” calculates the position of a predetermined point in the other target region of the paired target region based on the set arbitrary point and anatomical information. In addition, the position of a predetermined point in the other target area of the paired target area is calculated based on the extracted one target area and anatomical information using the set arbitrary point It may be.

本発明の対象領域抽出装置は、画像から被写体の各椎体の体軸方向の位置を算出することにより椎体位置を決定する椎体位置決定手段とを更に備えた場合において、解剖学的情報は、決定された椎体位置と対となる対象領域との位置関係を示す情報であってもよい。   In the case where the target region extraction device of the present invention further includes vertebral body position determining means for determining the vertebral body position by calculating the position of each vertebral body of the subject in the body axis direction from the image, the anatomical information May be information indicating the positional relationship between the determined vertebral body position and the target region to be paired.

本発明の対象領域抽出方法は、対となる対象領域の一方の対象領域内に任意の点を設定し、設定された任意の点と対となる対象領域の位置関係を示す解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算し、画像中に、一方の対象領域が存在し得る存在範囲を、設定した任意の点と一方の対象領域のありうる大きさとを用いて決定するとともに、画像中に、他方の対象領域が存在し得る存在範囲を、計算された所定の点の位置と他方の対象領域のありうる大きさとを用いて決定し、設定された任意の点、計算された所定の点の位置、決定された一方の対象領域の存在範囲の外側の点および決定された他方の対象領域の存在範囲の外側の点に基づいて画像から対となる対象領域を抽出することを特徴とするものである。   The target region extraction method of the present invention sets an arbitrary point in one target region of a pair of target regions, and converts the set arbitrary points into anatomical information indicating the positional relationship of the paired target regions. Based on this, the position of a predetermined point in the other target area of the target area to be paired is calculated, and an existing range in which one target area can exist in the image is set as an arbitrary point and one target area. And the possible range of the other target area in the image is determined using the calculated position of the predetermined point and the possible size of the other target area. Based on the set arbitrary point, the position of the calculated predetermined point, the point outside the determined existence range of one target area, and the point outside the determined existence range of the other target area It is characterized by extracting a pair of target areas from an image. Is shall.

本発明の対象領域抽出プログラムは、コンピュータに、対となる対象領域の一方の対象領域内に任意の点を設定する機能と、設定された任意の点と対となる対象領域の位置関係を示す解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算する機能と、画像中に、一方の対象領域が存在し得る存在範囲を、設定した任意の点と一方の対象領域のありうる大きさとを用いて決定するとともに、画像中に、他方の対象領域が存在し得る存在範囲を、計算された所定の点の位置と前記他方の対象領域のありうる大きさとを用いて決定する機能と、設定された任意の点、計算された所定の点の位置、決定された一方の対象領域の存在範囲の外側の点および決定された他方の対象領域の存在範囲の外側の点に基づいて画像から対となる対象領域を抽出する機能を実行させることを特徴とするものである。   The target area extraction program of the present invention shows a function of setting an arbitrary point in one target area of a pair of target areas and the positional relationship of the target area paired with the set arbitrary points. Based on anatomical information, a function that calculates the position of a predetermined point in the other target region of the paired target region and an arbitrary range in which one target region can exist in the image is set And the possible size of the one target area, and the existence range where the other target area can exist in the image is determined based on the calculated position of the predetermined point and the other target area. A function to determine using a possible size, a set arbitrary point, a calculated position of a predetermined point, a point outside the existence range of one determined target area, and the determined other target area Based on points outside the range of It is characterized in that to execute a function of extracting a target area to be paired from the image Te.

本発明の対象領域抽出装置および方法ならびにプログラムによれば、対となる対象領域の一方の対象領域内に任意の点を設定し、設定された任意の点と対となる対象領域の位置関係を示す解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算し、画像中に、一方の対象領域が存在し得る存在範囲を、設定した任意の点と一方の対象領域のありうる大きさとを用いて決定するとともに、画像中に、他方の対象領域が存在し得る存在範囲を、計算された所定の点の位置と他方の対象領域のありうる大きさとを用いて決定し、設定された任意の点、計算された所定の点の位置、決定された一方の対象領域の存在範囲の外側の点および決定された他方の対象領域の存在範囲の外側の点に基づいて画像から対となる対象領域を抽出することにより、画像中の対象領域を示す特定の画素と背景領域を示す特定の画素とをそれぞれ手動で与える操作を必要とする従来の対象領域抽出方法に比べ、決定した存在範囲の外側の点を、背景領域を示す画素として用いることにより、背景領域を示す特定の画素を手動で与える操作を自動化でき、手動の入力の煩雑さを軽減できるとともに、かつ対となる対象領域の抽出の利便性を向上させることができる。   According to the target area extraction apparatus, method, and program of the present invention, an arbitrary point is set in one target area of the target area to be paired, and the positional relationship between the target area to be paired with the set arbitrary point is determined. Based on the anatomical information shown, the position of a predetermined point in the other target region of the target region to be paired is calculated, and an existence range in which one target region can exist in the image is set arbitrarily It is determined using a point and a possible size of one target area, and the existence range in which the other target area can exist in the image is determined based on the calculated position of the predetermined point and the other target area. Of the arbitrary point set, the calculated position of the predetermined point, the point outside the determined range of one target area and the determined range of the other target area. Pair from image based on outer points Compared to the conventional target area extraction method, which requires manual operation to give specific pixels indicating the target area in the image and specific pixels indicating the background area, respectively. By using a point outside the range as a pixel indicating the background region, it is possible to automate the operation of manually giving a specific pixel indicating the background region, reducing the complexity of manual input, and paired target regions The convenience of extraction can be improved.

以下、図面を参照して本発明の対象領域抽出装置1を2次元の医用画像から臓器領域を抽出するものに適用した実施の形態について説明する。   Hereinafter, an embodiment in which the target area extracting apparatus 1 of the present invention is applied to an apparatus for extracting an organ area from a two-dimensional medical image will be described with reference to the drawings.

まず、図1に示す対象領域抽出ユニット5について説明する。   First, the target area extraction unit 5 shown in FIG. 1 will be described.

図1に示す対象領域抽出ユニット5は、CT装置等により取得された医用画像Iから一方の腎臓領域Rを抽出するものであって、図1に示すように、一方の腎臓領域R内に任意の点Psを設定する設定手段10と、医用画像I中に、一方の腎臓領域Rが存在し得る存在範囲Eを、任意の点Psと一方の腎臓領域Rのありうる大きさLとを用いて決定する範囲決定手段20と、任意の点Psと存在範囲Eの外側の点に基づいて医用画像Iから一方の腎臓領域Rを抽出する対象領域抽出手段30とを備えている。   The target region extraction unit 5 shown in FIG. 1 extracts one kidney region R from the medical image I acquired by a CT apparatus or the like. As shown in FIG. Using the setting means 10 for setting the point Ps, the existence range E in which one kidney region R can exist in the medical image I, and an arbitrary point Ps and the possible size L of one kidney region R. And a target region extraction unit 30 that extracts one kidney region R from the medical image I based on an arbitrary point Ps and a point outside the existence range E.

そして、図7に示す対象領域抽出装置1のその他の構成は、対となる対象領域の位置関係を示す解剖学的情報を記憶する解剖学的情報データベース50と、設定された任意の点と解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算する計算手段40と、抽出された対となる対象領域を表示する表示手段1とを備えている。   The other configuration of the target area extracting apparatus 1 shown in FIG. 7 includes an anatomical information database 50 that stores anatomical information indicating the positional relationship between the paired target areas, an arbitrary set point, and an anatomy. Calculation means 40 for calculating the position of a predetermined point in the other target area of the paired target area based on the scientific information, and display means 1 for displaying the extracted paired target area. Yes.

本発明は、対象領域抽出装置1のこれらの構成により、被写体を撮影して得られた画像から対となる対象領域を抽出する装置であって、対となる対象領域の一方の対象領域内に任意の点Psを設定する設定手段と、対となる対象領域の位置関係を示す解剖学的情報を記憶する解剖学的情報データベース50と、設定された任意の点Psと解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点Ps’の位置を計算する計算手段40と、画像中に、一方の対象領域が存在し得る存在範囲Eを、設定した任意の点Psと一方の対象領域のありうる大きさLとを用いて決定するとともに、画像中に、他方の対象領域が存在し得る存在範囲Fを、計算された所定の点Ps’の位置と他方の対象領域のありうる大きさL’とを用いて決定する範囲決定手段20と、設定された任意の点Ps、計算された所定の点Ps’の位置、決定された一方の対象領域の存在範囲Eの外側の点Ptおよび決定された他方の対象領域の存在範囲Fの外側Pt’の点に基づいて画像から対となる対象領域RとR’を抽出する対象領域抽出手段30とを備えていることを特徴とするものである。   The present invention is an apparatus for extracting a pair of target areas from an image obtained by photographing a subject by using these configurations of the target area extraction apparatus 1, and within one target area of the pair of target areas. Based on a setting means for setting an arbitrary point Ps, an anatomical information database 50 for storing anatomical information indicating the positional relationship of a pair of target regions, and the set arbitrary point Ps and anatomical information Thus, the calculation means 40 for calculating the position of the predetermined point Ps ′ in the other target area of the paired target areas, and an existing range E in which one target area can exist in the image are set to any arbitrary While determining using the point Ps and the possible size L of one target area, the existence range F in which the other target area can exist in the image is determined based on the calculated position of the predetermined point Ps ′ and the other The possible size L ′ of the target area of The range determining means 20 to be determined, the set arbitrary point Ps, the calculated position of the predetermined point Ps ′, the determined point Pt outside the existence range E of one target region and the other determined point A target area extracting unit 30 is provided for extracting a pair of target areas R and R ′ from an image based on a point Pt ′ outside the target area existing range F.

対象領域抽出装置1の構成は、補助記憶装置に読み込まれた対象領域抽出プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。このとき、この対象領域抽出プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。   The configuration of the target area extracting apparatus 1 is realized by executing a target area extracting program read into the auxiliary storage device on a computer (for example, a personal computer). At this time, the target area extraction program is stored in an information storage medium such as a CD-ROM, or distributed via a network such as the Internet and installed in a computer.

対象領域抽出ユニット5は、CT装置等により取得された医用画像Iから一方の腎臓領域Rを抽出するものであって、図1に示すように、一方の腎臓領域R内に任意の点Psを設定する設定手段10と、医用画像I中に、一方の腎臓領域Rが存在し得る存在範囲Eを、任意の点Psと一方の腎臓領域Rのありうる大きさLとを用いて決定する範囲決定手段20と、任意の点Psと存在範囲Eの外側の点に基づいて医用画像Iから一方の腎臓領域Rを抽出する対象領域抽出手段30とを備えている。   The target region extraction unit 5 extracts one kidney region R from the medical image I acquired by a CT apparatus or the like. As shown in FIG. 1, an arbitrary point Ps is placed in one kidney region R. A range in which the setting means 10 to be set and the existence range E in which one kidney region R can exist in the medical image I are determined using an arbitrary point Ps and a possible size L of one kidney region R. A determining unit 20 and a target region extracting unit 30 that extracts one kidney region R from the medical image I based on an arbitrary point Ps and a point outside the existence range E are provided.

設定手段10は、CT装置等により取得された医用画像Iに含まれる一方の腎臓領域R内に任意の点Psを設定するものである。例えば、表示手段60等に表示された医用画像Iに対して、この対象領域抽出ユニット5に備えられたマウスやキーボード等の位置指定手段を用いた操作者の入力により指定された位置に基づいて、該位置を任意の点Psとして設定するものであってもよい。   The setting means 10 sets an arbitrary point Ps in one kidney region R included in the medical image I acquired by a CT apparatus or the like. For example, the medical image I displayed on the display means 60 or the like is based on the position designated by the operator's input using the position designation means such as a mouse or a keyboard provided in the target area extraction unit 5. The position may be set as an arbitrary point Ps.

また、設定手段10は、例えば、K. Suzuki, F. Li, Q. Li, H. Macmahon, K. Doi, “Comparison between 2D and 3D massive-training ANNs (MTANNs) in CAD for lung nodule detection on MDCT”, pp.354-356, CARS, 2006に記載されている胸部結節検出方法により、胸部結節の位置を検出し、その位置を任意の点Psとして設定するものであってもよい。   The setting means 10 is, for example, K. Suzuki, F. Li, Q. Li, H. Macmahon, K. Doi, “Comparison between 2D and 3D massive-training ANNs (MTANNs) in CAD for lung nodule detection on MDCT. ”, Pp.354-356, CARS, 2006, the position of the chest nodule may be detected by the chest nodule detection method, and the position may be set as an arbitrary point Ps.

ここで、任意の点Psは、一方の腎臓領域R内に設定された1以上の点からなるものであって、各点は、一方の腎臓領域Rのおおまかな中心に設定されたものであってもよいし、一方の腎臓領域Rの中心から外れた位置に設定されたものであってもよい。   Here, the arbitrary point Ps consists of one or more points set in one kidney region R, and each point is set at the approximate center of one kidney region R. Alternatively, it may be set at a position off the center of one kidney region R.

範囲決定手段20は、医用画像I中に、一方の腎臓領域Rが存在し得る存在範囲E、すなわち、一方の腎臓領域Rの全体を含むと想われる範囲を、任意の点Psと一方の腎臓領域Rのありうる大きさLとを用いて決定するものであって、具体的には、任意の点Psの位置(任意の点Psが2以上の点である場合にはそれらの点の中心位置)にその範囲のおおまかな中心が位置する、一方の腎臓領域Rのありうる大きさL以上の大きさの範囲を存在範囲Eとして決定する。   The range determination means 20 determines an existence range E in which one kidney region R can exist in the medical image I, that is, a range considered to include the entire one kidney region R as an arbitrary point Ps and one kidney. Specifically, it is determined using the possible size L of the region R. Specifically, the position of an arbitrary point Ps (if the arbitrary point Ps is two or more points, the center of those points) A range having a size greater than or equal to the possible size L of one kidney region R in which the approximate center of the range is located at position) is determined as the existence range E.

このように、存在範囲Eを、任意の点Psの位置にその範囲のおおまかな中心が位置するように決定するとき、その任意の点Psが一方の腎臓領域Rの中心から外れた位置に設定されたものであっても、その存在範囲Eが一方の腎臓領域Rの全体を含むものとなるように、一方の腎臓領域Rのありうる大きさL以上の大きさの範囲、例えば一方の腎臓領域Rのありうる大きさLを1.5倍した大きさの範囲を存在範囲Eとして決定する。   In this way, when the existence range E is determined so that the approximate center of the range is located at the position of the arbitrary point Ps, the arbitrary point Ps is set to a position deviated from the center of one kidney region R. Even in the case, the range E is larger than the possible size L of one kidney region R, for example, one kidney region R so that the existence range E includes the entire one kidney region R. A range having a size obtained by multiplying the possible size L of the region R by 1.5 is determined as the existence range E.

ここで、一方の腎臓領域Rのありうる大きさLは、腎臓領域の大きさのうち物理的にあり得ると思われる最大の大きさであって、一方の腎臓領域Rが示す腎臓の物理的にありうると想われる最大の大きさを、医用画像Iにおける1画素が示す大きさで除算して得られた、その最大の大きさの医用画像I上での大きさ(画素数)を一方の腎臓領域Rのありうる大きさLとして用いてもよいし、腎臓領域を含む多数の医用画像の各々における腎臓領域の大きさのうち最も大きい大きさを一方の腎臓領域Rのありうる大きさLとして用いてもよい。また、他のいかなる方法により任意に決定した大きさであってもよい。   Here, the possible size L of one kidney region R is the maximum size that is considered to be physically possible among the sizes of the kidney region, and is the physical size of the kidney indicated by one kidney region R. The size (number of pixels) on the medical image I having the maximum size obtained by dividing the maximum size considered to be possible by the size indicated by one pixel in the medical image I is May be used as a possible size L of the kidney region R, or the largest size among the sizes of the kidney regions in each of a number of medical images including the kidney region may be a possible size of one kidney region R It may be used as L. The size may be arbitrarily determined by any other method.

たとえば、図2に示すように、胸部結節を示す一方の腎臓領域Rを含む2次元の医用画像I上において、この医用画像I中の一方の腎臓領域Rが示す腎臓の物理的にありうる最大の幅をWとし、その幅Wを1.5倍してなる長さを一辺の長さとする正方形の存在範囲Eを、腎臓領域内に設定された任意の点Psをその範囲の中心とするように決定することができる。   For example, as shown in FIG. 2, on a two-dimensional medical image I including one kidney region R indicating a chest nodule, the maximum physically possible kidney of one kidney region R in the medical image I is shown. A square existing range E having a width W of 1.5 and a length obtained by multiplying the width W by 1.5 is set to the center of the range at an arbitrary point Ps set in the kidney region. Can be determined.

なお、存在範囲Eは、その周縁形状として矩形、円形、楕円形等、種々の形状を採用することができる。   The existence range E can employ various shapes such as a rectangle, a circle, and an ellipse as the peripheral shape.

対象領域抽出手段30は、任意の点Psと存在範囲Eの外側の点Ptに基づいて医用画像Iから一方の腎臓領域Rを抽出するものであり、例えば、医用画像I内に存在範囲Eを含む判別領域Dを設定し、任意の点Psが一方の腎臓領域Rを示す画素であり、存在範囲Eの外側に設定した1以上の点Ptが背景領域を示す画素であることに基づいて、その判別領域Dを、Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images”, Proceedings of “International Conference on Computer Vision”, Vancouver, Canada, July 2001 vol.I, p.105-112.に記載されているGraph Cut領域分割方法を用いて、一方の腎臓領域Rと背景領域とに分割し、一方の腎臓領域Rを抽出する。   The target region extraction means 30 extracts one kidney region R from the medical image I based on an arbitrary point Ps and a point Pt outside the existence range E. For example, the target region extraction means 30 extracts the existence range E in the medical image I. Based on the fact that the discriminating region D is set, the arbitrary point Ps is a pixel indicating one kidney region R, and the one or more points Pt set outside the existence range E are pixels indicating the background region, The discriminant region D is defined as Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in ND images”, Proceedings of “International Conference on Computer Vision”, Vancouver, Canada, July 2001 vol. Using the Graph Cut region dividing method described in .I, p.105-112., One kidney region R is divided into a background region, and one kidney region R is extracted.

上記の領域分割方法では、まず、図3に示すように、判別領域D中の各画素を表すノードNijと、各画素が取り得るラベル(本実施の形態では、一方の腎臓領域Rまたは背景領域)を表すノードS、Tと、隣接する画素のノード同士をつなぐリンクであるn−linkと、各画素を表すノードNijと腎臓領域を表すノードSまたは腎臓の背景領域を表すノードTとをつなぐリンクであるt−linkとから構成されるグラフを作成する。ここで、n−linkは、隣接する画素が同一領域の画素である確からしさをリンクの太さで表すものであり、その確からしさはそれらの隣接する画素間の距離および画素値の差に基づいて求める。 In the region dividing method, first, as shown in FIG. 3, a node N ij representing each pixel in the discrimination region D and a label that each pixel can take (in this embodiment, one kidney region R or background) Node S, T representing a region), n-link which is a link connecting nodes of adjacent pixels, a node N ij representing each pixel and a node S representing a kidney region, or a node T representing a kidney background region A graph composed of t-link which is a link connecting the two is created. Here, n-link represents the likelihood that adjacent pixels are pixels in the same region by the thickness of the link, and the likelihood is based on the distance between the adjacent pixels and the difference in pixel values. Ask.

また、各画素を表すノードNijと一方の腎臓領域Rを表すノードSをつなぐt−linkは、各画素が一方の腎臓領域Rに含まれる画素である確からしさを表すものであり、各画素を表すノードと背景領域Rを表すノードTをつなぐt−linkは、各画素が背景領域Rに含まれる画素である確からしさを表すものである。それらの確からしさは、その画素が一方の腎臓領域R又は背景領域のいずれかを示す画素であるかの情報がすでに与えられている場合には、その与えられた情報に従って設定でき、そのような情報が与えられてない場合には、一方の腎臓領域Rまたは背景領域を示す画素であることが既知である1以上の画素における画素値の統計的な特徴に基づいて算出することができる。 The t-link connecting the node N ij representing each pixel and the node S representing one kidney region R represents the probability that each pixel is a pixel included in one kidney region R. T-link that connects the node representing the background region R and the node T representing the background region R represents the likelihood that each pixel is a pixel included in the background region R. The certainty can be set according to the given information if such information is already given, indicating whether the pixel is a pixel indicating either the kidney region R or the background region. When information is not given, it can be calculated based on statistical characteristics of pixel values in one or more pixels that are known to be pixels indicating one kidney region R or background region.

ここで、任意の点Psは腎臓領域内に設定された画素であるので、図3に示すように、その点Psを示すノードN33と腎臓領域を表すノードSとをつなぐt−linkを太く設定する。また、存在範囲Eの外側に設定した点Ptは背景領域を示す画素であるので、その各点Poを示すノードN11、N12、…、N15、N21、N25、N31、、と背景領域を表すノードTとをつなぐt−linkを太く設定する。 Here, since the arbitrary point Ps is a pixel set in the kidney region, as shown in FIG. 3, the t-link connecting the node N 33 indicating the point Ps and the node S indicating the kidney region is thickened. Set. Further, since the point Pt set outside the existence range E is a pixel indicating the background region, nodes N 11 , N 12 ,..., N 15 , N 21 , N 25 , N 31 ,. And t-link connecting the node T representing the background area is set thick.

そして、判別領域Dと背景領域は互いに排他的な領域であるので、たとえば図4に点線で示すように、全てのt−linkおよびn−linkのうち適当なリンクを切断してノードSをノードTから切り離すことにより、判別領域Dを一方の腎臓領域Rと背景領域に分割する。ここで、切断する全てのt−linkおよびn−linkにおける確からしさの合計が最も小さくなるような切断を行うことにより、最適な領域分割をすることができる。以上のように領域分割して抽出した一方の腎臓領域Rの一例を図5に示す。この図では、一方の腎臓領域Rの輪郭を実線で表示している。   Since the discrimination area D and the background area are mutually exclusive areas, for example, as shown by a dotted line in FIG. 4, an appropriate link among all t-links and n-links is cut and the node S is changed to a node. By separating from T, the discrimination region D is divided into one kidney region R and a background region. Here, the optimal region division can be performed by performing the cutting so that the total probability of all the t-links and n-links to be cut becomes the smallest. An example of one kidney region R extracted by dividing the region as described above is shown in FIG. In this figure, the outline of one kidney region R is indicated by a solid line.

以下、図6に示すフローチャートを参照して、本発明の一方の対象領域のみを抽出する方法について説明する。まず、設定手段10において、医用画像I中の腎臓領域内に任意の点Psが設定される(ステップST1)。その後、範囲決定手段20により、医用画像I中に、一方の腎臓領域Rが存在し得る存在範囲Eが、ステップST1において設定された任意の点Psと一方の腎臓領域Rのありうる大きさLとに基づいて決定される(ステップST2)。そして、対象領域抽出手段30により、ステップST1において設定された任意の点PsとステップST2において決定された存在範囲Eの外側の点Ptに基づいて医用画像Iから腎臓領域が抽出される(ステップST3)。   Hereinafter, the method for extracting only one target area of the present invention will be described with reference to the flowchart shown in FIG. First, the setting means 10 sets an arbitrary point Ps in the kidney region in the medical image I (step ST1). After that, the range determining means 20 determines that the existence range E in which one kidney region R can exist in the medical image I is an arbitrary point Ps set in step ST1 and a possible size L of one kidney region R. (Step ST2). Then, the target region extracting means 30 extracts a kidney region from the medical image I based on the arbitrary point Ps set in step ST1 and the point Pt outside the existence range E determined in step ST2 (step ST3). ).

上記実施の形態によれば、画像から対象領域を抽出するとき、対象領域内に任意の点を設定し、画像中に、対象領域が存在し得る存在範囲を、設定された任意の点と対象領域のありうる大きさとを用いて決定し、設定された任意の点と決定された存在範囲の外側の点に基づいて画像から対象領域を抽出することにより、画像中の対象領域を示す特定の画素と背景領域を示す特定の画素とをそれぞれ手動で与える操作を必要とする従来の対象領域抽出方法に比べ、決定した存在範囲の外側の点を、背景領域を示す画素として用いることにより、背景領域を示す特定の画素を手動で与える操作を自動化でき、手動の入力の煩雑さを軽減できるとともに、利便性を向上させることができる。   According to the above embodiment, when extracting a target area from an image, an arbitrary point is set in the target area, and an existing range in which the target area can exist in the image is set to the set arbitrary point and target. A specific area indicating the target area in the image is determined by extracting the target area from the image based on the set arbitrary point and a point outside the determined existence range. Compared to the conventional target area extraction method that requires an operation of manually giving a pixel and a specific pixel indicating a background area, a point outside the determined existence range is used as a pixel indicating the background area. The operation of manually giving a specific pixel indicating a region can be automated, the complexity of manual input can be reduced, and convenience can be improved.

以下、図8に示すフローチャートを参照して、本発明の他方の対象領域をも抽出する方法について説明する。   Hereinafter, a method for extracting the other target region of the present invention will be described with reference to the flowchart shown in FIG.

以下、対象領域は、腎臓領域を一例として説明する。   Hereinafter, the target region will be described using the kidney region as an example.

まず、設定手段10において、医用画像I中の腎臓領域内に任意の点Psが設定される(ステップST10)。その後、範囲決定手段20により、医用画像I中に、一方の腎臓領域Rが存在し得る存在範囲Eが、ステップST10において設定された任意の点Psと一方の腎臓領域Rのありうる大きさLとに基づいて決定される(ステップST11)。そして、対象領域抽出手段30により、ステップST10において設定された任意の点PsとステップST2において決定された存在範囲Eの外側の点Ptに基づいて医用画像Iから腎臓領域Rが抽出される(ステップST12)。対象領域抽出ユニット5は、対となる対象領域の他方の腎臓領域が抽出済みであるか否かを判断する(ステップST13)。   First, the setting means 10 sets an arbitrary point Ps in the kidney region in the medical image I (step ST10). Thereafter, the range determining means 20 determines that the existence range E in which one kidney region R can exist in the medical image I is an arbitrary point Ps set in step ST10 and the possible size L of one kidney region R. (Step ST11). The target region extracting means 30 extracts the kidney region R from the medical image I based on the arbitrary point Ps set in step ST10 and the point Pt outside the existence range E determined in step ST2 (step ST12). The target area extraction unit 5 determines whether or not the other kidney area of the paired target areas has been extracted (step ST13).

既に他方の腎臓領域を抽出された場合は(ステップST13;Yes)、処理が終了するが、未だ他方の腎臓領域を抽出していない場合(ステップST13;No)、対象領域抽出ユニット5は、設定された任意の点Psと医用画像Iを計算手段40に送信する。計算手段40は、対となる腎臓領域の位置関係を示す解剖学的情報を記憶する解剖学的情報データベース50から解剖学的情報を取得し、設定された任意の点Psと解剖学的情報に基づいて、対となる腎臓領域の他方の腎臓領域内における所定の点Ps’の位置を計算する(ステップST14)。   If the other kidney region has already been extracted (step ST13; Yes), the process ends, but if the other kidney region has not yet been extracted (step ST13; No), the target region extraction unit 5 sets The given arbitrary point Ps and the medical image I are transmitted to the calculation means 40. The calculation means 40 acquires anatomical information from the anatomical information database 50 that stores anatomical information indicating the positional relationship between the paired kidney regions, and converts the anatomical information into the set arbitrary points Ps and anatomical information. Based on this, the position of a predetermined point Ps ′ in the other kidney region of the kidney region to be paired is calculated (step ST14).

解剖学的情報には、対となる対象領域の統計的な位置情報を示すものである。例えば、対となる対象領域が腎臓領域である場合、右の腎臓領域は左の腎臓領域より体軸方向のやや足側に一椎体の50%〜100%程度の位置的な相違があることを示すものであってもよい。   The anatomical information indicates statistical position information of a pair of target areas. For example, when the target region to be paired is the kidney region, the right kidney region has a positional difference of about 50% to 100% of one vertebral body slightly on the foot side in the body axis direction from the left kidney region. May be shown.

また、解剖学的情報は、その位置的な相違(移動すべき量)について、センチメートル等などの数値等によって、体の体軸方向のスケール情報として示すものであってもよい。   Further, the anatomical information may indicate the positional difference (amount to be moved) as scale information in the body axis direction of the body by a numerical value such as a centimeter.

また、解剖学的情報は、図10に示すような被写体の身長範囲と、左右の腎臓領域の体軸方向の移動すべき量を示すテーブルT1であってもよい。   Further, the anatomical information may be a table T1 indicating the height range of the subject as shown in FIG. 10 and the amount of movement of the left and right kidney regions in the body axis direction.

例えば、計算手段40が、任意の点Psにより設定された一方の対象領域が左の腎臓領域である場合、計算手段40が、設定された任意の点Psの体軸方向の位置より、解剖学的情報に示す移動すべき量分、足側に位置するように、所定の点Ps’の体軸方向の位置を算出する。   For example, when the calculation means 40 has one target region set by the arbitrary point Ps being the left kidney region, the calculation means 40 determines the anatomy from the position of the set arbitrary point Ps in the body axis direction. The position of the predetermined point Ps ′ in the body axis direction is calculated so as to be positioned on the foot side by the amount to be moved indicated by the target information.

一方、計算手段40が、任意の点Psにより設定された一方の対象領域が右の腎臓領域である場合、計算手段40が、設定された任意の点Psの体軸方向の位置より、解剖学的情報に示す移動すべき量分、頭側に位置するように、所定の点Ps’の体軸方向の位置を算出する。   On the other hand, when the calculation means 40 is one of the target areas set by the arbitrary point Ps is the right kidney area, the calculation means 40 determines the anatomy from the position of the set arbitrary point Ps in the body axis direction. The position of the predetermined point Ps ′ in the body axis direction is calculated so as to be positioned on the head side by the amount to be moved indicated by the target information.

更に、解剖学的情報は、左右の腎臓領域は、体軸方向と垂直方向の位置関係ついては、体軸方向に対して、対称となることを示すものであってもよい。   Further, the anatomical information may indicate that the left and right kidney regions are symmetrical with respect to the body axis direction with respect to the positional relationship between the body axis direction and the vertical direction.

本発明の対象領域抽出装置1は、任意の点Psを含む対となる腎臓領域の一方の腎臓領域が、左右いずれの腎臓であるか否かを判別する腎臓判別手段(不図示)とを更に備えるものであってもよい。   The target region extraction apparatus 1 of the present invention further includes kidney discrimination means (not shown) for discriminating whether one of the kidney regions in a pair including the arbitrary point Ps is the left or right kidney. It may be provided.

腎臓判別手段は、左右の腎臓いずれであるかの判断のみならず、どの位置に腎臓が存在するかの位置情報を算出し、または同定することができる。   The kidney discriminating means can calculate or identify not only the right and left kidneys but also the position information indicating where the kidneys are located.

例えば、出願番号2007−104846号の手法(以下、参考文献1という)を本発明の対象領域抽出装置1の腎臓判別手段に適用することもできる。  For example, the technique of application number 2007-104846 (hereinafter referred to as Reference Document 1) can also be applied to the kidney discriminating means of the target area extracting apparatus 1 of the present invention.

医用画像Iから体表を認識し、認識された体表に基づいて、医用画像Iの対となる腎臓領域の正中線の位置から、所定の点Ps’の医用画像IのY軸の座標位置として算出してもよい。  The body surface is recognized from the medical image I, and based on the recognized body surface, the coordinate position of the Y axis of the medical image I at the predetermined point Ps ′ from the position of the midline of the kidney region that forms the pair of the medical image I May be calculated as

また、所定の点Ps’の医用画像IのX軸の座標位置は、設定の点Psと同一の座標位置でもよい。  Further, the X-axis coordinate position of the medical image I at the predetermined point Ps ′ may be the same coordinate position as the set point Ps.

また、電子情報通信学会 信学技報TECHNICAL REPORT OF IEICE. MI2001-69 (2002-01)「3次元胸部X線CT像からの縦隔内大動脈・肺動脈領域抽出実験」の手法(以下、参考文献2という)を本発明の対象領域抽出装置1の腎臓判別手段に適用することもできる。  In addition, the IEICE Technical Report, Technical Report of IEICE. MI2001-69 (2002-01), “Extraction experiment of the mediastinal aorta and pulmonary artery from 3D chest X-ray CT images” 2) can also be applied to the kidney discrimination means of the target region extraction apparatus 1 of the present invention.

解剖学的情報は、対となる対象領域の血管の接続関係を示す情報であってもよい。   The anatomical information may be information indicating the connection relationship of the blood vessels in the target region to be paired.

参考文献2の手法は、上記解剖学的情報に基づいて、複数の医用画像から、右の腎臓領域と左の腎臓領域は腎動脈でつながっており、片方の腎臓より血管を追跡することにより他方の位置を同定することが可能となる。   The technique of Reference 2 is based on the above anatomical information. From the plurality of medical images, the right kidney region and the left kidney region are connected by a renal artery, and the other is obtained by tracking a blood vessel from one kidney. Can be identified.

計算手段40は、腎臓判別手段により算出または同定された位置関係と、設定の点Psから、所定の点Ps’を算出することができる。   The calculation means 40 can calculate a predetermined point Ps ′ from the positional relationship calculated or identified by the kidney discrimination means and the set point Ps.

また、計算手段40が、解剖学的情報データベース50の解剖学的情報の上記スケール情報を採用せず、複数の医用画像から被写体の各椎体の体軸方向の位置を算出することにより椎体位置を決定する椎体位置決定手段とを更に備え、決定された椎体位置と対となる対象領域との位置関係を示す解剖学的情報を新たに生成する。算出された各椎体の体軸方向の位置から、右の腎臓領域は左の腎臓領域より体軸方向のやや足側に位置し、移動量を算出してもよい。   Further, the calculation means 40 does not employ the scale information of the anatomical information in the anatomical information database 50, and calculates the position of the vertebral body in the body axis direction from a plurality of medical images, thereby calculating the vertebral body. The apparatus further includes a vertebral body position determining means for determining a position, and newly generates anatomical information indicating a positional relationship between the determined vertebral body position and a target region to be paired. From the calculated position of each vertebral body in the body axis direction, the right kidney region may be positioned slightly on the foot side in the body axis direction from the left kidney region, and the amount of movement may be calculated.

例えば、特願2008−54627号の手法(以下、参考文献3をいう)を本発明の対象領域抽出装置1に適用することもできる。   For example, the technique of Japanese Patent Application No. 2008-54627 (hereinafter referred to as Reference Document 3) can be applied to the target area extraction apparatus 1 of the present invention.

参考文献3の手法は、一本の椎骨の異なる位置の横断面を示す複数の医用画像から椎骨の中心線を求める椎骨中心線算出手段と、複数の医用画像のそれぞれにおける椎骨の中心線付近に存在する特定領域の各画素値に基づき、各椎体の少なくとも体軸方向における海綿体領域を推定する海綿体領域推定手段と、推定された各椎体の海綿体領域内において、特定領域の各画素値の特徴量を算出し、特徴量に基づき各椎体の海綿体領域の三次元中心を検出する中心検出手段と、検出された各椎体の海綿体領域の三次元中心に基づいて、各椎体の体軸方向の両端の位置を算出することにより椎体位置を決定する椎体位置決定手段とを備えたことを特徴とするものである。   The technique of Reference 3 includes a vertebra centerline calculating means for obtaining a vertebra centerline from a plurality of medical images showing cross sections at different positions of one vertebra, and a vertebra centerline in each of the plurality of medical images. A corpus cavernosum area estimating means for estimating a corpus cavernosum area in at least the body axis direction of each vertebral body based on each pixel value of the existing specific area, and within each cavernous body area of each estimated vertebral body, Based on the three-dimensional center of the corpus cavernosum area of each vertebral body detected by calculating the feature value of the pixel value and detecting the three-dimensional center of the corpus cavernosum area of each vertebral body based on the feature quantity, It is characterized by comprising vertebral body position determining means for determining the vertebral body position by calculating the positions of both ends of each vertebral body in the body axis direction.

この参考文献3の手法により決定された椎体の両端の位置から椎体全体の高さ情報を解剖学的情報として用いてもよい。   The height information of the entire vertebral body from the positions of both ends of the vertebral body determined by the method of Reference 3 may be used as anatomical information.

なお、計算手段40は、対となる対象領域の他方の対象領域が、左右いずれかの腎臓領域であるか否かを判断するものである。   The calculation means 40 determines whether or not the other target region of the paired target regions is the left or right kidney region.

例えば、参考文献1の手法を用いて、体表を認識し、医用画像Iの対となる腎臓領域の正中線に対称となる位置を判断することで、左右の腎臓領域を判断してもよい。また、DICOM情報などより、医用画像I上のどの方向が人体の左右かを判断することで、左右の腎臓領域を判断してもよい。また、設定の点Psが、医用画像Iの真ん中の線より左側にあるか右側にあるかを判断することで、左右の腎臓領域を判断してもよい。   For example, the right and left kidney regions may be determined by recognizing the body surface using the method of Reference 1 and determining a position that is symmetric with respect to the midline of the kidney region that forms a pair in the medical image I. . Alternatively, the left and right kidney regions may be determined by determining which direction on the medical image I is the left or right side of the human body from DICOM information or the like. Alternatively, the right and left kidney regions may be determined by determining whether the setting point Ps is on the left side or the right side of the center line of the medical image I.

計算手段40は、上記解剖学的情報の移動量等により設定された任意の点Psから上記移動量の分、移動した所定の点Ps’を算出することができる。   The calculating means 40 can calculate a predetermined point Ps ′ that has been moved by the amount of movement from an arbitrary point Ps set based on the amount of movement of the anatomical information.

計算手段40は、対象領域抽出ユニット5に所定の点Ps’の情報を送信する。   The calculation means 40 transmits information on the predetermined point Ps ′ to the target area extraction unit 5.

そして、範囲決定手段20により、医用画像I中に、他方の腎臓領域R’が存在し得る存在範囲Fが、ステップST14において算出された所定の点Ps’と他方の腎臓領域R’のありうる大きさL’とに基づいて決定される(ステップST15)。その後、対象領域抽出手段30により、ステップST14において算出された所定の点Ps’と決定された存在範囲Fの外側の点Pt’に基づいて医用画像Iから腎臓領域R’が抽出される(ステップST16)。   Then, by the range determination means 20, the existence range F in which the other kidney region R ′ can exist in the medical image I can be the predetermined point Ps ′ calculated in step ST14 and the other kidney region R ′. It is determined based on the size L ′ (step ST15). Thereafter, the target region extracting means 30 extracts the kidney region R ′ from the medical image I based on the predetermined point Ps ′ calculated in step ST14 and the point Pt ′ outside the existing range F determined (step ST14). ST16).

また、上述した他の対象領域を算出する手法以外に、設定の点Psから所定の点Ps’を算出するのではなく、抽出された一方の対象領域から所定の点Ps’を算出する方法がある。   In addition to the method of calculating the other target area described above, there is a method of calculating the predetermined point Ps ′ from one of the extracted target areas, instead of calculating the predetermined point Ps ′ from the set point Ps. is there.

以下、図9に示すフローチャートを参照して、抽出された一方の対象領域から所定の点Ps’を算出することにより、他方の対象領域をも抽出する方法について説明する。   Hereinafter, a method of extracting the other target region by calculating a predetermined point Ps ′ from the extracted one target region will be described with reference to the flowchart shown in FIG. 9.

以下、対象領域は、腎臓領域を一例として説明する。   Hereinafter, the target region will be described using the kidney region as an example.

まず、設定手段10において、医用画像I中の腎臓領域内に任意の点Psが設定される(ステップST20)。その後、範囲決定手段20により、医用画像I中に、一方の腎臓領域Rが存在し得る存在範囲Eが、ステップST10において設定された任意の点Psと一方の腎臓領域Rのありうる大きさLとに基づいて決定される(ステップST21)。そして、対象領域抽出手段30により、ステップST10において設定された任意の点PsとステップST2において決定された存在範囲Eの外側の点Ptに基づいて医用画像Iから腎臓領域Rが抽出される(ステップST22)。対象領域抽出ユニット5は、対となる腎臓領域の他方の腎臓領域が抽出済みであるか否かを判断する(ステップST13)。 First, the setting means 10 sets an arbitrary point Ps in the kidney region in the medical image I (step ST20). Thereafter, the range determining means 20 determines that the existence range E in which one kidney region R can exist in the medical image I is an arbitrary point Ps set in step ST10 and the possible size L of one kidney region R. (Step ST21). The target region extracting means 30 extracts the kidney region R from the medical image I based on the arbitrary point Ps set in step ST10 and the point Pt outside the existence range E determined in step ST2 (step ST22). The target area extraction unit 5 determines whether or not the other kidney area of the paired kidney areas has been extracted (step ST13).

既に他方の腎臓領域を抽出された場合は(ステップST23;Yes)、処理が終了するが、未だ他方の腎臓領域を抽出していない場合(ステップST23;No)、対象領域抽出ユニット5は、抽出された腎臓領域Rと医用画像Iを計算手段40に送信する。   If the other kidney region has already been extracted (step ST23; Yes), the process ends, but if the other kidney region has not yet been extracted (step ST23; No), the target region extraction unit 5 performs extraction. The obtained kidney region R and medical image I are transmitted to the calculation means 40.

計算手段40は、対となる腎臓領域の位置関係を示す解剖学的情報を記憶する解剖学的情報データベース50から解剖学的情報を取得し、抽出された腎臓領域Rと解剖学的情報に基づいて、対となる腎臓領域の他方の腎臓領域内における所定の点Ps’の位置を計算する(ステップST24)。   The calculation means 40 acquires anatomical information from the anatomical information database 50 storing anatomical information indicating the positional relationship between the paired kidney regions, and based on the extracted kidney region R and the anatomical information. Thus, the position of the predetermined point Ps ′ in the other kidney region of the paired kidney region is calculated (step ST24).

任意の点Psが腎臓領域の端であった場合、計算された他方の腎臓領域の所定の点が、実際の腎臓領域上に位置する可能性が低くなる。   When the arbitrary point Ps is the end of the kidney region, it is less likely that the calculated predetermined point of the other kidney region is located on the actual kidney region.

よって、所定の点Ps’が、他方の腎臓領域上に位置する可能性が高くなるように、抽出された対象領域Rから、計算により所定の点Ps’を算出する。   Therefore, the predetermined point Ps ′ is calculated by calculation from the extracted target region R so that the possibility that the predetermined point Ps ′ is located on the other kidney region is high.

具体的には、抽出された腎臓領域R内において、一番面積の広いスライス画像たる医用画像を抽出し、抽出されたスライス画像上の対象領域Rとは対象の他方の腎臓領域の中心を所定の点Ps’とする。   Specifically, in the extracted kidney region R, a medical image, which is the slice image having the largest area, is extracted, and the target region R on the extracted slice image is a predetermined center of the other kidney region. The point Ps ′.

なお、所定の点Ps’の位置する体軸方向の高さは、抽出されたスライス画像の体軸方向の高さとする。   Note that the height in the body axis direction where the predetermined point Ps ′ is located is the height in the body axis direction of the extracted slice image.

計算手段40は、対象領域抽出ユニット5に所定の点Ps’の情報を送信する。   The calculation means 40 transmits information on the predetermined point Ps ′ to the target area extraction unit 5.

そして、範囲決定手段20により、医用画像I中に、他方の腎臓領域R’が存在し得る存在範囲Fが、ステップST14において算出された所定の点Ps’と他方の腎臓領域R’のありうる大きさL’とに基づいて決定される(ステップST15)。その後、対象領域抽出手段30により、ステップST14において算出された所定の点Ps’と決定された存在範囲Fの外側の点Pt’に基づいて医用画像Iから腎臓領域R’が抽出される(ステップST16)。   Then, by the range determination means 20, the existence range F in which the other kidney region R ′ can exist in the medical image I can be the predetermined point Ps ′ calculated in step ST14 and the other kidney region R ′. It is determined based on the size L ′ (step ST15). Thereafter, the target region extracting means 30 extracts the kidney region R ′ from the medical image I based on the predetermined point Ps ′ calculated in step ST14 and the point Pt ′ outside the existing range F determined (step ST14). ST16).

上述した対となる対象領域は、腎臓領域のみならず、被写体の解剖学的領域として2つ1組で存在する対象となる領域である肺野領域、睾丸領域、眼球領域等であってもよい。また、これらの領域の病変領域であってもよい。   The paired target regions described above may be not only the kidney region but also the lung field region, testicle region, eyeball region, etc., which are target regions existing in pairs as the anatomical region of the subject. . Moreover, the lesion area | region of these area | regions may be sufficient.

なお、上記実施の形態においては、本発明の対象領域抽出装置を2次元の画像から対象領域を抽出するものに適用した場合について説明したが、3次元の画像から対となる対象領域を抽出するものに適用することもできる。例えば、設定手段10において、3次元の画像中の対象領域内に、3次元座標系での任意の点Psを設定し、範囲決定手段20において、その画像中に、対象領域が存在し得る3次元の存在範囲Eを、任意の点Psと対象領域のありえる大きさLを用いて決定し、対象領域抽出手段30において、任意の点Psと存在範囲Eの外側の点に基づいて、上述した領域分割方法などを用いて画像から3次元の対象領域を抽出する。ここで、存在範囲Eは、その周縁形状として六面体、球体等、種々の形状を採用することができる。   In the above-described embodiment, the case where the target area extraction apparatus of the present invention is applied to a target area extraction unit from a two-dimensional image has been described. However, a pair of target areas are extracted from a three-dimensional image. It can also be applied to things. For example, the setting unit 10 sets an arbitrary point Ps in the three-dimensional coordinate system in the target region in the three-dimensional image, and the range determination unit 20 may include the target region in the image 3. The existence range E of the dimension is determined using an arbitrary point Ps and a possible size L of the target region, and the target region extraction unit 30 determines the above based on the arbitrary point Ps and a point outside the presence range E as described above. A three-dimensional target region is extracted from the image using a region dividing method or the like. Here, the existence range E can adopt various shapes such as a hexahedron and a sphere as the peripheral shape.

なお、本発明の対象領域抽出装置において、対象領域のありうる大きさとは、同種の対象領域の大きさのうち物理的にあり得ると思われる最大の大きさを意味するものであり、本発明の対象領域抽出装置を用いて画像から2種類以上の対象領域を抽出する場合、対象領域の種類毎にその対象領域のありうる大きさを取得して作成されたリスト等を参照して、各抽出の対象となっている対象領域の種類に応じて、対象領域が存在し得る存在範囲を適切に決定することができる。   In the target area extraction apparatus of the present invention, the possible size of the target area means the maximum size that is considered to be physically possible among the sizes of the same type of target area. When extracting two or more types of target regions from an image using the target region extraction device, each size of the target region is referred to a list created by acquiring the possible size of the target region, The existence range in which the target area can exist can be appropriately determined according to the type of the target area that is the extraction target.

なお、対象領域は、肝臓、脾臓、腎臓などの臓器を示す臓器領域、脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞などの腎臓を示す腎臓領域であってもよい。   The target region may be an organ region indicating an organ such as the liver, spleen, or kidney, or a kidney region indicating a kidney such as a brain tumor, a chest nodule, a liver tumor, a liver cyst, or a renal cyst.

上述したように、本発明の対象領域抽出方法および装置ならびにプログラムによれば、対となる対象領域の一方の対象領域内に任意の点を設定し、設定された任意の点と対となる対象領域の位置関係を示す解剖学的情報に基づいて、対となる対象領域の他方の対象領域内における所定の点の位置を計算し、画像中に、一方の対象領域が存在し得る存在範囲を、設定した任意の点と一方の対象領域のありうる大きさとを用いて決定するとともに、画像中に、他方の対象領域が存在し得る存在範囲を、計算された所定の点の位置と他方の対象領域のありうる大きさとを用いて決定し、設定された任意の点、計算された所定の点の位置、決定された一方の対象領域の存在範囲の外側の点および決定された他方の対象領域の存在範囲の外側の点に基づいて画像から対となる対象領域を抽出することにより、画像中の対象領域を示す特定の画素と背景領域を示す特定の画素とをそれぞれ手動で与える操作を必要とする従来の対象領域抽出方法に比べ、決定した存在範囲の外側の点を、背景領域を示す画素として用いることにより、背景領域を示す特定の画素を手動で与える操作を自動化でき、手動の入力の煩雑さを軽減できるとともに、かつ対となる対象領域の抽出の利便性を向上させることが可能となる。   As described above, according to the target region extraction method, apparatus, and program of the present invention, an arbitrary point is set in one target region of a pair of target regions, and the target paired with the set arbitrary point Based on the anatomical information indicating the positional relationship of the areas, the position of a predetermined point in the other target area of the paired target areas is calculated, and the existence range in which one target area can exist in the image is calculated. In addition, it is determined by using the set arbitrary point and the possible size of one target area, and the existence range where the other target area can exist in the image is determined by calculating the position of the predetermined point and the other target area. Arbitrary point determined by using the possible size of the target area, the position of the calculated predetermined point, the point outside the existing range of one target area and the other target determined Based on points outside the area Thus, by extracting a pair of target areas from the image, a conventional target area extraction method that requires an operation of manually giving a specific pixel indicating the target area and a specific pixel indicating the background area in the image respectively. In comparison, by using a point outside the determined existence range as a pixel indicating the background region, it is possible to automate the operation of manually giving a specific pixel indicating the background region, reducing the complexity of manual input, and It is possible to improve the convenience of extracting the paired target areas.

本発明の対象領域抽出ユニットの一実施の形態を示すブロック図The block diagram which shows one Embodiment of the object area | region extraction unit of this invention 図1の範囲決定手段により存在範囲を決定する一方法を説明するための図The figure for demonstrating one method of determining a presence range by the range determination means of FIG. 図1の対象領域抽出手段により対象領域を抽出する一方法を説明するための図The figure for demonstrating one method of extracting a target area | region by the target area extraction means of FIG. 図1の対象領域抽出手段により対象領域を抽出する一方法を説明するための図The figure for demonstrating one method of extracting a target area | region by the target area extraction means of FIG. 本発明の対象領域抽出装置により抽出した対象領域の一例を示す図The figure which shows an example of the object area | region extracted by the object area | region extraction apparatus of this invention 本発明の対象領域抽出方法の一実施の形態を示すフローチャートThe flowchart which shows one Embodiment of the target area | region extraction method of this invention 本発明の対象領域抽出装置の一実施の形態を示すブロック図The block diagram which shows one Embodiment of the object area | region extraction apparatus of this invention 本発明の他方の対象領域抽出方法の一実施の形態を示すフローチャート(その1)The flowchart which shows one Embodiment of the other object area | region extraction method of this invention (the 1) 本発明の他方の対象領域抽出方法の一実施の形態を示すフローチャート(その2)The flowchart which shows one Embodiment of the other object area | region extraction method of the present invention (the 2) 本発明の解剖学的情報のテーブルの一例を示す図The figure which shows an example of the table of the anatomical information of this invention

符号の説明Explanation of symbols

1 対象領域抽出装置
5 対象領域抽出ユニット
10 設定手段
20 範囲決定手段
30 対象領域抽出手段
Ps 任意の点
Ps’ 所定の点
Pt 外側の点
E 存在範囲(一方の対象領域)
R 腎臓領域(一方の対象領域)
R’ 腎臓領域(他方の対象領域)
L 腎臓領域(一方の対象領域)のありうる大きさ
I 医用画像(画像)
D 判別領域
DESCRIPTION OF SYMBOLS 1 Target area extraction apparatus 5 Target area extraction unit 10 Setting means 20 Range determination means 30 Target area extraction means Ps Arbitrary point Ps' Predetermined point Pt Outside point E Existence range (one target area)
R kidney region (one target region)
R 'kidney region (the other target region)
L Possible size of kidney region (one target region) I Medical image (image)
D discrimination area

Claims (9)

被写体を撮影して得られた画像から対となる対象領域を抽出する装置であって、
前記対となる対象領域の一方の対象領域内に任意の点を設定する設定手段と、
前記対となる対象領域の位置関係を示す解剖学的情報を記憶する解剖学的情報データベースと、
前記設定された任意の点と前記解剖学的情報に基づいて、前記対となる対象領域の他方の対象領域内における所定の点の位置を計算する計算手段と、
前記画像中に、前記一方の対象領域が存在し得る存在範囲を、前記設定した任意の点と前記一方の対象領域のありうる大きさとを用いて決定するとともに、前記画像中に、前記他方の対象領域が存在し得る存在範囲を、前記計算された所定の点の位置と前記他方の対象領域のありうる大きさとを用いて決定する範囲決定手段と、
前記設定された任意の点、前記計算された所定の点の位置、前記決定された一方の対象領域の存在範囲の外側の点および前記決定された他方の対象領域の存在範囲の外側の点に基づいて前記画像から対となる対象領域を抽出する対象領域抽出手段と、を備えたことを特徴とする対象領域抽出装置。
An apparatus for extracting a pair of target areas from an image obtained by photographing a subject,
Setting means for setting an arbitrary point in one target region of the paired target regions;
An anatomical information database for storing anatomical information indicating the positional relationship between the pair of target regions;
Based on the set arbitrary point and the anatomical information, calculation means for calculating a position of a predetermined point in the other target region of the paired target region,
An existence range in which the one target area can exist in the image is determined using the set arbitrary point and a possible size of the one target area, and the other target area in the image Range determining means for determining an existence range in which a target area can exist using the calculated position of the predetermined point and a possible size of the other target area;
The set arbitrary point, the position of the calculated predetermined point, the point outside the determined range of the one target area, and the point outside the determined range of the other target area A target area extracting device comprising: target area extracting means for extracting a pair of target areas from the image.
前記解剖学的情報は、前記対となる対象領域の統計的な位置情報であることを特徴とする請求項1記載の対象領域抽出装置。   The target area extracting apparatus according to claim 1, wherein the anatomical information is statistical position information of the paired target areas. 前記位置情報は、前記被写体の略体軸方向における前記対となる対象領域の体軸方向の位置関係を示す情報であることを特徴とする請求項2記載の対象領域抽出装置。   The target area extracting apparatus according to claim 2, wherein the position information is information indicating a positional relationship in a body axis direction of the paired target areas in a substantially body axis direction of the subject. 前記解剖学的情報は、前記対となる対象領域の血管の接続関係を示す情報であることを特徴とする請求項1記載の対象領域抽出装置。   The target area extracting apparatus according to claim 1, wherein the anatomical information is information indicating a blood vessel connection relationship of the paired target areas. 前記画像から前記被写体の各椎体の体軸方向の位置を算出することにより椎体位置を決定する椎体位置決定手段と、を更に備え、
前記解剖学的情報は、前記決定された椎体位置と前記対となる対象領域との位置関係を示す情報であることを特徴とする請求項1記載の対象領域抽出装置。
Vertebral body position determining means for determining a vertebral body position by calculating a position of each vertebral body of the subject in the body axis direction from the image,
The target area extracting apparatus according to claim 1, wherein the anatomical information is information indicating a positional relationship between the determined vertebral body position and the paired target area.
前記対となる対象領域が、画像中の対となる腎臓領域であることを特徴とする請求項1から5いずれか1項記載の対象領域抽出装置。   The target region extraction apparatus according to claim 1, wherein the target region to be paired is a kidney region to be paired in an image. 前記設定手段により設定された任意の点を含む前記対となる腎臓領域の一方の腎臓領域が、左右いずれの腎臓であるか否かを判別する腎臓判別手段とを更に備えるものであることを特徴とする請求項6記載の対象領域抽出装置。   A kidney discriminating unit for discriminating whether one of the paired kidney regions including the arbitrary point set by the setting unit is a right or left kidney. The target region extracting apparatus according to claim 6. 被写体を撮影して得られた画像から対となる対象領域を抽出する方法であって、
前記対となる対象領域の一方の対象領域内に任意の点を設定し、
前記設定された任意の点と前記対となる対象領域の位置関係を示す解剖学的情報に基づいて、前記対となる対象領域の他方の対象領域内における所定の点の位置を計算し、
前記画像中に、前記一方の対象領域が存在し得る存在範囲を、前記設定した任意の点と前記一方の対象領域のありうる大きさとを用いて決定するとともに、前記画像中に、前記他方の対象領域が存在し得る存在範囲を、前記計算された所定の点の位置と前記他方の対象領域のありうる大きさとを用いて決定し、
前記設定された任意の点、前記計算された所定の点の位置、前記決定された一方の対象領域の存在範囲の外側の点および前記決定された他方の対象領域の存在範囲の外側の点に基づいて前記画像から対となる対象領域を抽出することを特徴とする対象領域抽出方法。
A method of extracting a pair of target areas from an image obtained by photographing a subject,
An arbitrary point is set in one target area of the paired target areas,
Based on anatomical information indicating the positional relationship between the set arbitrary point and the paired target area, the position of a predetermined point in the other target area of the paired target area is calculated,
An existence range in which the one target area can exist in the image is determined using the set arbitrary point and a possible size of the one target area, and the other target area in the image A range in which the target area can exist is determined using the calculated position of the predetermined point and a possible size of the other target area;
The set arbitrary point, the position of the calculated predetermined point, the point outside the determined range of the one target area, and the point outside the determined range of the other target area A target region extraction method, comprising: extracting a pair of target regions from the image based on the images.
被写体を撮影して得られた画像から対となる対象領域を抽出するためのプログラムであって、
コンピュータに、
前記対となる対象領域の一方の対象領域内に任意の点を設定する機能と、
前記設定された任意の点と前記対となる対象領域の位置関係を示す解剖学的情報に基づいて、前記対となる対象領域の他方の対象領域内における所定の点の位置を計算する機能と、
前記画像中に、前記一方の対象領域が存在し得る存在範囲を、前記設定した任意の点と前記一方の対象領域のありうる大きさとを用いて決定するとともに、前記画像中に、前記他方の対象領域が存在し得る存在範囲を、前記計算された所定の点の位置と前記他方の対象領域のありうる大きさとを用いて決定する機能と、
前記設定された任意の点、前記計算された所定の点の位置、前記決定された一方の対象領域の存在範囲の外側の点および前記決定された他方の対象領域の存在範囲の外側の点に基づいて前記画像から対となる対象領域を抽出する機能を実行させるための対象領域抽出プログラム。
A program for extracting a pair of target areas from an image obtained by photographing a subject ,
On the computer,
A function for setting an arbitrary point in one target area of the paired target areas;
A function for calculating a position of a predetermined point in the other target region of the paired target region based on anatomical information indicating a positional relationship between the set arbitrary point and the paired target region; ,
An existence range in which the one target area can exist in the image is determined using the set arbitrary point and a possible size of the one target area, and the other target area in the image A function of determining an existence range in which a target area can exist using the calculated position of the predetermined point and a possible size of the other target area;
The set arbitrary point, the position of the calculated predetermined point, the point outside the determined range of the one target area, and the point outside the determined range of the other target area A target region extraction program for executing a function of extracting a pair of target regions from the image based on the image.
JP2008080400A 2008-03-26 2008-03-26 Target region extraction apparatus and method, and program Expired - Fee Related JP5137243B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008080400A JP5137243B2 (en) 2008-03-26 2008-03-26 Target region extraction apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008080400A JP5137243B2 (en) 2008-03-26 2008-03-26 Target region extraction apparatus and method, and program

Publications (2)

Publication Number Publication Date
JP2009232962A JP2009232962A (en) 2009-10-15
JP5137243B2 true JP5137243B2 (en) 2013-02-06

Family

ID=41247677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008080400A Expired - Fee Related JP5137243B2 (en) 2008-03-26 2008-03-26 Target region extraction apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP5137243B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7403952B2 (en) 2015-10-12 2023-12-25 ゼネラル エレクトリック テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング Improvements in the protection of power transformers or related improvements

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014513332A (en) * 2011-03-04 2014-05-29 エルビーティー イノベーションズ リミテッド How to improve the classification results of a classifier
JP5771442B2 (en) 2011-05-09 2015-08-26 オリンパス株式会社 Image processing apparatus, image processing method, and image processing program
JP6217116B2 (en) * 2013-04-09 2017-10-25 カシオ計算機株式会社 Data processing apparatus, method, and program
JP6364958B2 (en) * 2014-05-26 2018-08-01 富士ゼロックス株式会社 Image processing apparatus, image forming apparatus, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006502777A (en) * 2002-10-16 2006-01-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Hierarchical image segmentation
JP4701861B2 (en) * 2005-06-22 2011-06-15 コニカミノルタエムジー株式会社 Region extraction apparatus, region extraction method and program
EP1946703A4 (en) * 2005-11-02 2010-02-17 Hitachi Medical Corp Image analyzing device and method
JP4999163B2 (en) * 2006-04-17 2012-08-15 富士フイルム株式会社 Image processing method, apparatus, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7403952B2 (en) 2015-10-12 2023-12-25 ゼネラル エレクトリック テクノロジー ゲゼルシャフト ミット ベシュレンクテル ハフツング Improvements in the protection of power transformers or related improvements

Also Published As

Publication number Publication date
JP2009232962A (en) 2009-10-15

Similar Documents

Publication Publication Date Title
JP4493679B2 (en) Target region extraction method, apparatus, and program
US8417009B2 (en) Apparatus, method, and computer readable medium for assisting medical image diagnosis using 3-D images representing internal structure
JP5797124B2 (en) Surgery support device, surgery support method, and surgery support program
US7929739B2 (en) Image processing method, apparatus, and program
JP4492886B2 (en) Three-dimensional intraperitoneal region detection apparatus, method, and program
JP5543761B2 (en) System and method for automatic diagnosis
JP5486197B2 (en) Vertebral center detecting device, method and program
CN108324300B (en) Method and apparatus for vessel segmentation
JP6381895B2 (en) Image processing apparatus, image processing method, and X-ray diagnostic apparatus
JP5301197B2 (en) Sectional image display apparatus and method, and program
KR101028365B1 (en) Multistage matching method and apparatus of pulmonary nodules in serial computed tomography scan
JP2007130462A (en) Evaluation method of three-dimensional image of symmetrical organ, medical imaging system, and computer program
KR102211688B1 (en) A method and apparatus for meniscus segmentation in Knee MR images
JP5137243B2 (en) Target region extraction apparatus and method, and program
JP5566299B2 (en) Medical image processing apparatus and medical image processing method
JP2009082307A (en) Image processing method, image processing apparatus, and program
US7912294B2 (en) System and method for toboggan-based object detection in cutting planes
US8306354B2 (en) Image processing apparatus, method, and program
US7421100B2 (en) Method, computer program and system of visualizing image data
US10398286B2 (en) Medical image display control apparatus, method, and program
JP2009207727A (en) Vertebral body position determining device, method, and program
JP5925576B2 (en) Image processing apparatus and image processing method
JP2010200925A (en) Image processing device, method, and program
Darwish et al. Vertebrae segmentation techniques for spinal medical images
KR102000615B1 (en) A method for automatically extracting a starting point of coronary arteries, and an apparatus thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121112

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees