JP2007236939A - 乳房辺縁検出のための方法および装置 - Google Patents
乳房辺縁検出のための方法および装置 Download PDFInfo
- Publication number
- JP2007236939A JP2007236939A JP2007053458A JP2007053458A JP2007236939A JP 2007236939 A JP2007236939 A JP 2007236939A JP 2007053458 A JP2007053458 A JP 2007053458A JP 2007053458 A JP2007053458 A JP 2007053458A JP 2007236939 A JP2007236939 A JP 2007236939A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cluster
- breast
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 228
- 238000001514 detection method Methods 0.000 title abstract description 48
- 238000000034 method Methods 0.000 title abstract description 23
- 238000012545 processing Methods 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 27
- 230000007717 exclusion Effects 0.000 claims description 23
- 238000003064 k means clustering Methods 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 17
- 238000003672 processing method Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 235000019557 luminance Nutrition 0.000 claims 16
- 238000010586 diagram Methods 0.000 description 24
- 238000009607 mammography Methods 0.000 description 23
- 239000007943 implant Substances 0.000 description 19
- 238000002360 preparation method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000001878 Bakers yeast glycan Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000770 propane-1,2-diol alginate Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 206010006272 Breast mass Diseases 0.000 description 1
- 206010040867 Skin hypertrophy Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Abstract
【課題】絶対閾値または階調度に依存しない乳房辺縁検出方法および装置を提供する。
【解決手段】一実施形態による方法は、乳房を含む画像を表すデジタル画像データにアクセスし、画像のピクセルの空間の特徴に関するパラメータ、画像のピクセルの輝度の特徴に関するパラメータ、および画像のピクセルの平滑度の特徴に関するパラメータに基づいて、最初のクラスタを得るために画像のピクセルをクラスタリングし、乳房クラスタを検出する。乳房クラスタを検出する工程は、最後のクラスタを得るために、最初のクラスタの輝度測定を使用して最初のクラスタのクラスタ・マージを行う工程、および乳房クラスタを得るために、乳房に属さないクラスタを最後のクラスタ・ピクセルから取り除く工程を含む。
【選択図】図1
【解決手段】一実施形態による方法は、乳房を含む画像を表すデジタル画像データにアクセスし、画像のピクセルの空間の特徴に関するパラメータ、画像のピクセルの輝度の特徴に関するパラメータ、および画像のピクセルの平滑度の特徴に関するパラメータに基づいて、最初のクラスタを得るために画像のピクセルをクラスタリングし、乳房クラスタを検出する。乳房クラスタを検出する工程は、最後のクラスタを得るために、最初のクラスタの輝度測定を使用して最初のクラスタのクラスタ・マージを行う工程、および乳房クラスタを得るために、乳房に属さないクラスタを最後のクラスタ・ピクセルから取り除く工程を含む。
【選択図】図1
Description
本発明は、デジタル画像処理技術に関し、より詳細には、乳房画像を処理し、マンモグラフィ画像において乳房辺縁を検出する方法および装置に関する。
マンモグラフィ画像は、乳房の医学的な異常の診断に使用される強力なツールである。マンモグラフィ画像における重要な特徴は、乳房の形状である。乳房形状の明瞭な画像は、乳房辺縁の正しい識別に直接依存する。明瞭に検出された乳房辺縁は、悪性腫瘍の特徴である皮膚陥没や皮膚肥厚などの乳房の異常を識別するために使用することができる。また、明瞭な乳房辺縁は、マンモグラフィ画像間の自動または手動の比較分析を容易にする。乳房辺縁は、乳房の変形、サイズ、および形状の進化に関する重要な情報を伝える可能性がある。乳房に対する乳頭の位置は、乳房の異常を検出するために使用することができる。一方で、不明瞭な乳房辺縁は、異常な乳房の増大および変形をわかりにくくする可能性がある。不明瞭な乳房辺縁を含むマンモグラフィ画像は、画像を処理、比較するソフトウェア・アプリケーションで使用される際、問題を引き起こす。
マンモグラム獲得プロセスが機能する方法のため、乳房が先細になる領域は、乳房の輪郭のコントラストを低下させ、これによって乳房領域が不明瞭になる。乳房辺縁を抽出するために、通常、辺縁検出のアルゴリズムが使用される。乳房辺縁は、スキンエア境界面または乳房境界とも呼ばれ、縁検出技術によって、またはマンモグラフィ画像において乳房領域を決定する方法によって得ることができる。マンモグラフィ画像に存在する不均一な背景領域、タグ、ラベル、またはスクラッチは、乳房辺縁エリアをわかりにくくし、乳房辺縁検出アルゴリズムの問題を作り出す可能性がある。
乳房辺縁を検出する従来技術の方法は、縁検出、閾値処理、およびピクセル分類を含む。こうした1つの乳房辺縁検出技術は、「Automatic Segmentation,Skinline and Nipple Detection in Digital Mammograms」という名称の特許文献1の明細書に記載されている。この研究に記載されている技術において、デジタル・マンモグラムは、背景および前景に自動的にセグメント化される。この場合、前景が乳房領域に相当する。二値配列は、その輝度または階調度の振幅、または両方がある閾値を超えるピクセルに、二値の一方の値を割り当てることによって作成される。しかし、この技術では、例えばノイズのある背景に属する乳房以外のピクセルが、いくつかの乳房ピクセルと似た輝度または階調度の値を有しているとき、問題が発生する。
もう1つの乳房辺縁検出技術は、「Detection of Skin−Line Transition in Digital Medical Imaging」という名称の特許文献2の明細書に記載されている。この研究に記載されている技術において、デジタル医学用画像における皮膚線の辺縁は、乳房を背景から分離する閾値を使用して決定される。次いで、どのピクセルが皮膚線の辺縁に関連付けられているかを指定するために、選別器が使用される。しかし、この方法は、絶対閾値に依存する。閾値の上下のピクセルが乳房の塊および背景に点在しているとき、こうした閾値は、乳房辺縁の決定を低下させる可能性がある。
米国特許第5,572,565号
米国特許第5,889,882号
本願の開示された実施形態は、K平均法クラスタリングを使用して乳房ピクセルをクラスタリングし、絶対閾値または階調度に依存しない乳房辺縁検出方法および装置を使用することによって、これらおよび他の問題に対処する。
本発明は、画像を処理する方法および装置を対象とする。本発明の請求項1によれば、画像処理方法は、乳房を含む画像を表すデジタル画像データにアクセスする工程と、画像のピクセルの空間の特徴に関するパラメータ、画像のピクセルの輝度の特徴に関するパラメータ、および画像のピクセルの平滑度の特徴に関するパラメータに基づいて、最初のクラスタを得るために画像のピクセルをクラスタリングする工程と、乳房クラスタを検出する工程とを含み、乳房クラスタを検出する工程は、最後のクラスタを得るために、最初のクラスタの輝度測定を使用して最初のクラスタのクラスタ・マージを行う工程と、乳房クラスタを得るために、乳房に属さない最後のクラスタ・ピクセルから前記乳房に属さないクラスタを取り除く工程とを含む。
本発明の請求項2によれば、画像を処理する装置は、乳房を含む画像を表すデジタル画像データにアクセスする画像データ入力ユニットと、画像のピクセルの空間の特徴に関するパラメータ、画像のピクセルの輝度の特徴に関するパラメータ、および画像のピクセルの平滑度の特徴に関するパラメータに基づいて、最初のクラスタを得るために画像のピクセルをクラスタリングするクラスタリング・ユニットと、最後のクラスタを得るために最初のクラスタの輝度測定を使用して最初のクラスタのクラスタ・マージを行うクラスタ・マージ・ユニットと、乳房クラスタを得るために、乳房に属さないクラスタを最後のクラスタ・ピクセルから取り除くことによって、乳房クラスタを検出する辺縁検出ユニットとを含む。
以下、添付図面に従って本発明のより詳細な態様および利点を説明する。
本発明の態様は、より詳細には、添付の図面を参照して次に記載される。図1は、本発明の一実施形態による乳房辺縁検出のための画像処理ユニットを含むシステムの概略ブロック図である。図1に示されているシステム80は、以下の構成要素、すなわち画像入力ユニット25、画像処理ユニット35、ディスプレイ65、画像出力ユニット55、ユーザ入力ユニット75、および印刷ユニット45を含む。図1のシステム80の操作は、以下の説明から明らかになる。
画像入力ユニット25は、マンモグラムを表すデジタル画像データを提供する。画像入力ユニット25は、放射線フィルム、診断画像、デジタル・システムなどから導出されるデジタル画像データを提供する任意の数の装置のうちの1つまたは複数とすることができる。こうした入力装置は、例えば、フィルムに記録されている画像を走査するスキャナ、デジタル・カメラ、デジタル・マンモグラフィ機、CD−R、フロッピー・ディスク、USBドライブなどの記録媒体、画像を格納するデータベース・システム、ネットワーク接続、画像を処理するコンピュータ・アプリケーションなどのデジタル・データを出力する画像処理システムなどとすることができる。
画像処理ユニット35は、画像入力ユニット25からデジタル画像データを受信し、以下で詳述するようなやり方で乳房辺縁検出を行う。例えば、医療施設の放射線の専門家などのユーザは、ディスプレイ65を介して画像処理ユニット35の出力を見ることができ、ユーザ入力ユニット75を介して画像処理ユニット35にコマンドを入力することができる。図1に示されている実施形態では、ユーザ入力ユニット75は、キーボード81およびマウス83を含んでいるが、他の従来の入力装置を使用することもできる。
本発明の実施形態による乳房辺縁検出の実行に加えて、画像処理ユニット35は、ユーザ入力ユニット75から受信されたコマンドに従って追加の画像処理機能を行うことができる。印刷ユニット45は、画像処理ユニット35の出力を受信し、処理された画像データのハード・コピーを生成する。画像処理ユニット35の出力のハード・コピーの生成に加えて、またはその代わりとして、処理された画像データは、例えば持ち運びできる記録媒体を介して、またはネットワーク(図示せず)を介して画像ファイルとして戻されてもよい。画像処理ユニット35の出力は、様々な目的で画像データに対する処理をさらに行う画像出力ユニット55に送信されてもよい。画像出力ユニット55は、画像データの処理をさらに行うモジュール、画像を収集し、比較するデータベースなどとすることができる。
図2は、本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35の態様をより詳細に示すブロック図である。図2に示されているように、この実施形態による画像処理ユニット35は、画像準備モジュール110、クラスタ操作モジュール120、および辺縁検出モジュール130を含む。図2の様々な構成要素は、個別の要素として例示されているが、こうした例示は、説明を容易にするためのものであり、様々な構成要素のいくつかの操作が同じ物理的装置によって、例えば1つまたは複数のマイクロプロセッサによって行われてもよい。
一般に、図2に示されている画像処理ユニット35の要素の構成は、乳房画像を含むデジタル画像データの前処理および準備、乳房画像におけるクラスタの識別、および乳房画像における乳房辺縁の検出を行う。画像準備モジュール110は、画像入力ユニット25から乳房画像を受信し、乳房画像に対する前処理および準備の操作を行うことができる。画像準備モジュール110によって行われる前処理および準備の操作は、乳房画像のサイズおよび/または外観を変更する、サイズ変更、クロッピング、圧縮、色補正などを含み得る。
画像準備モジュール110は、前処理された乳房画像を、乳房画像におけるクラスタを識別するクラスタ操作モジュール120に送信する。辺縁検出モジュール130は、識別されたクラスタを含む画像をクラスタ操作モジュール120から受信し、その画像における乳房辺縁を検出する。最後に、辺縁検出モジュール130は、識別された乳房辺縁を含む乳房画像を出力する。辺縁検出モジュール130の出力は、画像出力ユニット55、印刷ユニット45、および/またはディスプレイ65に送信されてもよい。次に、図2に示されている画像処理ユニット35に含まれる構成要素の操作について、図3〜16を参照して説明する。
画像準備モジュール110、クラスタ操作モジュール120、および辺縁検出モジュール130は、ソフトウェア・システム/アプリケーションである。画像準備モジュール110、クラスタ操作モジュール120、および辺縁検出モジュール130は、FPGA、ASICなど、専用ハードウェアとすることもできる。
図3は、図2に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット例35Aのブロック図である。図3に示されるように、画像処理ユニット35Aは、サブサンプリング・ユニット237、クロッピング・ユニット247、クラスタリング・ユニット257、クラスタ・マージ・ユニット267、連結成分分析/選択ユニット277、タグ排除ユニット287、およびスーパーサンプリング・ユニット297を含む。
サブサンプリング・ユニット237およびクロッピング・ユニット247は、画像準備モジュール110Aに含まれている。クラスタリング・ユニット257およびクラスタ・マージ・ユニット267は、クラスタ操作モジュール120Aに含まれている。連結成分分析/選択ユニット277、タグ排除ユニット287、およびスーパーサンプリング・ユニット297は、辺縁検出モジュール130Aに含まれている。図3に示されている画像処理ユニット35Aの要素の構成は、乳房画像の前処理および準備、クラスタ分析、および乳房画像からの乳房以外の領域の除去を行う。スーパーサンプリング・ユニット297の出力は、識別された乳房辺縁を含む乳房画像である。こうした出力画像は、画像出力ユニット55、印刷ユニット45、および/またはディスプレイ65に送信されてもよい。サブサンプリング・ユニット237、クロッピング・ユニット247、クラスタリング・ユニット257、クラスタ・マージ・ユニット267、連結成分分析/選択ユニット277、タグ排除ユニット287、およびスーパーサンプリング・ユニット297は、ソフトウェアおよび/またはハードウェアを使用して実施されてもよい。
図4は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aによって実行される操作を示すフロー図である。サブサンプリング・ユニット237は、原画像のまたは前処理された乳房画像を画像入力ユニット25から受信し(S301)、そのサイズを減らすために画像をサブサンプリングする(S303)。クロッピング・ユニット247は、サブサンプリング済み画像を受信し、サブサンプリング済み画像に存在し得るイメージング・プレート・アーティファクトをクロッピングする(S305)。クラスタリング・ユニット257は、K平均法クラスタリングを使用して、クロッピング済み乳房画像において、ピクセルをいくつかのクラスタに分ける(S307)。クラスタ・マージ・ユニット267は、クラスタ輝度テストを使用して、乳房画像のいくつかのクラスタをマージする(S309)。連結成分分析/選択ユニット277は、画像内の乳房に関係のないいくつかのクラスタを取り除く(S311)。こうしたタグが前の工程で取り除かれていない場合に備えて、タグ排除ユニット287は、乳房画像から画像タグを取り除く(S313)。最後に、スーパーサンプリング・ユニット297は、マンモグラフィ画像をスーパーサンプリングし(S315)、乳房辺縁を示す乳房画像を出力する。
図5は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるサブサンプリング・ユニット237によって実行される操作を示すフロー図である。サブサンプリング・ユニット237は、乳房画像にアクセスし(S332)、画像を例えば元のサイズの25%にサブサンプリングし(S334)、サブサンプリング済み画像を出力する(S336)。サブサンプリングは、計算の便宜上、またより迅速な処理のために行われる。また、サブサンプリングは、乳房画像に対するノイズ低減の効果もある。サブサンプリングは、本願に記載されている乳房辺縁検出のための実施形態のオプションの工程である。
図6は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるクリッピング・ユニット247によって実行される操作を示すフロー図である。クロッピング・ユニット247は、サブサンプリング済み乳房画像からイメージング・プレート・アーティファクトを取り除く。
マンモグラムでは、イメージング・プレートの輪郭がしばしば見える。イメージング・プレートに関連付けられているピクセルは、乳房ピクセルと間違えられる可能性があるため、イメージング・プレート・アーティファクトからのピクセルは、マンモグラムのピクセルの通常の分布を混乱させる可能性がある。こうしたケースは、例えば、イメージング・プレート・ピクセルが乳房に連結されており、乳房ピクセルに似た輝度を有しているときなどに起こる。したがって、イメージング・プレート・ピクセルは、乳房辺縁検出において問題をもたらす可能性がある。
クロッピング・ユニット247は、画像の外縁に沿って調べることによって、マンモグラムからイメージング・プレート・ピクセルを取り除く。クロッピング・ユニット247は、サブサンプリング・ユニット237からサブサンプリング済み画像を受信する(S354)。サブサンプリング済み画像の縁が選択される(S358)。縁から離れて走査する走査距離も選択される(S362)。走査距離は、マンモグラフィ画像におけるイメージング・プレートの通常の物理サイズの知識に基づいて計算される。次いでクロッピング・ユニット247は、サブサンプリング済み画像の選択された縁に垂直な走査線に沿って、縁からの走査距離内にある階調度が最も強いピクセルを検索する(S366)。見つけられた最も強い階調度が合計される(S370)。最も強い階調度の合計が閾値と比較される(S374)。
本願で使用される閾値は、相対閾値である。相対閾値と絶対閾値との間の差は、その閾値を導出するために使用された仮定の強さに反映される。相対閾値は、絶対閾値により弱い仮定に基づく。ピクセル値自体に適用される閾値は、絶対閾値である。例えば、(通常は明るい)乳房ピクセルが200を超えるピクセル値を有する旨の決定は、絶対閾値を設定する。こうした仮定は、乳房以外のピクセルが200未満のピクセル値を有すると仮定するため、強い。例えば、等方的な輝きが画像内のすべてのピクセルに適用されるときなど、この強い仮定が満たされ得ない状況がいくつかある。一方、ピクセル値間の相対的な差だけに基づく閾値は、より弱い仮定を必要とし、相対閾値である。相対閾値は、絶対閾値より頑強な結果を与える。等方的な輝きが画像内のすべてのピクセルに適用されるとき、絶対閾値は、誤解を招くような結果を与えるが、画像のこうした等方的な輝きは、相対閾値には影響を与えない。同様に、同じように画像内のすべてのピクセルに影響を与える画像の全体的な変更は、相対閾値に対する問題を提起することはない。
ステップS374で使用される閾値は、相対閾値であり、イメージング・プレートを含む、およびイメージング・プレートを含まないマンモグラフィ画像の実証的証拠に基づいて決定される。イメージング・プレートは、マンモグラフィ画像にわたって非常に似たように見える人工の構造物である。その結果、画像の縁に垂直な走査線に沿った階調度の値について、妥当な非絶対的な仮定をいくつか立てることができる。イメージング・プレートが存在しない場合とは対照的に、イメージング・プレートがマンモグラフィ画像に存在するとき、これらの仮定は、こうした階調度の値から導出される。導出されたこれらの仮定から、ステップS374の閾値が見つけられる。
最も強い階調度の合計が閾値以下である場合、イメージング・プレート・アーティファクトは、選択された縁沿いには存在しない。次いで、イメージング・プレート・アーティファクトがあるかどうかをテストすべきマンモグラフィ画像に、より外側の縁が存在するかどうかを確認するためのテストが行われる(S386)。
選択された縁沿いの最も強い階調度の合計が閾値より大きい場合、イメージング・プレートの輪郭は、選択された縁沿いに存在する。階調度が最も強い縁のピクセルに、線を合わせる(S378)。次いで、縁に沿って存在するイメージング・プレート領域を取り除くために、サブサンプリング済み乳房画像が片側にクロッピングされる(S382)。イメージング・プレート・アーティファクトがあるかどうかをテストすべきマンモグラフィ画像に、より外側の縁が存在するかどうかを確認するためのテストが行われる(S386)。さらに外側の縁がテスト可能である場合、テストされていない縁の中から新しい縁が選択される(S394)。乳房画像の外縁ごとに、ステップS362、S366、S370、S374、S378、およびS382が繰り返される。イメージング・プレート・アーティファクトが画像の上、下、左および右の外縁からクロッピングされ、取り除かれると、クロッピング・ユニット247は、クロッピング済み画像を出力する(S390)。この手順は、マンモグラムのイメージング・プレート・アーティファクトを効果的に取り除く。
図7(A)は、2つの縁に沿った可視のイメージング・プレートを含むマンモグラム画像例を示す。イメージング・プレート領域E405およびE408は、マンモグラフィ画像I401の上縁および右縁沿いに見える。
図7(B)は、図6に示されている本発明の一実施形態によるイメージング・プレートのクロッピング後に得られたマンモグラム画像例を示す。イメージング・プレート領域E405およびE408を取り除くために、図7(A)のマンモグラム画像I1401の上縁および右縁がクロッピングされている。結果として得られた画像I411は、イメージング・プレート・アーティファクトを示していない。
図8は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるクラスタリング・ユニット257によって実行される操作を示すフロー図である。クラスタリング・ユニット257は、クロッピング済み画像をクロッピング・ユニット247から受信し(S450)、クロッピング済み画像のピクセルごとに4次元ピクセル表現を作成する(S454)。4次元ピクセル空間の軸は、ピクセルのx位置、ピクセルのy位置、ピクセルの輝度値、および基準点へのピクセルの距離を表す。一実施形態では、基準点は、クロッピング済み画像のピクセルの一番下の行の中央に配置されている。各ピクセルは、R4の点とみなすことができる。4次元R4空間における第1の2つの次元、すなわちx位置およびy位置は、同じクラスタに属するピクセルの空間的な関係を実現する。したがって、同じクラスタに属するピクセルは、R4空間においてほぼ同じx位置値およびほぼ同じy位置値を有する。
4次元R4空間における第1の2つの次元は、他の空間的座標とすることもできる。4次元R4空間における第1の2つの次元は、例えば、x位置およびy位置の座標、あるいは極座標または円柱座標の組合せとすることができる。4次元R4空間における第3次元、すなわちピクセルの輝度値は、同じクラスタに属するピクセルが輝度の点で通常似ているこという事実を実現する。最後に、4次元R4空間における4番目の次元、すなわち基準点へのピクセルの距離は、基準点の周りに平滑化制約をもたらす。平滑化制約とは、乳房形状が通常は基準点の周りで滑らかに変化しているという事実に関係する。
一実装形態では、ヒストグラム平坦化済みのピクセルの輝度値として、オプションの5番目の次元が導入されている。その場合、ステップS454で、クロッピング済み画像の各ピクセルの5次元のピクセル表現が実施される。ヒストグラム平坦化済み輝度値の次元も、同じクラスタに属するピクセルが輝度の点で通常似ていることを強調する。
クラスタリング・ユニット257は、k=3クラスタを使用して4次元空間におけるピクセルのK平均法クラスタリングを稼働させる(S458)。クラスタのこの数は、マンモグラフィ画像は通常、メイン・クラスタを2つ有しているという仮定に基づいて選択された。2つのメイン・クラスタのうち、一方のクラスタは、乳房エリアやタグ・エリアなど、マンモグラフィ画像内の明るいエリアを含み、もう一方のクラスタは、背景エリアなど、暗いエリアを含む。タグ・エリアは、マンモグラムのビューおよび/またはマンモグラムに乳房が映された人物の識別(患者ID)を列挙する、乳房画像内に組み込まれているラベルを含む。Mammography Quality Standards Act of 1992(MQSA)では、タグがマンモグラフィ画像内の乳房に重ならないようにすべきであることを要求している。したがって、明るいエリアを含むクラスタは、通常、2つの連結成分を含み、1つの成分は乳房のためのもの、もう1つの成分はタグのためのものである。マンモグラフィ画像は、通常2つのメイン・クラスタを有しているが、インプラントを含む乳房のマンモグラムやペースメーカーの近くにある乳房のマンモグラムなど、一部の異常なマンモグラムは、第3のクラスタを含み得る。こういうわけで、ステップS458で、4次元空間におけるピクセルのK平均法クラスタリングは、k=3クラスタを使用して行われる。
クラスタリングは、参照により本明細書に全内容が組み込まれる、Proceedings of the 15th International Conference of Machine Learning,pp.91−99,1998の「Refining Initial Points for K−means Clustering」に記載されているように、P.BradleyおよびU.Fayyadの方法を使用して初期化することができる。クラスタリングは、他の方法を使用して初期化してもよい。一実装形態では、ステップS458のK平均法クラスタリングの距離測定基準として、L2が使用される。K平均法クラスタリングは、クラスタの重心に対する距離測定基準が最小になるように、4次元のピクセル表現のグループをいくつかのクラスタに分ける。4次元ピクセル表現は、クラスタに割り当てられ、次いで、クラスタの重心の位置が決定される。最小にすべき距離測定基準の値も決定される。次いで、4次元ピクセル表現の一部は、距離測定基準の最小化のために、異なるクラスタに再度割り当てられる。新しいクラスタの重心が決定され、最小にすべき距離測定基準が再計算される。4次元ピクセル表現の再割当手順は、クラスタを改良するため、すなわちクラスタの重心に対する距離測定基準を最小にするために続けられる。ピクセルがそのクラスタの構成メンバーを変更しなくなったとき、K平均法クラスタリング方法の収束が達成される。この時点で、マンモグラフィ画像において3つのクラスタが識別されており、クラスタ画像が出力される(S462)。
ステップS462で出力されたクラスタ画像は、3つのクラスタを有する。インプラントを含むマンモグラムの場合、3つのクラスタは、次のように振り分けられる。1つのクラスタは背景ピクセルのためのもの、第2のクラスタは、乳房ピクセルおよびタグ・ピクセルを含み、しかしインプラント・ピクセルを含まない前景ピクセルのためのもの、第3のクラスタはインプラント・ピクセルのためのものである。したがって、インプラントを含む異常なマンモグラムの場合、1つのクラスタは、背景を表し、2つのクラスタは、乳房およびタグ・エリア、およびインプラント・エリアを表す。マンモグラフィ画像がペースメーカーを含むときも類似の状況が起こる。
インプラントまたはペースメーカーを含まないマンモグラムは、通常、2つのメイン・クラスタを有しており、1つのクラスタは、背景ピクセルに対応し、もう1つのクラスタは、前景ピクセルに対応し、これは、乳房ピクセルおよびタグ・ピクセルを含む。しかし、ステップS462で出力されたクラスタ画像は、3つのクラスタを有しているため、真のクラスタ(前景または背景クラスタ)のうちの一方は、人工的に分割される。したがって、インプラントやペースメーカーを含まないマンモグラフィ画像の追加のクラスタは、人工的に分割されたクラスタの1つである。人工的に分割されたクラスタは、前景クラスタまたは背景クラスタのいずれかとすることができる。人工のクラスタの存在は、図10に示されているマージ機構によって検出される。
図9は、図8に示されている本発明の一実施形態を使用した乳房辺縁検出のための画像処理ユニット35Aに含まれるクラスタリング・ユニット257の出力例を示す。図9は、図7(B)のクロッピング済み画像I411から得られたクラスタ画像I589を示す。画像I589は、K平均法クラスタリングを介して得られた3つのクラスタ、C590、C588、およびC585を示している。クラスタは、図8のアルゴリズムに記載されている4次元空間で得られた。4次元空間は表示しにくいため、図9の画像は、4次元のクラスタリング結果の2次元の投影図である。3つのクラスタC590、C588、C585は、白のピクセル(クラスタC585)、グレイのピクセル(C590)、および黒のピクセル(C588)を含む。図9で、黒のピクセルは、背景クラスタを表す。マンモグラフィ画像における背景の色は、乳房が存在しないときにマンモグラフィ機から得られる画像の全体的な色である。
図10は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるクラスタ・マージ・ユニット267によって実行される操作を示すフロー図である。
クラスタ・マージ・ユニット267は、各ピクセルが3つのクラスタのうちの1つにマッピングされるクラスタ画像を受信する(S602)。インプラントなどの異常な特徴を含まない1つの乳房を含むマンモグラフィ画像は、2つのメイン・クラスタを有しており、1つは乳房およびタグ・エリアに対応し、1つは背景に対応する。しかし、クラスタリング・ユニット257によって乳房画像において3つのクラスタが識別されているため、2つのメイン・クラスタのうちの一方は、人工的に2つのクラスタに分割されている。人工的に分割された2つのクラスタは、クラスタ・マージ・ユニット267によって1つのクラスタに結合することができる。クラスタ・マージ・ユニット267は、いくつかのクラスタをマージするかどうかを決定する。次の2つの条件が満たされる場合に限り、2つのクラスタがマージされる。クラスタのうちの1つが背景ではなく(背景は最低平均輝度値を含むクラスタである)、2つのクラスタの平均クラスタ輝度の間の差が所定の閾値未満である。所定の閾値は、大量のマンモグラフィ画像データを使用して経験的に決定される相対閾値である。
クラスタのマージが実行されるかどうかを決定するために、クラスタ・マージ・ユニット267は、1対のクラスタ(C1,C2)を選択し(S604)、C1またはC2が背景であるかどうかをテストする(S606)。ステップS606のテストは、クラスタC1またはC2のうちの一方が、クラスタ画像内のクラスタ中で最低の平均輝度値を有しているかどうかをテストする。というのは、背景は、マンモグラフィ画像における乳房および他の画像アーティファクトより暗いからである。これは、マンモグラムがX線減衰の測定だからである。X線は、放射され、乳房を通って、乳房の向こう側で検出される。暗いエリアは、ほとんどX線減衰がない領域を示し、明るい領域は、X線減衰が高い領域を示す。したがって、X線源の視野内に何もない状態で撮られたマンモグラムは、なんらかのノイズが存在し得ることを除いて、暗く見える。源と検出機との間に入るもの(乳房やリード・マーカ(lead marker)など)は何でも、X線を物理的に減衰させ、それが、マンモグラフィ画像において、より明るい物体として現れる。したがって、マンモグラフィ画像の乳房は、背景より明るい。クラスタC1およびC2は、そのうちの一方が背景クラスタである場合、マージされない。
C1もC2も背景ではない場合、クラスタ・マージ・ユニット267は、クラスタC1の平均輝度とC2の平均輝度との間の差の絶対値を計算し、その差を所定の閾値と比較することによって、第2の条件をテストする(S608)。差の絶対値が閾値未満である場合、クラスタC1とC2とがマージされる(S610)。
次に、クラスタ・マージ・ユニット267は、他のクラスタ対があるかどうかをテストする(S612)。また、ステップS612は、クラスタC1およびC2の一方が背景である場合、ステップS606のすぐ後に実行される。また、ステップS612は、クラスタC1の平均輝度とC2の平均輝度との間の差の絶対値が閾値より大きい場合、ステップS608のすぐ後に実行される。テストすべき他のクラスタ対がある場合、クラスタ・マージ・ユニット267は、新しいクラスタ対(C1,C2)を選択し(S616)、ステップS606およびS608を再度実行する。テストされるクラスタ対がそれ以上ない場合、クラスタ・マージ・ユニット267は、マージ済みクラスタを含む画像を出力する(S614)。
ステップS608の基準は、輝度ベースの閾値を使用する。この閾値は、相対閾値であり、絶対閾値ではない。というのは、これは、相対的なピクセル値の差を測定するのであり、絶対的なものを測定するのではないからである。相対的なピクセル差は、仮定によってあまり制約されないため、閾値より容易である。例えば、背景ピクセルと乳房ピクセルとの間の相対的な差は、乳房は背景より明るいという事実に適合する。
図11は、図10に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるクラスタ・マージ・ユニット267の出力例を示す。図11は、図9のクラスタ画像I589から得られたマージ済みクラスタ画像I620を示している。2つのクラスタが画像I620に存在しており、一方は背景クラスタ、もう一方は乳房クラスタC630である。乳房クラスタは、乳房画像タグから得られたタグ・エリアA631を組み込む。乳房画像タグは、マンモグラムのビュー(右頭蓋後部、左内側方など)を列挙する、乳房画像に組み込まれるラベルである。タグは、マンモグラムに乳房が映された人物の識別(患者ID)も列挙し得る。
図12は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれる連結成分分析/選択ユニット277によって実行される操作を示すフロー図である。マンモグラムのビューおよび患者IDを示すマンモグラム・タグは、クラスタ・マージ・ユニット267によって生成されたマージ済みクラスタ画像内の1つのクラスタに伝えられてもよい。連結成分分析/選択ユニット277は、乳房画像からタグを取り除こうと試みる。
連結成分分析/選択ユニット277は、クラスタ・マージ・ユニット267からマージ済みクラスタを含む画像を受信する(S675)。次いで、連結成分分析/選択ユニット277は、事前の乳房クラスタ選択を行う。
インプラントまたはペースメーカーを含まない乳房画像では、乳房クラスタは、一般に、その塊の中心が図8で使用された基準点に最も近いクラスタである。この基準点は、4次元R4空間において第4の次元を生成するためにクラスタリング・ユニット257によって図8で使用された基準点である。
インプラントまたはペースメーカーを含む乳房画像では、インプラントまたはペースメーカーを表すクラスタは、一般に、乳房画像内の他のクラスタに比べて非常に明るい。これは、インプラントおよびペースメーカーが、人工物として、通常のヒト組織よりかなりX線を減衰させる傾向にあるからである。したがって、ペースメーカーまたはインプラントは、乳房画像内で極めて明るく見える。こうした極めて明るいクラスタは、本願では飽和クラスタと呼ぶ。その明度は、通常、マンモグラフィ画像において許容されるピクセル明度値の非常に上の範囲にある。一実装形態において、インプラントおよびペースメーカーのクラスタなどの飽和クラスタのピクセルは、乳房画像の最大許容明度ピクセル値の例えば80%以内の平均明度ピクセル値を有するものとして特徴付けられていた。一例として、一般に乳房画像の場合、乳房画像のピクセル明度値が0〜1023におよび得る一実装形態では、飽和クラスタは、818以上の平均ピクセル明度値を有する。
事前の乳房クラスタ選択を行うために、連結成分分析/選択ユニット277は、マージ済みクラスタ画像がクラスタを2つ含んでいるか、3つ含んでいるかをチェックする(S680)。マージ済みクラスタ画像にクラスタを2つしか含んでいない場合、連結成分分析/選択ユニット277は、その塊の中心がR4空間を生成するためにクラスタリング・ユニット257によって図8で使用された基準点に最も近いクラスタを、乳房クラスタとしてマークする(S685)。
マージ済みクラスタ画像に3つのクラスタがある場合、第3のクラスタは、インプラントまたはペースメーカーなどの物体に起因する。次いで、連結成分分析/選択ユニット277は、どのクラスタが閾値より大きい平均明度ピクセル値を有しているかをテストする(S690)ことによって、3つのクラスタを飽和度についてチェックする。閾値は、乳房画像における最大許容明度ピクセル値の所定パーセントである。非常に高い明度を含むクラスタを見つけた後、連結成分分析/選択ユニット277は、その飽和クラスタは乳房クラスタではないため、それを無視すべきクラスタとしてマークする(S695)。飽和クラスタを無視し、次いで連結成分分析/選択ユニット277は、その塊の中心がR4空間を生成するためにクラスタリング・ユニット257によって図8で使用された基準点に最も近いクラスタを、乳房クラスタとしてマークする(S699)。
次いで、連結成分分析/選択ユニット277は、マージ済みクラスタ画像内の最大のクラスタを決定する(S703)。乳房クラスタとしてマークされているクラスタを含み、しかし(a)無視すべきクラスタとしてマークされている、または(b)最も暗いクラスタであるクラスタを含まないクラスタ中から最大のクラスタが選択される。最も暗いクラスタは、背景である。次いで、連結成分分析/選択ユニット277は、マージ済みクラスタ画像から最大成分(クラスタ)以外のものをすべて取り除く(S705)。
最大クラスタの画像が出力される(S707)。タグが、例えばマージ済みクラスタ画像内の分離されたクラスタである場合、乳房クラスタと分離されたタグ・クラスタとの間の最大クラスタは、一般に乳房クラスタである。したがって、連結成分分析/選択ユニット277は、上記のステップを使用してタグを取り除くことができる。
図13は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるタグ排除ユニット287によって実行される操作を示すフロー図である。タグ排除ユニット287は、タグが連結成分分析/選択ユニット277によって取り除かれない場合があるために使用される。それは、例えば、タグが乳房クラスタにしっかりと連結されており、個別のクラスタを形成していない図11の画像I620例の場合などである。タグの排除は、タグに属するピクセルを識別し、これらのピクセルを乳房画像から分離し、取り除き、または削除する工程を含む。
タグ排除ユニット287は、タグを取り除くために形状情報を使用することによってタグ・ピクセルを排除するアルゴリズムを実行する。タグ排除ユニット287は、連結成分分析/選択ユニット277から最大クラスタの画像を受信する(S722)。次に、タグ排除ユニット287は、左下隅から始まり、乳房の周りに時計回りに進むチェーン・コードを乳房クラスタの周りに構築する(S724)。チェーン・コードとは、1組の方向コードであり、鎖状のリンクのように、あるコードの後に別のコードがある。チェーン・コードの任意の特定のセクションを表す方向コードは、乳房の周りの直前の線分の方向コードを基準にしており、したがって、それに依存する。したがって、得られたチェーン・コードは、乳房の周りの一連のピクセルをたどることになる。
タグ排除ユニット287は、チェーン・コードをたどり、乳房の輪郭が、90度を超える非凸状に旋回するチェーン・コードにあるすべてのピクセルを識別する(S726)。非凸状の旋回を識別するために、旋回角が計算される。ピクセルMの旋回角は、チェーン・コードに沿って17個の連続するピクセルを使用して計算される。このチェーン・コードにおいて、9番目のピクセルがピクセルMであり、9番目のピクセルの片側に8つのピクセルがあり、9番目のピクセルのもう一方の側に8つのピクセルがある。最小二乗法を使用して、1本の線を9番目のピクセルの片側の8つのピクセルに合わせ、最小二乗法を使用して、もう1本の線を9番目のピクセルのもう一方の側の8つのピクセルに合わせる。次いで、9番目のピクセルに関連付けられている旋回角を決定するために、これら2本の合わせた線の間の角度が計算される。旋回角は、チェーン・コードに沿ってピクセルごとに計算される。
90度を超える非凸状の旋回を示すピクセルの対(P1,P2)ごとに、タグ排除ユニット287は、線形近似を使用して乳房の輪郭をつなぐ(S728)。次いで、タグ排除ユニット287は、線形近似は整合性があるかどうかをテストする(S730)。非凸状の旋回を示すチェーン・コードにおける2つの点P1およびP2について、線形近似の整合性を決定するために、点P1とP2との間のチェーン点が無視されると何が起こるかが観察される。このために、P1とP2との間のチェーン点を無視することによって得られた隙間の両側にある2組の20個のチェーン点に、2本の線を合わせる。整合性は、隙間点を結ぶ線の中間点と、2組の20個の点から得られた2つの線の近似の交点との間の距離を使用して定義される。整合性を確立するために、物理的な距離に基づく閾値が定義される。線形近似が互いに整合性がある点P1およびP2の対が結ばれる(S732)。
タグ排除ユニット287は、線形近似ピクセルの外側のクラスタ・ピクセルを、タグに属するこうした外側のピクセルとして排除する(例えば分離する、そうでない場合は削除する)(S734)。この排除分析を実行するために、どの隙間が整合性があり、したがってタグを含んでいそうかが決定されると、隙間は、2つの隙間点によって定義される線で結ばれる。乳房の周りのチェーン・コードは、閉じているため、所与の方向にトラバースすることができ、したがって、チェーン・コードに対する「内側」および「外側」の概念を定義することができる。例えば、対象物の周りを反時計回りにチェーン・コードをたどることによって、追跡方向のチェーンの左側のピクセルを「内側」ピクセルと呼ぶことができ、右側のピクセルを「外側」ピクセルと呼ぶことができる。したがって、チェーン・コードは、整合性のある隙間を直線で埋めることによって補整される。次いで、乳房の全長が反時計回りにトラバースされ、現在のセグメントの右側のすべてのピクセルを(画像自体からではなく)乳房クラスタから取り除く。タグ排除ユニット287は、90度を超える非凸状の旋回を示すすべての点の対(P1,P2)についてこの分析を実行する。最後に、非タグ画像が出力される。
一実装形態例では、99%以上の場合、タグは、図12に記述された連結成分分析によってマンモグラフィ画像から取り除かれた。残りの場合、タグは、その操作が図13に記述されているタグ排除ユニット287によってマンモグラフィ画像から取り除かれた。
図14は、図13に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるタグ排除ユニット287の出力例を示す。図14は、乳房クラスタC780のみが残されるようにタグ・エリアが取り除かれた状態で、図11のクラスタ画像I620から得られた乳房画像I770を示す。
図15は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aに含まれるスーパーサンプリング・ユニット297によって実行される操作を示すフロー図である。スーパーサンプリング・ユニット297は、タグ無しの乳房クラスタ画像を入力し(S801)、画像をスーパーサンプリングして、最初のマンモグラフィ画像の元の解像度に戻す(S803)。スーパーサンプリングは、タグ無しの乳房クラスタ画像を元の解像度に改変することによって行うことができる。また、スーパーサンプリングは、マスクを作成することによっても実行できる。マスクは、入力されたマンモグラムと同じサイズ/解像度の二値画像である。マスクは、元の画像内の乳房ピクセルを表すピクセルごとに1の値を割り当て、他のすべてのピクセルに0の値を割り当てる。マスクは、元のマンモグラムと同じサイズ/解像度にスーパーサンプリングされる。次いでマスクは、元のマンモグラフィ画像に適用される。乳房辺縁を示す画像が出力される(S805)。スーパーサンプリングは、本願に記載されている乳房辺縁検出のための実施形態のオプションの工程である。
図16は、図3に示されている本発明の一実施形態による乳房辺縁検出のための画像処理ユニット35Aの出力例を示す。図16で、第1列にある画像は、元のマンモグラフィ画像である。マンモグラフィ画像I931は、インプラントを含む乳房を示しており、画像I941は、胸部にペースメーカーがある乳房を示している。画像I901、I911、I921は、インプラントやペースメーカーの無い乳房を示している。第2列は、通常乳房辺縁検出に使用される従来のアルゴリズムによって出力された画像を示している。第3列の画像は、本願に記載された画像処理ユニット35Aから得られた乳房辺縁画像を示している。図16からわかるように、従来のアルゴリズムは、画像I903において、元の画像I901から乳房辺縁または形状を抽出できていない。画像処理ユニット35Aから得られた画像I905は、乳房辺縁を正確に抽出している。元の画像I911に対応する従来のアルゴリズムの画像I913は、乳房辺縁を抽出できていない。画像処理ユニット35Aから得られた画像I915は、乳房辺縁を正確に抽出している。元の画像I921に対応する従来のアルゴリズムの画像I923もまた、乳房辺縁を抽出できていない。画像処理ユニット35Aから得られた画像I925は、乳房辺縁を正確に抽出している。元の画像I931に対応する従来のアルゴリズムの画像I933は、乳房辺縁を抽出しているが、元の画像内の乳房インプラントの存在を検出していない。画像処理ユニット35Aから得られた画像I935は、乳房辺縁、および乳房プラントの位置および形状を正確に抽出している。元の画像I941に対応する従来のアルゴリズムの画像I943は、乳房辺縁を抽出しているが、元の画像内にあるペースメーカーの存在を検出していない。画像処理ユニット35Aから得られた画像I945は、乳房辺縁、およびペースメーカーの位置および形状を正確に抽出している。
本願で提示したK平均法クラスタリングを使用した乳房辺縁検出技術は、妥当性検査のために目視検査を使用して、15,980のマンモグラムのデータベースに対してテストされた。K平均法クラスタリングを使用した乳房辺縁検出技術は、99.99%の乳房辺縁を正常に抽出した。乳房検出に使用されている従来のアルゴリズムの性能指数は、93.7%であった。したがって、本発明の利点は、容易に明らかである。
本発明の詳細な実施形態および実装形態について上述してきたが、本発明の意図および範囲から逸脱することなく、様々な変更が可能であることを理解されたい。
25・・・画像入力ユニット、35・・・画像処理ユニット、35A・・・画像処理ユニット、45・・・印刷ユニット、55・・・画像出力ユニット、65・・・ディスプレイ、75・・・ユーザ入力ユニット、80・・・システム、81・・・キーボード、83・・・マウス、110・・・画像準備モジュール、110A・・・画像準備モジュール、120・・・クラスタ操作モジュール、120A・・・クラスタ操作モジュール、130・・・辺縁検出モジュール、130A・・・辺縁検出モジュール、237・・・サブサンプリング・ユニット、247・・・クロッピング・ユニット、257・・・クラスタリング・ユニット、267・・・クラスタ・マージ・ユニット、277・・・連結成分分析/選択ユニット、287・・・タグ排除ユニット、297・・・スーパーサンプリング・ユニット
Claims (28)
- 画像処理方法であって、
乳房を含む画像を表すデジタル画像データにアクセスする工程と、
前記画像のピクセルの空間の特徴に関するパラメータ、前記画像の前記ピクセルの輝度の特徴に関するパラメータ、および前記画像の前記ピクセルの平滑度の特徴に関するパラメータに基づいて、最初のクラスタを得るために前記画像の前記ピクセルをクラスタリングする工程と、
乳房クラスタを検出する工程、とからなる画像処理方法であって、
前記乳房クラスタを検出する工程が、
最後のクラスタを得るために、前記最初のクラスタの輝度測定を使用して前記最初のクラスタのクラスタ・マージを行う工程と、
乳房クラスタを得るために、前記乳房に属さないクラスタを前記最後のクラスタ・ピクセルから取り除く工程とを含むことを特徴とする
画像処理方法。 - 前記乳房クラスタの辺縁に沿って乳房辺縁を識別する工程
をさらに含む請求項1に記載の画像処理方法。 - 最初のクラスタを得るために前記画像のピクセルをクラスタリングする前記工程が、K平均法クラスタリングを使用して行われることを特徴とする請求項1に記載の画像処理方法。
- 前記画像の前記ピクセルの空間の特徴に関する2つのパラメータ、前記ピクセルの輝度の特徴に関する前記パラメータ、および前記画像の前記ピクセルの平滑度の特徴に関する前記パラメータを使用して、4次元空間において前記画像の前記ピクセルを表す工程と、
前記4次元空間における前記画像の前記ピクセルについて、K平均法クラスタリングを行う工程とからなり、
前記画像の前記ピクセルの平滑度の特徴に関する前記パラメータは、基準点への距離に基づくことを特徴とする請求項3に記載の画像処理方法。 - 前記K平均法クラスタリングの工程が、前記最初のクラスタを3つ得るためにk=3を使用する請求項4に記載の画像処理方法。
- 前記K平均法クラスタリング工程が、
前記画像の前記ピクセルの空間の特徴に関する2つのパラメータ、前記ピクセルの輝度の特徴に関する前記パラメータ、前記画像の前記ピクセルのヒストグラム平坦化済みの輝度の特徴に関するパラメータ、および前記画像の前記ピクセルの平滑度の特徴に関する前記パラメータを使用して5次元空間において前記画像の前記ピクセルを表す工程と、
前記5次元空間における前記画像の前記ピクセルについて、K平均法クラスタリングを行う工程とからなり、
前記画像の前記ピクセルの平滑度の特徴に関する前記パラメータが基準点への距離に基づくことを特徴とする請求項3に記載の画像処理方法。 - 前記最初のクラスタの輝度測定が、互いに対して前記最初のクラスタの相対的な輝度測定である請求項1に記載の画像処理方法。
- 前記最初のクラスタのクラスタ・マージを行う前記サブ工程が、前記2つのクラスタが前記最初のクラスタ中で最低の平均輝度値を有しておらず、前記2つのクラスタの平均クラスタ輝度間の差が所定の閾値未満であるとき、2つのクラスタをマージする工程を含む請求項1に記載の画像処理方法。
- 前記所定の閾値が相対閾値である請求項8に記載の画像処理方法。
- 最初のクラスタを得るために前記画像のピクセルをクラスタリングする前記工程の前に、イメージング・プレート・ピクセルをクロッピングする工程であって、前記イメージング・プレート・ピクセルが、前記画像の外縁に垂直な線に沿って計算されるピクセルの階調度の合計を使用して識別される工程
をさらに含む請求項1に記載の画像処理方法。 - 前記乳房に属さないクラスタを取り除く前記サブ工程が、
前記最後のクラスタ中で潜在的な乳房クラスタを識別するために、前記最後のクラスタに対して連結成分分析を行う工程と、
前記潜在的な乳房クラスタ中から最大のクラスタ成分を保持する工程と
を含む請求項1に記載の画像処理方法。 - 前記乳房に属さないクラスタを取り除く前記サブ工程が、
前記連結成分分析から得られた前記最大のクラスタ成分の周りにチェーン・コードを構築し、
90度を超える非凸状の旋回を行う、前記チェーン・コードに沿った旋回ピクセルを識別し、
タグ・ピクセルを識別するために、線形近似を使用して前記旋回ピクセルをつなぎ、前記画像から前記タグ・ピクセルを排除することによってタグの排除を行う請求項11に記載の画像処理方法。 - 前記画像の前記ピクセルをクラスタリングする前記工程の前に、前記画像をより小さいサイズにサブサンプリングする工程をさらに含む請求項1に記載の画像処理方法。
- 前記乳房クラスタを含む画像を、前記乳房を含む前記画像の解像度にスーパーサンプリングする工程をさらに含む請求項1に記載の画像処理方法。
- 画像処理装置であって、
乳房を含む画像を表すデジタル画像データにアクセスする画像データ入力ユニットと、
前記画像のピクセルの空間の特徴に関するパラメータ、前記画像の前記ピクセルの輝度の特徴に関するパラメータ、および前記画像の前記ピクセルの平滑度の特徴に関するパラメータに基づいて、最初のクラスタを得るために前記画像の前記ピクセルをクラスタリングするクラスタリング・ユニットと、
最後のクラスタを得るために前記最初のクラスタの輝度測定を使用して前記最初のクラスタのクラスタ・マージを行うクラスタ・マージ・ユニットと、
乳房クラスタを得るために、前記乳房に属さないクラスタを前記最後のクラスタ・ピクセルから取り除くことによって、乳房クラスタを検出する辺縁検出ユニットと
を含む画像処理装置。 - 前記辺縁検出ユニットが前記乳房クラスタの辺縁に沿って乳房辺縁を識別する請求項15に記載の画像処理装置。
- 前記クラスタリング・ユニットがK平均法クラスタリングを使用して前記画像のピクセルをクラスタリングする請求項15に記載の画像処理装置。
- 前記クラスタリング・ユニットが、
前記画像の前記ピクセルの空間の特徴に関する2つのパラメータ、前記ピクセルの輝度の特徴に関する前記パラメータ、および基準点への距離に基づく前記画像の前記ピクセルの平滑度の特徴に関する前記パラメータを使用して、4次元空間において前記画像の前記ピクセルを表し、
前記4次元空間における前記画像の前記ピクセルについて、K平均法クラスタリングを行うことによって、前記画像のピクセルをクラスタリングする請求項17に記載の画像処理装置。 - 前記クラスタリング・ユニットが前記最初のクラスタを3つ得るためにk=3を使用してK平均法クラスタリングを行う請求項18に記載の画像処理装置。
- 前記クラスタリング・ユニットが、
前記画像の前記ピクセルの空間の特徴に関する2つのパラメータ、前記ピクセルの輝度の特徴に関する前記パラメータ、前記画像の前記ピクセルのヒストグラム平坦化済みの輝度の特徴に関するパラメータ、および基準点への距離に基づく前記画像の前記ピクセルの平滑度の特徴に関する前記パラメータを使用して、5次元空間において前記画像の前記ピクセルを表し、
前記5次元空間における前記画像の前記ピクセルについて、K平均法クラスタリングを行うことによって、前記画像のピクセルをクラスタリングする請求項17に記載の画像処理装置。 - 前記最初のクラスタの前記輝度測定が、互いに対して前記最初のクラスタの相対的な輝度測定である請求項15に記載の画像処理装置。
- 前記クラスタ・マージ・ユニットが、
前記2つのクラスタが前記最初のクラスタ中で最低の平均輝度値を有しておらず、前記2つのクラスタの平均クラスタ輝度間の差が所定の閾値未満であるとき、2つのクラスタをマージすることによって、前記最初のクラスタのクラスタ・マージを行う請求項15に記載の画像処理装置。 - 前記所定の閾値が相対閾値である請求項22に記載の画像処理装置。
- 前記クラスタリング・ユニットが前記画像を受信する前にイメージング・プレート・ピクセルをクロッピングするクロッピング・ユニットであって、
前記画像の外縁に垂直な線に沿って計算されたピクセルの階調度の合計を使用することによって、前記イメージング・プレート・ピクセルを識別するクロッピング・ユニット
をさらに含む請求項15に記載の画像処理装置。 - 前記辺縁検出ユニットが、
前記最後のクラスタ中で潜在的な乳房クラスタを識別するために、前記最後のクラスタに対して連結成分分析を行い、前記潜在的な乳房クラスタ中から最大のクラスタ成分を保持することによって、前記乳房に属さないピクセルを取り除く請求項15に記載の画像処理装置。 - 前記辺縁検出ユニットはタグ排除ユニットを含み、
前記タグ排除ユニットが、
前記辺縁検出ユニットによって実行される前記連結成分分析から得られた前記最大のクラスタ成分の周りにチェーン・コードを構築し、
90度を超える非凸状の旋回を行う、前記チェーン・コードに沿った旋回ピクセルを識別し、
タグ・ピクセルを識別するために、線形近似を使用して前記旋回ピクセルをつなぎ、
前記画像から前記タグ・ピクセルを排除することによって、タグの排除を実行することを特徴とする
請求項25に記載の画像処理装置。 - 前記クラスタリング・ユニットが前記画像を受信する前に前記画像を小さいサイズにサブサンプリングするサブサンプリング・ユニット
をさらに含む請求項15に記載の画像処理装置。 - 前記乳房クラスタを含む画像を、前記乳房を含む前記画像の解像度にスーパーサンプリングするスーパーサンプリング・ユニット
をさらに含む請求項15に記載の画像処理装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/366,495 US20070206844A1 (en) | 2006-03-03 | 2006-03-03 | Method and apparatus for breast border detection |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007236939A true JP2007236939A (ja) | 2007-09-20 |
Family
ID=38471534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007053458A Abandoned JP2007236939A (ja) | 2006-03-03 | 2007-03-02 | 乳房辺縁検出のための方法および装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20070206844A1 (ja) |
JP (1) | JP2007236939A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012526583A (ja) * | 2009-05-13 | 2012-11-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パーソナルメディカルデバイスを有した患者を画像表示する方法及びシステム |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080107321A1 (en) * | 2006-11-02 | 2008-05-08 | Fujifilm Corporation | Spiculation detection method and apparatus for CAD |
US8565552B2 (en) * | 2006-11-14 | 2013-10-22 | Codonics, Inc. | Assembling multiple medical images into a single film image |
US20090110288A1 (en) * | 2007-10-29 | 2009-04-30 | Kabushiki Kaisha Toshiba | Document processing apparatus and document processing method |
US8098888B1 (en) * | 2008-01-28 | 2012-01-17 | Videomining Corporation | Method and system for automatic analysis of the trip of people in a retail space using multiple cameras |
US8396246B2 (en) * | 2008-08-28 | 2013-03-12 | Microsoft Corporation | Tagging images with labels |
US8867779B2 (en) * | 2008-08-28 | 2014-10-21 | Microsoft Corporation | Image tagging user interface |
US8121358B2 (en) * | 2009-03-06 | 2012-02-21 | Cyberlink Corp. | Method of grouping images by face |
US8531478B2 (en) * | 2009-03-19 | 2013-09-10 | Cyberlink Corp. | Method of browsing photos based on people |
TWI384418B (zh) * | 2009-11-11 | 2013-02-01 | Ind Tech Res Inst | 採用區域架構之影像處理方法及系統 |
US9439621B2 (en) * | 2009-11-27 | 2016-09-13 | Qview, Medical Inc | Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images |
US20110200238A1 (en) * | 2010-02-16 | 2011-08-18 | Texas Instruments Incorporated | Method and system for determining skinline in digital mammogram images |
US8634626B2 (en) * | 2010-06-29 | 2014-01-21 | The Chinese University Of Hong Kong | Registration of 3D tomography images |
US9392986B2 (en) * | 2011-02-14 | 2016-07-19 | University Of Rochester | Method and apparatus for cone beam breast CT image-based computer-aided detection and diagnosis |
JP2013059511A (ja) * | 2011-09-14 | 2013-04-04 | Fujifilm Corp | 画像処理装置 |
EP2629263B1 (en) * | 2012-02-17 | 2015-06-03 | Agfa HealthCare | Method for defining a region of interest in a radiation image of a breast |
US9262834B2 (en) * | 2012-07-30 | 2016-02-16 | General Electric Company | Systems and methods for performing segmentation and visualization of images |
JP5669799B2 (ja) * | 2012-09-28 | 2015-02-18 | 富士フイルム株式会社 | 画像処理装置、放射線画像撮影システム、画像処理プログラム、及び画像処理方法 |
US9589324B1 (en) * | 2014-03-27 | 2017-03-07 | Pixelworks, Inc. | Overshoot protection of upscaled images |
US9256939B1 (en) | 2014-07-17 | 2016-02-09 | Agfa Healthcare | System and method for aligning mammography images |
CN104700358B (zh) * | 2015-03-13 | 2018-04-27 | 湘潭大学 | 一种基于分割尺度可伸缩的图像融合方法 |
US9589211B2 (en) * | 2015-05-08 | 2017-03-07 | Siemens Healthcare Gmbh | Learning-based aorta segmentation using an adaptive detach and merge algorithm |
CN108304841B (zh) * | 2018-01-26 | 2022-03-08 | 腾讯科技(深圳)有限公司 | 乳头定位方法、装置及存储介质 |
US10828000B2 (en) * | 2018-11-25 | 2020-11-10 | International Business Machines Corporation | Medical image data analysis |
CN113034630B (zh) * | 2021-05-18 | 2021-12-24 | 浙江口碑网络技术有限公司 | 编码信息的转换方法和装置,矩阵图像的识别方法和装置 |
US20240119564A1 (en) * | 2022-10-10 | 2024-04-11 | Fujifilm Medical Systems U.S.A., Inc. | Systems and Methods for Altering Images |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01238650A (ja) * | 1988-03-19 | 1989-09-22 | Fuji Photo Film Co Ltd | 放射線画像の被写体認識方法 |
JPH09508814A (ja) * | 1993-11-29 | 1997-09-09 | アーチ ディヴェロプメント コーポレイション | 医用画像を分割するための自動的方法およびシステム |
JPH09509879A (ja) * | 1994-12-30 | 1997-10-07 | フィリップス エレクトロニクス エヌ ベー | デジタル乳房x線像での自動区画化及び皮膚ラインと乳頭の検出 |
JPH10162156A (ja) * | 1996-11-28 | 1998-06-19 | Fuji Photo Film Co Ltd | 照射野認識装置および放射線画像処理装置 |
JP2001510360A (ja) * | 1996-12-02 | 2001-07-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 二段分類器を使用するディジタル放射線画像中の塊検出 |
JP2001525579A (ja) * | 1997-11-28 | 2001-12-11 | クァリア・コンピューティング・インコーポレーテッド | 乳房x線デジタル像からのクラスター化微小カルシウム沈着の自動検出 |
JP2003344270A (ja) * | 2002-05-27 | 2003-12-03 | Nippon Denro Kk | 自己組織化特徴マップを用いた鋼材表面の劣化度評価システム |
JP2004283281A (ja) * | 2003-03-20 | 2004-10-14 | Fuji Photo Film Co Ltd | 画像処理装置及び画像処理方法 |
JP2005137640A (ja) * | 2003-11-07 | 2005-06-02 | Fuji Photo Film Co Ltd | 乳房領域検出方法および装置並びにプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08507249A (ja) * | 1993-12-30 | 1996-08-06 | フィリップス エレクトロニクス エヌ ベー | デジタルマンモグラムでの自動区画化及び皮膚ライン検出 |
US5579360A (en) * | 1994-12-30 | 1996-11-26 | Philips Electronics North America Corporation | Mass detection by computer using digital mammograms of the same breast taken from different viewing directions |
US5889882A (en) * | 1996-03-21 | 1999-03-30 | Eastman Kodak Company | Detection of skin-line transition in digital medical imaging |
US5796862A (en) * | 1996-08-16 | 1998-08-18 | Eastman Kodak Company | Apparatus and method for identification of tissue regions in digital mammographic images |
DE19636949A1 (de) * | 1996-09-11 | 1998-03-12 | Siemens Ag | Verfahren zur Detektion von Kanten in einem Bildsignal |
US5903660A (en) * | 1997-07-16 | 1999-05-11 | The Regents Of The University Of California | Automatic background recognition and removal (ABRR) in projection digital radiographic images (PDRI) |
US6094508A (en) * | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
US6112112A (en) * | 1998-09-18 | 2000-08-29 | Arch Development Corporation | Method and system for the assessment of tumor extent in magnetic resonance images |
DE19928231C2 (de) * | 1999-06-21 | 2003-03-27 | Max Planck Gesellschaft | Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung |
US6956975B2 (en) * | 2001-04-02 | 2005-10-18 | Eastman Kodak Company | Method for improving breast cancer diagnosis using mountain-view and contrast-enhancement presentation of mammography |
US20040109608A1 (en) * | 2002-07-12 | 2004-06-10 | Love Patrick B. | Systems and methods for analyzing two-dimensional images |
US7522762B2 (en) * | 2003-04-16 | 2009-04-21 | Inverness Medical-Biostar, Inc. | Detection, resolution, and identification of arrayed elements |
US7643686B2 (en) * | 2004-11-17 | 2010-01-05 | Eastman Kodak Company | Multi-tiered image clustering by event |
-
2006
- 2006-03-03 US US11/366,495 patent/US20070206844A1/en not_active Abandoned
-
2007
- 2007-03-02 JP JP2007053458A patent/JP2007236939A/ja not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01238650A (ja) * | 1988-03-19 | 1989-09-22 | Fuji Photo Film Co Ltd | 放射線画像の被写体認識方法 |
JPH09508814A (ja) * | 1993-11-29 | 1997-09-09 | アーチ ディヴェロプメント コーポレイション | 医用画像を分割するための自動的方法およびシステム |
JPH09509879A (ja) * | 1994-12-30 | 1997-10-07 | フィリップス エレクトロニクス エヌ ベー | デジタル乳房x線像での自動区画化及び皮膚ラインと乳頭の検出 |
JPH10162156A (ja) * | 1996-11-28 | 1998-06-19 | Fuji Photo Film Co Ltd | 照射野認識装置および放射線画像処理装置 |
JP2001510360A (ja) * | 1996-12-02 | 2001-07-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 二段分類器を使用するディジタル放射線画像中の塊検出 |
JP2001525579A (ja) * | 1997-11-28 | 2001-12-11 | クァリア・コンピューティング・インコーポレーテッド | 乳房x線デジタル像からのクラスター化微小カルシウム沈着の自動検出 |
JP2003344270A (ja) * | 2002-05-27 | 2003-12-03 | Nippon Denro Kk | 自己組織化特徴マップを用いた鋼材表面の劣化度評価システム |
JP2004283281A (ja) * | 2003-03-20 | 2004-10-14 | Fuji Photo Film Co Ltd | 画像処理装置及び画像処理方法 |
JP2005137640A (ja) * | 2003-11-07 | 2005-06-02 | Fuji Photo Film Co Ltd | 乳房領域検出方法および装置並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012526583A (ja) * | 2009-05-13 | 2012-11-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | パーソナルメディカルデバイスを有した患者を画像表示する方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
US20070206844A1 (en) | 2007-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007236939A (ja) | 乳房辺縁検出のための方法および装置 | |
EP1035508B1 (en) | Automated method and system for the segmentation of medical images | |
WO2021017297A1 (zh) | 基于人工智能的脊柱影像处理方法及相关设备 | |
Giancardo et al. | Elliptical local vessel density: a fast and robust quality metric for retinal images | |
US8086002B2 (en) | Algorithms for selecting mass density candidates from digital mammograms | |
US20180350080A1 (en) | Analysis method and system of digital subtraction angiographic images | |
Tripathi et al. | Automatic detection of fracture in femur bones using image processing | |
Li et al. | An automatic variational level set segmentation framework for computer aided dental X-rays analysis in clinical environments | |
Ribeiro et al. | Handling inter-annotator agreement for automated skin lesion segmentation | |
JP2002099896A (ja) | 異常陰影候補検出方法および装置 | |
CN111062947A (zh) | 一种基于深度学习的x光胸片病灶定位方法及系统 | |
Soni et al. | CT scan based brain tumor recognition and extraction using Prewitt and morphological dilation | |
Wisaeng et al. | Automatic detection of exudates in retinal images based on threshold moving average models | |
Nurhayati et al. | Stroke identification system on the mobile based CT scan image | |
JP2006340835A (ja) | 異常陰影候補の表示方法及び医用画像処理システム | |
Podsiadlo et al. | Automated selection of trabecular bone regions in knee radiographs | |
CN113924046A (zh) | 用于将器官肿块分类为囊肿的基于计算机的方法 | |
TWI675646B (zh) | 乳房影像分析方法、乳房影像分析系統及非暫態電腦可讀取媒體 | |
Chandran et al. | Segmentation of dental radiograph images | |
JP6642048B2 (ja) | 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法 | |
KR20190113351A (ko) | 머신러닝 알고리즘을 이용한 의료영상 분석장치 | |
Noviana et al. | Axial segmentation of lungs CT scan images using canny method and morphological operation | |
Nafi'iyah et al. | The use of pre and post processing to enhance mandible segmentation using active contours on dental panoramic radiography images | |
KR20210060895A (ko) | AI기반 흉부 X-ray 자동판독기 | |
KR20210048010A (ko) | AI기반 흉부 X-ray 자동판독기 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110725 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20110926 |