JP2008520391A - 解剖的情報を用いて自動化された放射線写真の分類 - Google Patents
解剖的情報を用いて自動化された放射線写真の分類 Download PDFInfo
- Publication number
- JP2008520391A JP2008520391A JP2007543457A JP2007543457A JP2008520391A JP 2008520391 A JP2008520391 A JP 2008520391A JP 2007543457 A JP2007543457 A JP 2007543457A JP 2007543457 A JP2007543457 A JP 2007543457A JP 2008520391 A JP2008520391 A JP 2008520391A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge direction
- shows
- direction histogram
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S128/00—Surgery
- Y10S128/92—Computer assisted medical diagnostics
- Y10S128/922—Computer assisted medical diagnostics including image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
放射線写真を自動的に分類する方法である。デジタル放射線写真画像が取得され、前記画像は、画素の行及び列からなる行列を備える。前記デジタル画像は、前景領域、背景領域、及び身体領域に分割される。前記身体領域の物理的な大きさが分類される。前記身体領域のエッジ方向ヒストグラムが生成され、前記エッジ方向ヒストグラムの形状パタンが分類される。前記物理的な大きさの分類と、前記形状パタンの分類と、に基づいて、前記画像はカテゴリ分類される。
Description
本発明は、デジタル放射線写真(radiography)の処理のための技術に関し、特に、デジタル放射線写真画像の自動化された分類に関する。
正確な医学的診断は、しばしば、画像中の診断に関係のある領域の正確な表示に依存する。近年の計算機による放射線写真システム及びデジタル放射線写真システムの進歩においては、画像の捕捉とその画像の最終的な「外見(look)」とは、分離されている。これは、ユーザに対して柔軟性を提供するが、同時に、画像表示のための適切なトーンスケール(tone scale)の設定を困難にする。最適なトーンスケールは、一般に、検査タイプ、暴露条件、画像捕捉装置、及び出力装置の選択に依存し、放射線科医の好みにも依存する。これらの要因のうち、検査タイプは、1つの決定的な要因である。検査タイプは、信号の特性及び画像中の臨床的に重要な部分に直接関係するからである。したがって、検査タイプの分類に成功することは、画像の最適な表現にとって非常に有益であり得る。検査タイプ分類を用いる他の1つの新興分野は、デジタル画像保管通信システム(Picture Archiving Communication Systems, PACS)である。今まで、放射線写真に関する情報のほとんどは、主に、手動の入力に基づくものである。このステップは、しばしば省略され、又は、不正確な情報が画像ヘッダに記録され、習慣的な医療行為及び患者の治療において画像を効率的に利用することの妨げとなる。自動化された画像分類は、画像の内容に基づいて画像を整理し、かつ検索することによって、上述の問題を解決する可能性がある。これは、医療画像管理システムをより合理的かつ効率的することができ、疑いなくPACSの性能を向上できる。
しかしながら、コンピュータに自動的かつ効率的に画像の内容を分析させ、画像を分類させることは困難である。画像データは、他の種類のデータより構造的に複雑であり、かつ、人間が画像の内容を捉え、画像の特徴を意味のある対象にグループ化し、モデルマッチングを通じて画像に意味記述を付ける方法は、その分析手順を自動化できるほどに完全には理解されていないからである。さらに、個別の対象に対応する領域に画像を分割し、画像から知覚的及び意味論的意義を捉える特徴を抽出し、かつ、抽出された特徴に基づいて、画像と提案されたモデルとを照合することも、分析の問題をより困難にする。
内容に基づく画像の分類及び検索について、様々なシステムが最近の文献で提案されている。例えば、QBIC(非特許文献1)、Photobook(非特許文献2)、Virage(非特許文献3)、Visualseek(非特許文献4)、Netra(非特許文献5)、及びMAR(非特許文献6)などのシステムである。これらのシステムは、同じパラダイムに従っている。このパラダイムでは、画像を1つの完全な実体として扱い、低レベルの特徴属性の集合を通して画像を表現する。この特徴属性は、例えば、色、質感、形状、及びレイアウトなどである。結果として、これらの特徴属性は、共に、画像の特徴ベクトルを形成する。画像の分類は、これらの低レベルの視覚特徴ベクトルのクラスタリングに基づく。このようなクラスタリングに基づく分類計画は、通常、画像の対象の意味が明確にモデル化されることがほとんどないため、時間がかかり、実用的な利用が制限される。他の1つの問題は、これらのシステムがワールドワイドウェブ(world wide web)から収集された画像を利用することである。通常、最も効果的な特徴は色である。残念ながら、色に基づく特徴は、ほとんどの医療画像では利用可能ではない。
非特許文献7は、6つの身体部分を分類する方法を開示する。この方法は、相互相関値を類似性の尺度として用いることで、与えられた画像とテンプレート画像集合との類似性を調べる。しかしながら、テンプレート画像を手動で生成することは非常に時間がかかり、さらに困難なことに、この方法は観察者に大きく依存し、それによって分類に誤りが生じることがある。非特許文献8は、新しいひずみモデル(distortion model)及びシマード(Simard)のTangent Distance法の拡張版をカーネル密度に基づく分類器と共に用いることで、放射線写真を分類する方法を開示する。上記2つの方法の両方が、放射線写真における身体部(anatomy)の回転及び並進の分散に対処するにあたって、問題を抱えている。よって、結果の測度は、放射線写真の特徴を正確に表現することはできない。加えて、上記2つの方法では、前処理が全く実現されていない。例えば、暴露の間の放射線コリメータの遮断によって生じた非暴露領域は、画像の周囲に顕著な白い境界を結果として生じさせる場合がある。このような領域が前処理のステップで取り除かれず、よって類似性測度の計算に用いられると、分類結果は、著しく偏ったものになり得る。非特許文献9は、形状の情報及びモデルマッチを用いた分類の方法を開示する。この方法は、エッジ方向ヒストグラム(edge direction histogram)を採用して身体部の大域的な形状を表現し、画像のエッジ方向ヒストグラムから抽出された6つのスケール、回転、及び並進の特徴に基づいて画像を分類する。しかしながら、抽出された特徴は、エッジ方向ヒストグラムの特性を完全に表現するには十分でない。その結果、この分類器の性能を向上させるのは困難である。
従来技術の欠点及び限界を考えると、放射線写真画像を自動的に分類する方法の必要性が存在する。
本発明の1つの目的は、身体部の情報に基づいて放射線写真を分類する自動化された方法を提供することである。
本発明の他の1つの目的は、身体部の構造(anatomical structure)の物理的な大きさを用いて放射線写真を分類する方法を提供することである。
本発明の他の1つの目的は、身体部の構造の形状の情報を用いて放射線写真を分類する方法を提供することである。
ニブラック他(W. Niblack, et al)、「QBICプロジェクト:色、質感、及び形状を用いた内容による画像クエリ(The QBIC project: Querying images by content using color, texture, and shape)」、国際写真光学計測技術者協会・画像及び映像データベースのための記憶及び検索予稿集(Proc. SPIE Storage and Retrieval for Image and Video Databases)、1994年2月
ペントランド他(A. Pentland, et al)、「Photobook:画像データベースの内容ベース操作(Photobook: Content‐based manipulation of image database)」、コンピュータビジョン国際学会誌(International Journal of Computer Vision)、1996年
バック他(J.R. Bach, et al)、「Virage画像検索エンジン:画像管理のためのオープンフレームワーク(The Virage image search engine: An open framework for image management)」、国際写真光学計測技術者協会・画像及び映像データベースのための記憶及び検索予稿集(Proc. SPIE Storage and Retrieval for Image and Video Databases)、1996年、第2670巻、p.76−97
スミス他(R.Smith, et al)、「Visualseek:完全自動化内容ベース画像クエリシステム(Visualseek: A fully automated content‐based image query system)」、計算機学会マルチメディア96予稿集(Proc ACM Multimedia 96)、1996年
マ他(Ma, et al)、「Netra:大型画像データベースのナビゲートのためのツールボックス(Netra: A toolbox for navigating large image databases)」、電気電子技術者協会・画像処理国際会議予稿集(Proc IEEE Intl. Conf. On Image Proc.)、1999年
ファン他(T.S. Huang, et al)、「マルチメディア分析及び検索システム(MARS)プロジェクト(Multimedia analysis and retrieval system (MARS) project)」、第33回デジタル画像アクセス及び検索データ処理の臨床ライブラリアプリケーション予稿集(Proc of 33rd Annual Clinic on Library Application of Data Processing Digital Image Access and Retrieval)、1996年
カワシタ他(I. Kawashita, et al)、「デジタル放射線写真中の身体部分の自動分類のためのコンピュータ化された方法の開発(Development of Computerized Method for Automated Classification of Body Parts in Digital Radiographs)」、北米放射線学会2002(RSNA 2002)、2002年
ダーメン他(J.Dahmen, et al)、「医療アプリケーションシステムにおける画像検索における放射線写真の分類(Classification of Radiographs in the 'Image Retrieval in Medical Application' System)」、第6回国際RIAO学会・内容ベースのマルチメディア情報アクセス予稿集(Procs 6th International RIAO Conference on Content‐Based Multimedia Information Access)、フランス、パリ、2000年、p.551−566
ルオ他(Luo, et al)、「医療画像データベースのための知識ベースの画像理解及び分類システム(Knowledge‐based Image Understanding and Classification System for Medical Image Databases)」、国際写真光学計測技術者協会予稿集(Proceedings of SPIE ‐ the International Society for Optical Engineering)、2002年2月、第4694巻、22号、p.1224−1234
本発明によると、これらの目的は、画素の行及び列からなる行列を備えるデジタル放射線写真画像を取得するステップと、前記画像を前景、背景、及び身体領域に分割するステップと、前記身体領域の物理的な大きさ及び前記身体領域のエッジ方向ヒストグラムの形状をそれぞれ用いて前記画像を分類するステップと、前記画像をカテゴリ分類するステップと、によって達成される。
本発明の利点は、この方法により、画像中の身体部分の特徴を抽出する効果的な方法と、スケール、回転、及び並進について不変な形状分類器の慎重な設計と、を提供し、分類をより頑健にすることである。
以下、図面を参照し、本発明の好適な実施形態について詳細に説明する。参照される図面において、同じ参照数字は、複数の図のそれぞれにおける構造の同じ要素を示す。
本発明は、放射線写真を自動的に分類する方法を開示する。図1に、本発明に係る方法のフローチャートの概略を示す。図1に示すように、この方法は、3つの段階を含む。第1の段階では、入力放射線写真(箱10)は、3つの領域に分割される(ステップ11)。この3つの領域は、コリメーション領域(前景)、直接暴露領域(背景)、及び診断関連領域(身体)である。次に、画像に対して2つの分類処理が行われる。この2つの分類処理のうち、一方は身体領域の大きさに基づき(箱12)、他方は身体領域の形状に基づく(箱13)。その後、これら2つの分類処理の結果は統合され、入力画像は、クラス分けされたクラスのうちの1つに、例えば、8つのクラスのうちの1つに、カテゴリ分類される(箱14)。
画像の分割(ステップ11)は、当業者に知られた方法を用いて実現できる。このような分割の方法の1つは、本願と同一出願人による2003年7月24日出願の米国特許出願番号10/625,919(ワン他、「放射線写真画像を診断関連領域と診断無関連領域とに分割する方法(METHOD OF SEGMENTING A RADIOGRAPHIC IMAGE INTO DIAGNOSTICALLY RELEVANT AND DIAGNOSTICALLY IRRELEVANT REGIONS)」)に開示されている。この文献を参照によってここに援用する。図2Aは、放射線写真の例を示し、図2Bから図2Dは、分割によって得られた前景画像、背景画像、及び身体部画像を示す。
本発明によると、放射線写真の分類は、(1)放射線写真における身体部分の構造の物理的大きさ、及び(2)放射線写真における身体部分の形状、の2つの側面に焦点を合わせる。例えば、足の大きさと腹部の大きさとの間には、顕著な違いがある。したがって、物理的な大きさの情報を用いることは、これらの2つの身体部分のタイプを分離する助けになり得る。同様に、身体部分の形状の特徴は、分類に用いることができる他の1つの重要な特性である。
図3A−1から図3E−2は、異なる検査による放射線写真を、その身体部分の画像と共に示す。これらの図から、これらの間には形状に関して大きなバリエーションがあることが明らかである。このようなバリエーションを正確に捉えることができれば、これらの画像は、容易に分類できる。
身体部分の物理的な大きさを分類するために、好適には、6つの特徴が採用される。第1の特徴は、画素間隔である。画素間隔は、放射線写真における各画素によって表される実際の物理的大きさである。第2及び第3の特徴は、身体部分の画像の幅及び高さである。身体部分の画像の幅及び高さは、前景領域の部分のために、入力放射線写真の幅及び高さよりも小さい場合がある。第4の特徴は、身体領域の画像領域に対する割合である。第5の特徴は、背景領域の画像領域に対する割合である。第6の特徴は、前景領域の画像領域に対する割合である。
これらの特徴は、次に、分類器に入力される。分類器は、訓練されて、画像中の身体部分の物理的な大きさを分類する。分類器は、当業者に知られた方法を用いることができる。このような方法は、例えば、ニューラルネットワーク(neural network)、サポートベクターマシーン(support vector machine)などである。分類器からの結果は、画像を2つのグループに分類する。例えば、腹部、骨盤、及び胸部などの大きなサイズの身体部分の画像、又は、例えば、手、ひじ、手首などの小さなサイズの身体部分の画像に分類する。
本発明の1つの実施形態によると、ニューラルネットワークを採用して分類を行う。ニューラルネットワークは、3つの層を有する。この3つの層は、上記で説明した6つの特徴に対応する6つのノードを有する入力層、隠れ層、及び、2つのノードを有する出力層である。出力層は、各グループについて1つのノードを有する。
形状の分析を実行するためには既知の方法が存在する。しかしながら、対象の形状を簡潔かつ定量的に表現することは、困難な問題である。特に、スケール、回転、及び並進について不変な特徴によって表現することは困難である。本発明は、形状分類器の慎重な設計によって、上述の問題に対処する。図4は、形状分類に用いられる手順のフローチャートを示す。この手順は、次のステップを含む。
第1のステップでは、身体部分のエッジを抽出する(箱20)。本発明の1つの実施形態としては、標準的な形態学的演算(morphological operation)が用いられ、身体部分のエッジは、まず、身体部分の画像に対して拡張(dilation)を行い、次に、その結果の画像を身体部分の画像から差し引くことで得られる。コリメータによって生じるノイズエッジを避けるために、好適には、前景マスクが採用され、検出されたエッジを評価し、すべての疑わしいエッジを取り除く。拡張を用いることの1つの利点は、身体部分上を小さな穴で満たすことによって、身体部分のエッジをなめらかにすることである。加えて、1画素幅のエッジを保証することができ、このことは、エッジ方向ヒストグラムの特性に関係する。本発明は、形態学的演算を用いて身体部分のエッジを抽出することに限られないことに注意されたい。身体部分のエッジが正確に検出され、1画素幅を有するような、他のエッジ検出アルゴリズムを用いてもよい。
第2のステップでは、各エッジ点についてエッジ方向を計算し、エッジ方向ヒストグラムを生成する(箱21)。エッジ方向の計算は、当技術分野で知られた方法によって行うことができる。本発明の1つの実施形態では、以下の、ソーベル・エッジ・オペレータ(Sobel edge operator)を、エッジの水平性及び垂直性を検出する検出器として用いる。
h1の応答がyであり、h2の応答がxである場合、エッジ方向は、tan-1(y/x)として求めることができる。
形状をそのエッジ方向ヒストグラムで表すことには、利点及び限界がある。これらの利点及び限界を分析するために、3つの統合的な画像の例を用いる。これらの例は、図5A−1、図5A−2、及び図5A−3に示される。これらの画像は、同じストライプの形状を表すが、同じストライプの形状を異なる方向で表す。図5B−1、図5B−2、及び図5B−3は、これら(図5A−1、図5A−2、及び図5A−3)のエッジ画像を示す。これら(図5A−1、図5A−2、及び図5A−3)に対応するエッジ方向ヒストグラムは、図5C−1、図5C−2、及び図5C−3に示される。ヒストグラムの表現を単純化するため、次に、ヒストグラムを定量化し、それぞれ10°の36個のビンとする。図5D−1、図5D−2、及び図5D−3は、最終的な結果を表す。エッジ方向ヒストグラムを用いることの1つの懸案事項は、このヒストグラムが並進に対して不変であるか否かである。図示されるヒストグラムの観察によると、画像中の対象物の位置がそのエッジ方向に影響しないことが示される。したがって、エッジ方向ヒストグラムから抽出されるどのような特徴も並進に対して不変である。他の1つの懸案事項は、スケールである。厳密に言うと、エッジ方向を用いることは、本質的にはスケールに対して不変ではない。サイズ以外のすべての側面において同一である2つの画像は、異なる数のエッジ点をもたらし、よって、結果として異なる2つのヒストグラムが得られるだろう。スケールに対する不変性を達成するため、ヒストグラムは、次のように正規化される必要がある。
ここで、H(i)は、エッジ方向ヒストグラムのビンiのカウント数(count)であり、neは、エッジ点の合計の個数である。このように、結果として得られるヒストグラムは、スケールに対して不変であることが保証される。回転に関しては、図5に示されるように、エッジ方向のヒストグラムは、回転に対しても不変ではない。これらの画像は、異なる方向の類似した形状を含むにも関わらず、これらのエッジ方向のヒストグラムは異なる。しかしながら、これらのヒストグラムの形状パタンを考慮すると、180°の距離で2つのピークを有するという点で、比較的類似していると認められる。このような特徴を捉えることができれば、分類器を回転に対して不変にすることができる。
これらの懸案事項に対処するため、第3のステップが採用され、スケール、回転、及び並進に対して不変の形状分類器を生成し、この分類器を用いてエッジ方向ヒストグラムを分類する(ステップ22)。
本発明の1つの実施形態によると、形状分類器は、4つの多層フィードフォワードニューラルネットワークを用いて構成される。図6に示すように、この4つの多層フィードフォワードニューラルネットワークは、第1レベルにおける3つの決定ネットワーク及び第2レベルにおける1つの分類ネットワークである。
第1レベルにおける決定ニューラルネットワークは、エッジ方向ヒストグラムの形状パタンを同定することに集中する。例えば、ニューラルネットワーク1は、図7C−1及び図7C−2に示されるような、1つの有意のピークを有するエッジ方向ヒストグラムを認識するために用いられる。ニューラルネットワーク2は、図8C−1及び図8C−2に示されるような、2つのピークを有するエッジ方向ヒストグラムを識別し、ニューラルネットワーク3は、図9C−1及び図9C−2に示されるような、ヒストグラムにおけるその他の形状パタンについて重点的に処理する。これら3つの決定ネットワークの構造は、好適には、(1)エッジ方向ヒストグラムにおける36個のビンに対応する36個の入力ノードの入力層、(2)隠れ層、及び(3)2ノードの出力層を含む。各ノードは、入力エッジ方向ヒストグラムが想定された形状パタンにどれだけ近いかを示す確からしさ特定する。エッジ方向ヒストグラムからの特徴の集合ではなくニューラルネットワークを用いることの利点は、ニューラルネットワークは、学習し、複雑なデータを解釈する手段を提供する点であることに注意されたい。したがって、ニューラルネットワークは、選択された特徴によって生じる偏りを避け、分類をより正確にかつ頑健にすることができる。
第1レベルのニューラルネットワークの結果は、次に、第2レベルのニューラルネットワークに入力される。第2レベルのニューラルネットワークは、決定ネットワークに存在する曖昧さを減少させ、最終的な分類結果を提供することを目的とする。第2レベルのニューラルネットワークからの出力は、入力ヒストグラムがどの形状パタンに属するかを示すべきである。決定ニューラルネットワークと同様に、分類ニューラルネットワークは、3つの層から構成される。分類ニューラルネットワークの入力層は、6つのノードを含み、そのうち、2つずつが各決定ニューラルネットワークのためのノードである。出力層は、3つのノードを有し、この3つのノードは、ヒストグラムの3つの形状パタンを特定する。3つの形状パタンは、1ピーク形状パタン、2ピーク形状パタン、及びその他の形状パタンである。
本発明によると、画像中のエッジの存在を調べるルールベース(rule‐based)の方法を用いることによって、他の1つの形状パタンであるエッジなしパタンを形状分類結果に追加する。この形状パタンは、背景を持たない画像を表すのに用いられ、したがって、この画像の中には、エッジは存在しないだろう。これは、コリメータのブレードが身体部分の構造だけを暴露するように設定され、直接暴露領域が画像中に存在しないときに起こりうる。
最後のステージは、物理的な大きさ及び形状パタン分類からの結果を統合し、放射線写真をカテゴリ分類することである。好適な実施形態によると、8つのクラスが識別される。
1.エッジなしの大きなサイズの身体部分、例えば、腹部、胸部脊椎、及び腰部脊椎のPA図など。
2.1ピーク形状パタンのエッジ方向ヒストグラムを有する大きなサイズの身体部分、例えば、臀部及び肩のPA図など。
3.2ピーク形状パタンのエッジ方向ヒストグラムを有する大きなサイズの身体部分、例えば、胸部の側面(lateral,LAT)図及び骨盤のPA図など。
4.その他の形状のエッジ方向ヒストグラムを有する大きなサイズの身体部分、例えば、頭蓋骨のPA図及びLAT図など。
5.エッジなしの小さなサイズの身体部分、例えば、腹部、胸部脊椎、及び腰部脊椎のPA図など。
6.1ピーク形状パタンのエッジ方向ヒストグラムを有する小さなサイズの身体部分、例えば、コリメータの設定による膝のPA図及びLAT図など。これらの図においては、コリメーション領域が身体領域の部分を覆い、その結果、画像中にエッジは1つだけ検出される。
7.2ピーク形状パタンのエッジ方向ヒストグラムを有する小さなサイズの身体部分、例えば、大腿、ひじ、前腕、及び足首のPA図及びLAT図など。
8.その他の形状のエッジ方向ヒストグラムを有する小さなサイズの身体部分、例えば、足、手、及び指のPA図及びLAT図など。
検査条件によって、身体部分のサイズ及び位置と身体部分の方向とは、同じ検査から得られても異なるものになる可能性がある。加えて、放射線写真において示される身体部分の部分もまた、患者の状態及びコリメータのブレードの設定によって異なる。これらの要因によって、異なる外見を有する放射線写真が結果として得られることがあり、このことは、分類を非常に困難にする。本発明は、分類の曖昧さを提供し、よって、放射線写真は、上述の1以上のクラスにカテゴリ分類される。この曖昧さは、さらなる分類において減少させられることが期待される。
1.エッジなしの大きなサイズの身体部分、例えば、腹部、胸部脊椎、及び腰部脊椎のPA図など。
2.1ピーク形状パタンのエッジ方向ヒストグラムを有する大きなサイズの身体部分、例えば、臀部及び肩のPA図など。
3.2ピーク形状パタンのエッジ方向ヒストグラムを有する大きなサイズの身体部分、例えば、胸部の側面(lateral,LAT)図及び骨盤のPA図など。
4.その他の形状のエッジ方向ヒストグラムを有する大きなサイズの身体部分、例えば、頭蓋骨のPA図及びLAT図など。
5.エッジなしの小さなサイズの身体部分、例えば、腹部、胸部脊椎、及び腰部脊椎のPA図など。
6.1ピーク形状パタンのエッジ方向ヒストグラムを有する小さなサイズの身体部分、例えば、コリメータの設定による膝のPA図及びLAT図など。これらの図においては、コリメーション領域が身体領域の部分を覆い、その結果、画像中にエッジは1つだけ検出される。
7.2ピーク形状パタンのエッジ方向ヒストグラムを有する小さなサイズの身体部分、例えば、大腿、ひじ、前腕、及び足首のPA図及びLAT図など。
8.その他の形状のエッジ方向ヒストグラムを有する小さなサイズの身体部分、例えば、足、手、及び指のPA図及びLAT図など。
検査条件によって、身体部分のサイズ及び位置と身体部分の方向とは、同じ検査から得られても異なるものになる可能性がある。加えて、放射線写真において示される身体部分の部分もまた、患者の状態及びコリメータのブレードの設定によって異なる。これらの要因によって、異なる外見を有する放射線写真が結果として得られることがあり、このことは、分類を非常に困難にする。本発明は、分類の曖昧さを提供し、よって、放射線写真は、上述の1以上のクラスにカテゴリ分類される。この曖昧さは、さらなる分類において減少させられることが期待される。
本発明は、例えば、コンピュータプログラム製品(computer program product)に実現することができる。コンピュータプログラム製品は、1以上の記憶媒体を備えていて良い。記憶媒体は、例えば、(フロッピィディスク(商標)などの)磁気ディスク又は磁気テープなどの磁気記憶媒体、光学ディスク、光学テープ、又は機械読み取り可能なバーコードなどの光学記憶媒体、ランダムアクセスメモリ(RAM)又はリードオンリーメモリ(ROM)などのソリッドステート電子記憶装置(solid‐state electronic storage device)、又は、その他の物理的な装置又は媒体である。この装置又は媒体は、1以上のコンピュータに本発明に係る方法を実行させるように制御する命令を有するコンピュータプログラムを記憶するのに採用される。
本発明に係るシステムは、プログラム可能なコンピュータを含んでいてよい。プログラム可能なコンピュータは、マイクロプロセッサ、コンピュータメモリ、及び当該コンピュータメモリに記憶されたコンピュータプログラムであって本方法のステップを実行するためのコンピュータプログラムを備える。このコンピュータは、メモリインタフェースを有し、このメモリインタフェースは、動作可能にマイクロプロセッサに接続される。これは、USBポートなどのポートであってよく、ポートは、ドライブにおいて取り外し可能なメモリを受け入れる。又は、カメラメモリへのアクセスを可能にするその他の装置であってよい。本システムは、デジタルカメラを含み、デジタルカメラは、メモリインタフェースに準拠したメモリを有する。必要があれば、デジタルカメラの代わりに、写真用のフィルムカメラ及びスキャナを用いてもよい。グラフィカルユーザインタフェース(GUI)と、例えばマウス及びキーボードなどのユーザ入力ユニットと、が、コンピュータの一部として備えられていてもよい。
本発明について、現時点の好適な実施形態を特に参照して説明した。しかしながら、変形例及び改善例が本発明の精神及び本発明の範囲に含まれることがあることが理解されるだろう。したがって、現時点で開示された実施形態は、すべての点で、例示的であり、限定的ではない。
Claims (3)
- デジタル放射線写真画像を自動的に分類する方法であって、
画素の行及び列からなる行列を備える前記デジタル放射線写真画像を取得するステップと、
前記画像を前景領域、背景領域、及び身体領域に分割するステップと、
前記身体領域の物理的な大きさを分類するステップと、
前記身体領域のエッジ方向ヒストグラムを生成するステップと、
前記エッジ方向ヒストグラムの形状パタンを分類するステップと、
前記物理的な大きさの分類と前記形状パタンの分類とに基づいて、前記画像をカテゴリ分類するステップと、
を含む、方法。 - 請求項1に記載の方法において、
前記物理的な大きさを分類するステップは、
前記前景領域、前記背景領域、及び前記身体領域から特徴を計算するステップと、
前記特徴を用いて分類器を訓練するステップと、
前記訓練された分類器を用いて、前記物理的な大きさの分類を実行するステップと、
を含む、方法。 - 請求項1に記載の方法において、
前記形状パタンを分類するステップは、
前記身体領域のエッジを抽出するステップと、
前記エッジ方向ヒストグラムを用いて分類器を訓練するステップと、
前記訓練された分類器を用いて、前記形状パタンの分類を実行するステップと、
を含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63028604P | 2004-11-23 | 2004-11-23 | |
PCT/US2005/042505 WO2006058099A1 (en) | 2004-11-23 | 2005-11-21 | Automated radiograph classification using anatomy information |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008520391A true JP2008520391A (ja) | 2008-06-19 |
Family
ID=36011035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007543457A Pending JP2008520391A (ja) | 2004-11-23 | 2005-11-21 | 解剖的情報を用いて自動化された放射線写真の分類 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7627154B2 (ja) |
EP (1) | EP1815392A1 (ja) |
JP (1) | JP2008520391A (ja) |
CN (1) | CN101065762A (ja) |
WO (1) | WO2006058099A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054188A1 (ja) * | 2018-09-14 | 2020-03-19 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
JP2020524018A (ja) * | 2017-06-16 | 2020-08-13 | レンセラー ポリテクニック インスティテュート | ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7887475B1 (en) * | 2005-01-19 | 2011-02-15 | ANATOM-e, L.L.C. | Computer searchable anatomical database and visual key |
DE102005043051B4 (de) * | 2005-09-09 | 2015-12-17 | Siemens Aktiengesellschaft | Verfahren und Einrichtung zum Erzeugen eines Röntgenbildes |
JP4690204B2 (ja) * | 2006-01-16 | 2011-06-01 | 富士フイルム株式会社 | 画像再生装置およびそのプログラム |
JP4855141B2 (ja) * | 2006-05-19 | 2012-01-18 | 富士フイルム株式会社 | 医用画像部位認識装置、及び、医用画像部位認識プログラム |
US20080123929A1 (en) * | 2006-07-03 | 2008-05-29 | Fujifilm Corporation | Apparatus, method and program for image type judgment |
US20080084415A1 (en) * | 2006-10-06 | 2008-04-10 | Lutz Gundel | Orientation of 3-dimensional displays as a function of the regions to be examined |
US7970188B2 (en) * | 2006-11-22 | 2011-06-28 | General Electric Company | Systems and methods for automatic routing and prioritization of exams based on image classification |
US7792379B2 (en) * | 2007-02-06 | 2010-09-07 | Accenture Global Services Gmbh | Transforming a submitted image of a person based on a condition of the person |
US8086006B2 (en) * | 2007-09-21 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for evaluating image segmentation based on visibility |
WO2009072466A1 (ja) * | 2007-12-03 | 2009-06-11 | National University Corporation Hokkaido University | 画像分類装置および画像分類プログラム |
US8139831B2 (en) * | 2007-12-06 | 2012-03-20 | Siemens Aktiengesellschaft | System and method for unsupervised detection and gleason grading of prostate cancer whole mounts using NIR fluorscence |
JP5451010B2 (ja) * | 2008-08-29 | 2014-03-26 | キヤノン株式会社 | X線検出装置、情報処理方法および記録媒体 |
JP5083138B2 (ja) * | 2008-09-12 | 2012-11-28 | 株式会社ニコン | 画像分類装置 |
WO2010050952A1 (en) * | 2008-10-30 | 2010-05-06 | Analogic Corporation | Detecting concealed threats |
US8194956B2 (en) * | 2010-03-31 | 2012-06-05 | MyLife Global, Inc. | Medical imaging system and related methods |
CN102005044A (zh) * | 2010-11-10 | 2011-04-06 | 新太科技股份有限公司 | 一种基于边缘方向直方图原理检测单频干扰的方法 |
WO2012154216A1 (en) * | 2011-05-06 | 2012-11-15 | Sti Medical Systems, Llc | Diagnosis support system providing guidance to a user by automated retrieval of similar cancer images with user feedback |
US9940577B2 (en) * | 2015-07-07 | 2018-04-10 | Adobe Systems Incorporated | Finding semantic parts in images |
DE102015212953B4 (de) * | 2015-07-10 | 2024-08-22 | Siemens Healthineers Ag | Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen |
US11138477B2 (en) * | 2019-08-15 | 2021-10-05 | Collibra Nv | Classification of data using aggregated information from multiple classification modules |
US11564651B2 (en) * | 2020-01-14 | 2023-01-31 | GE Precision Healthcare LLC | Method and systems for anatomy/view classification in x-ray imaging |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3134009B2 (ja) * | 1990-11-21 | 2001-02-13 | アーチ・デベロップメント・コーポレーション | 画像処理方法及び装置 |
US6101408A (en) * | 1996-08-22 | 2000-08-08 | Western Research Company, Inc. | Probe and method to obtain accurate area measurements from cervical lesions |
US5791346A (en) * | 1996-08-22 | 1998-08-11 | Western Research Company, Inc. | Colposcope device and method for measuring areas of cervical lesions |
US6466687B1 (en) * | 1997-02-12 | 2002-10-15 | The University Of Iowa Research Foundation | Method and apparatus for analyzing CT images to determine the presence of pulmonary tissue pathology |
US5943435A (en) * | 1997-10-07 | 1999-08-24 | Eastman Kodak Company | Body part recognition in radiographic images |
AU5117699A (en) * | 1998-07-21 | 2000-02-14 | Acoustic Sciences Associates | Synthetic structural imaging and volume estimation of biological tissue organs |
US7295691B2 (en) * | 2002-05-15 | 2007-11-13 | Ge Medical Systems Global Technology Company, Llc | Computer aided diagnosis of an image set |
US7004904B2 (en) * | 2002-08-02 | 2006-02-28 | Diagnostic Ultrasound Corporation | Image enhancement and segmentation of structures in 3D ultrasound images for volume measurements |
EP1450303A3 (en) | 2003-02-19 | 2016-08-24 | Agfa HealthCare NV | Method of determining the orientation of an image |
-
2005
- 2005-11-21 WO PCT/US2005/042505 patent/WO2006058099A1/en active Application Filing
- 2005-11-21 US US11/285,568 patent/US7627154B2/en active Active
- 2005-11-21 CN CNA2005800401519A patent/CN101065762A/zh active Pending
- 2005-11-21 JP JP2007543457A patent/JP2008520391A/ja active Pending
- 2005-11-21 EP EP05852084A patent/EP1815392A1/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020524018A (ja) * | 2017-06-16 | 2020-08-13 | レンセラー ポリテクニック インスティテュート | ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法 |
JP7123983B2 (ja) | 2017-06-16 | 2022-08-23 | レンセラー ポリテクニック インスティテュート | ニューラルネットワークを使用した断層撮影画像再構成およびラジオミクスを統合するためのシステムおよび方法 |
WO2020054188A1 (ja) * | 2018-09-14 | 2020-03-19 | 富士フイルム株式会社 | 医用画像処理装置、方法およびプログラム |
US11915414B2 (en) | 2018-09-14 | 2024-02-27 | Fujifilm Corporation | Medical image processing apparatus, method, and program |
Also Published As
Publication number | Publication date |
---|---|
US20060110036A1 (en) | 2006-05-25 |
CN101065762A (zh) | 2007-10-31 |
US7627154B2 (en) | 2009-12-01 |
EP1815392A1 (en) | 2007-08-08 |
WO2006058099A1 (en) | 2006-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008520391A (ja) | 解剖的情報を用いて自動化された放射線写真の分類 | |
Sedai et al. | Deep multiscale convolutional feature learning for weakly supervised localization of chest pathologies in x-ray images | |
Zeelan Basha et al. | Automatic X-ray image classification system | |
Costaridou | Medical image analysis methods | |
Kiran et al. | Chest X-ray segmentation using Sauvola thresholding and Gaussian derivatives responses | |
Kido et al. | Deep learning for pulmonary image analysis: classification, detection, and segmentation | |
Hržić et al. | XAOM: A method for automatic alignment and orientation of radiographs for computer-aided medical diagnosis | |
US20060110035A1 (en) | Method for classifying radiographs | |
Ghantasala et al. | Identification of Normal and Abnormal Mammographic Images Using Deep Neural Network | |
Agnes et al. | Appraisal of deep-learning techniques on computer-aided lung cancer diagnosis with computed tomography screening | |
Rajasenbagam et al. | Semantic content-based image retrieval system using deep learning model for lung cancer CT images | |
Hamidinekoo et al. | Comparing the performance of various deep networks for binary classification of breast tumours | |
JP2001117936A (ja) | 3次元類似画像検索装置 | |
Chang et al. | Computerized identification of suspicious regions for masses in digitized mammograms | |
Srujana et al. | Supply chain based demand analysis of different deep learning methodologies for effective covid-19 detection | |
Meldo et al. | Database acquisition for the lung cancer computer aided diagnostic systems | |
JP5586953B2 (ja) | 解剖学的形状情報を用いた医学画像データベースへのアクセス | |
Begum et al. | A Lightweight Deep Learning Model for Automatic Diagnosis of Lung Cancer | |
Yuchen et al. | Lung cancer diagnosis system based on 3D CNN | |
Bhushan | Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN) | |
Manokaran et al. | Pulmonary nodule detection in low dose computed tomography using a medical-to-medical transfer learning approach | |
Racoceanu et al. | A semantic fusion approach between medical images and reports using UMLS | |
Nguyen et al. | Combining Deep Learning And Medical Knowledge to Detect Cadiomegaly and Pleural Effusion in Chest X-rays Diagnosis | |
Aggarwal et al. | Lung cancer detection using fusion of medical knowledge and content based image retrieval for lidc dataset | |
Satheeshkumar et al. | Automatic Detection of Tuberculosis from Chest X-Rays using Convolutional Neural Network |