JP2004509655A - 画像マッピングおよびテンプレートマッチング技術を使用して胸部x線写真を識別するための方法、システム、およびコンピュータ可読媒体 - Google Patents
画像マッピングおよびテンプレートマッチング技術を使用して胸部x線写真を識別するための方法、システム、およびコンピュータ可読媒体 Download PDFInfo
- Publication number
- JP2004509655A JP2004509655A JP2001571325A JP2001571325A JP2004509655A JP 2004509655 A JP2004509655 A JP 2004509655A JP 2001571325 A JP2001571325 A JP 2001571325A JP 2001571325 A JP2001571325 A JP 2001571325A JP 2004509655 A JP2004509655 A JP 2004509655A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- template image
- template
- obtaining
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
【課題】画像マッピングおよびテンプレートマッチング技術を使用して胸部X線写真を識別するための方法、システム、およびコンピュータ可読媒体。
【解決手段】所定の画像データに対応するテンプレート画像データを得る工程と、所定の画像データと前記テンプレート画像データとの間の相関値を計算する工程と、計算工程で計算された相関値に基づいて前記画像データを識別する工程とを含む、所定の画像データを識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体。
【解決手段】所定の画像データに対応するテンプレート画像データを得る工程と、所定の画像データと前記テンプレート画像データとの間の相関値を計算する工程と、計算工程で計算された相関値に基づいて前記画像データを識別する工程とを含む、所定の画像データを識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体。
Description
【0001】
連邦政府の委託研究に関する陳述
本発明は部分的に、USPHS助成番号CA24806およびCA62625(国立衛生研究所)ならびに米国陸軍助成番号DAMD71−96−6228に基づく米国政府の支援により行われた。米国政府は本発明に特定の権利を有する。
【0002】
関連出願の相互参照
本願は35U.S.C.§119(e)に基づき、2000年3月28日に出願した米国暫定特許出願第60/193,072号の優先権を主張し、その内容全体を参照してここに組み込まれる。
【0003】
(発明の分野)
本発明は一般的に、胸部X線写真のコンピュータ支援診断(CAD)方式の分野に関する。本発明はまた一般的に、例えば米国特許第4,839,807号,第4,841,555号、第4,851,984号、第4,875,165号、第4,907,156号、第4,918,534号、第5,072,384号、第5,133,020号、第5,150,292号、第5,224,177号、第5,289,374号、第5,319,549号、第5,343,390号、第5,359,513号、第5,452,367号、第5,463,548号、第5,491,627号、第5,537,485号、第5,598,481号、第5,622,171号、第5,638,458号、第5,657,362号、第5,666,434号、第5,673,332号、第5,668,888号、第5,732,697号、第5,740,268号、第5,790,690号、第5,832,103号、第5,873,824号、第5,881,124号、第5,931,780号、第5,974,165号、第5,982,915号、第5,984,870号、第5,987,345号、および第6,011,862号のみならず、米国特許出願第08/173,935号,第08/398,307号(PCT公報WO96/27846)、第08/536,149号、第08/562,087号、第08/900,188号、第08/900,189号、第08/900,191号、第08/900,361号、第08/979,623号、第08/979,639号、第08/982,282号、第09/027,468号、第09/027,685号、第09/028,518号、第09/053,798号、第09/092,004号、第09/121,719号、第09/131,162号、第09/141,535号、第09/156,413号、第09/298,852号、および第09/471,088号、PCT特許出願PCT/US99/24007、PCT/US99/25998、ならびに米国暫定特許出願第60/160,790号、2000年1月18日出願の弁護士事件整理番号0730−0068−20PROVおよび0730−0069−20PROVならびに2000年2月4日出願の0730−0070−20PROVのうちの1つまたはそれ以上に開示されているようなデジタル画像の自動解析のためのコンピュータ化技術に関し、これらを全て引用文献としてここに組み込まれる。
【0004】
本発明は、上記の米国特許および出願に言及され記載されるだけでなく、添付の参考文献リストで著者および発行年によって識別されかつ明細書中でそれぞれの文献に対応する角括弧内の数字で相互参照される参考文献にも記載される様々な技術の使用を含み、上記の関連特許および出願ならびに参考文献のリストに記載された参考文献を含め、それらの内容全体を引用文献としてここに組み込まれる。
【0005】
(背景の考察)
多くの病院および医療センタにおけるPACS(picture archiving and communication system)の実用増加の最近の傾向は、胸部X線写真におけるコンピュータ支援診断(CAD)方式の臨床応用を促進する可能性が非常に高い。PACSは、一部の医療センタおよび病院で放射線部門の効率を改善するための画像管理システムとして使用されてきた。PACSの信頼性を維持するためには、誤った画像および誤った患者データをPACSに格納してはならない。しかし、識別番号または患者名など、画像に関連付けられる患者情報が誤って入力された場合、画像は誤った患者フォルダに格納され、このエラーを見つけるのは困難である。日常の画像解釈中に、放射線医が往々にして所定の患者の一連の画像に表示される間違った患者の画像に気付くことは珍しくない。
【0006】
したがって、上記の方法の短所のため、患者の胸部画像を正確に識別するためのより信頼できる方法を開発することが望ましい。
【0007】
加えて、コンピュータ化方式は使用する特定の像に依存するので[7、8]、肺結節[1、2]および間質湿潤[3、4]のコンピュータによる検知および現行画像からの前回画像の時相減算[5、6]などの胸部X線写真の定量分析のためには、後前方向(PA)像または側面像いずれの胸部画像かを識別することが一般的に必要である。
【0008】
しかし、PACSまたはデジタルアーカイビングシステムでは、胸部X線写真に対してPA像および側面像に関する情報はしばしば記録されない。DICOM(digital imaging and communications in medicine)標準はそのようなラベル付けおよび多くの他のパラメータを含むことができるが、この有用な情報の大部分は一般的に入力されず、あるいは往々にして誤ったデータが格納される。
【0009】
最近、胸部画像の自動ラベル付け(すなわちPAまたは横方向)および方向付けのために人工ニューラルネットワークが応用されるようになり、ラベル付けエラーの修正に対して報告されている精度は98.7%である[9]。
【0010】
しかし、上記方法の短所のため、胸部画像の正しい図の識別のためのより信頼できる方法を開発することが望ましい。
【0011】
(発明の概要)
したがって、本発明の目的は、画像を所定の患者に属するものとして正確に識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0012】
本発明の別の目的は、患者の現行画像および前回画像を使用して、所定の患者に属するものとして画像を正確に識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0013】
本発明の別の目的は、胸部X線写真から導出された画像データが被験者のPA像を表すか側面像を表すかを正確に識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0014】
本発明の別の目的は、所定の胸部画像のデータが被験者のPA像または側面像から導出されたデータと類似しているかどうかを検査するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0015】
本発明の別の目的は、テンプレートの画像データと所定の胸部画像の画像データとの間の相互相関係数(以下では「相関値」という)を決定することによって2つの画像の類似性を測定するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0016】
これらおよびその他の目的は、本発明に従って、所定の画像データに対応するテンプレート画像データを得ることと、所定の画像データとテンプレート画像データとの間の相関値を計算することと、計算工程で計算された相関値に基づいて画像データを識別することを含む、所定の画像データを識別するための新規の自動化方法、システム、およびコンピュータ可読媒体を提供することによって達成される。
【0017】
したがって、本発明は、格納されたプログラム命令が適切にコンピュータにロードされたときにそれによって本発明の方法を実行することのできるプログラム命令を格納するコンピュータ可読媒体と、本発明の方法を実現するためのシステムとを含む。
【0018】
本発明およびそれに付随する利点の多くについてのより完全な理解は、添付の図面に関連して考慮しながら以下の詳細な説明を参考にすることによって理解が深まるにつれて、簡単に得られるであろう。
【0019】
(好適な実施形態の説明)
今、図面を参照すると、幾つかの図で同様の参照番号は同一または対応する部品を表わしており、さらに説明する通り本発明の様々な実施形態が示されている。
【0020】
本発明に従って画像を所定の患者に属するものとして正確に識別するために使用した胸部X線写真は、1000名の異なる患者の1000枚の現行画像および1000枚の前回画像を含む2000枚の後前方向の胸部X線写真から構成された。画像は全て、富士コンピュータX線撮影システム(日本国東京都富士写真フィルム)で1760×176(0.2mm画素サイズ)のマトリックスサイズおよび10ビットグレースケールを用いて収集した。画像マッチング法のためのコンピュータ化方式は、サンSPARCステーション5(米国カリフォルニア州(CA)サン・マイクロシステムズ(Sun Microsystems))およびエプソンPC SL2(日本国東京都エプソン)を使用して開発された。
【0021】
現行画像Aおよび前回画像Bが所定の患者に属するかどうかを識別するために、現行画像と前回画像との間の相互相関値を決定する。現行画像Aおよび前回画像BのマトリックスサイズはI×Jである。相互相関値Cは次式によって与えられる。
【数1】
【0022】
画像AおよびBが同一である場合、Cは1.0である。高い相関値は現行画像と前回画像との間の強い相似性を示す。
【0023】
図1は、現行および前回胸部X線写真間の比較のために画像マッチング技術を使用することによって、現行および前回胸部X線画像を同一患者に属するものと識別するための自動化方法を示すフローチャートである。図1で、患者の情報に関連付けられる現行画像(工程104)が画像収集システム(工程102、例えばPACSサーバ)内の患者のフォルダに転送されると、前回画像が患者のフォルダ(図示せず)から自動的に検索され、上の式を用いることによって相関値が決定される(工程106)。相関値の決定(工程106)のための計算時間を短縮するために、画像のマトリックスサイズは、双方向補間技術(図示せず)を使用し、予備研究の結果に基づいて、1760×1760から64×64に縮小される。
【0024】
現行画像を間違った患者(工程110)に属するものとして識別する場合、患者の前回画像と「推定」対応患者の新しい現行画像との間の相関値が決定される。この相関値は、ヒストグラム解析(図示せず)に基づいて決定されたしきい値(工程106)と比較される。相関値がしきい値より大きければ、現行画像は同じ正しい患者(工程108)に属するとみなされ、PACSサーバ内の正しい患者のフォルダに格納される。他方、相関値がしきい値より小さければ、現行画像は潜在的に間違った患者(工程110)に属するとみなされる。次いで、利用可能な前回画像に基づいて、現行画像が本当にこの患者に属するかどうかを検証するように放射線科担当者に注意を促すために、警告標識が提供される(工程112)。職員が警告に気付くと、彼/彼女は現行画像を手動的に検査し(工程116)、間違った画像が間違った患者のフォルダに格納される前に是正処置が講じられる。こうして、画像は正しい患者のフォルダに格納される(工程114)。
【0025】
連続胸部X線写真の変化は一般的に肺の拡張、側方および/またはA−P方向の傾斜、および回転のために起こり得る。現画像と前回画像との間のこれらの変化は結果として相関値の低減を生じる。したがって相関値の決定のための3種類の方法を研究した。第一に、収集された2つの連続画像に基づいて相関値を計算した。第二に、現行画像を水平方向および垂直方向にずらして、2つの画像間の最良の合致を決定した。最後に、現行画像を(例えばマイナス5度からプラス5度へ)回転して最大相関値を出した。
【0026】
1000名の患者の現行および前回画像の相関値を決定し、かつ2名の「間違った」患者で得られた1000組の現行および前回画像の相関値も決定した。図2は、同一の「正しい」患者202および異なる「間違った」患者204で得られた相関値のヒストグラムを示すグラフである。同一の「正しい」患者202の現行および前回画像間の相関値は一般的に、「間違った患者204のそれより大きかった。正しい患者202の相関値は0.80から0.99に分布した。間違った患者204の相関値は正しい患者のそれより小さい相関値を示し、0.29から0.97まで幅広く分布した。
【0027】
2つのヒストグラムが0.80を超える相関値の位置で重なるが、ヒストグラムの大部分は分離している。これらの結果は、本発明の画像マッチング方法に基づいて「間違った」患者を潜在的に識別するのに有望であることを示している。例えば、間違った患者の決定に0.80のしきい値を選択すると、データベースの間違った患者の47.8%は、正しい患者に対する誤った警告無しに、間違った患者として正確に識別することができる。0.90のしきい値を使用すると、データベースの間違った患者の85.7%が、正しい患者に対して誤った警告を生じる2%の誤差で、間違った患者として正確に識別することができる。
【0028】
図3は、画像マッチング技術に基づく間違った患者の識別における本発明の総合性能を受信者動作特性(ROC)曲線として示すグラフである。ROC曲線は、間違った患者を正確に間違った患者として識別する確率と正しい患者を誤って間違った患者として識別する確率との間の関係を示す。該曲線は、相関値のしきい値を変えることによって生成した。該曲線は左上隅の非常に近くに局在している。この結果は、間違った患者の識別におけるシステムの高い性能を示している。
【0029】
本発明に従って胸部画像のPA像または側面像を識別するために使用する胸部X線写真は、コダック・ラネックス・メディウム/OCスクリーンフィルムシステムで得たシカゴ大学放射線医学部の患者のファイルから選択された。200枚のPAおよび200枚の側面X線写真は、レーザスキャナ(コニカKFDR−S)を使用することにより0.175mmの画素サイズおよび1024のグレーレベルでデジタル化される。2002×2429マトリックスサイズのデジタル化画像は、286×347のマトリックスサイズに副標本化される。さらに、画像は286×286に裁断され、マトリックスサイズは本発明のために双方向補間によって256×256に縮小される。本発明の方法は、例えばゲートウェイGP−450コンピュータを使用することによって実現された。
【0030】
所定の画像データがPA像または側面像を表わすかどうかを決定する場合、所定の画像データは、2つの像を代表するテンプレート画像の画像データと比較される。しかし、最初にその目的のためにテンプレート画像を作成する必要がある。
【0031】
全ての患者のPA像および側面像、小柄の患者のPA像、小柄か大柄の患者の2つの側面像を含む様々なグループの胸部画像の様々な外観を表わすテンプレート画像が作成される。テンプレート画像を得るために使用される画像は「訓練」画像と呼ばれ、テンプレートとの相関値を決定するために使用される画像は「テスト」画像と呼ばれる。
【0032】
画素位置のテンプレートデータT(x,y)は、Iが使用する画像の数である場合に次式によって記載される通り、多数の訓練画像の平均化によって生成される。
【数2】
【0033】
【0034】
テスト画像とテンプレートとの間の類似性の程度を示す相関値Cは、次式によって記載される通り決定される。
【数3】
【0035】
【0036】
256×256のマトリックスサイズのPA像および側面像の2つのテンプレートで全ての胸部画像に対して得られた相関値を図4に示す。この初期研究のために、訓練およびテストの両方のために全ての胸部画像が使用される。しかし、テスト画像は、テンプレートを生成するために必要な数の訓練画像を考察するときに、訓練に使用されていない画像からのみ後で選択される。PAテスト画像の相関値はPAテンプレートとの方が側面テンプレートとの場合より一般的に大きく、逆に側面テスト画像は側面テンプレートとの方がPAテンプレートの場合より一般的に大きいことが、図4で明瞭である。胸部画像の大部分はPAまたは側面テンプレートに類似しているので、PAおよび側面テンプレートによる相関値の差は比較的大きく、一般的に0.2より大きい。
【0037】
しかし、PAおよび側面テンプレートによる幾つかの画像の相関値は、図4に示すように非常によく似ている。これらの画像の相関値の差は非常に小さいので、画像は一般的にPA像または側面像として正しくかつ確実に識別することができない。図4の2本の斜めの破線の間の領域402は、PAおよび側面テンプレートによる相関値の間の差が0.2未満である領域を示し、それは本発明ではテスト画像とPAまたは側面テンプレートとの類似性が確実に確認できないことを示すとみなされる。
【0038】
図5は、それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e、f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含むPA像のテンプレートおよび胸部画像を示す画像である。
【0039】
図6は、それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e,f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含む側面像のテンプレートおよび胸部画像を示す画像である。
【0040】
図4の領域402に含まれる10枚の画像は、正しく識別された390枚(97.5%)の他の画像とは対照的に、なぜこれらが確実に識別できないのか、その理由について分析された。識別できないPA胸部画像は一般的に、PAテンプレートに比較して小柄の患者のせいであり、識別できない側面胸部画像は一般的に側面テンプレートに比較して小柄か大柄のいずれかの患者のせいであることが分かった。加えて、1つのPAの場合の誤ったテンプレートである側面テンプレートとの相関値は、PAテンプレートとの場合より大きい。したがって、患者の大きさの変化が一般的に、相関値の低減の主要な原因である。使用した胸部画像データベースでは、より大柄の患者のPA胸部画像はPAテンプレートによって正しく識別され、たとえ大柄の患者の大きさの増加がこれらの胸部画像で認識可能であったとしても、大柄の患者用の別のPAテンプレートは必要ではなかった。しかし、他の画像データベースに適用する場合、大柄の患者用のPAテンプレートを作成することができ、全体的画像識別性能を高めることができる。
【0041】
したがって、使用したデータベースでは、小柄の患者用のPA像、小柄の患者用の側面像、および大柄の患者用の側面像を表わすことのできる3つの追加テンプレートを作成した。識別不能な10枚の像と3つのテンプレートとの間の相関値を表1に示す。
【表1】識別不能な10枚の画像についての胸部画像と小柄または大柄の患者用の3つの追加テンプレートとの間の相関値
【0042】
表1から、各々の画像が正しいテンプレートと最大相関値を持つことが明らかである。2つの初期テンプレートで識別不能であった全ての画像が、異なる大きさの患者用の3つの追加テンプレートを使用すると正しく識別された。したがって、本発明で使用した400枚の画像の全てが、異なる大きさの患者用に作成された5つのテンプレートで正しく識別された。
【0043】
患者の位置の水平移動が、小柄の患者の幾つかの画像の相関値の低下の原因であることが明らかになった。識別不能な画像については、小柄の患者の場合、PAおよび側面テンプレートを水平方向に移動することによって最大相関値を得ることが可能である。しかし、相関値は、追加テンプレートで得られるものに比較して大きくは増加しない。
【0044】
上記の結果を要約すると、PAまたは側面像いずれかの胸部X線写真は、多数のテンプレートと胸部画像の相関値を2つの工程で吟味することによって、正確かつ自動的に識別することができる。第1処理工程では、大きい母集団の全て成人の胸部画像の2種類の像を表わすPAおよび側面テンプレートを使用することによって、未知の事例の2つの相関値を決定する。1つのテンプレートとの相関値が例えば0.2を超えて大きい場合には、胸部画像は大きい相関値を持つそのテンプレートの像に属するとみなされる。そうでない場合、胸部画像は第1処理工程では識別不能とみなされ、さらなる分析が必要になる。第2処理工程では、小柄の患者のPA像、小柄の患者の側面像、および大柄の患者の側面像を表わす3つの追加テンプレートを使用することによって、識別不能な事例の相関値を決定する。3つのテンプレートの中で最大相関値を生じるものが、正しい像とみなされる。
【0045】
本発明では、図4の識別不能領域は、PAおよび側面像テンプレートによる相関値間の差に対応する0.2の値を使用することによって決定される。一般的に、大きい差値は識別不能な画像の数を不必要に増加する傾向があり、それはその後の処理工程の計算時間を増大するので、本発明の適切な差値を選択することが重要である。しかし、小さい差値では第1処理工程で間違ったまたは識別不能な画像を全部拾い上げることはできないかもしれず、その場合この方法の全体的精度が低下する。したがって、小さすぎる差値を使用しないように注意する必要がある。本発明のこれらの要素を経験的に考慮することによって、0.2の差値が経験的に決定されることに注意されたい。
【0046】
大きいマトリックスサイズは長い計算時間が必要であり、小さいマトリックスサイズは正しい像の識別の精度を下げるかもしれないので、一般的にこの方法のための画像マトリックスサイズの適切な選択も重要である。テンプレートマッチング技術に必要な最小マトリックスサイズ、およびテスト画像とテンプレートとの間の相関値は、様々な画像マトリックスサイズに対して決定される。256×256マトリックスサイズの画像は、副標本化技術を用いて128×128、64×64、32×32、16×16、8×8、4×4、および2×2のマトリックスサイズに縮小された。副標本化技術により得られた結果は、平均化技術により得られたものとほぼ同一であった。
【0047】
図7は、4×4のマトリックスサイズで得られた相関値の分布を示すグラフである。2本の破線の間の領域702内の識別不能な画像の数は、図4に示した領域402に比べてかなり増加していることが分かる。
【0048】
図8は、画像のマトリックスサイズ(横軸は方形マトリックスの1辺のサイズを表わす)と第1処理工程で識別不能な画像および第2処理工程で間違って識別された画像の数との間の関係を示すグラフである。識別不能または間違って識別された画像の数は、マトリックスサイズが減少するにつれて増加した。この結果は、このテンプレートマッチング技術の最小画像マトリックスサイズが8×8であることを示す。したがって、本発明の好適な実施形態には例えば16×16のマトリックスを選択する。
【0049】
テンプレートを生成するために使用した訓練画像の数の効果も研究した。少数の訓練画像で適正なテンプレートを生成することができ、かつPAまたは側面像の正確な識別を提供することができれば、有用である。200枚の画像から無作為に選択する128、64、32、16、8、4、2、および1枚の画像を含む、様々な数の画像を使用することにより、様々なテンプレートを作成する。テンプレートとテンプレートの生成に使用した訓練画像を除く全ての画像との間の相関値を計算し、識別不能または間違って識別された画像の数を得る。
【0050】
図9は、16×16のマトリックスサイズを使用した場合の16枚の訓練画像により生成されたテンプレートの場合の相関値の分布を示すグラフである。図9に示す通り、2本の破線の間の領域902は多数の識別不能な画像(すなわち10枚)を含む。
【0051】
図10は、第1処理工程で識別不能な画像および第2処理工程で間違って識別された画像の数に対し、テンプレートの生成に使用した訓練画像の数の効果を示すグラフである。訓練画像の数が減少するにつれて、識別不能または間違って識別される画像の数は増加する。訓練画像の数が8またはそれ以上のとき、性能は正確になるようである。したがって、本発明の好適な実施形態では、テンプレートの生成に少なくとも16枚の訓練画像を使用する。結果を検証するために、無作為に選択する16枚の異なる画像を5組使用することにより、5種類のテンプレートを生成する。これらのテンプレートにより、相関値および間違って識別される画像の数は、表2に示すように決定される。
【表2】無作為に選択した16枚の異なる画像を5組および16×16のマトリックスサイズを使用して5種類のテンプレートを生成した場合に第1処理工程で識別不能な画像および第2処理工程で間違って識別された画像の数
【0052】
表2から、第1処理工程で識別不能な画像の数は各組で異なるが、第2処理工程でテスト画像は全て正しく識別される。上の結果から、最小マトリックスサイズは16×16であり、テンプレートを生成するための訓練画像の最小数は16であると結論付けられる。
【0053】
発明者の初期研究では、第2処理工程でわずか3つの追加テンプレートを作成し、我々のデータベースの全ての胸部X線写真のPAまたは側面像を正しく識別するのに適切であることが明らかになった。しかし、大柄の患者用のPAテンプレートおよび大柄の肥満した患者など例外的な画像用、および片肺だけの患者、美観を損ねる胸部外傷のため集中治療ユニットの患者など非常に例外的な胸部画像用の追加的特殊テンプレートなど、追加のテンプレートを作成することができる。そのような画像が所定の画像データベースに含まれる場合、対応する胸部画像の正しい識別のために、これらの追加的テンプレートおよび特殊テンプレートを第2処理工程に組み込むことは有用であろう。実際、該方法を社団法人日本放射線技術学会(Japanese Society of Radiological Technology)から入手した胸部画像データベース[10]の247枚のPA胸部画像に適用した。これらの画像は、上述の方法によって全てPA像と正しく識別された。しかし、大柄の肥満した患者の幾つかの胸部画像の相関値は、0.3未満の範囲で非常に低かった。そこでこれらの大柄な患者用に特殊テンプレートを作成した。その結果、対応する相関値は0.6を超える範囲に実質的に増加し、したがって追加的特殊テンプレートの有用性を示すことが確認された。
【0054】
しかし、小柄の患者用の胸部X線写真を得たとき、患者に入射するX線ビームはコリメータを使用することにより患者の上体に一般的に狭められ、したがってX線写真の縁部に非露光領域のある胸部X線写真が生じる。この種のアーチファクトは胸部画像に付着した「白枠」の外観を呈し、結果的にテンプレートとの相関値の低下を生じ得る。レーザスキャナの使用による胸部X線写真のデジタル化のプロセスで同様のアーチファクトが生じることがあるが、対応するアーチファクトの大きさ(または幅)は通常、X線ビームの視準によるものよりずっと小さい。これらのアーチファクトの相関値に対する望ましくない効果は、下で述べるように胸部画像の縁の幾つかの画素を除去することによって、より小さいマトリックスの胸部画像を使用することにより縮小することができる。
【0055】
胸部画像およびテンプレートのマトリックスサイズが16×16のとき、胸部画像の4つの縁の最外部の画素を全て除去することによって、アーチファクトが低減されたより小さいマトリックス画像を得ることができ、こうして14×14マトリックスが生成される。14×14のマトリックス画像等々で最外部の画素の除去を繰り返すことによって、原胸部画像で除去された様々な幅の縁部分を含む12×12および10×10の異なるマトリックスサイズの画像を得ることができる。
【0056】
図11は、PA胸部画像の周縁にアーチファクトがある場合と無い場合の胸部画像の相関値に対する低減マトリックスサイズ(横軸は方形マトリックスの1辺のサイズを表わす)の効果を示すグラフである。アーチファクトのある4枚の胸部画像(a、b、c、およびd)の場合、16×16のマトリックスサイズとの相関値は0.5未満の範囲で非常に低い。マトリックスサイズが14×14、および12×12に縮小するにつれて、これらの画像の相関値が急速に増加し、10×10のマトリックスサイズで飽和する傾向があったことが、図11から明らかである。アーチファクトのある1つの胸部画像の相関値は、16×16から10×10までのマトリックスサイズであまり変化しない。この結果は、この胸部画像の患者の大きさが非常に小柄であるという事実による。実際、小柄の患者用のPAテンプレートとの相関値は、アーチファクトのある胸部画像の場合0.651まで増加し、こうしてPA像として正しく識別される。アーチファクトの無い4枚の胸部画像(f、g、h、およびi)の場合の16×16のマトリックスとの相関値は非常に大きく、縮小したマトリックスサイズでもあまり変化しない。
【0057】
これらの発見は、16×16のマトリックスサイズの未知の胸部画像の相関値が0.5未満のように非常に小さいときに、12×12などの縮小マトリックスサイズの相関値を決定しなければならないことを示す。縮小したマトリックスサイズの対応する相関値が実質的に増加すれば、使用したテンプレートの像によってこの胸部画像の正しい像を識別することができる。しかし、対応する相関値があまり変化しなければ、異なる像および/または異なる患者の大きさの他のテンプレートを適用する必要がある。
【0058】
図12aは、胸部X線写真のPAまたは側面像いずれかを正しく識別するための全体的方式を示すフローチャートである。図12aでは、工程1200で胸部画像が得られ、上述の通りそのマトリックスサイズが縮小される。工程1202で、(i)PA像、(ii)側面像、(iii)小柄の患者のPA像、(iv)小柄の患者の側面像、(v)大柄の患者のPA像、および(vi)大柄の患者の側面像のテンプレートが前述の通り得られる。
【0059】
第1処理工程に対応する工程1204で、(i)PA像テンプレートおよび(ii)側面像テンプレートをそれぞれ使用して、不明の画像の相関値CV1およびCV2が計算される。工程1206で、CV1とCV2との間の差が所定のしきい値TH1(例えば0.2)より大きければ、不明の画像はPA像と決定される。CV2とCV1との間の差が所定のしきい値(例えば0.2)より大きければ、不明の画像は側面像と決定される。それ以外では、不明の画像は未決定画像とみなされる。
【0060】
第2処理工程に対応する工程1208で、(iii)小柄の患者のPA像テンプレート、(iv)小柄の患者の側面像、(v)大柄の患者のPA像、および(vi)大柄の患者の側面像のテンプレートをそれぞれ使用して、未決定画像の相関値CV3、CV4、CV5およびCV6が計算される。工程1210で、未決定画像の正しい像が、(iii)小柄の患者のPA像テンプレート、(iv)小柄の患者の側面像、(v)大柄の患者のPA像、および(vi)大柄の患者の側面像のテンプレートにそれぞれ対応する値CV3、CV4、CV5およびCV6の間で最大の相関値を出す像であると決定される。そうでなければ、未決定画像は未決定のままである。
【0061】
図12bは、前述した通り、任意選択的アーチファクト処理手順を示すフローチャートである。図12bでは、工程1212で、所定のマトリックスサイズ(例えば16×16)の不明の画像の計算された相関値CVx(すなわちCV1、CV2、CV3、CV4、CV5およびCV6)が所定のしきい値TH2(例えば0.5)より小さければ、CVxはより小さいマトリックスサイズ(例えば12×12)を使用して再計算され、CVxsを得る。
【0062】
工程1214で、より小さいマトリックスサイズ(例えば12×12)の不明の画像の再計算された相関値CVxs(すなわちCV1s、CV2s、CV3s、CV4s、CV5sおよびCV6s)が所定のしきい値TH2から実質的に増加した場合(すなわちCVxs>>0.5)、正しい像はCVxを再計算してCVxsを得るのに使用したテンプレートに対応する。そうでなければ、処理は呼出しルーチン(例えば工程1204または工程1208)に戻る。
【0063】
図13は、別の実施形態に従って胸部X線写真のPA像または側面像のいずれかを正しく識別するための全体的方式を示すフローチャートである。図13では、工程1302で不明の像のデジタル胸部画像が得られる。工程1304で、デジタル画像は、例えば裁断、補間、副標本化等の技術を用いてサイズを(例えば16×16のマトリックスへ)縮小される。工程1306で、縮小画像と対応する画像サイズの側面像およびPA像のテンプレートとの間の相関値(CVlatおよびCVpa)がそれぞれ決定される。工程1308で、相関値CVlatおよびCVpaが所定のしきい値TH3(例えば0.5)より大きいか等しいかどうかが決定される。CVlatまたはCVpaがTH3より大きいか等しい場合、|CVpa−CVlat|が所定のしきい値TH4(例えば0.2)より大きいか等しいかどうかが決定される。
【0064】
|CVpa−CVlat|が所定のしきい値TH4(例えば0.2)より大きいか等しい場合、工程1316で、画像の正しい像は、CVpaおよびCVlatの間で最大の相関値を生じるテンプレート像に属すると決定される。|CVpa−CVlat|が所定のしきい値TH4(例えば0.2)より大きくも等しくもない場合、縮小画像と対応する画像サイズの小柄の患者のPA像、小柄の患者の側面像、大柄の患者のPA像、および大柄の患者の側面像のテンプレートとの間の相関値(CVspa、CVslat、CVlpaおよびCVllat)が工程1318でそれぞれ決定される。次いで処理は工程1316に戻り、そこで画像の正しい像は、CVspa、CVslat、CVlpaおよびCVllatの間で最大相関値を生じるテンプレート像に属すると決定される。
【0065】
CVlatまたはCVpaのどちらもTH3より大きくも等しくもない場合、アーチファクト除去処理(例えば辺縁画素除去を使用して)が工程1310で実行される。工程1310で、辺縁画素を除去したPA像および側面像テンプレート(例えば2×12のマトリックスを使用する)を使用して、辺縁画素を除去した画像(例えば12×12マトリックスを使用する)間の相関値(CVpasおよびCVlats)が決定される。次いで、工程1314で、相関値CVpasまたはCVlatsが所定のしきい値TH5(例えば0.5)より大きいかまたは等しいかどうか、および|CVpas−CVlats|が所定のしきい値TH6(例えば0.2)より大きいかまたは等しいかどうかが決定される。これらの条件が両方とも満たされると、処理は工程1316に戻り、そこで、画像の正しい像は、CVpasおよびCVlatsの中で最大の相関値を生じるテンプレート像に属すると決定される。
【0066】
相関値CVpasまたはCVlatsが所定のしきい値TH5(例えば0.5)より大きくも等しくもない場合、あるいは|CVpas−CVlats|が所定のしきい値TH6(例えば0.2)より大きくも等しくもない場合、工程1320でさらなる処理が実行される。工程1320で、縮小画像と対応する画像サイズの小柄患者のPA像、小柄患者の側面像、大柄患者のPA像、および大柄患者の側面像のテンプレートとの間の相関値(CVspas、CVslats、CVlpasおよびCVllats)がそれぞれ決定される。次いで処理は工程1316に戻り、そこで画像の正しい像はCVspas、CVslats、CVlpasおよびCVllatsの中で最大相関値を生じるテンプレート像に属すると決定される。
【0067】
図14は、本発明の教示に従ってプログラムすることのできる汎用コンピュータ1400の略図である。図14で、コンピュータ1400は本発明のプロセスを実現するものであり、該コンピュータは、適切な装置バス(例えばSCSIバス、拡張IDEバス、ウルトラDMAバス、PCIバス等)を使用して接続された例えばディスプレイ装置1402(例えばタッチスクリーンインタフェース付きタッチスクリーンモニタ等)、キーボード1404、ポインティング装置1406、マウスパッドまたはデジタル化パッド1408、ハードディスク1410または他の固定高密度媒体ドライブ、フロッピードライブ1412、テープまたはCD−ROMドライブ1414とテープまたはCD媒体1416、または光磁気媒体などその他の取外し可能な媒体装置、ならびにマザーボード1418を含む。マザーボード1418は、例えばプロセッサ1420、RAM1422、およびROM1424(例えばDRAM、ROM、EPROM、EEPROM、SRAM、SDRAM、およびフラッシュRAM等)、音声処理、画像処理、信号処理、ニューラルネットワーク処理、自動分類等の特殊化されたハードウェア/ソフトウェア機能を実行するための画像収集装置および任意選択的専用論理装置(例えばASIC等)または構成可能な論理装置(例えばGALおよび際プログラム可能FPGA)1428に連結するために使用することのできるI/Oポート1426、マイクロホン1430、ならびにスピーカ(単数または複数)1432を含む。
【0068】
上述の通り、システムは少なくとも1つのコンピュータ可読媒体を含む。コンピュータ可読媒体の例はコンパクトディスク、ハードディスク、フロッピーディスク、テープ、光磁気ディスク、PROM(EPROM、EEPROM、フラッシュEPROM)、DRAM、SRAM、SDRAM等である。コンピュータ可読媒体のいずれか1つまたは組合せに格納される本発明は、コンピュータ1400のハードウェアを制御するため、およびコンピュータ1400が人間のユーザと対話することを可能にするための両方のソフトウェアを含む。そのようなソフトウェアは、装置ドライバ、オペレーティングシステム、および開発ツールなどのユーザアプリケーションを含むが、それらに限定されない。そのようなコンピュータ可読媒体は、上述した本発明に係るプロセスのいずれかを実行するための本発明のコンピュータプログラム製品をさらに含む。本発明のコンピュータコード装置は、スクリプト、インタプリタ、ダイナミックリンクライブラリ、Javaクラス、およびコンピュータ実行可能プログラム等を含むがそれらに限定されないいずれかの解釈型または実行可能なコードメカニズムとすることができる。
【0069】
汎用コンピュータ1400のプログラミングは、例えば画像アーカイブ通信システム(PACS)から得られた画像から導出されるデジタルデータを処理するように実現される。代替的に、本発明はまた、汎用コンピュータ1400のプログラミングによって、画像収集装置から得られた画像をデジタル化し格納するためのソフトウェアモジュールを含むよう実現することができる。言い換えると、処理されるデジタル画像はデジタル形式では存在しないかもしれず、発明を実現する際にデジタル形式に変換する必要があるかもしれない。
【0070】
したがって、本発明に記載されるメカニズムおよびプロセスは、本明細書の教示に従ってプログラムされた汎用マイクロプロセッサまたはコンピュータを用いて実現することができる。適切なソフトウェアコーディングは、本開示の教示に基づいて、コンピュータ技術の通常の熟練プログラマによって容易に作成することができる。しかし、本発明はまた、アプリケーション特定的な集積回路の作製によって、あるいは従来のコンポーネント回路の適切なネットワークを相互接続することによっても実現することができる。
【0071】
したがって本発明は、記憶媒体に格納することができ、かつ本発明に係るプロセスを実行するように汎用マイクロプロセッサまたはコンピュータをプログラムするために使用できる命令を含むコンピュータ利用製品をも含む。この記憶媒体は、フロッピーディスク、光ディスク、CD−ROM、光磁気ディスク、ROM、RAM、EPROM、EEPROM、フラッシュメモリ、磁気または光カードを含む任意の種類のディスク、または電子命令を格納するのに適した任意の種類の媒体を含むことができるが、それらに限定されない。
【0072】
要約すると、画像アーカイブ通信システム(PACS)に多くの画像を格納するためには、画像を適切な患者のフォルダなど正しい場所に格納することが重要である。しかし、識別番号または患者名など、画像に関連付けられる患者情報が間違って入力された場合、このエラーを見つけることは困難である。日課の画像解釈中に、放射線医が往々にして所定の患者の一連の画像中に表示された間違った患者の画像に気付くことは珍しくない。したがって、間違った画像が間違った患者フォルダに格納される前に是正措置を講じることができるように、患者IDが画像収集システムで得られた画像に取り付けられた直後に間違った患者の画像を発見することが望ましい。一実施形態では、本発明はPACS環境で胸部X線写真に重点を置き、現行および前回胸部X線写真を比較する画像マッチング技術を使用することによって患者を識別する自動化方法を実現する。この手法の目標は、現行画像がPACS環境で所定の患者の前回の胸部X線写真と一致しない場合に、技師または放射線科医に警報を出すことである。そのような不整合を識別するために、現行画像と前記画像との間の相互参照値が決定される。2つの画像間の最良の合致を決定するために、現行画像を水平および垂直方向に移動し、次いで回転する。現行および前記画像を入手できた1000名の患者について得られた2000枚の胸部X線写真(例えば後前方向像)を使用した。同一患者の前回および現行画像間の相関値は一般的に、異なる患者のそれより大きいことが明らかになった。予備的結果は、本発明に係る方法により、不整合の「間違った」画像の50%を超える分が正しく識別できることを示した。患者識別のためのこの自動化方法は、PACS環境で格納されている間違った画像を突き止めるのに役立つであろう。
【0073】
本発明の別の実施形態では、画像アーカイブ通信システム(PACS)またはデジタルアーカイブシステムで、胸部X線写真の画像の後前方向(PA)または側面の像を識別する情報がしばしば記録されず、あるいは間違って記録される。しかし、コンピュータ支援診断のための胸部画像の定量分析のためには、像がPA像か側面像かを正しく識別する必要がある。本発明は、胸部X線写真のPA像か側面像かを正しく識別するためのコンピュータ化方法を提供する。全体的な手法は、PAまたは側面像の平均的胸部画像を表わすテンプレートと胸部画像の類似性を検討するものである。テンプレートマッチング技術の使用により、胸部画像がPAまたは側面像のいずれであるかを決定するための相関値が得られる。PAおよび側面像のテンプレートは、200枚のPAおよび200枚の側面胸部画像から作成される。第1処理工程で、390枚(97.5%)の画像が、2つのテンプレートにより得られた相関値の比較によって正しく識別される。第1処理工程で10枚の識別不能な画像の詳細な分析から、患者の大きさの変動が一般的に、相関値の低下の主な原因であることが明らかになっている。したがって、PA像および側面像による小柄の患者用および側面像による大柄の患者用の3つの追加テンプレートを使用する。第2処理工程で、追加の3つの添付による相関値を比較し、残りの識別不能な画像(2.5%)の全部が正しく識別される。この方法で一般的に使用できる最小マトリックスサイズは16×16であり、テンプレートを作成するために少なくとも16枚の画像を使用しなければならない。しかし、前述の通り、他の画像データベースに適用されたときに全体的な画像識別性能を高めることのできる大柄の患者用のPAテンプレート、および大柄の肥満した患者など例外的な画像用の追加の特殊テンプレート、ならびに片肺だけの患者、外観を損ねる胸部外傷のため集中治療ユニットにいる患者などの非常に例外的な胸部画像など、追加のテンプレートを作成することができる。
【0074】
本発明をX線写真画像のPAおよび側面像の識別に関して説明したが、本発明は、腹部画像、頭蓋の画像、四肢の画像、CT画像、超音波画像、MRI画像等、医療画像のコンピュータ解析が実行される他の画像を識別するために実現することができる。
【0075】
PA像、側面像、小柄患者のPA像、小柄患者の側面像、大柄患者のPA像、大柄患者の側面像、および肥満患者のPA像のためのテンプレートを使用してX線写真画像のPAおよび側面像を識別することに関して本発明を説明したが、本発明は、肥満患者の側面像、片肺だけの患者、外観を損ねる胸部外傷のため集中治療ユニットにいる患者などの非常に例外的な胸部画像等を使用して実現することができる。
【0076】
アーチファクト除去のために辺縁画素を除去することによって縮小したマトリックスサイズを使用することに関して本発明を説明したが、本発明は、計算時間を短縮するために辺縁画素を除去することによって縮小したマトリックスサイズを使用して実現することができる。
【0077】
計算時間を短縮するために例えば副標本化および双方向補間技術を使用することによってマトリックスサイズを短縮することに関して本発明を説明したが、本発明は、識別する画像の特定の用途に適するように計算時間をさらに短縮するために、例えば副標本化および双方向補間技術を使用して短縮マトリックスサイズを使用して実現することができる。
【0078】
上記の教示に照らして本発明の多くの変化例および変形例が可能である。したがって、請求の範囲内で本発明はここに特に記載した以外の方法でも実現できることを理解されたい。
【0079】
引用文献のリスト
[1]. Xu XW, Doi K, Kobayashi T, MacMahon H, Giger ML: Development of an improved CAD scheme for automated detection of lung nodules in digital chest images. Med Phys 24:1395−1403, 1997.
[2]. Xu X−W, Katsuragawa S, Ashizawa K, MacMahon H, Doi K: Analysis of image features of histograms of edge gradient for false positive reduction in lung nodule detection in chest radiographs. Proc SPIE 3338: 318−326, 1998.
[3]. Katsuragawa S, Doi K, MacMahon H, Monnier−Cholley L, Morishita J, Ishida T: Quantitative analysis of geometric−pattern features of interstitial infiltrates in digital chest radiographs. J Dig Imaging 9:137−144, 1996.
[4]. Ishida T, Katsuragawa S, Ashizawa K, MacMahon H, Doi K: Application of artificial neural networks for quantitative analysis of image data in chest radiographs for detection of interstitial lung disease. J Dig Imaging 11:182−192, 1998.
[5]. Kane A, Doi K, MacMahon H, Hassell DD, Giger ML: Digital image subtraction of temporally sequential chest images for detection of interval change. Med Phys 21: 453−461, 1994.
[6]. Ishida T, Katsuragawa S, Nakamura K, MacMahon H, Doi K: Iterative image warping technique for temporal subtraction of sequential chest radiographs to detect interval change. Med Phys 26: 1320−1329, 1999.
[7]. Armato SG, Giger ML, MacMahon H: Automated lung segmentation in digitized posteroanterior chest radiographs. Acad Radiol 5: 245−255, 1998.
[8]. Armato SG, Giger ML, Ashizawa K, MacMahon H: Automated lung segmentation in digital lateral chest radiographs. Med Phys 25: 1507−1520, 1998.
[9]. Harreld MR, Marovic B, Neu S, Valentino DJ: Automatic labeling and orientation of chest CRs using neural networks. Radiology 213(P): 321, 1999 (abstract).
[10]. Shiraishi J, Katsuragawa S, Ikezoe J, Matsumoto T, Kobayashi T, Komatsu K, Matsui M, Fujita H, Kodera Y, Doi K: Development of a digital image database for chest radiographs with and without a lung nodule: ROC analysis on radiologists’ performance in detection of pulmonary nodules. AJR 174: 71−74, 2000.
【図面の簡単な説明】
【図1】
現行および前回胸部X線写真間の比較のための画像マッチング技術を使用することによって、現行および前回胸部X線画像を同一患者に属するものとして識別するための自動化方法を示すフローチャートである。
【図2】
同一患者および異なる患者の現行および前回画像で得た相関値のヒストグラムを示すグラフである。
【図3】
図1の方法に従って前回胸部X線写真と比較するために画像マッチング技術を使用することによって患者を識別するための患者認識システムのROC曲線を示すグラフである。
【図4】
256×256マトリックスサイズのPA像および側面像の2つのテンプレートで全ての胸部画像に対して得られた相関値を示すグラフである。
【図5】
それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e,f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含むPA像のテンプレートおよび胸部画像を示す画像である。
【図6】
それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e,f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含む側面像のテンプレートおよび胸部画像を示す画像である。
【図7】
4×4のマトリックスサイズの胸部画像のPA像および側面像の全ての画像と2つのテンプレートとの間の相関値を示すグラフである。
【図8】
胸部画像のPA像と側面像との間の弁別のための第1処理工程で識別不能な画像の数および第2処理工程で誤って識別された画像の数に対する画像マトリックスサイズの効果を示すグラフである。
【図9】
テンプレートが無作為に選択された16枚の画像から生成され、マトリックスサイズが16×16である場合の全ての画像とテンプレートとの間の相関値を示すグラフである。
【図10】
胸部画像のPA像と側面像との間の弁別のための第1処理工程で識別不能な画像の数および第2処理工程で誤って識別された画像の数に対する、テンプレートを生成するために使用した画像の数の効果を示すグラフである。
【図11】
PA胸部画像の周縁にアーチファクトがある場合および無い場合の胸部画像の相関値に対する縮小マトリックスサイズの効果を示すグラフである。
【図12a】
本発明の実施形態に従って胸部X線写真のPA像または側面像のいずれかを正確に識別するためのスキーム全体を示すフローチャートである。
【図12b】
本発明の実施形態に係る任意選択的アーチファクト処理手順を示すフローチャートである。
【図13】
本発明の別の実施形態に従って、胸部X線写真のPA像または側面像のいずれかを正確に識別するためのスキーム全体を示すフローチャートである。
【図14】
本発明の教示に従ってプログラムできる汎用コンピュータの略図である。
【符号の説明】
1400…汎用コンピュータ 1402…ディスプレイ装置
連邦政府の委託研究に関する陳述
本発明は部分的に、USPHS助成番号CA24806およびCA62625(国立衛生研究所)ならびに米国陸軍助成番号DAMD71−96−6228に基づく米国政府の支援により行われた。米国政府は本発明に特定の権利を有する。
【0002】
関連出願の相互参照
本願は35U.S.C.§119(e)に基づき、2000年3月28日に出願した米国暫定特許出願第60/193,072号の優先権を主張し、その内容全体を参照してここに組み込まれる。
【0003】
(発明の分野)
本発明は一般的に、胸部X線写真のコンピュータ支援診断(CAD)方式の分野に関する。本発明はまた一般的に、例えば米国特許第4,839,807号,第4,841,555号、第4,851,984号、第4,875,165号、第4,907,156号、第4,918,534号、第5,072,384号、第5,133,020号、第5,150,292号、第5,224,177号、第5,289,374号、第5,319,549号、第5,343,390号、第5,359,513号、第5,452,367号、第5,463,548号、第5,491,627号、第5,537,485号、第5,598,481号、第5,622,171号、第5,638,458号、第5,657,362号、第5,666,434号、第5,673,332号、第5,668,888号、第5,732,697号、第5,740,268号、第5,790,690号、第5,832,103号、第5,873,824号、第5,881,124号、第5,931,780号、第5,974,165号、第5,982,915号、第5,984,870号、第5,987,345号、および第6,011,862号のみならず、米国特許出願第08/173,935号,第08/398,307号(PCT公報WO96/27846)、第08/536,149号、第08/562,087号、第08/900,188号、第08/900,189号、第08/900,191号、第08/900,361号、第08/979,623号、第08/979,639号、第08/982,282号、第09/027,468号、第09/027,685号、第09/028,518号、第09/053,798号、第09/092,004号、第09/121,719号、第09/131,162号、第09/141,535号、第09/156,413号、第09/298,852号、および第09/471,088号、PCT特許出願PCT/US99/24007、PCT/US99/25998、ならびに米国暫定特許出願第60/160,790号、2000年1月18日出願の弁護士事件整理番号0730−0068−20PROVおよび0730−0069−20PROVならびに2000年2月4日出願の0730−0070−20PROVのうちの1つまたはそれ以上に開示されているようなデジタル画像の自動解析のためのコンピュータ化技術に関し、これらを全て引用文献としてここに組み込まれる。
【0004】
本発明は、上記の米国特許および出願に言及され記載されるだけでなく、添付の参考文献リストで著者および発行年によって識別されかつ明細書中でそれぞれの文献に対応する角括弧内の数字で相互参照される参考文献にも記載される様々な技術の使用を含み、上記の関連特許および出願ならびに参考文献のリストに記載された参考文献を含め、それらの内容全体を引用文献としてここに組み込まれる。
【0005】
(背景の考察)
多くの病院および医療センタにおけるPACS(picture archiving and communication system)の実用増加の最近の傾向は、胸部X線写真におけるコンピュータ支援診断(CAD)方式の臨床応用を促進する可能性が非常に高い。PACSは、一部の医療センタおよび病院で放射線部門の効率を改善するための画像管理システムとして使用されてきた。PACSの信頼性を維持するためには、誤った画像および誤った患者データをPACSに格納してはならない。しかし、識別番号または患者名など、画像に関連付けられる患者情報が誤って入力された場合、画像は誤った患者フォルダに格納され、このエラーを見つけるのは困難である。日常の画像解釈中に、放射線医が往々にして所定の患者の一連の画像に表示される間違った患者の画像に気付くことは珍しくない。
【0006】
したがって、上記の方法の短所のため、患者の胸部画像を正確に識別するためのより信頼できる方法を開発することが望ましい。
【0007】
加えて、コンピュータ化方式は使用する特定の像に依存するので[7、8]、肺結節[1、2]および間質湿潤[3、4]のコンピュータによる検知および現行画像からの前回画像の時相減算[5、6]などの胸部X線写真の定量分析のためには、後前方向(PA)像または側面像いずれの胸部画像かを識別することが一般的に必要である。
【0008】
しかし、PACSまたはデジタルアーカイビングシステムでは、胸部X線写真に対してPA像および側面像に関する情報はしばしば記録されない。DICOM(digital imaging and communications in medicine)標準はそのようなラベル付けおよび多くの他のパラメータを含むことができるが、この有用な情報の大部分は一般的に入力されず、あるいは往々にして誤ったデータが格納される。
【0009】
最近、胸部画像の自動ラベル付け(すなわちPAまたは横方向)および方向付けのために人工ニューラルネットワークが応用されるようになり、ラベル付けエラーの修正に対して報告されている精度は98.7%である[9]。
【0010】
しかし、上記方法の短所のため、胸部画像の正しい図の識別のためのより信頼できる方法を開発することが望ましい。
【0011】
(発明の概要)
したがって、本発明の目的は、画像を所定の患者に属するものとして正確に識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0012】
本発明の別の目的は、患者の現行画像および前回画像を使用して、所定の患者に属するものとして画像を正確に識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0013】
本発明の別の目的は、胸部X線写真から導出された画像データが被験者のPA像を表すか側面像を表すかを正確に識別するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0014】
本発明の別の目的は、所定の胸部画像のデータが被験者のPA像または側面像から導出されたデータと類似しているかどうかを検査するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0015】
本発明の別の目的は、テンプレートの画像データと所定の胸部画像の画像データとの間の相互相関係数(以下では「相関値」という)を決定することによって2つの画像の類似性を測定するためのコンピュータ支援方法のための方法、システム、およびコンピュータ可読媒体を提供することである。
【0016】
これらおよびその他の目的は、本発明に従って、所定の画像データに対応するテンプレート画像データを得ることと、所定の画像データとテンプレート画像データとの間の相関値を計算することと、計算工程で計算された相関値に基づいて画像データを識別することを含む、所定の画像データを識別するための新規の自動化方法、システム、およびコンピュータ可読媒体を提供することによって達成される。
【0017】
したがって、本発明は、格納されたプログラム命令が適切にコンピュータにロードされたときにそれによって本発明の方法を実行することのできるプログラム命令を格納するコンピュータ可読媒体と、本発明の方法を実現するためのシステムとを含む。
【0018】
本発明およびそれに付随する利点の多くについてのより完全な理解は、添付の図面に関連して考慮しながら以下の詳細な説明を参考にすることによって理解が深まるにつれて、簡単に得られるであろう。
【0019】
(好適な実施形態の説明)
今、図面を参照すると、幾つかの図で同様の参照番号は同一または対応する部品を表わしており、さらに説明する通り本発明の様々な実施形態が示されている。
【0020】
本発明に従って画像を所定の患者に属するものとして正確に識別するために使用した胸部X線写真は、1000名の異なる患者の1000枚の現行画像および1000枚の前回画像を含む2000枚の後前方向の胸部X線写真から構成された。画像は全て、富士コンピュータX線撮影システム(日本国東京都富士写真フィルム)で1760×176(0.2mm画素サイズ)のマトリックスサイズおよび10ビットグレースケールを用いて収集した。画像マッチング法のためのコンピュータ化方式は、サンSPARCステーション5(米国カリフォルニア州(CA)サン・マイクロシステムズ(Sun Microsystems))およびエプソンPC SL2(日本国東京都エプソン)を使用して開発された。
【0021】
現行画像Aおよび前回画像Bが所定の患者に属するかどうかを識別するために、現行画像と前回画像との間の相互相関値を決定する。現行画像Aおよび前回画像BのマトリックスサイズはI×Jである。相互相関値Cは次式によって与えられる。
【数1】
【0022】
画像AおよびBが同一である場合、Cは1.0である。高い相関値は現行画像と前回画像との間の強い相似性を示す。
【0023】
図1は、現行および前回胸部X線写真間の比較のために画像マッチング技術を使用することによって、現行および前回胸部X線画像を同一患者に属するものと識別するための自動化方法を示すフローチャートである。図1で、患者の情報に関連付けられる現行画像(工程104)が画像収集システム(工程102、例えばPACSサーバ)内の患者のフォルダに転送されると、前回画像が患者のフォルダ(図示せず)から自動的に検索され、上の式を用いることによって相関値が決定される(工程106)。相関値の決定(工程106)のための計算時間を短縮するために、画像のマトリックスサイズは、双方向補間技術(図示せず)を使用し、予備研究の結果に基づいて、1760×1760から64×64に縮小される。
【0024】
現行画像を間違った患者(工程110)に属するものとして識別する場合、患者の前回画像と「推定」対応患者の新しい現行画像との間の相関値が決定される。この相関値は、ヒストグラム解析(図示せず)に基づいて決定されたしきい値(工程106)と比較される。相関値がしきい値より大きければ、現行画像は同じ正しい患者(工程108)に属するとみなされ、PACSサーバ内の正しい患者のフォルダに格納される。他方、相関値がしきい値より小さければ、現行画像は潜在的に間違った患者(工程110)に属するとみなされる。次いで、利用可能な前回画像に基づいて、現行画像が本当にこの患者に属するかどうかを検証するように放射線科担当者に注意を促すために、警告標識が提供される(工程112)。職員が警告に気付くと、彼/彼女は現行画像を手動的に検査し(工程116)、間違った画像が間違った患者のフォルダに格納される前に是正処置が講じられる。こうして、画像は正しい患者のフォルダに格納される(工程114)。
【0025】
連続胸部X線写真の変化は一般的に肺の拡張、側方および/またはA−P方向の傾斜、および回転のために起こり得る。現画像と前回画像との間のこれらの変化は結果として相関値の低減を生じる。したがって相関値の決定のための3種類の方法を研究した。第一に、収集された2つの連続画像に基づいて相関値を計算した。第二に、現行画像を水平方向および垂直方向にずらして、2つの画像間の最良の合致を決定した。最後に、現行画像を(例えばマイナス5度からプラス5度へ)回転して最大相関値を出した。
【0026】
1000名の患者の現行および前回画像の相関値を決定し、かつ2名の「間違った」患者で得られた1000組の現行および前回画像の相関値も決定した。図2は、同一の「正しい」患者202および異なる「間違った」患者204で得られた相関値のヒストグラムを示すグラフである。同一の「正しい」患者202の現行および前回画像間の相関値は一般的に、「間違った患者204のそれより大きかった。正しい患者202の相関値は0.80から0.99に分布した。間違った患者204の相関値は正しい患者のそれより小さい相関値を示し、0.29から0.97まで幅広く分布した。
【0027】
2つのヒストグラムが0.80を超える相関値の位置で重なるが、ヒストグラムの大部分は分離している。これらの結果は、本発明の画像マッチング方法に基づいて「間違った」患者を潜在的に識別するのに有望であることを示している。例えば、間違った患者の決定に0.80のしきい値を選択すると、データベースの間違った患者の47.8%は、正しい患者に対する誤った警告無しに、間違った患者として正確に識別することができる。0.90のしきい値を使用すると、データベースの間違った患者の85.7%が、正しい患者に対して誤った警告を生じる2%の誤差で、間違った患者として正確に識別することができる。
【0028】
図3は、画像マッチング技術に基づく間違った患者の識別における本発明の総合性能を受信者動作特性(ROC)曲線として示すグラフである。ROC曲線は、間違った患者を正確に間違った患者として識別する確率と正しい患者を誤って間違った患者として識別する確率との間の関係を示す。該曲線は、相関値のしきい値を変えることによって生成した。該曲線は左上隅の非常に近くに局在している。この結果は、間違った患者の識別におけるシステムの高い性能を示している。
【0029】
本発明に従って胸部画像のPA像または側面像を識別するために使用する胸部X線写真は、コダック・ラネックス・メディウム/OCスクリーンフィルムシステムで得たシカゴ大学放射線医学部の患者のファイルから選択された。200枚のPAおよび200枚の側面X線写真は、レーザスキャナ(コニカKFDR−S)を使用することにより0.175mmの画素サイズおよび1024のグレーレベルでデジタル化される。2002×2429マトリックスサイズのデジタル化画像は、286×347のマトリックスサイズに副標本化される。さらに、画像は286×286に裁断され、マトリックスサイズは本発明のために双方向補間によって256×256に縮小される。本発明の方法は、例えばゲートウェイGP−450コンピュータを使用することによって実現された。
【0030】
所定の画像データがPA像または側面像を表わすかどうかを決定する場合、所定の画像データは、2つの像を代表するテンプレート画像の画像データと比較される。しかし、最初にその目的のためにテンプレート画像を作成する必要がある。
【0031】
全ての患者のPA像および側面像、小柄の患者のPA像、小柄か大柄の患者の2つの側面像を含む様々なグループの胸部画像の様々な外観を表わすテンプレート画像が作成される。テンプレート画像を得るために使用される画像は「訓練」画像と呼ばれ、テンプレートとの相関値を決定するために使用される画像は「テスト」画像と呼ばれる。
【0032】
画素位置のテンプレートデータT(x,y)は、Iが使用する画像の数である場合に次式によって記載される通り、多数の訓練画像の平均化によって生成される。
【数2】
【0033】
【0034】
テスト画像とテンプレートとの間の類似性の程度を示す相関値Cは、次式によって記載される通り決定される。
【数3】
【0035】
【0036】
256×256のマトリックスサイズのPA像および側面像の2つのテンプレートで全ての胸部画像に対して得られた相関値を図4に示す。この初期研究のために、訓練およびテストの両方のために全ての胸部画像が使用される。しかし、テスト画像は、テンプレートを生成するために必要な数の訓練画像を考察するときに、訓練に使用されていない画像からのみ後で選択される。PAテスト画像の相関値はPAテンプレートとの方が側面テンプレートとの場合より一般的に大きく、逆に側面テスト画像は側面テンプレートとの方がPAテンプレートの場合より一般的に大きいことが、図4で明瞭である。胸部画像の大部分はPAまたは側面テンプレートに類似しているので、PAおよび側面テンプレートによる相関値の差は比較的大きく、一般的に0.2より大きい。
【0037】
しかし、PAおよび側面テンプレートによる幾つかの画像の相関値は、図4に示すように非常によく似ている。これらの画像の相関値の差は非常に小さいので、画像は一般的にPA像または側面像として正しくかつ確実に識別することができない。図4の2本の斜めの破線の間の領域402は、PAおよび側面テンプレートによる相関値の間の差が0.2未満である領域を示し、それは本発明ではテスト画像とPAまたは側面テンプレートとの類似性が確実に確認できないことを示すとみなされる。
【0038】
図5は、それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e、f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含むPA像のテンプレートおよび胸部画像を示す画像である。
【0039】
図6は、それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e,f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含む側面像のテンプレートおよび胸部画像を示す画像である。
【0040】
図4の領域402に含まれる10枚の画像は、正しく識別された390枚(97.5%)の他の画像とは対照的に、なぜこれらが確実に識別できないのか、その理由について分析された。識別できないPA胸部画像は一般的に、PAテンプレートに比較して小柄の患者のせいであり、識別できない側面胸部画像は一般的に側面テンプレートに比較して小柄か大柄のいずれかの患者のせいであることが分かった。加えて、1つのPAの場合の誤ったテンプレートである側面テンプレートとの相関値は、PAテンプレートとの場合より大きい。したがって、患者の大きさの変化が一般的に、相関値の低減の主要な原因である。使用した胸部画像データベースでは、より大柄の患者のPA胸部画像はPAテンプレートによって正しく識別され、たとえ大柄の患者の大きさの増加がこれらの胸部画像で認識可能であったとしても、大柄の患者用の別のPAテンプレートは必要ではなかった。しかし、他の画像データベースに適用する場合、大柄の患者用のPAテンプレートを作成することができ、全体的画像識別性能を高めることができる。
【0041】
したがって、使用したデータベースでは、小柄の患者用のPA像、小柄の患者用の側面像、および大柄の患者用の側面像を表わすことのできる3つの追加テンプレートを作成した。識別不能な10枚の像と3つのテンプレートとの間の相関値を表1に示す。
【表1】識別不能な10枚の画像についての胸部画像と小柄または大柄の患者用の3つの追加テンプレートとの間の相関値
【0042】
表1から、各々の画像が正しいテンプレートと最大相関値を持つことが明らかである。2つの初期テンプレートで識別不能であった全ての画像が、異なる大きさの患者用の3つの追加テンプレートを使用すると正しく識別された。したがって、本発明で使用した400枚の画像の全てが、異なる大きさの患者用に作成された5つのテンプレートで正しく識別された。
【0043】
患者の位置の水平移動が、小柄の患者の幾つかの画像の相関値の低下の原因であることが明らかになった。識別不能な画像については、小柄の患者の場合、PAおよび側面テンプレートを水平方向に移動することによって最大相関値を得ることが可能である。しかし、相関値は、追加テンプレートで得られるものに比較して大きくは増加しない。
【0044】
上記の結果を要約すると、PAまたは側面像いずれかの胸部X線写真は、多数のテンプレートと胸部画像の相関値を2つの工程で吟味することによって、正確かつ自動的に識別することができる。第1処理工程では、大きい母集団の全て成人の胸部画像の2種類の像を表わすPAおよび側面テンプレートを使用することによって、未知の事例の2つの相関値を決定する。1つのテンプレートとの相関値が例えば0.2を超えて大きい場合には、胸部画像は大きい相関値を持つそのテンプレートの像に属するとみなされる。そうでない場合、胸部画像は第1処理工程では識別不能とみなされ、さらなる分析が必要になる。第2処理工程では、小柄の患者のPA像、小柄の患者の側面像、および大柄の患者の側面像を表わす3つの追加テンプレートを使用することによって、識別不能な事例の相関値を決定する。3つのテンプレートの中で最大相関値を生じるものが、正しい像とみなされる。
【0045】
本発明では、図4の識別不能領域は、PAおよび側面像テンプレートによる相関値間の差に対応する0.2の値を使用することによって決定される。一般的に、大きい差値は識別不能な画像の数を不必要に増加する傾向があり、それはその後の処理工程の計算時間を増大するので、本発明の適切な差値を選択することが重要である。しかし、小さい差値では第1処理工程で間違ったまたは識別不能な画像を全部拾い上げることはできないかもしれず、その場合この方法の全体的精度が低下する。したがって、小さすぎる差値を使用しないように注意する必要がある。本発明のこれらの要素を経験的に考慮することによって、0.2の差値が経験的に決定されることに注意されたい。
【0046】
大きいマトリックスサイズは長い計算時間が必要であり、小さいマトリックスサイズは正しい像の識別の精度を下げるかもしれないので、一般的にこの方法のための画像マトリックスサイズの適切な選択も重要である。テンプレートマッチング技術に必要な最小マトリックスサイズ、およびテスト画像とテンプレートとの間の相関値は、様々な画像マトリックスサイズに対して決定される。256×256マトリックスサイズの画像は、副標本化技術を用いて128×128、64×64、32×32、16×16、8×8、4×4、および2×2のマトリックスサイズに縮小された。副標本化技術により得られた結果は、平均化技術により得られたものとほぼ同一であった。
【0047】
図7は、4×4のマトリックスサイズで得られた相関値の分布を示すグラフである。2本の破線の間の領域702内の識別不能な画像の数は、図4に示した領域402に比べてかなり増加していることが分かる。
【0048】
図8は、画像のマトリックスサイズ(横軸は方形マトリックスの1辺のサイズを表わす)と第1処理工程で識別不能な画像および第2処理工程で間違って識別された画像の数との間の関係を示すグラフである。識別不能または間違って識別された画像の数は、マトリックスサイズが減少するにつれて増加した。この結果は、このテンプレートマッチング技術の最小画像マトリックスサイズが8×8であることを示す。したがって、本発明の好適な実施形態には例えば16×16のマトリックスを選択する。
【0049】
テンプレートを生成するために使用した訓練画像の数の効果も研究した。少数の訓練画像で適正なテンプレートを生成することができ、かつPAまたは側面像の正確な識別を提供することができれば、有用である。200枚の画像から無作為に選択する128、64、32、16、8、4、2、および1枚の画像を含む、様々な数の画像を使用することにより、様々なテンプレートを作成する。テンプレートとテンプレートの生成に使用した訓練画像を除く全ての画像との間の相関値を計算し、識別不能または間違って識別された画像の数を得る。
【0050】
図9は、16×16のマトリックスサイズを使用した場合の16枚の訓練画像により生成されたテンプレートの場合の相関値の分布を示すグラフである。図9に示す通り、2本の破線の間の領域902は多数の識別不能な画像(すなわち10枚)を含む。
【0051】
図10は、第1処理工程で識別不能な画像および第2処理工程で間違って識別された画像の数に対し、テンプレートの生成に使用した訓練画像の数の効果を示すグラフである。訓練画像の数が減少するにつれて、識別不能または間違って識別される画像の数は増加する。訓練画像の数が8またはそれ以上のとき、性能は正確になるようである。したがって、本発明の好適な実施形態では、テンプレートの生成に少なくとも16枚の訓練画像を使用する。結果を検証するために、無作為に選択する16枚の異なる画像を5組使用することにより、5種類のテンプレートを生成する。これらのテンプレートにより、相関値および間違って識別される画像の数は、表2に示すように決定される。
【表2】無作為に選択した16枚の異なる画像を5組および16×16のマトリックスサイズを使用して5種類のテンプレートを生成した場合に第1処理工程で識別不能な画像および第2処理工程で間違って識別された画像の数
【0052】
表2から、第1処理工程で識別不能な画像の数は各組で異なるが、第2処理工程でテスト画像は全て正しく識別される。上の結果から、最小マトリックスサイズは16×16であり、テンプレートを生成するための訓練画像の最小数は16であると結論付けられる。
【0053】
発明者の初期研究では、第2処理工程でわずか3つの追加テンプレートを作成し、我々のデータベースの全ての胸部X線写真のPAまたは側面像を正しく識別するのに適切であることが明らかになった。しかし、大柄の患者用のPAテンプレートおよび大柄の肥満した患者など例外的な画像用、および片肺だけの患者、美観を損ねる胸部外傷のため集中治療ユニットの患者など非常に例外的な胸部画像用の追加的特殊テンプレートなど、追加のテンプレートを作成することができる。そのような画像が所定の画像データベースに含まれる場合、対応する胸部画像の正しい識別のために、これらの追加的テンプレートおよび特殊テンプレートを第2処理工程に組み込むことは有用であろう。実際、該方法を社団法人日本放射線技術学会(Japanese Society of Radiological Technology)から入手した胸部画像データベース[10]の247枚のPA胸部画像に適用した。これらの画像は、上述の方法によって全てPA像と正しく識別された。しかし、大柄の肥満した患者の幾つかの胸部画像の相関値は、0.3未満の範囲で非常に低かった。そこでこれらの大柄な患者用に特殊テンプレートを作成した。その結果、対応する相関値は0.6を超える範囲に実質的に増加し、したがって追加的特殊テンプレートの有用性を示すことが確認された。
【0054】
しかし、小柄の患者用の胸部X線写真を得たとき、患者に入射するX線ビームはコリメータを使用することにより患者の上体に一般的に狭められ、したがってX線写真の縁部に非露光領域のある胸部X線写真が生じる。この種のアーチファクトは胸部画像に付着した「白枠」の外観を呈し、結果的にテンプレートとの相関値の低下を生じ得る。レーザスキャナの使用による胸部X線写真のデジタル化のプロセスで同様のアーチファクトが生じることがあるが、対応するアーチファクトの大きさ(または幅)は通常、X線ビームの視準によるものよりずっと小さい。これらのアーチファクトの相関値に対する望ましくない効果は、下で述べるように胸部画像の縁の幾つかの画素を除去することによって、より小さいマトリックスの胸部画像を使用することにより縮小することができる。
【0055】
胸部画像およびテンプレートのマトリックスサイズが16×16のとき、胸部画像の4つの縁の最外部の画素を全て除去することによって、アーチファクトが低減されたより小さいマトリックス画像を得ることができ、こうして14×14マトリックスが生成される。14×14のマトリックス画像等々で最外部の画素の除去を繰り返すことによって、原胸部画像で除去された様々な幅の縁部分を含む12×12および10×10の異なるマトリックスサイズの画像を得ることができる。
【0056】
図11は、PA胸部画像の周縁にアーチファクトがある場合と無い場合の胸部画像の相関値に対する低減マトリックスサイズ(横軸は方形マトリックスの1辺のサイズを表わす)の効果を示すグラフである。アーチファクトのある4枚の胸部画像(a、b、c、およびd)の場合、16×16のマトリックスサイズとの相関値は0.5未満の範囲で非常に低い。マトリックスサイズが14×14、および12×12に縮小するにつれて、これらの画像の相関値が急速に増加し、10×10のマトリックスサイズで飽和する傾向があったことが、図11から明らかである。アーチファクトのある1つの胸部画像の相関値は、16×16から10×10までのマトリックスサイズであまり変化しない。この結果は、この胸部画像の患者の大きさが非常に小柄であるという事実による。実際、小柄の患者用のPAテンプレートとの相関値は、アーチファクトのある胸部画像の場合0.651まで増加し、こうしてPA像として正しく識別される。アーチファクトの無い4枚の胸部画像(f、g、h、およびi)の場合の16×16のマトリックスとの相関値は非常に大きく、縮小したマトリックスサイズでもあまり変化しない。
【0057】
これらの発見は、16×16のマトリックスサイズの未知の胸部画像の相関値が0.5未満のように非常に小さいときに、12×12などの縮小マトリックスサイズの相関値を決定しなければならないことを示す。縮小したマトリックスサイズの対応する相関値が実質的に増加すれば、使用したテンプレートの像によってこの胸部画像の正しい像を識別することができる。しかし、対応する相関値があまり変化しなければ、異なる像および/または異なる患者の大きさの他のテンプレートを適用する必要がある。
【0058】
図12aは、胸部X線写真のPAまたは側面像いずれかを正しく識別するための全体的方式を示すフローチャートである。図12aでは、工程1200で胸部画像が得られ、上述の通りそのマトリックスサイズが縮小される。工程1202で、(i)PA像、(ii)側面像、(iii)小柄の患者のPA像、(iv)小柄の患者の側面像、(v)大柄の患者のPA像、および(vi)大柄の患者の側面像のテンプレートが前述の通り得られる。
【0059】
第1処理工程に対応する工程1204で、(i)PA像テンプレートおよび(ii)側面像テンプレートをそれぞれ使用して、不明の画像の相関値CV1およびCV2が計算される。工程1206で、CV1とCV2との間の差が所定のしきい値TH1(例えば0.2)より大きければ、不明の画像はPA像と決定される。CV2とCV1との間の差が所定のしきい値(例えば0.2)より大きければ、不明の画像は側面像と決定される。それ以外では、不明の画像は未決定画像とみなされる。
【0060】
第2処理工程に対応する工程1208で、(iii)小柄の患者のPA像テンプレート、(iv)小柄の患者の側面像、(v)大柄の患者のPA像、および(vi)大柄の患者の側面像のテンプレートをそれぞれ使用して、未決定画像の相関値CV3、CV4、CV5およびCV6が計算される。工程1210で、未決定画像の正しい像が、(iii)小柄の患者のPA像テンプレート、(iv)小柄の患者の側面像、(v)大柄の患者のPA像、および(vi)大柄の患者の側面像のテンプレートにそれぞれ対応する値CV3、CV4、CV5およびCV6の間で最大の相関値を出す像であると決定される。そうでなければ、未決定画像は未決定のままである。
【0061】
図12bは、前述した通り、任意選択的アーチファクト処理手順を示すフローチャートである。図12bでは、工程1212で、所定のマトリックスサイズ(例えば16×16)の不明の画像の計算された相関値CVx(すなわちCV1、CV2、CV3、CV4、CV5およびCV6)が所定のしきい値TH2(例えば0.5)より小さければ、CVxはより小さいマトリックスサイズ(例えば12×12)を使用して再計算され、CVxsを得る。
【0062】
工程1214で、より小さいマトリックスサイズ(例えば12×12)の不明の画像の再計算された相関値CVxs(すなわちCV1s、CV2s、CV3s、CV4s、CV5sおよびCV6s)が所定のしきい値TH2から実質的に増加した場合(すなわちCVxs>>0.5)、正しい像はCVxを再計算してCVxsを得るのに使用したテンプレートに対応する。そうでなければ、処理は呼出しルーチン(例えば工程1204または工程1208)に戻る。
【0063】
図13は、別の実施形態に従って胸部X線写真のPA像または側面像のいずれかを正しく識別するための全体的方式を示すフローチャートである。図13では、工程1302で不明の像のデジタル胸部画像が得られる。工程1304で、デジタル画像は、例えば裁断、補間、副標本化等の技術を用いてサイズを(例えば16×16のマトリックスへ)縮小される。工程1306で、縮小画像と対応する画像サイズの側面像およびPA像のテンプレートとの間の相関値(CVlatおよびCVpa)がそれぞれ決定される。工程1308で、相関値CVlatおよびCVpaが所定のしきい値TH3(例えば0.5)より大きいか等しいかどうかが決定される。CVlatまたはCVpaがTH3より大きいか等しい場合、|CVpa−CVlat|が所定のしきい値TH4(例えば0.2)より大きいか等しいかどうかが決定される。
【0064】
|CVpa−CVlat|が所定のしきい値TH4(例えば0.2)より大きいか等しい場合、工程1316で、画像の正しい像は、CVpaおよびCVlatの間で最大の相関値を生じるテンプレート像に属すると決定される。|CVpa−CVlat|が所定のしきい値TH4(例えば0.2)より大きくも等しくもない場合、縮小画像と対応する画像サイズの小柄の患者のPA像、小柄の患者の側面像、大柄の患者のPA像、および大柄の患者の側面像のテンプレートとの間の相関値(CVspa、CVslat、CVlpaおよびCVllat)が工程1318でそれぞれ決定される。次いで処理は工程1316に戻り、そこで画像の正しい像は、CVspa、CVslat、CVlpaおよびCVllatの間で最大相関値を生じるテンプレート像に属すると決定される。
【0065】
CVlatまたはCVpaのどちらもTH3より大きくも等しくもない場合、アーチファクト除去処理(例えば辺縁画素除去を使用して)が工程1310で実行される。工程1310で、辺縁画素を除去したPA像および側面像テンプレート(例えば2×12のマトリックスを使用する)を使用して、辺縁画素を除去した画像(例えば12×12マトリックスを使用する)間の相関値(CVpasおよびCVlats)が決定される。次いで、工程1314で、相関値CVpasまたはCVlatsが所定のしきい値TH5(例えば0.5)より大きいかまたは等しいかどうか、および|CVpas−CVlats|が所定のしきい値TH6(例えば0.2)より大きいかまたは等しいかどうかが決定される。これらの条件が両方とも満たされると、処理は工程1316に戻り、そこで、画像の正しい像は、CVpasおよびCVlatsの中で最大の相関値を生じるテンプレート像に属すると決定される。
【0066】
相関値CVpasまたはCVlatsが所定のしきい値TH5(例えば0.5)より大きくも等しくもない場合、あるいは|CVpas−CVlats|が所定のしきい値TH6(例えば0.2)より大きくも等しくもない場合、工程1320でさらなる処理が実行される。工程1320で、縮小画像と対応する画像サイズの小柄患者のPA像、小柄患者の側面像、大柄患者のPA像、および大柄患者の側面像のテンプレートとの間の相関値(CVspas、CVslats、CVlpasおよびCVllats)がそれぞれ決定される。次いで処理は工程1316に戻り、そこで画像の正しい像はCVspas、CVslats、CVlpasおよびCVllatsの中で最大相関値を生じるテンプレート像に属すると決定される。
【0067】
図14は、本発明の教示に従ってプログラムすることのできる汎用コンピュータ1400の略図である。図14で、コンピュータ1400は本発明のプロセスを実現するものであり、該コンピュータは、適切な装置バス(例えばSCSIバス、拡張IDEバス、ウルトラDMAバス、PCIバス等)を使用して接続された例えばディスプレイ装置1402(例えばタッチスクリーンインタフェース付きタッチスクリーンモニタ等)、キーボード1404、ポインティング装置1406、マウスパッドまたはデジタル化パッド1408、ハードディスク1410または他の固定高密度媒体ドライブ、フロッピードライブ1412、テープまたはCD−ROMドライブ1414とテープまたはCD媒体1416、または光磁気媒体などその他の取外し可能な媒体装置、ならびにマザーボード1418を含む。マザーボード1418は、例えばプロセッサ1420、RAM1422、およびROM1424(例えばDRAM、ROM、EPROM、EEPROM、SRAM、SDRAM、およびフラッシュRAM等)、音声処理、画像処理、信号処理、ニューラルネットワーク処理、自動分類等の特殊化されたハードウェア/ソフトウェア機能を実行するための画像収集装置および任意選択的専用論理装置(例えばASIC等)または構成可能な論理装置(例えばGALおよび際プログラム可能FPGA)1428に連結するために使用することのできるI/Oポート1426、マイクロホン1430、ならびにスピーカ(単数または複数)1432を含む。
【0068】
上述の通り、システムは少なくとも1つのコンピュータ可読媒体を含む。コンピュータ可読媒体の例はコンパクトディスク、ハードディスク、フロッピーディスク、テープ、光磁気ディスク、PROM(EPROM、EEPROM、フラッシュEPROM)、DRAM、SRAM、SDRAM等である。コンピュータ可読媒体のいずれか1つまたは組合せに格納される本発明は、コンピュータ1400のハードウェアを制御するため、およびコンピュータ1400が人間のユーザと対話することを可能にするための両方のソフトウェアを含む。そのようなソフトウェアは、装置ドライバ、オペレーティングシステム、および開発ツールなどのユーザアプリケーションを含むが、それらに限定されない。そのようなコンピュータ可読媒体は、上述した本発明に係るプロセスのいずれかを実行するための本発明のコンピュータプログラム製品をさらに含む。本発明のコンピュータコード装置は、スクリプト、インタプリタ、ダイナミックリンクライブラリ、Javaクラス、およびコンピュータ実行可能プログラム等を含むがそれらに限定されないいずれかの解釈型または実行可能なコードメカニズムとすることができる。
【0069】
汎用コンピュータ1400のプログラミングは、例えば画像アーカイブ通信システム(PACS)から得られた画像から導出されるデジタルデータを処理するように実現される。代替的に、本発明はまた、汎用コンピュータ1400のプログラミングによって、画像収集装置から得られた画像をデジタル化し格納するためのソフトウェアモジュールを含むよう実現することができる。言い換えると、処理されるデジタル画像はデジタル形式では存在しないかもしれず、発明を実現する際にデジタル形式に変換する必要があるかもしれない。
【0070】
したがって、本発明に記載されるメカニズムおよびプロセスは、本明細書の教示に従ってプログラムされた汎用マイクロプロセッサまたはコンピュータを用いて実現することができる。適切なソフトウェアコーディングは、本開示の教示に基づいて、コンピュータ技術の通常の熟練プログラマによって容易に作成することができる。しかし、本発明はまた、アプリケーション特定的な集積回路の作製によって、あるいは従来のコンポーネント回路の適切なネットワークを相互接続することによっても実現することができる。
【0071】
したがって本発明は、記憶媒体に格納することができ、かつ本発明に係るプロセスを実行するように汎用マイクロプロセッサまたはコンピュータをプログラムするために使用できる命令を含むコンピュータ利用製品をも含む。この記憶媒体は、フロッピーディスク、光ディスク、CD−ROM、光磁気ディスク、ROM、RAM、EPROM、EEPROM、フラッシュメモリ、磁気または光カードを含む任意の種類のディスク、または電子命令を格納するのに適した任意の種類の媒体を含むことができるが、それらに限定されない。
【0072】
要約すると、画像アーカイブ通信システム(PACS)に多くの画像を格納するためには、画像を適切な患者のフォルダなど正しい場所に格納することが重要である。しかし、識別番号または患者名など、画像に関連付けられる患者情報が間違って入力された場合、このエラーを見つけることは困難である。日課の画像解釈中に、放射線医が往々にして所定の患者の一連の画像中に表示された間違った患者の画像に気付くことは珍しくない。したがって、間違った画像が間違った患者フォルダに格納される前に是正措置を講じることができるように、患者IDが画像収集システムで得られた画像に取り付けられた直後に間違った患者の画像を発見することが望ましい。一実施形態では、本発明はPACS環境で胸部X線写真に重点を置き、現行および前回胸部X線写真を比較する画像マッチング技術を使用することによって患者を識別する自動化方法を実現する。この手法の目標は、現行画像がPACS環境で所定の患者の前回の胸部X線写真と一致しない場合に、技師または放射線科医に警報を出すことである。そのような不整合を識別するために、現行画像と前記画像との間の相互参照値が決定される。2つの画像間の最良の合致を決定するために、現行画像を水平および垂直方向に移動し、次いで回転する。現行および前記画像を入手できた1000名の患者について得られた2000枚の胸部X線写真(例えば後前方向像)を使用した。同一患者の前回および現行画像間の相関値は一般的に、異なる患者のそれより大きいことが明らかになった。予備的結果は、本発明に係る方法により、不整合の「間違った」画像の50%を超える分が正しく識別できることを示した。患者識別のためのこの自動化方法は、PACS環境で格納されている間違った画像を突き止めるのに役立つであろう。
【0073】
本発明の別の実施形態では、画像アーカイブ通信システム(PACS)またはデジタルアーカイブシステムで、胸部X線写真の画像の後前方向(PA)または側面の像を識別する情報がしばしば記録されず、あるいは間違って記録される。しかし、コンピュータ支援診断のための胸部画像の定量分析のためには、像がPA像か側面像かを正しく識別する必要がある。本発明は、胸部X線写真のPA像か側面像かを正しく識別するためのコンピュータ化方法を提供する。全体的な手法は、PAまたは側面像の平均的胸部画像を表わすテンプレートと胸部画像の類似性を検討するものである。テンプレートマッチング技術の使用により、胸部画像がPAまたは側面像のいずれであるかを決定するための相関値が得られる。PAおよび側面像のテンプレートは、200枚のPAおよび200枚の側面胸部画像から作成される。第1処理工程で、390枚(97.5%)の画像が、2つのテンプレートにより得られた相関値の比較によって正しく識別される。第1処理工程で10枚の識別不能な画像の詳細な分析から、患者の大きさの変動が一般的に、相関値の低下の主な原因であることが明らかになっている。したがって、PA像および側面像による小柄の患者用および側面像による大柄の患者用の3つの追加テンプレートを使用する。第2処理工程で、追加の3つの添付による相関値を比較し、残りの識別不能な画像(2.5%)の全部が正しく識別される。この方法で一般的に使用できる最小マトリックスサイズは16×16であり、テンプレートを作成するために少なくとも16枚の画像を使用しなければならない。しかし、前述の通り、他の画像データベースに適用されたときに全体的な画像識別性能を高めることのできる大柄の患者用のPAテンプレート、および大柄の肥満した患者など例外的な画像用の追加の特殊テンプレート、ならびに片肺だけの患者、外観を損ねる胸部外傷のため集中治療ユニットにいる患者などの非常に例外的な胸部画像など、追加のテンプレートを作成することができる。
【0074】
本発明をX線写真画像のPAおよび側面像の識別に関して説明したが、本発明は、腹部画像、頭蓋の画像、四肢の画像、CT画像、超音波画像、MRI画像等、医療画像のコンピュータ解析が実行される他の画像を識別するために実現することができる。
【0075】
PA像、側面像、小柄患者のPA像、小柄患者の側面像、大柄患者のPA像、大柄患者の側面像、および肥満患者のPA像のためのテンプレートを使用してX線写真画像のPAおよび側面像を識別することに関して本発明を説明したが、本発明は、肥満患者の側面像、片肺だけの患者、外観を損ねる胸部外傷のため集中治療ユニットにいる患者などの非常に例外的な胸部画像等を使用して実現することができる。
【0076】
アーチファクト除去のために辺縁画素を除去することによって縮小したマトリックスサイズを使用することに関して本発明を説明したが、本発明は、計算時間を短縮するために辺縁画素を除去することによって縮小したマトリックスサイズを使用して実現することができる。
【0077】
計算時間を短縮するために例えば副標本化および双方向補間技術を使用することによってマトリックスサイズを短縮することに関して本発明を説明したが、本発明は、識別する画像の特定の用途に適するように計算時間をさらに短縮するために、例えば副標本化および双方向補間技術を使用して短縮マトリックスサイズを使用して実現することができる。
【0078】
上記の教示に照らして本発明の多くの変化例および変形例が可能である。したがって、請求の範囲内で本発明はここに特に記載した以外の方法でも実現できることを理解されたい。
【0079】
引用文献のリスト
[1]. Xu XW, Doi K, Kobayashi T, MacMahon H, Giger ML: Development of an improved CAD scheme for automated detection of lung nodules in digital chest images. Med Phys 24:1395−1403, 1997.
[2]. Xu X−W, Katsuragawa S, Ashizawa K, MacMahon H, Doi K: Analysis of image features of histograms of edge gradient for false positive reduction in lung nodule detection in chest radiographs. Proc SPIE 3338: 318−326, 1998.
[3]. Katsuragawa S, Doi K, MacMahon H, Monnier−Cholley L, Morishita J, Ishida T: Quantitative analysis of geometric−pattern features of interstitial infiltrates in digital chest radiographs. J Dig Imaging 9:137−144, 1996.
[4]. Ishida T, Katsuragawa S, Ashizawa K, MacMahon H, Doi K: Application of artificial neural networks for quantitative analysis of image data in chest radiographs for detection of interstitial lung disease. J Dig Imaging 11:182−192, 1998.
[5]. Kane A, Doi K, MacMahon H, Hassell DD, Giger ML: Digital image subtraction of temporally sequential chest images for detection of interval change. Med Phys 21: 453−461, 1994.
[6]. Ishida T, Katsuragawa S, Nakamura K, MacMahon H, Doi K: Iterative image warping technique for temporal subtraction of sequential chest radiographs to detect interval change. Med Phys 26: 1320−1329, 1999.
[7]. Armato SG, Giger ML, MacMahon H: Automated lung segmentation in digitized posteroanterior chest radiographs. Acad Radiol 5: 245−255, 1998.
[8]. Armato SG, Giger ML, Ashizawa K, MacMahon H: Automated lung segmentation in digital lateral chest radiographs. Med Phys 25: 1507−1520, 1998.
[9]. Harreld MR, Marovic B, Neu S, Valentino DJ: Automatic labeling and orientation of chest CRs using neural networks. Radiology 213(P): 321, 1999 (abstract).
[10]. Shiraishi J, Katsuragawa S, Ikezoe J, Matsumoto T, Kobayashi T, Komatsu K, Matsui M, Fujita H, Kodera Y, Doi K: Development of a digital image database for chest radiographs with and without a lung nodule: ROC analysis on radiologists’ performance in detection of pulmonary nodules. AJR 174: 71−74, 2000.
【図面の簡単な説明】
【図1】
現行および前回胸部X線写真間の比較のための画像マッチング技術を使用することによって、現行および前回胸部X線画像を同一患者に属するものとして識別するための自動化方法を示すフローチャートである。
【図2】
同一患者および異なる患者の現行および前回画像で得た相関値のヒストグラムを示すグラフである。
【図3】
図1の方法に従って前回胸部X線写真と比較するために画像マッチング技術を使用することによって患者を識別するための患者認識システムのROC曲線を示すグラフである。
【図4】
256×256マトリックスサイズのPA像および側面像の2つのテンプレートで全ての胸部画像に対して得られた相関値を示すグラフである。
【図5】
それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e,f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含むPA像のテンプレートおよび胸部画像を示す画像である。
【図6】
それぞれ4種類のマトリックスサイズ(すなわち64×64、32×32、16×16、および8×8)のテンプレート(a、b、cおよびd)、小柄の患者の胸部画像(e,f、gおよびh)、ならびに平均的大きさの患者の胸部画像(i、j、kおよびl)を含む側面像のテンプレートおよび胸部画像を示す画像である。
【図7】
4×4のマトリックスサイズの胸部画像のPA像および側面像の全ての画像と2つのテンプレートとの間の相関値を示すグラフである。
【図8】
胸部画像のPA像と側面像との間の弁別のための第1処理工程で識別不能な画像の数および第2処理工程で誤って識別された画像の数に対する画像マトリックスサイズの効果を示すグラフである。
【図9】
テンプレートが無作為に選択された16枚の画像から生成され、マトリックスサイズが16×16である場合の全ての画像とテンプレートとの間の相関値を示すグラフである。
【図10】
胸部画像のPA像と側面像との間の弁別のための第1処理工程で識別不能な画像の数および第2処理工程で誤って識別された画像の数に対する、テンプレートを生成するために使用した画像の数の効果を示すグラフである。
【図11】
PA胸部画像の周縁にアーチファクトがある場合および無い場合の胸部画像の相関値に対する縮小マトリックスサイズの効果を示すグラフである。
【図12a】
本発明の実施形態に従って胸部X線写真のPA像または側面像のいずれかを正確に識別するためのスキーム全体を示すフローチャートである。
【図12b】
本発明の実施形態に係る任意選択的アーチファクト処理手順を示すフローチャートである。
【図13】
本発明の別の実施形態に従って、胸部X線写真のPA像または側面像のいずれかを正確に識別するためのスキーム全体を示すフローチャートである。
【図14】
本発明の教示に従ってプログラムできる汎用コンピュータの略図である。
【符号の説明】
1400…汎用コンピュータ 1402…ディスプレイ装置
Claims (34)
- 所定の画像データを識別するためのコンピュータ自動化方法であって、
前記所定の画像データに対応するテンプレート画像データを得る工程と、
前記所定の画像データと前記テンプレート画像データとの間の相関値を計算する工程と、
前記計算工程で計算された相関値に基づいて前記画像データを識別する工程とを含む方法。 - 前記データを得る工程が、
前記所定の画像データと同一患者からより以前の時間に導出されたと言われる時相画像データを得る工程
を含む、請求項1に記載の方法。 - 前記データを得る工程が、
前記得られた時相画像データのマトリックスサイズを縮小して縮小サイズのマトリックス画像を生成し、かつ前記縮小サイズのマトリックス画像を前記テンプレート画像データとして使用する工程
を含む、請求項2に記載の方法。 - 前記計算工程が、
a)前記所定の画像データおよび前記テンプレート画像データに基づいて相関値を計算する工程と、
b)前記所定の画像データおよび前記テンプレート画像データの一方を水平方向および垂直方向に少しづつ移動させ、各増分移動ごとにそれらの間の相関値を計算する工程と、
c)工程a)およびb)で計算された相関値に基づいて、前記所定の画像データと前記テンプレート画像データとの間の第1最良合致を決定する工程と、
d)前記所定の画像データおよび前記第1最良合致を生じた前記テンプレート画像データの一方を少しづつ回転させ、各回転増分ごとにそれらの間の相関値を計算する工程と、
e)工程d)で計算された相関値に基づいて、前記所定の画像データと前記テンプレート画像との間の第2最良合致を決定する工程と
を含み、
前記識別工程が、前記第2最良合致に対応する相関値に基づいて前記画像データを識別することを含む
請求項1に記載の方法。 - 前記計算工程が、
a)前記所定の画像データおよび前記テンプレート画像データに基づいて相関値を計算する工程と、
b)前記所定の画像データおよび前記テンプレート画像データの一方を水平方向および垂直方向に少しづつ移動させ、各増分移動ごとにそれらの間の相関値を計算する工程と、
c)工程a)およびb)で計算された相関値に基づいて、前記所定の画像データと前記テンプレート画像データとの間の第1最良合致を決定する工程と、
d)前記所定の画像データおよび前記第1最良合致を生じた前記テンプレート画像データの一方を少しづつ回転させ、各回転増分ごとにそれらの間の相関値を計算する工程と、
e)工程d)で計算された相関値に基づいて、前記所定の画像データと前記テンプレート画像との間の第2最良合致を決定する工程と
を含み、
前記識別工程が、前記第2最良合致に対応する相関値に基づいて前記画像データを識別することを含む
請求項2に記載の方法。 - 前記計算工程が、
a)前記所定の画像データおよび前記テンプレート画像データに基づいて相関値を計算する工程と、
b)前記所定の画像データおよび前記テンプレート画像データの一方を水平方向および垂直方向に少しづつ移動させ、各増分移動ごとにそれらの間の相関値を計算する工程と、
c)工程a)およびb)で計算された相関値に基づいて、前記所定の画像データと前記テンプレート画像データとの間の第1最良合致を決定する工程と、
d)前記所定の画像データおよび前記第1最良合致を生じた前記テンプレート画像データの一方を少しづつ回転させ、各回転増分ごとにそれらの間の相関値を計算する工程と、
e)工程d)で計算された相関値に基づいて、前記所定の画像データと前記テンプレート画像との間の第2最良合致を決定する工程と
を含み、
前記識別工程が、前記第2最良合致に対応する相関値に基づいて前記画像データを識別することを含む
請求項3に記載の方法。 - 前記識別工程が、
前記テンプレート画像データが導出されたのと同一患者から前記所定の画像データが導出されたかどうかを識別する工程を含む
請求項1、2、3、4、5、6のいずれかに記載の方法。 - 前記識別工程が、
前記テンプレート画像データが導出されたのと同一解剖学的構造から前記所定の画像データが導出されたかどうかを識別する工程を含む
請求項1、2、3、4、5、6のいずれかに記載の方法。 - 前記テンプレート画像データを得る工程が、同一解剖学的構造の第1および第2像に対応する第1および第2テンプレート画像データを得る工程を含み、
前記計算工程が、前記画像データと前記第1および第2テンプレート画像データとの間の相関値を計算する工程を含み、
前記識別工程が、前記計算工程で得られた相関値に基づいて前記所定の画像データを前記第1および第2像の一方に対応すると識別する工程を含む
請求項1に記載の方法。 - 患者の原画像データを得る工程と、
前記原画像データのマトリックスサイズを縮小して前記所定の画像データを生成する工程と
を含む、請求項9に記載の方法。 - 前記テンプレート画像データを得る工程が、
複数の画像から導出された平均画像データに対応するテンプレート画像データを得る工程
を含む、請求項1に記載の方法。 - 前記テンプレート画像データを得る工程が、
複数の画像から導出された平均画像データに対応する第1および第2テンプレート画像データを得る工程
を含む、請求項9に記載の方法。 - 前記テンプレート画像データを得る工程が、PA像および側面像にそれぞれ対応する第1および第2テンプレート画像を得る工程を含み、
前記計算工程が、前記第1および第2テンプレートと前記所定の画像データとの間の相関値を計算する工程を含み、
前記識別工程が、前記計算工程で得られた相関値を考慮に入れて前記所定の画像データがPA像または側面像に対応するかを識別することを含む
請求項9に記載の方法。 - 複数のテンプレート画像データを得る前記工程が、平均的大きさの患者、小柄の患者、および大柄の患者のPA像および側面像にそれぞれ対応する第1および第2テンプレート画像データを得ることを含み、
相関値を計算する前記工程が、前記所定の画像データと前記得られた第1および第2テンプレート画像データとの間の第1および第2相関値を計算する工程を含む
請求項9に記載の方法。 - 前記識別工程が、
前記第1および第2相関値を第1しきい値とおよび相互に比較する工程と、
前記相関値の一方が前記第1しきい値を超え、かつ他方の相関値より第1所定の量だけ大きい場合には、前記所定の画像データが前記第1および第2テンプレート画像データのどちらか前記相関値の前記一方を生じた方の像に対応することを決定する工程と
を含む、請求項14に記載の方法。 - 前記第1および第2相関値の一方が第1しきい値を超えるが、前記第1所定の量だけ他方の相関値より大きい値を持たない場合、前記方法はさらに、
小柄の患者のPAおよび側面像にそれぞれ対応する第3および第4テンプレート画像データ、および大柄の患者のPAおよび側面像にそれぞれ対応する第5および第6テンプレート画像データを得る工程と、
前記所定の画像データと前記第3、第4、第5および第6テンプレート画像データとの間の第3、第4、第5および第6相関値をそれぞれ計算する工程と、
第3から第6相関値のうちのどれが最大であるかを決定し、前記所定の画像データを前記最大相関値を生じたテンプレート画像データの像に対応すると識別する工程と
を含む、請求項15に記載の方法。 - 前記第1および第2相関値がどちらも第1しきい値を超えない場合、前記方法はさらに、
前記所定の画像データならびに前記第1および第2テンプレート画像データから辺縁画素を除去して、縮小された所定の画像データおよび縮小された第1および第2テンプレート画像データを生成する工程と、
前記縮小された所定の画像データと前記縮小された第1および第2テンプレート画像データとの間の第3および第4相関値を計算する工程と
を含み、
前記識別工程が、
前記第3および第4相関値を第2しきい値とおよび相互に比較する工程と、
前記第3および第4相関値の一方が前記第2しきい値を超え、かつ前記第3および第4相関値の他方より第2の所定量だけ大きい場合、前記所定の画像データが前記縮小された第1および第2テンプレート画像データのいずれか、前記第3および第4相関値の前記一方を生じた方の像に対応すると決定する工程と
を含む、請求項15に記載の方法。 - 前記第3および第4相関値の一方が前記第2しきい値を超えるが、前記第3および第4相関値の他方より第2の所定量だけ大きくない場合、前記方法はさらに、
小柄の患者のPAおよび側面像にそれぞれ対応する第3および第4テンプレート画像データ、ならびに大柄の患者のPAおよび側面像にそれぞれ対応する第5および第6テンプレート画像データを得る工程と、
前記第3から第6テンプレート画像データから辺縁画素を除去して、縮小された第3から第6テンプレート画像データを得る工程と、
前記縮小された所定の画像データと前記縮小された第3、第4、第5および第6テンプレート画像データとの間で第5、第6、第7および第8相関値をそれぞれ計算する工程と、
第5から第8相関値のうちのどれが最大であるかを決定し、前記所定の画像データを前記第5から第8相関値のうちの前記最大値を生じた前記縮小された第3から第4テンプレート画像データの像に対応すると識別する工程と
を含む、請求項17に記載の方法。 - 患者の原画像データを得る工程と、
前記原画像データのマトリックスサイズを縮小して前記所定の画像データを生成する工程と
を含む、請求項14に記載の方法。 - 前記画像データを得る工程が、
複数の画像から導出された平均画像データに対応する第1および第2テンプレート画像データを得る工程
を含む、請求項14に記載の方法。 - 前記画像データを得る工程が、
複数の画像から導出された平均画像データに対応する第1および第2テンプレート画像データを得る工程
を含む、請求項15に記載の方法。 - 前記複数のテンプレート画像データを得る工程が、頭蓋の第1および第2像に対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 前記複数のテンプレート画像データを得る工程が、手の第1および第2像に対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 前記複数のテンプレート画像データを得る工程が、足の第1および第2像に対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 前記複数のテンプレート画像データを得る工程が、腹部の第1および第2像に対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 前記複数のテンプレート画像データを得る工程が、第1および第2超音波データに対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 前記複数のテンプレート画像データを得る工程が、第1および第2コンピュータ断層撮影(CT)データに対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 前記複数のテンプレート画像データを得る工程が、第1および第2磁気共鳴画像(MRI)データに対応する第1テンプレート画像データを得ることを含む、請求項9に記載の方法。
- 請求項1から6および9から28のいずれか一項に記載の工程を実行するように構成された画像処理システム。
- 請求項7に記載の工程を実行するように構成された画像処理システム。
- 請求項8に記載の工程を実行するように構成された画像処理システム。
- 請求項1から6および9から28のいずれか一項に記載の工程を実行するためのプログラムを格納する記憶媒体。
- 請求項7に記載の工程を実行するためのプログラムを格納する記憶媒体。
- 請求項8に記載の工程を実行するためのプログラムを格納する記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US19307200P | 2000-03-28 | 2000-03-28 | |
PCT/US2001/008626 WO2001073682A1 (en) | 2000-03-28 | 2001-03-28 | Method, system and computer readable medium for identifying chest radiographs using image mapping and template matching techniques |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004509655A true JP2004509655A (ja) | 2004-04-02 |
Family
ID=22712174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001571325A Pending JP2004509655A (ja) | 2000-03-28 | 2001-03-28 | 画像マッピングおよびテンプレートマッチング技術を使用して胸部x線写真を識別するための方法、システム、およびコンピュータ可読媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6836558B2 (ja) |
JP (1) | JP2004509655A (ja) |
AU (1) | AU2001249248A1 (ja) |
WO (1) | WO2001073682A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009533089A (ja) * | 2006-04-07 | 2009-09-17 | エセックス パ エルエルシー | 生体測定識別 |
JP2010194086A (ja) * | 2009-02-25 | 2010-09-09 | Konica Minolta Medical & Graphic Inc | 医用画像表示装置及びプログラム |
KR101274530B1 (ko) | 2011-07-29 | 2013-06-13 | 주식회사 모든넷 | 이미지 정합 기반 흉부영상 진단 시스템 및 방법 |
JP2017202315A (ja) * | 2016-05-09 | 2017-11-16 | 東芝メディカルシステムズ株式会社 | 医用画像診断装置 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1338129B1 (en) * | 2000-09-02 | 2006-11-29 | Emageon, Inc. | Method and communication module for transmission of dicom objects through data element sources |
JP3766033B2 (ja) * | 2001-04-25 | 2006-04-12 | 富士写真フイルム株式会社 | 画像処理方法および装置並びにプログラム |
US6901277B2 (en) * | 2001-07-17 | 2005-05-31 | Accuimage Diagnostics Corp. | Methods for generating a lung report |
US7130457B2 (en) * | 2001-07-17 | 2006-10-31 | Accuimage Diagnostics Corp. | Systems and graphical user interface for analyzing body images |
WO2003046800A1 (en) * | 2001-11-21 | 2003-06-05 | Software Engineering 2000, Inc. | System process and logic element for providing and managing record keeping applications |
US8929620B2 (en) * | 2002-11-01 | 2015-01-06 | General Electric Company | Method and apparatus for simultaneous acquisition of multiple examination data |
US7251353B2 (en) * | 2002-11-26 | 2007-07-31 | University Of Chicago | Automated method of patient recognition using chest radiographs |
JP4250476B2 (ja) * | 2003-07-03 | 2009-04-08 | キヤノン株式会社 | 放射線画像処理装置、放射線画像処理方法、コンピュータプログラムおよびその記録媒体 |
US7492931B2 (en) * | 2003-11-26 | 2009-02-17 | Ge Medical Systems Global Technology Company, Llc | Image temporal change detection and display method and apparatus |
US8442280B2 (en) * | 2004-01-21 | 2013-05-14 | Edda Technology, Inc. | Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading |
JP2005334298A (ja) * | 2004-05-27 | 2005-12-08 | Fuji Photo Film Co Ltd | 異常陰影検出方法および装置並びにプログラム |
US20060018524A1 (en) * | 2004-07-15 | 2006-01-26 | Uc Tech | Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT |
US7352888B2 (en) | 2004-07-30 | 2008-04-01 | Carestream Health, Inc. | Method for computer recognition of projection views and orientation of chest radiographs |
WO2007078258A1 (en) * | 2006-01-06 | 2007-07-12 | Agency For Science, Technology And Research | Obtaining a threshold for partitioning a dataset based on class variance and contrast |
US20080161674A1 (en) * | 2006-12-29 | 2008-07-03 | Donald Martin Monro | Active in vivo spectroscopy |
US20080253693A1 (en) * | 2007-04-10 | 2008-10-16 | Chu Jeff I | Method and system for pre-fetching relevant imaging information from multiple healthcare organizations |
JP2008259682A (ja) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | 部位認識結果修正装置、方法、およびプログラム |
US7949172B2 (en) * | 2007-04-27 | 2011-05-24 | Siemens Medical Solutions Usa, Inc. | Iterative image processing |
US8107699B2 (en) * | 2007-08-08 | 2012-01-31 | Siemens Medical Solutions Usa, Inc. | Feature processing for lung nodules in computer assisted diagnosis |
JP2010134700A (ja) * | 2008-12-04 | 2010-06-17 | Toshiba Corp | 画像評価装置および画像評価方法 |
DE102010012796A1 (de) * | 2010-03-25 | 2012-01-19 | Siemens Aktiengesellschaft | Medizinische Aufnahme verarbeitendes System sowie Verfahren |
US20130072795A1 (en) * | 2011-06-10 | 2013-03-21 | Ruoli Mo | Apparatuses and methods for user interactions during ultrasound imaging |
US10275877B2 (en) | 2015-06-12 | 2019-04-30 | International Business Machines Corporation | Methods and systems for automatically determining diagnosis discrepancies for clinical images |
US20180322627A1 (en) * | 2017-05-05 | 2018-11-08 | General Electric Company | Methods and systems for acquisition of medical images for an ultrasound exam |
US10832808B2 (en) | 2017-12-13 | 2020-11-10 | International Business Machines Corporation | Automated selection, arrangement, and processing of key images |
US10803564B2 (en) * | 2018-08-17 | 2020-10-13 | Shimadzu Corporation | Image processing apparatus, program, and radiation imaging apparatus |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4459359A (en) | 1981-11-19 | 1984-07-10 | New York Blood Center, Inc. | Sensitive immunoassays of antigens or antibodies sequestered within immune complexes |
US4687734A (en) | 1984-06-07 | 1987-08-18 | Chester Samuel J | Immunoassay for the detection of human colon cancer using a polyclonal antibody derived from a capillary culture of tumor cells |
DE69021547T2 (de) | 1990-02-16 | 1996-01-18 | Rolls Royce Plc | Vorrichtung und Verfahren zum Feststellen der Echtheit der Handschrift einer Person. |
US5295200A (en) | 1991-01-09 | 1994-03-15 | Board Of Regents, The University Of Texas System | Method and apparatus for determining the alignment of an object |
US5556745A (en) | 1994-06-03 | 1996-09-17 | Sch+E,Uml U+Ee Pbach; J+E,Uml O+Ee Rg | Method for the detection and quantitative determination of antigen in a test sample containing immune complexes of antigen bound to antibodies and to rheumatoid factors |
US5809171A (en) * | 1996-01-05 | 1998-09-15 | Mcdonnell Douglas Corporation | Image processing method and apparatus for correlating a test image with a template |
US6173068B1 (en) | 1996-07-29 | 2001-01-09 | Mikos, Ltd. | Method and apparatus for recognizing and classifying individuals based on minutiae |
US5982915A (en) * | 1997-07-25 | 1999-11-09 | Arch Development Corporation | Method of detecting interval changes in chest radiographs utilizing temporal subtraction combined with automated initial matching of blurred low resolution images |
-
2001
- 2001-03-26 US US09/816,217 patent/US6836558B2/en not_active Expired - Fee Related
- 2001-03-28 JP JP2001571325A patent/JP2004509655A/ja active Pending
- 2001-03-28 AU AU2001249248A patent/AU2001249248A1/en not_active Abandoned
- 2001-03-28 WO PCT/US2001/008626 patent/WO2001073682A1/en active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009533089A (ja) * | 2006-04-07 | 2009-09-17 | エセックス パ エルエルシー | 生体測定識別 |
JP2010194086A (ja) * | 2009-02-25 | 2010-09-09 | Konica Minolta Medical & Graphic Inc | 医用画像表示装置及びプログラム |
KR101274530B1 (ko) | 2011-07-29 | 2013-06-13 | 주식회사 모든넷 | 이미지 정합 기반 흉부영상 진단 시스템 및 방법 |
JP2017202315A (ja) * | 2016-05-09 | 2017-11-16 | 東芝メディカルシステムズ株式会社 | 医用画像診断装置 |
Also Published As
Publication number | Publication date |
---|---|
AU2001249248A1 (en) | 2001-10-08 |
WO2001073682A1 (en) | 2001-10-04 |
US20020021829A1 (en) | 2002-02-21 |
US6836558B2 (en) | 2004-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004509655A (ja) | 画像マッピングおよびテンプレートマッチング技術を使用して胸部x線写真を識別するための方法、システム、およびコンピュータ可読媒体 | |
US20050111757A1 (en) | Auto-image alignment system and method based on identified anomalies | |
US8144959B2 (en) | Facilitating temporal comparison of medical images | |
US6470092B1 (en) | Process, system and computer readable medium for pulmonary nodule detection using multiple-templates matching | |
US8031917B2 (en) | System and method for smart display of CAD markers | |
Mazurowski et al. | Mutual information-based template matching scheme for detection of breast masses: From mammography to digital breast tomosynthesis | |
US7796793B2 (en) | Determining mammographic image view and laterality | |
US7519207B2 (en) | Detection and correction method for radiograph orientation | |
US7664302B2 (en) | Simultaneous grayscale and geometric registration of images | |
US20090074276A1 (en) | Voxel Matching Technique for Removal of Artifacts in Medical Subtraction Images | |
EP2631873B1 (en) | Image alignment of breast images | |
JP2009531129A (ja) | 胸部側面の放射線画像上の脊椎骨折を検出するための方法 | |
Suri et al. | Vertebral deformity measurements at MRI, CT, and radiography using deep learning | |
US7251353B2 (en) | Automated method of patient recognition using chest radiographs | |
Arimura et al. | Development of a computerized method for identifying the posteroanterior and lateral views of chest radiographs by use of a template matching technique | |
Yoshida | Local contralateral subtraction based on bilateral symmetry of lung for reduction of false positives in computerized detection of pulmonary nodules | |
Varghese et al. | Segmentation and three dimensional visualization of mandible using active contour and visualization toolkit in craniofacial computed tomography images | |
JP2010194086A (ja) | 医用画像表示装置及びプログラム | |
Hsu et al. | Development of a deep learning model for chest X-ray screening | |
Nose et al. | A simple method for identifying image orientation of chest radiographs by use of the center of gravity of the image | |
Arimura et al. | Performance evaluation of an advanced method for automated identification of view positions of chest radiographs by use of a large database | |
Souto et al. | A limited PACS dedicated to a research environment. Nine years' experience in Santiago de Compostela | |
JP6845480B2 (ja) | 診断支援装置、方法およびプログラム | |
Suárez-Cuenca et al. | A CAD SCHEME FOR EARLY LUNG CANCER DETECTION IN CHEST RADIOGRAPHY | |
Marques | Clinical Applications of AI in Radiology |