JP2012030072A - 医用画像処理方法、記録媒体、及び医用画像処理装置 - Google Patents

医用画像処理方法、記録媒体、及び医用画像処理装置 Download PDF

Info

Publication number
JP2012030072A
JP2012030072A JP2011164523A JP2011164523A JP2012030072A JP 2012030072 A JP2012030072 A JP 2012030072A JP 2011164523 A JP2011164523 A JP 2011164523A JP 2011164523 A JP2011164523 A JP 2011164523A JP 2012030072 A JP2012030072 A JP 2012030072A
Authority
JP
Japan
Prior art keywords
image data
data set
atlas
atlases
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011164523A
Other languages
English (en)
Other versions
JP5718760B2 (ja
Inventor
Akinola Akinyemi
アキノラ・アキニム
Ian Poole
イアン・プール
Costas Plakas
コスタス・プラケス
Jim Piper
ジム・パイパー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of JP2012030072A publication Critical patent/JP2012030072A/ja
Application granted granted Critical
Publication of JP5718760B2 publication Critical patent/JP5718760B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/922—Computer assisted medical diagnostics including image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/923—Computer assisted medical diagnostics by comparison of patient data to other data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/92—Computer assisted medical diagnostics
    • Y10S128/923—Computer assisted medical diagnostics by comparison of patient data to other data
    • Y10S128/924—Computer assisted medical diagnostics by comparison of patient data to other data using artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】セグメンテーションの精度の向上。
【解決手段】複数の候補アトラスの各々について、前記候補アトラスと複数の訓練画像データセットとを位置合わせする。前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算する。前記訓練画像データセットを前記候補アトラスを利用してセグメント化する。前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算する。前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成する。前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する。
【選択図】 図１７

Description

本発明の実施形態は、医用画像処理方法、記録媒体、及び医用画像処理装置に関する。
画像に描出されているオブジェクトをラベル付けする方法は、セグメンテーションと呼ばれている。
例えば、オブジェクトは、ユーザにより手動でラベル付けされる。この手動によるラベル付け方法は、オブジェクトを認識するユーザ（例えば、２次元Ｘ線画像や３次元Ｘ線画像において器官や下部組織を特定する臨床医）の熟練技術を考慮すれば、非常に優れた方法である。
コンピュータ装置により実行される自動画像処理方法は、多数のアプリケーションによりセグメンテーションを実行することにおいて広く利用可能である。
図１は、従来例に係るセグメンテーション処理の典型的な流れを示す図である。
ステップＳＸ１において、患者に関する新規の画像データセットがセグメンテーションのためにコンピュータ装置に入力される。
ステップＳＸ２において、レジストレーションが実行され、新規の画像データセットが参照画像データセットに位置合わせされる。参照画像データセットは、既にセグメンテーションされ、セグメンテーションデータに関連付けて記憶されている。セグメンテーションデータが関連付けられた参照画像データセットは、アトラスデータセット、又は、単にアトラスと呼ばれる。アトラスは、複数のマスク画像を含むセットにセグメンテーションデータを記憶している。マスク画像は、少なくとも１以上のラベル付けされた特徴を示す。ラベル付けされた特徴は、例えば、手動でラベル付けされた解剖学的特長である。この位置合わせ処理は、従来技術において、レジストレーションと呼ばれている。例えば、３次元医用画像の場合、アトラスは、関心のあるラベル付けされた解剖学的領域を有する。解剖学的領域に属する全てのボクセルは、共通のラベルが付されている。典型的には、レジストレーションは、厳密及び非厳密な変換と少なくとも１つの歪み変換とを含む一連の変換により実行される。
ステップＳＸ３において、位置合わせされた新規の画像データセットは、セグメント化される。セグメント化は、ラベルが新規の画像データセットに付される、あるいは、割り付けられることにより行われる。
ステップＳＸ４において、セグメント化された新規の画像データセット、すなわち、新規の画像データセットとそれに関連付けられたセグメンテーションデータとが出力される。３次元医用画像データの場合、新規の画像データセットは、ロードされ、ボリュームレンダリングプログラムにより表示される。これは、セグメンテーションデータに基づく表示パラメータの選択的な設定を許可するために、セグメンテーションデータを利用する。
ボリュームレンダリングは、３次元データセットを２次元で表示するための方法であり、画像診断において広く利用されている。ＭＰＲ（Multi-planar reformatting）は、ボリュームレンダリングの一手法であり、画像診断装置により収集された３次元データセットを処理するために頻繁に利用されている。
３次元画像診断の分野において、全ての新規の画像データセットをセグメント化するために単一のアトラスを利用するのではなく、複数のアトラスをセグメンテーションに利用することが広く知られている。以下、複数のアトラスを利用したセグメンテーションをマルチアトラスセグメンテーションと呼ぶことにする。
マルチアトラスセグメンテーションは、ある種の知的な選択または複数のアトラス間で重み付けをして処理対象の新規の画像データセットについて最良の結果を得るために、または、少なくとも単一のアトラスを利用する場合よりも平均的に良好な結果を得るために、利用される。直感的に、画像診断においてマルチアトラスセグメンテーションの値は、標本となる全ての人間または動物の個体数が連続的になりえないが、例えば、年齢、環境、病理学、または、人種等に基づくグループに分離されないとすれば、評価される。
胸腔中の解剖学的変異は、患者間に存在する相違の良い例である。心肺比率（ＣＴＲ：Cardio-thoracic ratio）は、胸部のＸ線画像について規定され、胸腔の直径に対する心臓の直径の測定値である。ＣＴＲは、心臓病理学における良い指標であることが知られている。ＣＴＲは、病理学に基づいて変化するだけでなく、年齢、体の大きさ、及び人種によっても異なる。
マルチアトラスセグメンテーションのアプリケーションにおいて、セグメンテーションのために単一のアトラスまたは複数のアトラスを選択することは、重要である。器官アトラスの全体的な目標は、解剖学的分類にできるだけ基準的であることである。これは、解剖学的な変異の根本となるため、画像診断解析に問題を提起している。
図２は、従来例に係る、Ｍ個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図である。ここでＭは、２以上の整数であり、典型的には、２，３，４、または５である。
ステップＳＹ１において、患者に関する新規の画像データセットがセグメンテーションのためにコンピュータ装置に入力される。
ステップＳＹ２Ｍにおいて、Ｍ個のアトラスの各々が新規の画像データセットに位置合わせされる。図示されているように、ステップＳ２Ｍの処理は、他のアトラスによる位置合わせに対して独立に行われるため並列的に行われる。
ステップＳＹ３Ｍにおいて、位置合わせされた画像のペアの各々について共通の類似性指標の値（類似値）が計算される。
ステップＳＹ４において、複数の類似値が比較され、複数の類似値に基づいて複数のアトラスのうちの１つのアトラスが選択される。選択されたアトラスは、新規の画像データセットをセグメント化するために利用される。ステップＳＹ４に関して、単一のアトラスを選択せず、複数のアトラスを選択し、ある種の重み付け、または、ボーティングスキーム（voting scheme）を利用する結果を整理し、ボクセル（またはピクセル）のラベル付けを決定するような種々の変形例が知られている。最もよく利用されている類似性指標は、相互情報量（ＭＩ：mutual information）、正規化された相互情報量（ＮＭＩ：normalized mutual information）、及び相互相関（ＣＣ：cross-correlation）である。
ステップＳＹ５において、位置合わせされた新規の画像データセットは、選択されたアトラスを利用してセグメント化される。
ステップＳＹ６において、セグメント化された新規の画像データセット、すなわち、新規の画像データセットとそれに関連付けられたセグメンテーションデータとが出力される。
P.Aljabar、R.A.heckemann、A.Hammers、J.V.Hajnal、及びD.Rueckert、「Multi-atklas based segmentation ob brain images: Atlas selection and its effect on accuracy」、NeuroImage, ２００９年、第４６巻、第３号、ｐ．７２６−７３８ Olivier Commowick 及び Gregoire Malandain、「Efficient selection of the most similar image in a database for critical structures segmentation」、Proc. Medical Image Computing and Computer Assisted Intervention (MICCAI’07)、２００７年１０月 Part II、number 4792、ｐ．２０３−２１０ T.Rohlfing、R,Brandt、R,Menzel、及びC.R.Maurer、「Evaluation of atlas selection strategies for atlas-based image segmentation with application to confocal microscopy images of bee brains」、Neuroimage, ２００４年４月、第２１巻、第４号、ｐ．１４２８−１４４２ Torsten Rohlfing、Rober Brandt、Randolf Menzel、Daniel B.Russakoff、及びCalvin R.Maurer Jr、「Quo vadis atlas-based segmentation?」The Handbook of Medical Image Analysis − Volume III: Registration Models、Kluwer Academic / Plenum Publishers, New York, NY、２００５年８月、第１１章、ｐ．４３５−４８６ Torsten Rohlfing、Daniel B.Russakoff、及びCalvin R.Maurer Jr、「Performance-based classifier combination in atlas-based image segmentation using expectation-maximization parameter estimation」、IEEE Trans.Med.Imag、２００４年、第２３巻、ｐ．９８３−９９４ S.K.Warfield、K.H.Zou、及びW.M.Wells、「Simultaneous truth and performance level estimation(staple): an algorithm for the validation of image segmentation」、IEEE Transaction on Medical Imaging、２００４年、第２３巻、ｐ．９０３−９２１ Minjie Wu、Caterina Rosano、Pilar Lopez-Garcia、Cameron S.Carter、及びHoward J. Aizenstein、「Optimum template selection for atlas-based segmentation」、Neuroimage、２００６年、第３４巻、ｐ．１６１２−１６１８ J.Lotjonen、Robin Wolz、J.R.Koikkalainena、L.Thurfjellc、G.Waldemard、H.Soininen、D.Rueckert、「Fast and robust multi-atlas segmentation of brain magnetic resonance images」、NeuroImage、２００９年、第３４巻、ｐ．２３５２−２３６５
目的は、セグメンテーションの精度を向上することが可能な医用画像処理方法、記録媒体、及び医用画像処理装置。
本実施形態に係る医用画像処理方法は、新規の画像データセットのセグメンテーションに利用される複数のアトラスを複数の候補アトラスから選択する医用画像処理方法であって、コンピュータ装置により、複数の候補アトラスの各々について、前記候補アトラスと複数の訓練画像データセットとを位置合わせし、前記コンピュータ装置により、前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算し、前記コンピュータ装置により、前記訓練画像データセットを前記候補アトラスを利用してセグメント化し、前記コンピュータ装置により、前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算し、前記コンピュータ装置により、前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成し、前記コンピュータ装置により、前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する、ことを具備する。
従来例に係るセグメンテーション処理の典型的な流れを示す図。 従来例に係る、Ｍ個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図。 本実施形態に係るスキャナーの概観を示す図。 本実施形態に係るコンピュータ装置の構成を示す図。 図４のコンピュータ装置の構成を示す他の図。 本実施形態に係るコンピュータネットワークの一例を示す図。 本実施形態に係る、１つの候補アトラスの訓練処理の典型的な流れを示す図。 図７のステップＳ４におけるデータ点の計算処理の典型的な流れを示す図。 本実施形態に係る、類似値がｘ軸に規定され、ジャカール係数値がｙ軸に規定されたグラフを示す図。 本実施形態に係る、Ｎ個の候補アトラスから、Ｍ個のアトラスからなる最良のサブセットを選択する処理の一部分の典型的な流れを示す図。 本実施形態に係る、複数のアトラスを有するマルチアトラスデータセットを示す図。 本実施形態に係る、サンプル母集団内の画像データセット間の相互相関ＣＣ値を示すテーブルを示す図。 本実施形態に係る、サンプル母集団内の画像データセット間の相互情報量ＭＩ値を示すテーブルを示す図。 本実施形態に係る、サンプル母集団内の画像データセット間のジャカール係数Ｊ値を示すテーブルを示す図。 本実施形態に係る、ｘ軸が相互相関ＣＣに規定されｙ軸がジャカール係数Ｊに規定されたグラフを示す図。 図１３Ａに対応する、ｘ軸が相互情報量ＭＩに規定されｙ軸がジャカール係数Ｊに規定されたグラフを示す図。 本実施形態に係る、アトラス毎の各種統計値を示す表を示す図。 本実施形態に係る、セグメンテーションの精度の良い新規の画像データセットとアトラスデータセットとの対応表を示す図。 本実施形態に係る、Ｍ＝１から５までのマルチアトラスデータセットにより生成された、心臓セグメンテーションにおけるジャカール係数の平均値を示す図。 本実施形態に係る、Ｍ個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図。 本実施形態に係る図１７の処理の流れを一部に含む、ライブシステムにおいて実行されうるセッションの典型的な流れを示す図。
図３は、本実施形態に係るスキャナー２の外観を示す図である。スキャナー２は、被検体４に関する３次元Ｘ線スキャンを得るものである。スキャナー２の円形の開口６に配置された関心部位の解剖学的特長と被検体に関する一連のスライス画像とが得られる。生の画像データは、スキャナー２から伝送される。生の画像データは、例えば、千枚の２次元のデータサブセットを含んでいる。データサブセットは、例えば、５１２×５１２のマトリクスサイズを有している。これら複数のデータセブセットの各々は、検査対象の被検体の関心部位のスライスを描出している。複数のデータセブセットに基づいてボリュームデータが発生される。ボリュームデータは、複数のボクセルの集合である。ボクセルは、例えば、複数のスライスのうちの一枚のスライスにおけるピクセルに対応する。このように、ボリュームデータは、撮像された特徴の３次元表現である。ユーザにより選択された、３次元表現の様々な２次元投影（出力画像）は、典型的には、コンピュータ装置のモニタに表示される。
画像診断装置（例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、超音波診断装置）は、典型的には、画像診断装置に応じた画像分解能（例えば、ボクセルサイズ）を有している。撮像されたボリュームの全体的なサイズは、例えば、検査の種類に応じて異なる。ボリュームデータは、ｘ軸、ｙ軸、及ぶｚ軸で規定されるデカルト座標に、例えば、５１２×５１２×１０２４で配列された１６ビットの複数のボクセルを有する。複数のボクセルは、各軸に沿って０．５ｍｍずつ一定間隔を空けて配列される。これは、実空間上において約２５ｃｍ×２５ｃｍ×５０ｃｍのボリュームに対応する。このサイズは、人間の心臓とそれに隣接する領域とを包含するのに十分である。ボリュームデータは、各組織の診断等のため、慣習的に、横断面画像やコロナル断面画像、サジタル断面画像に変換される。例えば、横断面は、ｘｙ平面に対応し、コロナル断面は、ｘｚ平面に対応し、サジタル断面は、ｙｚ平面に対応する。
図４は、本実施形態に係るコンピュータ装置２２の構成を示す図である。コンピュータ装置２２は、２次元画像を発生するためのボリュームデータの処理を実行するために構成される。コンピュータ装置２２は、中央演算処理装置（ＣＰＵ）２４、読み出し専用メモリ（ＲＯＭ）２６、ランダムアクセスメモリ（ＲＡＭ）２８、ハードディスク装置３０、ディスプレイドライバ３２、ディスプレイ３４、ユーザ入出力回路（ユーザＩ／Ｏ）３６を有する。ユーザＩ／Ｏ３６は、キーボード３８とマウス４０とに接続されている。これら装置は、共通バス４２を介して接続されている。コンピュータ装置２２は、さらに、共通バス４２を介して接続されたグラフィックスカード（ＧＦＸ）４４を有している。グラフィックスカード４４は、例えば、カナダのオンタリオにあるATI Technologies inc.により製造されたＲａｄｅｏｎＸ８００等の映像処理装置である。グラフィックスカード４４は、図４に図示していないが、グラフィックス処理装置（ＧＰＵ）とＧＰＵに結合されたランダムアクセスメモリ（ＧＰＵメモリ）とを含んでいる。
ＣＰＵ２４は、ＲＯＭ２６、ＲＡＭ２８、または、ハードディスク装置３０に記憶されているプログラム命令を実行し、ボリュームデータのボクセル値に関連した信号値の処理を実行する。ボリュームデータは、ＲＡＭ２８、または、ハードディスク装置３０に記憶されている。ＲＡＭ２８とハードディスク装置３０とをまとめてシステムメモリと呼ぶことにする。ＧＰＵは、プログラム命令を実行し、ＣＰＵからのボリュームデータを処理してもよい。
図５は、図４のコンピュータ装置の構成を示す他の図である。ＲＡＭ２８とハードディスク装置３０とは、まとめてシステムメモリ４６と示されている。ボリュームデータ４８は、図３に示すスキャナー２から伝送され、システムメモリ４６に記憶される。
コンピュータ装置２２内の装置間のデータ転送ルートを示すのを支援するために、共通バス４２は、図５において、複数の分離された共通バス４２ａ〜４２ｄにより示される。第１の共通バス４２ａは、システムメモリ４６とＣＰＵ２４とを接続する。第２の共通バス４２ｂは、ＣＰＵ２４とグラフィックスカード４４とを接続する。第３の共通バス４２ｃは、グラフィックスカード４４とディスプレイ３４とを接続する。第４の共通バス４２ｄは、ユーザＩ／Ｏ３６とＣＰＵ２４とを接続する。ＣＰＵ２４は、ＣＰＵキャッシュ５０を含む。グラフィックスカード４４は、ＧＰＵ５４とＧＰＵメモリ５６とを含む。ＧＰＵ５４は、高速グラフィック処理インターフェース６０、ＧＰＵキャッシュ入出力コントローラ（ＧＰＵキャッシュＩ／Ｏ）６２、処理エンジン６４、及び表示入出力コントローラ（表示Ｉ／Ｏ）６６を含む。処理エンジン６４は、例えば、３次元画像データセットの処理や３次元レンダリングに関するプログラム命令の実行に最適化されている。
ユーザは、例えば、ディスプレイ３４に表示されたオプションメニューをキーボード３８やマウス４０により操作して必要なパラメータを設定する。
後述するように本実施形態は、心臓のＣＴデータ（すなわち、心臓の３次元Ｘ線画像データ）に関連している。コントラストを与えるため、血液は、典型的には、周囲組織よりも高いＸ線阻止能を有する造影剤により染色される。ヨウ素は、この目的のために使用される共通の造影剤である。以下の実施形態において、４次元のＣＴ心臓データセットがＣＴスキャナーを利用して被検体から収集され、システムメモリに記憶されているものとする。
これから述べる方法は、院内環境において利用される。この場合、この方法は、スタンドアローンのコンピュータ装置上で動作するソフトウェアアプリケーションに、あるいは、医用画像管理システム（ＰＡＣＳ：Picture Archiving and Communication System）などのサーバ上のアプリケーションと共同して実行することができる。医用画像管理システムは、コンピュータ化された病院内のネットワークである。医用画像管理システムは、単一の中央アーカイブにおいて最適された異なるデジタル形式を有する複数の診断画像に関するボリュームデータを記憶する。例えば、複数の診断画像は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）形式で記憶される。各診断画像は、アーカイブに記憶されている名前や生年月日等の患者情報に関連付けられている。アーカイブは、病院サイトの全てのユーザが必要に応じて患者データにアクセスし処理できるように、複数のワークステーションにより提供されるコンピュータネットワークに接続される。さらに、病院サイトからリモートしているユーザは、インターネットを介してアーカイブにアクセスすることが許可されうる。
本実施形態において、複数の画像ボリュームデータセットは、ＰＡＣＳアーカイブに記憶される。また、選択されたボリュームデータセットの動画や他の出力画像を発生するコンピュータ装置に実装された方法は、コンピュータネットワークを介したアーカイブに接続されたワークステーションにより提供することができる。放射線技師やコンサルタント、研究者等のユーザは、ワークステーションからあらゆるボリュームデータセットにアクセスできる、また、本実施形態に係る方法を利用して、動画や他の画像（例えば、関心のある心位相での心臓部位の静止画像）を発生したり表示したりすることができる。
図６は、本実施形態に係るコンピュータネットワークの一例を示す図である。ネットワーク１５０は、病院１５２内のローカルエリアネットワークを有している。病院１５２は、複数のワークステーション１５４を装備している。複数のワークステーション１５４の各々は、ローカルエリアネットワークを介して病院内のコンピュータサーバ装置１５６にアクセス可能である。コンピュータサーバ装置１５６は、記憶装置１５８を有している。アーカイブ内のデータに全てのワークステーション１５４がアクセス可能なように、ＰＡＣＳアーカイブは、記憶装置１５８に格納される。少なくとも１つのワークステーション１５４は、本実施形態に係るコンピュータ装置に実装されたグラフィックスカードとソフトウェアとにアクセスすることができる。このソフトウェアは、局所的あるいは遠隔的に各ワークステーション１５４に記憶されてもよいし、あるいは、必要な時にネットワーク１５０を介してワークステーション１５４にダウンロードされてもよい。また、本実施形態に係る方法は、端末装置として機能するワークステーションを備えるコンピュータサーバ装置により実行されてもよい。例えば、ワークステーションは、所望の画像データセットに関するユーザ入力を受信し、コンピュータ装置によるボリュームレンダリングの実行中において結果画像を表示するように構成される。さらに、画像診断装置１６０、１６２、１６４、及び１６６は、コンピュータサーバ装置１５６に接続される。
画像診断装置１６０、１６２、１６４、及び１６６により収集された画像データは、記憶装置１５６のＰＡＣＳアーカイブに直接的に記憶される。このように、救急医療における迅速な診断のために、ボリュームデータが記憶された直後に、記憶されたボリュームデータがレンダリングされ、レンダリングにより生成された患者画像が表示される。ローカルエリアネットワークは、病院内のインターネットサーバ装置１７０によりインターネット１６８に接続される。この接続により、ＰＡＣＳアーカイブへの遠隔的なアクセスが可能となる。この接続は、例えば、患者が移動した場合や外部で研究する場合等のため、データの遠隔的なアクセスや病院間のデータ転送に有用である。
本実施形態において、データ記憶媒体またはメモリへのデータの記憶のための、コンピュータ装置に実装されるコンピュータプログラムコードは、コンピュータ装置のＣＰＵ及びＧＰＵの動作を制御するために利用される。コンピュータプログラムは、例えば、固体記憶装置や記憶媒体（ディスクやテープによる磁気記憶媒体、光学記憶媒体、あるいは光磁気記憶媒体等）のような適切なデータ記憶媒体に供給される。あるいは、コンピュータプログラムは、伝送媒体（例えば、電話通信路、ラジオ通信路、あるいは、光学通信路のようなデータ記憶媒体を有する媒体）により供給されてもよい。
以下、本実施形態に係る、マルチアトラスデータセットを生成するためにＭ個のアトラスをＮ（ＮはＭよりも多い）個の候補アトラスの中から選択する方法を説明する。マルチアトラスデータセットは、画像中の関心部位にマークを付するために行われる、複数の新規の画像データセットのセグメンテーション処理に利用される。セグメンテーション処理は、コンピュータ装置により自動化されている。
すなわち、本実施形態の第１局面に係る医用画像処理方法は、新規の画像データセットの自動的なセグメンテーションに利用されるマルチアトラスデータセットを生成するために、Ｍ個のアトラスをＮ（Ｍより多い）個のアトラスから選択するであって、（ａ）複数の候補アトラスをコンピュータ装置に入力することであって、前記複数の候補アトラスの各々は、参照画像処理データセットと前記参照画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータとを含み、（ｂ）複数の訓練画像データセットをコンピュータ装置に入力することであって、前記複数の訓練画像データセットの各々は、前記訓練画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータに関連付けられ、（ｃ）前記各候補アトラスに対して前記各訓練画像データセットを順番にセグメント化することであって、セグメント化することは、（１）前記候補アトラスを前記各訓練画像データセットに対して位置合わせし、（２）前記各訓練画像データセットを前記候補アトラスを利用してセグメント化し、（３）前記各訓練画像データセットと前記候補アトラスとのジャカール係数値を計算し、（４）各レジストレーションについて類似指標の値を計算し、（５）独立変数である前記類似指標と従属変数である前記ジャカール係数値とに基づく回帰分析を実行することにより回帰パラメータのセットを生成し、（ｄ）前記マルチアトラスデータセットを形成するために、全てのＮ個の候補アトラスの中からＭ個のアトラスのサブセットを選択することであって、前記Ｍ個のアトラスは、前記複数の訓練画像データセットの全てに亘る前記Ｍ個のアトラスのジャカール係数値の平均値が最大値を有するように決定される、ことを具備することを特徴とする。
マルチアトラスデータセットは、新規の画像データセットをセグメント化するために実行されるコンピュータプログラムに出力されるか、あるいは、そのコンピュータプログラムが記憶されるコンピュータプログラム製品に記憶されてもよい。
参照画像データセットと訓練（training）画像データセットとは、Leave-one-out戦略を利用する場合、単一の、かつ、同一の画像データセットでも良い。
以下、この方法について図７〜図１１を参照しながら説明する。図７〜図１１において訓練画像データセットは、本実施形態の原理をわかりやすくするため、候補アトラスから分離されているとする。しかしながら、実際には、各候補アトラスが全ての他の候補アトラスに対して訓練されるLeave-one-out戦略を利用することが好適である。すなわち、候補アトラスを訓練する場合、候補アトラス以外の他のアトラスは、訓練画像データセットとして利用される。なお、図１２〜図１５に例示する実施形態においては、Leave-one-out戦略が利用されている。
図１０は、本実施形態に係る、Ｍ個のアトラスがＮ個のアトラスから選択される処理の典型的な流れを示す図である。
大まかな処理の流れは以下の通りである。まず、複数の画像データセットが候補アトラスを訓練するための訓練データとして供給される。各訓練画像データセットは、例えば専門家によって手動により、既に高精度にセグメント化されている。各候補アトラスは、各訓練画像データセットをセグメント化するために、これら訓練画像データセットを利用して訓練される。特定の候補アトラスによるマルチセグメンテーションの結果は、手動によるセグメンテーションデータと比較される。全ての候補アトラスについてこの処理が終了すると、全ての候補アトラスの性能指標が測定されている。性能指標は、Ｎ個の候補アトラスから、Ｍ個のアトラスからなるサブセットを選択するために利用される。Ｍ個のアトラスは、全体として訓練画像データセットに対して最良の性能を有する。
図７は、本実施形態に係る、１つの候補アトラスｎの訓練処理の典型的な流れを示す図である。ステップＳＡ１において、Ｔ個の訓練画像データセットが入力される。Ｔ個の訓練画像データセットは、サンプル母集団の信頼性の高い代表例となり、かつ、統計的に信頼できる結果を提供できるように十分多く選択されるべきである。典型的には、Ｔは、１０から１５（好適には２０）までの範囲内で設定される。過度に多い訓練画像データセットは、計算上の理由から回避される。典型的には、Ｔが１０又は２０から５０又は６０まで範囲に設定されることが期待される。過度に大きいＴは、計算上直接的であり、サンプル母集団に多くのサブグループが存在する場合、利用されうる。ステップＳＡ２において、訓練画像データセットを計数するためのカウンターｔが０に初期化される。ステップＳＡ３において、候補アトラスｎが訓練のために入力される。ステップＳＡ４において、候補アトラスｎを利用して訓練画像データセットｔがセグメント化され、セグメンテーションの性能を評価するためのデータ点が計算される。ステップＳＡ４の詳細は、図８を参照しながら後述する。ステップＳＡ５において、全ての訓練画像データセットが候補アトラスｎによりセグメント化されたか否かをチェックするための論理計算が行われる。ステップＳＡ５において否と判定された場合、ｔが増加され、次にセグメンテーションを実行するためにステップＳＡ４に戻る。ステップＳＡ５において、全ての訓練画像データセットがセグメント化されたと判定された場合、最後のステップＳＡ６に進む。ステップＳＡ６において、候補アトラスｎについてのセグメンテーション結果から得られた全てのＴ個のデータ点が回帰分析を利用してコレート（collate）され、１セットの回帰パラメータが計算される。回帰パラメータと回帰パラメータを計算するための分析との詳細は、後述する。
図８は、図７のステップＳＡ４におけるデータ点の計算処理の典型的な流れを示す図である。ステップＳＡ４．１において、候補アトラスｎを訓練画像データセットｔで位置合わせすることによりレジストレーションが実行される。ステップＳＡ４．２において、レジストレーション後の候補アトラスｎと訓練画像データセットｔとの類似性指標の値（類似値）が計算される。類似値の計算は、関心領域内に選択的に制限される。ステップＳＡ４．３において、訓練画像データセットｔが候補アトラスｎに基づいてセグメント化される。訓練画像データセットｔのセグメント化により訓練画像データセットｔのセグメンテーションデータが生成される。ステップＳＡ４．４において、ステップＳＡ４．３において生成されたセグメンテーションデータと手動によるセグメンテーションにより予め生成されたセグメンテーションデータとに基づくジャカール係数（Jaccard overlap）Ｊが計算される。このジャカール係数は、自動によるセグメンテーション結果と手動によるセグメンテーション結果（上述のように、手動によるセグメンテーション結果は、完全に正確であるとみなされている）との比較に基づいているので、真のジャカール係数であるとみなすことができる。類似値とジャカール係数値とはそれぞれ、図７のデータ点（ｘ，ｙ）のｘ座標とｙ座標とに規定される。
処理が図７のステップＳＡ６に到達した時点において、１セットのデータ点（ｘ，ｙ）が計算されている。これらデータ点は、図９に示される回帰分析に供される。
図９は、本実施形態に係る、類似値がｘ軸に規定され、ジャカール係数値がｙ軸に規定されたグラフを示す図である。個々のデータ点は、グラフ上において「×」で示されている。ステップＳ７は、標準的な線形関数ｙ＝ｍｘ＋ｃの傾きと切片と決定するためのデータ点の線形回帰を含んでいる。傾きと切片とは、上述の回帰パラメータである。
この結果の重要性は、回帰パラメータを利用して、類似値からジャカール係数の予測値を計算できることである。この予測値は、実際のジャカール係数値の代用品として利用することができる。これは、典型的には、類似値自体よりもアトラスの性能の測定値としてより信頼性が高い。
全ての候補アトラスが図７の「ｎ」回の反復処理に供された場合、Ｎ個の全ての候補アトラスに対して計算された１セットの回帰パラメータ（ｍｎ，ｃｎ）が得られている。
次に、Ｎ個の候補アトラスからのＭ個のアトラスの選択が行われる。
Ｎ個の候補アトラスからのＭ個のアトラスの各置換は、順番に考慮される必要がある。例えば、２１個の候補アトラスがあり、マルチアトラスデータセットが３個のアトラスを有する場合、すなわち、Ｍ＝３且つＮ＝２１の場合、１つの置換は、２番目、５番目、及び１８番目の候補アトラスである。各置換を候補マルチアトラスデータセット、あるいは、サブセットと呼ぶことにする。候補マルチアトラスデータセットは、Ｎ個の候補アトラスの中から、置換のルールに従って数学的に選択されたＭ個のアトラスのセットである。サブセット（候補マルチアトラスデータセット）は、「Ａ」と表記され、このサブセット内の各アトラスを「ａ」と表記することにする。さらに、あらゆる特定の訓練画像データセットをセグメンテーションすることにおいて最高の性能を有するアトラスを「ａ＊」と表記することにする。
図１０は、本実施形態に係る、Ｎ個の候補アトラスから、Ｍ個のアトラスからなる最良のサブセットを選択する処理の一部分の典型的な流れを示す図である。図１０の処理は、Ｍ個のアトラスの各置換の処理に関連している。従って、この図１０の処理は、置換の数、すなわち、サブセットの数だけ繰り返される。
ステップＳＢ１において、サブセット「Ａ」内の各アトラス「ａ」について回帰パラメータが計算される。なお、訓練画像データセットが候補アトラスから分離されている場合、回帰パラメータは、図７のステップＳＡ６において既に計算されているので、ここで再び計算する必要はない。
ステップＳＢ２において、各アトラス「ａ」について、回帰パラメータに類似値を適用することによって、ジャカール係数の予測値が計算される。この類似値は、アトラス「ａ」と訓練画像データセット「ｔ」とに基づいて計算される。
ステップＳＢ３において、全てのアトラス「ａ」の中から最大の予測値を有するアトラス「ａ＊」が選択される。選択されたアトラス「ａ＊」は、サブセット「Ａ」に含まれる全てのアトラス「ａ」のうちの、訓練画像データセットｔをセグメンテーションすることにおいて最高の性能を有するベスト（best）のアトラスである。
ステップＳＢ４において、選択されたアトラス「ａ＊」に関する実際のジャカール係数の値（実測値）がメモリから読み出される。実測値は、予め図８のステップＳＡ４．４において、手動によるセグメンテーションデータと自動によるセグメンテーションデータとに基づいて計算されたジャカール係数値である。読み出された実測値は、訓練画像データセット「ｔ」に適用された場合において、サブセット「Ａ」内の全てのアトラス「ａ」から得られるジャカール係数値のうちの最良のジャカール係数値を意味する。
ステップＳＢ１からステップＳＢ４は、各訓練画像データセット「ｔ」について順番にＴ回繰り返される。
ステップＳＢ５において、ステップＳＢ４において読み出されたジャカール係数のＴ個の実測値の平均値が計算される。計算された平均値は、サブセット「Ａ」の性能を示す単一の指標である。すなわち、ステップＳＢ５において、サブセット「Ａ」に関するＴ個の実測値がコレートされ、サブセット「Ａ」の性能を示す指標（すなわち、平均値）が提供される。
図１０の全ての工程は、全てのサブセットＡについて繰り返される。
この方法の最終部分は、全てのサブセットＡの中の最高のジャカール係数値を有するサブセットＡ＊を決定することである。
図１１は、この方法の出力、すなわち、複数のアトラスａｍを有するマルチアトラスデータセットＡを示す図である。各アトラスは、画像データセット、セグメンテーションデータ、及び回帰パラメータを有する。画像データセットは、典型的には、生の画像データセット又はグレイスケールＣＴ画像データセットのような僅かに処理された画像データセットである。セグメンテーションデータは、典型的には、少なくとも１つの２値化されたマスク画像（バイナリーマスク画像）として記憶される。各バイナリーマスク画像は、手動のセグメンテーションにより得られ、画像データセット内の１つのオブジェクト又は１つのオブジェクトの部分を識別する。回帰パラメータは、典型的には、傾き及び／又は切片に対する線形回帰パラメータである。回帰パラメータは、ジャカール係数の予測値を計算するために、後述するように、ライブシステムにおいて利用されうる。
［実施例］
マルチアトラスに基づくセグメンテーションに利用するアトラスデータセットの最良のサブセットを選択する実施例について説明する。
２１人の患者からの心臓ＣＴアンギオグラフィ（ＣＣＴＡ）データセットが訓練画像データセットを構築するために使用された。このデータセットは、心臓解剖学的構造の２つの別個のカテゴリーを表現する。１つのカテゴリーは、小さな心胸郭比（ＣＴＲ）を有する患者であり、他のカテゴリーは、大きな心胸郭比を有する患者である。データセット９、１２、１６−２１は、大きなＣＴＲを有する患者から得られた。全体的な心臓のセグメンテーション（心臓とその全ての下層組織とを含むマスク画像として表現される）は、それらのデータセットの各々について臨床的に適した患者から収集された。各データセットは、他の全てのデータセット内の心臓をセグメント化するためにアトラスとして順番に利用された。セグメンテーションは、マルチスケールの厳密なレジストレーションを利用して実行された。マルチスケールの厳密なレジストレーションは、３次元変換、異方性スケーリング、及び回転に基づいてボリュームを位置合わせすることである。マルチスケールの厳密なレジストレーションは、流体及び弾性体の制約内での最良の歪み場を探索するための相互情報量を利用する。詳細は、William R.Crum、Derek L.G.Hill、及びDavid J.Hawkes「Information theoretic similarity measures in non-rigid registration.」In IPMI、２００３年、第３７８頁―第３８７頁に記載されている。この文献の内容は、引用により本実施形態に組み込まれている。
アトラスデータセットと新規のデータセットとの最終的な相互情報量、位置合わせされた２つのボリューム間の相互係数、心臓の境界周囲で生成された外郭で測定された２つのボリューム間の相互係数、及びジャカール係数を利用して測定された最終的なセグメンテーションの精度は、各セグメンテーションから収集される。
Figure 2012030072
これら測定値は、訓練パラメータを構築する。これら測定値は、個別の直交セグメンテーション行列Ｊ、ＭＩ、及びＣＣ中で示される。Ｊ（ｒ，ｃ）は、アトラスデータセットｃが新規の画像データセットｒ内の心臓をセグメント化するために利用された場合のセグメンテーションの精度である。ＭＩ（ｒ，ｃ）は、アトラスデータセットｃと新規の画像データセットｒとの最適な相互情報量である。対角成分は、自己セグメンテーションから収集されたパラメータを表現する。
このシステムにおいて利用されたパラメータモデルは、各アトラスについての各類似性指標で測定された一変量の最小自乗法回帰関数である。この関数は、以下の式により表される。
Figure 2012030072
この関数は、相互情報量または相関係数をセグメンテーションの精度に関連付ける。アトラスデータセットｃが関心領域内の２つの間の相互係数に基づいてデータセットｒ内の心臓をセグメント化するために利用された場合、セグメンテーションの精度の予測値を計算することは可能である。
図１２Ａは、サンプル母集団内の画像データセット間の相互相関（ＣＣ：cross-correlation）値を示すテーブルを示す図である。サンプル母集団は、Leave-one-out戦略による訓練画像データセットと候補アトラスとの両方として利用された。これら値は、ＣＣが類似性指標である場合において図８のステップＳＡ４．２において計算された類似値である。データセットのファイルの名称（例えば、１７９８＿０２０）は、テーブル内の横行の先頭と縦列の先頭とに示されている。縦列は、アトラスデータセットを表し、横行は、訓練画像データセットを表している。
図１２Ｂは、図１２Ａに対応する、サンプル母集団内の画像データセット間の相互情報量（ＭＩ：mutual information）値を示すテーブルを示す図である。表の各セルの値は、ＭＩが類似性指標である場合において図８のステップＳＡ４．２において計算された類似値である。
図１２Ｃは、図１２Ａに対応する、サンプル母集団内の画像データセット間のジャカール係数（Ｊ）値を示すテーブルを示す図である。各Ｊ値は、図８のステップＳＡ４．４において計算されたジャカール係数の実測値である。すなわち、各Ｊ値は、自動によるセグメンテーションと手動によるセグメンテーションとの比較に基づく真のジャカール係数を示している。
テーブル又は行列の対角成分（図１２Ａ、１２Ｂ、１２Ｃにおいて影付けされている部分）は、候補アトラスの効率に関する有用な情報を示さない自己セグメンテーションパラメータである。対角成分は、後述の処理における考察から除外される。
長点で囲まれたセル及び短点で囲まれたセルはそれぞれ、第１のアトラスと新規のデータセットとの間の類似値（ＣＣまたはＭＩ）が、第２のアトラスと同一の新規のデータセットとの間の類似値より高く、結果生じるジャカール係数がより低い場合を示している。
図１３Ａは、ｘ軸が相互相関ＣＣに規定されｙ軸がジャカール係数Ｊに規定されたグラフを示す図である。ＣＣとＪとに対する個々のデータ点は、図１２Ａ及び図１２Ｃに示すテーブルからそれぞれ得られた。直線は、データ点から計算された回帰関数である。
実際には、グラフは生成されない。しかし、回帰パラメータは、傾きと切片とに対してそれぞれ下記の方程式を利用して計算される。
Figure 2012030072
傾きと切片とに対するこれら２つのパラメータは、下記の方程式を使用した、ジャカール係数の予測値の計算に利用される。
Figure 2012030072
類似性指標として相互相関を利用した場合、下記の方程式となる。
Figure 2012030072
図１３Ｂは、図１３Ａに対応する、ｘ軸が相互情報量ＭＩに規定されｙ軸がジャカール係数Ｊに規定されたグラフを示す図である。ＭＩとＪとに対する個々のデータ点は、図１２Ｂ及び図１２Ｃに示すテーブルからそれぞれ得られた。直線は、データ点から計算された回帰関数である。
図１３Ａと図１３Ｂとの比較により、ＣＣデータは、ＭＩデータよりも大きい傾きを有することがわかる。換言すれば、ＣＣは、ＭＩよりもジャカール係数に対する感度が高い。これは、この特定のアトラス例において、ＣＣがＭＩよりもジャカール係数の予測値Ｊ＊の計算に対する信頼性が高いことを示唆している。直線の傾きが０であり切片がかなり高い場合、一般的にそのアトラスが良いアトラスであるが、類似性指標がセグメンテーションの精度について何の情報も与えないということを示唆する。
アトラス毎の回帰関数Ｊ＊ ｃとジャカール係数行列Ｊとは、セグメンテーションジャカール係数を予測するために回帰関数を利用し、ジャカール係数の予測値Ｊ＊ ｃ（ｒ）と訓練期間に収集されたジャカール係数の実測値Ｊ（ｒ，ｃ）とを比較する。
下記の情報が得られる。
１．相関：
Figure 2012030072
相関は、＋１に近ければ近いほど予測性能が高い。
２．平均絶対誤差：
Figure 2012030072
平均絶対誤差は、全ての画像データセットに亘って特定のアトラスについて生成されたジャカール係数の予測値と実測値との差分の平均である。最良のアトラスは、典型的には、最小の平均絶対誤差を有するアトラスである。
３．誤差の標準偏差：
Figure 2012030072
誤差の標準偏差は、全ての画像データセットに亘って特定のアトラスについて生成されたジャカール係数の予測値と実測値との差分の分散の指標である。安定したアトラスは、誤差の標準偏差の値が低い。
４．最大絶対誤差：
Figure 2012030072
最大絶対誤差は、全ての画像データセットに亘って特定のアトラスについて生成されたジャカール係数の予測値と実測値との差分の最大値である。
５．ゼロ相関のＰ値：
ゼロ相関のＰ値は、真の相関が０の場合において、無作為に得られた観測値と同じ相関を得る確率。ゼロ相関のＰ値が低ければ低いほど、観測された相関係数の値が高い。
図１４は、アトラス毎の各種統計値を示す表を示す図である。この表のｘ軸は、アトラスの番号に規定され、ｙ軸は、統計値に規定されている。この表は、アトラス１９についてのアトラス統計の１セットを示している。図１４によれば、アトラス１９は、ジャカール係数の予測値と実測値との間の高い相関係数値と低い平均絶対誤差とを有しているので、良い予測性能を有している。
図１５は、セグメンテーションの精度の良い新規の画像データセットとアトラスデータセットとの対応表を示す図である。新規の画像データセットは、セグメンテーションに関してベストのアトラス、２番目にベストのアトラス、及び３番目にベストのアトラスを有しており、図１５において丸形、四角形、及び菱形でそれぞれ示されている。この図は、あるカテゴリーに対して最適な画像データセットを示している。画像データセット９、１２、及び１６〜１９は、高いＣＴＲを有するグループに属している。右上の集合は、このカテゴリーからのアトラス、特にアトラス１９は、このグループ内の心臓をセグメント化に最適であることを示している。アトラス４は、データセット２〜１４にわたって最良のセグメンテーション精度を有している。
この方法の次の段階は、マルチアトラスデータセットを生成するために、Ｎ個の候補アトラスから最良のＭ個のアトラスを選択することである。これは、上述の図１０において示した処理である。この段階の目的は、新規の画像データセットについて使用するアトラスを決定するために回帰関数を使用している間、平均的に最高のセグメンテーション精度を有するＭ個のアトラスの組み合わせを選択することである。最終目標は、この組み合わせが訓練母集団内の全てのカテゴリーを提供し、単一のアトラスを利用するよりも高精度なセグメンテーションを提供するか否かを見つけ出すことである。
この場合、Ｍは２から連続的に増加され、各反復において下記の式により表される個数Ｎｕｍのアトラスの組み合わせが導かれる。
Figure 2012030072
この処理は、各組み合わせあるいは置換Ａについて行われる。ここでＡ＝｛ａ０，…，ａＭ−１｝である。以下の処理は、全ての置換について反復される。
残りのＮ−Ｍ個の訓練画像データセットの各々ｉについて：
・観測からの画像データセットｉを除いて、Ａ内の各アトラスａについての回帰関数Ｊ＊ ａを計算する。Leave-one-out戦略についての傾きは、下記の式により表される。
Figure 2012030072
ここでＳＩＭは、ジャカール係数の予測値に利用された画像類似性指標を含む対角セグメンテーション行列である。
・画像データセットｉについてジャカール係数の予測値Ｊ＊ ａ（ｉ）を計算する。
Figure 2012030072
・サブセットＡの複数のアトラスａの中から最大の予測値Ｊ＊ ａ（ｉ）を有するアトラスａ＊を選択する。
Figure 2012030072
・画像データセットｉでのａ＊によるジャカール係数の実測値Ｊ（ｉ）をジャカール係数行列Ｊ（ｉ，ａ＊）から収集する。
Figure 2012030072
そして、下記の式に従って、サブセットＡについてのジャカール係数の実測値の平均値ＪＡを計算する。
Figure 2012030072
全ての置換について処理が行われた場合、複数のサブセットＡの中から、最大の平均値ＪＡを有するアトラスのサブセットＡ＊が下記の式に従って選択される。
Figure 2012030072
このように、マルチアトラスデータセットは、コンピュータ装置による完全に自動化された方法により選択される。
この実施例において、２個のアトラス、すなわち、Ｍ＝２の最良のセットは、アトラス４とアトラス１９とであった。これらデータセットは、図１５において識別された主要な２つのカテゴリーを表現する、心臓の形状とＣＴＲとにより著しく異なる。アトラス４がデータセット２から１４のセグメント化に適しており、アトラス１９がデータセット１６から２１のセグメントに適していることは明らかである。
Ｍが４まで増加された場合、９１．５％の平均精度を有する最良の信号アトラスに対して、９２．８％の全体平均セグメンテーション精度が達成された。この性能は、心尖と肋骨壁とを含む関心領域に制限された相互相関を利用することにより達成された。
図１６は、Ｍ＝１から５までのマルチアトラスデータセットにより生成された、心臓セグメンテーションにおけるジャカール係数の平均値を示す図である。一番上の線（菱形）は、最適なアトラスがＭのセットから選択された場合において、生成されうる最良の平均値を示している。換言すれば、この線は、アトラスがジャカール係数の予測値ではなく、ジャカール係数の実測値に基づいて選択されたと推定する。計算された予測値に基づく最良の選択は、ＲＯＩに制限された相互相関ＣＣ（図１６の大きな黒塗りの四角）に基づく選択である。予測値に基づく選択の他の例は、ＲＯＩに制限された相互情報量ＭＩ（図１６の丸）、ボリューム全体でのＭＩ（図１６の小さい黒塗りの四角）、及びボリューム全体でのＣＣ（図１６の三角）である。参考のため、中空の四角は、従来技術（すなわち、図２の方法に従って類似性指標としてＣＣが使用され、且つＲＯＩに制限された）による結果を示している。従来技術は、回帰分析を行っておらず、直接的にＣＣに基づいて最適なアトラスが選択されている。明らかなように、従来技術は、１より大きい全てのＭについて最悪の性能を有している。また、図１６から明らかなように、ＲＯＩに基づく測定（特に相互相関）は、同じ類似性指標を利用したボリューム全体での測定よりも良い性能を示している。
実施例の説明はこれで終了する。
以下、関心領域内のオブジェクトにマーク付けするために新規の画像データセットをセグメント化する方法について説明する。
すなわち、この方法は、（Ａ）複数のアトラスを含むマルチアトラスデータセットを入力することであって、前記複数のアトラスの各々は、参照画像データセットと前記参照画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータとを含み、（Ｂ）セグメンテーションのために新規の画像データセットを入力し、（Ｃ）前記新規の画像データセットと前記複数のアトラスの各々とのレジストレーションを実行し、（Ｄ）セグメンテーションのために、前記レジストレーションに基づいて前記複数のアトラスの中から単一のアトラスを選択し、（Ｅ）前記選択されたアトラスに基づいて前記新規の画像データセットをセグメント化し、（Ｆ）前記新規の画像データセットと前記新規の画像データセット内の関心オブジェクトをマーク付けするためのセグメンテーションデータとを関連付けて出力すること、を具備し、各アトラスは、さらに回帰パラメータを含み、前記回帰パラメータは、（１）前記アトラスと複数の訓練画像データセットのセットとの実測のジャカール係数値と（２）前記アトラスと複数の訓練画像データセットのセットとの類似性指標と、に基づく回帰分析の結果を表現し、前記セグメンテーションは、（ａ）前記各レジストレーションについて類似性指標の値を計算し、（ｂ）前記各レジストレーションについて、前記各レジストレーションに対応する回帰パラメータに、前記各レジストレーションに対応する類似性指標の値を適用することにより、予測されたジャカール係数値を計算し、（ｃ）セグメンテーションのために、前記予測されたジャカール係数値に基づいて前記複数のアトラスの中から単一のアトラスを選択する。前記回帰分析は、例えば、線形回帰関数に基づく。また、前記回帰分析は、より高次の線形または非線形回帰関数に基づいてもよい。
類似性指標は、画像データセット全体から計算されうる。しかし、幾つかの場合において、類似性指標は、画像データセット内の関心領域に基づいて計算される。関心領域は、関心のあるオブジェクト、すなわち、セグメント化されるオブジェクトに対応する。あるいは関心領域は、セグメント化対象のオブジェクトが占める領域を含む大領域またはセグメント化対象のオブジェクトが占める領域に含まれる小領域に規定される。
上述の方法を実行するための、機械により読み取り可能な指示を有するコンピュータプログラム製品が示される。
上述の方法を実行するための、機械により読み取り可能な指示をロードし実行するために実行可能なコンピュータ装置が示される。
コンピュータ読み取り可能な記録媒体は、複数のアトラスを含むマルチアトラスデータセットが記録されたコンピュータ読み取り可能な記録媒体であって、前記複数のアトラスの各々は、参照画像処理データセット、セグメンテーションデータ、及び回帰パラメータを有し、前記セグメンテーションデータは、前記参照画像処理データセット内の関心オブジェクトにマーク付けをするためのデータセットであり、前記回帰パラメータは、（１）前記アトラスと複数の訓練画像データセットのセットとに基づく実測のジャカール係数値と、（２）前記アトラスと前記複数の訓練画像データセットのセットとに基づく類似値と、の回帰分析を表現する、ことを特徴とする。
図１７は、本実施形態に係る、Ｍ個のアトラスに基づくマルチアトラスセグメンテーション処理の典型的な流れを示す図である。ここでＭは、２以上の正の整数であり、典型的には、２，３，４、または５である。
ステップＳＣ１において、セグメンテーションのため、患者に関する新規の画像データセットがコンピュータ装置に入力される。
ステップＳＣ２Ｍにおいて、Ｍ個のアトラスの各々は、新規の画像データセットと位置合わせされる。図示されているように、ステップＳ２Ｍの処理は、他のアトラスによる位置合わせに対して独立に行われるため並列的に行われる。
ステップＳＣ３Ｍにおいて、共通の類似性指標の類似値が位置合わせされた画像の各ペアについて計算される。類似性指標は、例えば、相互情報量（ＭＩ）、正規化された相互情報量（ＮＭＩ）、または相互相関（ＣＣ）である。類似性指標は、アトラスの一部分である記憶された回帰パラメータに利用されるものと同一である。
ステップＳＣ４Ｍにおいて、ジャカール係数の予測値を計算するために、Ｍ個のアトラスの各々について類似性指標値が回帰関数に適用される。
ステップＳＣ５において、最良のアトラス、すなわち、最大の予測値を有するアトラスが、新規の画像データセットをセグメント化するために選択される。
ステップＳＣ６において、位置合わせされた新規の画像データセットが選択されたアトラスを利用してセグメント化される。
ステップＳＣ７において、セグメント化された新規の画像データセット、すなわち、新規の画像データセットとそれに関連付けられたセグメンテーションデータとが出力される。
図１８は、図１７の処理の流れを一部に含む、ライブシステムにおいて実行されうるセッションの典型的な流れを示す図である。このセッションは、上述の図４と図５とに示すコンピュータ装置により実行されうる。さらに、このセッションは、図６に示すネットワーク上で実行されうる。セッション中に表示される新規の画像データセットは、例えば、セッションを開始するユーザが作業しているコンピュータ装置（クライアント装置）から離れたデータベースに記憶されている新規の画像データセットを有するクライアント・サーバ型のネットワーク上にアクセスされうる。
ステップＳＤ１において、ユーザは、例えば、３次元医用画像データのボリュームレンダリングに関するアプリケーションプログラム等の映像化アプリケーションプログラムのセッションを開始する。
ステップＳＤ２において、ユーザは、映像化のための患者に関する新規の画像データセットを選択する。このデータは、上述の図４、５、及び６から理解されるように、局所的または遠隔的な大容量記憶装置からシステムメモリ及び／又はキャッシュにロードされる。この患者画像は、その後、ユーザに対してディスプレイ装置で映像化される。
ステップＳＤ３において、ユーザは、ディスプレイ装置上において画像内の関心のあるオブジェクトを選択する。この選択を契機として、図１７に係るセグメンテーション処理が開始される。セグメンテーション処理の結果は、表示画像を更新するために利用される。例えば、セグメント化されたボリュームに異なる色または透明度でマーク付けするために利用される。他の例として、セグメンテーション処理の結果は、セグメント化されたボリュームの背景を削除するために利用される。例えば、患者に関する画像データセットが胸部ＣＴスキャンにより得られ、セグメント化されたボリュームが心臓の場合、表示された画像は、心臓のみであるかもしれない。
ステップＳＤ４において、ユーザは、例えば、データセット内の異なる色範囲を異なる不透明度範囲に割りつけるプリセットを適用することにより、表示パラメータを最適化する。
ステップＳＤ５において、最適化された表示パラメータとセグメンテーションデータとは、記憶される。好ましくは、記憶された表示パラメータとセグメンテーションデータとは、画像データセットに関連付けられる。データをリンク付けすることは、良く知られているように、個別のリンク付けされたＤＩＣＯＭファイルを有することにより、あるいは、画像データを含むファイルのＤＩＣＯＭヘッダーにデータを埋め込むことにより、ＤＩＣＯＭ規格の枠組み内で実行可能である。
ステップＳＤ５の後、ユーザは、図１８のフィードバックループの矢印で示すように、さらなる患者に関する画像データセットを観察することができる。
最終的に、このセッションは、ステップＳＤ６においてユーザの指示により終了される。
図７から図１１に記載された処理を実行するための機械により読み取り可能な指示を有するコンピュータプログラム製品は、例えば、図４の大容量記憶装置ＨＤＤ３０、図４のＲＯＭ２６、図４のＲＡＭ２８、図５のシステムメモリ４６、及び図６のサーバ装置１５６又は１７０である。コンピュータプログラム製品の他の形態は、ＣＤやＤＶＤのような記憶装置に基づく回転盤、あるいは、ＵＳＢフラッシュメモリ装置を含む。
図７から図１１に記載された処理を実行するための、機械により読み取り可能な指示をロードし実行するために実行可能なコンピュータ装置は、例えば、図４のコンピュータ装置、図５のコンピュータ装置、図６の端末装置１５４等の個々の要素、及び図６のコンピュータネットワークの複数の要素の組み合わせ（例えば、サーバ装置１５６、１７０と少なくとも１つの端末装置１５４や画像診断装置１６０、１６２、１６４、１６６に組み込まれるコンピュータ装置との組み合わせ）である。
図１６または図１７に記載された処理を実行するための機械により読み取り可能な指示を有するコンピュータプログラム製品は、例えば、図４の大容量記憶装置ＨＤＤ３０、図４のＲＯＭ２６、図４のＲＡＭ２８、図５のシステムメモリ４６、及び図６のサーバ装置１５６又は１７０である。コンピュータプログラム製品の他の形態は、ＣＤやＤＶＤのような記憶装置に基づく回転盤、あるいは、ＵＳＢフラッシュメモリ装置を含む。
図１６から図１７に記載された処理を実行するための、機械により読み取り可能な指示をロードし実行するために実行可能なコンピュータ装置は、例えば、図４のコンピュータ装置、図５のコンピュータ装置、図６の端末装置１５４等の個々の要素、及び図６のコンピュータネットワークの複数の要素の組み合わせ（例えば、サーバ装置１５６、１７０と少なくとも１つの端末装置１５４や画像診断装置１６０、１６２、１６４、１６６に組み込まれるコンピュータ装置との組み合わせ）である。
図１１に示されるようなマルチアトラスデータセットが記録されたコンピュータ読み取り可能な記録媒体は、例えば、複数のアトラスを有する。各アトラスは、参照画像データセット、セグメンテーションデータ、及び回帰パラメータを有する。前記セグメンテーションデータは、前記参照画像処理データセット内の関心オブジェクトにマーク付けをするためのデータセットである。前記回帰パラメータは、（１）前記複数のアトラスの各々と複数の訓練画像データセットのセットとに基づく実測のジャカール係数値と、（２）前記複数のアトラスの各々と前記複数の訓練画像データセットのセットとに基づく類似値と、の回帰分析を表現する。この記録媒体は、例えば、図４の大容量記憶装置ＨＤＤ３０、図４のＲＯＭ２６、図４のＲＡＭ２８、図５のシステムメモリ４６、及び図６のサーバ装置１５６又は１７０である。コンピュータプログラム製品の他の形態は、ＣＤやＤＶＤのような記憶装置に基づく回転盤、あるいは、ＵＳＢフラッシュメモリ装置を含む。
本実施形態は、上述の方法とそれに関連するコンピュータプログラムとをボリュームレンダリングアプリケーションの一部に組み込むことを含んでいる。
本実施形態に係る方法は、３次元の医用画像診断について記載されているが、多様な画像収集装置及び多様なオブジェクトから得られた２次元、３次元、４次元、あるいはより高次のデータセットにも適用可能である。
例えば、本実施形態に係る方法は、モダリティと呼ばれる、医療分野で利用される様々な撮像形式に適用可能である。特に、本実施形態に係る方法は、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波診断装置、およびＰＥＴ装置により収集された３次元画像データセットに適用可能である。
これら３次元データセットは、ボリュームデータとも呼ばれる。医用画像診断において、３次元画像データセットは、典型的には、大きい。０．５から８までのサイズは、珍しくない。例えば、医用画像データセットは、１０２４×１０２４×１０２４で配列された１６ビットの複数のボクセルを有する。この医用画像データセットは、約２ギガバイトのデータに対応する。従って、１０２４×１０２４で配列された１６ビットの複数のピクセルを有する画像が生成されうる。
本実施形態に係る方法は、慣習的にＸ線診断装置や超音波診断装置により収集されるような２次元画像データセットにも適用可能である。
本実施形態に係る方法とそれに関連するコンピュータプログラム製品とは、様々な対象に適用可能である。医療分野においては、対象は、多様な解剖学的組織及び器官に適用される。例えば、本実施形態に係る方法は、腎臓（特に腎皮質）、心臓（特に複数腔が描出される断面での心臓のセグメンテーション）、脳、肝臓、及び膵臓のセグメント化に適用される。例えば、器官等の撮像対象に応じて最良の類似性指標が決まる。
本実施形態に係る方法は、如何なるシナリオ及びサンプル母集団（あるいは非医学的な等価物）が複数の離散的なサブクラスに分類される如何なるタイプの画像データにも最良の精度を有する。
上述の方法は、マルチアトラスデータセットを構成する複数のアトラスが画像類似性指標（例えば、相互情報量や相互相関）に基づいて選択されるマルチアトラスアプローチを利用する。しかし、画像類似性指標は、直接的には利用されず、予測されたセグメンテーション精度を計算するための中間生成物として利用される。予測されたセグメンテーション精度は、可能なセグメンテーションの全セットに亘って比較可能な指標である。画像類似性指標は、従って、セグメンテーションを比較するために直接的には使用されないが、セグメンテーションの精度を予測するために使用される。予測された精度は、セグメンテーションのセットを直接的に比較可能である。本実施形態に係る方法は、訓練画像データセットを利用する線形回帰予測モデルに基づいている。この方法をＣＴにおける全体的な心臓セグメンテーションに適用し、心臓の境界周辺の関心領域に関する相関係数を予測値として利用することによって、訓練セットにおいて利用可能な異なるカテゴリーをカバーする４つのアトラスの１セットが、単一のアトラスを利用する如何なる場合に比して高いセグメンテーション精度を有することが証明された。
かくして、本実施形態によれば、セグメンテーションの精度の向上が実現される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
２２…コンピュータ装置、２４…中央演算処理装置（ＣＰＵ）、２６…読み出し専用メモリ（ＲＯＭ）、２８…ランダムアクセスメモリ（ＲＡＭ）、３０…ハードディスク装置、３２…ディスプレイドライバ、３４…ディスプレイ、３６…ユーザ入出力回路（ユーザＩ／Ｏ）、３８…キーボード、４０…マウス、４２…共通バス、４４…グラフィックスカード（ＧＦＸ）、４６…システムメモリ、５０…ＣＰＵキャッシュ、５４…ＧＰＵ、５６…ＧＰＵメモリ、６０…高速グラフィック処理インターフェース、６２…ＧＰＵキャッシュ入出力コントローラ（ＧＰＵキャッシュＩ／Ｏ）、６４…処理エンジン、６６…表示入出力コントローラ（表示Ｉ／Ｏ）。

Claims (13)

  1. 新規の画像データセットのセグメンテーションに利用される複数のアトラスを複数の候補アトラスから選択する医用画像処理方法であって、
    コンピュータ装置により、複数の候補アトラスの各々について、前記候補アトラスと複数の訓練画像データセットとを位置合わせし、
    前記コンピュータ装置により、前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算し、
    前記コンピュータ装置により、前記訓練画像データセットを前記候補アトラスを利用してセグメント化し、
    前記コンピュータ装置により、前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算し、
    前記コンピュータ装置により、前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成し、
    前記コンピュータ装置により、前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する、
    ことを具備することを特徴とする医用画像処理方法。
  2. 前記選択された複数のアトラスを含むマルチアトラスデータセットをコンピュータプログラム製品に出力すること、をさらに備える請求項１記載の医用画像処理方法。
  3. 前記参照画像データセットと前記訓練画像データセットとは、単一、かつ、同一の画像データセットである、請求項１記載の医用画像処理方法。
  4. コンピュータ装置に、請求項１記載の医用画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  5. 新規の画像データセットのセグメンテーションに利用される複数のアトラスを複数の候補アトラスから選択する医用画像処理装置であって、
    複数の候補アトラスと訓練画像データセットとを記憶する記憶部と、
    前記複数の候補アトラスの各々について、前記候補アトラスと前記複数の訓練画像データセットとを位置合わせする位置合わせ部と、
    前記位置合わせされた訓練画像データセットと候補アトラスとに基づいて類似値を計算する類似値計算部と、
    前記訓練画像データセットを前記候補アトラスを利用してセグメント化するセグメント化部と、
    前記セグメント化された訓練画像データセットと前記候補アトラスとのジャカール係数値を計算するジャカール係数計算部と、
    前記計算された類似値と前記計算されたジャカール係数値とに基づく回帰パラメータを生成する生成部と、
    前記生成された回帰パラメータに基づいて前記複数の候補アトラスから複数のアトラスを選択する選択部と、
    を具備することを特徴とする医用画像処理装置。
  6. 新規の画像データセットと複数のアトラスの各々とを位置合わせすることであって、前記複数のアトラスの各々は、回帰パラメータを含み、前記回帰パラメータは、複数の訓練画像データセットの各々との類似値と、前記複数の訓練画像データセットの各々とのジャカール係数の実測値とを含み、
    前記位置合わせされた新規の画像データセットと前記アトラスとに基づいて類似性指標の類似値を計算し、
    前記回帰パラメータに前記計算された類似値を適用することによりジャカール係数の予測値を計算し、
    前記計算された予測値に基づいて前記複数の候補アトラスの中から前記単一のアトラスを選択し、
    前記選択された単一のアトラスに基づいて前記新規の画像データセットをセグメント化する、
    ことを具備する医用画像処理方法。
  7. 前記回帰パラメータは、前記類似値と前記ジャカール係数の実測値との線形回帰分析に基づいて生成される、請求項６記載の医用画像処理方法。
  8. 前記類似性指標は、相互相関、相互情報量、及び正規化された相互情報量のうちのいずれか一つである、請求項６記載の医用画像処理方法。
  9. 前記類似性指標は、画像データセット内の関心領域に基づいて計算される、請求項６記載の医用画像処理方法。
  10. 前記関心領域は、前記画像データセット内の関心オブジェクト又は前記関心オブジェクトの一部分に対応する、請求項９記載の医用画像処理方法。
  11. コンピュータ装置に、請求項６記載の医用画像処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 新規の画像データセットと複数のアトラスとを記憶する部であって、位置合わせすることであって、前記複数のアトラスの各々は、回帰パラメータを含み、前記回帰パラメータは、複数の訓練画像データセットの各々との類似値と、前記複数の訓練画像データセットの各々とのジャカール係数の実測値とを含む記憶部と、
    前記新規の画像データセットと前記複数のアトラスの各々とを位置合わせする位置合わせ部と、
    前記位置合わせされた新規の画像データセットと前記アトラスとに基づいて類似性指標の類似値を計算する類似値計算部と、
    前記回帰パラメータに前記計算された類似値を適用することによりジャカール係数の予測値を計算する予測値計算部と、
    前記計算された予測値に基づいて前記複数の候補アトラスの中から前記単一のアトラスを選択する選択部と、
    前記選択された単一のアトラスに基づいて前記新規の画像データセットをセグメント化するセグメント化部と、
    を具備する医用画像処理装置。
  13. 複数のアトラスを含むマルチアトラスデータセットが記録されたコンピュータ読み取り可能な記録媒体であって、前記複数のアトラスの各々は、参照画像処理データセット、セグメンテーションデータ、及び回帰パラメータを有し、前記セグメンテーションデータは、前記参照画像処理データセット内の関心オブジェクトにマーク付けをするためのデータセットであり、前記回帰パラメータは、前記複数のアトラスの各々と複数の訓練画像データセットのセットとに基づく実測のジャカール係数値と、前記複数のアトラスの各々と前記複数の訓練画像データセットのセットとに基づく類似値との回帰分析を表現する、ことを特徴とする記録媒体。
JP2011164523A 2010-07-30 2011-07-27 医用画像処理方法、記録媒体、及び医用画像処理装置 Active JP5718760B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/847,372 2010-07-30
US12/847,372 US8160357B2 (en) 2010-07-30 2010-07-30 Image segmentation

Publications (2)

Publication Number Publication Date
JP2012030072A true JP2012030072A (ja) 2012-02-16
JP5718760B2 JP5718760B2 (ja) 2015-05-13

Family

ID=45526766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011164523A Active JP5718760B2 (ja) 2010-07-30 2011-07-27 医用画像処理方法、記録媒体、及び医用画像処理装置

Country Status (2)

Country Link
US (2) US8160357B2 (ja)
JP (1) JP5718760B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015093192A (ja) * 2013-11-14 2015-05-18 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP2016059732A (ja) * 2014-09-22 2016-04-25 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JP2016112419A (ja) * 2014-12-15 2016-06-23 株式会社東芝 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム
JP2017513676A (ja) * 2014-04-25 2017-06-01 アドバンスド・エムアール・アナリティクス・エービーＡｄｖａｎｃｅｄ ＭＲ Ａｎａｌｙｔｉｃｓ ＡＢ 除脂肪組織量の定量化
KR101769808B1 (ko) 2015-11-19 2017-08-21 삼성전자주식회사 무릎 자기공명영상의 관절연골 분할 장치 및 그 분할 방법
JP2018504252A (ja) * 2014-12-15 2018-02-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像レジストレーションの品質制御
JP2019506208A (ja) * 2016-01-21 2019-03-07 エレクタ、インク.Elekta, Inc. 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法
JP2020503603A (ja) * 2016-12-23 2020-01-30 ハートフロー， インコーポレイテッド 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346382B2 (en) 2004-07-07 2008-03-18 The Cleveland Clinic Foundation Brain stimulation models, systems, devices, and methods
US9220889B2 (en) 2008-02-11 2015-12-29 Intelect Medical, Inc. Directional electrode devices with locating features
US8019440B2 (en) 2008-02-12 2011-09-13 Intelect Medical, Inc. Directional lead assembly
WO2011025865A1 (en) 2009-08-27 2011-03-03 The Cleveland Clinic Foundation System and method to estimate region of tissue activation
US8861891B2 (en) * 2010-03-05 2014-10-14 Siemens Aktiengesellschaft Hierarchical atlas-based segmentation
US8644575B2 (en) * 2011-02-28 2014-02-04 Kabushiki Kaisha Toshiba Processing of abdominal images
US9254112B2 (en) * 2011-03-23 2016-02-09 Siemens Corporation Respiratory interval-based correlation and processing of dynamic imaging data
CA2828298A1 (en) * 2011-03-29 2012-10-04 Boston Scientific Neuromodulation Corporation System and method for leadwire location
US8751008B2 (en) 2011-08-09 2014-06-10 Boston Scientific Neuromodulation Corporation Remote control data management with correlation of patient condition to stimulation settings and/or with clinical mode providing a mismatch between settings and interface data
US20130044927A1 (en) * 2011-08-15 2013-02-21 Ian Poole Image processing method and system
WO2013040693A1 (en) * 2011-09-23 2013-03-28 Hamid Reza Tizhoosh Computer system and method for atlas-based consensual and consistent contouring of medical images
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
US10278593B2 (en) * 2012-06-21 2019-05-07 Siemens Healthcare Gmbh Adaptive control of monitoring devices
WO2014025624A1 (en) 2012-08-04 2014-02-13 Boston Scientific Neuromodulation Corporation Techniques and methods for storing and transferring registration, atlas, and lead information between medical devices
US8977029B2 (en) 2012-08-24 2015-03-10 Siemens Aktiengesellschaft Method and system for multi-atlas segmentation of brain computed tomography image data
AU2013308906B2 (en) 2012-08-28 2016-07-21 Boston Scientific Neuromodulation Corporation Point-and-click programming for deep brain stimulation using real-time monopolar review trendlines
CN104737200B (zh) * 2012-10-09 2018-06-08 皇家飞利浦有限公司 多结构图集和/或其应用
KR20140049137A (ko) * 2012-10-12 2014-04-25 삼성전자주식회사 의료영상 분석장치 및 방법
US9792412B2 (en) 2012-11-01 2017-10-17 Boston Scientific Neuromodulation Corporation Systems and methods for VOA model generation and use
US9349186B2 (en) * 2013-02-11 2016-05-24 General Electric Company Systems and methods for image segmentation using target image intensity
EP2819093B1 (en) * 2013-06-24 2016-05-11 RaySearch Laboratories AB Method and system for atlas-based segmentation
US9305358B2 (en) 2013-07-01 2016-04-05 Kabushiki Kaisha Toshiba Medical image processing
US9412076B2 (en) 2013-07-02 2016-08-09 Surgical Information Sciences, Inc. Methods and systems for a high-resolution brain image pipeline and database program
US9208572B2 (en) * 2013-09-20 2015-12-08 General Electric Company Systems and methods for image segmentation using a deformable atlas
WO2015109331A1 (en) * 2014-01-17 2015-07-23 The Johns Hopkins University Automated anatomical labeling by multi-contrast diffeomorphic probability fusion
US10083510B2 (en) 2014-02-27 2018-09-25 Koninklijke Philips N.V. Unsupervised training for an atlas-based registration
US9959388B2 (en) 2014-07-24 2018-05-01 Boston Scientific Neuromodulation Corporation Systems, devices, and methods for providing electrical stimulation therapy feedback
US10272247B2 (en) 2014-07-30 2019-04-30 Boston Scientific Neuromodulation Corporation Systems and methods for stimulation-related volume analysis, creation, and sharing with integrated surgical planning and stimulation programming
US10265528B2 (en) 2014-07-30 2019-04-23 Boston Scientific Neuromodulation Corporation Systems and methods for electrical stimulation-related patient population volume analysis and use
US9740710B2 (en) * 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
EP3204112A1 (en) 2014-10-07 2017-08-16 Boston Scientific Neuromodulation Corporation Systems, devices, and methods for electrical stimulation using feedback to adjust stimulation parameters
US10571420B2 (en) * 2014-12-15 2020-02-25 Robert Bosch Gmbh Nanolaminate gas sensor and method of fabricating a nanolaminate gas sensor using atomic layer deposition
WO2016141449A1 (en) * 2015-03-09 2016-09-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of The Department Of National Defence Computer-assisted focused assessment with sonography in trauma
WO2016168194A1 (en) 2015-04-13 2016-10-20 Case Western Reserve University Dual energy x-ray coronary calcium grading
EP3268082B1 (en) 2015-05-26 2019-04-17 Boston Scientific Neuromodulation Corporation Systems and methods for analyzing electrical stimulation and selecting or manipulating volumes of activation
US10780283B2 (en) 2015-05-26 2020-09-22 Boston Scientific Neuromodulation Corporation Systems and methods for analyzing electrical stimulation and selecting or manipulating volumes of activation
GB2539246B (en) 2015-06-11 2019-08-21 Mirada Medical Ltd Method and apparatus for selecting a subset of atlases from a set of candidate atlases
US20160375248A1 (en) 2015-06-29 2016-12-29 Boston Scientific Neuromodulation Corporation Systems and methods for selecting stimulation parameters based on stimulation target region, effects, or side effects
WO2017003947A1 (en) 2015-06-29 2017-01-05 Boston Scientific Neuromodulation Corporation Systems and methods for selecting stimulation parameters by targeting and steering
EP3359252B1 (en) 2015-10-09 2020-09-09 Boston Scientific Neuromodulation Corporation System and methods for clinical effects mapping for directional stimulations leads
US10716942B2 (en) 2016-04-25 2020-07-21 Boston Scientific Neuromodulation Corporation System and methods for directional steering of electrical stimulation
US10776456B2 (en) 2016-06-24 2020-09-15 Boston Scientific Neuromodulation Corporation Systems and methods for visual analytics of clinical effects
US10049301B2 (en) * 2016-08-01 2018-08-14 Siemens Healthcare Gmbh Medical scanner teaches itself to optimize clinical protocols and image acquisition
US10350404B2 (en) 2016-09-02 2019-07-16 Boston Scientific Neuromodulation Corporation Systems and methods for visualizing and directing stimulation of neural elements
US10176569B2 (en) * 2016-09-07 2019-01-08 International Business Machines Corporation Multiple algorithm lesion segmentation
US10780282B2 (en) 2016-09-20 2020-09-22 Boston Scientific Neuromodulation Corporation Systems and methods for steering electrical stimulation of patient tissue and determining stimulation parameters
AU2017341910B2 (en) 2016-10-14 2020-05-14 Boston Scientific Neuromodulation Corporation Systems and methods for closed-loop determination of stimulation parameter settings for an electrical simulation system
EP3515548B1 (en) 2017-01-03 2021-03-17 Boston Scientific Neuromodulation Corporation Systems and methods for selecting mri-compatible stimulation parameters
ES2821752T3 (es) 2017-01-10 2021-04-27 Boston Scient Neuromodulation Corp Sistemas y procedimientos para crear programas de estimulación en base a áreas o volúmenes definidos por el usuario
US10625082B2 (en) 2017-03-15 2020-04-21 Boston Scientific Neuromodulation Corporation Visualization of deep brain stimulation efficacy
WO2018187090A1 (en) 2017-04-03 2018-10-11 Boston Scientific Neuromodulation Corporation Systems and methods for estimating a volume of activation using a compressed database of threshold values
AU2018301355B2 (en) 2017-07-14 2020-10-01 Boston Scientific Neuromodulation Corporation Systems and methods for estimating clinical effects of electrical stimulation
EP3634569A1 (en) 2017-08-15 2020-04-15 Boston Scientific Neuromodulation Corporation Systems and methods for controlling electrical stimulation using multiple stimulation fields
CN108010048B (zh) * 2017-12-05 2020-10-02 华中科技大学 一种基于多图谱的自动脑部mri图像的海马体分割方法
US11285329B2 (en) 2018-04-27 2022-03-29 Boston Scientific Neuromodulation Corporation Systems and methods for visualizing and programming electrical stimulation
WO2019210202A1 (en) 2018-04-27 2019-10-31 Boston Scientific Neuromodulation Corporation Multi-mode electrical stimulation systems and methods of making and using
CN109242865B (zh) * 2018-09-26 2020-09-25 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
US11227390B2 (en) 2018-09-26 2022-01-18 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image processing
EP3909015B1 (en) * 2019-01-08 2024-08-14 Novocure GmbH Evaluating quality of segmentation of an image into different types of tissue for planning treatment using tumor treating fields (ttfields)
EP3807845B1 (en) * 2019-08-04 2022-04-27 Brainlab AG Atlas-based location determination of an anatomical region of interest
EP4042370A4 (en) * 2019-11-15 2024-01-10 L'oreal END-TO-END MERGE ENABLES SEGMENTATION OF VIDEO OBJECTS (VOS)
CN114445421B (zh) * 2021-12-31 2023-09-29 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
CN116503623B (zh) * 2023-06-27 2023-09-01 南京能茂科技有限公司 一种用于多图谱图像分割的图谱预选方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070253611A1 (en) * 2006-04-27 2007-11-01 Siemens Corporate Research, Inc. General framework for image segmentation using ordered spatial dependency
JP2009540451A (ja) * 2006-06-16 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 臨床医駆動の例示ベースのコンピュータ支援診断
US20100061632A1 (en) * 2006-11-28 2010-03-11 Koninklijke Philips Electronics N. V. Method, an apparatus and a computer program for data processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070253611A1 (en) * 2006-04-27 2007-11-01 Siemens Corporate Research, Inc. General framework for image segmentation using ordered spatial dependency
JP2009540451A (ja) * 2006-06-16 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 臨床医駆動の例示ベースのコンピュータ支援診断
US20100061632A1 (en) * 2006-11-28 2010-03-11 Koninklijke Philips Electronics N. V. Method, an apparatus and a computer program for data processing
JP2010510825A (ja) * 2006-11-28 2010-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ データ処理方法、装置及びコンピュータプログラム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JPN6015006574; Ｐ．Ａｌｊａｂａｒ，　Ｒ．Ａ．Ｈｅｃｋｅｍａｎｎ，　Ａ．Ｈａｍｍｅｒｓ，　Ｊ．Ｖ．Ｈａｊｎａｌ，　Ｄ．Ｒｕｅｃｋｅｒｔ: 'Ｍｕｌｔｉ-ａｔｌａｓ　ｂａｓｅｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　ｂｒａｉｎ　ｉｍａｇｅｓ：　Ａｔｌａｓ　ｓｅｌｅｃｔｉｏｎ　ａｎｄ　ｉｔｓ　ｅｆｆｅｃｔ　ｏｎ　ａｃｃｕｒａｃｙ' ＮｅｕｒｏＩｍａｇｅ Ｖｏｌ．４６, 2009, ｐｐ．７２６-７３８, Ｅｌｓｅｖｉｅｒ *
JPN6015006575; Ｔｏｒｓｔｅｎ　Ｒｏｈｌｆｉｎｇ，　Ｒｏｂｅｒｔ　Ｂｒａｎｄｔ，　Ｒａｎｄｏｌｆ　Ｍｅｎｚｅｌ，　Ｃａｌｖｉｎ　Ｒ．　Ｍａｕｒｅｒ　Ｊｒ．: 'Ｅｖａｌｕａｔｉｏｎ　ｏｆ　ａｔｌａｓ　ｓｅｌｅｃｔｉｏｎ　ｓｔｒａｔｅｇｉｅｓ　ｆｏｒ　ａｔｌａｓ-ｂａｓｅｄ　ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｗｉｔｈ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｃｏｎｆ' ＮｅｕｒｏＩｍａｇｅ Ｖｏｌ．２１, 2004, ｐｐ．１４２８-１４４２, Ｅｌｓｅｖｉｅｒ *
JPN6015006576; Ｍｉｎｊｉｅ　Ｗｕ，　Ｃａｔｅｒｉｎａ　Ｒｏｓａｎｏ，　Ｐｉｌａｒ　Ｌｏｐｅｚ-Ｇａｒｃｉａ，　Ｃａｍｅｒｏｎ　Ｓ．　Ｃａｒｔｅｒ，　Ｈｏｗａｒｄ　Ｊ．　Ａｉｚｅｎｓｔｅｉｎ: 'Ｏｐｔｉｍｕｍ　ｔｅｍｐｌａｔｅ　ｓｅｌｅｃｔｉｏｎ　ｆｏｒ　ａｔｌａｓ-ｂａｓｅｄ　ｓｅｇｍｅｎｔａｔｉｏｎ' ＮｅｕｒｏＩｍａｇｅ Ｖｏｌ．３４, 2007, ｐｐ．１６１２-１６１８, Ｅｌｓｅｖｉｅｒ *
JPN6015006577; Ｊｙｒｋｉ　ＭＰ．　Ｌｏｅｔｊｏｅｎｅｎ，　Ｒｏｂｉｎ　Ｗｏｌｚ，　Ｊｕｈａ　Ｒ．Ｋｏｉｋｋａｌａｉｎｅｎ，　Ｌｅｎｎａｒｔ　Ｔｈｕｒｆｊｅｌｌ，　Ｇｕｎｈｉｌｄ　Ｗａｌｄｅｍａｒ，　Ｈｉｌｋｋａ　Ｓ: 'Ｆａｓｔ　ａｎｄ　ｒｏｂｕｓｔ　ｍｕｌｔｉ-ａｔｌａｓ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｆ　ｂｒａｉｎ　ｍａｇｎｅｔｉｃ　ｒｅｓｏｎａｎｃｅ　ｉｍａｇｅｓ' ＮｅｕｒｏＩｍａｇｅ Ｖｏｌ．４９, 2010, ｐｐ．２３５２-２３６５, Ｅｌｓｅｖｉｅｒ *
JPN6015006578; Ｓｉｍｏｎ　Ｋ．　Ｗａｒｆｉｅｌｄ，　Ｋｅｌｌｙ　Ｈ．　Ｚｏｕ，　Ｗｉｌｌｉａｍ　Ｍ．　Ｗｅｌｌｓ: 'Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｔｒｕｔｈ　ａｎｄ　Ｐｅｒｆｏｒｍａｎｃｅ　Ｌｅｖｅｌ　Ｅｓｔｉｍａｔｉｏｎ（ＳＴＡＰＬＥ）：　ＡＡｎ　Ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｔｈｅ　Ｖａｌｉｄａｔｉｏｎ　ｏｆ　Ｉｍａ' ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｍｅｄｉｃａｌ　Ｉｍａｇｉｎｇ Ｖｏｌ．２３，　Ｎｏ．７, 200407, ｐｐ．９０３-９２１, ＩＥＥＥ *
JPN6015006579; Ｔｏｒｓｔｅｎ　Ｒｏｈｌｆｉｎｇ，　Ｄａｎｉｅｌ　Ｂ．　Ｒｕｓｓａｋｏｆｆ，　Ｃａｌｖｉｎ　Ｒ．　Ｍａｕｒｅｒ　Ｊｒ．: 'Ｐｅｒｆｏｒｍａｎｃｅ-Ｂａｓｅｄ　Ｃｌａｓｓｉｆｉｅｒ　Ｃｏｍｂｉｎａｔｉｏｎ　ｉｎ　Ａｔｌａｓ-Ｂａｓｅｄ　Ｉｍａｇｅ　Ｓｅｇｍｅｎｔａｔｉｏｎ　Ｕｓｉｎｇ　Ｅｘｐｅｃｔａｔｉｏｎ-Ｍａｘｉｍｉｚ' ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｍｅｄｉｃａｌ　Ｉｍａｇｉｎｇ Ｖｏｌ．２３，　Ｎｏ．８, 2004, ｐｐ．９８３-９９４, ＩＥＥＥ *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015093192A (ja) * 2013-11-14 2015-05-18 株式会社東芝 医用画像処理装置及び医用画像処理方法
JP2017513676A (ja) * 2014-04-25 2017-06-01 アドバンスド・エムアール・アナリティクス・エービーＡｄｖａｎｃｅｄ ＭＲ Ａｎａｌｙｔｉｃｓ ＡＢ 除脂肪組織量の定量化
JP2016059732A (ja) * 2014-09-22 2016-04-25 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
US10504252B2 (en) 2014-12-15 2019-12-10 Canon Medical Systems Corporation Method of, and apparatus for, registration and segmentation of medical imaging data
JP2016112419A (ja) * 2014-12-15 2016-06-23 株式会社東芝 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム
JP2018504252A (ja) * 2014-12-15 2018-02-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像レジストレーションの品質制御
KR101769808B1 (ko) 2015-11-19 2017-08-21 삼성전자주식회사 무릎 자기공명영상의 관절연골 분할 장치 및 그 분할 방법
JP2019506208A (ja) * 2016-01-21 2019-03-07 エレクタ、インク.Elekta, Inc. 内視鏡的医療画像のセグメンテーションのためのシステムおよび方法
US10867385B2 (en) 2016-01-21 2020-12-15 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
US11386557B2 (en) 2016-01-21 2022-07-12 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
JP2020503603A (ja) * 2016-12-23 2020-01-30 ハートフロー， インコーポレイテッド 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
JP7134962B2 (ja) 2016-12-23 2022-09-12 ハートフロー， インコーポレイテッド 解剖学的画像処理における確率的セグメンテーションのためのシステム及び方法
US11710241B2 (en) 2018-02-14 2023-07-25 Elekta, Inc. Atlas-based segmentation using deep-learning

Also Published As

Publication number Publication date
US20120027272A1 (en) 2012-02-02
US20120177263A1 (en) 2012-07-12
JP5718760B2 (ja) 2015-05-13
US8160357B2 (en) 2012-04-17
US8411950B2 (en) 2013-04-02

Similar Documents

Publication Publication Date Title
JP5718760B2 (ja) 医用画像処理方法、記録媒体、及び医用画像処理装置
US10032281B1 (en) Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging
JP6598452B2 (ja) 医用画像処理装置及び医用画像処理方法
US9965857B2 (en) Medical image processing
US10147185B2 (en) Interactive segmentation
US9959486B2 (en) Voxel-level machine learning with or without cloud-based support in medical imaging
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
Shi et al. Construction of multi-region-multi-reference atlases for neonatal brain MRI segmentation
US20220406410A1 (en) System and method for creating, querying, and displaying a miba master file
US11227391B2 (en) Image processing apparatus, medical image diagnostic apparatus, and program
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
CN102938013A (zh) 医用图像处理装置及医用图像处理方法
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
Ciecholewski et al. Semi–automatic corpus callosum segmentation and 3d visualization using active contour methods
Ciecholewski Automatic liver segmentation from 2D CT images using an approximate contour model
Zakirov et al. Dental pathology detection in 3D cone-beam CT
Zakirov et al. End-to-end dental pathology detection in 3D cone-beam computed tomography images
Mihaylova et al. A brief survey of spleen segmentation in MRI and CT images
Jin et al. How many models/atlases are needed as priors for capturing anatomic population variations?
JP7318058B2 (ja) 画像処理装置
US20240355098A1 (en) Image data processing apparatus and method
Rios Piedra Development of Segmentation Variability Maps to Improve Brain Tumor Quantitative Assessment Using Multimodal Magnetic Resonance Imaging
Chen et al. Segmentation of liver tumors with abdominal computed tomography using fully convolutional networks
Tran et al. IBK–A NEW TOOL FOR MEDICAL IMAGE PROCESSING

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140718

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150319

R150 Certificate of patent or registration of utility model

Ref document number: 5718760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350