JP2018138071A - マッピング画像生成装置、方法およびプログラム - Google Patents

マッピング画像生成装置、方法およびプログラム Download PDF

Info

Publication number
JP2018138071A
JP2018138071A JP2017033133A JP2017033133A JP2018138071A JP 2018138071 A JP2018138071 A JP 2018138071A JP 2017033133 A JP2017033133 A JP 2017033133A JP 2017033133 A JP2017033133 A JP 2017033133A JP 2018138071 A JP2018138071 A JP 2018138071A
Authority
JP
Japan
Prior art keywords
image
mapping
cartilage
region
morphological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017033133A
Other languages
English (en)
Other versions
JP6685250B2 (ja
Inventor
善則 板井
Yoshinori Itai
善則 板井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017033133A priority Critical patent/JP6685250B2/ja
Priority to US15/855,279 priority patent/US10580136B2/en
Priority to DE102018103960.3A priority patent/DE102018103960A1/de
Publication of JP2018138071A publication Critical patent/JP2018138071A/ja
Application granted granted Critical
Publication of JP6685250B2 publication Critical patent/JP6685250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4514Cartilage
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528Joints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】関節を表す形態画像に機能画像をマッピングしたマッピング画像を生成するマッピング画像生成装置、方法およびプログラムにおいて、軟骨の状態を正確に表すことができるようにする。
【解決手段】領域抽出部22が、形態画像G0から軟骨領域を抽出する。位置合わせ部23が、形態画像G0と機能画像F0との位置合わせを行う。マッピング部24が、機能画像F0を形態画像G0にマッピングしたマッピング画像M0を生成する。表示制御部25がマッピング画像M0をディスプレイ14に表示する。
【選択図】図2

Description

本発明は、関節を表す形態画像に機能画像をマッピングしたマッピング画像を生成するマッピング画像生成装置、方法およびプログラムに関するものである。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、質の高い高解像度の3次元画像が画像診断に用いられるようになってきている。ここで、3次元画像は多数の2次元画像から構成され情報量が多いため、医師が所望の観察部位を見つけ診断することに時間を要する場合がある。そこで、注目する臓器を認識し、注目する臓器を含む3次元画像から、例えば最大値投影法(MIP(Maximum Intensity Projection)法)および最小値投影法(MinIP(Minimum Intensity Projection)法)等の方法を用いて、注目する臓器を抽出してMIP表示等を行ったり、3次元画像のボリュームレンダリング(VR(Volume Rendaring))表示を行ったりすることにより、臓器全体や病変の視認性を高め、診断の効率化を図ることが行われている。
一方、変形性関節症は、高齢者に多く発症する疾病であり、とくに変形性膝関節症は、膝関節の痛みおよび動作範囲の減少を引き起こし、症状が進行すると歩けなくなることもある。このような変形性関節症の診断には、膝関節の軟骨を質的に評価する必要がある。膝関節の軟骨を質的に評価するための画像として、MRI画像の機能画像が公知である。機能画像の1つであるT2マップ画像は、組織における水との相関性を信号値として表した画像である。このような機能画像を参照することにより、関節の軟骨の質的な評価を行うことが可能となる。
また、このような機能画像を、関節の形態を表す形態画像であるMRI画像に重畳することにより、軟骨の質的変化を視覚的に診断可能とする手法が提案されている。例えば、特許文献1においては、T2マップ画像から軟骨を抽出する際に、軟骨と同じT2値を持つ筋肉等の部位も軟骨とともに抽出されてしまうことを防止するために、骨から所定距離離れた部分を軟骨の分布範囲として抽出してT2マップを作成し、MRI画像にマッピングする手法が提案されている。
特開2010−213899号公報
一方、膝関節の機能画像を形態画像に重畳することにより得られる画像は、膝関節の表面の画像である。ここで、機能画像に軟骨と隣接する組織が含まれてしまうと、その部分の値が軟骨の値と異なるものとなる。そのように軟骨と値が異なる部分は、疾患と判断される可能性がある。また、機能画像と形態画像との位置合わせが精度よく行われたとしても、機能画像は形態画像と比較して解像度が低いため、機能画像と形態画像とを正確に対応づけて、軟骨の正確な状態を形態画像にマッピングさせることは困難である。
ここで、上記特許文献1に記載された手法は、機能画像であるT2マップ画像における位置を基準とした軟骨のT2値を形態画像にマッピングしている。しかしながら、特許文献1に記載された手法は、骨の表面から年齢等に応じて定められた距離離れた位置を基準として軟骨の値を決定している。このため、患者の軟骨の厚さが基準から外れている場合、軟骨の状態を正確に表すT2マップを作成することができない。
本発明は上記事情に鑑みなされたものであり、機能画像を形態画像にマッピングするに際し、軟骨の状態を正確に表すことができるようにすることを目的とする。
本発明によるマッピング画像生成装置は、被検体の関節を表す形態画像から軟骨領域を抽出する領域抽出手段と、
被検体の関節についての機能画像と形態画像との位置合わせを行う位置合わせ手段と、
軟骨領域の厚さ方向における中間位置および位置合わせ結果に基づいて、機能画像を形態画像にマッピングしたマッピング画像を生成するマッピング手段とを備えたことを特徴とするものである。
「形態画像」とは、被検体の関節の形状が現れている画像である。具体的には、MRIにより取得されるT1画像、T2画像、およびT2*画像等を形態画像として用いることができる。
「機能画像」とは、被検体の関節において、水およびコラーゲン等の含有される物質の量または相関性等に応じた信号値を有する画像である。具体的には、MRIにより取得されるT1マップ、T2マップ、T2*マップ、T1ρマップ、およびCEST等を機能画像として用いることができる。
関節においては、軟骨の一方の面は関節に付着されており、軟骨の他方の面は、他方の関節の軟骨に面している。「軟骨領域の厚さ方向における中間位置」とは、軟骨の2つの面の間の位置を意味する。
なお、本発明によるマッピング画像生成装置においては、マッピング手段は、中間位置として、軟骨領域の厚さ方向における中間面を設定し、中間面に対応する機能画像の信号値を、形態画像にマッピングしてマッピング画像を生成するものであってもよい。
また、本発明によるマッピング画像生成装置においては、マッピング手段は、中間位置として、軟骨領域の厚さ方向における中間面を設定し、中間面を含む軟骨領域の厚さ方向の特定範囲における機能画像の信号値の代表値を算出し、代表値を形態画像にマッピングしてマッピング画像を生成するものであってもよい。
「代表値」とは、機能画像の信号値を代表する値であれば任意の値を用いることができる。例えば、機能画像の信号値の平均値、中間値、最大値および最小値等を代表値として用いることができる。
また、本発明によるマッピング画像生成装置においては、マッピング手段は、軟骨領域を複数の小領域に区分し、小領域ごとに機能画像の信号値の代表値を算出し、代表値を形態画像にマッピングしてマッピング画像を生成するものであってもよい。
また、本発明によるマッピング画像生成装置においては、領域抽出手段は、形態画像から骨領域を抽出し、
マッピング手段は、骨領域に基づいて軟骨領域を複数の小領域に区分するものであってもよい。
また、本発明によるマッピング画像生成装置においては、マッピング手段は、中間位置として、軟骨領域の厚さ方向における中間面を設定し、中間面に対応する機能画像の信号値の代表値を小領域ごとに算出するものであってもよい。
また、本発明によるマッピング画像生成装置においては、マッピング手段は、中間位置として、軟骨領域の厚さ方向における中間面を設定し、中間面を含む軟骨領域の厚さ方向の特定範囲における機能画像の信号値の代表値を算出し、代表値のさらなる代表値を小領域ごとに算出するものであってもよい。
また、本発明によるマッピング画像生成装置においては、マッピング画像を表示手段に表示する表示制御手段をさらに備えるものであってもよい。
また、本発明によるマッピング画像生成装置においては、被検体と同一の被検体についての過去のマッピング画像を記憶する記憶手段をさらに備えるものとし、
表示制御手段は、撮影時期が異なる複数のマッピング画像を表示手段に表示するものであってもよい。
本発明によるマッピング画像生成方法は、被検体の関節を表す形態画像から軟骨領域を抽出し、
被検体の関節についての機能画像と形態画像との位置合わせを行い、
軟骨領域の厚さ方向における中間位置および位置合わせ結果に基づいて、機能画像を形態画像にマッピングしたマッピング画像を生成することを特徴とするものである。
なお、本発明によるマッピング画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他のマッピング画像生成装置は、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被検体の関節を表す形態画像から軟骨領域を抽出する領域抽出処理と、
被検体の関節についての機能画像と形態画像との位置合わせを行う位置合わせ処理と、
軟骨領域の厚さ方向における中間位置および位置合わせ結果に基づいて、機能画像を形態画像にマッピングしたマッピング画像を生成するマッピング処理とを実行することを特徴とするものである。
本発明によれば、被検体の関節を表す形態画像から軟骨領域が抽出され、被検体の関節についての機能画像と形態画像との位置合わせが行われ、軟骨領域の厚さ方向における中間位置および位置合わせ結果に基づいて、機能画像を形態画像にマッピングしたマッピング画像が生成される。このように、本発明においては、軟骨領域の厚さ方向における中間位置に基づいて機能画像を形態画像にマッピングしているため、軟骨に確実に対応する機能画像の信号値を形態画像にマッピングすることができる。したがって、マッピング画像において、軟骨の状態を正確に表すことができる。
本発明の第1の実施形態によるマッピング画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図 第1の実施形態によるマッピング画像生成装置の構成を示す概略ブロック図 膝関節の形態画像を示す図 軟骨領域における中間面の設定を説明するための図 マッピングを説明するための図 マッピング画像の例を示す図 第1の実施形態において行われる処理を示すフローチャート 中間面を含む軟骨領域の厚さ方向の特定範囲における機能画像の信号値の代表値の算出を説明するための図 軟骨領域の小領域への区分を説明するための図 軟骨領域の小領域への区分を説明するための図 軟骨領域の小領域への区分を説明するための図 小領域に区分された軟骨領域を示す図 小領域に区分された軟骨領域を示す図 第2の実施形態において行われる処理を示すフローチャート
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の第1の実施形態によるマッピング画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図1に示すように、診断支援システムでは、本実施形態によるマッピング画像生成装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。そして、マッピング画像生成装置1において、被検体の関節を表す3次元画像からマッピング画像を生成する。
3次元画像撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。この3次元画像撮影装置2により生成された3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、被検体である患者の診断対象部位は膝関節であり、3次元画像撮影装置2はMRI装置であり、被検体の膝関節のMRI画像を3次元画像として生成する。とくに本実施形態においては、膝関節の形態画像G0であるT2*画像および膝関節の機能画像F0であるT2マップ画像が生成されるものとする。なお、T2マップ画像は膝関節における水との相関性を信号値として表したものであり、例えば、水との相関性が高いほど各画素における信号値が大きくなる画像である。
ここで、形態画像G0は、1枚当たりの画素サイズが0.3mm×0.3mmの画像を300枚程度撮影することにより生成される。一方、機能画像F0は、1枚当たりの画素サイズが1.5mm×1.5mmの画像を60枚程度撮影することにより生成される。このため、形態画像G0の方が機能画像F0よりも解像度が高いものとなっている。
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された形態画像G0および機能画像F0の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
マッピング画像生成装置1は、1台のコンピュータに、本発明のマッピング画像生成プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。マッピング画像生成プログラムは、DVD(Digital Versatile Disc)あるいはCD−ROM(Compact Disk Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図2は、コンピュータにマッピング画像生成プログラムをインストールすることにより実現されるマッピング画像生成装置の概略構成を示す図である。図2に示すように、マッピング画像生成装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、マッピング画像生成装置1には、ディスプレイ14および、マウス等の入力部15が接続されている。
ストレージ13には、ネットワーク4を経由して画像保管サーバ3から取得した、被検体の3次元画像、並びに処理に必要な情報を含む各種情報が記憶されている。なお、本実施形態においては、被検体についての膝関節を診断対象部位とする形態画像G0および機能画像F0が記憶されているものとする。
また、メモリ12には、マッピング画像生成プログラムが記憶されている。マッピング画像生成プログラムは、CPU11に実行させる処理として、3次元画像撮影装置2が取得した、形態画像G0および機能画像F0を取得する画像取得処理、形態画像G0から膝関節内の軟骨領域を抽出する領域抽出処理、機能画像F0と形態画像G0との位置合わせを行う位置合わせ処理、軟骨領域の厚さ方向における中間位置および位置合わせ結果に基づいて、機能画像F0を形態画像G0にマッピングしたマッピング画像M0を生成するマッピング処理、並びにマッピング画像M0をディスプレイ14に3次元表示する表示制御処理を規定する。
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、領域抽出部22、位置合わせ部23、マッピング部24および表示制御部25として機能する。なお、マッピング画像生成装置1は、画像取得処理、領域抽出処理、位置合わせ処理、マッピング処理および表示制御処理をそれぞれ行う複数のプロセッサまたは処理回路を備えるものであってもよい。なお、本実施形態のマッピング画像生成装置1は、領域抽出部22、位置合わせ部23、マッピング部24および表示制御部25のみから構成されるものであってもよい。
画像取得部21は、被検体の膝関節の形態画像G0および機能画像F0を画像保管サーバ3から取得する。なお、形態画像G0および機能画像F0が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13から形態画像G0および機能画像F0を取得するようにしてもよい。
領域抽出部22は、形態画像G0から膝関節内の軟骨領域を抽出する。また、軟骨領域と併せて骨領域も抽出する。図3は膝関節の形態画像G0を示す図である。図3に示すように、膝の形態画像G0には、大腿骨30および脛骨31が含まれている。なお、図3においては、説明のために膝蓋骨は省略している。大腿骨30の脛骨31と面する部分には軟骨32が、脛骨31の大腿骨30と面する部分には軟骨33が存在する。また、軟骨32と軟骨33との間には半月板34が存在する。本実施形態においては、形態画像G0はMRI画像の一種であり、骨、軟骨、半月板、並びにこれら以外の筋肉および脂肪等領域のそれぞれにおいて、形態画像G0における画素値(ボクセル値)の範囲が異なるものとなる。領域抽出部22は、しきい値処理により形態画像G0から骨領域および軟骨領域を抽出する。具体的には、形態画像G0において、骨の画素値となる範囲の領域を骨領域として抽出する。また、形態画像G0において、軟骨の画素値となる範囲の領域を軟骨領域として抽出する。なお、骨領域には大腿骨30および脛骨31が含まれ、軟骨領域には軟骨32,33が含まれる。
なお、本実施形態においては、大腿骨30の軟骨32および脛骨31の軟骨33のそれぞれを軟骨領域として抽出し、後述するようにそのそれぞれについてのマッピング画像M0を生成する。ここで、マッピング画像M0の生成は、大腿骨30および脛骨31のそれぞれで同一の処理により行われる。このため、以降では、大腿骨30についてのみ、マッピング画像M0の生成を行うものとして説明する。
ここで、形態画像G0と機能画像F0とでは、含まれる部位は同一の膝関節であるが、撮影時間が異なる。このため、位置合わせ部23が、形態画像G0と機能画像F0との位置合わせを行う。位置合わせの手法としては、剛体位置合わせおよび非剛体位置合わせ等、周知の任意の手法を用いることができる。なお、位置合わせ部23は、機能画像F0を形態画像G0に一致するように変形して位置合わせを行うものであってもよく、形態画像G0を機能画像F0に一致するように変形して位置合わせを行うものであってもよい。本実施形態においては、解像度が低い機能画像F0を変形して形態画像G0に位置合せするものとする。これにより、形態画像G0を変形する場合と比較して、位置合わせのための演算量を低減することができる。
マッピング部24は、機能画像F0を形態画像G0にマッピングしたマッピング画像M0を生成する。以下、マッピング画像M0の生成について説明する。本実施形態においては、マッピング部24は、形態画像G0から抽出した軟骨領域の厚さ方向に中間面を設定し、中間面に対応する機能画像F0の信号値を、形態画像G0にマッピングしてマッピング画像M0を生成する。図4は軟骨領域における中間面の設定を説明するための図である。図4に示すように、マッピング部24は、領域抽出部22が抽出した軟骨32について、厚さを二等分する面を中間面40として設定する。なお、中間面40は、軟骨32における大腿骨30と接する面と、その反対側の面である軟骨32の表面との間の面であれば、厚さを二等分する面に限定されるものではない。
そしてマッピング部24は、設定した中間面40の各画素位置に対応する機能画像F0の画素位置の信号値を、形態画像G0にマッピングしてマッピング画像M0を生成する。この際、設定した中間面40と軟骨32の表面とでは画素位置が異なる。このため、本実施形態においては、図5に示すように、中間面40における各画素位置の法線(図5において矢印で示す)を設定し、各法線と軟骨32の表面とが交わる位置に、各法線を設定した中間面40の画素位置の信号値をマッピングする。なお、各法線と軟骨32の表面とが交わる位置が、軟骨32の表面における画素位置の間に位置する場合には、補間演算により軟骨32の表面における画素位置の信号値を算出して、その画素位置に算出した信号値をマッピングすればよい。
表示制御部25は、マッピング画像M0を、あらかじめ定められた方向に投影してマッピング画像M0をディスプレイ14に表示する。なお、投影方向としては、大腿骨30の中心線が延在する方向、または体軸方向とすることができる。
図6は表示されたマッピング画像の例を示す図である。図6に示すように、マッピング画像M0は、大腿骨30の軟骨32における水との相関性の大きさが6段階の色により示されている。マッピング画像M0においては、色が濃いほど水との相関性が低いことを示している。なお、図6においては色の相違をハッチングの相違により示している。また、マッピング画像M0には、色と水との相関性との関係を示すレファレンス50が含まれる。レファレンス50を参照することにより、軟骨32の水との相関性を視覚的に容易に認識することができる。
次いで、第1の実施形態において行われる処理について説明する。図7は第1の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、形態画像G0および機能画像F0を取得し(ステップST1)、領域抽出部22が、形態画像G0から軟骨領域を抽出する(ステップST2)。次いで、位置合わせ部23が、形態画像G0と機能画像F0との位置合わせを行う(ステップST3)。さらに、マッピング部24が、機能画像F0を形態画像G0にマッピングしたマッピング画像M0を生成し(ステップST4)、表示制御部25がマッピング画像M0をディスプレイ14に表示し(ステップST5)、処理を終了する。
このように、本実施形態によれば、軟骨領域の厚さ方向における中間位置に基づいて機能画像F0を形態画像G0にマッピングしているため、軟骨に確実に対応する機能画像F0の信号値を形態画像G0にマッピングすることができる。したがって、マッピング画像M0において、軟骨の状態を正確に表すことができる。
なお、上記実施形態においては、軟骨領域に設定した中間面40の各画素位置に対応する機能画像F0の画素位置の信号値を、形態画像G0にマッピングしてマッピング画像M0を生成しているが、中間面40を含む軟骨領域の厚さ方向の特定範囲における機能画像F0の信号値の代表値を算出し、算出した代表値を形態画像G0にマッピングしてマッピング画像M0を生成してもよい。この場合、マッピング部24は、図8に示すように、中間面40における各画素位置の法線L0を設定し、法線L0において中間面40の位置を基準とする特定範囲41を設定する。なお、特定範囲41の大きさは、軟骨32における大腿骨30と接する面と、その反対側の面である軟骨32の表面との間であれば、どのような大きさであってもよい。そして、マッピング部24は、この特定範囲41における機能画像F0の信号値の代表値を算出する。なお、代表値としては、平均値、中間値、最大値および最小値等を用いることができる。そして、算出した代表値を、形態画像G0にマッピングしてマッピング画像M0を生成する。
このように、中間面40を含む軟骨領域の厚さ方向の特定範囲41における機能画像F0の信号値の代表値を算出し、算出した代表値を形態画像G0にマッピングしてマッピング画像M0を生成することにより、軟骨により確実に対応する機能画像F0の信号値の代表値を対応する形態画像G0の位置にマッピングすることができる。
また、軟骨領域を複数の小領域に区分し、小領域ごとに機能画像F0の信号値の代表値を算出し、算出した代表値を形態画像にマッピングしてマッピング画像M0を生成してもよい。図9〜図11は軟骨領域の小領域への区分を説明するための図である。なお、図9は大腿骨30を被検体の側方から見た図である。また、ここでは、図9に示すように、大腿骨30の中心線C0が延びる方向にz軸を、被検体の左右方向(すなわち紙面に垂直な方向)にy軸を、z軸およびy軸に直交する方向(すなわち紙面の左右方向)にx軸をそれぞれ設定するものとする。このため、図10は大腿骨30をx軸方向から見た図となっている。
まず、マッピング部24は、大腿骨30の中心線C0を通り、y軸に直交する面60を設定する。面60は図10において中心線C0と一致する。そしてマッピング部24は、面60と大腿骨30の関節表面とが交わる線上に複数の点を設定し、その点における法線の交点を求める。なお、図9においては、2つの点における法線L1,L2の交点61を求めた状態を示している。そして、図11に示すように、交点61を通り、かつy軸に平行な面62を設定し、交点61を通り、y軸方向に延びる直線の周りにおいて、面62とそれぞれ60度および120度の角度をなして交わる2つの面63,64を設定する。そして、面60,63,64により軟骨領域を小領域に区分する。
図12は小領域に区分された軟骨領域を示す図である。なお、図12は形態画像G0を大腿骨30の中心線C0の方向に投影した図である。図12に示すように、3つの面60,63,64により、軟骨領域が6つの小領域に分割されている。
マッピング部24は、小領域ごとに機能画像F0の信号値の代表値を算出する。代表値は、上述した機能画像F0の中間面40における信号値の代表値とすればよい。また、中間面40における軟骨領域の厚さ方向の特定範囲41における機能画像F0の信号値の代表値を算出し、さらにこの代表値のさらなる代表値を算出してもよい。
このように、軟骨領域を複数の小領域に区分し、小領域ごとに機能画像F0の信号値の代表値を算出し、代表値を形態画像G0にマッピングしてマッピング画像M0を生成することにより、マッピング画像M0において、小領域ごとに軟骨の状態を確認することができる。
なお、小領域への分割は上記手法に限定されるものではなく、周知の任意の手法を用いることができる。例えば、図13に示すように、形態画像G0を大腿骨30の中心線C0方向に投影した投影画像において、軟骨下骨領域を囲む矩形領域66を設定し、この矩形領域を4等分するように小領域を設定してもよい。
また、上記実施形態においては、マッピング画像M0を画像保管サーバ3に保存してもよい。この場合、マッピング画像M0は、患者名、撮影日時、およびマッピングした機能画像F0の信号値の算出方法の情報等と併せて、形態画像G0および機能画像F0と対応づけられて画像保管サーバ3に送信され、保存される。なお、ストレージ13に保存してもよい。このように、マッピング画像M0を画像保管サーバ3またはストレージ13に保存することにより、同一被検体について過去に生成したマッピング画像M0と、最新の形態画像G0および機能画像F0から生成したマッピング画像M0とを用いた比較診断を行うことができる。以下、これを第2の実施形態として説明する。なお、第2の実施形態によるマッピング画像生成装置の構成は、図2に示す第1の実施形態によるマッピング画像生成装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。なお、画像保管サーバ3またはストレージ13が記憶手段に対応する。
図14は第2の実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、形態画像G0および機能画像F0を取得し(ステップST11)、領域抽出部22が、形態画像G0から軟骨領域を抽出する(ステップST12)。次いで、位置合わせ部23が、形態画像G0と機能画像F0との位置合わせを行う(ステップST13)。
次いで、マッピング部24が、処理対象の形態画像G0および機能画像F0について、同一被検体の過去のマッピング画像M0が、その機能画像F0の信号値の算出方法の情報と併せて画像保管サーバ3またはストレージ13に保存されているか否かを判定する(ステップST14)。
ステップST14が肯定されると、マッピング部24は、画像保管サーバ3またはストレージ13から、同一被検体の過去のマッピング画像M0と併せて保存された、機能画像F0の信号値の算出方法の情報を取得する(情報取得:ステップST15)。次いで、マッピング部24は、取得した情報に基づいて、過去のマッピング画像M0を生成した際と同一の手法により形態画像G0にマッピングする機能画像F0の信号値を算出してマッピング画像M0を生成する(ステップST16)。そして、表示制御部25が、生成したマッピング画像M0と過去のマッピング画像M0とをディスプレイ14に表示し(ステップST17)、処理を終了する。
一方、ステップST14が否定された場合、上記第1の実施形態のステップST4に進み、上記第1の実施形態と同様に、マッピング画像M0の生成、およびディスプレイ14への表示を行い、処理を終了する。
このように、第2の実施形態においては、同一被検体についての過去のマッピング画像M0を画像保管サーバ3またはストレージ13に保存しておき、撮影時期が異なる複数のマッピング画像M0をディスプレイ14に表示しているため、軟骨の状態の経時的な変化を確認することができる。とくに、過去のマッピング画像M0を生成した際と同一の手法により、形態画像G0にマッピングする機能画像F0の信号値を算出してマッピング画像M0を生成することにより、軟骨の経時的な変化をより正確に確認することができる。
なお、上記実施形態においては、膝関節のマッピング画像を生成しているが、これに限定されるものではなく、肘関節、股関節、肩関節または椎間関節等のマッピング画像を生成する際にも本発明を適用できることはもちろんである。
また、上記実施形態においては、形態画像G0としてT2*画像を、機能画像F0としてT2マップ画像を用いているが、これに限定されるものではなく、T1画像またはT2画像等を形態画像G0として用いることができる。また、T1マップ画像、T2*マップ画像、T1ρマップ画像、およびCEST等を機能画像F0として用いることができる。
以下、本実施形態の作用効果について説明する。
中間位置として、軟骨領域の厚さ方向における中間面を設定し、中間面に対応する機能画像の信号値を、形態画像にマッピングしてマッピング画像を生成することにより、軟骨に確実に対応する機能画像の信号値を形態画像にマッピングすることができる。したがって、マッピング画像において、軟骨の状態をより正確に表すことができる。
中間位置として、軟骨領域の厚さ方向における中間面を設定し、中間面を含む軟骨領域の厚さ方向の特定範囲における機能画像の信号値の代表値を算出し、代表値を形態画像にマッピングしてマッピング画像を生成することにより、軟骨により確実に対応する機能画像の信号値の代表値を対応する形態画像の位置にマッピングすることができる。
軟骨領域を複数の小領域に区分し、小領域ごとに機能画像の信号値の代表値を算出し、代表値を形態画像にマッピングしてマッピング画像を生成することにより、マッピング画像において、小領域ごとに軟骨の状態を確認することができる。
被検体と同一の被検体についての過去のマッピング画像を記憶し、撮影時期が異なる複数のマッピング画像を表示手段に表示することにより、軟骨の状態の経時的な変化を確認することができる。
1 マッピング画像生成装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 ディスプレイ
15 入力部
21 画像取得部
22 領域抽出部
23 位置合わせ部
24 マッピング部
25 表示制御部
30 大腿骨
31 脛骨
32,33 軟骨
34 半月板
40 中間面
50 レファレンス
60,62,63,64 面
61 交点
66 矩形領域
L0,L1,L2 法線
M0 マッピング画像
F0 機能画像
G0 形態画像

Claims (11)

  1. 被検体の関節を表す形態画像から軟骨領域を抽出する領域抽出手段と、
    前記被検体の前記関節についての機能画像と前記形態画像との位置合わせを行う位置合わせ手段と、
    前記軟骨領域の厚さ方向における中間位置および前記位置合わせ結果に基づいて、前記機能画像を前記形態画像にマッピングしたマッピング画像を生成するマッピング手段とを備えたことを特徴とするマッピング画像生成装置。
  2. 前記マッピング手段は、前記中間位置として、前記軟骨領域の厚さ方向における中間面を設定し、該中間面に対応する前記機能画像の信号値を、前記形態画像にマッピングして前記マッピング画像を生成する請求項1記載のマッピング画像生成装置。
  3. 前記マッピング手段は、前記中間位置として、前記軟骨領域の厚さ方向における中間面を設定し、該中間面を含む前記軟骨領域の厚さ方向の特定範囲における前記機能画像の信号値の代表値を算出し、該代表値を前記形態画像にマッピングして前記マッピング画像を生成する請求項1記載のマッピング画像生成装置。
  4. 前記マッピング手段は、前記軟骨領域を複数の小領域に区分し、前記小領域ごとに前記機能画像の信号値の代表値を算出し、該代表値を前記形態画像にマッピングして前記マッピング画像を生成する請求項1記載のマッピング画像生成装置。
  5. 前記領域抽出手段は、前記形態画像から骨領域を抽出し、
    前記マッピング手段は、前記骨領域に基づいて前記軟骨領域を複数の小領域に区分する請求項4記載のマッピング画像生成装置。
  6. 前記マッピング手段は、前記中間位置として、前記軟骨領域の厚さ方向における中間面を設定し、該中間面に対応する前記機能画像の信号値の代表値を前記小領域ごとに算出する請求項4または5記載のマッピング画像生成装置。
  7. 前記マッピング手段は、前記中間位置として、前記軟骨領域の厚さ方向における中間面を設定し、該中間面を含む前記軟骨領域の厚さ方向の特定範囲における前記機能画像の信号値の代表値を算出し、該代表値のさらなる代表値を前記小領域ごとに算出する請求項4または5記載のマッピング画像生成装置。
  8. 前記マッピング画像を表示手段に表示する表示制御手段をさらに備えた請求項1から7のいずれか1項記載のマッピング画像生成装置。
  9. 前記被検体と同一の被検体についての過去のマッピング画像を記憶する記憶手段をさらに備え、
    前記表示制御手段は、撮影時期が異なる複数の前記マッピング画像を前記表示手段に表示する請求項8記載のマッピング画像生成装置。
  10. 被検体の関節を表す形態画像から軟骨領域を抽出し、
    前記被検体の前記関節についての機能画像と前記形態画像との位置合わせを行い、
    前記軟骨領域の厚さ方向における中間位置および前記位置合わせ結果に基づいて、前記機能画像を前記形態画像にマッピングしたマッピング画像を生成することを特徴とするマッピング画像生成方法。
  11. 被検体の関節を表す形態画像から軟骨領域を抽出する手順と、
    前記被検体の前記関節についての機能画像と前記形態画像との位置合わせを行う手順と、
    前記軟骨領域の厚さ方向における中間位置および前記位置合わせ結果に基づいて、前記機能画像を前記形態画像にマッピングしたマッピング画像を生成する手順とをコンピュータに実行させることを特徴とするマッピング画像生成プログラム。
JP2017033133A 2017-02-24 2017-02-24 マッピング画像生成装置、方法およびプログラム Active JP6685250B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017033133A JP6685250B2 (ja) 2017-02-24 2017-02-24 マッピング画像生成装置、方法およびプログラム
US15/855,279 US10580136B2 (en) 2017-02-24 2017-12-27 Mapping image generation device, method, and program
DE102018103960.3A DE102018103960A1 (de) 2017-02-24 2018-02-22 Zuordnungsbild-Erzeugungsvorrichtung, Verfahren und Programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017033133A JP6685250B2 (ja) 2017-02-24 2017-02-24 マッピング画像生成装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018138071A true JP2018138071A (ja) 2018-09-06
JP6685250B2 JP6685250B2 (ja) 2020-04-22

Family

ID=63112476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017033133A Active JP6685250B2 (ja) 2017-02-24 2017-02-24 マッピング画像生成装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US10580136B2 (ja)
JP (1) JP6685250B2 (ja)
DE (1) DE102018103960A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020195729A1 (ja) * 2019-03-22 2021-10-14 富士フイルム株式会社 関節画像展開装置、方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190313936A1 (en) * 2018-04-16 2019-10-17 The Regents Of The University Of Michigan Simple method to measure magnetic resonance anisotropic t2 relaxation times in human knee cartilage

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532126A (ja) * 1998-09-14 2002-10-02 スタンフォード ユニバーシティ 関節状態の評価及び損傷防止装置
US20140187908A1 (en) * 2012-11-24 2014-07-03 Jutta Ellermann System and Method for Patient-Specific Planar Visualization of Volumetric MRI Data
JP2016505298A (ja) * 2012-12-06 2016-02-25 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. 空間コンテキストに基づく三次元イメージにおける多物体の自動的なセグメンテーション

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7935055B2 (en) * 2003-09-19 2011-05-03 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
US20060122541A1 (en) * 2004-11-08 2006-06-08 Gregor Tuma Adjusting the length of the leg
EP1827505A4 (en) * 2004-11-09 2017-07-12 Biosensors International Group, Ltd. Radioimaging
JP5330041B2 (ja) 2009-03-17 2013-10-30 株式会社日立メディコ 磁気共鳴イメージング装置
US10058393B2 (en) * 2015-10-21 2018-08-28 P Tech, Llc Systems and methods for navigation and visualization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532126A (ja) * 1998-09-14 2002-10-02 スタンフォード ユニバーシティ 関節状態の評価及び損傷防止装置
US20140187908A1 (en) * 2012-11-24 2014-07-03 Jutta Ellermann System and Method for Patient-Specific Planar Visualization of Volumetric MRI Data
JP2016505298A (ja) * 2012-12-06 2016-02-25 シーメンス プロダクト ライフサイクル マネージメント ソフトウェアー インコーポレイテッドSiemens Product Lifecycle Management Software Inc. 空間コンテキストに基づく三次元イメージにおける多物体の自動的なセグメンテーション

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ESTHER E. BRON ET AL.: "Image registration improves human knee cartilage T1 mapping with delayed gadolinium-enhanced MRI of", EUR RADIOL, vol. 23, JPN6019050341, 2013, pages 246 - 252, ISSN: 0004179079 *
JULIO CARBALLIDO-GAMIO ET AL.: "New Techniques for Cartilage Magnetic Resonance Imaging Relaxation Time Analysis: Texture Analysis o", MAGN RESON MED, vol. 59, no. 6, JPN6019050344, June 2008 (2008-06-01), pages 1472 - 1477, ISSN: 0004179080 *
TAIKI NOZAKI ET AL.: "T1rho Mapping of Entire Femoral Cartilage Using Depth- And Angle-Dependent Analysis", EUR RADIOL, vol. 26, no. 6, JPN6019050343, June 2016 (2016-06-01), pages 1952 - 1962, XP035874329, ISSN: 0004179081, DOI: 10.1007/s00330-015-3988-5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020195729A1 (ja) * 2019-03-22 2021-10-14 富士フイルム株式会社 関節画像展開装置、方法およびプログラム
JP7203952B2 (ja) 2019-03-22 2023-01-13 富士フイルム株式会社 関節画像展開装置、方法およびプログラム

Also Published As

Publication number Publication date
JP6685250B2 (ja) 2020-04-22
DE102018103960A1 (de) 2018-08-30
US10580136B2 (en) 2020-03-03
US20180247411A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
Wang et al. A practical marker-less image registration method for augmented reality oral and maxillofacial surgery
US9990744B2 (en) Image registration device, image registration method, and image registration program
US20230355312A1 (en) Method and system for computer guided surgery
JP6363575B2 (ja) 画像位置合わせ装置および方法並びにプログラム
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
CN111772792A (zh) 基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质
JP6659501B2 (ja) 軟骨定量化装置、方法およびプログラム
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
JP6685250B2 (ja) マッピング画像生成装置、方法およびプログラム
US11083395B2 (en) Method and system for the visual representation of the kinematics of a patient's joint and associated parameters
KR101988531B1 (ko) 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
JP6476125B2 (ja) 画像処理装置、及び手術顕微鏡システム
JP7203952B2 (ja) 関節画像展開装置、方法およびプログラム
JP2019126654A (ja) 画像処理装置、画像処理方法、及びプログラム
Habert et al. [POSTER] Augmenting Mobile C-arm Fluoroscopes via Stereo-RGBD Sensors for Multimodal Visualization
JP7242852B2 (ja) 関節投影面設定装置、方法およびプログラム
JP7230240B2 (ja) 半月板投影面設定装置、方法およびプログラム
WO2023110134A1 (en) Detection of positional deviations in patient registration
JP2020096773A (ja) 医用画像処理装置、方法およびプログラム
CN114270408A (zh) 用于控制显示器的方法、计算机程序和混合现实显示设备
KR20210013384A (ko) 수술위치 정보제공방법 및 수술위치 정보제공장치

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200331

R150 Certificate of patent or registration of utility model

Ref document number: 6685250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250