JP2015130971A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2015130971A
JP2015130971A JP2014003647A JP2014003647A JP2015130971A JP 2015130971 A JP2015130971 A JP 2015130971A JP 2014003647 A JP2014003647 A JP 2014003647A JP 2014003647 A JP2014003647 A JP 2014003647A JP 2015130971 A JP2015130971 A JP 2015130971A
Authority
JP
Japan
Prior art keywords
point
distance
body surface
subject
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014003647A
Other languages
English (en)
Other versions
JP6238755B2 (ja
Inventor
石田 卓也
Takuya Ishida
卓也 石田
遠藤 隆明
Takaaki Endo
隆明 遠藤
亮 石川
Ryo Ishikawa
亮 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014003647A priority Critical patent/JP6238755B2/ja
Priority to US14/593,931 priority patent/US10856850B2/en
Publication of JP2015130971A publication Critical patent/JP2015130971A/ja
Application granted granted Critical
Publication of JP6238755B2 publication Critical patent/JP6238755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)

Abstract

【課題】 同一の被検体の異なる体位における体表点の対応付けを正確に行う。【解決手段】 仰臥位の被検体の体表点qjと、メッシュの頂点pk(伏臥位の被検体の体表点)との対応付けを行う際に、メッシュの頂点pkの乳頭からの測地線距離gkと、臥位の被検体の体表点qjの乳頭からの直線距離fjとの関係(比)の値に基づいて、対応点の絞り込みを行う。【選択図】 図1

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に、体位の異なる対象物体の位置を相互に対応付けるために用いて好適なものである。
医療の分野において、医師は、複数のモダリティ(医用画像収集装置)で撮像した同一の被検体の医用画像や、異なる日時に撮像された同一の被検体の医用画像を用いて診断を行っている。同一の被検体に対する複数種類の医用画像を診断に利用するためには、夫々の医用画像において注目する病変部等の部位(注目部位、注目病変部)を相互に対応付ける(同定する)ことが重要である。そのため、医師は、一方の医用画像上で指摘されている注目病変部の画像を見ながら、病変部の形状やその周辺部の見え方等の類似性を手がかりにして、その病変部に対応する部位(対応部位、対応病変部)を他方の医用画像から探索するという作業を行う。
例えば、乳腺科では、伏臥位の状態で撮像した乳房のMRI画像上で病変部等が指摘された後に、仰臥位の状態で超音波検査を行うことにより得られた超音波断層画像上における対応病変部を探索して(同定して)診断を行うことがある。しかし、被検体である乳房は柔らかく、かつ、検査体位により形状の差異が大きくなるため、MRI画像と超音波断層画像とで病変部の位置や見え方が大きく変化してしまうという課題がある。そこで、MRI画像に変形処理を施すことで、超音波検査時の被検体の形状に一致するMRI画像を生成する技術が提案されている(特許文献1を参照)。
特開2011−239974号公報
しかしながら、変形の推定によっては超音波検査時に得た体表点と対応しないMRI画像上の体表点が、超音波検査時に得た体表点の近くに位置してしまう場合がある。そのため、正しい変形推定が行われない場合があるという課題があった。
本発明は、このような課題に鑑みてなされたものであり、同一の被検体の異なる体位における体表点の対応付けを正確に行うことを目的とする。
本発明の情報処理装置は、第1体位における対象物体の表面上の基準点である第1基準点の位置を取得する第1の取得手段と、前記第1体位における前記対象物体の表面上の点である第1表面点の位置を取得する第2の取得手段と、前記第1体位と異なる第2体位における前記対象物体の表面上の前記基準点である第2基準点の位置を取得する第3の取得手段と、前記第2体位における前記対象物体の表面上の点である第2表面点の位置を取得する第4の取得手段と、前記第1基準点の位置と、前記第1表面点の位置との距離である第1距離を導出する第1の導出手段と、前記第2基準点の位置と、前記第2表面点の位置との距離である第2距離を導出する第2の導出手段と、前記第1距離と前記第2距離との関係に基づいて、前記第1表面点と、前記第2表面点とを相互に対応付ける対応付け手段と、を有することを特徴とする。
本発明によれば、同一の被検体の異なる体位における体表点の対応付けを正確に行うことができる。
診断システムの構成の第1の例を示す図である。 診断システムのハードウェアの構成を示す図である。 情報処理装置が行う全体の動作の第1の例を示すフローチャートである。 ステップS360の処理の詳細を示すフローチャートである。 診断システムの構成の第2の例を示す図である。 情報処理装置が行う全体の動作の第2の例を示すフローチャートである。 診断システムの構成の第3の例を示す図である。 情報処理装置が行う全体の動作の第3の例を示すフローチャートである。 ステップS960の処理の詳細を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を説明する。
(第1の実施形態)
まず、第1の実施形態を説明する。
図1は、診断システムの構成の一例を示す図である。特に図1では、情報処理装置100の機能的な構成の一例を示す。
情報処理装置100は、伏臥位の状態で被検体の乳房を撮像したMRI画像に変形処理を施すことで、超音波検査時の被検体の形状(仰臥位の被検体の乳房の形状)に一致するMRI画像を生成する。そのために、情報処理装置100は、MRI画像(伏臥位の被検体の乳房の形状)から、体表点群(体表面上の位置)と基準点(乳頭位置)とを取得する。また、情報処理装置100は、超音波画像(仰臥位の被検体の乳房の形状)から、体表点群と基準点(乳頭位置)を取得する。このとき、情報処理装置100は、伏臥位の体表点群に関しては、乳頭からの測地線距離(体表に沿って測った最短の長さ)を算出し、仰臥位の体表点群に関しては、乳頭からの直線距離(ユークリッド距離)を算出する。そして、情報処理装置100は、算出した測地線距離と直線距離とに基づき、MRI画像の体表点と超音波画像の体表点とを相互に対応付ける。そして、情報処理装置100は、体表点同士の対応付けに基づき、MRI画像の変形推定を行う。このように本実施形態では、被検体(の乳房)が対象物体の一例であり、伏臥位が第1体位の一例であり、仰臥位が第2体位の一例である。
本実施形態では、医用画像(被検体の内部の3次元的な情報を表す3次元画像データ)の一例としてMRI画像を用いる場合を例に挙げて説明する。しかしながら、医用画像はMRI画像に限定されない。例えば、X線CT画像やPET画像等を医用画像として用いてもよい。
図1において、情報処理装置100は、MRI画像取得部1001、変形シミュレーション部1002、変形モデル生成部1003、変形パラメータ算出部1005、位置姿勢計測値取得部1006、及び超音波画像取得部1007を有する。また、情報処理装置100は、観察画像生成部1008、第一距離算出部1009、第二距離算出部1010、第一基準位置取得部1011、第一表面位置取得部1012、第二基準位置取得部1013、及び第二表面位置取得部1014を有する。情報処理装置100は、データサーバ120、形状計測装置130、位置姿勢計測装置140、及び超音波画像撮影装置150に接続される。
MRI装置110は、人体である被検体の内部の三次元領域に関する情報を核磁気共鳴法により取得した画像、すなわちMRI画像を撮像する装置である。MRI装置110は、データサーバ120に接続され、例えば、被検体の乳房を伏臥位で撮像したMRI画像をデータサーバ120へ送信する。
データサーバ120は、MRI装置110が撮像したMRI画像等を保持する装置である。
超音波画像撮影装置150は、超音波を送受信する不図示の超音波プローブを被検体に接触させることで、被検体の内部を超音波撮影する。本実施形態では、超音波画像撮影装置150は、仰臥位の被検体の乳房の断面領域を撮影した二次元のBモード超音波画像を撮影する。
位置姿勢計測装置140は、三次元空間における前記超音波プローブの位置と姿勢とを計測する装置である。位置姿勢計測装置140は、例えば磁気式や光学式の6自由度計測装置を超音波プローブに装着することで構成される。
形状計測装置130は、被検体の乳頭位置や体表形状を計測する装置である。形状計測装置130は、例えば、被検体の体表の位置に接触させて形状を計測するスタイラス(先端部の位置を計測する機能を具備したペン状のデバイス)等、周知の方法により構成される。本実施形態では、形状計測装置130は、超音波画像撮影装置150及び位置姿勢計測装置140に隣接する位置に設置され、超音波検査時の被検体の形状(仰臥位での被検体の形状)の情報として、乳頭の位置と、数点の体表点の位置を計測する。
次に、情報処理装置100を構成する各要素について説明する。
MRI画像取得部1001は、MRI装置110が撮像したMRI画像(伏臥位の被検体の乳房の画像)を、データサーバ120を介して取得する。
第一基準位置取得部1011は、MRI画像取得部1001が取得したMRI画像に対して画像解析処理を施し、第一の基準位置(第1基準点)として乳頭の位置を取得する第1の取得処理を行う。
第一表面位置取得部1012は、MRI画像取得部1001が取得したMRI画像に対して画像解析処理を施し、第一の表面位置(第1表面点)として乳房の体表点群の位置を取得する第2の取得処理を行う。また、第一表面位置取得部1012は、被検体の形状を表す情報として、体表と大胸筋面とで囲まれる乳房領域を算出する。
変形シミュレーション部1002は、第一基準位置取得部1011が取得した乳頭の位置と第一表面位置取得部1012が取得した乳房領域とに基づいて、被検体が仰臥位になった場合に生じる被検体(の乳房)の形状の変形をシミュレーションにより算出する。変形シミュレーション部1002は、後述する処理方法により、異なる条件において被検体(の乳房)に生じる複数の変形を算出する。
変形モデル生成部1003は、変形シミュレーション部1002が算出した被検体に生じる複数の変形の結果に基づき、被検体の変形を複数のパラメータの組によって表現する変形モデルを生成する。本実施形態では、前記複数のパラメータの組を必要に応じてパラメータベクトルと称する。
第一距離算出部1009は、第一基準位置取得部1011が取得した乳頭の位置と、第一表面位置取得部1012が取得した体表点群の位置とに基づいて、伏臥位における乳頭から夫々の体表点までの測地線距離を第1距離として算出する第1の導出処理を行う。
第二基準位置取得部1013は、形状計測装置130が計測した、超音波検査時の被検体の乳頭の位置を、第二の基準位置(第2基準点)として取得する第3の取得処理を行う。
第二表面位置取得部1014は、形状計測装置130が計測した、超音波検査時の仰臥位の被検体の数点の体表点の位置を、第二の表面位置(第2表面点)として取得する第4の取得処理を行う。
第二距離算出部1010は、第二基準位置取得部1013が取得した乳頭の位置と、第二表面位置取得部1014が取得した数点の体表点の位置に基づいて、仰臥位における乳頭から夫々の体表点までの直線距離を第2距離として算出する第2の導出処理を行う。
変形パラメータ算出部1005は、変形モデル生成部1003が生成した変形モデルを取得する。また、変形パラメータ算出部1005は、第一距離算出部1009が算出した伏臥位における乳頭から体表点までの測地線距離と、第二距離算出部1010が算出した仰臥位における乳頭から体表までの直線距離とを取得する。そして、変形パラメータ算出部1005は、変形モデルと、伏臥位における乳頭から体表までの測地線距離と、仰臥位における乳頭から体表までの直線距離とに基づき、伏臥位における体表点と仰臥位における体表点との間の対応を求める。そして、変形パラメータ算出部1005は、伏臥位における体表点と仰臥位における体表点との相互に対応する点間の距離の和を評価尺度として、前記変形モデルで変形を近似する場合の近似誤差が最小となるパラメータベクトルを算出する。
位置姿勢計測値取得部1006は、位置姿勢計測装置140が計測した超音波プローブの位置と姿勢の計測値を取得する。
超音波画像取得部1007は、超音波画像撮影装置150が取得した被検体の内部を超音波撮影した超音波画像を取得する。
観察画像生成部1008は、変形パラメータ算出部1005が算出したパラメータベクトルに基づいて、伏臥位の被検体の乳房が撮像されたMRI画像に対して変形処理を施し、仰臥位の被検体の乳房のMRI画像(変形MRI画像)を生成する。そして、観察画像生成部1008は、位置姿勢計測値取得部1006が取得した超音波プローブの位置と姿勢の計測値に基づいて、超音波画像に対応する断面の画像(対応断面画像)を変形MRI画像から切り出して生成する。そして、観察画像生成部1008は、超音波画像取得部1007が取得した超音波画像と、前記生成した対応断面画像とを合成することで、観察画像を生成する。
モニタ160は、観察画像生成部1008が生成した観察画像を表示する。
図2は、診断システムのハードウェアの構成の一例を示す図である。特に図2では、情報処理装置100のハードウェアの構成の一例を示す。
診断システムは、情報処理装置100、MRI装置110、データサーバ120、形状計測装置130、位置姿勢計測装置140、超音波画像撮影装置150、モニタ160、マウス170、及びキーボード180を有する。
情報処理装置100は、例えばパーソナルコンピュータ(PC)等で実現することができる。情報処理装置100は、中央演算処理装置(CPU)211、主メモリ212、磁気ディスク213、及び表示メモリ214を有する。
CPU211は、主として情報処理装置100の各構成要素の動作を制御する。主メモリ212は、CPU211が実行する制御プログラムを格納したり、CPU211によるプログラム実行時の作業領域を提供したりする。磁気ディスク213は、オペレーティングシステム(OS)、周辺機器のデバイスドライブ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ214は、モニタ160のための表示用データを一時的に記憶する。モニタ160は、例えばCRTモニタや液晶モニタ等であり、表示メモリ214からのデータに基づいて画像を表示する。マウス170及びキーボード180は、ユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。これらの各構成要素は、共通バス218により互いに通信可能に接続される。
次に、情報処理装置100が行う全体の動作の一例を、図3のフローチャートを用いて詳しく説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより、図3のフローチャートによる処理が実現される。また以下に説明する情報処理装置100が行う各処理の結果は、主メモリ212に格納することにより記録される。
(ステップS300)
まず、ステップS300において、MRI画像取得部1001は、MRI装置110が撮像した三次元のMRI画像をデータサーバ120から取得する。ここでは、MRI画像取得部1001は、伏臥位の被検体の乳房が撮像された三次元のMRI画像をデータサーバ120から取得するものとする。
(ステップS305)
ステップS305において、第一基準位置取得部1011は、ステップS300で取得したMRI画像に対して画像解析処理を施し、第一の基準位置として乳頭の位置を取得すると共に、第一の表面位置として密な体表点群の位置を取得する。また、第一基準位置取得部1011は、被検体の形状を表す情報として、体表と大胸筋面とで囲まれる乳房領域を算出する。
(ステップS310)
ステップS310において、変形シミュレーション部1002は、伏臥位の被検体が超音波の検査体位である仰臥位に姿勢を変えた際に被検体の乳房に生じる変形を、物理シミュレーションにより算出する。この処理は、例えば、有限要素法等の公知の方法により実行できる。この処理の方法の一例について説明する。
まず、変形シミュレーション部1002は、ステップS305でMRI画像から取得した乳房領域および乳頭の位置を取得し、その領域を物理シミュレーションの対象領域として設定する。
次に、変形シミュレーション部1002は、前記設定した物理シミュレーションの対象領域を、複数の頂点で構成されるメッシュに分割する。この処理は公知の手法で自動的に実行できる。ここで、領域を分割する各メッシュの頂点をpk、当該頂点の位置の座標をskと表記する。また、全ての頂点の位置の座標をベクトルs=(x1, y1, z1,・・・, xk, yk, zk,・・・,xN, yN, zN)tと表記する。ここで、kはメッシュの頂点毎に割振られる添え字であり、1≦k≦Nである。また、Nは頂点の総数である。ここで、N個の頂点のうち、被検体の体表に位置する頂点(体表頂点)はQ個であるものとする。したがって、QはN以下(Q≦N)である。そして、ベクトルsの1番目の要素から3×Q番目の要素には、前記被検体の体表に位置するQ個の頂点の位置座標を格納するものとする。
変形シミュレーション部1002は、前記取得した乳頭の位置に最も近い被検体の体表に位置するメッシュの頂点を探索し、その頂点を乳頭ノードとする。尚、ベクトルsの各要素の値は、MRI画像の座標系を基準とした位置座標の値である。
次に、変形シミュレーション部1002は、物理シミュレーションの対象領域を構成する材料の機械的な特性や、変形の原因となる重力方向の変動等のシミュレーション条件を設定し、それに基づいて剛性行列を算出する。例えば、乳房が線形弾性体であると仮定すると、変形シミュレーション部1002は、前記材料の機械的な特性として、ヤング率、ポアソン比等をシミュレーション条件として設定する。ただし、ヤング率、ポアソン比は未知であるものとし、変形シミュレーション部1002は、ヤング率、ポアソン比を複数の組み合わせで設定した場合の複数の異なる条件毎に後述の処理を実行する。例えば、ヤング率が500[Pa]、1000[Pa]、2000[Pa]、4000[Pa]の4種類の場合とポアソン比が0.3、0.4、0.49の3種類の場合との全ての組み合わせ(12通り)のシミュレーション条件を設定して後述の処理を実行する。
次に、変形シミュレーション部1002は、物理シミュレーションの対象領域を構成するメッシュの頂点に作用させる荷重を設定する。本実施形態では、被検体が伏臥位から仰臥位へ姿勢を変えた際に生じる乳房の変形をシミュレーションする。したがって、変形シミュレーション部1002は、被検体が伏臥位から仰臥位へ姿勢を変える際の重力方向の違いによる荷重を算出して設定する。
次に、変形シミュレーション部1002は、前述の方法で算出した剛性行列と荷重とに基づき、物理シミュレーションの対象領域を分割した各メッシュの頂点の変位を算出する。これは、被検体の変形状態を算出することに相当する。ここで、変形状態とは、変形後のメッシュの各頂点の位置に関する数値情報を意味する。本実施形態では、12通りの異なる条件毎に算出した被検体の変形状態を、変形後の頂点pkの位置座標dkiを縦に並べたベクトルdi=(x1i, y1i, z1i,…, xNi, yNi, zNi)tで表わす。ただし、iは、シミュレーション条件毎の添え字であり、本実施形態では、iは1以上12以下の整数(1≦i≦12)である。また、ベクトルdiの各要素の値は、MRI画像の座標系を基準とした位置座標(各メッシュの頂点の一座標)の値である。
次に、変形シミュレーション部1002は、夫々のシミュレーション条件において算出した被検体の変形状態の其々について、各々の乳頭ノードの位置が原点に位置するように、各メッシュの頂点の位置を、各メッシュの相対的な位置を変えずに移動させる。すなわち、変形シミュレーション部1002は、夫々のシミュレーション条件について、被検体の変形状態における乳頭ノードの位置を原点に移動させる移動量を算出し、その他のメッシュの頂点について、算出した移動量だけ並進させる処理を行う。
尚、ここでは、伏臥位から検査体位である仰臥位に姿勢を変えた際に被検体の乳房に生じる変形を、有限要素法を用いてシミュレーションする場合を例に挙げて説明した。しかしながら、例えば、差分法や粒子法等、他の手法を用いて、伏臥位から仰臥位に姿勢を変えた際に被検体の乳房に生じる変形をシミュレーションしてもよい。
(ステップS320)
ステップS320において、変形モデル生成部1003は、ステップS310におけるシミュレーションの結果di(被検体の乳房の変形をシミュレーションした結果)に基づき、その変形をパラメトリックに表現する変形モデルを生成する。変形モデルの生成は、例えば、非特許文献1に記載の方法で実行することができる。非特許文献1は、「Yipeng Hu, et al., "A Statistical motion model based on biomechanical simulations for data fusion during image-guided prostate interventions," MICCAI 2008, Part I, LNCS 5241, pp.737-744, 200」である。
非特許文献1に記載の方法によれば、まず、シミュレーションの結果diの夫々から、その平均ベクトルdaveを除算することで、正規化ベクトルd~iを生成する。そして、正規化ベクトルd~iの主成分分析を行い、第1主成分ベクトルe1から第M主成分ベクトルeMまでのM個の主成分ベクトルを算出する。本ステップS320で変形モデル生成部1003が実行する変形モデルの生成は、例えば、前記平均ベクトルdaveと前記主成分ベクトルeiの情報の算出とにより実行される。本実施形態では、これらの情報をもって変形モデルと称する。
以下、変形モデルについて説明を加える。前述の処理により算出した主成分ベクトルeiを、以下の(1)式に示すように、主成分ベクトルeiの数と同数のパラメータc1〜cMで重みづけした線形和を計算すると、シミュレーション結果diを含む様々な変形状態rを生成することができる。
Figure 2015130971
ここで、(1)式は、以下の(2)式のように、行列とベクトルによる表記に書き換えられる。
Figure 2015130971
ただし、(2)式において、Eは主成分ベクトルe1〜eMを横に並べた行列であり、cは、パラメータc1〜cMを縦に並べたベクトルである。本実施形態では、ベクトルcをパラメータベクトルと称する。ステップS320で生成される変形モデルは、このパラメータベクトルcの各要素を様々に変更することにより、(2)式の計算処理を経て、様々な変形状態を表現するものである。本実施形態では、変形モデルが表現する変形状態であるメッシュの各頂点pkの位置座標の値をrkと表記する。メッシュの各頂点pkの位置座標の値rkはパラメータベクトルcによって変化する関数として捉えることもでき、その場合には、メッシュの各頂点pkの位置座標の値をrk(c)と関数表記する。
(ステップS330)
図3の説明に戻り、ステップS330において、第二基準位置取得部1013は、形状計測装置130が計測した、仰臥位の被検体の乳頭の位置を取得する。また、第二表面位置取得部1014は、形状計測装置130が計測した、仰臥位の被検体の乳頭以外の任意の数点の体表点の位置を取得する。本実施形態では、計測された乳頭の位置座標をt0と表記する。また、j番目の体表点をqj、その位置座標をtjと表記する。ただし、1≦j≦Lであり、Lは計測点の数を意味する。
(ステップS340)
ステップS340において、第一距離算出部1009は、ステップS305で取得した仰臥位における密な体表点群の位置と乳頭の位置とに基づいて、乳頭から夫々の体表点までの測地線距離を算出する。そして、第一距離算出部1009は、密な体表点群の位置を表す各座標に、乳頭から自身(各体表点)までの測地線距離を保持するような測地線距離マップを作製する。
(ステップS350)
ステップS350において、第二距離算出部1010は、ステップS330で取得した仰臥位の被検体の体表点qj(1≦j≦L)の夫々について、乳頭からの直線距離fjを算出する。
(ステップS360)
ステップS360において、変形パラメータ算出部1005は、ステップS320で生成された変形モデルが表す変形状態が、ステップS330で取得した仰臥位の被検体の体表点の計測値と略一致する変形モデルの変形パラメータを算出する。以下、ステップS360の処理の詳細の一例を、図4のフローチャートを用いて説明する。
(ステップS3600)
ステップS3600において、変形パラメータ算出部1005は、ステップS330で取得した仰臥位の被検体の乳頭の位置を原点に移動させる処理を行う。そして、変形パラメータ算出部1005は、乳頭の位置の移動量に基づいて、ステップS330で取得したその他の体表点群を並進移動させる。尚、以下の処理では、並進移動後の体表点qjの位置座標をtjと表記する。
(ステップS3610)
ステップS3610において、変形パラメータ算出部1005は、パラメータベクトルcに初期値を与える。例えば、最も標準的なシミュレーション条件を予め定めておいて、そのシミュレーション条件に基づく変形形状を表現するベクトルcを求めて、パラメータベクトルcの初期値とすることができる。あるいは、ゼロベクトルをパラメータベクトルcの初期値としてもよい。この場合、(1)式より、各シミュレーションの結果diの平均ベクトルdaveが、初期の変形パラメータとなる。
(ステップS3615)
ステップS3615において、変形パラメータ算出部1005は、ステップS310で生成したメッシュの頂点pk(1≦k≦Q)の夫々について、変形前の状態における乳頭からの測地線距離を取得する。まず、メッシュの頂点pkの変形前の位置skから最も近い体表点の座標を求める。そして、変形パラメータ算出部1005は、ステップS340で生成した測地線距離マップから、当該座標に対応付けられている測地線距離を取得し、これを、変形前の状態における乳頭とメッシュの頂点pkとの測地線距離gkとする。
(ステップS3620)
ステップS3620において、変形パラメータ算出部1005は、ステップS330で取得した仰臥位の被検体の体表点qj(1≦j≦L)の夫々について、メッシュの頂点pkとの対応付けを行う。このとき、乳頭とメッシュの頂点pkとの測地線距離gkと、ステップS350で算出した仰臥位の被検体の体表点qjの乳頭からの直線距離fjとを比較し、これらの距離の関係に基づいて、対応点の絞り込みを行う。本実施形態では、直線距離fjに対する測地線距離gkの比が所定の範囲内(下限値から上限値までの範囲内)に収まるようなメッシュの頂点pkのみを、対応点の候補とする。そして、変形パラメータ算出部1005は、対応点の候補の中から、現在のパラメータベクトルcに基づく変形を施した際のメッシュの位置座標rk(c)が、仰臥位の被検体の位置座標tjに最も近接するメッシュの頂点pkを選択する。変形パラメータ算出部1005は、選択したメッシュの頂点pkを仰臥位の被検体の体表qjの対応点として選択する。
直線距離fjに対する測地線距離gkの比の範囲について、さらに詳しく説明する。仰臥位の被検体の体表点qjに関して、その体表点qjに対応する点(対応点)の候補となるメッシュの頂点pkは、以下の(3)式の関係を満たすものとできる。
Figure 2015130971
ここで、εは対応点の候補を絞る上での制限を緩める割合に関する正の定数項である。εは、伏臥位から仰臥位への被検体の体位の変化に伴う被検体の体表面上での伸縮割合等に基づいて設定される。
ここで、(3)式の意味についてより詳しく説明する。本ステップS3620における対応点の候補の絞り込み処理は、乳房の皮膚が、体位の変化から生じる変形によって伸び縮みしないという知識に基づくものである。この知識に基づけば、仰臥位の被検体の体表点qjの乳頭からの測地線距離oiは、以下の(4)式の関係を満たす。尚、本実施形態では、仰臥位の被検体の体表点qjの乳頭からの測地線距離oiは算出しない。
Figure 2015130971
一方、仰臥位の被検体の体表点qjの乳頭からの測地線距離oiは、その体表点qjの乳頭からの直線距離fjよりも常に長く、その関係は、以下の(5)式のように表すことができる。
Figure 2015130971
ここで、εgeは測地線距離と直線距離との違いを表す正の実数である。(3)式の不等式は、εgeが0(ゼロ)の場合(εge=0)に、(4)式および(5)式と共に成り立つ。
現実の被検体では測地線距離と直線距離は厳密には一致せず、(5)式におけるεgeは一般に0を上回る値を持つ。そのため、例えば、εge=α(正の定数値)とするようにしても良い。この場合、(4)式、(5)式により、直線距離fjに対する測地線距離gkの関係は、以下の(6)式のようになる。
Figure 2015130971
(6)式では、(3)式と比較して、直線距離fjに対する測地線距離gkの比の下限側の範囲が広くなり、上限側の範囲が狭くなる。つまり、伏臥位における測地線距離よりも仰臥位における直線距離の方が小さくなる方向に、直線距離fjに対する測地線距離gkの比の上限値と下限値とから定まる範囲がシフトする。また、前述した例ではεgeを定数とした場合について説明したが、必ずしもこのようにする必要はなく、εgeを直線距離fjまたは測地線距離gkの関数としても良い。例えば、εgeを仰臥位の被検体の乳頭と体表点との間の直線距離fjの1次関数とし、体表点の位置が乳頭から遠いほど、候補となる体表点の比の範囲を小さい方向へシフトするようにできる。すなわち、乳頭からの距離に応じて絞り込みの条件を変更することができる。
また、εgeは被検体の体表の形状に関する事前知識等に基づいて定めるようにできる。例えば、被検体の体表形状の曲率が大きい場合には、εgeを大きくするようにできる。
これらの方法により、仰臥位の被検体の体表点qjの乳頭からの測地線距離oiと、その体表点qjの乳頭からの直線距離fjとの違いを考慮した、より正確な対応点の候補に絞り込みが行える。
また、以上の処理において、直線距離fjと測地線距離gkの比の代わりに、これらの差分を採用してもよい。
尚、本ステップS3620における対応点の候補の絞り込み処理は、体位の変化による乳房の変形において、乳頭から体表面の各点までの測地線距離が維持される(皮膚が伸び縮みしにくい)という知識に基づくものである。ただし、超音波検査時における体表面の密な形状を計測することは容易ではないので、仰臥位においては、測地線距離の代わりに乳頭から体表点までの直線距離を用いている。これは、仰臥位の体位においては乳房が平坦な形状に変形するため、直線距離で測地線距離を近似しても拘束条件として有効であるという知見に基づいている。また、乳頭からの距離に応じて絞り込みの条件を変更することにより、乳頭から体表点までの測地線距離と直線距離との距離の差異を反映した絞り込みが行える。これにより、測地線距離を直線距離で代用する場合に生じる問題を軽減できる。
(ステップS3630)
ステップS3630において、変形パラメータ算出部1005は、以下の(7)式に示す距離関数Ldist(c)が最小となるパラメータベクトルcを求める(パラメータベクトルcを更新する)処理を実行する。
Figure 2015130971
すなわち、ステップS3620の処理で求めた対応点間の距離の総和を最小とするような変形を推定する。尚、(7)式のrj(c)は、ステップS3620で、仰臥位の被検体の体表点qjに対応付けられたメッシュの頂点pkの座標rk(c)を表す。このパラメータベクトルcを更新する処理は、非線形最適化問題の解法を用いて解くことができ、例えば最急降下法や準ニュートン法等の公知の手法を用いることができる。
(ステップS3640)
ステップS3640において、変形パラメータ算出部1005は、パラメータベクトルcの算出処理を終了するか否かを判定する。例えば、(7)式の残差が所定の値以上であれば処理を継続すると判定し、所定の値未満であれば処理を終了すると判定する。そして、処理を継続すると判定した場合はステップS3620に処理を進める。そして、更新後のパラメータベクトルcに基づいて、ステップS3620(仰臥位の被検体の体表点qjの夫々と、メッシュの頂点pkとの対応付け)とステップS3630(パラメータベクトルcの更新)を再度実行する。
以上によって、ステップS360における変形パラメータの算出処理が実行される。
(ステップS365)
ステップS365において、観察画像生成部1008は、ステップS360で算出した変形パラメータに基づいて、ステップS300で得たMRI画像に変形処理を加え、超音波検査時の被検体の体位に形状を一致させた変形MRI画像を生成する。
(ステップS370)
ステップS370において、超音波画像取得部1007は、超音波画像撮影装置150が撮像した超音波画像(仰臥位の被検体の乳房の画像)を取得する。
(ステップS380)
ステップS380において、位置姿勢計測値取得部1006は、位置姿勢計測装置140が計測した超音波プローブの位置と姿勢に関する計測値を取得する。
(ステップS390)
ステップS390において、観察画像生成部1008は、ステップS365で生成した変形MRI画像から、ステップS380で取得した超音波プローブの位置と姿勢で定める面の画像を切り取り、断面画像を生成する。そして、観察画像生成部1008は、ステップS370で取得した超音波画像に、生成した断面画像を重畳した観察画像を生成して、その表示画像をモニタ160に表示する。尚、超音波画像と断面画像を並列的に表示してもよい。
(ステップS395)
ステップS395において、情報処理装置100は、処理を終了するか否かの判定に基づき、処理を終了すると判定した場合には処理を終了させ、そうでない場合にはステップS370に処理を戻す。この判定は、ユーザによるマウス170やキーボード180による入力操作に基づいて行うことができる。
以上によって、情報処理装置100の処理が実施される。
以上のように本実施形態によれば、伏臥位で撮像されたMRI画像を仰臥位における形状に変形し、超音波画像の撮像の際に、撮像体位である仰臥位に合わせたMRI画像を提示できる仕組みを提供できる。
特に、本実施形態では、仰臥位の被検体の体表点qjと、メッシュの頂点pk(伏臥位の被検体の体表点)との対応付けを行う際に、pkの乳頭からの測地線距離gkと、qjの乳頭からの直線距離fjとの関係に基づいて、対応点の絞り込みを行う。そのため、現在の変形の推定値が不適切な状態であるために実際には対応点でないメッシュの頂点pkが、仰臥位の被検体の体表点qjの近くに位置してしまっている場合であっても、誤対応を回避することができる。その結果、被検体の体位の変化による乳房等の観察部位の変形の推定精度を向上させることができる。これにより、例えば、伏臥位で撮像されたMRI画像を仰臥位における形状に変形し、超音波画像の撮像の際に、撮像体位である仰臥位に合わせたMRI画像を作業者に提示することができる。
(変形例1)
本実施形態では、ステップS3620の処理において、対応点を絞り込むための情報として、仰臥位の被検体の乳頭から体表点qjまでの直線距離を第2距離として用いた。しかしながら、第2距離は直線距離に限定されるものではない。例えば、ステップS330で取得した、仰臥位の被検体の複数の体表点の位置を用いて、複数の三角パッチからなる簡易形状を求め、その形状に基づいて、乳頭からの測地線距離を求めるようにしてもよい。また、ステップS330で取得した、仰臥位の被検体の複数の体表点の位置に、陰多項式等で表現される低次の曲面モデルを当てはめ、その曲面モデル上における乳頭からの測地線距離を求めるようにしてもよい。これらの方法によれば、乳頭から体表点までの直線距離と比較して、実際の測地線距離により近い値を算出できるという効果がある。
(変形例2)
本実施形態では、ステップS3620の処理において、測地線距離gkと直線距離fjとの比率等に基づいて対応点の候補の絞り込みを行い、その対応点の候補の中から、直線距離fjに基づいて対応点を選択する方法を例として説明した。しかしながら、必ずしもこのようにする必要はない。
例えば、第1の方法として、仰臥位の被検体の体表点qjの各々に関して以下の処理を実行してもよい。すなわち、当該仰臥位の被検体の体表点qjに対して、全てのメッシュの頂点pkの変形後の位置座標rk(c)との3次元距離を算出し、その3次元距離に対して、測地線距離gkと直線距離fjの差分に応じた重み付けを施した値を対応付けの評価値とする。そして、この評価値が最も小さくなるメッシュの頂点pkを、仰臥位の被検体の体表点qjの対応点と定めるようにできる。
また、第2の方法として、以下の方法が考えられる。例えば、メッシュの頂点pkの変形後の位置座標rk(c)と、仰臥位の被検体の体表点qjの位置座標tjとの間の位置座標の差分(3次元ベクトル)を導出する。そして、当該体表点に関する伏臥位の測地線距離gkと仰臥位の直線距離fjとの差分値(スカラー値)を当該3次元ベクトル結合した4次元ベクトルを生成する。そして、その4次元ベクトルのノルム(例えばユークリッドノルム)を算出し、その値を対応付けの評価値とすることができる。
以上に説明した変形例2によれば、本実施形態で説明した手法と比較して、対応点の候補を絞り込む処理を必要としないため、より簡易な手順で処理を実行できる効果がある。
(変形例3)
また、本実施形態では、ステップS320の処理において、変形モデルを生成し、ステップS360の処理において、変形パラメータを算出する場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。
例えば、ステップS310の処理において実行されたシミュレーションの結果diで示される各メッシュの頂点群と、仰臥位の被検体の体表点群とを比較して、最も形状が近いシミュレーションの結果を探索し、それに基づいて変形MRI画像を生成しても良い。
具体的には、まず、ステップS330で取得された仰臥位の被検体の体表点群qjを、仰臥位の被検体の乳頭の位置が原点に位置するように並進移動させる。次に、シミュレーションの結果di毎に、変形後のメッシュの頂点pkの位置座標dkiと、仰臥位の被検体の体表点群qjとの対応付けを行い、対応付けした点同士の3次元距離の総和を評価値とする。このとき、ステップS3620と同様に、変形後のメッシュの頂点pkの乳頭からの測地線距離gkと、仰臥位の被検体の体表点qjの乳頭からの直線距離fjとの関係に基づいて、対応点の絞り込みを行うことができる。そして、評価値が最も小さくなるシミュレーションの結果diを、仰臥位の被検体の体表の形状に最も近い形状として採用する。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。第1の実施形態では、仰臥位の被検体の体表点qjの夫々について、乳頭からの直線距離fjを算出することを基本とした。これに対して、本実施形態では、仰臥位の被検体の密な体表の情報を得て、そこから乳頭と体表点との間の測地線距離を第2距離として算出し、算出した測地線距離を利用して対応点の絞り込みを行う。体位により乳頭から体表点までの測地線距離は大きく変化しないという特性を利用し、仰臥位の被検体の体表点とメッシュの頂点(伏臥位の被検体の体表点)とのより正確な対応付けが可能になる。したがって、算出される変形パラメータは、仰臥位の被検体の乳房形状をより正確に表現するものになる。このように本実施形態と第1の実施形態とは、仰臥位の被検体の体表点qjの乳頭からの距離の算出方法が主として異なる。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図4に付した符号と同一の符号を付す等して詳細な説明を省略する。
図5は、本実施形態の診断システムの構成の一例を示す図である。
形状計測装置530は、被検体の体表の形状を計測する装置である。形状計測装置530は、例えば被検体に対して光学的に非接触に形状を計測するレンジセンサ等、周知の方法により構成される。
第二基準位置取得部5013は、形状計測装置530が計測した、超音波検査時の被検体の形状データから、乳頭の位置を検出し、第二の基準位置として取得する第3の取得処理を行う。
第二表面位置取得部5014は、形状計測装置530が計測した、超音波検査時の被検体の形状データから、乳房の体表面に相当する領域を抽出し、抽出した領域の数点の体表点の位置を、第二の表面位置として取得する第4の取得処理を行う。
第二距離算出部5010は、第二基準位置取得部5013が取得した、乳頭の位置と、第二表面位置取得部5014が取得した、仰臥位の被検体の体表の形状とに基づき、仰臥位の被検体の乳頭から夫々の体表点までの測地線距離を算出する第2の導出処理を行う。
変形パラメータ算出部5005は、変形モデル生成部1003が生成した変形モデルを取得する。また、変形パラメータ算出部5005は、第一距離算出部1009が算出した伏臥位における乳頭から体表点までの測地線距離と、第二距離算出部5010が算出した仰臥位における乳頭から体表点までの測地線距離とを取得する。そして、変形パラメータ算出部5005は、変形モデルと、伏臥位における乳頭から体表までの測地線距離と、仰臥位における乳頭から体表までの測地線距離とに基づき、伏臥位における体表点と仰臥位における体表点との間の対応を求める。そして、変形パラメータ算出部5005は、求めた対応に基づいて、変形モデルのパラメータベクトルを算出する。
次に、情報処理装置500が行う全体の動作の一例を、図6のフローチャートを用いて詳しく説明する。尚、ステップS600〜S620、S640、S665〜S695の各処理は、それぞれ、図3のステップS300〜S320、S340、S365〜S395の各処理と同じであるので、これらの詳細な説明を省略する。
(ステップS630)
ステップS630において、第二基準位置取得部5013は、形状計測装置530が計測した形状データから突起部を検出することで乳頭を同定し、その位置を取得する。また、第二表面位置取得部5014は、形状計測装置530が計測した形状データから乳房の体表面に相当する領域を切り出す処理を実行する。
(ステップS650)
ステップS650において、第二距離算出部5010は、ステップS630で取得した被検体の体表面の形状の計測値から、仰臥位の被検体の体表点qj(1≦j≦L)の夫々について、乳頭からの測地線距離を算出する。
(ステップS660)
ステップS660において、変形パラメータ算出部5005は、ステップS620で生成された変形モデルが表す変形状態が、ステップS630で取得した仰臥位の被検体の体表点の計測値と略一致する変形モデルの変形パラメータを算出する。本ステップS660の処理は、ステップS360における変形パラメータ算出部1005の処理と概ね同じである。
ただし、メッシュの頂点pkと、仰臥位の被検体の体表点qjとの対応点の候補の絞り込みを、乳頭からの測地線距離の関係(例えば、測地線距離の比が所定の範囲内に収まる)に基づいて行う点が、ステップS360の処理と異なる。また、第1の実施形態では、ステップS3620で、仰臥位の被検体の体表点qj(1≦j≦L)の夫々について、メッシュの頂点pkとの対応付けを行う。これに対し、本実施形態では、メッシュの頂点pk(1≦k≦Q)の夫々について、仰臥位の被検体の体表点qjとの対応付けを行う。
また、第1の実施形態では、ステップS3630において、仰臥位の被検体の全ての体表点qjに対する対応点との間の距離の総和を最小化するような、被検体の変形を推定する。これに対し、本実施形態では、メッシュの全ての頂点pkに対する対応点との間の距離の総和を最小化するような、被検体の変形を推定する。
以上によって、情報処理装置500の処理が実施される。
以上のように本実施形態では、体位により、乳頭から体表面の各点までの測地線距離は大きく変化しないという特性を利用して、仰臥位の被検体の体表点qjとメッシュの頂点pkとの対応付けをより正確に実施できる。その結果、被検体の体位の変化による乳房等の観察部位の変形の推定精度をより向上させることができる。
尚、本実施形態においても、第1の実施形態で説明した変形例を採用することができる。
(第3の実施形態)
次に、本発明の第3の実施形態を説明する。第1の実施形態では、被検体が仰臥位になった場合に生じる被検体(の乳房)の形状の変形をシミュレーションにより算出し、その変形から変形モデルを算出する。そして、変形モデルと、伏臥位における乳頭から体表までの測地線距離と、仰臥位における乳頭から体表までの直線距離とに基づき、伏臥位における体表点と仰臥位における体表点との間の対応を求める。これに対し、本実施形態では、乳房の形状と変形に関する統計モデルを算出する。そして、統計モデルと、伏臥位における乳頭から体表までの測地線距離と、仰臥位における乳頭から体表までの直線距離とに基づき、伏臥位における体表点と仰臥位における体表点との間の対応を求める。このように本実施形態と第1の実施形態とは、伏臥位における体表点と仰臥位における体表点との間の対応を求める際の処理の一部が主として異なる。したがって、本実施形態の説明において、第1の実施形態と同一の部分については、図1〜図4に付した符号と同一の符号を付す等して詳細な説明を省略する。
本実施形態でも、第1の実施形態と同様に、伏臥位と仰臥位の夫々における体表の形状と、体表までの乳頭からの測地線距離と直線距離を利用して、仰臥位の被検体のMRI画像と仰臥位の被検体の超音波画像との間の対応関係を明らかにする。そして、その対応関係をユーザが視認できるように表示する。
図7は、本実施形態の診断システムの構成の一例を示す図である。本実施形態の診断システムは、変形シミュレーション部1002と変形モデル生成部1003の代わりに、統計モデル取得部7015を設けた点が、図1に示した第1の実施形態の診断システムと異なる。また、変形パラメータ算出部7005の処理が、第1の実施形態における変形パラメータ算出部1005と異なる。それ以外の各部の処理は第1の実施形態と同じである。
統計モデル取得部7015は、多数の乳房の伏臥位および仰臥位の形状の変形事例データに基づいて生成した、乳房の形状と変形に関する統計モデルをデータサーバ120から取得する。尚、統計モデルの具体例については、本実施形態の処理の説明の中で詳しく述べる。
変形パラメータ算出部7005は、統計モデル取得部7015が取得した統計モデルを取得する。また、変形パラメータ算出部7005は、第一距離算出部1009が算出した伏臥位における乳頭から体表までの測地線距離と、第二距離算出部1010が算出した、仰臥位における乳頭から体表までの直線距離とを取得する。そして、変形パラメータ算出部7005は、統計モデルと、伏臥位における乳頭から体表までの測地線距離と、仰臥位における乳頭から体表までの直線距離とに基づき、変形パラメータを算出する。この変形パラメータは、伏臥位から仰臥位に体位が変化したことによる被検体の乳房の変形を前記統計モデルで近似するためのものである。
次に、情報処理装置700が行う全体の動作の一例を、図8のフローチャートを用いて詳しく説明する。尚、ステップS900、S905、S930〜S950、S965〜S995の各処理は、それぞれ、図3のステップS300、S305、S330〜S350、S365〜S395の各処理と同じであるので、これらの詳細な説明を省略する。
(ステップS915)
ステップS915において、統計モデル取得部7015は、データサーバ120に蓄えられた乳房の形状と変形に関する統計モデルを取得する。尚、本実施形態では、以下の方法によって生成された統計モデルが、データサーバ120に予め記録されているものとする。
ここで、統計モデルとは、一つの乳房につき、伏臥位および仰臥位の異なる2種類の体位で撮像したMRI画像を一つの事例データとして、多数の事例データにおける乳房の形状と変形の挙動を統計処理することで生成したモデルである。統計モデルは、事例データの夫々において、伏臥位の被検体の乳房が撮像されたMRI画像における任意の画像座標値と、当該MRI画像と同一部位が仰臥位の状態で撮像されたMRI画像における画像座標値とを相互に対応付けたデータに基づいて生成される。このデータは、変形の正解値となる。
この統計モデルの導出方法を具体的に説明すると、まず、伏臥位の被検体の乳房が撮像された各事例のMRI画像に対して、事例間で解剖学的にほぼ同じ位置に同じノードが位置するように、メッシュを設定する。次に、各事例における変形の正解値に基づき、仰臥位におけるメッシュのノードの位置を算出する。各事例における伏臥位および仰臥位のメッシュのノードの位置の座標値を並べたベクトルを事例ベクトルxsample,iとする。このように生成した事例ベクトル群を統計的に解析することにより、統計モデルを導出する。事例ベクトル群を統計的に解析する方法としては、例えば主成分分析を用いることができる。この場合、事例ベクトル群の平均ベクトルxaverageおよび主成分ベクトルed(1≦d≦M)を算出する。本実施形態では、これらのベクトルを統計モデルと称し、前記ベクトルの算出をもって統計モデルの導出とする。ここで、Mは主成分分析による算出する主成分の数である。
ここで統計モデルについて説明を加える。本実施形態で導出した統計モデルは、事例データに含まれる乳房の伏臥位と仰臥位の夫々の形状との相互の関係である変形の統計的な記述の意味を持つ。例えば、以下の(8)式に示すように、平均ベクトルxaverageと主成分ベクトルedをパラメータc1〜cMで重みづけした線形和を計算すると、事例ベクトルxsample,iを含む様々な変形前後の形状の組を生成することができる。
Figure 2015130971
ここで、(8)式は、以下の(9)式のように、行列とベクトルで表記し直すことができる。
Figure 2015130971
ここで、Eは主成分ベクトルedを並べた行列であり、これを主成分行列と称する。また、cは、係数cdを並べたベクトルであり、このベクトルを係数ベクトルと称する。本実施形態で取得する統計モデルは、この係数ベクトルcを様々に変えることにより、事例データを含む様々な乳房の形状と変形を表現できる。
(ステップS960)
ステップS960において、変形パラメータ算出部7005は、変形パラメータである統計モデルの係数と剛体変換を算出する。統計モデルの係数と剛体変換は、ステップS905で取得した、伏臥位の被検体の体表点(により定まる形状)および乳頭の位置と、ステップS930で取得した、仰臥位の被検体の体表点(により定まる形状)および乳頭の位置とに基づいて算出される。以下、ステップS960の処理の詳細の一例を、図9のフローチャートを用いて説明する。
(ステップS9610)
ステップS9610において、変形パラメータ算出部7005は、統計モデルの係数に初期値c'を設定する。初期値c'は、例えばゼロベクトルとすることができる。
(ステップS9620)
ステップS9620において、変形パラメータ算出部7005は、統計モデルの係数の暫定値c'に基づいて、統計モデルの係数の候補c"h(1≦h≦H1)を生成する。そして、変形パラメータ算出部7005は、生成した統計モデルの候補c"hの夫々に対し、(9)式の計算により、形状x"hを夫々算出する。さらに、変形パラメータ算出部7005は、ICPアルゴリズム等の周知の方法を用いて、夫々の形状x"hと、ステップS930で取得した、仰臥位の被検体の体表の形状との一致度を求める。そして、変形パラメータ算出部7005は、仰臥位の被検体の体表の形状との一致度が最大となる形状x"hを与える係数c"hを、係数の新たな暫定値c'として選択する。また、変形パラメータ算出部7005は、当該係数の新たな暫定値c'によって定まる形状を、新たな暫定形状x'とする。そして、所定の終了条件を満たすまで、これらの処理(c"hの生成とc'の更新)を反復実行する。
(ステップS9630)
ステップS9630において、変形パラメータ算出部7005は、係数の暫定値c'に基づいて、ステップS9620と同様の方法で、統計モデルの係数の候補c"h(1≦h≦H2)を生成する。そして、変形パラメータ算出部7005は、統計モデルの係数の候補c"hに基づいて、暫定形状群x"hを算出する。
(ステップS9640)
ステップS9640において、変形パラメータ算出部7005は、暫定形状x"hの変形前の体表ノード(メッシュの頂点)の夫々について、変形前の状態における乳頭からの測地線距離を取得する。この処理は、第1の実施形態におけるステップS3615の処理と同様の方法によって行うことができる。以上の処理を、暫定形状群x"hの夫々に対して行う。
(ステップS9650)
ステップS9650において、変形パラメータ算出部7005は、仰臥位の被検体の体表点qj(1≦j≦L)の夫々について、暫定形状x"hの変形前後の体表ノードとの対応付けを行う。このとき、変形パラメータ算出部7005は、暫定形状x"hの変形前の体表ノードの夫々が持つ乳頭からの測地線距離(ステップS9640で取得)と、仰臥位の被検体の乳頭から体表点qjまでの直線距離(ステップS950で算出)とを比較する。そして、変形パラメータ算出部7005は、これらの距離の関係に基づいて、対応点の絞り込みを行う。ここで、対応点の絞り込みの方法として、例えば、第1実施形態のステップS3620と同様の方法を用いることができる。そして、変形パラメータ算出部7005は、対応点の候補の中から、変形後の体表ノードが、仰臥位の被検体の体表点qjの最近傍に位置する点を対応点として選択する。以上の処理を、暫定形状群x"hの夫々に対して行う。
(ステップS9660)
ステップS9660において、変形パラメータ算出部7005は、暫定形状群x"hの中から、ステップS9650で求めた対応点間の距離の平均値を最小とする形状を選択する。そして、その形状を与える統計モデルの係数の変動の候補c"hを、統計モデルの係数c'の新たな暫定値とする。
(ステップS9670)
ステップS9670において、変形パラメータ算出部7005は、ステップS960の処理を終了させるか否かの判定を行う。所定の終了条件を満たす場合には、ステップS960の処理を終了し、満たさない場合には、統計モデルの係数c'の新たな暫定値を用いてステップS9630以降の処理を再度実行する。
以上によって、ステップS960における変形推定処理が実行される。
以上によって、情報処理装置700の処理が実施される。
以上のように本実施形態では、対象症例の伏臥位のMRI画像を、事例データを利用して推定した仰臥位における乳房の形状に変形し、超音波画像と比較するのが容易な状態で変形された、伏臥位の被検体の乳房のMRI画像を提示することができる。そして、本実施形態でも第1の実施形態と同様に、実際には対応点でない体表ノードが、仰臥位の被検体の体表点qjの近くに位置してしまっている場合であっても、誤対応を回避することができる。その結果、被検体の体位の変化による乳房等の観察部位の変形の推定精度を向上させることができる。
本実施形態においても第1の実施形態で説明した変形例を適用することができる。また、本実施形態の手法を第2の実施形態に適用してもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
100、500、700 情報処理装置、130、530 形状計測装置、150 超音波画像撮影装置

Claims (9)

  1. 第1体位における対象物体の表面上の基準点である第1基準点の位置を取得する第1の取得手段と、
    前記第1体位における前記対象物体の表面上の点である第1表面点の位置を取得する第2の取得手段と、
    前記第1体位と異なる第2体位における前記対象物体の表面上の前記基準点である第2基準点の位置を取得する第3の取得手段と、
    前記第2体位における前記対象物体の表面上の点である第2表面点の位置を取得する第4の取得手段と、
    前記第1基準点の位置と、前記第1表面点の位置との距離である第1距離を導出する第1の導出手段と、
    前記第2基準点の位置と、前記第2表面点の位置との距離である第2距離を導出する第2の導出手段と、
    前記第1距離と前記第2距離との関係に基づいて、前記第1表面点と、前記第2表面点とを相互に対応付ける対応付け手段と、
    を有することを特徴とする情報処理装置。
  2. 前記第2距離は、前記第2基準点の位置と、前記第2表面点の位置とのユークリッド距離または測地線距離であることを特徴とする請求項1に記載の情報処理装置。
  3. 前記第1の取得手段は、前記第1基準点の位置を、前記第1体位における前記対象物体を撮像した画像を解析した結果に基づいて取得し、
    前記第2の取得手段は、複数の前記第1表面点の位置を、前記第1体位における前記対象物体を撮像した画像を解析した結果に基づいて取得し、
    前記対応付け手段は、前記第1距離と前記第2距離との関係に基づいて、複数の前記第1表面点および複数の前記第2表面点から、相互に対応付けられる前記第1表面点および前記第2表面点の候補を絞り込む絞り込み手段と、
    前記第1体位における前記対象物体を撮像した画像に対し、前記第1体位を前記第2体位に変形する処理を行った場合の、前記第1表面点に対応する点の位置を推定する推定手段と、
    前記絞り込まれた候補から、前記推定手段により推定された前記第1表面点に対応する点のうち、前記第2体位における前記第2表面点の位置に最も近い点と、前記第2体位における前記第2表面点とを、選択する選択手段と、を更に有することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記絞り込み手段は、前記複数の第1表面点および前記複数の第2表面点のうち、前記第1距離と前記第2距離との比または前記第1距離と前記第2距離との差分が、下限値と上限値との間にあるものを、相互に対応付けられる前記第1表面点および前記第2表面点の候補とすることを特徴とする請求項3に記載の情報処理装置。
  5. 前記絞り込み手段は、前記上限値と下限値の少なくとも何れか一方を、前記第1距離または前記第2距離に応じて変更することを特徴とする請求項4に記載の情報処理装置。
  6. 前記第1の取得手段は、前記第1基準点の位置を、前記第1体位における前記対象物体を撮像した画像を解析した結果に基づいて取得し、
    前記第2の取得手段は、複数の前記第1表面点の位置を、前記第1体位における前記対象物体を撮像した画像を解析した結果に基づいて取得し、
    前記対応付け手段は、前記第1体位における前記対象物体を撮像した画像に対し、前記第1体位を前記第2体位に変形する処理を行った場合の、前記第1表面点に対応する点の位置を推定する推定手段と、
    前記推定手段により推定された前記第1表面点に対応する点の位置と、前記第2体位における前記第2表面点の位置と、前記第1距離および前記第2距離の関係と、に基づいて、複数の前記第1表面点および複数の前記第2表面点から、相互に対応する前記第1表面点および前記第2表面点を1つずつ選択することを特徴とする請求項1または2に記載の情報処理装置。
  7. 前記第3の取得手段は、前記対象物体の形状を計測する計測装置による計測の結果に基づいて、前記第2基準点の位置を取得し、
    前記第4の取得手段は、前記計測装置による計測の結果に基づいて、複数の前記第2表面点の位置を取得することを特徴とする請求項1〜6の何れか1項に記載の情報処理装置。
  8. 第1体位における対象物体の表面上の基準点である第1基準点の位置を取得する第1の取得工程と、
    前記第1体位における前記対象物体の表面上の点である第1表面点の位置を取得する第2の取得工程と、
    前記第1体位と異なる第2体位における前記対象物体の表面上の前記基準点である第2基準点の位置を取得する第3の取得工程と、
    前記第2体位における前記対象物体の表面上の点である第2表面点の位置を取得する第4の取得工程と、
    前記第1基準点の位置と、前記第1表面点の位置との距離である第1距離を導出する第1の導出工程と、
    前記第2基準点の位置と、前記第2表面点の位置との距離である第2距離を導出する第2の導出工程と、
    前記第1距離と前記第2距離との関係に基づいて、前記第1表面点と、前記第2表面点とを相互に対応付ける対応付け工程と、
    を有することを特徴とする情報処理方法。
  9. 請求項1〜7の何れか1項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2014003647A 2014-01-10 2014-01-10 情報処理装置、情報処理方法、及びプログラム Active JP6238755B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014003647A JP6238755B2 (ja) 2014-01-10 2014-01-10 情報処理装置、情報処理方法、及びプログラム
US14/593,931 US10856850B2 (en) 2014-01-10 2015-01-09 Information processing apparatus, method, and program for matching target object position between the prone and supine positions obtained by MRI and ultrasound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014003647A JP6238755B2 (ja) 2014-01-10 2014-01-10 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015130971A true JP2015130971A (ja) 2015-07-23
JP6238755B2 JP6238755B2 (ja) 2017-11-29

Family

ID=53520314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014003647A Active JP6238755B2 (ja) 2014-01-10 2014-01-10 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US10856850B2 (ja)
JP (1) JP6238755B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018851A (ja) * 2018-07-31 2020-02-06 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160038252A1 (en) 2011-02-17 2016-02-11 The Trustees Of Dartmouth College Systems And Methods for Guiding Tissue Resection
JP6232748B2 (ja) * 2013-05-28 2017-11-22 富士通株式会社 変形シミュレーション装置、変形シミュレーション方法及び変形シミュレーションプログラム
JP6886260B2 (ja) * 2016-09-07 2021-06-16 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
EP3400878B1 (en) * 2017-05-10 2020-03-25 Esaote S.p.A. Method for postural independent location of targets in diagnostic imagines acquired by multimodal acquisitions and system for carrying out the said method
JP2023019930A (ja) * 2021-07-30 2023-02-09 キヤノン株式会社 情報処理装置、移動体、情報処理装置の制御方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ 乳房画像診断システム
JP2011123682A (ja) * 2009-12-10 2011-06-23 Canon Inc 情報処理装置、情報処理方法、及びプログラム
US20120262460A1 (en) * 2011-04-13 2012-10-18 Canon Kabushiki Kaisha Image processing apparatus, and processing method and non-transitory computer-readable storage medium for the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075879A (en) * 1993-09-29 2000-06-13 R2 Technology, Inc. Method and system for computer-aided lesion detection using information from multiple images
US5579360A (en) * 1994-12-30 1996-11-26 Philips Electronics North America Corporation Mass detection by computer using digital mammograms of the same breast taken from different viewing directions
CA2586147A1 (en) * 2004-11-02 2006-05-26 Metrohealth System Method and apparatus for determining correlation between spatial coordinates in breast
US8285019B2 (en) * 2006-02-10 2012-10-09 Synarc Inc. Breast tissue density measure
US8135188B2 (en) * 2007-09-12 2012-03-13 Siemens Medical Solutions Usa, Inc. Efficient features for shape analysis of lesions in breast MR
JP5234671B2 (ja) 2010-05-19 2013-07-10 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
DE102010063810B4 (de) * 2010-12-21 2019-06-06 Siemens Healthcare Gmbh Bildgebendes Verfahren und bildgebende Vorrichtung zum Darstellen dekomprimierter Ansichten eines Gewebebereiches
JP2012213558A (ja) * 2011-04-01 2012-11-08 Canon Inc 画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ 乳房画像診断システム
JP2011123682A (ja) * 2009-12-10 2011-06-23 Canon Inc 情報処理装置、情報処理方法、及びプログラム
US20120262460A1 (en) * 2011-04-13 2012-10-18 Canon Kabushiki Kaisha Image processing apparatus, and processing method and non-transitory computer-readable storage medium for the same
JP2012217770A (ja) * 2011-04-13 2012-11-12 Canon Inc 画像処理装置、その処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018851A (ja) * 2018-07-31 2020-02-06 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法
JP7313954B2 (ja) 2018-07-31 2023-07-25 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP6238755B2 (ja) 2017-11-29
US10856850B2 (en) 2020-12-08
US20150196282A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
JP6312898B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10102622B2 (en) Processing apparatus, processing method, and non-transitory computer-readable storage medium
JP6238755B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10546377B2 (en) Image processing apparatus and method, and processing system
KR101267759B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
US8920322B2 (en) Valve treatment simulation from medical diagnostic imaging data
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
JP2011123682A (ja) 情報処理装置、情報処理方法、及びプログラム
EP2637570A2 (en) System and method of ultrasound image processing
JP2012213558A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014530348A (ja) 元の放射線画像を更新するための放射線画像システム及び方法
JP2013059658A (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP6383153B2 (ja) 処理装置、処理方法、およびプログラム
JP6888041B2 (ja) 医用矢状面画像を取得する方法、医用矢状面画像を取得するニューラルネットワークのトレーニング方法及びコンピュータ装置
JP7043363B2 (ja) 超音波診断システム
US11295462B2 (en) Determination of registration accuracy
US11501442B2 (en) Comparison of a region of interest along a time series of images
Masutani et al. Appearance similarity flow for quantification of anatomical landmark uncertainty in medical images
US9836837B2 (en) Method and device for determining a transformation between two images of an anatomical structure
JP2018167077A (ja) 処理装置、処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171031

R151 Written notification of patent or utility model registration

Ref document number: 6238755

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151