JP2012504449A - 医用画像シーケンスのスナップショットの選択 - Google Patents

医用画像シーケンスのスナップショットの選択 Download PDF

Info

Publication number
JP2012504449A
JP2012504449A JP2011529654A JP2011529654A JP2012504449A JP 2012504449 A JP2012504449 A JP 2012504449A JP 2011529654 A JP2011529654 A JP 2011529654A JP 2011529654 A JP2011529654 A JP 2011529654A JP 2012504449 A JP2012504449 A JP 2012504449A
Authority
JP
Japan
Prior art keywords
image
images
selecting
snapshot
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011529654A
Other languages
English (en)
Other versions
JP5583128B2 (ja
Inventor
トーマス ブエロウ
マルティン ベルフトホルツ
リナ エイ メイネル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012504449A publication Critical patent/JP2012504449A/ja
Application granted granted Critical
Publication of JP5583128B2 publication Critical patent/JP5583128B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

医用画像の自動選択をするためのシステムが設けられている。このシステムは、手持ち式の医用撮像装置を用いて取得した医用画像の時間シーケンスを受け取るための入力部302を有する。前記画像の少なくとも1つにおいて物体を検出するための物体検出器303が設けられている。前記物体検出器により前記物体が検出された画像を選択するための画像選択器が設けられている。前記選択した画像をスナップショットとして記憶するためのスナップショット手段が設けられている。さらに、前記医用画像の時間シーケンスを生じさせる手持ち式の医用撮像装置が設けられている。

Description

本発明は、医用画像の選択に関する。特に本発明は、画像をスナップショットとして記憶するために、その画像を自動的に選択するためのシステム、方法及びコンピュータプログラムプロダクトに関する。
リンパ節又は乳癌病巣の超音波スキャンにおいて、オペレータが手持ち式の超音波プローブを動かし、記憶するために結果生じるビデオストリームから画像を手動で選択することは一般的な方法である。さらに、このオペレータは、調査中の構造体の位置及び範囲を特定するために、この画像上に図形注釈又はマーカーを任意に置くことができる。
腋窩リンパ節の病期分類(staging)は、新たに診断された乳癌の患者において病気の拡大を評価する上で重要なステップである。術前のリンパ節の病期分類の画像ベースの方法は、超音波画像を、場合によってはMRのような他の撮像モダリティと組み合わせて使用することで構成される。
これら超音波画像は、手持ち式の装置を用いて取得される。2D画像は、オペレータにより選択され、保存される。通常、追加のマーキング又は注釈、例えばリンパ節の長軸及び短軸は、オペレータにより置かれ、画像と一緒に記憶される。
さらに、臨床診療におけるコンピュータ支援検出及び診断(CAD)システムの使用への明白な傾向がある。コンピュータ支援検出及び人手評価の両方の目的で、超音波画像の画像取得に関する高いレベルのオペレータ依存は問題を引き起こす。
医用画像を選択する改善した方法を得ることが利点である。この問題を上手く対処するために、
手持ち式の医用撮像装置を用いて取得した医用画像の時間シーケンスを受け取るための入力部、
前記画像の少なくとも1つにおいて物体を検出するための物体検出器、
前記物体検出器により前記物体が検出された画像を選択するための画像選択器、及び
前記選択した画像をスナップショットとして記憶するためのスナップショット手段、
を有する装置が示される。
物体が検出された画像を選択する画像選択器は、さらにオペレータ非依存の取得した画像の選択を達成するのを助ける。現在の手持ち式の医用画像取得システムにおいて、オペレータは、臨床的関連性の物体が表示される画像のスナップショットを手動で記憶する。しかしながら、この作業は、前記物体検出器及び画像選択器を用いて自動化されてもよい。これはオペレータ依存を減少させるので、それが画像取得の再現性を高めるかもしれない。さらに、オペレータは、スナップショットの選択及び保存の作業に時間及び注意を払う必要はないので、オペレータにとってこの画像取得はさらに効率的及び/又は簡単になるかもしれない。さらに、ある実施例において、スナップショットとして選択されなかった画像は処分される。
ある実施例はさらに、前記医用画像のシーケンスを前記入力部に供給するための手持ち式の医用撮像装置も有する。上述した前記システムを手持ち式の医用撮像システムに組み込むことが予想される。例えば、このような手持ち式の医用撮像システムは、手持ち式の医用撮像装置及び制御盤(console)を有する。画像を選択するための前記システムは、例えばこの制御盤内に組み込まれることができる。
ある実施例において、画像を選択するための画像選択器が配される一方、前記時間シーケンスは、手持ち式の医用撮像装置を用いて取得されている。画像の選択は、画像の取得中、"オンライン"で行われてもよい。これは、選択した画像だけが記憶される必要があるため、前記取得を特に効率良くさせる。さらに、オペレータは、画像のスナップショットを手動で選択する必要はない。
ある実施例は、画像を選択する際、手持ち式の医用撮像装置のオペレータに警告を発生させるための警告ユニットを有する。このように、オペレータは、スナップショットの画像の記憶について知らされる。オペレータは、記憶されたスナップショットの品質を再検討(レビュー)することを可能にする。許容できる画像が記憶された場合、オペレータは取得を止める又は他の関心領域の撮像を続けてもよい。一方、オペレータは、手動で又は自動的に前記取得を続けても及び/又は他のスナップショットを記憶してもよい。
ある実施例において、前記物体検出器は、複数の前記画像において物体を検出し、それと共に前記物体を各々有する画像の組を得るために配され、前記画像選択器は、その画像の臨床的関連性を表す既定の選択基準の組を適用することにより、前記画像の組から1つの画像を選択するための手段を有する。この既定の選択基準は、自動画像選択装置が画像の選択を絞り込む(refine)ことを可能にする。物体が検出された如何なるランダムな画像も記憶するには十分ではなく、物体が例えば最大の断面積又は断面の縦軸と共に示される特定の画像が記憶されるべきである。この説明を考慮して、当業者は、スナップショットに示されるような、物体の上記所望の特性を反映している選択基準を作成することが可能である。
ある実施例は、物体検出器により物体が検出された確率又は前記物体が検出された精度を示す品質値を設定するための手段を有し、画像選択器は、既定のしきい値より上の品質値を持つ画像及び/又は複数の品質値の中で最高の品質値を持つ画像を選択するための手段を有する。このような場合、前記物体が検出された確率又は物体検出の精度を示す値を設定することもしばしば可能である。特定のモデルを前記画像データに嵌合させることにより、物体が検出されている場合、この嵌合の良好さを示す値が設定されることができる。このような品質値は、大きい確率/嵌合の良好さを持つ画像を選択するのに使用されることができる。
ある実施例は、画像における物体のサイズを設定するための手段を有し、画像選択器は、既定のしきい値より上のサイズを持つ画像及び/又は複数のサイズの中で最大のサイズを持つ画像を選択するための手段を有する。このサイズは、最長軸、最短軸、総面積として又は他の方法で測定されてもよい。物体を大きなサイズで示している画像を選択することにより、この物体の断面図はこの物体を真ん中で交差することを強制される。一方、それは、前記物体を示す画像を臨床的に関連する方法で見つけるのを助ける。
ある実施例において、前記サイズは、物体の縦軸の長さを表す。これは特に、細長い物体において、この物体が最長軸に沿って示されている画像を記憶するのを助けることができ、この画像は特定の臨床的関心の図である。
ある実施例において、前記手持ち式の医用撮像装置は超音波プローブを有し、医用画像のシーケンスは、この超音波プローブから得られる2Dの超音波画像のシーケンスを有する。超音波は手持ち式の装置に一般的に適用されるモダリディであり、画像選択システムは、超音波のスナップショットのオペレータ依存性を減少させる。物体は例えば腋窩リンパ節を有してもよい。
ある実施例は、選択した画像の注釈を設けるための注釈機(annotator)を有し、この注釈は、物体検出器により、前記選択した画像において検出される物体を示す又は描画し、スナップショット手段は、この選択した画像の注釈を記憶するための手段を有する。これは、放射線専門医が、画像が記憶された理由となった物体を素早く分かることを可能にするための役立つ特徴である。それは、後の段階で再び検出を行わなければならないことを避ける。
注釈機は、物体に関連する少なくとも1つの測定値を注釈に含むための手段を有する。これは、注釈の有用性を改善させ、再び計算を行わせることを避ける。測定値の例は、リンパ節又は腫瘍のサイズ及びアスペクト比を含む。
ある実施例は、
手持ち式の撮像装置を用いて取得した医用画像の時間シーケンスを受け取るステップ、
前記画像の少なくとも1つにおいて物体を検出するステップ、
前記物体検出器により物体が検出された画像を選択するステップ、及び
前記選択した画像をスナップショットとして記憶するステップ
を有する、医用画像の自動選択を提供する方法を有する。
ある実施例において、処理器システムに上述した方法を実行させるための命令を有するコンピュータプログラムプロダクトを有する。
本発明の上述した実施例、実行及び又は態様の2つ以上が役立つと考えられる如何なる方法で組み合わされてもよいことは、当業者により理解される。
画像取得装置、ワークステーション、システム及び/又はコンピュータプログラムプロダクトの変更及び変形は、上述した前記システムの変更及び修正に対応し、本明細書に基づいて当業者により実施されることができる。
当業者は、前記方法が様々な取得モダリティ、例えばそれらに限定されないが、標準的X線撮像、コンピュータ断層撮像(CT)、磁気共鳴撮像(MRI)、超音波(US)、ポジトロン放射断層撮像(PET)、単一光子放射断層撮影(SPECT)及び核医学(NM)により取得される、多次元の画像データ、例えば二次元(2D)、三次元(3D)又は四次元(4D)画像に適用されることを理解している。ここに述べた方法及びシステムは、2Dの断面画像の時間シーケンスを生成する手持ち式の撮像装置と共に、有利に使用されることも理解される。
図1は、手動で特定した腫瘍を持つ超音波画像を示す。 図2は、自動的に特定した腫瘍に嵌合する楕円を持つ超音波画像を示す。 図3は、高勾配ピクセル及び自動的に特定した腫瘍に嵌合する楕円を持つ超音波画像を示す。 画像を選択するためのシステムを示す。 画像を選択するための方法を示す。 手持ち式の撮像装置を用いた医療検診を示す。
本発明のこれら及び他の態様は、図面を参照してさらに説明及び開示される。
自動セグメント化及びトラッキングアルゴリズムは、医用画像においてリンパ節及び/又は乳癌病巣をセグメント化及びトラッキングするために用いられる。セグメント化の品質及び追加の品質基準に基づいて、取得した画像は、記憶するために自動的に選択される。その上、選択された画像は、利用可能なセグメント化情報を用いて自動的にラベル付けされてもよい。自動セグメント化及びトラッキングアルゴリズムは、2Dの超音波画像においてリンパ節を最初にセグメント化して、この画像においてリンパ節をトラッキングするために使用される一方、オペレータは手持ち式の超音波プローブを動かす。現在のセグメント化の結果に基づいている画像品質の測定値を用いて、2Dのスナップショットは、記憶するために自動的に選択されてもよい。選択されたスナップショットは、前記セグメント化の結果を示すために注釈を付けられ、システムにより自動的に記憶されてもよい。これは、手動の注釈の必要が無いので、オペレータの仕事量を減少させるだけでなく、同時にオペレータ非依存の画像の選択を保証する。これは、後続する診断の再検討に又はコンピュータ支援診断システムへの入力として役立つ標準化画像を得るのを助ける。
2Dの超音波画像においてリンパ節の手動のセグメント化は、このリンパ節の境界に複数のマーカーを手動で置くことによって行われてもよい。図1は、十字形状である手動で置かれたマーカー1と共に、超音波画像において腋窩リンパ節を説明している。
2Dの超音波画像においてリンパ節を自動セグメント化する1つの方法は、画像データに楕円を嵌合することである。図2は、図1に示される腋窩リンパ節の同じ超音波画像を説明し、白色のオーバーレイ2は自動的に嵌合した楕円を示している。
図3は、超音波画像においてキャニーエッジ(Canny edge)検出器により検出された複数のエッジピクセル3を図示する。楕円嵌合部4は、前記エッジピクセルの組のランダムに選択されたサブセットに楕円を嵌合することにより得られる。各楕円の嵌合の良好さは、この楕円の境界に沿った画像勾配ベクトルの垂直(外側に向く)成分を積分することにより得られる。
リンパ節への最初の楕円の嵌合が一度得られたら、このリンパ節は、超音波プローブが動かされている間、この最初の楕円のすぐ近くにおいて最も上手く嵌合している楕円を探すことにより、トラッキングされることができる。このようにして、超音波画像の取得中に、楕円パラメタがトラッキングされる。
2Dのスナップショットは、既定の条件、例えば
データへの楕円の嵌合の良好さの(時間に関する)極大であり、この嵌合の良好さは、例えば楕円の境界に沿った画像勾配ベクトルの外側に向く成分の積分を用いて設定されることができる、
リンパ節の最大範囲(楕円の最長軸)
リンパ節の最大面積(楕円の長軸及び短軸の長さの最大の積)
に基づいて、記憶するために自動的に選択される。
記憶した画像の良好な選択を得るために、これらの制約の組み合わせが利用されることができる。例えば、嵌合の良好さは、最大範囲又は最大面積と一緒に使用される。このような組み合わせは、適切なパラメタを乗算する、この場合は嵌合の良好さの測定値を前記範囲又は面積で乗算することにより得られる。この積の最大値が記憶するための画像の選択を引き起こしてもよい。
例えば初期の乳癌病巣の超音波スキャンのような、上述した技術の他の応用も可能である。さらに、(再生不可能な視角をもたらす手持ち式の超音波プローブによって、超音波ではそうである)オペレータが取得した画像に大きく影響を与える、並びに特定の画像パターンに対し検索する、如何なる撮像モダリティもここに開示したような自動画像選択を用いることにより改善されることができる。
リンパ節のトラッキングは、例えば画像に図形要素(楕円、十字等)を重畳することにより視覚化されてもよい。
図4は、医用画像の自動選択を提供するためのシステムを説明している。このようなシステムは、メモリに記憶されるコンピュータ命令を実行するための処理器310を有してもよい。(例えばブロック302−305で示される)これらコンピュータ命令は、メモリ(図示せず)、例えばフラッシュメモリ若しくはRAM及び/又は医用撮像用制御盤のハードディスクに記憶される。このような制御盤は、医用画像の取得を制御する及び取得した画像を再検討及び注釈を付けるための多くのハードウェア部品、例えばディスプレイ、キーボード、幾つかの補助ボタン、トラックボール又はマウス等を有してもよい。さらに、医用画像、注釈、患者情報及び他の情報を記憶するための記憶手段311が設けられる。データはデータベース内に整理され、記憶手段311は、RAM、ハードディスク、フラッシュメモリ又はDVD若しくはCD−ROMのような取り外し可能な記憶媒体を含む如何なる他の記憶媒体を有してもよい。
このシステムは、手持ち式の画像取得装置301を有してもよい。患者の画像を取得するための上記手持ち式の画像取得装置は、オペレータにより用いられる。超音波システムの場合、この手持ち式の画像取得装置は、超音波プローブを有する。オペレータは一般的に、画像が取得されなければならない場所の患者の皮膚の部分の準備をする。その後、オペレータは、超音波プローブをその皮膚の上に置き、例えば腫瘍若しくはリンパ節のような関心物体の良好なビューを見つけるために、画像を取得する間、プローブを動かしたり、回したりする。
取得中、一連の画像は、手持ち式の画像取得装置301から入力部302に伝送され、この入力部302は、手持ち式の画像取得装置301から画像を受け取り、これら画像を記憶手段311、例えばそれのRAMに一時的に記憶する。
画像の少なくとも1つにおいて物体を検出するための物体検出器303が配されている。その趣旨で、この物体検出器は、物体があるかどうか入力部302を介して受け取った画像を分析する。これは上述したように、高勾配ピクセルに楕円を嵌合することにより行われてもよい。しかしながら、物体検出のための他の適切な方法及びシステムは、本説明を考慮して当業者に明らかとなるだろう。この物体検出器は、例えば楕円の嵌合により、画像において物体の範囲の輪郭を描いてもよい。一方、物体検出器は、画像に物体が存在するのを単に検出するだけでもよい。画像内の位置及び/又は物体の境界のような物体のパラメタが記憶手段311に一時的に記憶されてもよい。
画像選択器305は、物体検出器により物体が検出された画像を選択する。この目的のために、物体が検出された1つ又は複数の画像に関する情報を前記物体検出器303から受け取る。目下の応用に依存して、画像選択器は、物体が検出された全ての画像のスナップショットを記憶してもよい、又は画像選択器は、物体が検出された1つ若しくは複数の特定の画像を選択してもよい。例えば、物体検出器は、異なる画像において同じ物体又は異なる物体が検出されているかを示すことが可能であり、検出された全ての物体の1つのスナップショットを記憶するための画像選択器が次いで配される。検出された物体に関する情報は、記憶手段311を介して行われてもよい。
スナップショット手段305は、選択した1つ又は複数の画像を1つ又は複数のスナップショットとして記憶する。これらスナップショットは自動的に患者ファイルに含まれる。これらスナップショットはレポートに含まれてもよい。記憶手段311に一時的に記憶される画像は、スナップショットの画像を選択及び記憶した後、削除されてもよい。一方、完全な画像列が恒久的に記憶され、選択された画像はスナップショットとしてラベルが付けられる。もしあれば、物体検出器により生成される注釈は、別々に若しくは画像内に図形として記憶されてもよい。
上述したシステムの典型的な動作モードにおいて、物体検出器は、画像が手持ち式の装置301から入力部302に転送されるとすぐに、これら画像にある物体を検出する。画像選択器は画像を選択するために配されるのに対し、時間シーケンスは、前記手持ち式の画像取得装置を用いて取得される。この動作モードにおいて、画像は、オンザフライ(on-the-fly)若しくはリアルタイム(real time)で選択される。画像選択処理が行われるとすぐに、選択されなかった画像はシステムから消去されるので、保存領域を節約する。さらに、適切な画像が選択されるとすぐに取得を止め、これは時間を節約する。
ある実施例は、画像を選択する際に、手持ち式の画像取得装置のオペレータへ警告を発するための警告ユニットを有する。これは、適切な画像が保存されたことをオペレータに知らせる効果的な方法であり、そしてオペレータは止める又は次の腫瘍若しくは関心物体に進むことができる。この警告は、例えばビープ音のような音声信号及び/又は制御盤上のポップアップウィンドウ若しくは前記手持ち式の装置にあるランプにより生じる光信号のような視覚信号を有してもよい。
検出された物体の臨床的関連性の尺度を設定するために、これら検出された物体に適用される選択基準を規定することが可能である。ある実施例において、画像選択器は、その画像の臨床的関連性を表す上記既定の選択基準の組を適用することにより、物体検出器が物体を選択した複数の画像の中で1つの画像を選択するための手段を有する。このような基準は、例えば物体のサイズ、形状、グレイレベル、構造又は位置に関係してもよい。物体の検出が楕円の嵌合を有する場合、可能な例示的基準は、楕円の面積、楕円の最長軸、楕円の最長軸と最短軸の比を含む。このような値がしきい値と比較される、つまり例えばしきい値が超過している場合、画像は単に記憶されるだけである。一方、臨床的関連性を特徴付ける値は、物体を有する画像のシーケンスに対し計算され、最も好ましい値を持つ値が選択され、スナップショットとして記憶される。この最も好ましい値は、当業者は理解されるように、これら値が計算される方法に依存して例えば最高値又は最低値でもよい。
ある実施例は、物体検出器により物体が検出された精度を示す品質値を設定するための手段を有する。物体の検出が不十分であった場合、画像内に如何なる物体も存在しなかったり、若しくは例えばサイズのような物体の如何なる推定される特徴が誤ったりするので、このような品質値は画像の臨床的関連性を示す。複数の品質値の中で既定のしきい値より上の品質値を持つ及び/又は最大の品質値を持つ画像を優先する選択基準が適用される。このようにして、物体の検出が上手くいった画像が記憶される。
ある実施例は、画像における物体のサイズを設定する手段を有する。本実施例において、複数のサイズの中で既定のしきい値より上のサイズを持つ及び/又は最大のサイズを持つ画像を選択するための選択基準が適用される。そのサイズが最大である場合、物体は最もよく見え、最も詳細であると仮定するのが適当である。特に、撮像されている物体の断面を構成する2D画像、例えば2D超音波画像の場合、物体が最大である場合、これはこの断面は物体の大きな部分と交差し、これは最も臨床的な情報、特に3Dでの物体の実サイズに関する情報を提供する。このサイズは、物体の縦軸の長さでもよい。この場合、物体の全長が撮像されるプローブの方位が選択される。
物体は、腋窩リンパ節を有してもよい。このようなリンパ節を撮像する手順は、さらに効率良くなることができる。この手順の結果は、スナップショットを選択するための画像選択器を利用することにより、さらにオペレータ非依存性にすることができる。
ある実施例は、前記選択された画像の注釈を設けるための注釈機307を有する。この注釈は、物体検出器303により検出される物体に基づいて生成する。注釈は、選択された画像において検出される物体を表す。例えば、注釈は、検出される物体の境界を示す図形物体を有する。さらに、注釈は、それのサイズのような、検出される物体の数値情報を有してもよい。患者情報は、その注釈に含まれてもよい。
図5は、医用画像の自動選択を提供する方法の処理ステップを説明する。ステップ402において、時間シーケンスが入力され、このシーケンスは手持ち式の医用撮像モダリティを用いて取得した医用画像を有する。ステップ403において、物体が前記画像の少なくとも1つにおいて検出される。ステップ404において、物体検出器により物体が検出された画像が選択される。ステップ405において、選択された画像は、スナップショットとして記憶される。この方法は、新しい画像系列の取得を示す、オペレータにより押されるボタンによって始められてもよい。この方法は、前記画像シーケンスの終わりにより終了してもよい。リアルタイムモードにおいて、画像は、記憶手段311にあるバッファに一時的に記憶されてもよい。画像選択器303は、逐次的に各画像に適用されてもよい。画像選択器は、上述した選択基準の何らかを用いて、各画像の適合性を示す値をスナップショットとして計算してもよい。このように、適合性の値の時間シーケンスは、画像の時間シーケンスに対応して得られる。この適合性の値の画像シーケンスにおいて、それ自体は従来知られる最大値検出器を用いて極大値が見つけられる。画像選択器304は、このような適合性の値の極大値を検出するように配されてもよい。画像選択器304はさらに、スナップショットとして記憶するための前記適合性の値の極大値に対応する画像を選択するように配されてもよい。
図6は、手持ち式の装置を用いた医療検診を説明する。画像は、横になっている患者、手持ち式の撮像装置を持っているオペレータ、及びその背後に、この手持ち式の撮像装置を用いて得られた画像を表示するための制御盤を示す。
この説明において、乳癌に焦点を当てているが、ここに開示される実施例は他の医用撮像応用にも適用され得ると理解される。例えば、ここに述べる技術が手持ち式の撮像装置を用いて身体内の他の物体を検査するときに使用されることができる。それの特定例は、肝臓癌の検査である。
本発明は、本発明を実施するのに適したコンピュータプログラム、特に担体上又は担体内にあるコンピュータプログラムにも適用されることが理解される。このプログラムは、ソースコード、オブジェクトコード、コードインターミディエイトソース、及び部分的にコンパイルされた形式のようなオブジェクトコードの形式であるか、又は本発明による方法の実施に使用するのに適した如何なる他の形式である。このようなプログラムは、多くの異なる構造設計を持ってもよいことも理解される。例えば、本発明による方法又はシステムの機能を実施するプログラムコードは、1つ以上のサブルーチンに細分されてもよい。これらサブルーチン間に前記機能を分配する多くの異なる方法は、当業者に明らかであろう。これらサブルーチンは、自己完結型のプログラムを形成するために、1つの実行ファイルに一緒に記憶されてもよい。このような実行ファイルは、例えば処理器の命令及び/又はインタプリタの命令(例えばJavaインタプリタの命令)のようなコンピュータが実行可能な命令を有してもよい。一方、前記サブルーチンの1つ以上又は全てが少なくとも1つの外部ライブラリに記憶され、メインプログラムと静的又は動的に、例えばランタイムでリンク付けされてもよい。このメインプログラムは、前記サブルーチンの少なくとも1つへの少なくとも1つの呼び出し(call)を含む。さらに、これらサブルーチンは、お互いの関数呼び出しを有してもよい。コンピュータプログラムプロダクトに関連する実施例は、上述した方法の少なくとも1つの処理ステップの各々に対応するコンピュータが実行可能な命令を有する。これら命令は、サブルーチンに細分されても及び/又は静的若しくは動的にリンク付けされる1つ以上のファイルに記憶されてもよい。コンピュータプログラムプロダクトに関する他の実施例は、上述したシステム及び/又はプロダクトの少なくとも1つの手段の各々に対応するコンピュータが実行可能な命令を有する。これら命令は、サブルーチンに細分されても及び/又は静的若しくは動的にリンク付けされる1つ以上のファイルに記憶されてもよい。
コンピュータプログラムのキャリアは、プログラムを実行することが可能な如何なるエンティティ又は装置でよい。例えば、このキャリアは、記憶媒体、例えばCD−ROM若しくは半導体ROMのようなROM、又は磁気記録媒体、例えばフロッピーディスク若しくはハードディスクを含んでよい。さらに、このキャリアは、例えば電気又は光信号のような伝送キャリアでもよく、この信号は電気若しくは光ケーブルを介して、又は無線若しくは他の手段により運ばれてもよい。前記プログラムがこのような信号に組み込まれる場合、キャリアは、上記ケーブル又は他の装置若しくは手段により構成されてもよい。一方、前記キャリアは、プログラムが組み込まれる集積回路でもよく、この集積回路は、適切な方法を行う、すなわち適切な方法の実行に用いるのに適している。
上述した実施例は本発明を制限するのではなく、説明するものであること、並びに当業者は、特許請求の範囲から外れることなく多くの代替実施例を設計することができることに注意すべきである。請求項において、如何なる参照符号もこの請求項を制限すると考えない。「有する」とう動詞及びそれの活用は、請求項に挙げた要素又はステップ以外の要素又はステップを排除しない。複数あることを述べないことがそれら要素は複数あることを排除しない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータを用いて実施されてもよい。幾つかの手段を列挙している装置の請求項において、これら手段の幾つかがハードウェアの同一のアイテムによって組み込まれてもよい。ある方法が相互に異なる独立請求項に挙げられているという単なる事実は、これら方法の組み合わせが有利に使用できないことを示しているのではない。

Claims (14)

  1. 医用画像の自動選択を提供するためのシステムにおいて、
    手持ち式の医用撮像装置を用いて取得した医用画像の時間シーケンスを受け取るための入力部、
    前記画像の少なくとも1つにおいて物体を検出するための物体検出器、
    前記物体検出器により前記物体が検出された画像を選択するための画像選択器、及び
    前記選択した画像をスナップショットとして記憶するためのスナップショット手段
    を有するシステム。
  2. 前記医用画像のシーケンスを前記入力部に供給するための前記手持ち式の医用撮像装置をさらに有する請求項1に記載のシステム。
  3. 前記画像選択器は前記画像を選択するために配される一方、前記時間シーケンスは、前記手持ち式の医用撮像装置を用いて取得される請求項1に記載のシステム。
  4. 前記画像を選択する際、前記手持ち式の医用撮像装置のオペレータに警告を発生させるための警告ユニットをさらに有する請求項3に記載のシステム。
  5. 前記物体検出器は、複数の前記画像において前記物体を検出し、それと共に前記物体を各々有する画像の組を得るために配され、前記画像選択器は、前記画像の臨床的関連性を表す既定の選択基準の組を適用することにより、前記画像の組から1つの画像を選択するための手段を有する請求項1に記載のシステム。
  6. 前記物体が前記物体検出器により検出される精度を示す品質値を設定するための手段をさらに有し、前記既定の選択基準は、既定のしきい値より上の品質値を持つ画像及び/又は複数の品質値の中で最高の品質値を持つ画像を選択するための少なくとも1つの基準を含む、請求項5に記載のシステム。
  7. 画像における前記物体のサイズを設定するための手段をさらに有し、前記既定の選択基準は、既定のしきい値より上のサイズを持つ画像及び/又は複数のサイズの中で最大のサイズを持つ画像を選択するための少なくとも1つの基準を含む、請求項5に記載のシステム。
  8. 前記サイズは、前記物体の縦軸の長さを表している請求項7に記載のシステム。
  9. 前記手持ち式の医用撮像装置は超音波プローブを有し、前記医用画像のシーケンスは、前記超音波プローブから得られる2D超音波画像のシーケンスを有する請求項1に記載のシステム。
  10. 前記物体は腋窩リンパ節を有する請求項1に記載のシステム。
  11. 前記選択した画像の注釈を設けるための注釈機をさらに有し、前記注釈は前記物体検出器により、前記選択した画像において検出される前記物体を示す又は描画し、前記スナップショット手段は、前記選択した画像の前記注釈を記憶するための手段を有する請求項1に記載のシステム。
  12. 前記注釈機は、前記物体に関する少なくとも1つの測定値を前記注釈に含むための手段を有する、請求項11に記載のシステム。
  13. 手持ち式の医用撮像装置を用いて取得した医用画像の時間シーケンスを受け取るステップ、
    前記画像の少なくとも1つにおいて物体を検出するステップ、
    物体検出器により前記物体が検出された画像を選択するステップ、及び
    前記選択した画像をスナップショットとして記憶するステップ
    を有する医用画像の自動選択を提供するための方法。
  14. 処理システムに請求項13に記載の方法を実行させるための命令を有するコンピュータプログラムプロダクト。
JP2011529654A 2008-10-01 2009-09-23 医用画像シーケンスのスナップショットの選択 Active JP5583128B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10169108P 2008-10-01 2008-10-01
US61/101,691 2008-10-01
PCT/IB2009/054161 WO2010038172A1 (en) 2008-10-01 2009-09-23 Selection of snapshots of a medical image sequence

Publications (2)

Publication Number Publication Date
JP2012504449A true JP2012504449A (ja) 2012-02-23
JP5583128B2 JP5583128B2 (ja) 2014-09-03

Family

ID=41361280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011529654A Active JP5583128B2 (ja) 2008-10-01 2009-09-23 医用画像シーケンスのスナップショットの選択

Country Status (5)

Country Link
US (1) US8600133B2 (ja)
EP (1) EP2353139B1 (ja)
JP (1) JP5583128B2 (ja)
CN (1) CN102171724B (ja)
WO (1) WO2010038172A1 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5329993B2 (ja) * 2009-01-21 2013-10-30 株式会社東芝 画像表示プログラム、医用画像診断装置および医用画像処理装置
ES2747232T3 (es) 2010-09-08 2020-03-10 Kpr Us Llc Catéter con un conjunto de formación de imágenes
JP6174490B2 (ja) * 2010-10-19 2017-08-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 特別な特性を実証する事例を用いて、患者データベースの動的成長を行うシステム及び方法
US9378331B2 (en) 2010-11-19 2016-06-28 D.R. Systems, Inc. Annotation and assessment of images
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
US10631712B2 (en) * 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
DE102011085308A1 (de) * 2011-10-27 2013-05-02 Siemens Aktiengesellschaft Verfahren zur Unterstützung einer einen minimalinvasiven Eingriff durchführenden Person und Magnetresonanzeinrichtung
RU2481640C1 (ru) * 2011-12-01 2013-05-10 Корпорация "Самсунг Электроникс Ко., Лтд" Способ и система генерации анимированных художественных эффектов на статичных изображениях
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
WO2013124751A1 (en) * 2012-02-24 2013-08-29 Koninklijke Philips N.V. System and method for processing a pointer movement
USD716841S1 (en) 2012-09-07 2014-11-04 Covidien Lp Display screen with annotate file icon
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
USD735343S1 (en) 2012-09-07 2015-07-28 Covidien Lp Console
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
USD717340S1 (en) 2012-09-07 2014-11-11 Covidien Lp Display screen with enteral feeding icon
KR102294193B1 (ko) 2014-07-16 2021-08-26 삼성전자주식회사 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
KR20160011535A (ko) 2014-07-22 2016-02-01 삼성전자주식회사 영상 처리 장치 및 방법
KR20160012038A (ko) * 2014-07-23 2016-02-02 삼성전자주식회사 비교영상을 제시하는 관심영역의 진단 지원 장치 및 방법
US10127662B1 (en) 2014-08-11 2018-11-13 D.R. Systems, Inc. Systems and user interfaces for automated generation of matching 2D series of medical images and efficient annotation of matching 2D medical images
US20160081663A1 (en) * 2014-09-18 2016-03-24 General Electric Company Method and system for automated detection and measurement of a target structure
KR102251242B1 (ko) * 2014-11-26 2021-05-12 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
US10242278B2 (en) * 2014-12-01 2019-03-26 Koninklijke Philips N.V. Device and method for skin detection
KR102325346B1 (ko) * 2014-12-15 2021-11-11 삼성전자주식회사 의료 영상 진단 장치 및 방법
CN108430334B (zh) * 2015-12-21 2021-06-01 皇家飞利浦有限公司 用于检查对象的体积的超声成像装置和超声成像方法
KR102656542B1 (ko) * 2015-12-22 2024-04-12 삼성메디슨 주식회사 초음파 영상들을 디스플레이하는 방법 및 장치.
US10675004B2 (en) 2016-07-20 2020-06-09 Fujifilm Sonosite, Inc. Ultrasound imaging apparatus with image selector
EP3488367B1 (en) * 2016-07-21 2022-03-30 Koninklijke Philips N.V. Annotating medical images
US11664114B2 (en) 2017-05-25 2023-05-30 Enlitic, Inc. Medical scan assisted review system
US10552978B2 (en) * 2017-06-27 2020-02-04 International Business Machines Corporation Dynamic image and image marker tracking
CN111344801B (zh) * 2017-11-22 2023-10-27 通用电气公司 针对前列腺癌的多模态计算机辅助诊断系统和方法
JP6856816B2 (ja) 2018-02-23 2021-04-14 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
US11529116B2 (en) 2018-06-19 2022-12-20 Fujifilm Sonosite, Inc. Ultrasound imaging system with automatic image saving
US11048745B2 (en) * 2018-06-22 2021-06-29 International Business Machines Corporation Cognitively identifying favorable photograph qualities
US10972656B2 (en) 2018-06-22 2021-04-06 International Business Machines Corporation Cognitively coaching a subject of a photograph
FR3082975B1 (fr) * 2018-06-25 2021-12-03 Bay Labs Inc Selectionneur de clip video pour imagerie medicale et diagnostic medical
US10631791B2 (en) 2018-06-25 2020-04-28 Caption Health, Inc. Video clip selector for medical imaging and diagnosis
US10726548B2 (en) * 2018-06-25 2020-07-28 Bay Labs, Inc. Confidence determination in a medical imaging video clip measurement based upon video clip image quality
EP3818943A4 (en) * 2018-07-02 2021-08-25 FUJIFILM Corporation ACOUSTIC WAVE DIAGNOSIS DEVICE AND PROCESS FOR CONTROLLING THE ACOUSTIC WAVE DIAGNOSIS DEVICE
EP3608915A1 (en) * 2018-08-07 2020-02-12 Koninklijke Philips N.V. Controlling an image processor by incorporating workload of medical professionnals
US11457871B2 (en) 2018-11-21 2022-10-04 Enlitic, Inc. Medical scan artifact detection system and methods for use therewith
US11282198B2 (en) 2018-11-21 2022-03-22 Enlitic, Inc. Heat map generating system and methods for use therewith
US11145059B2 (en) 2018-11-21 2021-10-12 Enlitic, Inc. Medical scan viewing system with enhanced training and methods for use therewith
US10943681B2 (en) 2018-11-21 2021-03-09 Enlitic, Inc. Global multi-label generating system
US11462315B2 (en) 2019-11-26 2022-10-04 Enlitic, Inc. Medical scan co-registration and methods for use therewith
US11669678B2 (en) 2021-02-11 2023-06-06 Enlitic, Inc. System with report analysis and methods for use therewith

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504225A (ja) * 1995-06-07 1998-04-28 ユニバーシティ オブ フロリダ リサーチ ファウンデーション,インク. デジタル画像定量化のための自動化された方法
JP2006510653A (ja) * 2002-12-12 2006-03-30 マノア メディカル, インコーポレイテッド 同定のために造影剤を利用する、センチネルリンパ節の経皮摘出法
JP2007252763A (ja) * 2006-03-24 2007-10-04 Gifu Univ 医用動画像による画像診断システム
JP2008505712A (ja) * 2004-07-09 2008-02-28 フィッシャー イメイジング コーポレイション マルチモダリティマンモグラフィ用診断システム
WO2008072157A2 (en) * 2006-12-12 2008-06-19 Koninklijke Philips Electronics N.V. Medical imaging system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865230B1 (en) * 1997-02-07 2011-01-04 Texas A&M University System Method and system for detecting sentinel lymph nodes
US6208353B1 (en) * 1997-09-05 2001-03-27 ECOLE POLYTECHNIQUE FEDéRALE DE LAUSANNE Automated cartographic annotation of digital images
US7418123B2 (en) * 2002-07-12 2008-08-26 University Of Chicago Automated method and system for computerized image analysis for prognosis
US20050096530A1 (en) * 2003-10-29 2005-05-05 Confirma, Inc. Apparatus and method for customized report viewer
AU2006254689B2 (en) * 2005-06-02 2012-03-08 Salient Imaging, Inc. System and method of computer-aided detection
CA2615713A1 (en) * 2005-07-20 2007-01-25 Shraga Rottem Method and device for image quality accreditation, hands on cme, and for control and analysis of accreditation at the enterprise level
US7804990B2 (en) * 2006-01-25 2010-09-28 Siemens Medical Solutions Usa, Inc. System and method for labeling and identifying lymph nodes in medical images
DE102006020399A1 (de) * 2006-04-28 2007-10-31 Siemens Ag Medizintechnisches Diagnose- und Datenverarbeitungssystem
US20070259158A1 (en) * 2006-05-05 2007-11-08 General Electric Company User interface and method for displaying information in an ultrasound system
US20080004520A1 (en) * 2006-06-15 2008-01-03 Theriault Richard H System for and method of diagnostic coding using medical image data
US20090161926A1 (en) * 2007-02-13 2009-06-25 Siemens Corporate Research, Inc. Semi-automatic Segmentation of Cardiac Ultrasound Images using a Dynamic Model of the Left Ventricle
US20080267499A1 (en) * 2007-04-30 2008-10-30 General Electric Company Method and system for automatic detection of objects in an image
US7894663B2 (en) * 2007-06-30 2011-02-22 General Electric Company Method and system for multiple view volume rendering
JP4825176B2 (ja) 2007-07-26 2011-11-30 日立アロカメディカル株式会社 超音波診断装置
US9561015B2 (en) * 2007-08-24 2017-02-07 General Electric Company Method and apparatus for voice recording with ultrasound imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10504225A (ja) * 1995-06-07 1998-04-28 ユニバーシティ オブ フロリダ リサーチ ファウンデーション,インク. デジタル画像定量化のための自動化された方法
JP2006510653A (ja) * 2002-12-12 2006-03-30 マノア メディカル, インコーポレイテッド 同定のために造影剤を利用する、センチネルリンパ節の経皮摘出法
JP2008505712A (ja) * 2004-07-09 2008-02-28 フィッシャー イメイジング コーポレイション マルチモダリティマンモグラフィ用診断システム
JP2007252763A (ja) * 2006-03-24 2007-10-04 Gifu Univ 医用動画像による画像診断システム
WO2008072157A2 (en) * 2006-12-12 2008-06-19 Koninklijke Philips Electronics N.V. Medical imaging system

Also Published As

Publication number Publication date
CN102171724B (zh) 2016-05-18
JP5583128B2 (ja) 2014-09-03
US8600133B2 (en) 2013-12-03
WO2010038172A1 (en) 2010-04-08
EP2353139B1 (en) 2014-04-30
US20110170755A1 (en) 2011-07-14
CN102171724A (zh) 2011-08-31
EP2353139A1 (en) 2011-08-10

Similar Documents

Publication Publication Date Title
JP5583128B2 (ja) 医用画像シーケンスのスナップショットの選択
JP6438395B2 (ja) 効果的な表示及び報告のための画像資料に関連する以前の注釈の自動検出及び取り出し
JP4571187B2 (ja) 病気の進行または治療効果を解析するために関心領域を複数の時点にわたってリンクさせるシステムおよび方法
US9466117B2 (en) Segmentation highlighter
JP2013153883A (ja) 画像処理装置、撮影システム及び画像処理方法
US8306292B2 (en) Image display device and image display program storage medium
US20070118100A1 (en) System and method for improved ablation of tumors
KR20150125436A (ko) 관심 영역별 추가 정보 제공 장치 및 방법
JP2008503259A (ja) 病気の進行または治療効果を解析するために複数の時点をロードするシステムおよび方法
JP2010042065A (ja) 医用画像処理装置、処理方法
JP6442311B2 (ja) 核医学画像中の腫瘍輪郭を抽出する技術
JP6430500B2 (ja) 腫瘍の奏効測定を支援するための方法
US9589204B2 (en) Quantification of a characteristic of a lumen of a tubular structure
US20130094737A1 (en) Method and apparatus for identifying regions of interest in medical imaging data
JP6174860B2 (ja) 取得画像とオブジェクトとの関連付け
US20070127796A1 (en) System and method for automatically assessing active lesions
US20140341452A1 (en) System and method for efficient assessment of lesion development
JP2008253681A (ja) 医用支援システム、及び医用支援プログラム
US20130332868A1 (en) Facilitating user-interactive navigation of medical image data
JP6487999B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6442309B2 (ja) 核医学画像解析技術
JP6263248B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6442310B2 (ja) 核医学画像中の腫瘍領域を抽出する技術
JP6277036B2 (ja) コンピュータプログラム、画像処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140207

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140715

R150 Certificate of patent or registration of utility model

Ref document number: 5583128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250