JP2016510669A - 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステムおよび方法 - Google Patents

自動合焦を含む、トモシンセシススタックをナビゲートするためのシステムおよび方法 Download PDF

Info

Publication number
JP2016510669A
JP2016510669A JP2016500514A JP2016500514A JP2016510669A JP 2016510669 A JP2016510669 A JP 2016510669A JP 2016500514 A JP2016500514 A JP 2016500514A JP 2016500514 A JP2016500514 A JP 2016500514A JP 2016510669 A JP2016510669 A JP 2016510669A
Authority
JP
Japan
Prior art keywords
image
region
interest
user
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016500514A
Other languages
English (en)
Other versions
JP2016510669A5 (ja
JP6392309B2 (ja
Inventor
チン‐ロン チェン
チン‐ロン チェン
ハイリ チュイ
ハイリ チュイ
ケビン クリーガー
ケビン クリーガー
シャンウェイ チャン
シャンウェイ チャン
Original Assignee
ホロジック インコーポレイティッド
ホロジック インコーポレイティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホロジック インコーポレイティッド, ホロジック インコーポレイティッド filed Critical ホロジック インコーポレイティッド
Publication of JP2016510669A publication Critical patent/JP2016510669A/ja
Publication of JP2016510669A5 publication Critical patent/JP2016510669A5/ja
Application granted granted Critical
Publication of JP6392309B2 publication Critical patent/JP6392309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10112—Digital tomosynthesis [DTS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

乳房のボリュメトリック画像データを含むトモシンセシス画像データセットをレビューするためのシステムおよび方法を提供する。本方法は、1つの態様において、データセットからの1つの画像または一連の画像を、ワークステーションと機能的に関連付けされた表示モニター上に表示させる段階；ならびに、表示モニターおよびワークステーションを含むかまたはそれらと機能的に関連付けされたユーザーインターフェースを通して、データセットの現時点で表示されている画像における、関心対象の対象物または領域を選択または指示する段階であって、それにより、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示モニター上に自動的に表示させる、段階、を含む。

Description

関連出願データ
本出願は、35 U.S.C.§119の下に、2013年3月15日に提出された米国仮特許出願第61／793,437号に対する恩典を主張し、それはその全体が参照により本出願に組み入れられる。
分野
本明細書に開示される本発明は、トモシンセシスを用いる乳房撮影に関し、より具体的には、トモシンセシスデータセットのナビゲーションをガイドするために自動合焦能力を使用するシステムおよび方法に関する。
背景
マンモグラフィは、癌および他の異常をスクリーニングするために長い間用いられてきた。従来、マンモグラムはX線フィルム上に形成されてきた。さらに最近では、マンモグラムをデジタル形式で収集し、それにより、収集した画像の分析および記憶を容易にし、かつ他の利点をも提供するフラットパネルデジタルイメージャーが導入されている。さらに、乳房トモシンセシスなどの方法を用いて乳房の三次元画像を得ることにも多大な関心および技術的開発が注がれている。旧来のマンモグラフィシステムによって生成される2D画像とは対照的に、乳房トモシンセシスシステムは、X線源が画像検出器上でスキャンされる際に画像検出器に対するX線源の異なる偏位角度で各投影画像が得られる、一連の2D投影画像から、3D画像ボリュームを構成する。構成された3D画像ボリュームは、典型的には、画像データの複数のスライスとして提示され、それらのスライスは多くの場合、パドルに対して平行な平面上に幾何学的に再構成されているが、他の再構成角も可能である。再構成されたトモシンセシススライスは、レビューアー（例えば、放射線医または他の医療専門家）が画像スライスをスクロールして、下にある構造を見ることを可能にすることにより、単一の投影2Dマンモグラフィ撮影において存在する組織の重なり合いおよび構造ノイズによって引き起こされる問題を減少させるか、または排除する。
最近、乳癌のスクリーニングおよび診断のためのトモシンセシスシステムが開発されている。特に、Hologic, Inc.（www.hologic.com）は、乳房を固定したままに保ちながら、またはさまざまな乳房圧迫度でのいずれかで、マンモグラム画像およびトモシンセシス画像の一方または両方のタイプを収集する、統合型マルチモードマンモグラフィ／トモシンセシスシステムを開発している。他の会社は、トモシンセシス撮影専用のシステム、すなわち、2Dマンモグラムをも収集する能力は伴わないシステムの導入を提案している。
しかし、トモシンセシスの収集および画像表示に限定されたシステムは、従来の2Dマンモグラム画像の代替物としては、なかなか受け入れられていない。特に、従来の2Dマンモグラムは、微小石灰化の優れた視覚化をもたらし、かつトモシンセシス画像と比較して、より高い空間分解能をもたらすことができる。専用の乳房トモシンセシスシステムによって提供されるトモシンセシス画像は、多くの望ましい特徴、例えば、乳房内の構造のより優れた単離および視覚化を有するが、そのようなシステムは、既存の画像解釈の専門技術を必ずしも強化するとは限らない。
特に、トモシンセシス画像収集時に使用される限定された角度が理由となって、乳房構造は通常、トモシンセシスで再構成された複数の画像スライス上に視認しうると考えられる。しかし、その構造に関する画像スライスが鮮鋭な辺縁／輪郭／細部を提供する、すなわち、あたかも構造／対象物に「焦点が合っている」かのようであるのは、乳房構造が実際に位置する実際の「深さ」（トモシンセシス画像のz軸方向の位置）に近い場合のみである；一方、他のスライス上では、構造／対象物は視認しうるものの、不明瞭な辺縁／輪郭／細部を伴い、すなわち、あたかも構造／対象物に「焦点が合っていない」かのようである。さらに、関心対象のいくつかの対象物または領域が、実際の対象物／構造の深さに適度に近い画像スライスにおいてのみ認識可能であるという可能性もある。そのため、レビューアーは、評価を目的として臨床的な関心対象の対象物または領域の「最良合焦」画像の位置を特定するために、典型的には乳房のサイズおよび再構成スライスの厚さに応じて40〜100枚またはそれを上回る画像を含みうる、乳房トモシンセシススタック全体の画像を通してナビゲートするのに相対的にかなり長い時間を費やすことが必要な場合がある。トモシンセシススタックをレビューするために必要なこの余分な時間は、レビューアーが、それがなければ可能な、従来型マンモグラムを上回る詳細なトモシンセシス画像スライスによってもたらされるさらなる利点を最大限に活用することから遠ざけてしまう恐れがあり、レビューのために典型的に割り当てられる限られた長さの時間しか与えられない場合には特にそうである。
したがって、トモシンセシススタックにおける関心対象の対象物または領域の最良合焦を有する1つの画像または画像のサブセットの位置を迅速かつ正確に特定する能力をレビューアーに与えるシステムおよび方法を提供することは、特に有益であると考えられる。
概要
本明細書において開示および記載される本発明の1つの局面によれば、乳房のボリュメトリック（volumetric）画像データを含むデータセットである、トモシンセシス画像データセットをナビゲートおよびレビューするためのコンピュータ制御ワークステーションが提供され、ここでワークステーションは、ワークステーションと機能的に関連付けされた表示モニター上にデータセットからの1つの画像または一連の画像を表示するように構成されており、レビューアーは、システムのユーザーインターフェースを通して、データセットの現時点で表示されている画像における関心対象の対象物または領域を選択するかまたは別の形で指示して、それにより、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度（best focus measure）を有するデータセットからの画像を表示モニター上に自動的に表示させることができる。追加的および／または代替的に、データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる検出された選択または指示に応答して、システムはデータセットからの一連の近傍焦点（near-focus）画像を表示し、この一連の近傍焦点画像は、ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値の所定の範囲内にありかつ最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含む。いずれの場合にも、続いて表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像を含む場合に、ワークステーションはユーザーに可視または可聴シグナルを提供してもよい。
特に、トモシンセシス画像収集時に使用される限定された角度が理由となって、乳房構造は通常、トモシンセシスで再構成された複数の画像スライス上に視認しうると考えられる。しかし、その構造に関する画像スライスが鮮鋭な辺縁／輪郭／細部を提供する、すなわち、あたかも構造／対象物に「焦点が合っている」かのようであるのは、乳房構造が実際に位置する実際の「深さ」（トモシンセシス画像のz軸方向の位置）に近い場合のみである；一方、他のスライス上では、構造／対象物は視認しうるものの、不明瞭な辺縁／輪郭／細部を伴い、すなわち、あたかも構造／対象物に「焦点が合っていない」かのようである。さらに、関心対象のいくつかの対象物または領域が、実際の対象物／構造の深さに適度に近い画像スライスにおいてのみ認識可能であるという可能性もある。そのため、本明細書に開示される本発明によって提供される利点がなければ、レビューアーは、評価を目的として臨床的な関心対象の対象物または領域の「最良合焦」画像の位置を特定するために、典型的には乳房のサイズおよび再構成スライスの厚さに応じて40〜100枚またはそれをさらに上回る画像を含みうる、乳房トモシンセシススタック全体の画像を通してナビゲートするのに相対的にかなり長い時間を費やすことが必要な場合がある。したがって、トモシンセシススタックにおける関心対象の対象物または領域の「最良合焦」を有する1つの画像または画像のサブセットの位置を迅速かつ正確に特定する能力をレビューアーに与えるシステムおよび方法を提供することは、開示される本発明の特に有益な点である。
開示される本発明のさまざまな態様において、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像は、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される。非限定的な例として、合焦測度は、関心対象の対象物もしくは領域の検出された端部の鮮鋭度、関心対象の対象物もしくは領域のコントラスト、または1つもしくは複数の高頻度構成要素の測定された大きさと1つもしくは複数の低頻度構成要素の測定された大きさとの比として計算することができる。その後に、最も高い合焦測度を有する画像に対する、トモシンセシススタックにおける、すなわち画像のz軸方向における近接性に基づいて、近傍焦点画像のサブセットを同定することができる。
いくつかの態様において、ユーザーにより選択または指示された関心対象の対象物または領域を、その最良合焦を有する表示された画像において強調してもよい。例えば、ユーザーにより選択または指示された関心対象の対象物または領域を、強調された対象物または領域の境界を表す輪郭線によって強調してもよい。追加的および／または代替的に、ユーザーにより選択または指示された関心対象の対象物または領域は、強調された対象物または領域が指定されたタイプの組織構造であることまたはそれを含むことを示す様式で強調される。
システムが、関心対象の対象物または領域のユーザーによる選択または指示を検出することに応答して一連の近傍焦点画像を表示する態様において、一連の近傍焦点画像は、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために、同時に、すなわちある特定の順序で表示されてもよい。代替的および／または追加的に、一連の近傍焦点画像は、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために、連続して表示されてもよい。例えば、一連の近傍焦点画像の選択および表示のためのパラメータが、ユーザーインターフェースを通して設定可能であってもよい。1つの態様において、一連の近傍焦点画像は、合焦画像から最も離れたものから始めて、その後に最良合焦画像へと連続的に近づいてゆき、（任意で）そこで終わるように、1つずつ表示される。ひとたび最良合焦画像に到達したところで、一続きの表示を終わらせる代わりに、システムが（例えば、ユーザーの選好に基づいて）次の隣接する近傍焦点画像をある範囲まで表示していき、続いて最良合焦画像に戻り、それにより、ユーザーが最良合焦画像の周囲のすべての画像に関して優れた見通しを得ることもできる。
開示される本発明の別の態様によれば、乳房組織画像をナビゲートおよび表示するためにコンピュータ制御ワークステーションを使用する自動化された方法が提供され、ワークステーションは機能的に関連付けされたユーザーインターフェースおよび表示モニターを含み、本方法は、乳房のボリュメトリック画像データを含むデータセットであるトモシンセシス画像データセットを得る段階；ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、表示モニター上にデータセットからの1つの画像または一連の画像を表示する段階；データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出する段階；続いて表示された画像におけるユーザーにより選択または指示された関心対象の対象物または領域を視覚的目印によって強調する段階；および、一連のさらなる画像を表示する際に、ユーザーにより選択または指示された関心対象の対象物または領域を、可視的目印を改変しながら強調し続ける段階を含む。
視覚的目印は幾何学的図形であってもよく、ここで視覚的目印の改変は、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って幾何学的図形のサイズを変化させることを含む。または、視覚的目印は色であってもよく、ここで視覚的目印の改変は、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って色の色相を変化させることを含む。
開示される本発明のこれらのおよび他の局面および態様は、添付の図とともに、以下に詳細に記載されている。
トモシンセシスCADプロセッサを含む、乳房X線トモシンセシス撮影環境の概念図を図示している。 例示的な乳房X線トモシンセシス投影および再構成の幾何学構成を図示している。 各々のRMLOおよびLMLO画像スライスを表示している左側のモニター；ならびに各々のRCCおよびLCC画像スライスを表示している右側のモニターを含む、例示的なトモシンセシス画像レビュー用ワークステーションの隣接する表示モニターを描写している。 図3に表示されたLCC画像と同じ画像セットからのLCC画像スライスを表示している単一のモニターを描写している。 現時点で表示されている画像スライスのスライス番号を指し示す、各々の画像スライスの横脇に表示されているスライス標識の拡大図である。 画像スライスの相対的z軸位置に応じた丸い組織塊の視認度および鮮明さの違いを図示している、図3および4のLCC画像と同じトモシンセシス画像セットから得られた、表示されたLCC画像スライスを描写している。 同じく図3〜5と同じトモシンセシス画像セットからの、表示された最良合焦LCCスライスを描写している。 最良合焦画像スライスに、z軸に沿ったその後のスライスを加えたものを含む、（同じ）トモシンセシス画像セットからの一連の表示された近傍焦点LCCスライスを描写している。 図7に示された一連の表示された近傍焦点LCC画像スライスを逆の順序で描写しており、ここでは丸い塊が、長方形括弧記号の形の視覚的目印によって強調されている。 モニターの中央領域における表示された最良合焦LCCスライスを、最良合焦スライスの横脇に縦に重ねて表示されている一連の近傍焦点LCCスライスとともに描写している。 トモシンセシス画像セットにおける関心対象の対象物または領域の最良合焦画像スライスまたは一連の近傍焦点スライスを表示するための例示的なプロセスを図示している流れ図である。 トモシンセシス画像セットにおける関心対象の対象物または領域の合焦測度を計算するための例示的なプロセスを図示している流れ図である。 選択された関心対象の対象物または領域に関して、トモシンセシス画像セットにおけるすべての画像のうち、最も高い相対的合焦測度を有する画像を同定するためのプロセスを図示している。
例示される態様の詳細な説明
添付の図面に図示されている、開示される本発明の描写された態様の説明においては、説明の明確さおよび容易さのために特定の用語が用いられる。しかし、本特許明細書の開示は、そのように選択された特定の用語に限定されることを意図したものではなく、各特定の要素は、類似したやり方で作動するすべての技術的同等物を含むものと理解されよう。さらに、可能であれば、本開示および添付される特許請求の範囲内で、さまざまな例示的態様のさまざまな要素および／または特徴を互いに組み合わせること、および／または互いに置換することもできることも理解されよう。
トモシンセシス撮像収集および計算
追加的な背景情報を提供する目的で、その全体が参照により本明細書に組み入れられる、「Computer-aided detection of anatomical abnormalities in x-ray tomosynthesis images」と題する、米国特許第8,223,916号から採った図1および図2を参照する。
図1は、コンピュータ支援検出（CAD）能力を含む、乳房X線トモシンセシス撮影環境の概念図を図示している。図1に示されているのはネットワーク112であり、これはHIS／RIS（Hospital Information System/Radiology Information System）ネットワークであってもよく、それに乳房X線トモシンセシス収集デバイス104が接続されている。収集デバイス104は、乳房プラットフォーム108上に支えられた女性の乳房に向けてX線を投影するX線源106を、乳房プラットフォーム108の下にあるX線撮影装置110とともに含む。X線源106は乳房プラットフォーム108に対して円弧状軌道を移動し、それに沿った指定の角度でX線放射線を放出し、それがX線撮影装置110によって捕捉されてトモシンセシス投影画像のセットが形成される。トモシンセシス投影画像は、トモシンセシスプロセッサ114によって、1つまたは複数のトモシンセシス再構成アルゴリズムに従って処理されて、トモシンセシス再構成画像が形成され、これらの画像は、放射線医にとって最適な視覚的表示となる向きの像を用いて形成され、フィルター処理される（「提示用」）。別のプロセスにおいて、トモシンセシス投影画像は、乳房ボリュームにおける解剖学的異常を検出するために、トモシンセシスCADプロセッサ115によって処理される。続いて、トモシンセシス画像情報が、放射線学的レビュー用ワークステーション118にて、付随するCAD結果とともに見られる。
図2は、種々の角度での乳房X線トモシンセシス投影撮影の概念図を図示している。入射放射線は、圧迫された乳房ボリュームに対して複数「N」個の乳房X線トモシンセシス投影角φn、n＝1...Nで当たり、その結果、対応する複数「N」個のトモシンセシス投影画像Tpφn(x,y)、n＝1...Nが生じる。典型的な計画では、各投影画像Tpφn(x,y)がおおよそ1710×2140個のピクセルを含むN＝11またはN＝15個の投影画像が可能であり、これは、140μmのピクセル分解能を有する、おおよそ24cm×30cmのサイズのX線検出器に対応すると考えられる。
図2には、撮影された乳房ボリュームの三次元幾何学構成202も、トモシンセシス再構成アルゴリズムの概念的記号とともに図示されており、ここで特定の平面「m」は検出平面の上側に所定の高さhmを有し、「N」個の投影画像Tpφn(x,y)、n＝1...Nが処理されて、二次元トモシンセシス再構成画像Trm(x,y)となる。より具体的には、N個の投影画像Tpφn(x,y)、n＝1...Nが、逆投影（または他のトモシンセシス再構成アルゴリズム）によって組み合わされて、その特定のhm値に基づき、所定の高さhmの近傍に位置するX線減弱性組織の影響を強調し（例えば、ぼかさない）、かつ、所定の高さhmとは隔たって位置するX線減弱性組織では強調を弱める（例えば、ぼかす）様式で、トモシンセシス再構成画像Trm(x,y)が形成される。
理論上は、別個の二次元トモシンセシス再構成画像Trm(x,y)を生成しうる異なる所定の高さhmの数は任意の大きさであってよく、これはhmが単に再構成（逆投影）アルゴリズムに投入される選択可能なパラメータであるためである。実際には、有用な情報の究極的な量は「N」個の投影画像という有限な数によって制約されるため、トモシンセシス再構成の幾何学構成は、通常、所定の数「M」個の再構成された画像アレイTrm(x,y)に限定される。好ましくは、数「M」は、再構成された画像アレイTrm(x,y)が、下方の圧迫プレートと上方の圧迫プレートとの間の撮影された乳房ボリュームの垂直方向範囲を、比較的小さいサイズの微小石灰化を捕捉するのに十分な小ささである垂直方向間隔（1mmなど）で均一に満たすように選択される。
各トモシンセシス再構成画像Trm(x,y)の水平方向範囲は、各投影画像Tpφn(x,y)のものと同程度であってよく、すなわち、トモシンセシス再構成画像Trm(x,y)のピクセル数および空間分解能は、投影画像Tpφn(x,y)に関するものと同程度であってよい。しかし、そのような対応関係が要求されるわけではなく、スーパーサンプリング、サブサンプリングまたは他のリサンプリングをさまざまな理由で利用することができる。例えば、異なるトモシンセシス再構成アルゴリズムの特定の幾何学構成は互いに異なりうると考えられ、この場合には、比較される、加算される、乗算される、マッピングされる、または他の形で一緒に処理される、結果的に生じるアレイが、互いに登録されるように、そのようなリサンプリングがそれらの中に必要に応じて組み込まれる。用いる特定のトモシンセシス再構成アルゴリズムによっては、異なるトモシンセシス再構成画像Trm(x,y)の水平方向分解能は、異なるレベルに対しては異なってもよく、例えば、一番上のレベルではピクセル当たり95μmであって、一番下のレベルではピクセル当たり108μmであってもよい。
本明細書で用いる場合、撮影された乳房ボリュームの三次元幾何学構成とは、少なくとも乳房の臨床的に重要な部分（例えば、乳房の実質組織は含むが、皮膚および圧迫プレート間の乳房の周りの何もない空間は除外される）の全体にわたって広がる、規定数のレベルを有する空間制限三次元グリッドのことを指す。あらかじめ定められた単一のトモシンセシス再構成アルゴリズムのみがかかわる場合には、撮影された乳房ボリュームの三次元幾何学構成は、そのあらかじめ定められたトモシンセシス再構成アルゴリズムにおけるレベルの数に基づくことができる。複数の異なる幾何学構成を有する、あらかじめ定められた複数のトモシンセシス再構成アルゴリズムがかかわる場合には、撮影された乳房ボリュームの三次元幾何学構成はそれらの1つに基づくことができ、その上で、適切な登録がもたらされるように他のものにリサンプリングを組み込む。または、撮影された乳房ボリュームの三次元幾何学構成が、「提示用」トモシンセシス再構成画像を生成するために用いられたか、または用いられるであろう、トモシンセシス再構成アルゴリズムに基づくことも可能と考えられる。
表示されたトモシンセシス画像セットのナビゲーションおよびレビュー
本明細書に開示される本発明の自動合焦能力を使用するトモシンセシスワークステーションの好ましい態様について、これから説明する。レビュー用ワークステーションの個々の構成要素が非常に基本的な（一般的な）様式で記載されていること、および、本明細書に開示される本発明を、現時点で普及している広範な数、タイプおよび種類のコンピュータ（プロセッサ）制御ワークステーションのいずれで実施してもよいことは、当業者には了解されるであろう。本明細書で用いる場合、「ユーザー」および「レビューアー」という用語は互換的に用いられるものとする。
特に、トモシンセシス画像データセットをナビゲートおよびレビューするための例示的なシステムは、画像プロセッサ（例えば、コンピュータ）、画像プロセッサと機能的に関連付けされた画像表示モニター；ならびに、画像プロセッサおよび表示モニターと機能的に接続されたユーザーインターフェースを含み、ここでユーザーインターフェースは、実際には、全体または一部として、表示モニター（すなわち、「タブレット」、「ポッド」または他の「スマート」デバイスなどのタッチスクリーン式デバイス）を含みうる。画像プロセッサは、ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、トモシンセシスデータセットからのユーザーにより選択された画像スライスを表示モニター上に表示するように構成されている。画像プロセッサはさらに、データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出するように構成されている（例えば、ユーザーが、「マウスデバイス」によって制御される図形処理された矢印を、各々の対象物または領域の上に、ある時間にわたって重ねた場合、および／またはその位置にある時にそれに是認的動作（例えば、クリックすること）を行った場合）。
より具体的な例示を目的として、図3は、それぞれ右および左中外斜位方向（「RMLO」および「LMLO」）の画像スライス32Lおよび32Rを表示している左側のモニター32；ならびにそれぞれ右および左頭尾方向（「RCC」および「LCC」）の画像スライス34Lおよび34Rを表示している右側のモニター34を含む、例示的なトモシンセシス画像レビューワークステーション30の隣接する表示モニター32および34を描写している。RMLO、LMLO、RCCおよびLCC画像は、中外斜位方向および頭尾方向のそれぞれに関する右乳房および左乳房画像データを含む各々のトモシンセシス画像セット（「トモスタック」）から得られ、合計4種類のトモスタックが得られる。具体的には、表示されているRMLO方向像は、スライス48枚のRMLOトモスタックのうち画像18である；表示されているLMLO方向像は、スライス48枚のLMLOトモスタックのうち画像28である；表示されているRCC方向像は、スライス48枚のRCCトモスタックのうち画像18である；そして、表示されているLCC方向像はスライス48枚のLMLOトモスタックのうち画像24である。異なるトモスタックが異なる数の画像スライスを含みうること、および48枚の画像スライスを有する例示的トモスタックはそれぞれ単に例に過ぎないことは、当業者には理解されるであろう。
注目すべきこととして、丸い組織塊38が、LMLOおよびLCC画像スライスのそれぞれにおいて視認される。画像スライスが異なる（直交性）画像平面から採られており、すなわち、LMLOスライス28は「側面像」のz軸に沿って採られた断面を含み、LCCスライス24はLMLO画像セットのz軸に対して直交性である上下方向像のz軸に沿って採られた断面を含むことから、各々のLMLOおよびLCC画像スライスにおける組織塊の個々の方向像が、鮮明さおよび向きのいずれの点でも異なることは理解されるであろう。
考察を簡素化する目的で、本明細書の残りの部分ではLCC（左乳房頭尾方向）トモスタックのみについて言及するが、記載される本発明の概念および特徴は、あらゆるトモ画像スタック、ならびに乳房以外のその他の体組織の画像ボリュームのナビゲーションおよびレビューに対しても等しく適用される。
図4は、図3に表示されたLCCスライス24と同じトモスタックのLCCスライス16を表示しているモニター34Lを描写している。丸い塊38がLCCスライス16において視認されるが、図3のLCCスライス24におけるほどには焦点が合っておらず、このことは、LCCトモスタックのz軸方向での塊の実際の位置がスライス16よりもスライス24に近いことを指し示している。図4Aで最もよく見てとれるように、動画式の「スライドノブ」を含むスライス標識40が、トモスタックの現時点で表示されているスライスのスライス番号（すなわち、相対的z軸位置）をレビューアーに提供するために、各表示の右下隅に用意されている。このため、レビューアーが、適したユーザーインターフェース（すなわち、コンピュータマウス）を用いてトモスタックの画像スライスをスクロールすると、スライス標識上のノブ42が、その時点で表示されているスライスを反映するように移動する。表示されているスライスがトモスタックの中の次のものに変化したことをレビューアーに知らせるために、可聴音（例えば、「クリック音」）を用意することもできる。
レビューアーの目から見た様子を示す目的で、図5は、図3および4に描写されている画像と（同じ）LCCトモスタックの各々の画像スライス1、16、32および48を描写しており、これらは、各々の画像スライスの相対的z軸位置に応じた、丸い塊38の視認度および鮮明さの違いを明らかに示している。具体的には、スライス1では塊を読み取るのが困難であるが、スライス16ではより視認しうるようになり、スライス32ではさらに視認性および鮮明さが増す（端部、輝度などに関して）ものの、スライス48ではぼけて、読み取るのが困難になっている。
1つの態様において、本システムは、トモスタックから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し、それに応答して、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示する。例えば、図6は、（同じ）トモシンセシス画像セットのうち、丸い組織塊38の視認度および鮮明さに関する、表示された「最良合焦」LCC画像スライス（スライス25）を描写している。本明細書においてさらに詳細に説明している通り、組織塊38に関する最良合焦スライス25は、LCCトモスタックの各画像スライス1〜48に対する組織塊38の計算された合焦測度の比較に基づいて、システムプロセッサによって決定された。当然ながら、レビューアーが関心対象の特定の対象物または領域を選択するかまたは他の様式で指示した時点で表示された画像スライスが、実際に、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像であると判明する可能性もある。この場合には、画像プロセッサが、表示された画像スライスがそれ以後に他のものに変わらないように、そのことをレビューアーに知らせるための可視または可聴シグナル（例えば、ビープ音および／または対象物の強調）を提供してもよい。
別の態様において、本システムは、トモスタックから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し、それに応答して、データセットからの一連の近傍焦点画像を表示モニター上に表示し、ここで一連の近傍焦点画像は、ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値を所定の範囲内にありかつ最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含む。例えば、図7は、最良合焦LCCスライス25に、その後のLCCスライス27、29および31を加えたものを含む、（同じ）トモシンセシス画像セットからの一連の表示された近傍焦点LCC画像スライスを描写しており、これは、各々の画像スライスが最も良く合焦したスライス25（一番左に表示された画像）から相対的に最も焦点が合っていないスライス31（一番右に表示された画像）へとz軸方向に進むにつれて、丸い組織塊38の視認度および鮮明さが幾分変化することを実証している。
1つの態様においては、例えば図9に描写されているように、一連の近傍焦点の各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために、一連の近傍焦点画像を同時に表示する。具体的には、図9は、スライス25からのz軸に沿った各方向における組織塊の変化をレビューアーが見てとれるように、モニターの中央領域に表示された最良合焦LCCスライス25を、最良合焦スライス25の横脇に縦に重ねて表示されているサブセット近傍焦点LCC画像スライス21、23、25、27および29とともに描写している。
別の態様において、一連の近傍焦点の各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために、一連の近傍焦点画像は連続して表示される。例えば、トモスタックのz軸方向に沿った関心対象の対象物または領域の変化をレビューアーに伝えるために、図7の画像スライス25、27、29および31を、連続した順序で、1つずつ、それぞれ所定の期間（例えば、1秒）にわたって自動表示させることができる。この「ビデオループ」機能を、任意で複数回繰り返すように構成すること、およびさらに任意で、各々の画像スライスを異なる一続きのループにおいて異なる順序（例えば、最も下のスライスから最も上のものに、続いて逆の順序で）で表示するように構成することもできる。一連の近傍焦点画像の画像を表示するための具体的なパラメータを、ユーザーインターフェースを通して設定可能であることが好ましい。
いくつかの態様においては、レビューアーを補助する目的で、本システムは、さまざまなソース画像における異なる乳房組織の対象物および構造を同定するための公知の画像処理手法を使用し、レビューアーは（任意で）システムに、各々の最良合焦画像および／または近傍焦点画像におけるそのような対象物および構造、特に、微小石灰化クラスター、丸いかもしくは分葉状の塊、針状塊、構造の歪みなどの異常対象物を含むかまたはそれらと関連のある組織構造；ならびに線状組織、嚢胞、リンパ節、血管などの正常乳房組織を含むかまたはそれらと関連のある良性組織構造を強調させることができる。例えば、ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される。さらに、さまざまなタイプの組織構造からなるかまたはそれらを含む関心対象の対象物または領域を、それらを合焦プロセスの各々の対象とする際に異なる様式で強調することもできる。
非限定的な例示として、図8は、図7に示された一連の表示された近傍焦点LCC画像スライスを、逆の順序で、すなわちスライス31、29、27および25の順に描写しており、ここでは丸い塊が長方形括弧記号の形の視覚的目印58a〜dによって強調されていて、これらは、画像スライスが相対的に最も焦点が合っていないスライス31（一番左表示された画像）から最も良く合焦したスライス25（一番右に表示された画像）へとz軸方向に進むにつれて、組織塊38の周りに漸進的に近くに移動する。この場合も、一連の近傍焦点画像の各々の画像スライスの提示は、同時に提示してもよく（静的比較のために）、または動的比較のためにビデオループスタイル形式で提示してもよい。
図10は、セットから以前に表示された画像スライスにおける、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するトモシンセシスデータセットからの画像スライスを表示するための例示的なプロセスを図示している流れ図である。最初に、段階1002で、レビューアーはシステムに、例えば、48枚のスライスを有する、以前に例示および説明されたLCCトモスタックのトモシンセシス画像セットのレビューを開始させる。その後に、レビューアーは、画像スライスを、典型的には、しかし必然的ではないが、スライス1から始める昇順でスクロールする。
段階1004で、レビューアーは、トモスタックの続いて表示された画像スライスにおける組織の対象物または領域内の関心対象物（すなわち、臨床評価用）を選択するかまたは別の様式で指示する。関心対象の対象物または領域（図10および11におけるプロセスを説明する目的で、以下では「ROI」と総称する）のユーザーによる選択または指示が検出されると、段階1006で、システムはその後、トモスタックの各画像スライスにおける選択／指示されたROIに関して合焦測度を計算する。
図11および12に関連して以下にさらに詳細に説明するように、レビューアーによって指示された所望の表示プロトコールによっては、段階1008で、システムは、ROIに関するトモスタックのすべての画像スライスの中から、最良の（例えば、測定プロトコールによっては「最も高い」）合焦測度を有する、トモスタックからの画像スライスを表示する。代替的または追加的に、段階1010で、システムが、上記のように、ROIの一連の近傍焦点画像スライスを表示してもよい。一連の近傍焦点画像に該当する範囲のスライスを、システムによってあらかじめ構成させてもよく、またはユーザーが設定することもできる。例えば、ユーザーが、表示された一連の画像が、互いに5パーセントの範囲内にある合焦測度を有するトモスタックのうち選択された数の画像（例えば、5つ）を含み、かつ最良合焦測度を有する画像を含むように、ユーザーインターフェースを通して指示してもよい。
図11は、トモシンセシス画像セットの表示された画像スライスにおける、ユーザーにより選択または指示された関心対象の対象物または領域の合焦測度を計算するための例示的なプロセスを図示している流れ図である。以上に考察したように、プロセスは、段階1102で、レビューアーが、現時点で表示されている（または「続いて表示された」）画像スライスにおけるROIを選択するかまたは他の様式で指示すると始まる。続いて、トモスタック全体のうち、ROIの最良合焦測度を有する画像スライスが、トモスタックの各画像スライスに関するROIの合焦測度の比較に基づいて、システムによって決定される。
本明細書に開示される本発明によれば、合焦スコア、およびそれ故に最良合焦スコアの決定は、段階1104Aで、合焦測度を関心対象の対象物または領域の検出された端部の鮮鋭度に基づく公知の画像処理手法に従って計算することを含む、いくつかのやり方で実現することができる。例えば、関心対象の領域の内側で検出された端部の勾配の大きさの合計は、検出された端部の鮮鋭度に関する公知の測度である。代替的および／または追加的に、段階1104Bで、関心対象の対象物または領域の計算されたコントラストに基づく画像処理手法に基づいて合焦測度を計算することもでき、ここでコントラストは、関心対象の領域における全ピクセルにわたって合計した、あるピクセルとその近傍の8つのものとの差の絶対値と定義することができる。代替的および／または追加的に、段階1104Cで、1つまたは複数の高頻度構成要素の測定された大きさと1つまたは複数の低頻度構成要素の測定された大きさとの比に基づく公知の画像処理手法に従って合焦測度を計算することもでき、ここで高頻度構成要素は前景にある対象物の鮮鋭な端部に対応し、低頻度構成要素は背景にあるぼけた領域に対応する。高頻度構成要素の測定された大きさと低頻度構成要素の測定された大きさとの比が高い値であることは、関心対象の対象物または領域が合焦していることを指し示す。
各スライスに関する合焦測度がひとたび決定されれば、段階1106で、システムに、最良合焦測度スコアを有する画像スライス、および／または所定内の範囲内にある合焦測度、例えば、5％の範囲内にある最良合焦測度を有する一連の画像を表示させることもできる。このプロセスは、図12において以上に記載および例示されたLCCトモスタックに関して図示されており、そこには例示の目的で、LCCトモ画像スタックのz軸方向に進んでいく画像スライス15、20、25、30および35に関して、丸い組織塊38の各々の計算された合焦測度値が描写されている。具体的には、図12のグラフ中にプロットされた合焦測度スコアは、選択された画像ROIの内部での、高頻度構成要素の測定された大きさと低頻度構成要素の測定された大きさとの比を用いて計算した。見てとれるように、画像スライス25が最も高い合焦測度値を有し、この場合にはこれは「最良」合焦測度をも意味する。
例示的な態様を説明してきたが、以上に説明され、添付の図面において描写された例は例示的であるに過ぎず、他の態様および例も、添付の特許請求の範囲内に含まれることは了解されよう。例えば、添付の図面において提示された流れ図は、例示的な段階の例示であり、全体的な画像マージプロセスを、当技術分野において公知の他のデータマージ法を用いる種々の様式で達成することもできる。システムのブロック図は単に、機能的表現を図示している代表であるに過ぎず、開示される本発明の限定的要件と見なされるべきではない。したがって、以上の具体的な態様は例示的であり、添付の特許請求の範囲を逸脱することなく、これらの態様に多くの変更を導入することができる。

Claims (40)

  1. 乳房組織画像をナビゲートおよび表示するためにコンピュータ制御ワークステーションを使用する自動化された方法であって、ワークステーションが、機能的に関連付けされたユーザーインターフェースおよび表示モニターを含み、該方法が、
    乳房のボリュメトリック（volumetric）画像データを含むトモシンセシス画像データセットを得る段階；
    ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの1つの画像または一連の画像を表示モニター上に表示する段階；
    データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出する段階；および
    ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度（best focus measure）を有するデータセットからの画像を表示する段階
    を含む、方法。
  2. ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、請求項1記載の方法。
  3. 合焦測度が、関心対象の対象物または領域の検出された端部の鮮鋭度に基づいて計算される、請求項2記載の方法。
  4. 合焦測度が、関心対象の対象物または領域のコントラストに基づいて計算される、請求項3記載の方法。
  5. 合焦測度が、1つまたは複数の高頻度構成要素の測定された大きさと、1つまたは複数の低頻度構成要素の測定された大きさとの比に基づいて計算される、請求項3記載の方法。
  6. ユーザーインターフェースが表示モニターを含む、請求項1〜5のいずれか一項記載の方法。
  7. 続いて表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像を含む場合に、可視または可聴シグナルを提供するワークステーションをさらに含む、請求項1〜6のいずれか一項記載の方法。
  8. ユーザーにより選択または指示された関心対象の対象物または領域が、その最良合焦を有する表示された画像において強調される、請求項1〜7のいずれか一項記載の方法。
  9. ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される、請求項8記載の方法。
  10. ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域が指定されたタイプの組織構造であることまたはそれを含むことを示す様式で強調される、請求項8記載の方法。
  11. トモシンセシス画像データセットをナビゲートおよびレビューするためにコンピュータ制御ワークステーションを使用する方法であって、データセットが乳房のボリュメトリック画像データを含み、該方法が、
    データセットからの1つの画像または一連の画像を、ワークステーションと機能的に関連付けされた表示モニター上に表示させる段階；ならびに
    表示モニターおよびワークステーションを含むかまたはそれらと機能的に関連付けされたユーザーインターフェースを通して、データセットの現時点で表示されている画像における関心対象の対象物または領域を選択または指示する段階であって、それにより、ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示モニター上に自動的に表示させる、段階
    を含む、方法。
  12. データセットからの一連の画像を表示モニター上に表示させる段階が、ユーザーインターフェースを用いてデータセットの画像をスクロールすることを含む、請求項11記載の方法。
  13. ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示する段階が、データセットからの一連の近傍焦点（near-focus）画像を表示モニター上に表示することを含み、
    ここで一連の近傍焦点画像が、ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値の所定の範囲内にありかつ該最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含む、請求項1記載の方法。
  14. 一連の近傍焦点画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために同時に表示される、請求項13記載の方法。
  15. 一連の近傍焦点画像の画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために連続して表示される、請求項13記載の方法。
  16. 一連の近傍焦点画像の画像が、複数回、そのたびに異なる順序で表示される、請求項15記載の方法。
  17. 一連の近傍焦点画像の選択および表示のためのパラメータが、ユーザーインターフェースを通して設定可能である、請求項13〜16のいずれか一項記載の方法。
  18. ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、請求項13〜17のいずれか一項記載の方法。
  19. 関心対象の対象物もしくは領域の検出された端部の鮮鋭度、
    関心対象の対象物もしくは領域のコントラスト、または
    1つもしくは複数の高頻度構成要素の測定された大きさと1つもしくは複数の低頻度構成要素の測定された大きさとの比
    のうち1つまたは複数に基づいて合焦測度が計算される、請求項18記載の方法。
  20. 乳房組織画像をナビゲートおよび表示するためにコンピュータ制御ワークステーションを使用する自動化された方法であって、ワークステーションが、機能的に関連付けされたユーザーインターフェースおよび表示モニターを含み、該方法が、
    乳房のボリュメトリック画像データを含むトモシンセシス画像データセットを得る段階；
    ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、表示モニター上にデータセットからの一連の画像を表示する段階；
    データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出する段階；
    続いて表示された画像におけるユーザーにより選択または指示された関心対象の対象物または領域を視覚的目印によって強調する段階；および
    一連のさらなる画像を表示する際に、ユーザーにより選択または指示された関心対象の対象物または領域を、視覚的目印を改変しながら強調し続ける段階
    を含む、方法。
  21. 視覚的目印が幾何学的図形であり、視覚的目印の改変が、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って幾何学的図形のサイズを変化させることを含む、請求項21記載の方法。
  22. 視覚的目印が色であり、視覚的目印の改変が、現時点で表示されている画像におけるユーザーにより選択または指示された関心対象の対象物または領域の相対的合焦測度に従って色の色相を変化させることを含む、請求項20記載の方法。
  23. 関心対象の対象物もしくは領域の検出された端部の鮮鋭度、
    関心対象の対象物もしくは領域のコントラスト、または
    1つもしくは複数の高頻度構成要素の測定された大きさと、1つもしくは複数の低頻度構成要素の測定された大きさとの比
    のうち1つまたは複数に基づいて合焦測度が計算される、請求項21または22記載の方法。
  24. トモシンセシス画像データセットをナビゲートおよびレビューするためのシステムであって、データセットが乳房のボリュメトリック画像データを含み、システムが、
    画像処理コンピュータ；
    画像処理コンピュータと機能的に関連付けされた画像表示モニター；ならびに
    画像処理コンピュータおよび表示モニターと機能的に連結されたユーザーインターフェース
    を含み、ここで画像処理コンピュータが、
    ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの一連の画像のうち1つまたは複数を表示モニター上に表示し；
    データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し；かつ
    ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有するデータセットからの画像を表示する
    ように構成されている、システム。
  25. ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、請求項24記載のシステム。
  26. 合焦測度が、関心対象の対象物または領域の検出された端部の鮮鋭度に基づいて計算される、請求項25記載のシステム。
  27. 合焦測度が、関心対象の対象物または領域のコントラストに基づいて計算される、請求項25記載のシステム。
  28. 合焦測度が、1つまたは複数の高頻度構成要素の測定された大きさと、1つまたは複数の低頻度構成要素の測定された大きさとの比に基づいて計算される、請求項25記載のシステム。
  29. ユーザーインターフェースが表示モニターを含む、請求項24〜28のいずれか一項記載のシステム。
  30. 続いて表示された画像がユーザーにより選択または指示された関心対象の対象物または領域の最良合焦を有する画像を含む場合に、可視または可聴シグナルを提供するワークステーションをさらに含む、請求項24〜29のいずれか一項記載のシステム。
  31. ユーザーにより選択または指示された関心対象の対象物または領域が、その最良合焦を有する表示された画像において強調される、請求項24〜30のいずれか一項記載のシステム。
  32. ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域の境界を表す輪郭線によって強調される、請求項31記載のシステム。
  33. ユーザーにより選択または指示された関心対象の対象物または領域が、強調された対象物または領域が指定されたタイプの組織構造であることまたはそれを含むことを示す様式で強調される、請求項31記載のシステム。
  34. トモシンセシス画像データセットをナビゲートおよびレビューするためのシステムであって、データセットが乳房のボリュメトリック画像データを含み、システムが、
    画像処理コンピュータ；
    画像処理コンピュータと機能的に関連付けされた画像表示モニター；ならびに
    画像処理コンピュータおよび表示モニターと機能的に連結されたユーザーインターフェース
    を含み、ここで画像処理コンピュータが、
    ユーザーインターフェースを通して受け取った1つまたは複数のユーザーコマンドに応答して、データセットからの一連の画像のうち1つまたは複数を表示モニター上に表示し；
    データセットから続いて表示された画像における、関心対象の対象物または領域のユーザーによる選択または指示を、ユーザーインターフェースを通して検出し；かつ
    ユーザーにより選択または指示された関心対象の対象物または領域を描写するデータセットの任意の画像に関して計算された最良合焦測度値の所定の範囲内にありかつ該最良合焦測度値を含む計算された合焦測度値を有するデータセットの画像を含むデータセットからの一連の近傍焦点画像を、表示モニター上に表示する
    ように構成されている、システム。
  35. 一連の近傍焦点画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の静的レビューおよび比較を可能にするために同時に表示される、請求項34記載のシステム。
  36. 一連の近傍焦点画像の画像が、各画像におけるユーザーにより選択または指示された関心対象の対象物または領域の動的レビューおよび比較を可能にするために連続して表示される、請求項34記載のシステム。
  37. 一連の近傍焦点画像の画像が、複数回、そのたびに異なる順序で表示される、請求項36記載のシステム。
  38. 一連の近傍焦点画像の選択および表示のためのパラメータが、ユーザーインターフェースを通して設定可能である、請求項34〜37のいずれか一項記載のシステム。
  39. ユーザーにより選択または指示された関心対象の対象物または領域の最良合焦測度を有する画像が、データセットの各画像に関して計算された関心対象の対象物または領域の合焦測度の比較に基づいて決定される、請求項34〜38のいずれか一項記載のシステム。
  40. 関心対象の対象物もしくは領域の検出された端部の鮮鋭度、
    関心対象の対象物もしくは領域のコントラスト、または
    1つもしくは複数の高頻度構成要素の測定された大きさと、1つもしくは複数の低頻度構成要素の測定された大きさとの比
    のうち1つまたは複数に基づいて合焦測度が計算される、請求項39記載のシステム。
JP2016500514A 2013-03-15 2014-02-28 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム Active JP6392309B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361793437P 2013-03-15 2013-03-15
US61/793,437 2013-03-15
PCT/US2014/019515 WO2014149554A1 (en) 2013-03-15 2014-02-28 System and method for navigating a tomosynthesis stack including automatic focusing

Publications (3)

Publication Number Publication Date
JP2016510669A true JP2016510669A (ja) 2016-04-11
JP2016510669A5 JP2016510669A5 (ja) 2018-04-19
JP6392309B2 JP6392309B2 (ja) 2018-09-19

Family

ID=50290297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016500514A Active JP6392309B2 (ja) 2013-03-15 2014-02-28 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム

Country Status (5)

Country Link
US (3) US10624598B2 (ja)
EP (1) EP2967473B1 (ja)
JP (1) JP6392309B2 (ja)
CN (1) CN105451657A (ja)
WO (1) WO2014149554A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017192606A (ja) * 2016-04-22 2017-10-26 コニカミノルタ株式会社 画像生成システム
JP2021019931A (ja) * 2019-07-29 2021-02-18 富士フイルム株式会社 画像処理装置、方法およびプログラム
WO2021182076A1 (ja) * 2020-03-09 2021-09-16 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
US11587215B2 (en) 2019-09-17 2023-02-21 Fujifilm Corporation Image processing device, image processing method, image processing program, image display device, image display method, and image display program

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532745B2 (en) 2006-02-15 2013-09-10 Hologic, Inc. Breast biopsy and needle localization using tomosynthesis systems
CN102481146B (zh) 2009-10-08 2016-08-17 霍罗吉克公司 乳房的穿刺活检系统及其使用方法
WO2012071429A1 (en) 2010-11-26 2012-05-31 Hologic, Inc. User interface for medical image review workstation
AU2012225398B2 (en) 2011-03-08 2017-02-02 Hologic, Inc. System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy
JP2014534042A (ja) 2011-11-27 2014-12-18 ホロジック, インコーポレイテッドHologic, Inc. マンモグラフィーおよび／またはトモシンセシス画像データを使用して２ｄ画像を生成するためのシステムおよび方法
JP6240097B2 (ja) 2012-02-13 2017-11-29 ホロジック インコーポレイティッド 合成画像データを使用してトモシンセシススタックをナビゲートする方法
AU2014233687B2 (en) 2013-03-15 2018-12-06 Hologic, Inc. Tomosynthesis-guided biopsy in prone
CN105451657A (zh) 2013-03-15 2016-03-30 霍罗吉克公司 用于导航断层合成堆叠的包括自动聚焦的系统和方法
ES2878599T3 (es) 2014-02-28 2021-11-19 Hologic Inc Sistema y método para generar y visualizar bloques de imagen de tomosíntesis
EP3682807A1 (en) * 2014-09-16 2020-07-22 Sirona Dental, Inc. Methods, systems, apparatuses, and computer programs for processing tomographic images
JP6126058B2 (ja) * 2014-09-30 2017-05-10 富士フイルム株式会社 画像表示装置、画像処理装置、放射線画像撮影システム、断層画像表示方法、及び断層画像表示プログラム。
WO2016120441A2 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images
JP6563486B2 (ja) * 2015-04-16 2019-08-21 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
EP3319502B1 (en) 2015-08-06 2023-06-21 Tel HaShomer Medical Research Infrastructure and Services Ltd. Mammography apparatus
US10146904B2 (en) * 2015-11-25 2018-12-04 Fovia, Inc. Methods and systems and dynamic visualization
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
WO2018183549A1 (en) 2017-03-30 2018-10-04 Hologic, Inc. System and method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement
CN110621231B (zh) 2017-03-30 2024-02-23 豪洛捷公司 用于分层次多级特征图像合成和表示的系统以及方法
JP7174710B2 (ja) 2017-03-30 2022-11-17 ホロジック， インコーポレイテッド 合成乳房組織画像を生成するための標的オブジェクト増強のためのシステムおよび方法
EP3641635A4 (en) 2017-06-20 2021-04-07 Hologic, Inc. DYNAMIC SELF-LEARNING MEDICAL IMAGING PROCESS AND SYSTEM
US10671896B2 (en) 2017-12-04 2020-06-02 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US10779791B2 (en) * 2018-03-16 2020-09-22 General Electric Company System and method for mobile X-ray imaging
CN109902189B (zh) * 2018-11-30 2021-02-12 华为技术有限公司 一种图片选择方法及相关设备
EP4003174A4 (en) * 2019-07-29 2022-12-28 Shenzhen Xpectvision Technology Co., Ltd. THREE-DIMENSIONAL IMAGING SYSTEMS AND METHODS
US11883206B2 (en) * 2019-07-29 2024-01-30 Hologic, Inc. Personalized breast imaging system
JP7465342B2 (ja) 2019-09-27 2024-04-10 ホロジック， インコーポレイテッド ２ｄ／３ｄ乳房画像を精査するための読み取り時間および読み取り複雑性を予測するためのａｉシステム
CN115131350B (zh) * 2022-08-30 2022-12-16 南京木木西里科技有限公司 一种大景深观测与表面形貌分析系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035026A1 (en) * 2011-09-07 2013-03-14 Koninklijke Philips Electronics N.V. Interactive live segmentation with automatic selection of optimal tomography slice

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5740270A (en) 1988-04-08 1998-04-14 Neuromedical Systems, Inc. Automated cytological specimen classification system and method
US5499097A (en) 1994-09-19 1996-03-12 Neopath, Inc. Method and apparatus for checking automated optical system performance repeatability
US5647025A (en) 1994-09-20 1997-07-08 Neopath, Inc. Automatic focusing of biomedical specimens apparatus
US5557097A (en) 1994-09-20 1996-09-17 Neopath, Inc. Cytological system autofocus integrity checking apparatus
WO1996010237A1 (en) 1994-09-20 1996-04-04 Neopath, Inc. Biological specimen analysis system processing integrity checking apparatus
US5671288A (en) 1995-05-31 1997-09-23 Neopath, Inc. Method and apparatus for assessing slide and specimen preparation quality
US5642433A (en) 1995-07-31 1997-06-24 Neopath, Inc. Method and apparatus for image contrast quality evaluation
US5642441A (en) 1995-10-24 1997-06-24 Neopath, Inc. Separation apparatus and method for measuring focal plane
JP2000501184A (ja) 1995-11-30 2000-02-02 クロマビジョン メディカル システムズ，インコーポレイテッド 生体標本の自動画像分析の方法および装置
US5841124A (en) 1996-06-19 1998-11-24 Neopath, Inc. Cytological system autofocus integrity checking apparatus
US7117098B1 (en) 1997-02-27 2006-10-03 Cellomics, Inc. Machine-readable storage medium for analyzing distribution of macromolecules between the cell membrane and the cell cytoplasm
US7424141B2 (en) * 2003-08-29 2008-09-09 Agilent Technologies, Inc. System and method for performing auto-focused tomosynthesis
US20050113680A1 (en) * 2003-10-29 2005-05-26 Yoshihiro Ikeda Cerebral ischemia diagnosis assisting apparatus, X-ray computer tomography apparatus, and apparatus for aiding diagnosis and treatment of acute cerebral infarct
US7835556B2 (en) 2004-05-14 2010-11-16 Koninklijke Philips Electronics N.V. System and method for diagnosing breast cancer
US8471866B2 (en) * 2006-05-05 2013-06-25 General Electric Company User interface and method for identifying related information displayed in an ultrasound system
US7769219B2 (en) * 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
US7630533B2 (en) * 2007-09-20 2009-12-08 Hologic, Inc. Breast tomosynthesis with display of highlighted suspected calcifications
US7929743B2 (en) * 2007-10-02 2011-04-19 Hologic, Inc. Displaying breast tomosynthesis computer-aided detection results
US8547402B2 (en) * 2009-10-07 2013-10-01 Hologic, Inc. Displaying computer-aided detection information with associated breast tomosynthesis image information
US8223916B2 (en) 2009-03-31 2012-07-17 Hologic, Inc. Computer-aided detection of anatomical abnormalities in x-ray tomosynthesis images
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
CN105451657A (zh) 2013-03-15 2016-03-30 霍罗吉克公司 用于导航断层合成堆叠的包括自动聚焦的系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035026A1 (en) * 2011-09-07 2013-03-14 Koninklijke Philips Electronics N.V. Interactive live segmentation with automatic selection of optimal tomography slice
JP2014525335A (ja) * 2011-09-07 2014-09-29 コーニンクレッカ フィリップス エヌ ヴェ 最適なトモグラフィスライスの自動選択を備えた対話式ライブセグメンテーション

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017192606A (ja) * 2016-04-22 2017-10-26 コニカミノルタ株式会社 画像生成システム
JP2021019931A (ja) * 2019-07-29 2021-02-18 富士フイルム株式会社 画像処理装置、方法およびプログラム
US11517280B2 (en) 2019-07-29 2022-12-06 Fujifilm Corporation Image processing apparatus, method, and program
JP7209599B2 (ja) 2019-07-29 2023-01-20 富士フイルム株式会社 画像処理装置、方法およびプログラム
US11587215B2 (en) 2019-09-17 2023-02-21 Fujifilm Corporation Image processing device, image processing method, image processing program, image display device, image display method, and image display program
WO2021182076A1 (ja) * 2020-03-09 2021-09-16 富士フイルム株式会社 表示制御装置、表示制御方法、及び表示制御プログラム

Also Published As

Publication number Publication date
WO2014149554A1 (en) 2014-09-25
CN105451657A (zh) 2016-03-30
US20230230679A1 (en) 2023-07-20
EP2967473B1 (en) 2020-02-19
US10624598B2 (en) 2020-04-21
JP6392309B2 (ja) 2018-09-19
US20160051215A1 (en) 2016-02-25
US20200345320A1 (en) 2020-11-05
EP2967473A1 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
US20230230679A1 (en) System and method for navigating a tomosynthesis stack including automatic focusing
US11663780B2 (en) System and method for navigating a tomosynthesis stack using synthesized image data
US11508340B2 (en) System and method for generating a 2D image using mammography and/or tomosynthesis image data
US10448911B2 (en) Method and device for displaying medical images
JP6506769B2 (ja) トモシンセシス画像スラブを生成し表示するためのシステムおよび方法
JP6118325B2 (ja) 最適なトモグラフィスライスの自動選択を備えた対話式ライブセグメンテーション
JP5501370B2 (ja) トモシンセシスデータセットから２ｄ画像を生成するためのシステムおよび方法
JP2016533803A (ja) Ｘ線誘導胸部生検をナビゲートするためのシステムおよび方法
EP3503020A1 (en) Clinical task-based processing of images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20180312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180822

R150 Certificate of patent or registration of utility model

Ref document number: 6392309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250