JP2016525426A - 撮像データセットの間の所見のマッチング - Google Patents

撮像データセットの間の所見のマッチング Download PDF

Info

Publication number
JP2016525426A
JP2016525426A JP2016530635A JP2016530635A JP2016525426A JP 2016525426 A JP2016525426 A JP 2016525426A JP 2016530635 A JP2016530635 A JP 2016530635A JP 2016530635 A JP2016530635 A JP 2016530635A JP 2016525426 A JP2016525426 A JP 2016525426A
Authority
JP
Japan
Prior art keywords
image
earlier
acquired
interest
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016530635A
Other languages
English (en)
Other versions
JP6230708B2 (ja
JP2016525426A5 (ja
Inventor
エリック コーエン‐ソラール
エリック コーエン‐ソラール
ガブリエル ライアン マンコヴィッチ
ガブリエル ライアン マンコヴィッチ
ユエチェン チーアン
ユエチェン チーアン
ザシーサ ダナン‐ジャヤ デ シルヴァ マボトゥワナ
ザシーサ ダナン‐ジャヤ デ シルヴァ マボトゥワナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016525426A publication Critical patent/JP2016525426A/ja
Publication of JP2016525426A5 publication Critical patent/JP2016525426A5/ja
Application granted granted Critical
Publication of JP6230708B2 publication Critical patent/JP6230708B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

ある方法が、画像のセットの生体構造画像の観察者の関心焦点を検出するステップと、上記検出された関心焦点に基づき、上記生体構造画像の位置が、関心所見を持つ組織を含むことを決定するステップと、表示された画像と同じ組織の部分を持つ生体構造画像をより早期に取得された撮像データセットから識別するステップと、上記より早期に取得された画像を識別するグラフィック指示を、上記表示された画像と並行して視覚的に表示するステップとを含む。

Description

本願は一般に、撮像に関し、より詳細には撮像データセットの間の所見のマッチングに関する。
放射線科医は、日常的に画像を読み、及び解釈する。これは、処置された病変(例えば化学療法)の進行又は介入(例えば手術)の結果が時間にわたりモニタされるフォローアップケースの画像を含む。そのような場合、放射線科医は、特定の臨床質問に対応する顕著及び有意な変化(縮小している腫瘍、手術後の正しく治癒している組織等)を報告する。
患者のフォローアップは、同じ撮像プロトコル(即ち同じモダリティ、同じスキャンされる体部分及びスキャナパラメータ)で実行される連続的な研究を含むことができる。これらの研究は、注目される何百ものスライスを含むことができる。最初の研究はしばしば、放射線科医がケースをレビューするときにマークされたキー画像を含む。フォローアップ研究において、放射線科医は、(キー画像において注釈付けされた)前にマークされた所見を報告する。
このため、放射線科医は、以前の研究で特定された所見に密接に対応する関連画像を決定するため、現在の研究における画像をスクロールする。この作業は、2つの画像セットの間を行ったり来たりして、以前の研究画像と現在の研究画像とを視覚的に比較することにより実行される。残念なことに、これは単調な作業の可能性がある。この場合、放射線科医は、新規研究において各発見を位置決めして、以前の研究における正しい及び対応する所見に対してそれらの各々を比較する。
本書に記載される側面は、上述した課題その他を解決する。
以下は、現在の画像データセット及び以前の研究の間の所見をマッチさせ、オプションでマッチが見つかるとき、通知を提供するアプローチを記載する。ユーザは、示唆をフォローアップするかを決定し、以前の研究におけるマッチする画像スライス及び関連する所見の位置を表示することができる。例えば、これは、臨床医が、対応する所見をサーチして所与のシリーズに関するすべての以前の画像スライスを見なければならないことを回避する。これにより、非常に高速な視覚的な比較、より高速な所見注釈及びレポート編集がもたらされる。このアプローチは、現在の画像データセットにおける新規所見が、過去の画像データセットにおいて注釈付けされていないとき、過去の画像データセットにおける所見が、現在の画像データセットにおいてなくなっているときを識別することもでき、及び/又はフォローアップ撮像手順における走査範囲(及び従って線量)を減らすことができる。
1つの側面において、ある方法は、画像のセットの生体構造画像の観察者の関心焦点を検出するステップと、上記検出された関心焦点に基づき、上記生体構造画像の位置が、関心所見を持つ組織を含むことを決定するステップと、表示された画像と同じ組織の部分を持つ生体構造画像をより早期に取得された撮像データセットから識別するステップと、上記より早期に取得された画像を識別するグラフィック指示を、上記表示された画像と並行して視覚的に表示するステップとを含む。
別の側面において、あるシステムが、モニタに表示される画像のセットにおける生体構造画像の観察者の関心焦点を検出するセンサと、上記モニタのディスプレイジオメトリに基づき、上記画像に対する上記関心焦点をマッピングするマッパーと、上記マップに基づきメトリックを決定するメトリック決定部と、上記メトリックを所定のメトリックと比較し、上記メトリックが上記所定のメトリックを満たすことに基づき、上記生体構造画像の位置が、関心所見を持つ組織を含むことを決定する論理部と、上記表示された画像と同じ組織を持つ生体構造画像をより早期に取得された撮像データセットから識別する画像セレクターと、上記より早期に取得された画像を識別するグラフィック指示を表示するディスプレイモニタとを含む。
別の側面において、コンピュータ可読ストレージ媒体が、コンピュータ可読命令でエンコードされ、これは、プロセッサにより実行されるとき、プロセッサが、モニタに表示される画像のセットにおける生体構造画像の観察者の関心焦点を検出し、上記検出された関心焦点に基づき、上記生体構造画像の位置が、関心所見を持つ組織を含むことを決定し、表示された画像と同じ組織を持つ生体構造画像をより早期に取得された撮像データセットから識別し、上記より早期に取得された画像を識別するグラフィック指示を、上記表示された画像と並行して視覚的に表示することをもたらす。
本発明は、様々な要素及び要素の配列の形式並びに様々なステップ及びステップの配列の形式を取ることができる。図面は、好ましい実施形態を説明するためだけにあり、本発明を限定するものとして解釈されるべきものではない。
撮像システム及びデータリポジトリに関連する計算システムを概略的に示す図である。 現在のデータセットにおける関心所見を持つ現在の画像に対応する前に取得されたデータセットにおける注釈を持つ過去の画像を特定及び表示する方法を示す図である。 現在のデータセットにおける関心所見を持つ現在の画像に対応する前に取得されたデータセットにおける注釈なしの過去の画像を特定及び表示する方法を示す図である。 前に取得されたデータにおける注釈を持つ過去の画像に対応する現在のデータセットにおける画像を特定及び表示する方法を示す図である。
図1は、撮像システム102及び/又はデータリポジトリ104に関連するコンピュータシステム100を概略的に示す。撮像データは、コンピュータシステム100、撮像システム102及び/又はデータリポジトリ104の間で標準的なフォーマット及び/又は非標準プロプライエタリ及び/又は他のフォーマットで格納及び/又は転送されることができる。この標準的なフォーマットは例えば、Digital Imaging and Communications in Medicine(DICOM)、Health Level 7(HL7)及び/又は他の標準的なフォーマットである。
撮像システム102は例えば、コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)、陽電子放出断層撮影(PET)、単光子放出コンピュータ断層撮影(SPECT)、X線及び/又は他の撮像システムの1つ又は複数を含む。データリポジトリ104は例えば、画像保存通信システム(PACS)、放射線学情報システム(RIS)、病院情報システム(HIS)及び/又は他のデータリポジトリの1つ又は複数を含む。
コンピュータシステム100は、1つ又は複数のマイクロプロセッサ及びコンピュータ可読ストレージ媒体(メモリ)106(即ち、物理メモリ及び他の非一時的ストレージ媒体)を含む。コンピュータシステム100は更に、例えばキーボード、マウス、マイクロホン、タッチスクリーン等の入力デバイス108及び例えばモニタ、フィルマ、プリンタ等の出力デバイス110を含む。
コンピュータ可読ストレージ媒体106は、コンピュータ可読命令でエンコードされる。これは、1つ又は複数のマイクロプロセッサにより実行されるとき、システム100が本書に記載されるさまざまな機能を実行することをもたらす。1つ又は複数のマイクロプロセッサは、搬送波、信号及び他の一時的ストレージ媒体により搬送される命令を追加的に又は代替的に実行することができる。
コンピュータシステム100は更に、患者に関して取得するため撮像データセットを識別する信号を入力デバイス108を介して入力として受信するデータ取得部112を含む。このため、コンピュータシステム100は最初に、グラフィカルユーザインタフェース(GUI)等において、格納された患者研究のリストを視覚的に与えることができる。そこから、ユーザは、ロードする撮像データセットを選択することができる。
ユーザは、入力デバイス108を介して撮像データセットの1つを選択する。図示された例において、データ取得部112は、メモリ106、撮像システム102及び/又は画像データリポジトリ104から撮像データセットを取得する。選択された撮像データセットは、読み出されるべき患者の最初の撮像データセット、又は患者の前に生成されたデータセットとの比較のため読み出される患者のフォローアップ撮像データセットとすることができる。
信号がフォローアップ撮像データセットを識別する場合、以前のデータ識別子114は、フォローアップ撮像データセットに対応する前に生成及び格納された撮像データセットを識別するために用いられる。前に生成及び格納された撮像データセットは、例えば撮像プロトコル、スキャンされる関心生体構造、撮像モダリティ及び/若しくは他のデータに基づき、並びに/又は患者の(時系列順に)最近の走査により、フォローアップ撮像データセットに関連付けられるものとして識別される。
過去のデータ識別子114が、フォローアップ撮像データセットの画像の観察の間、代わりに使用されることができる。この例では、前に生成された画像データセットからの前に生成された画像は、現在観察された画像及びデータセットの画像の間の正規化された重み付けスコアを計算することにより識別される。例えば、画像が同じモダリティからのデータを用いて生成される場合、1のバイナリカウントがスコアに加算される。同じカウンティングが、生体構造、シリーズ、画像スライス番号などに関して実行される。
結果として、各所見は、リアルタイムスコアを持つ。最高スコアが特定の閾値を超える場合、画像はマッチしたと考えられる。変形例において、最近の1つだけをフィルタリングすることにより、又は、前述の正規化された重み付けスコアの一部として時間減衰関数を導入することにより、考慮される以前の研究を制限するために時間制約が用いられることができる。他の手法も、本書において想定される。
レンダリングエンジン116は、出力デバイス110のモニタを介して、取得された撮像データを視覚的に提示する。信号がフォローアップ撮像データセットを識別する場合、フォローアップ画像及び前に生成された画像が表示される。2つの撮像データセットは、モニタ当たり1つのデータセットが表示される複数のモニタを用いて、又は例えば、分割されたスクリーン、前後のトグル及び/若しくは他のアプローチを用いる単一のモニタを用いて表示されることができる。
画像セレクター118は、出力デバイス110のモニタを介して視覚的に与えるため、レンダリングエンジン116に関する画像(スライス)をオペレータが入力デバイス108を介して、スクロール、ジャンプ、及び/又は他の態様でナビゲートして、選択することを可能にする。画像セレクター118は、表示された画像スライス番号、撮像検査データにおけるシリーズ等をリアルタイムに維持する。
注釈部120は、表示された画像にわたり重畳する又はオーバレイする注釈を識別する信号を入力デバイス108を介して入力として受信する。注釈は、出力デバイス110のモニタを介して視覚的に与えるため、レンダリングエンジン116に搬送される。注釈部120は、1つの画像の注釈を別の画像に伝播することも可能にする。
画像更新部122は、注釈及び/又はこの注釈を含む画像の一部であるファイルのフィールドを含むよう、メモリ106において対応する画像を更新する。注釈がついている撮像データセットは例えば、DICOMフォーマットにおいて格納される。そこでは、ヘッダが、モダリティ、生体構造領域、撮像プロトコル、キー画像、所見、注釈、位置、スライス番号、シリーズ識別子、所見特性(例えば、形状、マージン、サイズ等)、病変描写(例えば、ユーザ又は任意の自動的若しくは半自動的なセグメント化方法により提供される)及び/又は他の情報を含む。
アイトラッカ124は、画像のセットにおける生体構造画像の観察者の関心焦点を検出又は追跡する。一般に、アイトラッカ124は、関心焦点領域を識別することができる任意のアプローチを使用することができる。適切なアプローチの例は、Kenneth Holmqvist、Marcus Nystrom、Richard Andersson、Richard Dewhurst、Halszka Jarodzka、Joost van de Weijerによる「Eye Tracking: A comprehensive guide to methods and measures」、Oxford University Press、2011において述べられる。これらのアプローチは、視界、眼球運動、眼球運動のパターン、ドゥエリング(dwelling)などを含む。他の手法も、本書において想定される。
非限定的な例を用いて、1つの非限定的なアプローチにおいて、アイトラッカ124は、出力デバイス110のディスプレイ領域のジオメトリに対して出力デバイス110を介して表示されるフォローアップ画像を観察する観察者の凝視の点及び/又は目の動きを測定し、これを示す信号を生成する。図示されたアイトラッカ124は、例えばビデオカメラ等のセンサ126を含む。他のセンサも、本書において想定される。センサ126は、例えばテーブル、スタンド、コンピュータシステム100等、観察者により着用されるヘッドセット及び/又はその他といったデバイスに取り付けられる。
図示されたセンサ126は、観察者の一方又は両方の目に焦点を合わせ、観察者が出力デバイス110を介して表示される画像を観察するとき、その運動を記録する。1つの非限定的な例において、センサ126は、瞳孔の中心に焦点を合わせ、角膜反射を作成するため、可視及び/又は赤外線/近赤外非コリメート光を検出する。瞳孔中心及び角膜反射の間のベクトルは、表面又は凝視方向における考慮の点を計算するために用いられることができる。
アイトラッカ124は更に、センサ126からの信号を処理し、目の凝視及び/又は運動を出力デバイス110のモニタの座標系(x,y座標)へとマッピングするマッパー128を含む。マッパー128は、マッピングを示す信号を生成する。マッピングは、1つの例において、各観察された画像に関するモニタの平面に対する、視線の時間ベースのマッピングを提供する。
メトリック決定部130は、マッパー128の出力及び/又は画像セレクター118の出力を受信して、それに基づき1つ又は複数のメトリックを生成する。例えば、1つの例において、メトリック決定部130は、マッパー128の出力を処理し、各観察された画像に関して各画像における各位置を観察者が観察するのに費やしたトータル時間量を示すメトリックを生成する。別の例において、メトリック決定部130は、画像セレクター118の出力を処理し、画像が観察される経時的な順を示すメトリックを生成する。
論理部132は、メトリックを評価する。例えば、これは、所定の閾値及び/又は観察のパターンに対してメトリックを比較することを含む。例えば、画像における各位置を観察者が観察するのに費やしたトータル時間量を示すメトリックは、時間閾値と比較されることができ、画像が観察される経時的な順を示すメトリックは、観察のパターンと比較されることができる。
例えば、閾値を満たすことは、観察される表示された画像の位置が、観察者にとっての関心特徴を含むことを示す。即ち、観察者が、画像における特定の位置を観察するのに少なくとも閾値量の時間を費やし、及び/又は画像のサブセットを通り前後に数回スクロールする場合、論理部132は、画像における位置又は画像のシリーズにおける3D位置が、観察者にとっての関心所見を含むと決定する。
フォローアップ撮像データセットの画像を観察することに関連して、メトリックが閾値を満たすことに基づき、論理部132は、前に生成及び格納された撮像データセットから、対応する画像を並行して表示するため、画像セレクター118を呼び出す。例えば、特定の画像は、注釈により局所化される以前の所見に対する距離を計算することにより識別されることができる。ここで、所与の閾値未満の最短距離が、対応する画像として識別される。
変形例において、論理部132は、それらの間の幾何学的に対応する同じ生体構造領域(例えば、器官レベル、スライス番号、スライスにおける位置)を持つために、(例えば、モデルベース又はセグメント化ベースの)画像を位置合わせすることができる。これは、マッチングの精度を改良することができる。剛性及び/又は弾性的位置合わせアルゴリズムが、使用されることができる。撮像データセットが異なるモダリティ(例えば、CT及びMR)に対応する場合、画像の2つのタイプの位置合わせ又は融合が実行されることができる。
別の変形例において、論理部132は、所見(例えば、塊、腫瘍、嚢胞等)のセグメント化を開始するためのシードとして、アイトラッキング位置を用いるセグメント化を使用することができる。これは、ユーザにより提供される注釈に基づかれるのではなく、対象自体に基づき、マッチングに関する以前の所見のより正確な位置を提供することができる。更に、これは、整合スコアを更に計算し、ミスマッチを回避するため、形状、マージン及び/又は他の任意の特徴を計算する能力を提供する(即ち外観ベースのマッチング)。
逆に、閾値が満たされない場合、論理部132は、画像における位置が、観察者にとっての関心特徴を含まず、任意の画像のディスプレイを呼び出すことを決定する。
対応する画像を自動的に表示することにより、観察者は、この画像を見つけるために前に生成された撮像データセットをスクロールする必要はなく、これは時間を節約する。論理部132は、例えばアイコン、テキスト、グラフィック等の視覚的なフィードバック又は指示をフォローアップ画像のディスプレイにわたり表示することができる。これは、マッチが見つかり、他のモニタに表示されることを観察者に知らせる。入力デバイス108及び注釈部120を介して、観察者は、フォローアップ画像及び/又は前に生成された画像に注釈を付けることができる。
変形例において、指示は、前に生成された画像を表示することなしに表示される。この例では、前に生成された画像及び/又は注釈は、指示上でクリックするとき及び/又は他の態様で表示を呼び出すとき表示される。この場合、観察者は、識別された前に生成された画像が、前に生成された画像を表示する前に観察されるフォローアップ画像に実際に対応することを確認することができる。観察者は、入力デバイス108を介して、画像マッピングを拒絶又は受け入れることができる。
非限定的な例を用いて、論理部132は、観察者に視覚的に通知するため、観察者の視線のレベルに、及びスクリーンの面にアイコンを表示することができる。代替的に、マッチ及び凝視位置のレベルで画像上に矢印が音声信号と共に現れることができる。観察者がマッチを考慮すると決定する場合、観察者は、マウスをアイコン上でホバーさせ、及び/又はアイコンをクリックすることができ、以前の研究における対応する所見が、マッチを評価及び確定するため、他のモニタに現れる。
観察者が正しいマッチを確定する場合、観察者は、以前の所見説明で始まる画像注釈及び関連テキスト説明をシームレスに編集することができる。以前の研究からのテキストは伝播され、現在の所見の側の小さいウィンドウに表示されることができる。終了及び提出されるとき、所見の詳細が最終報告に加えられる。以前の所見からの画像注釈が、最終的なエディションのため現在の画像における凝視位置に配置されることもできる。
以下は、非限定的な使用ケースシナリオを提供する。この例において、システム100は、PACSシステムである。しかしながら、他の例において、システム100は、別のコンピュータシステムとすることもできる。
最初の撮像試験は、新規医療状態を具備する患者に関する診断に達する又は確定するため、委託(referring)又は専門医師(例えば腫瘍学者、心臓専門医等)により命じられる。例えば、患者は、断続的な腹痛の症状について彼(女)の委託医師に意見を聞くことができる。医師は、CT腹部骨盤撮像試験に関するオーダーを提供する。
システム100(及び/又は他のシステム)は、結果として生じるボリュメトリック撮像データセットの画像スライスを表示するために利用される。これは、画像の1つ又は複数において表される関心特徴に注釈をつけるために注釈部120を利用して、この新規医療状態に関する放射線学レポートを生成することを含む。注釈のついた撮像データセットは、メモリ106、データリポジトリ104及び/又は他のストレージに保存される。特定のストレージは、各患者に関するいくつか又は全部の研究を含むことができる。
患者が、処置の間又は後、フォローアップ試験に戻る、又はモニタリング目的に戻るとき、システム100は、放射線科医により現在観察される現在の所見及び過去の研究からの以前の所見の間の潜在的マッチを提案することにより、以前の画像のスタックにわたり行われるナビゲーション負担を減らす。
オプションで、システム100は、以前の研究における留意すべき所見を識別するために用いられることができる。例えば、以前には発見されておらず報告されていない(本発明による提案されるマッチがない)現在の研究における新規所見を観察者が視覚的に認める場合、論理部132は、留意すべき所見が配置される最近の以前の研究(スライス番号及びシリーズ)から対応する領域を表示するため、画像セレクター118を呼び出す。
このため、観察者の視線は、現在の研究から画像において新しく検出された所見の位置を提供する。観察者は例えば、音声認識又は他のアプローチを介して、以前の研究における同じ位置を探すようシステム100に要求することができる。対応するスライスが、比較のために表示される。観察者は、可能であればより小さく検出可能性の低い留意すべき所見を発見するかもしれない。
現在の研究において無視された所見に関して。放射線科医が、以前の研究における所見に対応する現在の研究における領域を調べることに視覚的に失敗する場合、システムは、現在の研究のそれらの対応する領域におけるそれらの無視された以前の所見を通知し及び視覚化することができる。放射線科医が、画像のスタックをスクロールダウンしてこの所見を既に通過したとき、又は後に読出フェーズが完了されるとき、放射線科医に1つ又は複数の留意すべき領域を通知するためこれは動的に実行されることができる。
前述は、後続の走査の取得を制限するために用いられることもできる。これは、後続の走査を制限しないことと比べて、患者が受信するX線量を減らすことができる。このため、論理部132は、以前の所見位置、関連付けられる器官及びサブ領域の間の対応する領域を決定し、比較に有益な領域にだけ取得を制限するよう、撮像範囲を提案する。
図2、図3及び図4は、例示的な方法を示す。簡潔さ及び説明目的のため、図2、図3及び図4は、画像の領域に観察者がどれくらい長く焦点を合わせるかというコンテキストで開示される。しかしながら、本書に開示されるように、観察者が画像のセットを通り前後に移動するパターンが利用されることもできる。
ステップの順序は、限定ではない点を理解されたい。そのようなものとして、他の順序も本書において想定される。更に、1つ又は複数のステップは省略されることができ、及び/又は、1つ又は複数の追加的なステップが含まれることができる。
図2は、現在のデータセットにおける関心所見を持つ現在画像に対応する前に取得したデータセットにおける注釈を持つ過去の画像を識別及び表示する方法を示す。
ステップ202において、対象のフォローアップ撮像データセットがロードされる。
ステップ204において、ロードされたフォローアップ撮像データセットの画像が、表示及びスクロールされる。
ステップ206において、各表示された画像に関して、表示された画像における、対象の特定の組織をカバーする各位置を観察者が観察する時間量が記録される。
ステップ208において、各画像の各位置に関して、各位置を観察することに費やされる時間量が、所定の閾値時間間隔と比較される。
ステップ210において、画像の特定の位置を観察することに費やされる時間量が、所定の閾値時間間隔を上回る場合、対象の過去の撮像検査からの1つ又は複数の撮像データセットが、注釈を持つ対応する画像に関して評価される。
ステップ212において、注釈を持つ画像が配置される場合、画像が配置されることを示す指示が、視覚的に表示される。
ステップ214において、配置される画像が確定される場合、配置される画像又は注釈の少なくとも1つが、比較のため、表示された画像と並行して表示される。
図3は、現在のデータセットにおける関心所見を持つ現在画像に対応する前に取得したデータセットにおける注釈のない過去の画像を識別及び表示する方法を示す。
ステップ302において、対象のフォローアップ撮像データセットがロードされる。
ステップ304において、ロードされたフォローアップ撮像データセットの画像が、表示及びスクロールされる。
ステップ306において、各表示された画像に関して、表示された画像における、対象の特定の組織をカバーする各位置を観察者が観察する時間量が記録される。
ステップ308において、各画像の各位置に関して、各位置を観察することに費やされる時間量が、所定の閾値時間間隔と比較される。
ステップ310において、画像の特定の位置を観察することに費やされる時間量が、所定の閾値時間間隔を上回る場合、対象の過去の撮像検査からの1つ又は複数の撮像データセットが、注釈を持つ対応する画像に関して評価される。
ステップ312において、注釈のない対応する画像が配置される場合、斯かる画像が配置されることを示すメッセージが、表示される。
ステップ314において、画像が注釈付けされる。
図4は、前に取得したデータにおいて注釈を持つ過去の画像に対応する現在のデータセットにおける画像を識別及び表示する方法を示す。
ステップ402において、対象のフォローアップ撮像データセットがロードされる。
ステップ404において、関心所見を持つ画像が、フォローアップ撮像データセットにおいて注釈付けされる。
ステップ406において、前に取得した撮像データセットが、注釈に関して評価される。
ステップ408において、前に取得した撮像データセット及びフォローアップ撮像データセットが、比較される。
ステップ410において、注釈を含まないフォローアップ撮像データセットにおける画像であって、注釈を持つ前に取得した撮像データにおける画像に対応する画像が、識別される。
ステップ412において、識別された画像を示すメッセージが表示される。
ステップ414において、識別された画像が注釈付けされる。
上記方法は、コンピュータ可読命令を用いて実現され、コンピュータ可読記憶媒体においてエンコード又は埋め込まれることができる。これはコンピュータプロセッサにより実行されるとき、プロセッサに上記のステップを実行させる。追加的に又は代替的に、コンピュータ可読命令の少なくとも1つは、信号、搬送波又は他の一時的媒体により搬送される。
本発明が、好ましい実施形態を参照して説明されてきた。上記の詳細な説明を読み及び理解すると、第三者は、修正及び変更を思いつくことができる。それらの修正及び変更が添付の特許請求の範囲又はその均等物の範囲内にある限り、本発明は、すべての斯かる修正及び変更を含むものとして構築されることが意図される。

Claims (20)

  1. 方法において、
    画像のセットにおける生体構造画像の観察者の関心焦点を検出するステップと、
    前記検出された関心焦点に基づき、前記生体構造画像の位置が、関心所見を持つ組織を含むことを決定するステップと、
    表示された画像と同じ組織の部分を持つ生体構造画像をより早期に取得された撮像データセットから識別するステップと、
    前記より早期に取得された画像を識別するグラフィック指示を、前記表示された画像と並行して視覚的に表示するステップとを有する、方法。
  2. 前記関心焦点を検出するステップが、前記観察者が前記生体構造画像の特定領域について思案していることを決定するステップを有し、前記位置は、前記特定領域である、請求項1に記載の方法。
  3. 前記関心焦点を検出するステップが、
    前記観察者が前記生体構造画像の各位置を観察するのに費やす時間量を決定するステップと、
    各位置での前記時間量と所定の閾値時間間隔とを比較するステップと、
    前記位置での時間量が前記所定の閾値時間間隔を上回ることに基づき、前記生体構造画像の位置が、前記関心所見を持つ組織を含むと決定するステップとを有する、請求項1に記載の方法。
  4. 前記観察者が各位置を観察するのに費やす時間量を決定するため、アイトラッキングを使用するステップを更に有する、請求項3に記載の方法。
  5. 前記観察者の視線又は目の動きの少なくとも一方を追跡するため、アイトラッキングを使用するステップと、
    前記追跡された視線又は目の動きの少なくとも一方に基づき、前記生体構造画像の各位置を前記観察者が観察するのに費やす時間量を決定するステップとを更に有する、請求項4に記載の方法。
  6. 前記グラフィック指示が起動されたことを示す入力を受信することに基づき、前記より早期に取得された画像を表示するステップを更に有する、請求項1乃至5のいずれかに記載の方法。
  7. 前記グラフィック指示が起動されたことを示す入力を受信することに基づき、前記より早期に取得された画像の注釈を表示するステップを更に有する、請求項1乃至6のいずれかに記載の方法。
  8. 前記表示された画像に対して前記より早期に取得された画像の前記注釈を伝播するステップを更に有する、請求項7に記載の方法。
  9. 前記表示された画像に対して注釈を加える、又は前記より早期に取得された画像の前記注釈を変化させるステップの少なくとも一方を更に有する、請求項7又は8に記載の方法。
  10. 前記画像のセットにおける画像の間で前後にスクロールすることのパターンを決定するステップと、
    前記パターンに基づき、前記表示された画像と同じ前記組織を持つ前記生体構造画像を前記より早期に取得された撮像データセットから識別するステップとを更に有する、請求項1乃至9のいずれかに記載の方法。
  11. 前記より早期に取得された画像が、最初の画像であり、前記表示された画像は、前記最初の画像のフォローアップ画像である、請求項1乃至10のいずれかに記載の方法。
  12. 前記より早期に取得された画像が注釈を含まないことを示すメッセージを表示するステップを更に有する、請求項1乃至11のいずれかに記載の方法。
  13. より早期に取得された画像を評価するステップと、
    前記評価されたより早期に取得された画像において注釈を識別するステップと、
    前記より早期に取得された画像の第2の画像に対応する前記画像のセットにおける第2の画像が、注釈を含まないことを決定するステップであって、前記より早期に取得された画像の前記第2の画像が、注釈を含む、ステップと、
    前記画像のセットの前記第2の画像が注釈を含まないことを示す第2のメッセージを表示するステップとを更に有する、請求項1乃至12のいずれかに記載の方法。
  14. 前記表示された画像と同じ前記組織を持つ前記生体構造画像を前記より早期に取得された画像から識別するステップが、注釈により局所化される以前の所見に対する距離を計算するステップを有し、
    所与の閾値未満の最短距離が、前記対応する生体構造画像として識別される、請求項1乃至13のいずれかに記載の方法。
  15. システムであって、
    モニタに表示される画像のセットにおける生体構造画像の観察者の関心焦点を検出するセンサと、
    前記モニタのディスプレイジオメトリに基づき、前記画像に対する前記関心焦点をマッピングするマッパーと、
    前記マップに基づきメトリックを決定するメトリック決定部と、
    前記メトリックを所定のメトリックと比較し、前記メトリックが前記所定のメトリックを満たすことに基づき、前記生体構造画像の位置が、関心所見を持つ組織を含むことを決定する論理部と、
    前記表示された画像と同じ組織を持つ生体構造画像をより早期に取得された撮像データセットから識別する画像セレクターと、
    前記より早期に取得された画像を識別するグラフィック指示を表示するディスプレイモニタとを有する、システム。
  16. 前記画像のセットが、前記より早期に取得された撮像データセットと位置合わせされ、前記表示された画像と同じ組織を持つ前記生体構造画像は、前記より早期に取得された撮像データセットから前記位置合わせに基づき識別される、請求項15に記載のシステム。
  17. 前記画像のセットが、前記関心焦点に基づきセグメント化され、前記表示された画像と同じ組織を持つ前記生体構造画像は、前記より早期に取得された撮像データセットから前記セグメント化に基づき識別される、請求項15に記載のシステム。
  18. 前記画像のセット及び前記より早期に取得された撮像データセットが、2つの異なる撮像モダリティに対応し、前記画像のセット及び前記より早期に取得された撮像データは、融合され、前記表示された画像と同じ組織を持つ前記生体構造画像が、前記より早期に取得された撮像データセットから前記融合された画像に基づき識別される、請求項15に記載のシステム。
  19. 前記前に生成された撮像データセットからの前記前に生成された画像が、前記表示された画像及び前記前に生成された撮像データセットの画像の間の正規化された重み付けスコアを計算することにより、識別される、請求項15に記載のシステム。
  20. コンピュータ可読命令でエンコードされるコンピュータ可読ストレージ媒体であって、前記命令が、プロセッサにより実行されるとき、前記プロセッサが、
    モニタに表示される画像のセットにおける生体構造画像の観察者の関心焦点を検出し、
    前記検出された関心焦点に基づき、前記生体構造画像の位置が、関心所見を持つ組織を含むことを決定し、
    表示された画像と同じ組織を持つ生体構造画像をより早期に取得された撮像データセットから識別し、
    前記より早期に取得された画像を識別するグラフィック指示を、前記表示された画像と並行して視覚的に表示することをもたらす、コンピュータ可読ストレージ媒体。
JP2016530635A 2013-07-30 2014-07-08 撮像データセットの間の所見のマッチング Expired - Fee Related JP6230708B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361859884P 2013-07-30 2013-07-30
US61/859,884 2013-07-30
PCT/IB2014/062936 WO2015015341A1 (en) 2013-07-30 2014-07-08 Matching of findings between imaging data sets

Publications (3)

Publication Number Publication Date
JP2016525426A true JP2016525426A (ja) 2016-08-25
JP2016525426A5 JP2016525426A5 (ja) 2017-08-17
JP6230708B2 JP6230708B2 (ja) 2017-11-15

Family

ID=51539301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016530635A Expired - Fee Related JP6230708B2 (ja) 2013-07-30 2014-07-08 撮像データセットの間の所見のマッチング

Country Status (5)

Country Link
US (1) US10614335B2 (ja)
EP (1) EP3027107B1 (ja)
JP (1) JP6230708B2 (ja)
CN (1) CN105473059B (ja)
WO (1) WO2015015341A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787672B2 (en) 2004-11-04 2010-08-31 Dr Systems, Inc. Systems and methods for matching, naming, and displaying medical images
US9495604B1 (en) 2013-01-09 2016-11-15 D.R. Systems, Inc. Intelligent management of computerized advanced processing
JP6687393B2 (ja) * 2015-04-14 2020-04-22 キヤノンメディカルシステムズ株式会社 医用画像診断装置
JP7258846B2 (ja) * 2017-07-31 2023-04-17 コーニンクレッカ フィリップス エヌ ヴェ 限定的心エコー検査を選択すべき場合を決定するためのデバイス、システム、及び方法
US11344371B2 (en) 2018-10-19 2022-05-31 Canon U.S.A., Inc. Visualization of three-dimensional image data on a two-dimensional image
US10778916B2 (en) * 2018-10-24 2020-09-15 Honeywell International Inc. Applying an annotation to an image based on keypoints
DE102019211536A1 (de) * 2019-08-01 2021-02-04 Siemens Healthcare Gmbh Automatische Lokalisierung einer Struktur
US20220392080A1 (en) * 2021-06-03 2022-12-08 Electronics And Telecommunications Research Institute Apparatus and method for supporting attention test based on attention map and attention movement map

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0370381A (ja) * 1989-08-10 1991-03-26 Fuji Photo Film Co Ltd 画像表示装置
JP2006511859A (ja) * 2002-12-19 2006-04-06 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像の検索
US20060112334A1 (en) * 2004-11-22 2006-05-25 Serguei Endrikhovski Diagnostic system having gaze tracking
JP2007029248A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 比較読影支援装置及び画像処理プログラム
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
US20090132279A1 (en) * 2007-11-21 2009-05-21 General Electric Company Method and apparatus for significant and key image navigation
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381339B1 (en) 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
US7573439B2 (en) * 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US7747050B2 (en) 2005-11-23 2010-06-29 General Electric Company System and method for linking current and previous images based on anatomy
EP2042969A1 (en) * 2007-09-28 2009-04-01 Alcatel Lucent Method for determining user reaction with specific content of a displayed page.
WO2010051037A1 (en) * 2008-11-03 2010-05-06 Bruce Reiner Visually directed human-computer interaction for medical applications
CA2781753A1 (en) 2009-11-25 2011-06-03 David J. Vining Advanced multimedia structured reporting
US8311303B2 (en) * 2010-01-12 2012-11-13 Siemens Corporation Method and system for semantics driven image registration
KR20140024788A (ko) * 2010-09-20 2014-03-03 보드 오브 리전츠, 더 유니버시티 오브 텍사스 시스템 고급 멀티미디어 구조화 리포트
DE102013226244A1 (de) * 2013-12-17 2015-06-18 Siemens Aktiengesellschaft Medizintechnische Steuerung

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0370381A (ja) * 1989-08-10 1991-03-26 Fuji Photo Film Co Ltd 画像表示装置
JP2006511859A (ja) * 2002-12-19 2006-04-06 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像の検索
US20060112334A1 (en) * 2004-11-22 2006-05-25 Serguei Endrikhovski Diagnostic system having gaze tracking
JP2007029248A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 比較読影支援装置及び画像処理プログラム
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
WO2007138510A1 (en) * 2006-05-31 2007-12-06 Koninklijke Philips Electronics N.V. Controlling a viewing parameter
US20090132279A1 (en) * 2007-11-21 2009-05-21 General Electric Company Method and apparatus for significant and key image navigation

Also Published As

Publication number Publication date
US20160162745A1 (en) 2016-06-09
JP6230708B2 (ja) 2017-11-15
US10614335B2 (en) 2020-04-07
CN105473059A (zh) 2016-04-06
CN105473059B (zh) 2019-03-08
EP3027107A1 (en) 2016-06-08
WO2015015341A1 (en) 2015-02-05
EP3027107B1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6230708B2 (ja) 撮像データセットの間の所見のマッチング
US10565710B2 (en) Systems and user interfaces for determination of electro magnetically identified lesions as included in medical images of differing perspectives
US10275877B2 (en) Methods and systems for automatically determining diagnosis discrepancies for clinical images
JP6023189B2 (ja) 一連の調査の画像データ内における発見の解剖学的タグ付け
US11594002B2 (en) Overlay and manipulation of medical images in a virtual environment
JP6134315B2 (ja) 画像データにおける所見の解剖学的タグ付けの方法
JP6014059B2 (ja) 医療データの知的リンキング方法及びシステム
JP6198729B2 (ja) 解剖学的タグ付けを用いた臨床発見管理によって容易化された検査レビュー
US10916010B2 (en) Learning data creation support apparatus, learning data creation support method, and learning data creation support program
RU2699416C2 (ru) Идентификация аннотаций к описанию изображения
RU2589384C2 (ru) Временная диаграмма клинических состояний
US20130202169A1 (en) Method and apparatus for providing ultrasound image data
JP2012143368A (ja) 医用画像表示装置及びプログラム
WO2021103316A1 (zh) 图像目标区域的确定方法、装置和系统
JP5533198B2 (ja) 医用画像表示装置及びプログラム
CN112740285B (zh) 在虚拟环境中对医学图像的叠加和操纵

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170703

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170703

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R150 Certificate of patent or registration of utility model

Ref document number: 6230708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees