JP2016508242A - 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置 - Google Patents

第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置 Download PDF

Info

Publication number
JP2016508242A
JP2016508242A JP2015543221A JP2015543221A JP2016508242A JP 2016508242 A JP2016508242 A JP 2016508242A JP 2015543221 A JP2015543221 A JP 2015543221A JP 2015543221 A JP2015543221 A JP 2015543221A JP 2016508242 A JP2016508242 A JP 2016508242A
Authority
JP
Japan
Prior art keywords
image data
projection
rendering
rendering projection
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015543221A
Other languages
English (en)
Other versions
JP2016508242A5 (ja
JP6396310B2 (ja
Inventor
アンドレ ロベール シャンデリア フローラン
アンドレ ロベール シャンデリア フローラン
ベルナール パスカル ヴァンサン トマ
ベルナール パスカル ヴァンサン トマ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cadens Medical Imaging Inc
Original Assignee
Cadens Medical Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cadens Medical Imaging Inc filed Critical Cadens Medical Imaging Inc
Publication of JP2016508242A publication Critical patent/JP2016508242A/ja
Publication of JP2016508242A5 publication Critical patent/JP2016508242A5/ja
Application granted granted Critical
Publication of JP6396310B2 publication Critical patent/JP6396310B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/15Transmission-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025Tomosynthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Pulmonology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法および機器が開示され、方法は以下を含む:構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であること;および与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されることである。

Description

関連出願の相互参照
本特許出願は、2012年11月23日に出願した米国仮特許出願第61/729472号について優先権を主張するものであり、その明細書は参照によりここに組み込まれる。
分野
本発明はイメージングに関する。より正確には、本発明は第一レンダリング投影と第二レンダリング投影との間のトランジション(遷移)をユーザーに表示するための方法およびシステムに関する。
映像化技術の進歩により、医療用イメージングソリューションは診断の向上を目的とするより高度な視覚的サポートを医療従事者に提供してきた。走査画像収集技術が進化し、与えられた試験のために生成されるデータ量は増える一方である。
医療用イメージングソリューションは種々のグラフィカルユーザーインターフェース(GUI)を実装し、画像の形にレンダリング(描写)されるデータや、画像に融合させるデータを含む、ますます大きくなる画像データを医療従事者が検討するのをサポートし、画像データの検査をサポートしてきた。これらソリューションの目的は、最終診断を向上させるための相関または複合解析を提供することである。
データ検査の一形態は、走査装置(スキャナー)により提供される原情報であるシンスライス(thin slice)の形態、与えられた面に投影された複数のシンスライスの情報であるシックスライス(thick slice)の形態、および上記のいずれかの3D再構成の形態の、2D並びに3D情報の分析である。
グラフィカルユーザーインターフェースは、複数のビュー、2Dシンスライス、2Dシックスライス、および3D再構成ではあるが画像データのレンダリング投影(レンダードプロジェクション)のプレースホルダとして、複数のビューポートにより拡張されてきた。
医療従事者がこれらGUIビューポート全体の情報を相関させるのをサポートするために提供される一部のソリューションは、各ビューポートに非臨床情報をオーバーレイし、人間が与えられた関心領域を認識的に相関することを重視してきた。残念ながら、先行技術には多くの制限がまだ残っている。
例えば、現行の先行技術の方法の第一の制限は、医療従事者に表示される臨床情報に非臨床情報を導入すると、結局はレンダリング情報の臨床的に意味のある側面を隠してしまうということである。
現行の先行技術の方法の第二の制限は、医療従事者がそのようなオーバーレイを用いてそのような解剖学的相関を行うために必要とされる大量の非診断的な認識プロセスである。
現行の先行技術の方法の第三の制限は、それらが与えられたGUI内で複数のビューポートを使用する一方で、ユーザーが与えられた時間において固有のビューにのみインタラクションしフォーカスできるということである。そのため、検査や診断のために別々の画像データのレンダリング投影画像が要求される場合、ユーザーは視覚フォーカスを異なるビュー位置に変えなければならず、したがって視覚的一貫性を少しの間失ってしまう。その上、医療従事者に異なるフォーマットで医療用画像情報の検査をする方法を提供するためだけの画像化スペースの無駄がある。
現行の先行技術の方法の第四の制限は、前述の制限の組み合わせの結果として、映像化パラダイムを変更する場合、2Dシンスライス解剖学的平面間ではあるが、軸面投影から冠状面投影への変更など、医療従事者は一貫性のある関係を持たずに「出し抜け」な情報の再フォーマットを提示されるということである。これにより、操作者が前のフォーマットを現行のフォーマットと相関させるための大きな認識努力が必要とされる。
現行の先行技術の方法の第五の制限は、3D再構成が関与する場合に見られる。ほとんどの場合、与えられた面を見るだけで3D再構成の間に現れる種類の構造を予測するのは、たとえ複数のその視覚的表示を提示されたとしても、不可能ではなくとも困難であるということである。したがって、3D表示と2D表示の間には分離があり、それによりまた両方の情報を相関させるための認知努力が必要とされる。
その他の制限は、さらに根本的に異なるが、検査の過程で、操作者が2Dと3D情報とを混合する異なる画像の操作(ズームインやアウト、およびパニングなど)に誘導されるが、プロセスが開始した位置や状態に戻ることができないという事実である。これは操作者に全画像データを見たか常に問うことを強要する大きな制限である。
図1は、例として、3つの典型的な解剖学的平面である矢状面、軸面および冠状面と、それらの3D重ね合わせを表す。図1に示されるように、全画像の線の交差位置に注目点が提示される。3D表示の中心での交差位置は完全に隠されており、そのため臨床的に無意味である。本実施態様において、所望の情報を得るために、操作者は各解剖学的平面を順次に見る必要があることが理解されよう。
図2において、歯科インプラント検査での表示が示される。臨床的に意味のある深部構造の情報を得るために、断面図を含む4つの異なるビューが作製された。診断は画像を順次検査することによってのみ下される。
図3において、関心領域は色付きの線の交差位置である。複雑な解剖学的構造にとっては、そのような視覚的に非相関化された情報は処理するのが難しく、経験に基づく認識プロセスを必要とすることを熟練した読者なら理解するであろう。
図5において、グラフィカルユーザーインターフェースの選択がなされ、関連する解剖学的平面の各々がそれらの再構成と共に提供される。操作者がフォーカスを保持するのに役立てるために、青い矢印が3Dカメラの中心に相当する2D解剖学的平面上にオーバーレイされる。各画像が3Dに同期されていることを考慮すると、3Dで1ステップ動かすと、新しい2D画像のレンダリングが開始され、全画像が一度に動いてしまう。これは人間の視覚分析能力を考慮すると明らかに都合が悪い。
図6において、同様のアプリケーションの他のグラフィカルユーザーインターフェースが示される。このグラフィカルユーザーインターフェースでは、ダイナミクスライン(dynamics lines)は2D画像上にオーバーレイされ、3D再構成ビューと相関される。
図7において、2 3D情報の相関のために、別の種類の情報重畳が得られる。そのような色とオーバーレイは、所定の関心領域を診断する能力を変化させ、操作者に提供される最終視覚情報に関する非臨床情報を導入することがはっきりとわかる。
図8は解剖学的体軸平面が3Dビュー上の赤太線で表される別の例を示し、情報を相関させる際の操作者をサポートすることを唯一の目的として、非臨床情報を3Dビューに導入する。
図9は、機能情報のための他の先行技術のグラフィカルユーザーインターフェースを示す。
図10は、超音波装置からのデータを表示するための先行技術のグラフィカルユーザーインターフェースの別の例を示し、また上記に開示の制限の一部を示す。
それゆえに、上記で特定した欠点の少なくとも一つを克服する方法が必要である。
本発明の特徴を、以下の開示の検討、図面および発明の説明から明らかにする。
概略
一態様によれば、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法であって、構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であること;および与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影の一部との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データまでの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および最前記終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されることのための方法が開示される。
別の態様によれば、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステムがあり、システムは、表示装置;中央処理ユニット;第一画像データと第二画像データとを保存するためのデータベースおよび第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのアプリケーションが含まれるメモリを含み、アプリケーションには、構造を走査する対応3D走査装置によりそれぞれ生成される第一画像データと第二画像データとを得るための命令;与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示するための命令;ユーザーからのインプットを得るための命令であり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であるもの;与えられたウィンドウにおいて複数のビューを順に表示するための命令であり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記一部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、ならびに前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されるものが含まれる。
別の態様によれば、実行されるとき、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法を計算装置に行わせるコンピュータ実行命令を蓄えるための持続性コンピュータ可読記憶媒体が開示され、方法には、構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影を示し;与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記一部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、および前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されることが含まれる。
一実施態様によれば、少なくとも一つの3D走査装置はコンピュータ断層撮影(CT)走査装置、トモシンセシス(tomosynthesis)装置、磁気共鳴画像(MRI)装置、陽電子放出断層撮影(PET)装置および超音波装置からなる群より選ばれる。
一実施態様によれば、第一画像データの第一レンダリング投影は2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影(world projection)からなる群より選ばれる。
一実施態様によれば、最終レンダリング投影は2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる。
一実施態様によれば、第一画像データは、構造を走査する第一の3D走査装置により生成され、および前記第二画像データは、構造を走査する第二の3D走査装置により生成される。
一実施態様によれば、第一画像データおよび第二画像データは、構造を走査する単一の3D走査装置により生成される。
一実施態様によれば、第一画像データおよび第二画像データは同じである。
一実施態様によれば、ユーザーからのインプットを得ることには、キーボードおよびマウスの少なくとも一方からインプットを得ることが含まれる。
一実施態様によれば、与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示することはタッチスクリーンディスプレイ上で行われ、およびユーザーからのインプットを得ることには、前記タッチスクリーンディスプレイでの指を使ったジェスチャーを検出することが含まれる。
一実施態様によれば、第一画像データと第二画像データとを得ることには、構造を走査する3D走査装置から第一画像データと第二画像データとを得ることが含まれる。
一実施態様によれば、第一画像データと第二画像データとを得ることには、メモリから第一画像データと第二画像データとを回収することが含まれる。
一実施態様によれば、ユーザーからのインプットを得ることには、与えられたビューにおいて関心領域で行うために第二画像データの一部分の最終レンダリング投影の指示とズームの指示とを得ることが含まれ、および方法が与えられたビュー内で複数のズームビューを生成することが含まれ、さらに与えられたウィンドウにおいて複数のビューには、生成された複数のズームビューが含まれる。
一実施態様によれば、システムは中央処理ユニットに動作可能なように接続された通信ポートをさらに含み、接続ポートは、システムを、構造を走査する遠隔3D走査装置に動作可能なように接続するためのものである。
一実施態様によれば、通信ポートは、構造を走査する遠隔3D走査装置にデータネットワークを介して動作可能なように接続される。
一実施態様によれば、データネットワークはローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)およびワイドエリアネットワーク(WAN)からなる群より選ばれる。
一実施態様によれば、データネットワークにはインターネットが含まれる。
一実施態様によれば、表示装置はタッチスクリーンディスプレイであり、およびユーザーのインプットの少なくとも一部分はタッチスクリーンディスプレイから得られる。
一実施態様によれば、複数のビューの少なくとも一つにはさらに、関連付けられたレンダリング投影およびユーザーからのインプットの少なくとも一方に関連付けられる表示された視覚情報が含まれる。
一実施態様によれば、ユーザーからのインプットにはさらに、第一画像データにおける位置特性データが含まれ、さらに位置特性データは後のビューのためのレンダリング投影に関連付けられるレンダリングパラメーターを定めるために使用される。
一実施態様によれば、ユーザーからのインプットには、実行するセグメンテーション(領域分割)に関連付けられる情報が含まれ、および与えられたウィンドウにおいて複数のビューを順に表示することには、複数のビューの少なくとも一つを表示する前にセグメンテーションを行うことが含まれる。
本発明が容易に理解されるよう、本発明の実施態様を添付図面に例として示す。
先行技術のユーザーインターフェイスの第一の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第二の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第三の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第四の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第五の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第六の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第七の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第八の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第九の実施態様を表すスクリーンショットである。 先行技術のユーザーインターフェイスの第十の実施態様を表すスクリーンショットである。 最初の2Dシック軸面投影画像を表すスクリーンショットである。 図11中の印のついた領域に相当する、ズームされた関心領域を表すスクリーンショットである。 最終2Dシック冠状面投影画像を表すスクリーンショットである。 最初の2Dシック軸面投影画像を表すスクリーンショットである。 図14に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図15に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図16に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 ズームされた画像データの一部分の所望の最終2Dシック軸面投影画像を表すスクリーンショットである。 ズームされた最初の2Dシック軸面投影画像を表すスクリーンショットである。 図19に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図20に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図21に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図22に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図23に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図24に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図13に示すビューに相当する所望の最終2Dシック冠状面投影画像を表すスクリーンショットである。 最初の2Dシック軸面投影画像を表すスクリーンショットである。 図27に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図28に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステムの、画像データを表示するための方法を提供する一実施態様を表すブロック図である。 第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法の、画像データを表示するための方法を提供する第一の実施態様を表すフローチャートである。 第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法の実施態様が示される。 所望の最終3Dレンダリング投影画像を表すスクリーンショットである。 図33に示すビューに類似のビューを表すスクリーンショットである。 図34に示すビューの後に経時的に続く複数のビューの連続ビューを表すスクリーンショットである。 図35に示すビューの後に経時的に続く複数のビューの連続ビューの一つを表すスクリーンショットである。 図36に示すビューの後に経時的に続く複数のビューの連続ビューの一つを表すスクリーンショットである。 画像データの2Dシック冠状面レンダリング投影画像に対する画像データの一部分の最終レンダリング投影画像を表すスクリーンショットである。
本発明の更なる詳細およびその利点を、下記に記載の発明を実施するための形態から明らかにする。
実施態様の以下の説明において、添付図面の参照は本発明が実行され得る例を例示するものである。
用語
「発明」などの用語は、別段の指定が明確にない限り、「本出願において開示される一またはそれよりも多くの発明」を意味する。
「態様」、「実施態様」、「実施態様」、「実施態様群」、「その実施態様」、「その実施態様群」、「一またはそれよりも多くの実施態様」、「いくらかの実施態様」、「一定の実施態様群」、「一実施態様」、「別の実施態様」などの用語は、別段の指定が明確にない限り、「開示された発明(群)の、一またはそれよりも多くの(しかし全てではない)実施態様」を意味する。
実施態様の説明における「別の実施態様」または「別の態様」への言及は、別段の指定が明確にない限り、参照実施態様が別の実施態様(例は、参照実施態様の前に記載の実施態様)と相互に排他的であることを暗示するものではない。
「を含む」、「を包含する」という用語およびその変形は、別段の指定が明確にない限り、「を含むがこれらに限定されない」という意味である。
「ある(a)」、「ある(an)(母音等の前の不定冠詞)」および「その」という用語は、別段の指定が明確にない限り、「一またはそれよりも多くの」という意味である。
「複数」という用語は「二またはそれよりも多くの」という意味である。
「ここに」という用語は、別段の指定が明確にない限り、「参照により組み込まれ得る任意のものを含む本出願中において」という意味である。
「それによって」という用語は、前に明記されたものの意図した結果、目的若しくは結果のみを表す句またはその他の言葉のセットの前に置くためにのみ本明細書で使用される。したがって、「それによって」という用語が請求項において使用される場合、「それによって」という用語が修飾する句またはその他の言葉のセットは、請求項の具体的な更なる制限を設けることはなく、またはそうでなくとも請求項の意味や範囲を限定しない。
「例は(e.g).」という用語および類似の用語は「例えば(for example)」を意味し、したがってそれらが説明する用語や句を制限しない。例えば、「コンピュータはインターネットを通じてデータ(例は、命令、データ構造)を送信する」という文章中、「例は」という用語は、「命令」はコンピュータがインターネットを通じて送信し得る「データ」の一例であることを説明し、および「データ構造」もまたコンピュータがインターネットを通じて送信し得る「データ」の一例であることを説明している。しかしながら、「命令」および「データ構造」の両方とも「データ」の単なる例であり、「命令」および「データ構造」以外の他のものも「データ」であり得る。
「即ち(i.e.)」という用語および類似の用語は「すなわち(that is)」を意味し、したがってそれらが説明する用語や句を制限する。例えば、「コンピュータはインターネットを通じてデータ(即ち、命令)を送信する」という文章中、「即ち」という用語は、「命令」がコンピュータによってインターネットを通じて送信される「データ」であることを説明している。
「画像データ」という用語および類似の用語は、画像データを構成する単位画像要素、例えば画素および3D画素、並びに画像データの単位デジタル要素を構成する「一次物質」を意味し、走査技術(CT、MRI、X線、超音波)により得られる情報に関する。
「構造」という用語および類似の用語は、スクリーンにレンダリングされた際に、操作者に一貫性のある情報を視覚的に示す、解剖学的臓器、組織、癌の中の画像データの少なくとも一部分を構成する関心領域を意味する。
「投影」という用語および類似の用語は、例えば3D表面レンダリング、3Dボリュームレンダリング、2Dスラブレンダリング、2D体軸スライスレンダリング、2D矢状レンダリング、2D冠状面レンダリング、2D斜面レンダリング、および2D多平面再構成などの、所望の視覚的および次元での透視図法からの与えられたビューポイントでの、画像データの少なくとも一部分のレンダリングに関わる数学的プロセスを意味する。
「ユーザー」、「操作者」および類似の用語は、第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するためのシステムとやりとりする人間を意味する。操作者はシステムとやりとりするための適切なスキルを有することが理解されよう。構造が人体の一部で一実施態様において、ユーザーは放射線科医であり得る。
名称と要約のどちらも、開示された発明(群)の範囲を制限するものと決して解釈されるべきではない。本出願の名称および本出願で提供される節の見出しは単に便宜上のもので、本開示を制限するものと決して解釈されるべきではない。
多くの実施態様が本出願に記載されており、例示の目的のためにのみ提示されている。記載される実施態様は、いかなる意味においても限定的ではなく、および限定的であることを意図するものではない。本明細書で開示される発明(群)は、本開示から容易に明らかなように、多くの実施態様に広く適用可能である。開示された発明(群)が、構造的および論理的修正などの種々の修正と変更とを加えて実施できることを熟練した読者は理解するであろう。開示された本発明(群)の特定の特徴は、一またはそれよりも多くの特定の実施態様および/または図面を参照にして説明され得るが、そのような特徴は、別段の指定が明確にない限り、それらが記載されている参照した一またはそれよりも多くの特定の実施態様および/または図面においての使用に限定されるものではないことは理解されるべきである。
持続性コンピュータ可読記憶媒体などのコンピュータ可読媒体を、メソッド、システムとして含む多くの方法で本発明が実施され得ることが理解されよう。本明細書において、これらの実装、または本発明がとり得る他のどのような形態でも、システムまたは技術と称することができる。タスクを実行するように構成されていると表される、プロセッサーやメモリなどの構成要素は、与えられた時間にタスクを実行するように一時的に構成された汎用構成要素、またはタスクを実行するように製造された特定の構成要素の両方を含む。
これらを踏まえ、本発明は、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するメソッド、システム、およびコンピュータプログラムプロダクトを対象にする。
次に図11に関して、肺(操作者によって関心領域とみなされた構造として)を表し、および印のついた領域100内の結節を提示する画像データの与えられたスライスで得られた最初の2Dシック軸面投影画像(6つの2Dシン軸面投影原画像の最大値投影)が示される。
次に図12に関して、2Dシック軸面投影の図11で示される印のついた領域100に相当する、ズームされた関心領域を表す。結節102が見られる(操作者によって次の関心領域とみなされた別の構造として)。
ある時点でユーザーは、放射線科医または操作者とも称されるが、ユーザーインターフェイス上でクリックすることを判断でき、例えば軸面投影から冠状面投影へなど、投影の解剖学的方向を切り替えることができると理解されよう。
図13に示されるように、最終2Dシック冠状面投影画像(等価厚)は、画像データを結節102の位置で再スライスし、その厚さに沿って画像データ要素強度の蓄積をレンダリングすることで得られる。
操作者がクリックする直前、解剖学的方向は軸面であったが、直後に解剖学的方向は冠状面になったことが理解されよう。方向の変更は、このように突然であり視覚的混乱を伴う。
この突然の解剖学的方向の変更により、および結節102は最終レンダリング投影画像の中心にとどまっているが、視覚的に類似した多くの構造が、視覚的説明なしで表示される。
この状況では、2Dシック冠状面投影モードの画像データをスクロールし、情報を最初の2Dシック軸面投影画像の情報と頭の中で関連付けることにより、結節102の周りに3D環境を再構成する認識作業を行うための放射線科医の専門知識が必要とされる。
図14に関して、図11に示される先行技術のそれに相当する最初の2Dシック軸面投影画像が示される。
本実施態様において、ユーザーは結節102にインプットを提供することができる。
実際、ユーザーにより提供されるインプットは、画像データの与えられた部分(操作者が目的とする構造を調査する関心領域)のズームの希望を示すものであってもよく、この場合画像データの一部分は結節102を含む。
ユーザーにより提供されるインプットは、様々な種類のものであり得ることを熟練した読者なら理解するであろう。実際、一実施態様において、インプットはマウスおよびキーボードとの少なくとも一回のインタラクションを含むことができる。
あるいは、インタラクションは他のインプット/アウトプット装置を介して実施されてもよい。さらに別の実施態様において、インタラクションはインプット/アウトプット装置と、画像データ内のユーザーインプット位置、現行の投影状態などに起因するインタラクティブなグラフィカルユーザー要素との組み合わせを介して実施されてもよい。
一実施態様において、ユーザーにより提供されるインプットは、表示された画像内のズームされるべき与えられた位置で、マウスを使用して行われるダブルクリックを含む。この特定の場合、画像内の与えられた位置は結節102が表示された位置である。別の実施態様において、ユーザーにより提供されるインプットは、結節などの構造を示すことができ、したがってそのような構造のリアルタイムでのセグメンテーションのための情報を提供して関連する関心領域を動的に決定し、特定の関心領域上でのズーム比の動的決定が可能になり、操作者はインプットによって設計された指定の構造を視覚的に調査できる。
別の実施態様において、ズームは、ユーザーにより提供されるインプットの周りのデフォルトの関心領域サイズである。
ユーザーにより提供されるインプットに次いで、および以下にさらに示すように、複数のビューの連続を含むトランジションは、最初の2Dシック軸面投影画像化から始まり、そして画像内の与えられた位置を中心とする画像データの一部分の周りの与えられたズーム比になると停止する。
トランジションの開始は図14で示され、一方トランジションの停止または終了は図18で示されている。複数のビューの少なくとも一つは、関連付けられたレンダリング投影およびユーザーからのインプットの少なくとも一方に関連付けられる表示された視覚情報を含むことができると理解されよう。
図15は、図14に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
伝統的な透視レイキャスティングにおいて、投影ビューが3Dボリュームレンダリングを含むため、わずかではあるがレンダリング投影は前のレンダリング投影とは異なるが、5度にまで狭くなった視野のおかげで、層はほぼ平行となり、このように画像データの一部分の2Dレンダリング投影ビューをフェイクすることを熟練した読者なら理解するであろう。
図16は、図15に示すビューの後に経時的にユーザーに表示される複数のビューの他の連続ビューを示す。
従来の透視レイキャスティングにおいて、投影ビューが3Dボリュームレンダリングを含むため、わずかではあるがレンダリング投影は前のレンダリング投影とは異なるが、5度にまで狭くなった視野のおかげで、層はほぼ平行となり、このように画像データの一部分の2Dレンダリング投影ビューをフェイクすることが理解されよう。
図17は、図16に示すビューの後に経時的にユーザーに表示される複数のビューの他の連続ビューを示す。
次に図18に関して、画像内の与えられた位置でズームされ、および画像内の与えられた位置を中心とする画像データの一部分の所望の最終2Dシック軸面投影画像を表す。
図19に示されるビューは図18に示されるそれと類似ではあるが、今ではズームされた最初の2Dシック軸面投影画像と見なされる。
実際、図19で示される結節102上で、または他の位置で、ユーザーによりインプットがさらに提供され得ることが理解されよう。
実際、ユーザーにより提供されるインプットは、様々な種類のものであり得ることが理解されよう。一実施態様において、インプットはマウスおよびキーボードとの少なくとも一回のインタラクションを含むことができる。
あるいは、インタラクションは他のインプット/アウトプット装置を介して実施されてもよい。さらに別の実施態様において、インタラクションはインプット/アウトプット装置と、画像データ内のユーザーインプット位置、現行の投影状態などに起因するインタラクティブなグラフィカルユーザー要素との組み合わせを介して実施されてもよい。
一実施態様において、ユーザーにより提供されるインプットは、表示された画像内の与えられた位置で、マウスを使用して行われるクリックを含む。この特定の場合、画像内の与えられた位置は結節102が表示された位置である。
この場合、ユーザーにより提供されるインプットは、画像データの一部分で軸面レンダリング投影から冠状面レンダリング投影へのレンダリング投影の解剖学的方向の修正の希望を示すものであってもよいことが理解されよう。
ユーザーにより提供されるインプットに次いで、および以下にさらに示すように、複数のビューの連続を含むトランジションは、ズームされた最初の2Dシック軸面レンダリング投影画像から始まり、そして与えられた位置を中心とする画像データの一部分の2Dシック冠状面レンダリング投影画像で停止する。
トランジションの開始は図19で示され、一方トランジションの停止または終了は図26で示されていることが理解されよう。
図20は、図19に示す前のビューの後に経時的に続く複数のビューの連続ビューの一つを示す。
現行のレンダリング投影は、図19に示す前のレンダリング投影とは異なることが理解されよう。
ユーザーは結節102とその周囲とを、この現行のレンダリング投影および別の中間解剖学的方向(intermediary anatomical orientations)を通して継続的に可視化することができることも熟練した読者なら理解するであろう。中間解剖学的方向のレンダリングは画像データの少なくとも一部分から得られ、コンピュータ処理の情報が画像データと関連がなく、および視覚画像の連続性(ユーザーに画像データとは関連のない情報を提供して)を唯一の目的とするために設計されるような一部の先行技術の方法とは対照的であることも熟練した読者なら理解するであろう。
そのため、結果としての視覚的情報の連続性のおかげで、ユーザーは表示された情報を解釈するための実質的な認識努力を必要としないことを熟練した読者なら理解するであろう。そのため、結節102およびその周囲は容易に区別できる。
図21は、図20に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
図22は、図21に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
図23は、図22に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
図24は、図23に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
図25は、図24に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
図26は、図13に示される先行技術のそれに相当する、所望の最終2Dシック冠状面レンダリング投影画像を示すビューを表す。
レンダリング投影画像の異なる解剖学的方向への突然のレンダリングが原因の「視覚的不意打ち(visual surprise)」の表示を防ぐことにより、ユーザーは画像データの一部分の特定要素の性質を容易に評価することができ、これは大きな利点であることを熟練した読者なら理解するであろう。
より正確には、および本明細書に示される場合、放射線科医は複数のビューが順に表示されることから、画像データの一部分の特定要素が円形であり、細長くなっている解剖学的方向がないので、結節の存在を推測できると容易に判断できる。
そのような判断は、図12および図13で開示の先行技術を使用しては不可能であったであろう。次に図27に関して、図18に示すビューに類似のビューを表す。より正確には、このビューは最初の2Dシック軸面投影画像である。
本実施態様において、ユーザーは結節102にインプットを提供することができる。
実際、ユーザーにより提供されるインプットは、画像データの一部上で最初の軸面レンダリング投影から3Dボリュームレンダリング投影へのレンダリング投影の修正の希望を示すものであってもよい。
ユーザーにより提供されるインプットは、様々な種類のものであり得ることを熟練した読者なら理解するであろう。実際、一実施態様において、インプットはマウスおよびキーボードとの少なくとも一回のインタラクションを含むことができる。
あるいは、インタラクションは他のインプット/アウトプット装置を介して実施されてもよい。さらに別の実施態様において、インタラクションはインプット/アウトプット装置と、画像データ内のユーザーインプット位置、現行の投影状態などに起因するインタラクティブなグラフィカルユーザー要素との組み合わせを介して実施されてもよい。
一実施態様において、ユーザーにより提供されるインプットは、表示された画像内の与えられた位置で、マウスを使用して行われるクリック・アンド・ドラッグを含む。この特定の場合、画像内の与えられた位置は結節102が表示された位置である。
本実施態様において、ユーザーにより結節102上で提供されるインプットは、画像データの一部分で、最初のレンダリング投影を軸面レンダリング投影から3Dボリュームレンダリング投影へとする、レンダリング投影の修正の希望を示すものであってもよい。
さらに別の実施態様において、ユーザーの関心領域の位置を示すことに加え、ユーザーインプットは、類似の画像データ特性を特徴とする画像データ要素のインタラクティブな決定を、インプット位置の周囲のそれよりも容易にすることができる(例は、前述のインタラクティブセグメンテーション)。そのような場合、ユーザーからのインプットは実行するセグメンテーションに関連付けられた情報を含み、および与えられたウィンドウにおいて複数のビューを順に表示することが、複数のビューの少なくとも一つを表示する前にセグメンテーションを行うことを含む。
さらに別の実施態様において、ユーザーの関心領域の位置を示すことに加え、ユーザーからのインプットは、ボクセル強度などの画像データ要素により表されるように構造の特性を示す位置特性データを含むことができる。位置特性データは、3Dレンダリングに関わるその後のビュー〔IEEE Transaction on Visualization and Computer Graphics(IEEEトランスアクション・オン・ビジュアライゼーション・アンド・コンピュータ・グラフィックス)、第8巻、第3号、2002年7月、第270頁〜285頁、Multidimensional Transfer Functions for Interactive Volume Rendering(相互作用体積レンダリングのための多次元伝達関数)を参照〕のためのレンダリング投影に関連付けられるレンダリングパラメーター(リアルタイム3D伝達関数決定のための)を決定するために使用されうる。位置特性データはその後のビューのためのレンダリング投影に関連付けられるレンダリングパラメーターを定めるために使用され得る。
これは、ズームされた最初の2Dシック軸面投影画像で始まり、および与えられた位置を中心とする画像データの一部分の3Dボリュームレンダリング投影画像で終了する複数のビューの連続のトランジションの開始に続く。
トランジションの開始は図27で示され、一方トランジションの停止または終了は図33で示されていることが理解されよう。
図28は、図27に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューを示す。
現行のレンダリング投影は、図27に示す前のレンダリング投影とは異なることを熟練した読者なら理解するであろう。
ユーザーは結節102とその周囲とを、この現行のレンダリング投影および別の中間解剖学的方向を通して継続的に可視化することができることを熟練した読者なら理解するであろう。
結果としての視覚的情報の連続性のおかげで、ユーザーは表示された情報を解釈するための実質的な認識努力を必要としないことも熟練した読者なら理解するであろう。結節102およびその周囲は容易に区別できる。
次に図29に関して、図28に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューが示される。
特に、このビューは、前の図28のビューに類似しているが同じではないレンダリング投影を、画像データの一部分の状況の3Dボリュームレンダリング投影画像ビューと与えられた位置の周りで結合させる。
この現行のレンダリング投影を通して、ユーザーは結節102とその周囲とを継続的に可視化することができることと、さらに2D情報を、生成している3D構造と視覚的に相関することができることを、熟練した読者なら理解するであろう。
次に図30に関して、図29に示すビューの後に経時的にユーザーに表示される複数のビューの連続ビューが示される。
特に、このビューは、図29に示す前のビューに類似しているが同じではないレンダリング投影を、画像データの一部分の状況の3Dボリュームレンダリング投影画像ビューと与えられた位置の周りで結合させる。
図29と比較して、図29に示す前のビューの一つに類似のレンダリング投影の3Dボリュームレンダリング投影との組み合わせは、前のビューよりも3Dボリュームレンダリング投影画像を強化し、ユーザーが所望する最終3Dボリュームレンダリング投影画像に連続的に近づくようにすることを熟練した読者なら理解するであろう。
次に図33に関して、所望の最終3Dボリュームレンダリング投影画像が示される。
結節102の周囲の複雑な3D構造の突然の生成が原因の「視覚的不意打ち」の表示を防ぐことにより、ユーザーは画像データの一部分の要素の性質を容易に評価することが可能であることを熟練した読者なら理解するであろう。
より正確には、3D環境内で提供された情報の性質のおかげで、複数のビューの連続から、画像データの一部分の特定要素が円形であり、そのため結節の存在を推測できると放射線科医が容易に判断できる通りである。
図34に示されるビューは図33に示されるビューに類似であるが、今では最初の3Dレンダリング投影画像と見なされる。
実際、インプットはユーザーにより提供され得ることが理解されよう。
ユーザーにより提供されるインプットは、様々な種類のものであり得ることを熟練した読者なら理解するであろう。実際、一実施態様において、インプットはマウスおよびキーボードとの少なくとも一回のインタラクションを含むことができる。
あるいは、インタラクションは他のインプット/アウトプット装置を介して実施されてもよい。さらに別の実施態様において、インタラクションはインプット/アウトプット装置と、画像データ内のユーザーインプット位置、現行の投影状態などに起因するインタラクティブなグラフィカルユーザー要素との組み合わせを介して実施されてもよい。
実際、この場合、ユーザーにより提供されるインプットは、画像データの現在の部分の位置を、画像データの2Dシック冠状面レンダリング投影に対して空間的に決定することの希望を示すものであってもよいことが理解されよう。
具体的には、放射線科医にとって、これは、患者の経過観察中の異なる肺検査間での関心領域を相関させるためによく使用される肺門との解剖学的および空間的相関を提供し、調査中のある領域が、別の時間に3D走査装置により生成された別々の画像データの他の領域に相当することを実証する。
ユーザーにより提供されるインプットの後に、さらに以下に示されるように、複数のビューの連続のトランジションは最初の3Dボリュームレンダリング投影画像から始まり、画像データの2Dシック冠状面レンダリング投影と組み合わさった画像データの一部分の3Dボリュームレンダリング投影画像で停止する。
トランジションの開始は図34に示され、一方トランジションの終了または停止は図38に示される。
次に図35に関して、図34に示すビューの後に経時的に表示される複数のビューの連続ビューが示される。
現行のレンダリング投影は、3Dボリュームレンダリング投影画像と2Dシックレンダリング投影ともに、前の図34のレンダリング投影とは異なることを熟練した読者なら理解するであろう。
この現行のレンダリング投影を通して、ユーザーは画像データの一部分とその周囲とを、別の中間解剖学的方向で継続的に可視化することができる。
結果としての視覚的情報の連続性のおかげで、ユーザーは表示された情報を解釈するための実質的な認識努力を必要としないことが理解されよう。
次に図36に関して、図35に示すビューの後に経時的に表示される複数のビューの連続ビューが示される。
現行のレンダリング投影は、3Dボリュームレンダリング投影画像と2Dシックレンダリング投影ともに、前の図35のレンダリング投影とは異なることを熟練した読者なら理解するであろう。
この現行のレンダリング投影を通して、ユーザーは画像データの一部分とその周囲とを、別の中間解剖学的方向で継続的に可視化することができる。
再度、結果としての視覚的情報の連続性のおかげで、ユーザーは表示された情報を解釈するための実質的な認識努力を必要としないことが理解されよう。
次に図37に関して、図36に示すビューの後に経時的に表示される複数のビューの連続ビューが示される。
現行のレンダリング投影は、3Dボリュームレンダリング投影画像と2Dシックレンダリング投影ともに、図36に示される前のレンダリング投影とは異なることを熟練した読者なら理解するであろう。
この現行のレンダリング投影を通して、ユーザーは画像データの一部分とその周囲とを、別の中間解剖学的方向で継続的に可視化することができることが理解されよう。
次に図38に関して、画像データの2Dシック冠状面レンダリング投影画像に対する画像データの一部分の最終レンダリング投影画像が示される。
画像データ全体の突然の生成が原因の「視覚的不意打ち」の表示を防ぐことにより、ユーザーは画像データの一部分の位置を容易に評価することができることを熟練した読者なら理解するであろう。
次に図31に関して、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステムの一実施態様が示される。
本実施態様において、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステム3100は中央処理ユニット(CPU)3102、表示装置3104、インプット装置3106、通信ポート3108、データバス3110、およびメモリ3112を含む。
中央処理ユニット(CPU)3102、表示装置3104、インプット装置3106、通信ポート3108、およびメモリ3112は、データバス3110を介して動作可能なように相互接続している。
表示装置3104はユーザーにデータを表示するために使用される。
表示装置3104は様々な種類のものであり得ることを熟練した読者なら理解するであろう。
一実施態様において、表示装置3104は標準的な液晶ディスプレイ(LCD)である。
インプット装置3106は、ユーザーがインプットを提供できるようにするために使用される。インプットは、インプット装置により様々な種類のものであり得る。
一実施態様において、インプット装置3106はキーボードとマウスとを含む。
様々な実施態様が表示装置3106として可能であることを、熟練した読者なら理解するであろう。
例えば、一実施態様において、インプット装置3106は表示装置3104と統合されタッチスクリーンディスプレイを形成することができ、その結果ユーザーが表示装置3104のスクリーンでの指を使ったジェスチャーを使用してそのインプットの少なくとも一部分を提供することが理解されよう。
通信ポート3108は、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステム3100および遠隔処理ユニットの間でデータを共有するために使用される。
より正確には、通信ポート3108は3D走査装置と通信するために使用されることが理解されよう。
より正確には、通信ポート3108は第一の3D走査装置に動作可能なように接続された第1通信ポートを含み得る。通信ポート3108は第二の3D走査装置に動作可能なように接続された第2通信ポートを含み得る。
第1および第二の3D走査装置への通信は、データネットワークを介して行われることが理解されよう。
一実施態様において、データネットワークはローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)およびワイドエリアネットワーク(WAN)の少なくとも一つを含み得る。
一実施態様において、データネットワークにはインターネットが含まれる。
中央処理ユニット(CPU)3102は様々な種類のものであり得ることが理解されよう。
実際、画像データを表示するシステム3100の仕様は、最も基本的なコンピュータから高度なサーバーまでの多岐にわたることを熟練した読者なら理解するであろう。
メモリ3112はデータを蓄えるために使用される。
メモリ3112は様々な種類のものであり得ることを熟練した読者なら理解するであろう。
より正確には、および一実施態様において、メモリ3112はオペレーティングシステムモジュール3114、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのアプリケーション3116および画像データを蓄えるためのデータベース3118を含む。
一実施態様において、オペレーティングシステムモジュール3114はMicrosoft(TM)(トレードマーク)により提供される。
あるいは、オペレーティングシステム3114は、Apple (TM)製のOS X、Linux等からなる群より選ばれる。
さらに一実施態様において、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するアプリケーション3116は、同じ構造を走査する対応3D走査装置によりそれぞれ生成される第一画像データと第二画像データとを得るための命令を含む。一実施態様において、スキャン取得は同時に対応3D走査装置により行われ、例えばPET/CT技術などが使用されることが理解されよう。別の実施態様において、スキャン取得は別の時間に対応3D走査装置により行われ、例えば治療に対する肺患者反応の評価のためのCTスキャン経過観察などが使用されることも理解されよう。一実施態様において、第一画像データおよび第二画像データは、通信ポート3108を介して対応3D走査装置から直接得られることが理解されよう。別の実施態様において、第一画像データおよび第二画像データはメモリ3118から得られる。
第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するアプリケーション3116は、与えられたウィンドウにおいて第一画像データの第一レンダリング投影に対応する第一ビューを表示するための命令をさらに含む。第一ビューは表示装置3104の与えられたウィンドウ内に表示されることが理解されよう。
第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するアプリケーション3116は、ユーザーからのインプットを得るための命令をさらに含み、インプットは第二画像データの一部分の最終レンダリング投影を示す。一実施態様において、ユーザーからのインプットは、レンダリングの前の第1および第二画像データを形態学的にフィッティングすることを可能にする必要な空間変換の決定のための情報を提供することが理解されよう〔例は、Journal of Applied Clinical Medical Physics(ジャーナル・オブ・アプライド・クリニカル・メディカル・フィジックス)、第14巻、第1号、2013年;Registration of PET and CT images based on multiresolution gradient of mutual information demons algorithm for positioning esophageal cancer patients(食道癌ペイシェントを位置調節するための相互情報デーモンアルゴリズムの多重解像度グラジエントに基づくPETおよびCTの記録)に詳述の方法を使用〕。
第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するアプリケーション3116は、表示装置の与えられたウィンドウにおいて複数のビューを順に表示するための命令をさらに含み、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応する。
複数のレンダリング投影が、第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定される。
トランジションは第一画像データから第二画像データの一部分までの構造の一続きの情報の連続表示を可能にする。少なくとも第一レンダリング投影および最終レンダリング投影は異なる空間的配置に応じて規定されることが理解されよう。一実施態様において、第一画像データおよび第二画像データは異なる3D走査装置により生成されることが理解されよう。別の実施態様において、第一画像データおよび第二画像データは同様の3D走査装置により、しかし異なる時点で生成されることが理解されよう。
画像データを蓄えるためのデータベース3118は、第一画像データおよび第二画像データをさらに含む。
画像データは、熟練した読者に知られているような種々の実施態様に従って格納され得ることが理解されよう。
また、持続性コンピュータ可読記憶媒体が、コンピュータ実行命令を蓄えるために提供され得ることを理解されたい。そのようなコンピュータ実行命令は、実行された際に、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法を計算装置に行わせ、方法は、
構造を走査する対応3D走査装置によりそれぞれ生成される第一画像データと第二画像データとを得ること;
与えられたウィンドウにおいて第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;
ユーザーからのインプットを得ることであり、インプットは第二画像データの一部分の最終レンダリング投影の指示であること;
与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、第一画像データから第二画像データの一部分までの構造の一続きの情報の連続表示を可能にし、さらに第一レンダリング投影および最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、ならびに第一画像データおよび第二画像データは異なる3D走査装置により生成されること
を含む。
次に図32に関して、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法の実施態様が示される。
処理段階3200に従い、画像が入手される。画像データの入手が第一画像データと第二画像データとを得ることを含むことが理解されよう。
一実施態様において、構造を走査する対応3D走査装置により第一画像データおよび第二画像データのそれぞれが生成される。
別の実施態様において、第一画像データおよび第二画像データは、構造を走査する単一の3D走査装置により生成される。
実施態様において、3D走査装置はコンピュータ断層撮影(CT)走査装置、トモシンセシス装置、磁気共鳴画像(MRI)装置、陽電子放出断層撮影(PET)装置および超音波装置の少なくとも一つからなる群より選ばれることが理解されよう。
代わりの実施態様において、前記第一画像データと前記第二画像データとを得ることが、画像データを蓄えるためのデータベースから前記第一画像データと前記第二画像データとを得ることを含む。
構造は、それ自体が物体であり、例えば生物学的構造(器官)若しくは物理的構造(例は、構成要素)であることができ、またはそれら物体の特性であり、例えば与えられた器官活動の機能的表示若しくは一定の制約の下での構成要素の機能的挙動であることができる、有体物または無体物であり得ることが理解されよう。
非限定的な例により、構造は脳または脳活動の表示、およびロッドまたはロッドの弾力性の表示のいずれかであることができる。
前例の更なる非限定的な例示により、脳などの構造は磁気共鳴画像(MRI)装置を使用して3Dで走査されることができ、一方脳活動は陽電子放出断層撮影(PET)装置を使用して3Dで走査されることができる。
処理段階3202に従い、第一画像データの第一レンダリング投影に対応する第一ビューが与えられたウィンドウ内に表示される。
第一画像データの第一レンダリング投影は、上述の通り様々な種類のものであり得ることが理解されよう。
実際、一実施態様において、第一画像データの第一レンダリング投影は2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる。
一実施態様において、与えられたウィンドウは、ユーザーの表示部に表示されるグラフィカルユーザーインターフェース(GUI)に含まれることが理解されよう。
あるいは、与えられたウィンドウは、画像データを表示するための再生装置である。
処理段階3204に従い、ユーザーからインプットが得られる。インプットは第二画像データの一部分の最終レンダリング投影を示す。
第二画像データの一部分の最終レンダリング投影は、上述の通り様々な種類のものであり得ることが理解されよう。
実際、一実施態様において、第二画像データの一部分の最終レンダリング投影は2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる。
インプットは、種々の実施態様に従ってユーザーにより提供され得ることを熟練した読者なら理解するであろう。
一実施態様において、インプットは、ユーザーと与えられたウィンドウとのインタラクションを使用して提供される。実際、インプットは、マウスおよびキーボードの少なくとも一つを使用して提供され得る。
別の実施態様において、インタラクションは、医療用途の場合に検査中に使用される医療装置を介して検出され得る。そのような実施態様において、医療装置は、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための機器に接続された内視鏡であり得る。
処理段階3206に従い、複数のビューが与えられたウィンドウ内に順次に表示される。
一実施態様において、与えられたウィンドウにおいて第一画像データの第一レンダリング投影に対応する第一ビューを表示することは、タッチスクリーンディスプレイ上で行われることが理解されよう。
複数のビューの各ビューは、第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応する。
複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定される。
その上、トランジションは第一画像データから第二画像データの一部分までの構造の一続きの情報の連続表示を可能にする。
少なくとも第一レンダリング投影および最終レンダリング投影は異なる空間的配置に応じて規定され、第一画像データおよび第二画像データは異なる3D走査装置により生成されることが理解されよう。
一続きの情報を順に表示することとは、少なくとも一つの3D走査装置により生成される構造の画像データに含まれる情報を処理することにより、画像データ内の関心領域の周囲の解釈を可能にする視覚的認識を言うことが理解されよう。
情報の処理とは、構成物の要素を順に表示することを通して構造の画像データの異なる空間的配置間の視覚的相関を作るために動きを利用する、画像データの異なる空間的配置を順に表示することを言う。上記を制限しない例により、本方法は、開始点と停止点、動きのぼかしとの視覚的例示を通して、空間的配置が場所や方向、向き、および位置を変更する作用またはプロセスを説明する。
空間的配置とは、物の配列が配置される空間的特性の概念を言うことが理解されよう。3D走査装置により生成された画像データに関し、および非限定的な例により、物の配列は、脳の画像データを生成するMRI走査装置により発生(および受信)される与えられた高周波電磁場により励起(および記録)された、特定の解剖学的組織内のプロトンの緩和時間を表すボクセルの配列、並びに脳などの構造内に注入された陽電子放出核種(トレーサー)により放出され、脳内のトレーサー濃度の画像データを生成するPET走査装置により捕捉されるガンマ線の量を表すボクセルの配列のどちらであってもよい。
上記を制限しない更なる例により、2D軸面の画像データの空間的配置は2D冠状面のそれとは異なり、両方が画像データの少なくとも一部分を空間的に配置するための異なる手段に対応する。反対に、与えられた画像データを表す3Dモデルをインタラクティブに回転させることは、その空間的配置を変更せず、一貫性のある2D軸面レビューモードの画像データをスクロールすることも、その空間的配置を変更しない。
1.第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法であって、
構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;
与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;
ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であること;
与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、および前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されること
を含む、方法。
2.3D走査装置は、少なくとも一つのコンピュータ断層撮影(CT)走査装置、トモシンセシス装置、磁気共鳴画像(MRI)装置、陽電子放出断層撮影(PET)装置および超音波装置からなる群より選ばれる、第1項に記載の方法。
3.第一画像データの第一レンダリング投影は2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる、第1項および第2項のいずれか一項に記載の方法。
4.最終レンダリング投影が2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる、第1項乃至第3項のいずれか一項に記載の方法。
5.前記第一画像データは、構造を走査する第一の3D走査装置により生成され、および前記第二画像データは、構造を走査する第二の3D走査装置により生成される、第1項乃至第4項のいずれか一項に記載の方法。
6.前記第一画像データおよび前記第二画像データは、構造を走査する単一の3D走査装置により生成される、第1項乃至第4項のいずれか一項に記載の方法。
7.ユーザーからのインプットを得ることには、キーボードおよびマウスの少なくとも一方から前記インプットを得ることが含まれる、第1項乃至第6項のいずれか一項に記載の方法。
8.与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示することは、タッチスクリーンディスプレイ上で行われ、さらにユーザーからのインプットを得ることには、前記タッチスクリーンディスプレイでの指を使ったジェスチャーを検出することが含まれる、第1項乃至第6項のいずれか一項に記載の方法。
9.前記第一画像データと前記第二画像データとを得ることには、構造を走査する3D走査装置から前記第一画像データと前記第二画像データとを得ることが含まれる、第1項に記載の方法。
10.前記第一画像データと前記第二画像データとを得ることには、メモリから前記第一画像データと前記第二画像データとを回収することが含まれる、第1項乃至第8項のいずれか一項に記載の方法。
11.ユーザーからのインプットを得ることには、与えられたビューにおいて関心領域で行うために前記第二画像データの一部分の前記最終レンダリング投影の指示とズームの指示とを得ることが含まれ、さらに与えられたビューにおいて複数のズームビューを生成することが含まれ、さらに与えられたウィンドウにおいて複数のビューには、生成された複数のズームビューが含まれる、第1項乃至第10項のいずれか一項に記載の方法。
12.第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステムであって、
データをユーザーに表示するための表示装置;
表示装置に動作可能なように接続される中央処理ユニット;
中央処理ユニットに動作可能に接続されるインプット装置であり、前記インプット装置はユーザーからのインプットを得るためのものであり;
中央処理ユニットに動作可能なように接続されるメモリであり、第一画像データと第二画像データとを蓄えるためのデータベースおよび第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのアプリケーションを含み、アプリケーションには、
前記データベースから、構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得るための命令;
前記表示装置に、与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示するための命令;
前記インプット装置からユーザーからのインプットを得るための命令であり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であるもの;
前記表示装置に、与えられたウィンドウにおいて複数のビューを順に表示するための命令であり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、ならびに前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されるもの
が含まれる、メモリ
を含む、システム。
13.中央処理ユニットに動作可能なように接続される通信ポートを含み、接続ポートは、システムを、構造を走査する遠隔3D走査装置に動作可能なように接続するためのものである、第12項に記載のシステム。
14.通信ポートは、構造を走査する遠隔3D走査装置にデータネットワークを介して動作可能なように接続される、第13項に記載のシステム。
15.データネットワークは、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)およびワイドエリアネットワーク(WAN)からなる群より選ばれる、第14項に記載のシステム。
16.データネットワークにはインターネットが含まれる、第15項に記載のシステム。
17.表示装置はタッチスクリーンディスプレイであり、さらに前記ユーザーの前記インプットの少なくとも一部分は前記タッチスクリーンディスプレイから得られる、第12項に記載のシステム。
18.実行されるとき、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法を計算装置に行わせるコンピュータ実行命令を蓄えるための持続性コンピュータ可読記憶媒体であって、方法には、
構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;
与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;
ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であること;
与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの一部分までの構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、および前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されること
が含まれる、記憶媒体。
19.複数のビューの少なくとも一つにはさらに、関連付けられたレンダリング投影およびユーザーからのインプットの少なくとも一方に関連付けられる表示された視覚情報が含まれる、第1項乃至第11項のいずれか一項に記載の方法。
20.ユーザーからのインプットにはさらに、前記第一画像データにおける位置特性データが含まれ、さらに位置特性データは後のビューのためのレンダリング投影に関連付けられるレンダリングパラメーターを定めるために使用される、第1項乃至第11項および第19項のいずれか一項に記載の方法。
21.ユーザーからのインプットには、実行するためにセグメンテーションに関連付けられる情報が含まれ、さらに与えられたウィンドウにおいて複数のビューを順に表示することには、複数のビューの少なくとも一つを表示する前にセグメンテーションを行うことが含まれる、第1項乃至第11項および第19項乃至第20項のいずれか一項に記載の方法。
上述の説明は、本発明者により現在考えられた特定の好適な実施態様に関するが、本発明は広い態様において、本明細書に記載された要素の機械的および機能的等価物を含むことが理解されよう。

Claims (21)

  1. 第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法であって、
    構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;
    与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;
    ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であること;
    与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、および前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されること
    を含む、方法。
  2. 3D走査装置は、少なくとも一つのコンピュータ断層撮影(CT)走査装置、トモシンセシス装置、磁気共鳴画像(MRI)装置、陽電子放出断層撮影(PET)装置および超音波装置からなる群より選ばれる、請求項1に記載の方法。
  3. 第一画像データの第一レンダリング投影は、2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる、請求項1および2のいずれか一項に記載の方法。
  4. 最終レンダリング投影は、2Dシンスライス、2Dシックスライス、2D最大値投影、3Dレイトレーシング、3Dサーフェスレンダリング、3D透視投影、3D内視鏡投影およびワールド投影からなる群より選ばれる、請求項1乃至3のいずれか一項に記載の方法。
  5. 前記第一画像データは、構造を走査する第一3D走査装置により生成され、および前記第二画像データは、構造を走査する第二3D走査装置により生成される、請求項1乃至4のいずれか一項に記載の方法。
  6. 前記第一画像データおよび前記第二画像データは、構造を走査する単一の3D走査装置により生成される、請求項1乃至4のいずれか一項に記載の方法。
  7. ユーザーからのインプットを得ることには、キーボードおよびマウスの少なくとも一方から前記インプットを得ることが含まれる、請求項1乃至6のいずれか一項に記載の方法。
  8. 与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示することは、タッチスクリーンディスプレイで行われ、さらにユーザーからのインプットを得ることには、前記タッチスクリーンディスプレイでの指を使ったジェスチャーを検出することが含まれる、請求項1乃至6のいずれか一項に記載の方法。
  9. 前記第一画像データと前記第二画像データとを得ることには、構造を走査する3D走査装置から前記第一画像データと前記第二画像データとを得ることが含まれる、請求項1に記載の方法。
  10. 前記第一画像データと前記第二画像データとを得ることには、メモリから前記第一画像データと前記第二画像データとを回収することが含まれる、請求項1乃至8のいずれか一項に記載の方法。
  11. ユーザーからのインプットを得ることには、与えられたビューにおいて関心領域で行うために前記第二画像データの一部分の前記最終レンダリング投影の指示とズームの指示とを得ることが含まれ、さらに与えられたビューにおいて複数のズームビューを生成することが含まれ、さらに与えられたウィンドウにおいて複数のビューには、生成された複数のズームビューが含まれる、請求項1乃至10のいずれか一項に記載の方法。
  12. 第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのシステムであって、
    データをユーザーに表示するための表示装置;
    表示装置に動作可能なように接続される中央処理ユニット;
    中央処理ユニットに動作可能に接続されるインプット装置であり、前記インプット装置はユーザーからのインプットを得るためのものであり;
    中央処理ユニットに動作可能なように接続されるメモリであり、第一画像データと第二画像データとを蓄えるためのデータベースおよび第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するためのアプリケーションを含み、アプリケーションには、
    前記データベースから、構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得るための命令;
    前記表示装置に、与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示するための命令;
    前記インプット装置からユーザーからのインプットを得るための命令であり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であるもの;
    前記表示装置に、与えられたウィンドウにおいて複数のビューを順に表示するための命令であり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの前記部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、ならびに前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されるもの
    が含まれる、メモリ
    を含む、システム。
  13. さらに、中央処理ユニットに動作可能なように接続される通信ポートを含み、接続ポートは、システムを、構造を走査する遠隔3D走査装置に動作可能なように接続するためのものである、請求項12に記載のシステム。
  14. 通信ポートは、構造を走査する遠隔3D走査装置にデータネットワークを介して動作可能なように接続される、請求項13に記載のシステム。
  15. データネットワークは、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)およびワイドエリアネットワーク(WAN)からなる群より選ばれる、請求項14に記載のシステム。
  16. データネットワークには、インターネットが含まれる、請求項15に記載のシステム。
  17. 表示装置はタッチスクリーンディスプレイであり、さらに前記ユーザーの前記インプットの少なくとも一部分は前記タッチスクリーンディスプレイから得られる、請求項12に記載のシステム。
  18. 実行されるとき、第一画像データの第一レンダリング投影と第二画像データの最終レンダリング投影との間のトランジションをユーザーに表示するための方法を計算装置に行わせるコンピュータ実行命令を蓄えるための持続性コンピュータ可読記憶媒体であって、方法には、
    構造を走査する対応3D走査装置によりそれぞれ生成される前記第一画像データと前記第二画像データとを得ること;
    与えられたウィンドウにおいて前記第一画像データの第一レンダリング投影に対応する第一ビューを表示すること;
    ユーザーからのインプットを得ることであり、前記インプットは前記第二画像データの一部分の前記最終レンダリング投影の指示であること;
    与えられたウィンドウにおいて複数のビューを順に表示することであり、各ビューは第一画像データおよび第二画像データの少なくとも一方の異なるレンダリング投影に対応し、複数のレンダリング投影は第一レンダリング投影と最終レンダリング投影との間のトランジションを行うように規定され、さらにトランジションは、前記第一画像データから前記第二画像データの一部分までの前記構造の一続きの情報の連続表示を可能にし、さらに前記第一レンダリング投影および前記最終レンダリング投影の少なくとも一方は異なる空間的配置に応じて規定され、および前記第一画像データおよび前記第二画像データは異なる3D走査装置により生成されること
    が含まれる、記憶媒体。
  19. 複数のビューの少なくとも一つにはさらに、関連付けられたレンダリング投影およびユーザーからのインプットの少なくとも一方に関連付けられる表示された視覚情報が含まれる、請求項1乃至11のいずれか一項に記載の方法。
  20. ユーザーからのインプットにはさらに、前記第一画像データにおける位置特性データが含まれ、さらに位置特性データは後のビューのためのレンダリング投影に関連付けられるレンダリングパラメーターを定めるために使用される、請求項1乃至11および19のいずれか一項に記載の方法。
  21. ユーザーからのインプットには、実行するためにセグメンテーションに関連付けられる情報が含まれ、さらに与えられたウィンドウにおいて複数のビューを順に表示することには、複数のビューの少なくとも一つを表示する前にセグメンテーションを行うことが含まれる、請求項1乃至11および19乃至20のいずれか一項に記載の方法。
JP2015543221A 2012-11-23 2013-11-22 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置 Expired - Fee Related JP6396310B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261729472P 2012-11-23 2012-11-23
US61/729,472 2012-11-23
PCT/CA2013/000982 WO2014078944A1 (en) 2012-11-23 2013-11-22 Method and system for displaying to a user a transition between a first rendered projection and a second rendered projection

Publications (3)

Publication Number Publication Date
JP2016508242A true JP2016508242A (ja) 2016-03-17
JP2016508242A5 JP2016508242A5 (ja) 2017-06-01
JP6396310B2 JP6396310B2 (ja) 2018-09-26

Family

ID=50775343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015543221A Expired - Fee Related JP6396310B2 (ja) 2012-11-23 2013-11-22 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置

Country Status (14)

Country Link
US (1) US10905391B2 (ja)
EP (1) EP2923262B1 (ja)
JP (1) JP6396310B2 (ja)
KR (1) KR102307530B1 (ja)
CN (2) CN104969265A (ja)
AU (2) AU2013350270A1 (ja)
BR (1) BR112015011804B1 (ja)
CA (1) CA2892326C (ja)
CL (1) CL2015001378A1 (ja)
HK (1) HK1216049A1 (ja)
IL (1) IL238682B (ja)
MX (1) MX2015006351A (ja)
SG (1) SG11201503711YA (ja)
WO (1) WO2014078944A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187296A1 (ja) * 2020-03-16 2021-09-23 富士フイルム株式会社 画像処理装置、画像表示システム、画像処理方法及びプログラム
JP7497422B2 (ja) 2020-03-16 2024-06-10 富士フイルム株式会社 画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10163261B2 (en) * 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
WO2018047910A1 (ja) 2016-09-12 2018-03-15 富士フイルム株式会社 超音波診断システム及び超音波診断システムの制御方法
US11779192B2 (en) * 2017-05-03 2023-10-10 Covidien Lp Medical image viewer control from surgeon's camera
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN109360233A (zh) * 2018-09-12 2019-02-19 沈阳东软医疗系统有限公司 图像融合方法、装置、设备及存储介质
EP3849410A4 (en) 2018-09-14 2022-11-02 Neuroenhancement Lab, LLC SLEEP ENHANCEMENT SYSTEM AND METHOD
CN110060252B (zh) * 2019-04-28 2021-11-05 重庆金山医疗技术研究院有限公司 一种图片内目标提示处理方法、装置及内窥镜系统
CN111651131B (zh) * 2020-05-18 2024-02-27 武汉联影医疗科技有限公司 图像的显示方法、装置和计算机设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1057370A (ja) * 1996-08-21 1998-03-03 Shimadzu Corp 医用3次元画像表示装置
JPH11299782A (ja) * 1998-04-24 1999-11-02 Toshiba Iyo System Engineering Kk 医用画像処理装置
JP2001128975A (ja) * 1999-08-20 2001-05-15 Toshiba Corp 超音波診断装置
JP2004167042A (ja) * 2002-11-21 2004-06-17 Fuji Photo Film Co Ltd 画像表示装置
JP2004173910A (ja) * 2002-11-27 2004-06-24 Fuji Photo Film Co Ltd 画像表示装置
US20080008366A1 (en) * 2006-06-20 2008-01-10 Vladimir Desh Simultaneous visualization, analysis and navigation of multi-modality medical imaging data
JP2009011827A (ja) * 2007-06-30 2009-01-22 General Electric Co <Ge> 複数のビューのボリューム・レンダリングのための方法及びシステム
JP2009517177A (ja) * 2005-12-02 2009-04-30 アボット・カーディオヴァスキュラー・システムズ・インコーポレーテッド 画像ガイド医療処置のための方法及び装置
US20090153549A1 (en) * 2007-12-18 2009-06-18 Navteq North America, Llc System and method for producing multi-angle views of an object-of-interest from images in an image dataset
JP2009291596A (ja) * 2008-06-06 2009-12-17 Siemens Medical Solutions Usa Inc 3次元医療用画像における空間的関係を伝達するための動画
JP2012231235A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 画像処理システム、装置、方法及びプログラム

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5348020A (en) * 1990-12-14 1994-09-20 Hutson William H Method and system for near real-time analysis and display of electrocardiographic signals
US6633686B1 (en) 1998-11-05 2003-10-14 Washington University Method and apparatus for image registration using large deformation diffeomorphisms on a sphere
US7890887B1 (en) * 2001-03-07 2011-02-15 Fonar Corporation System and method for the operation of diagnostic medical equipment
GB2382509B (en) * 2001-11-23 2003-10-08 Voxar Ltd Handling of image data created by manipulation of image data sets
WO2003046833A2 (en) * 2001-11-24 2003-06-05 Image Analysis, Inc. Automatic detection and quantification of coronary and aortic calcium
WO2003045247A1 (fr) * 2001-11-30 2003-06-05 Hitachi Medical Corporation Tomographie cardiaque et tomogramme utilisant un appareil de tomodensitometrie a rayons x
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
US20040047497A1 (en) 2002-09-10 2004-03-11 Confirma, Inc. User interface for viewing medical images
CA2449888A1 (en) * 2003-11-17 2005-05-17 Idelix Software Inc. Navigating large images using detail-in-context fisheye rendering techniques
WO2004114063A2 (en) * 2003-06-13 2004-12-29 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
GB2415876B (en) * 2004-06-30 2007-12-05 Voxar Ltd Imaging volume data
DE102004035740A1 (de) 2004-07-23 2006-03-16 Siemens Ag Verfahren zur Zwischenbildgenerierung bei der Bildgebung mit einer tomographischen bildgebenden Modalität
US20060034513A1 (en) 2004-07-23 2006-02-16 Siemens Medical Solutions Usa, Inc. View assistance in three-dimensional ultrasound imaging
US20060079746A1 (en) * 2004-10-11 2006-04-13 Perret Florence M Apparatus and method for analysis of tissue classes along tubular structures
WO2006053271A1 (en) * 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
US7840050B2 (en) * 2005-05-05 2010-11-23 Siemens Medical Solutions Usa, Inc. System and method for piecewise registration of timepoints
EP1894161A2 (en) * 2005-06-15 2008-03-05 Koninklijke Philips Electronics N.V. Method of model-based elastic image registration for comparing a first and a second image
US7880738B2 (en) * 2005-07-14 2011-02-01 Molsoft Llc Structured documents and systems, methods and computer programs for creating, producing and displaying three dimensional objects and other related information in those structured documents
US20100037182A1 (en) 2006-09-29 2010-02-11 Eugenio Biglieri User interface for displaying mri images
DE102006048834A1 (de) * 2006-10-16 2008-04-17 Rust, Georg-Friedemann, Dr. Bildliche Darstellung dreidimensionaler Datensätze
US8788012B2 (en) * 2006-11-21 2014-07-22 General Electric Company Methods and apparatus for automatically registering lesions between examinations
US9597041B2 (en) 2007-03-30 2017-03-21 General Electric Company Sequential image acquisition with updating method and system
WO2009070160A1 (en) 2007-11-27 2009-06-04 University Of Washington Eliminating illumination crosstalk while imaging using multiple imaging devices
WO2009070319A1 (en) * 2007-11-27 2009-06-04 Ortiz David J Computer graphic user interface and display system
WO2009089129A1 (en) * 2008-01-04 2009-07-16 3M Innovative Properties Company Global camera path optimization
US20110178389A1 (en) 2008-05-02 2011-07-21 Eigen, Inc. Fused image moldalities guidance
WO2009147806A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 遠隔操作装置及び遠隔操作方法
US8170312B2 (en) * 2008-06-17 2012-05-01 Siemens Medical Solutions Usa, Inc. Respiratory motion compensated cardiac wall motion determination system
US8432405B2 (en) * 2008-06-26 2013-04-30 Microsoft Corporation Dynamically transitioning between hardware-accelerated and software rendering
JP5322548B2 (ja) * 2008-09-17 2013-10-23 株式会社東芝 X線ct装置、医用画像処理装置および医用画像処理プログラム
DE102008052690B4 (de) * 2008-10-22 2019-10-31 Siemens Healthcare Gmbh Vorrichtung und Verfahren zur Rekonstruktion und Visualisierung von Projektionsdaten
US8745536B1 (en) * 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
US8619083B2 (en) * 2009-01-06 2013-12-31 Microsoft Corporation Multi-layer image composition with intermediate blending resolutions
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US9508188B2 (en) * 2009-03-20 2016-11-29 Koninklijke Philips N.V. Re-centering a view of a scene of a three-dimensional image of anatomy of interest and an alignment object based on a new location of the alignment object in the three-dimensional image
US20100254584A1 (en) * 2009-04-07 2010-10-07 Siemens Corporation Automated method for assessment of tumor response to therapy with multi-parametric mri
JP5405264B2 (ja) * 2009-10-20 2014-02-05 任天堂株式会社 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法
US8803908B2 (en) * 2010-01-15 2014-08-12 Apple Inc. Digital image transitions
US9235575B1 (en) * 2010-03-08 2016-01-12 Hewlett-Packard Development Company, L.P. Systems and methods using a slideshow generator
US8494245B2 (en) * 2010-03-09 2013-07-23 Siemens Aktiengesellschaft System and method for guiding transcatheter aortic valve implantations based on interventional C-Arm CT imaging
US10235497B2 (en) 2010-03-23 2019-03-19 Koninklijke Philips, N.V. Volumetric ultrasound image data reformatted as an image plane sequence
US8594401B2 (en) * 2010-03-30 2013-11-26 The Johns Hopkins University Automated characterization of time-dependent tissue change
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
JP5897273B2 (ja) * 2010-07-22 2016-03-30 株式会社東芝 医用画像表示装置及びx線コンピュータ断層撮影装置
US10546205B2 (en) * 2010-08-02 2020-01-28 Koninklijke Philips N.V. System and method for multi-modality segmentation of internal tissue with live feedback
JP5661382B2 (ja) * 2010-08-31 2015-01-28 キヤノン株式会社 画像表示装置
US8922546B2 (en) * 2010-09-30 2014-12-30 Siemens Aktiengesellschaft Dynamic graphical user interfaces for medical workstations
US8805045B2 (en) * 2010-10-12 2014-08-12 Siemens Aktiengesellschaft Interaction method for regions of-interest in time series images
US9262444B2 (en) * 2010-11-24 2016-02-16 General Electric Company Systems and methods for applying series level operations and comparing images using a thumbnail navigator
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US8823732B2 (en) * 2010-12-17 2014-09-02 Pictometry International Corp. Systems and methods for processing images with edge detection and snap-to feature
US8314790B1 (en) * 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US20120265050A1 (en) * 2011-04-04 2012-10-18 Ge Wang Omni-Tomographic Imaging for Interior Reconstruction using Simultaneous Data Acquisition from Multiple Imaging Modalities
US20120259224A1 (en) * 2011-04-08 2012-10-11 Mon-Ju Wu Ultrasound Machine for Improved Longitudinal Tissue Analysis
US9218643B2 (en) * 2011-05-12 2015-12-22 The Johns Hopkins University Method and system for registering images
WO2012176100A1 (en) * 2011-06-22 2012-12-27 Koninklijke Philips Electronics N.V. System and method for processing a medical image
WO2013010261A2 (en) 2011-07-18 2013-01-24 Dog Microsystems Inc. Method and system for performing rendering
US9613453B2 (en) * 2011-10-04 2017-04-04 Google Inc. Systems and method for performing a three pass rendering of images
US9519981B2 (en) * 2011-11-04 2016-12-13 Siemens Healthcare Gmbh Visualizing brain network connectivity
US9196091B2 (en) * 2012-01-24 2015-11-24 Kabushiki Kaisha Toshiba Image processing method and system
US20130328874A1 (en) * 2012-06-06 2013-12-12 Siemens Medical Solutions Usa, Inc. Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
US9075460B2 (en) * 2012-08-10 2015-07-07 Blackberry Limited Method of momentum based zoom of content on an electronic device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1057370A (ja) * 1996-08-21 1998-03-03 Shimadzu Corp 医用3次元画像表示装置
JPH11299782A (ja) * 1998-04-24 1999-11-02 Toshiba Iyo System Engineering Kk 医用画像処理装置
JP2001128975A (ja) * 1999-08-20 2001-05-15 Toshiba Corp 超音波診断装置
JP2004167042A (ja) * 2002-11-21 2004-06-17 Fuji Photo Film Co Ltd 画像表示装置
JP2004173910A (ja) * 2002-11-27 2004-06-24 Fuji Photo Film Co Ltd 画像表示装置
JP2009517177A (ja) * 2005-12-02 2009-04-30 アボット・カーディオヴァスキュラー・システムズ・インコーポレーテッド 画像ガイド医療処置のための方法及び装置
US20080008366A1 (en) * 2006-06-20 2008-01-10 Vladimir Desh Simultaneous visualization, analysis and navigation of multi-modality medical imaging data
JP2009011827A (ja) * 2007-06-30 2009-01-22 General Electric Co <Ge> 複数のビューのボリューム・レンダリングのための方法及びシステム
US20090153549A1 (en) * 2007-12-18 2009-06-18 Navteq North America, Llc System and method for producing multi-angle views of an object-of-interest from images in an image dataset
JP2009291596A (ja) * 2008-06-06 2009-12-17 Siemens Medical Solutions Usa Inc 3次元医療用画像における空間的関係を伝達するための動画
JP2012231235A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 画像処理システム、装置、方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021187296A1 (ja) * 2020-03-16 2021-09-23 富士フイルム株式会社 画像処理装置、画像表示システム、画像処理方法及びプログラム
JP7497422B2 (ja) 2020-03-16 2024-06-10 富士フイルム株式会社 画像処理装置、画像表示システム、画像処理装置の作動方法及びプログラム

Also Published As

Publication number Publication date
AU2013350270A2 (en) 2017-06-01
KR20150090117A (ko) 2015-08-05
KR102307530B1 (ko) 2021-09-30
CN104969265A (zh) 2015-10-07
US10905391B2 (en) 2021-02-02
AU2013350270A1 (en) 2015-05-28
US20150335303A1 (en) 2015-11-26
IL238682B (en) 2020-06-30
SG11201503711YA (en) 2015-06-29
EP2923262B1 (en) 2019-08-07
IL238682A0 (en) 2015-06-30
CL2015001378A1 (es) 2016-04-01
MX2015006351A (es) 2016-03-15
BR112015011804B1 (pt) 2022-02-15
EP2923262A1 (en) 2015-09-30
CA2892326C (en) 2021-06-22
BR112015011804A2 (pt) 2017-07-11
EP2923262A4 (en) 2016-07-13
CA2892326A1 (en) 2014-05-30
CN108378865A (zh) 2018-08-10
WO2014078944A1 (en) 2014-05-30
AU2019226207A1 (en) 2019-09-26
HK1216049A1 (zh) 2016-10-07
JP6396310B2 (ja) 2018-09-26

Similar Documents

Publication Publication Date Title
JP6396310B2 (ja) 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
US10820877B2 (en) Apparatus and system for rule based visualization of digital breast tomosynthesis and other volumetric images
Andriole et al. Optimizing analysis, visualization, and navigation of large image data sets: one 5000-section CT scan can ruin your whole day
JP5312801B2 (ja) 医用画像ビューイングプロトコル
JP6670595B2 (ja) 医用画像処理装置
JP5345934B2 (ja) 観察のための三次元レンダリングからのデータ集合の選択
JP2008529578A5 (ja)
US10977787B2 (en) Feedback for multi-modality auto-registration
US10032296B2 (en) Volumertric image data visualization
JP2015515296A (ja) 対象物の画像情報の提供
JP2016504113A (ja) コンピュータ支援による関心組織の特定
Abou El-Seoud et al. An interactive mixed reality ray tracing rendering mobile application of medical data in minimally invasive surgeries
Blank et al. Medical volume exploration: gaining insights virtually
US20060103678A1 (en) Method and system for interactive visualization of locally oriented structures
Zhang et al. MR and ultrasound cardiac image dynamic visualization and synchronization over Internet for distributed heart function diagnosis
Sveinsson et al. ARmedViewer, an augmented-reality-based fast 3D reslicer for medical image data on mobile devices: A feasibility study
Ropinski et al. Multimodal visualization with interactive closeups
Wu et al. Toward a multimodal diagnostic exploratory visualization of focal cortical dysplasia
Kainz et al. Volume visualization in the clinical practice
Blank et al. Perspective volume rendered motion: gaining insights virtually
Aspin et al. Medivol: An initial study into real-time, interactive 3D visualisation of soft tissue pathologies
WO2006057663A2 (en) Method and system for interactive visualization of locally oriented structures
Van Pelt et al. Time-resolved volumetric MRI blood flow: a Doppler ultrasound perspective

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180829

R150 Certificate of patent or registration of utility model

Ref document number: 6396310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees