JP2019537481A - 医用画像処理からの三次元プリンティング、ホログラフィ及び仮想現実レンダリングのためのシステム及び方法 - Google Patents

医用画像処理からの三次元プリンティング、ホログラフィ及び仮想現実レンダリングのためのシステム及び方法 Download PDF

Info

Publication number
JP2019537481A
JP2019537481A JP2019525813A JP2019525813A JP2019537481A JP 2019537481 A JP2019537481 A JP 2019537481A JP 2019525813 A JP2019525813 A JP 2019525813A JP 2019525813 A JP2019525813 A JP 2019525813A JP 2019537481 A JP2019537481 A JP 2019537481A
Authority
JP
Japan
Prior art keywords
medical
server
data
medical image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019525813A
Other languages
English (en)
Inventor
クーン ゲール
クーン ゲール
チャオ ティエチェン
チャオ ティエチェン
ギゴニス デイビッド
ギゴニス デイビッド
ソレンソン ジェフリー
ソレンソン ジェフリー
マクチョン デイビッド
マクチョン デイビッド
Original Assignee
テラリコン インコーポレイテッド
テラリコン インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テラリコン インコーポレイテッド, テラリコン インコーポレイテッド filed Critical テラリコン インコーポレイテッド
Publication of JP2019537481A publication Critical patent/JP2019537481A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30Auxiliary operations or equipment
    • B29C64/386Data acquisition or data processing for additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00Data acquisition or data processing for additive manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Manufacturing & Machinery (AREA)
  • Architecture (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

ワークフローがネットワークを通じて提供される。ネットワークサーバは、ネットワークを介して、3Dセグメント化された医用画像データを3Dプリンタでプリントするためのプリント可能な又は閲覧するためにレンダリングされる情報に変換する要求を受信する。変換されたデータへのアクセスは1人以上の許可ユーザに制限される。3Dセグメント化された医用画像データを変換されたデータファイルに変換する。変換されたデータファイルは、特定の人体解剖学的構造又は対象領域の複数のサブセグメント化を可能にする医用画像データファイル形式である。医用画像データファイル形式は、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、及び不透明度の格納を可能にする。

Description

本発明の実施形態は、一般に、医療情報処理システムに関する。より詳細には、発明の実施形態は、医用画像処理からの三次元プリンティング、ホログラフィック、及びバーチャルリアリティレンダリングに関する。
三次元(3D)プリンティングは、デジタルファイルから三次元立体オブジェクトの生成を可能にする。積層プロセスにおいて、完全に形成されたオブジェクトが生成されるまで、一方の層が他方の層の後に追加される。3Dプリンティングは多くの医療用用途を有する。例えば、癌性腫瘍の3Dプリントモデルは、抗癌剤、並びに、腫瘍がどのように発生し、成長し、及び拡散するかを研究する際に用いられてきた。
3Dプリンティングは組織工学にも用いられてきた。例えば、血管の置換、骨への化学物質の結合、心臓弁の製造、人間の耳の複製、合成皮膚の作成、合成器官の作成、及び薬剤のプリンティングにおける3Dプリンタの使用について研究が行われてきた。
医療環境においてプリンティングアプリケーションを可能にするネットワークを示す略ブロック図である。 3Dプリンティングのためのデータアクセス制御及び画像処理を示す略ブロック図である。 プリンティングプロセスのためのワークフローを示す略フロー図である。 3Dプリンティングクラウドに送信することができるセグメント化モデルを生成するためのグラフィックユーザインタフェースの使用を示す。 グラフィックユーザインタフェースの使用を示し、モジュールへの色の適用、及びネットワーク内の事業体間で交換可能なファイルへのカラーパレットの埋め込みを示す。 DICOMファイルのストレージ構造を示すブロック図である。 プリント前に実行されるファイル変換ワークフローを示す。 幾つかのアプリケーションをロードし、レンダリングすることができる医療用ホログラフィックプラットフォームのためのグラフィックユーザインタフェースを示す。 元の二次元(2D)放射線図(軸方向、冠状、及び矢状)を用いる医療ボリューム(心臓)レンダリングのグラフィックユーザインタフェース表示を示す。 人体特定領域、特に大動脈弁、大動脈基部、及び冠動脈入口点の視覚化を補助する切断平面を有する特定の視野角の医療ホログラムレンダリングを示す。 ホログラム作成、ホログラムローディング、クライアントサーバ接続、及びクライアントとレンダリングサーバとの間のホログラム操作を示す略フロー図である。 ホログラム作成、ローディング、及び複数のクライアントと単一のレンダリングサーバとの間のホログラム操作を示す略フロー図である(図16/1及び図16/2を含む)。 医療用ホログラフィックプラットフォームの使用を示す略ブロック図である。 複数のアプリケーションによるホログラフィック環境を示す略ブロック図である。
図1は、一実施形態による医用画像の三次元(3D)プリンティングを用いるクラウドベースの画像処理システム(3Dプリンティングシステムと称する)を示すブロック図である。図1は、ネットワークを介して1つ以上のクラウドシステムに通信可能に結合される1つ以上の事業体又は機関を含むシステム100を示す。事業体は、世界中に存在する様々な施設を有する医療機関等の様々な組織を表してもよい。事業体は、世界中に存在する様々な施設を有する医療機関、ファイル変換機関、プリンティング機関、又はそれらの任意の組み合わせ等の様々な組織を表してもよい。例えば、事業体は、単数又は複数の画像取込装置104、画像格納システム(例えば、PACS)105、ルータ106、及び/又はデータゲートウェイマネージャ107を含むか又はそれらに関連付けられてもよい。画像格納システム105は、事業体101にアーカイビングサービスを提供する第三者事業体によって維持されてもよく、それは管理者又は事業体101に関連するユーザ等のワークステーション108によってアクセスされてもよい。本願全体を通して、医療機関は組織事業体の一例として利用されることに留意されたい。しかし、それ程限定されず、プリンティング事業体及び/又はファイル変換事業体等の他の組織又は事業体も適用されてもよい。
一実施形態において、クラウド103は、1つ以上のサービスプロバイダに関連付けられ、ネットワークを介して地理的に分散された一組のサーバ又はサーバのクラスタを表してもよい。例えば、クラウド103は、California州Foster CityのTeraRecon等の医用画像処理サービスプロバイダと関連付けられてもよい。例えば、クラウド103は、California州Foster CityのTeraRecon等の医用画像処理サービスプロバイダ、プリンティングサービスプロバイダ、ファイル変換サービスプロバイダ、又はそれらの任意の組み合わせ(図示せず)と関連付けられてもよい。プリンティングタスクは、3Dプリンティングサービスを通じて外部化することができるか、又は、事業体がそれ自体のプリンティング機能を有している場合はローカルに配置することができる。ローカルに配置されたプリンティング機能の場合、変換サービス(クラウドベース又はローカルに配置されてもよい)は、3Dプリンタによってサポートされている形式のプリント可能ファイルを提供する。ネットワークは、ローカルエリアネットワーク(LAN)、メトロポリタンエリアネットワーク(MAN)、インターネット又はイントラネット等の広域ネットワーク(WAN)、又はそれらの組み合わせであってもよい。クラウド103は、ネットワークを介してアプリケーションサービスを様々なクライアント113(例えば、タブレットコンピューティングデバイス、モバイルデバイス、デスクトップ、ラップトップ、又はそれらの任意の組み合わせ)に提供することができる様々なサーバ及びデバイスで構成することができる。一実施形態において、クラウド103は、画像処理サービスを提供するための1つ以上のクラウドサーバ109と、画像及び他の医療データを格納するための1つ以上のデータベース110と、他の事業体へ/からデータを転送するための1つ以上のルータ112とを含んでいる。クラウドサーバがサーバクラスタ又は1つを超えるサーバからなる場合、クラスタ内のサーバ間のデータ転送を制御する規則が存在していてもよい。例えば、1つの国のサーバ上のデータを別の国のサーバに配置してはいけない理由がある可能性がある。
サーバ109は、ネットワークを介してクライアント113に医用画像処理サービスを提供するための画像処理サーバであってもよい。例えば、サーバ109は、iNtuitionサーバ、TeraRecon AquariusNET(商標)サーバ、及び/又はTeraRecon AquariusAPSサーバの一部として実装されてもよい。ユーザは、画像処理を実行するよう要求をサーバ109に送信することができるクライアントデバイス113上で画像を操作することができる。データゲートウェイマネージャ107及び/又はルータ106は、TeraRecon AquariusGATEデバイスの一部として実装されてもよい。医用撮像装置104は、血管、X線、CT装置、MRI走査装置、核医学装置、超音波装置、又は他の任意の医用撮像装置等の画像診断装置であってもよい。医用撮像装置104は、標本の複数の断面図から情報を収集し、それらを再構成し、複数の断面図に関する医用画像データを生成する。医用撮像装置104はモダリティとも称される。
データベース110は、医療におけるデジタル画像と通信(DICOM)互換データ又は他の画像データ等の医療データを格納するためのデータストアであってもよい。データベース110は、また、暗号化機能を組み込んでもよい。データベース110は複数のデータベースを含んでもよく及び/又はストレージプロバイダ等のサードパーティベンダによって保守されてもよい。データストア110は、リレーショナルデータベース管理システム(RDBMS)、例えば、Oracle(商標)データベース又はMicrosoft(登録商標)SQLサーバ、等により実装されてもよい。クライアント113は、デスクトップ、ラップトップ、タブレットコンピューティングデバイス、携帯電話、パーソナルデジタルアシスタント(PDA)等のような様々なクライアントデバイスを表してもよい。幾つかのクライアント113は、医用画像処理ツール等のリソースにアクセスするクライアントアプリケーション(例えば、シンクライアントアプリケーション)又はネットを介してサーバ109によってホストされるアプリケーションを含んでいてもよい。シンクライアントの実施例は、Webブラウザ、電話アプリケーション等を含む。クライアントアプリケーションは、ネットワークを介してプリントするオプションを有することができる。
一実施形態によれば、サーバ109は、医療機関からの医師、保険会社からの外交員、患者、医学研究者等を代表してもよいクライアント113に高度画像処理サービスを提供するよう構成される。クラウドサーバ109は、画像処理とも称され、1つ以上の医用画像及び医用画像に関連するデータのホストとして動作する能力を有して、クライアント113等の複数の参加者が協働する方法で又は会議環境において画像の検討/処理フォーラムに参加することを可能にする。異なる参加者は、検討セッション又は画像のワークフロープロセスの異なる段階及び/又はレベルに参加してもよい。それらの役割(医師、保険外交員、患者、サードパーティのデータアナリスト、研究者等)に関連する権限に応じて、様々な参加者は、画像に関連付けられた患者のプライバシーを損なうことなく、画像に関する情報の一部又はツール及び機能のサブセットにのみアクセスするよう制限されてもよい。それらの役割に関連付けられた権限に応じて、様々な参加者は画像を操作、マスキング、及び/又は色付けすることができる。サーバ109は、任意の保護医療情報を削除するよう任意のデータファイルを匿名化及び/又は非特定化することができる。
幾つかの実施形態によれば、データゲートウェイマネージャ107は、医療機関等のデータプロバイダ(例えば、PACSシステム)へ/から医療データを自動的又は手動で転送するよう構成される。かかるデータゲートウェイ管理は、管理者又はその他の認可された人員によって構成されてもよい一組の規則又はポリシーに基づいて実行されてもよい。一実施形態において、クラウド内で行われる画像検討セッション又は画像処理操作中の医用画像データの更新に応答して、データゲートウェイマネージャは、更新された画像データ又は更新された画像データと元の画像データとの間の相違を元の医用画像データを提供したPACS105等のデータプロバイダにネットワーク(例えば、インターネット)を介して送信するよう構成される。同様に、データゲートウェイマネージャ107は、データプロバイダから任意の新規画像及び/又は画像データを送信するよう構成することができ、ここで新規画像は事業体101に関連付けられた画像取込装置104等の画像取込装置によって取り込まれていてもよい。加えて、データゲートウェイマネージャ107は、更に、同じ事業体(例えば、医療機関の複数の施設)に関連付けられる複数のデータプロバイダ間でデータを転送してもよい。更に、クラウド103は、クラウドシステムによって提供されるある特定の高度画像処理リソースを用いて受信画像のある特定の前処理操作を自動的に実行するよう高度前処理システム(図示せず)を含んでいてもよい。例えば、前処理システムは画像を前処理して、ユーザが骨除去等の所定のモデルによりモデリングを開始できるようにすることができる(すなわち、画像は、ユーザが骨のない画像を閲覧できるように、骨を除去するよう前処理され得る)。一実施形態において、ゲートウェイマネージャ107は、ある特定のインターネットポートを介してクラウド103と通信するよう構成されている。転送されているデータは、様々な暗号化及び圧縮方法を用いて暗号化及び/又は圧縮されてもよい。この文脈における用語「インターネットポート」は、また、イントラネットポート又はイントラネット上のプライベートポートであってもよい。
一実施形態において、変換クラウドは、1つ以上のサービスプロバイダに関連付けられ、ネットワークを介して地理的に分散された一組のサーバ又はサーバのクラスタを表してもよい。例えば、変換クラウドは、DICOMファイルを2D、3D、及び/又は4Dプリンタと互換性のあるファイル形式に変換することができるファイル変換サービスに関連付けられてもよい。4Dプリンティングが意味するものは、刺激に反応して予めプログラムされた方法で変形することができる構造のプリンティングである。別の実施例において、変換クラウドは、DICOMファイルをホログラフィックディスプレイと互換性のあるファイル形式に変換することができるファイル変換サービスに関連付けられてもよい。一実施形態において、変換クラウドは、ファイル変換サービスを提供するための1つ以上の変換サーバ114、画像及び他の医療データを格納するか及び/又は2D、3D、及び/又は4Dプリンタ又はホログラフィックディスプレイと互換性のある任意のファイル形式を格納するための1つ以上のデータベース、及び他の事業体(図示せず)に/からデータを転送するための1つ以上のルータを含むことができる。クラウドサーバがサーバクラスタ又は1つを超えるサーバからなる場合、クラスタ内のサーバ間のデータ転送を制御する規則が存在していてもよい。
変換サーバ114は、ネットワークを介してDICOMファイル/非DICOMファイルを2D、3D、及び/又は4Dプリンタと互換性のある(又は読み取り可能な)ファイル形式に変換することに関するサービスを提供するためのファイル変換サーバであってもよい。変換サーバ114は、ネットワークを介してDICOMファイルをホログラフィックディスプレイと互換性のある(読み取り可能な)ファイル形式に変換することに関するサービスを提供するためのファイル変換サーバであってもよい。変換サーバ114はDICOMファイルを受信することができる。変換サーバ114は、匿名化及び/又は非特定化されたDICOMファイルを受信することができる。DICOMファイルはファイルの種類の一例に過ぎないが、ファイルは任意の撮像ファイルであってもよい。変換は、例えば、DICOMファイルを、例えば、OBJ、STL、VRML、X3G、PLY、FBX、HDF、他の任意の互換形式、又はそれらの任意の組み合わせに変換することができる。
例えば、1人以上のユーザは、クライアント装置113上のクライアントアプリケーション(例えば、画像処理ソフトウェア)上で画像を操作し、クライアントアプリケーションから画像をプリントすることができる。サーバ109は、クライアントアプリケーションからプリント要求を受信し、画像がどのようにその時点でクライアントアプリケーション上で表示されているかに関する情報によりDICOMファイルを作成することができる(すなわち、ディスプレイ上で見られるものは3Dプリントされるモデルと同じであってもよい)。サーバ109は、作成したDICOMファイルを変換サーバ114に送信してファイル変換を実行することができる。ファイル変換のための形式は、2D、3D、及び/又は4Dプリンタと互換性があってもよい。ファイル変換のための形式はホログラフィックディスプレイと互換性があってもよい。
変換クラウド内のデータベースはデータベース110と類似していてもよい。データベースは、DICOM、非DICOM、OBJ、STL、VRML、X3G、PLY、FBX、HDF、その他の任意の互換性のあるプリンティング形式、又はそれらの任意の組み合わせを格納することができる。
一実施形態によれば、変換サーバ114は、医療機関からの医師、保険会社からの外交員、患者、医学研究者、技術者、専門家、又はそれらの任意の組み合わせを代表してもよいクライアント113にファイル変換サービスを提供するよう構成される。変換サーバ114は、任意の保護医療情報を削除するよう任意のデータファイルを匿名化及び/又は非特定化することができる。
一実施形態において、プリンティングクラウドは、1つ以上のサービスプロバイダに関連付けられ、ネットワークを介して地理的に分散された一組のサーバ又はサーバのクラスタを表してもよい。例えば、プリンティングクラウドは、プリンティングと互換性のあるファイル(例えば、2D、3D、4D、ホログラフィック)を受信し、プリントすることができるプリンティングサービスに関連付けられてもよい。一実施形態において、プリンティングクラウドは、プリンティングサービスを提供するための1つ以上のプリンティングサーバ115、画像及び他の医療データを格納するか及び/又は2D、3D、及び/又は4Dプリンティング又はホログラフィックディスプレイと互換性のある任意のファイル形式を格納するための1つ以上のデータベース、及び他の事業体(図示せず)に/からデータを転送するための1つ以上のルータを含むことができる。プリンティングサーバがサーバクラスタ又は1つを超えるサーバからなる場合、クラスタ内のサーバ間のデータ転送を制御する規則が存在していてもよい。
プリンティングサーバ115は、ネットワークを介して2D、3D、4D、又はホログラフィックプリンティングに関するサービスを提供するためのプリンティングサーバであってもよい。プリンティングサーバ115は互換プリンティングファイルを受信することができる。例えば、プリンティングサーバ115は、変換サーバ114から互換プリンティングファイルを受信してファイルをプリントすることができる。プリンティングサーバ115は、PHIを削除し、データを匿名化し、及び/又はデータを非特定化することができる。プリンティングクラウド内のデータベースはデータベース110と類似していてもよい。データベースは、DICOM、非DICOM、OBJ、STL、VRML、X3G、PLY、FBX、HDF、AMF、STP、その他の任意の互換性のあるプリンティング形式、又はそれらの任意の組み合わせを格納することができる。
図1は、例示的な一実施形態を示しているが、サーバ、データベース、クラウド、及び/又は機関のいずれも共に一体化することができる(図示せず)。例えば、クラウド103及び変換クラウドは、1つのデータベース又は1つのサーバのみを必要とするように、組み合わせることができる。
従って、高度画像処理及びプリンティングのためのクラウドベースシステムを用いることは幾つかの利点を有する。クラウドシステムとは、サーバベースで、ソフトウェアクライアントが極めて小さく、恐らくはWebブラウザ、プラグインを有するWebブラウザ、又はモバイル又は電話アプリケーション等であるシステムを指す。クラウドシステム内のサーバ又はサーバクラスタは計算に極めて強力であり、複数のユーザを同時にサポートできる。サーバはどこに存在していてもよく、クラウドシステム内のソフトウェアのユーザがソフトウェア及びハードウェアのインストール及び保守に気を配る必要がないように、第三者によって管理されてもよい。
クラウドコンピューティングは、サービスを提供するシステムの物理的な場所及び構成に関するエンドユーザの知識を必要としない、計算、ソフトウェア、データアクセス、ストレージサービス、及びプリンティングサービスを提供する。クラウドコンピューティングプロバイダは、Webブラウザ、デスクトップ、及びモバイルアプリからアクセスされるインターネットを介してアプリケーションを配信する一方で、ビジネスソフトウェア及びデータは遠隔地のサーバに格納されている。クラウドアプリケーションサービスは、インターネットを介したサービスとしてソフトウェアを配信するため、顧客の所有するコンピュータにアプリケーションをインストールし、実行する必要がなくなり、メンテナンス及びサポートが簡略化される。
クラウドシステムは様々な構成で実装することができる。例えば、クラウドシステムは、パブリッククラウドシステム、コミュニティクラウドシステム、ハイブリッドクラウドシステム、プライベートクラウドシステム、又はそれらの組み合わせであってもよい。パブリッククラウドはクラウドコンピューティングを従来からの主流の意味で説明し、それによってリソースは、ユーティリティコンピューティングベースで請求するオフサイトのサードパーティプロバイダから、Webアプリケーション/Webサービス、又は他のインターネットサービスを介してインターネット上のセルフサービスベースで公衆に動的に提供される。コミュニティクラウドは、内部で又はサードパーティによって管理されるか及び内部又は外部でホストされるかに関わらず、共通の懸念(セキュリティ、コンプライアンス、管轄、等)を有する特定のコミュニティからの幾つかの組織の間でインフラストラクチャを共有する。コストはパブリッククラウドよりも少ない(しかしプライベートクラウドよりも多い)ユーザに分散されるため、クラウドコンピューティングの利点の幾つかだけが実現される。ハイブリッドクラウドは固有の事業体を残すが共に結合される2つ以上のクラウド(プライベート、コミュニティ、又はパブリック)の構成であり、複数の展開モデルの利点を提供している。簡単に言うと、図1に示すように、プログラムとデータが1つ展開システムから別のものへ容易に移動されることを可能にする方法で接続される複数のクラウドシステムとして定義することもできる。プライベートクラウドは、内部で又はサードパーティによって管理されるか又は内部又は外部でホストされるかに関わらず、単一の組織のためだけに運用されるインフラストラクチャである。一般に、プライベートクラウドへのアクセスは、その単一の組織又はその関連会社に制限される。
クラウドコンピューティングにおいて、クライアント113等のクライアントのユーザは、画像処理に関連するソフトウェア及びハードウェアを維持する必要はない。幾つかの状況において、Citrix又はJava(登録商標)又はプラグイン等の小さなソフトウェアのインストールがあってもよい。かかる構成は、ユーザに対する初期費用及び保守コストを低下させ、ハードウェア、ソフトウェア、又は保守コストは全く無いか、若しくは低い。クラウドサーバはバックアップ及び冗長性並びにセキュリティを扱うことができるため、ユーザはこれらの問題について心配する必要はない。ユーザは、同じものをインストールする必要なく、全て及び最新の臨床ソフトウェアに対するアクセスを有することができる。ツール及びソフトウェアは、サーバにおいて最新バージョンに(自動的に又はその他の方法で)アップグレードされる。プリンティング等のツールへのアクセスは、ソフトウェア制限によってではなく、アクセスレベルによって駆動され得る。クラウドサーバは、画像を前処理し、処理するためのより高い計算能力を有することができ、それらはより優れたバックアップ、冗長性、セキュリティオプションと共により大型で、より強力であってもよい。
一実施形態によれば、クラウドによって提供されるプリンティングサービスは、例えば、ユーザの数、症例アップロード(例えば、症例数、画像数、又は画像データ量)、症例ダウンロード(例えば、症例数、画像数、又は画像データ量)、処理及び/又は閲覧された症例数、画像処理要件、ユーザの種類(例えば、専門家、専門分野、又は一般ユーザ)に基づく、臨床試験によるか又は調査研究による、症例の種類、帯域幅要件、処理能力/速度要件、処理能力/速度に対する優先度(例えば、ER内のシステムは高い優先度に対する対価を支払ってもよい)、返済又は請求コード(例えば、ユーザは保険によって払い戻されるある特定の措置を実行するために支払うのみであってもよい)、ソフトウェアを用いる時間(例えば、年、月、週、日、時間、分でさえも)、ソフトウェアを用いる時刻、同時実行ユーザ数、セッション数、プリントサイズ、プリント数、プリントの量(cmA3当たり)、ファイルサイズ、画像操作の量、プリントするための材料の種類、プリント色、又はそれらの任意の組み合わせに基づく等の様々なライセンス許諾モデルに基づいて提供することができる。
別の実施形態において、サーバ109、変換サーバ114、及び/又はプリンティングサーバ115は、DICOMファイルを取得し、PHIを削除することができる匿名化モジュールを有することができる。別の実施形態において、クラウド103、変換クラウド、及び/又はプリンティングクラウドは、匿名化のために別個のサーバを有することができる。別の実施形態において、DICOMファイルがクラウド103、変換クラウド、及び/又はプリンティングクラウドにアップロードされる前に、DICOMファイルを非特定化及び/又は匿名化することができる別個のサーバが存在してもよい。
一実施形態において、ユーザは匿名化される項目を指定することができ、ここで各項目は、図7に示すように、GUI1100に列挙されたエントリのうちの1つで指定される。各項目は、そのDICOMタグ1101、名前1102、置き換えられる元の値1103、及び対応する元の値を置き換えるための置換値1104によって参照される。この実施例において、図7に示すように、ユーザは、列1104をクリックし、新しい値を入力することによって、新しい値を設定することができる。DICOMタグがデータタイプである場合、データセレクタが表示されて、ユーザがデータを選択することを可能にする。許可されている値が予め定義されている場合、ドロップダウンリストが予め定義されている値又は文字列のうちの1つを選択するために表示される。タグのために定義されているマスクがある場合、マスクされた編集GUIは、ユーザが表示されたマスクに従って値を変更することを可能にするよう表示される。ユーザ入力は、DICOMタグの種類に基づいてシステムによって調べられてもよい。情報が正しくない場合は、ユーザは正しい値を再入力するよう促されてもよい。全てのユーザ入力が収集された後、新しい匿名テンプレート又は構成ファイルが作成され、格納される。また、図7におけるGUIの形式又は構成は例証の目的だけのために説明され、他の形式又はレイアウトもまた利用されてもよいことに留意されたい。GUIは、ブラウザ又は電話又は他のモバイルデバイスアプリケーションの形態であってもよい。
ゲートウェイマネージャ107及び/又はサーバはデータを匿名化することができる。3D医用画像データは、匿名化テンプレートに基づいて3D医用画像データに関連するある特定のメタデータを除去することを含んで匿名化される。匿名化された3D医用画像データは、次いで、ネットワークを介してクラウドサーバへ自動的にアップロードされる。
図1は、3Dプリンティングクラウドベースのワークフローを示す一方で、ワークフローは、いずれかのクラウドにアクセスすることなく、特定のLAN/MAN内で実行される、病院及び病院ネットワーク等の特定の環境内でワークフローの全てのコンポーネントを展開するために、ローカルに配置することができる。
図2は、一実施形態による3Dプリンティングを用いるクラウドベースの画像処理システム(3Dプリンティングシステムと称する)を示すブロック図である。3Dプリンティングシステムは、LAN、MAN、WAN、又はそれらの任意の組み合わせであってもよいネットワークを介して1つ以上のクライアントに通信可能に結合される画像処理サーバであってもよい。画像処理サーバは、様々なプリンティングライセンス許諾モデルに基づいて、クラウドベースの画像処理サービスを3Dプリンティングと共にクライアントに提供するよう構成される。各クライアントは、画像処理サーバによって提供されるリソースにアクセスするよう画像処理サーバ内の画像処理サーバアプリケーションと通信するためのクライアントアプリケーションを含むことができる。画像処理システムは、各クライアントに1つずつ、仮想サーバ又は画像処理アプリケーションのインスタンスとして実装することができる。
一実施形態によれば、サーバ109は、ワークフロー管理システム205、医療データストレージ206、画像処理システム207、アクセス制御システム210、3Dプリンティングアプリケーション、追跡システム、又はそれらの任意の組み合わせを含むが、これらに限定されない。医療データストア206は、図1のデータベース110の一部として実装されてもよい。医療データストア206は、医療画像、医療データセンタ(例えば、PACSシステム)105又は他の画像格納システム215(例えば、CD−ROM、若しくはハードドライブ)から受信され、画像処理システム207及び/又は画像前処理システム204によって処理される画像データ、DICOM、OBJ、STL、VRML、X3G、PLY、FBX、HDF、AMF、STP、他の任意の互換性のあるプリンティング形式、ホログラフィックディスプレイ形式、又はそれらの任意の組み合わせを格納するよう利用される。画像処理システム207は、様々なライセンス許諾条件又は契約に従って、それぞれ、それらの各クライアントアプリケーションを介してクライアントによって呼び出され、利用され得る様々な医用画像処理ツール又はアプリケーションを含む。
医療データセンタから又は画像取込装置(図示せず)から又はCD若しくはコンピュータデスクトップ等の別の画像ソースから受信された画像データに応答して、一実施形態によれば、画像前処理システム204は、画像データのある特定の前処理を自動的に実行し、前処理された画像データを医療データストレージ206に格納するよう構成されてもよい。例えば、PACS105から又は直接、医用画像取込装置から画像データを受信すると、画像前処理システム204は、骨除去、中心線抽出、球体検出、位置合わせ、パラメトリックマップ計算、再フォーマット化、時間密度解析、構造のセグメント化、自動3D操作、及び他の操作等のある特定の操作を自動的に実行する。画像前処理システム204は別個のサーバとして実装されてもよいか、又は、サーバ109と統合されてもよい。更に、画像前処理システム204は、サーバ109等の複数のクラウドサーバのために画像データ前処理を実行してもよい。
一実施形態において、クライアント/サーバ画像データ処理アーキテクチャはシステム200にインストールすることができる。アーキテクチャは、クライアント区画(例えば、クライアントアプリケーション)及びサーバ区画(例えば、サーバアプリケーション209)を含むことができる。システム200のサーバ区画は、サーバ109上で実行することができ、それぞれ、クライアントにインストールされたそのクライアント区画と通信することができる。一実施形態において、サーバ109は複数のサーバ上に分散され、実行されている。別の実施形態において、システムは1つ以上のサーバ上で動作するWeb対応アプリケーションである。Webブラウジングアプリケーションがインストールされている任意のコンピュータ又は装置は、追加のハードウェア及び/又はソフトウェア要件のいずれかもなしで、又は最小限で、システムのリソースにアクセスし、利用してもよい。
一実施形態において、サーバ109は、医用画像取込装置から受信した医用画像データのためのデータサーバとして動作してもよい。受信した医用画像データは、次いで、医療データストア206に格納される。一実施形態において、例えば、クライアント202が未処理の医用画像データを要求する場合、サーバアプリケーション209は医療データストア206からデータを検索して取り出し、クライアント202に代わって取り出したデータをレンダリングする。
画像前処理システム204は、更に、ワークフロー管理システム205によって用いられるワークフロー情報を生成してもよい。ワークフロー管理システム205は、別個のサーバであってもよいか又はサーバ109と統合されてもよい。ワークフロー管理システム205は、本発明の幾つかの実施形態に従って複数の機能を実行する。例えば、ワークフロー管理システム205は、医用画像取込装置から受信した医用画像データを取得し、格納する際にデータサーバ機能を実行する。それはまた、2D又は3Dの医用画像ビューを生成するために医用画像データを処理する際にグラフィックエンジンとして機能するか又は画像処理システム207を呼び出してもよい。
一実施形態において、ワークフロー管理システム205は、グラフィックエンジンを有する画像処理システム207を呼び出して、2D及び3D画像生成を実行する。クライアント(例えば、複数のクライアント)がある特定の医用画像ビューを要求すると、ワークフロー管理システム205は医療データストア206に格納されている医用画像データを検索して取り出し、医用画像データから2D又は3D医用画像ビューをレンダリングする。医用画像ビューのための最終結果はクライアントに送信される。
一実施形態において、ユーザがサーバ109から受信した医用画像ビューに対して調整を行うと、これらのユーザ調整要求はワークフロー管理システム205に送り返される。ワークフロー管理システム205は、次いで、ユーザの要求に基づいて追加のグラフィック処理を実行し、新しく生成され、更新された医用画像ビューがクライアントに返される。このアプローチは、ネットワークを介して大量の未処理医用画像データを転送する必要性をなくす一方で、2D又は3D画像処理能力を最小限に有するか又は全く持たないクライアントコンピュータに2D又は3D画像閲覧を提供するため有利である。
上で説明したように、クラウドベースのアプリケーションとして実装される場合、システム200はクライアント側区画とサーバ側区画とを含む。システム200の機能は、クライアント側又はサーバ側区画に分散される。相当数の機能がクライアント側区画に分散されている場合、システム200は「シッククライアント」アプリケーションと称されてもよい。代替として、限られた数の機能がクライアント側区画に分散される一方で、機能の大部分がサーバ側区画によって実行される場合、システム200は「シンクライアント」アプリケーションと称されてもよい。別の実施形態において、システム200の機能は、クライアント側及びサーバ側区画の両方に重複して分散されてもよい。機能は処理及びデータを含んでいてもよい。サーバ109はWebサーバとして実装されてもよい。Webサーバは、サードパーティのWebウェブサーバ(例えば、Apache(商標)HTTPサーバ、Microsoft(登録商標)Internet Information Server及び/又はサービス、等)であってもよい。
画像処理操作は、医用撮像装置によって収集された医用画像データを入力として受信し、医用画像データを処理し、メタデータを出力として生成する。メタデータは、メタデータ要素とも称され、医用画像データを説明、処理、及び/又は管理するためのパラメータ及び/又は命令を広く指す。例えば、ワークフロー段階の画像処理操作によって生成されたメタデータは、診断目的のために医用画像ビューを生成するよう医用画像データに適用することができる画像処理パラメータを含む。更に、医用画像ビューの様々な自動及び手動操作もメタデータとして取り込むことができる。医用画像ビューの様々な自動及び手動のマスキング及び/又は色付けもメタデータとして取り込むことができる。従って、メタデータは、メタデータが保存された場合の状態にシステムを戻すことを可能にする。メタデータは、また、クライアント装置に表示されるように画像をプリント(例えば、3Dプリント)するために用いることができる。メタデータは、また、クライアント装置に表示されるように画像のホログラムを表示するために用いることができる。ワークフロー管理システム205は、また、情景から生成された医用画像ビューのユーザ調整中に情景の更新及び保存を可能にする。
図2に戻って参照すると、一実施形態によれば、サーバ109は、クライアントから医療データストア206に格納されたリソース(例えば、画像処理ツール)及び/又は医療データへのアクセスを制御するためのアクセス制御システム210を含むことができる。クライアントは、それらそれぞれのアクセス権限に応じて、リソースのある特定の部分にアクセスするか及び/又は医療データストア206に格納されたデータを仲介してもよいか又はしなくてもよい。例えば、ユーザ権限によって、一部のユーザはプリントすることができる一方で、他のユーザはプリントすることができない可能性がある。各ユーザの好みがクレジットに関連付けられているクレジットシステムがあってもよい。クレジットは、プリント可能な量(cm)又はプリント可能なオブジェクト数を特定することができる。追跡システムは、ユーザに関連付けられたクレジット数、プリント、総量、プリントの種類、又はそれらの任意の組み合わせを追跡することができる。
DICOM(医療におけるデジタル画像と通信)形式は、超音波及びスキャン等の医用画像の転送及び格納に対して一般的に用いられている。DICOMファイルは、患者と医用画像に関する情報を格納することができる画像データ及びヘッダの両方を含むことができる。ユーザはDICOMファイルを開き、編集し、及び保存することができる。メタデータは、患者データ(例えば、患者名、ID、性別、生年月日、又はそれらの任意の組み合わせ)、検査データ(例えば、検査ID、紹介医師、検査日付及び時刻、検査の説明、又はそれらの任意の組み合わせ)シリーズデータ(例えば、シリーズ番号、モダリティ、シリーズ日付及び時刻、シリーズの説明、又はそれらの任意の組み合わせ)、機器データ(例えば、機器の機関及び製造元)、画像データ(例えば、転送構文、YBR full 422及びRGB等の光度測定解釈、画像の幅及び高さ、ピクセル当たりのビット数、及びフレーム数)、色(例えば、方向、色、レンダリング、及び色表現により行われるシェーディングによるシェーディングを有することができる表面モード)、テクスチャ、形状、ベクトル情報、ピクセル情報、セグメンテーションボリューム及びサブボリューム、ライティング、シャドーイング、ルックアップテーブル(LUT)、マルチボリューム管理、又はそれらの任意の組み合わせを含むことができる。かかる情報はDICOMヘッダファイルのヘッダ内に含めることができる。例えば、色情報はDICOMヘッダファイルのヘッダ内の色表面を示すことができる。
サーバ109は3Dプリンティングアプリケーションを含むことができる。ユーザがワークフロー内にいる場合、ユーザは画像を操作することができる(上で説明したように)。かかる画像の操作は画像のメタデータ内に保存することができる。ユーザが画像の操作を行った後にユーザがプリントをクリックすると、3Dアプリケーションは、画像の操作がメタデータ内に取り込まれるように、新規DICOMファイルを作成するか又はDICOMファイルを更新することができる。例えば、DICOMメタデータは、色(例えば、方向、色、色表現により行われるシェーディングによるシェーディングを有することができる表面モード)、ベクトル情報、ピクセル情報、セグメンテーションボリューム及びサブボリューム、ライティング、陰影、LUT、又はそれらの任意の組み合わせを含むことができる。新規DICOMファイル又は更新されたDICOMファイルは、ユーザがクライアントに表示されている画像と全く同じ3Dプリントを取得又は受け取ることを可能にすることができる。独自のLUTを有することができるボリューム及び/又はサブボリュームがあってもよい。DICOMファイルは、ユーザがプリント機能を実行する時に作成することができる。別の実施形態において、DICOMファイルは、ユーザが画像を操作する度に作成/更新することができる。
図2に戻って参照すると、一実施形態によれば、サーバ109は、画像データファイル、DICOMファイル、DICOMヘッダ、又は保護された医療情報を含む任意の他のファイルから保護医療情報を除去するようデータを匿名化及び/又は非特定化するための匿名化システムを含むことができる。匿名化システムは、データがサーバ109によって処理される前にデータを匿名化及び/又は非特定化することができる。匿名化システムは、データが変換クラウドに送信される前にデータを匿名化及び/又は非特定化することができる。
図3は、一実施形態による3Dプリンティングを用いるクラウドベースの画像処理のための方法を示すフロー図である。方法は、サーバ109等のサーバによって実行されてもよい。画像データ(例えば、DICOMファイルを含む)は、ネットワークを介してストレージ媒体(例えば、PACS、クラウドベースストレージ、ローカルドライブ、CD、ハードドライブ、DVD、USB、Webアップローダ、クライアント装置上の任意のDICOMフォルダ、又はそれらの任意の組み合わせ)からサーバにおいて受信され得る。サーバは、画像データを操作する(すなわち、セグメント化、色、マスク、手動処理、自動処理、前処理、又はそれらの任意の組み合わせ)ようクライアント装置からの要求を受信することができる。サーバは、クライアント装置によって要求されたように画像データを操作することができる。サーバは、画像データをプリントするようクライアント装置による要求を受信することができる。サーバは、画像操作の結果及びサーバによる色の濃淡等の追加のデータが埋め込まれた新しいファイル(例えば、DICOMファイル)を作成することができる。例えば、新規DICOMファイルは、色(例えば、方向、色、色表現により行われるシェーディングによるシェーディングを有することができる表面モード)、ベクトル情報、ピクセル情報、セグメンテーションボリューム及びサブボリューム、ライティング、陰影、LUT値、明度、不透明度、又はそれらの任意の組み合わせを含むことができる。サーバは新規DICOMファイルをデータベースに格納することができる。サーバは新規DICOMファイルを変換クラウドに送信することができる。
図4は、一実施形態による3Dプリンティングを用いるクラウドベースの画像処理のための方法を示すフロー図である。方法は、サーバ109等のサーバによって実行されてもよい。画像データ(DICOMファイルを含む)は、ネットワークを介してストレージ媒体(上で説明した)からサーバにおいて受信することができる。サーバは、画像データ(上で説明した)を操作するようクライアント装置から要求を受信することができる。サーバは、クライアント装置によって要求されたように画像データを操作することができる。サーバは、画像データをプリントするようクライアント装置による要求を受信することができる。サーバは、画像操作の結果及びサーバによる色の濃淡等の追加のデータが埋め込まれた新しいファイル(例えば、DICOMファイル)を作成することができる。サーバは新規DICOMファイルをデータベースに格納することができる。サーバは、保護医療情報(例えば、患者名、生年月日、等)を削除するために新規ファイルを匿名化又は非特定化することができる。サーバは新規ファイルを変換クラウドに送信することができる。別の実施形態において、画像データファイルは、サーバ109によって受信される前に匿名化又は非特定化することができる。
一実施形態において、DICOM形式に基づく新規ファイル形式はSTL変換を回避することができる。一実施形態において、新規形式は、「そのまま」プリントされるモデルをエクスポートし、高品質の画像解像度を維持することを可能にすることができる。一実施形態において、サーバ109はモデルのアップロードの進捗状況を追跡することができる。一実施形態において、サーバは、クライアントデバイスによるドラッグアンドドロップ要求を実行して、画像データをクライアントビューアにアップロードすることができる。図5A〜5Eは、一実施形態による、3Dプリンティングを用いるクラウドベースの画像処理システムのある特定のGUIを示すスクリーンショットである。図5A〜5EのGUIは、クライアントアプリケーション(例えば、シンクライアント)又は様々なユーザによって操作されるWebベースのアプリケーションによって提示されてもよい。例えば、図5Aは、クライアントアプリケーション内のツールを介してある特定の領域を色付け、マスキング、強調、又は除去するようユーザによって前処理又は操作されていてもよい解剖学的画像を有することができるユーザによって操作されるGUIページを表すことができる。図5Aを参照すると、この実施例において、ユーザは3D概要ビューにおいて解剖学的画像を閲覧することができる。図5Bを参照すると、ユーザは多数のツール及びオプションをクリックし、有することができる。例えば、1つのオプションは3Dプリンタにエクスポートすることであってもよい。図5Cを参照すると、プリントされるエクスポートファイルはDICOMプロトコル転送をサポートすることができる。エクスポートしたファイルはDICOMノードにプッシュされてモデルをユーザーアカウントにアップロードすることができる。ユーザは、ユーザの3Dプリンティングアカウントへの3Dモデルの自動転送を作成するための自動化オプションを有することができる。図5Dは、ユーザのプリンティングアカウントへのアクセス制御を有するユーザによって操作されるGUIページを表すことができる。ユーザのプリンティングアカウントはクラウド上又はWeb環境内でホストとして動作され得る。各ユーザは自身のユーザーライブラリを管理することができる。図5Eは、モデル製作の前に各モデルをプレビューし、確認することができる(すなわち、3Dプリンティングが開始する)ユーザによって操作されるGUIページを表すことができる。モデルをプリントする準備が整っていることをユーザが確認する場合、ユーザはショッピングカートアイコンをクリックすることができる。図5Eは、各ユーザが自身のモデルライブラリに対するアクセスを有することができる、ユーザによって操作されるGUIページを表している。ユーザのアカウントにプッシュされるモデルはプリントする準備が整っていてもよい。ユーザによって受け取られる3Dモデルは、画像処理プラットフォームから作成されたものと同じモデルであってもよい。
図6は、ある特定のGUIを示すスクリーンショットである。図6は、解剖学的画像を有することができる、ユーザによって操作されるGUIページを表すことができる。ユーザは、任意の特定のサブボリューム(対象領域)又はそれらの全てに適用されるLUT(1つ又は複数)を閲覧し、画像を操作するためのオプションを利用することができる。LUTは、WW、WL、不透明度、明度、上昇直線、直角三角形、上昇直線、色、マスク、テクスチャ、又はそれらの任意の組合せを操作するためのツールを含むことができるが、それらに限定されない。LUTの値は、新規DICOMファイルに含まれる(上で説明したように)又はDICOMファイルにおいて更新され得る。
一実施形態において、3Dプリンティングを有するクラウドベースの画像処理システムは画像処理サーバからDICOMとしてエクスポートすることができる。一実施形態において、3Dプリンティングを有するクラウドベースの画像処理システムは複数のボリュームをサポートすることができる。一実施形態において、3Dプリンティングを有するクラウドベースの画像処理システムは、ボリューム/サブボリューム毎にLUTをサポートすることができる(すなわち、各ボリュームはそれ自体のLUTを有することができる)。一実施形態において、3Dプリンティングを有するクラウドベースの画像処理システムはLUTを埋め込むことができる。
図8は、一実施形態によるLUT及びマスキングのグラフを示している。この技術は、医療用ボリュームを複数のサブボリュームにより処理して、骨、血管、器官、腫瘍等のような特定の人体構造を明確に識別し、それらに特定のレンダリング(色、陰影、透明度、不透明度、テクスチャ等)を適用することを可能にする。この技術は、また、3Dプリンティング用のプリント可能ファイルを作成するために用いられるサブボリューム最適化レンダリングの作成も可能にする。この技術は、また、ホログラフィック技術、装置、及び/又はプラットフォームを用いて患者固有のセグメント化のホログラムのレンダリング、及び/又は仮想現実技術、装置、及び/又はプラットフォームを用いて患者の仮想表現を可能にする。
図9は、一実施形態によるDICOMファイルのストレージ構造を示すブロック図である。DICOMファイルは、画像、メタデータ、及びその他の情報を格納するよう構成され得る。他の情報は、オーバーレイオブジェクト、プロプライエタリ情報(例えば、画像オブジェクト、プロプライエタリメタデータ、元の画像に含まれないメタデータ、元のメタデータに含まれないメタデータ、又はそれらの任意の組み合わせ)、LUT、マルチボリューム管理、レンダリング、形状表面の詳細、本明細書に説明する任意の特徴、又はそれらの任意の組み合わせを含むことができる。DICOMファイルは、約2バイト(すなわち、約16ビット)であってもよい。画像及び/又はメタデータは、約10ビットから約12ビットのDICOMファイル、例えば、10ビット、11ビット、又は12ビットに格納することができる。他の情報は、約1ビットから約4ビット(例えば、1ビット、2ビット、3ビット、又は4ビット)のDICOMファイルに格納することができる。他の情報は、ファイルの任意の部分にわたって、例えば、最後に、中間に、最初に、画像及びメタデータ情報を格納するビット内に広がる、又はそれらの任意の組み合わせで格納することができる。DICOMファイル(又は本明細書で言及されている他のファイル種類)は、例えば、OBJ、STL、VRML、X3G、PLY、FBX、HDF、3Dプリンティング又はホログラフィックディスプレイのための他の互換形式、又はそれらの任意の組み合わせに変換することができる。
図10は、一実施形態による診断ソフトウェアアプリケーション上でのモデルの3Dプリンティングを示すフローチャートである。サーバは、医用撮像装置から、例えば、DICOMファイルを含む生画像データを受信することができる。サーバは、クライアントアプリケーション、前処理サーバ、後処理サーバ、又はそれらの任意の組み合わせに基づいて、自動化、半自動化、又は手動結果により画像データを操作(例えば、セグメント化)することができる。サーバは、埋め込まれる他の情報と共にDICOMファイルをエクスポートするためのクライアントアプリケーションによる要求を受信することができる。埋め込まれる他の情報は操作に関するデータを含むことができる。サーバは埋め込まれた他の情報により新規DICOMファイルを作成することができる。サーバは、ユーザーアカウントへのDICOMプッシュを介して、埋め込まれた他の情報と共に新規DICOMファイルをアップロードすることができる。サーバは、3Dモデルをプリントするために、埋め込まれた他の情報を有する新規DICOMファイルを3Dプリンティング互換形式(例えば、OBJファイル)に変換することができる。
一実施形態において、ユーザは、3DプリントされるモデルがLUT及び/又はメタデータ内の任意の特性を含めてクライアント上に表示されるものと同じ属性を表すように、クライアント上に表示されるオブジェクトをプリントすることができる。言い換えれば、ユーザがディスプレイ上で見るものは、ユーザが3Dプリントされたモデルとして受け取るもの、又はホログラフィック及び/又は仮想現実装置内でレンダリングするものであってもよい。
図11は、一実施形態による、別のファイル種類(例えば、OBJ)へのDICOMファイルの変換を示すブロック図である。本明細書に説明するものと同じ技法が、任意のファイル種類(例えば、DICOM、非DICOM、OBJ、STL、VRML、X3G、PLY、FBX、又はHDF)を、診断ソフトウェアアプリケーションから3Dモデルをプリントするための任意のファイル種類(例えば、DICOM、非DICOM、OBJ、STL、VRML、X3G、PLY、FBX、又はHDF)に変換できることに留意されたい。一実施形態において、サーバはファイルを自動的に(すなわち、ユーザの操作なしに)又はユーザの要求により変換することができる。サーバはボクセルモデルをポリゴンファイル形式に(例えば、DICOMからOBJへ)変換することができる。変換は、埋め込まれた他の情報を有する新規DICOMファイルを用いて、関連する他の情報を有する各ボリュームを単一のプリンタ読取り可能形式に変換することができる。
上で説明したようなセグメント化された医療用ファイルは、図8に示すファイル形式記述を用いてその生の形式(DICOM)でレンダリングすることができる。レンダリングは、ユーザがその閲覧装置に関係なく、3Dモデル又はホログラムとして3D再構成にアクセスすることを可能にする。例えば、閲覧装置は、仮想現実閲覧装置又は複合現実(拡張現実)閲覧装置であってもよい。
例えば、セグメント化されたモデルは、その生の形式で、サーバ側のホスティングでレンダリングされるか、1つ又は複数のGPUに接続される。このサーバ側レンダリングは、モデルがそのファイルサイズに関係なくレンダリングされることを可能にする。レンダリングはボリューム操作(回転、パン、ズーム、WW/WL、切断平面等)の結果である。この操作結果は、ユーザ識別情報を用いてサーバに接続されるクライアント装置にリアルタイムで送信される。このプラットフォームは、ユーザがユーザの特定のデータを含む独自の環境に接続することを可能にする。
3Dホログラム及び/又は任意のロードされたアプリケーションは、共有機能を介して1人又は複数のユーザによってリアルタイムで見ることができる。この機能は、ホログラフィック環境をリアルタイムで見て、それについて通信する複数の使用を可能にする。これは、医療従事者がロードされた画像について通信することを可能にする。
例えば、図12は、それぞれが独自の機能、用途、及び使用法を有する幾つかのアプリケーションをロードし、レンダリングすることができる医療ホログラフィックプラットフォームを示している。
図13は、予めセグメント化されたデータ及びカスタマイズされたLUT並びにその元の2D放射線図(軸方向、冠状、及び矢状)を用いる医療ボリューム(心臓)レンダリングを示しており、放射線図のそれぞれは、MIP及びMPR等の特定のレンダリングにより個々に操作することができる。
図14A及び図14Bは、この場合、大動脈弁、大動脈基部、及び冠動脈入口点等の人体特定領域をより良好に視覚化するために切断平面を有する特定の視野角を用いるHOLOPORTAL拡張及び複合現実コンテンツ作成システムを用いる医療ホログラムレンダリングを示す。
図15は、ホログラム作成、ローディング、及びクライアントサーバ接続、並びにクライアントとレンダリングサーバとの間のホログラム操作を説明している。ブロック150において、生画像データがサーバによって受信される。ブロック151において、画像はサーバによって操作される。ブロック152において、サーバは他の埋め込まれた情報を有するDICOMファイルをエクスポートする要求を受信する。ブロック153において、サーバは他の埋め込まれた情報を有する新規DICOMファイルを作成する。ブロック154において、埋め込まれた他の情報を有する新規DICOMファイルがアップロードされる。ブロック155において、埋め込まれた他の情報を有するDICOMファイルがサーバのグラフィックス処理ユニット(GPU)にロードされる。ブロック156において、サーバはレンダリング結果を接続されている装置に送信する。ブロック157において、ホログラフィックプラットフォームアプリケーションのユーザは、接続されている装置上のインターフェースを用いてサポートされるインタラクションを介して画像操作を実行する。例えば、サポートされるインタラクションは、音声コマンド、ジェスチャ制御キーボード/マウス制御等を含むことができる。ブロック158において、サーバは、コマンドに応答して、例えば、ビュー位置、ビュー角度、位置、切断平面等のうちの1つ又は複数への変更を含む新規画像をレンダリングする。ブロック159において、ユーザはホログラフィックプラットフォームアプリケーションを終了する。
図16は、共有体験構成における、ホログラム作成、ローディング、及び複数のクライアントと1つのレンダリングサーバとの間のホログラム操作を説明している。ブロック160において、生画像データがサーバによって受信される。ブロック161において、画像はサーバによって操作される。ブロック162において、サーバは他の埋め込まれた情報を有するDICOMファイルをエクスポートする要求を受信する。ブロック163において、サーバは他の埋め込まれた情報を有する新規DICOMファイルを作成する。ブロック164において、埋め込まれた他の情報を有する新規DICOMファイルがアップロードされる。ブロック165において、埋め込まれた他の情報を有するDICOMファイルがサーバのグラフィックス処理ユニット(GPU)にロードされる。ブロック166において、サーバはレンダリング結果を接続されている装置に送信する。ブロック167において、接続されている装置を介してホログラフィックプラットフォームに接続する各許可ユーザがサポートされるインタラクションを介して画像操作を実行することを可能にする共有アクティベーションが実行される。例えば、サポートされるインタラクションは、音声コマンド、ジェスチャ制御キーボード/マウス制御等を含むことができる。ブロック168において、サーバは、第1のユーザ(ユーザ1)からのコマンドに応答して、例えば、ビュー位置、ビュー角度、位置、切断平面等のうちの1つ又は複数への変更を含む新規画像をレンダリングする。ブロック169において、ユーザはアプリケーションを終了する。
ブロック170において、接続された装置の第2のユーザ(ユーザ2)がホログラフィックプラットフォームに接続する。ブロック171において、第2のユーザは、共有機能を選択して開かれたコラボレーションルームを選択する。ブロック171において、第2のユーザは別個のホログラフィック空間を作成し、第1のユーザと同じレンダリングを要求する。例えば、要求は、ホログラフィック空間内の第2のユーザの仮想位置を反映するようホログラフィック空間内の位置補正を含む。ブロック173において、サーバは、第2のユーザからのコマンドに応答して、例えば、ビュー位置、ビュー角度、位置、切断平面等のうちの1つ又は複数への変更を含む新規画像をレンダリングする。
ブロック180において、接続された装置の第3のユーザ(ユーザ3)がホログラフィックプラットフォームに接続する。ブロック181において、第3のユーザは、共有機能を選択して開かれたコラボレーションルームを選択する。ブロック181において、第3のユーザは別個のホログラフィック空間を作成し、第1のユーザと同じレンダリングを要求する。例えば、要求は、ホログラフィック空間内の第3のユーザの仮想位置を反映するようホログラフィック空間内の位置補正を含む。ブロック183において、サーバは、第3のユーザからのコマンドに応答して、例えば、ビュー位置、ビュー角度、位置、切断平面等のうちの1つ又は複数への変更を含む新規画像をレンダリングする。
図17及び図18は、医療用ホログラフィックプラットフォームがコラボレーション及び共有を可能にするためにどのように機能するかを示している。
図17は、単一のユーザ191のみが存在している場合を示している。ユーザ191は、機能192と対話するための利用可能なツール193を有し、RADVIEW試験及び性能監視ソフトウェア等の試験及び性能監視ソフトウェア195並びにコラボレーション/共有を含む機能を用いるために利用可能なツール196を有する。ユーザ191は、ツール199を用いて、ホログラフィック表示環境においてホログラム198と対話する。ツール194は、機能192と対話するためにユーザ191又は他のユーザによって用いられ得る他のツールセットを表し、ツール197は、試験及び性能監視ソフトウェア195のためにユーザ191又は他のユーザによって用いられ得る他のツールセットを表す。
図18は、ユーザ200がホログラム198の観察者として追加されていることを示している。ユーザ201はホログラム198を見るだけでモデルを制御しない。例えば、ホログラム198は、ホログラム198内のユーザ191のための視野位置と同じ視野位置にユーザ201を配置し、ホログラム198は、ユーザ191がホログラム198内で見るものと同じ視野角をユーザ201に示す。例えば、この観察者構成は、医療従事者及び/又は医学生及び/又は患者と通信及び/又は教育するために用いることができる。
図19は、ユーザ201がホログラム202の観察者として追加されていることを示している。ユーザ201はホログラム202を見るだけでモデルを制御しない。例えば、ホログラム202は、ホログラム198内のユーザ191のための視野位置とは異なる視野位置にユーザ201を配置し、ホログラム198は、ユーザ191がホログラム198内で見るものとは異なる視野角をユーザ201に示す。例えば、この観察者構成も、医療従事者及び/又は医学生及び/又は患者と通信及び/又は教育するために用いることができる。代替の実施形態において、ユーザ201は、ユーザ201が見る視野位置及び視野角を変えることができる。
例えば、ホログラフィック空間にロードされるアプリケーションは、2Dアプリケーション(医療用2Dスライス操作若しくは他の任意の2Dアプリケーション)又は3Dアプリケーション(医療用3Dボリューム操作)であってもよい。2D又は3D画像をレンダリングするために用いられるレンダリング技術は、VR3D、MIP、MPR、Thick MPR、Thick MIP等、複数であってもよい。これらのレンダリングテクニックは、ユーザが、異なる方法を用いて、1つ若しくは別のレンダリング技術若しくはその組み合わせを用いて良好に視覚化することができる対象の幾つかの領域を良好に示すモデルをレンダリングすることを可能にする。
例えば、上で説明した医療用ホログラフィックプラットフォームは、ホログラムを操作するよう、医用画像又はセグメント化された医療用ビューアを取り込むための基本層として用いることができる。追加のアプリケーション、機能、及び機能のアンサンブルは、特定の臨床領域に焦点を当てた特定のアプリケーションを構築するために用いることができる。上で示したように、かかる医療用ホログラフィックプラットフォームは画像操作を可能にする。リアルタイムホログラム位置合わせ等の追加機能は、医療用ホログラフィックプラットフォームにおいて、例えば、特定のAPIを用いるプラットフォームに対して含めることができる。
上で説明した医療用ホログラフィックプラットフォームは、ユーザが同じ物理的位置及び/又は異なる物理的位置においてリアルタイムでモデルを共有することを可能にするリアルタイムコラボレーションを含んでいる。例えば、音声制御がプラットフォームを制御するために用いられてもよい。例えば、医療用ホログラフィックプラットフォームは、患者教育、医療専門家教育、多くの学問分野にわたる専門家のコミュニケーション、手術室でのコラボレーション等のような様々な状況においてユーザ間で共同作業するために用いることができる。
医療用ホログラフィックプラットフォーム及びアーキテクチャは、ホログラムをレンダリングするか又は3D画像、拡張現実、若しくは仮想現実をレンダリングするために用いられる技術に関係なく、及び用いられるインターフェース装置に関係なく、1つ又は複数の装置の接続を可能にする。インターフェース装置は、例えば、ヘルメット、眼鏡、電話、タブレットコンピューティング装置、スマートフォン等のモバイル装置、ラップトップコンピューティング装置、ワークステーション、診断モニタ、複数のモニタ等を含むことができる。
例えば、医療用ホログラフィックプラットフォームは、決定論的及び/又は人工知能アルゴリズム等の様々な種類のアルゴリズムを用いる医用画像処理の結果として提供される自動化マスク(骨、胸郭等)、自動化ラベリング(骨、血管、器官等)、自動化中心線(血管、結腸、気管等)、及び他の自動化タスクを含む前処理医療データを読み取る。アルゴリズムはホログラムのビューのカスタマイズを可能にする。カスタマイズは、例えば、対象領域に焦点を合わせるため、情報をホログラムに追加するため、幾つかの身体特異性(血管、骨等)を検出するため、及び特定のビューに適用するために用いることができる。
図20は、自動化された3dプリンティングワークフローを示す略フロー図である。ブロック211において、サーバは3Dセグメント化医用画像データを変換するための要求を受信する。例えば、サーバはインターネット又は広域ネットワークを介して要求を受信するクラウドサーバである。代替として、サーバはローカルエリアネットワーク(LAN)上のサーバである。例えば、3Dセグメント化医用画像データは、ユーザと関連付けられるクライアント装置で実行されているアプリケーションからのものである。セグメント化は、例えば、特定の人体解剖学的構造又は対象領域の複数のサブセグメント化(個々のマスク)からなっている。セグメント化は、医用画像データを含む元のファイルをプリント可能ファイルに変換するために用いられる。ユーザは元のデータをセグメント化するために用いられる医療用アプリケーションを用いてこれを要求する。
ブロック212において、変換されたデータへのアクセス制限が特定される。例えば、変換されたモデルのアクセス(クラウド又はローカル設置ベースのアーキテクチャ)は、3Dプリンティングサービス要求を処理するため、又はサーバによって確立されたプラットフォームから変換されたモデルにアクセスするために特定のユーザに制限される。
ブロック213において、医用画像ファイルは医用画像データから作成される。医用画像ファイルはセグメント化及びサブセグメント化を含む。例えば、医用画像ファイルはDICOMファイル形式であり、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、不透明度、及びこれら全ての情報がヘルスケアネットワーク内で都合よく転送されることを可能にする医療データからの対象領域の多くを含んでいる。例えば、DICOM画像は、アップロードされ、閲覧され、サイズ調整され、3Dプリンタによって読み取り可能なプリント可能ファイルに出力されるよう医療用3D後処理ワークステーション上で生成される。例えば、DICOM医用画像ファイル形式は、解剖学的構造の複数の異なるボリューム及びサブボリュームのセグメント化に関する情報を埋め込む。サブボリュームは、特定の骨、血管、及び筋肉等であってもよい。各ボリューム又はサブボリュームに対して、例えば、カラーパレット及びライティング(明度又は透明度)情報が格納される。
ブロック214において、医用画像ファイルは、3Dプリンタ上で用いるためのプリント可能ファイルを作成するために用いられる。プリントされる場合、結果として生じる3D物理的オブジェクトは、例えば、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、不透明度、及び対象領域を含む正確なセグメント化及びサブセグメント化を表す。例えば、プリント可能ファイルは、特定の出力先プリンタによってサポートされるポリゴンメッシュファイルである。形式は、読み取り可能なPC形式、OBJ、3MF、STL、FBX、又は3Dプリンタによって用いられる他の幾つかの形式であってもよい。
図21は、ホログラフィックプラットフォーム内でレンダリングすることができるか又は仮想現実環境においてレンダリングすることができるファイルを生成するための自動化されたワークフローを示す略フロー図である。例えば、ホログラフィックプラットフォームは、ホログラフィック閲覧専用の装置上で実行することができるか、又は、パーソナルコンピュータ、スマートフォン、又はタブレットコンピューティング装置等の汎用コンピューティング装置上にホログラフィック閲覧環境を確立するプログラムによって閲覧環境内で実行することができる。
ブロック221において、サーバは3Dセグメント化医用画像データを変換するための要求を受信する。例えば、サーバはインターネット又は広域ネットワークを介して要求を受信するクラウドサーバである。代替として、サーバはローカルエリアネットワーク(LAN)上のサーバである。例えば、3Dセグメント化医用画像データは、ユーザと関連付けられるクライアント装置で実行されているアプリケーションからのものである。セグメント化は、例えば、特定の人体解剖学的構造又は対象領域の複数のサブセグメント化(個々のマスク)からなっている。セグメント化は、医用画像データを含む元のファイルをホログラフィック可能ファイルに変換するために用いられる。ユーザは元のデータをセグメント化するために用いられる医療用アプリケーションを用いてこれを要求する。
ブロック222において、変換されたデータへのアクセス制限が特定される。例えば、変換されたモデルのアクセス(クラウド又はローカル設置ベースのアーキテクチャ)は、ホログラム又は3Dモデルをホログラフィック又は仮想現実プラットフォームにレンダリングするために特定のユーザに制限される。例えば、ホログラフィック又は仮想現実プラットフォームは、ホログラフィック又は仮想現実を表示することに専念する装置上で動作するか、又は、パーソナルコンピュータ、スマートフォン、又はタブレットコンピューティング装置等の汎用コンピューティング装置上のアプリケーションとして動作する。
ブロック223において、医用画像ファイルは医用画像データから作成される。医用画像ファイルはセグメント化及びサブセグメント化を含む。例えば、セグメント化及びサブセグメント化は、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、不透明度、及びこれら全ての情報がヘルスケアネットワーク内で都合よく転送されることを可能にする医療データからの対象領域を含んでいる。
図22は、レンダリングされた医用画像を複数人が閲覧することを示す略フロー図である。ブロック231において、サーバは、クライアントシステムへのストリーミングのために3Dセグメント化医用画像データを医用閲覧データにレンダリングする。例えば、サーバはインターネット又は広域ネットワークを介して要求を受信するクラウドサーバである。代替として、サーバはローカルエリアネットワーク(LAN)上のサーバである。例えば、3Dセグメント化医用画像データは、ユーザと関連付けられるクライアント装置で実行されているアプリケーションからのものである。セグメント化は、例えば、特定の人体解剖学的構造又は対象領域の複数のサブセグメント化(個々のマスク)からなっている。セグメント化は、特定の人体解剖学的構造又は対象領域の個々のセグメント化マスクの複数のサブセグメント化からなっている。例えば、サーバは、医用画像をその生の形式(例えば、DICOM医療データ形式)でレンダリングしてクライアントにストリーミングする。例えば、クライアントは、HoloLens(商標)ヘッドセット等のホログラフィックデバイス、又はスマートフォン、タブレットコンピューティング装置、ラップトップコンピュータ等のモバイル装置及び/又は仮想現実装置上で動作するホログラフィックプラットフォームである。例えば、サーバレンダリングは、いずれかのファイルサイズの制限なしに、及びCTスキャナ及び/又はMRI装置等の1つ以上の撮像装置によって取得されるような元の形式でのレンダリングを可能にする。
ブロック232において、レンダリングされるような医療用閲覧データは、拡張現実環境及び/又は仮想現実環境に配置される。代替として、又は加えて、医療用閲覧データは、専用の医療用ビューアによってレンダリング及び閲覧される。例えば、医療ビューワは、例えば、拡張現実及び/又は仮想現実の使用を含む、特殊な医療用途及び機能を含む。
ブロック233において、エンドユーザは、レンダリングされた医療用閲覧データをレンダリングし、操作し、調整し、及びレンダリングのためのアルゴリズムを適用する。閲覧されるようなデータは、例えば、3Dレンダリングされたデータ、ホログラム、特別な医用画像閲覧装置で閲覧するためにフォーマットされた画像データのうちの1つ又はそれらの組み合わせであってもよい。
ブロック234において、他のユーザは、エンドユーザに表示される医療用閲覧データへの閲覧を提供される。例えば、1人又は複数の他のユーザが、エンドユーザのビューに表示されているものをリアルタイムで自身の閲覧装置で表示することを可能とされている。これは、例えば、そのロードされた要素を含む同じホログラフィック又は仮想環境を含む。例えば、医用画像ビューワは、設定と同期されて、同じ拡張現実眼鏡において同時に閲覧される拡張現実体積測定解剖学的オブジェクトを生成するために用いられる元の医用画像データの向きを含む仮想閲覧領域に配置される。又は同様に、PCモニタ、モバイル装置、又は他の閲覧装置、又はそれらの組み合わせ等の別の装置で閲覧される。
共有ホログラフィック環境又は仮想環境は、エンドユーザによって操作及び共有することができ、例えば、ロードされたアプリケーション、ロードされた画像、ロードされた3Dレンダリング等について他のユーザとの検討を可能にする。共有環境は、各ユーザの実際の4D取込としての各ユーザの表現、又はそれらの3D表現を含むことができる。
代替として、又は加えて、異なるユーザ装置上の数人のユーザは、上で説明したように、観察者構成において異なるビューア位置を確立することができ、異なるビューア位置は、例えば、エンドユーザが見ているものとは異なる視野角を含む、エンドユーザのための閲覧位置とは異なる閲覧位置にビューアを配置することを含んでいる。
例えば、医用画像ビューワ上のユーザは、仮想閲覧領域に仮想的に配置される。同じ種類の医用画像ビューアにおいて同時に閲覧される拡張現実体積測定解剖学的オブジェクトを作成するために用いられる元の医用画像データの設定及び向きの同期が存在する。例えば、各医用画像ビューアは拡張現実眼鏡を含む。また、仮想現実についても同様に、PCモニタ、モバイル装置、若しくは他の閲覧装置、又はそれらの組み合わせで閲覧することが用いられてもよい。
前記の検討は、単に例示的な方法及び実装を開示及び説明している。当業者によって理解されるように、開示した主題はその精神又は特徴から逸脱することなく他の特定の形態で具現化されてもよい。従って、本開示は、以下の特許請求の範囲に記載する本発明の適用範囲の例示であることを意図しているが、限定するものではない。

Claims (16)

  1. ネットワークを通じて自動化される三次元(3D)プリンティングワークフローを提供するための方法であって、
    前記ネットワークを介してネットワークサーバにより、3Dセグメント化された医用画像データを3Dプリンタでプリントするためのプリント可能な情報に変換する要求を受信することと、
    変換されたデータへのアクセスを1人以上の許可ユーザに制限することと、
    前記3Dセグメント化医用画像データを変換されたデータファイルに変換することであって、前記変換されたデータファイルは、特定の人体解剖学的構造又は対象領域の複数のサブセグメント化を可能にする医用画像データファイル形式であり、前記医用画像データファイル形式は、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、及び不透明度の格納を可能にすることと、
    前記変換されたデータファイルから、3Dプリンタ上で物理的オブジェクトにプリントするための3Dプリント可能ファイルを作成することであって、前記物理的オブジェクトは前記変換されたデータファイル内の情報に従って、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、及び不透明度を含むことと、を含む、
    方法。
  2. 前記ネットワークサーバはクラウドサーバであり、前記ネットワークはインターネット又は別の広域ネットワークである、請求項1に記載の方法。
  3. 前記ネットワークは医療機関内のローカルエリアネットワークである、請求項1に記載の方法。
  4. 前記医用画像データファイル形式はDICOM医用画像データファイル形式である、請求項1に記載の方法。
  5. 前記3Dプリント可能ファイルはポリゴンメッシュファイルである、請求項1に記載の方法。
  6. 前記医用画像データファイル形式は、医療におけるデジタル画像と通信(DICOM)ファイル形式である、請求項1に記載の方法。
  7. 医用画像データを変換データ形式における変換データに変換する方法であって、前記変換データ形式は、前記変換データがホログラフィック又は仮想現実装置上で閲覧するためにレンダリングされることを可能にし、
    ネットワークを介してネットワークサーバにより、セグメント化医用画像データを前記変換データ形式の前記変換データに変換する要求を受信することと、
    前記変換データへのアクセスを1人以上の許可ユーザに制限することと、
    前記セグメント化医用画像データを前記変換データ形式に変換することであって、前記変換データ形式は特定の人体解剖学的構造又は対象領域の複数のサブセグメント化を可能にし、前記変換データ形式は、マスクセグメント化情報、カラーパレット、シャドーイング、透明度、及び不透明度を格納することを可能にすることと、
    ホログラフィックプラットフォーム又は仮想現実プラットフォーム上に表示するために、前記変換データを許可ユーザに転送することと、を含む、
    方法。
  8. 前記変換ファイル形式は、医療におけるデジタル画像と通信(DICOM)ファイル形式である、請求項7に記載の方法。
  9. 前記セグメント化医用画像データはDICOM医用画像データファイル形式である、請求項7に記載の方法。
  10. 前記変換データはホログラフィック装置上で閲覧されている、請求項7に記載の方法。
  11. 前記変換データは仮想現実装置上で閲覧されている、請求項7に記載の方法。
  12. 前記ネットワークサーバはクラウドサーバであり、前記ネットワークはインターネット又は別の広域ネットワークである、請求項7に記載の方法。
  13. 前記ネットワークは医療機関内のローカルエリアネットワークである、請求項7に記載の方法。
  14. レンダリングされた医用画像を複数の人が閲覧することを可能にする方法であって、
    サーバによって、クライアントシステム上のエンドユーザにストリーミングするために三次元(3D)セグメント化医用画像データを医療用閲覧データにレンダリングすることと、
    前記クライアントシステム上の前記エンドユーザに、拡張現実環境又は仮想現実環境内で前記医療用閲覧データを表示することと、
    前記エンドユーザが、前記拡張現実環境又は前記仮想現実環境内に表示されるような前記レンダリングされた医療用閲覧データをレンダリング、操作、及び調整することを可能にすることと、
    1人以上の他のユーザに、前記エンドユーザに表示される医療用閲覧データへの閲覧を提供することと、を含む、
    方法。
  15. 前記1人以上の他のユーザは、前記エンドユーザと同じ前記拡張現実環境又は前記仮想現実環境内のビューア位置及び同じビューア角度を有する、請求項14に記載の方法。
  16. 前記1人以上の他のユーザは、前記エンドユーザと前記拡張現実環境又は前記仮想現実環境内の1つ以上の異なるビューア位置及び1つ以上の異なるビューア角度を有する、請求項14に記載の方法。
JP2019525813A 2016-11-16 2017-11-15 医用画像処理からの三次元プリンティング、ホログラフィ及び仮想現実レンダリングのためのシステム及び方法 Pending JP2019537481A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662423143P 2016-11-16 2016-11-16
US62/423,143 2016-11-16
US201662424933P 2016-11-21 2016-11-21
US62/424,933 2016-11-21
US15/812,912 2017-11-14
US15/812,912 US10275927B2 (en) 2016-11-16 2017-11-14 System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing
PCT/US2017/061833 WO2018093921A1 (en) 2016-11-16 2017-11-15 System and method for three-dimensional printing, holographic and virtual reality rendering from medical image processing

Publications (1)

Publication Number Publication Date
JP2019537481A true JP2019537481A (ja) 2019-12-26

Family

ID=62146833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019525813A Pending JP2019537481A (ja) 2016-11-16 2017-11-15 医用画像処理からの三次元プリンティング、ホログラフィ及び仮想現実レンダリングのためのシステム及び方法

Country Status (7)

Country Link
US (4) US10275927B2 (ja)
EP (1) EP3542312A4 (ja)
JP (1) JP2019537481A (ja)
KR (1) KR20190113760A (ja)
AU (1) AU2017361243A1 (ja)
CA (1) CA3044060A1 (ja)
WO (1) WO2018093921A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021176522A (ja) * 2020-05-08 2021-11-11 グローバス メディカル インコーポレイティッド 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
WO2022124705A1 (ko) * 2020-12-11 2022-06-16 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11213220B2 (en) 2014-08-11 2022-01-04 Cubisme, Inc. Method for determining in vivo tissue biomarker characteristics using multiparameter MRI matrix creation and big data analytics
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10803229B2 (en) * 2015-07-16 2020-10-13 Thinxtream Technologies Pte. Ltd. Hybrid system and method for data and file conversion across computing devices and platforms
EP3479350A4 (en) 2016-07-01 2020-08-19 Cubisme, Inc. SYSTEM AND METHOD FOR PRODUCING A HIGH RESOLUTION BIOMARKER MAP IMAGE
GB201617507D0 (en) 2016-10-14 2016-11-30 Axial3D Limited Axial3D UK
US11138790B2 (en) 2016-10-14 2021-10-05 Axial Medical Printing Limited Method for generating a 3D physical model of a patient specific anatomic feature from 2D medical images
US10504621B2 (en) * 2016-12-28 2019-12-10 Canon Medical Systems Corporation Medical image processing apparatus, medical imaging apparatus and image archiving apparatus
US11232853B2 (en) * 2017-04-21 2022-01-25 Cubisme, Inc. System and method for creating, querying, and displaying a MIBA master file
US10265138B2 (en) * 2017-09-18 2019-04-23 MediVis, Inc. Methods and systems for generating and using 3D images in surgical settings
US10909679B2 (en) 2017-09-24 2021-02-02 PME IP Pty Ltd Method and system for rule based display of sets of images using image content derived parameters
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
CN112004658B (zh) * 2018-04-26 2022-07-05 惠普发展公司,有限责任合伙企业 用于提供三维打印生产质量预测的方法和系统
KR20210025085A (ko) 2018-06-27 2021-03-08 콜로라도 스테이트 유니버시티 리써치 파운데이션 상호작용 다중사용자 가상현실 경험을 효율적으로 렌더링, 관리, 기록 및 재생하기 위한 방법 및 장치
CN109584998A (zh) * 2018-11-01 2019-04-05 常州华森三维科技股份有限公司 一种医学影像服务管理系统及方法
KR102665091B1 (ko) * 2018-12-10 2024-05-13 한국전자통신연구원 의료 정보 처리 장치 및 방법
US20200194109A1 (en) * 2018-12-18 2020-06-18 Metal Industries Research & Development Centre Digital image recognition method and electrical device
GB201900437D0 (en) 2019-01-11 2019-02-27 Axial Medical Printing Ltd Axial3d big book 2
CN111627529A (zh) * 2019-02-28 2020-09-04 未艾医疗技术(深圳)有限公司 Vrds 4d医学影像处理方法及产品
IT201900003809A1 (it) * 2019-03-15 2020-09-15 Witapp S R L Sistema e metodo, attuato mediante calcolatore, di elaborazione 3D di esame tomografico
WO2020212762A2 (en) * 2019-04-16 2020-10-22 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices
CN110341192B (zh) * 2019-07-12 2020-07-17 东北大学 一种基于vr的导板3d打印模型建立方法
US11119713B2 (en) 2019-10-29 2021-09-14 Kyocera Document Solutions Inc. Systems, processes, and computer program products for delivery of printed paper by robot
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
KR20210079043A (ko) * 2019-12-19 2021-06-29 재단법인 아산사회복지재단 의료 영상 데이터의 익명화 방법 및 프로그램
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
CN111127991B (zh) * 2020-02-27 2024-06-04 无锡市妇幼保健院 一种3d医学教学系统
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
CN111785355A (zh) * 2020-07-03 2020-10-16 福建智康云医疗科技有限公司 一种基于云计算的区域医学影像用打印装置
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
GB202101908D0 (en) 2021-02-11 2021-03-31 Axial Medical Printing Ltd Axial3D pathology
KR102386856B1 (ko) * 2021-06-16 2022-04-15 메디컬아이피 주식회사 3차원 의료영상의 익명화 방법 및 그 장치
CN114500498B (zh) * 2021-12-28 2023-12-08 武汉联影医疗科技有限公司 Dicom文件传输与存储方法、系统、设备及存储介质
US11538578B1 (en) 2021-09-23 2022-12-27 International Medical Solutions, Inc. Methods and systems for the efficient acquisition, conversion, and display of pathology images
CN114454486A (zh) * 2021-12-29 2022-05-10 江苏图创医疗科技有限公司 一种神经导航辅助系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785410B2 (en) 1999-08-09 2004-08-31 Wake Forest University Health Sciences Image reporting method and system
US8099296B2 (en) 2004-10-01 2012-01-17 General Electric Company System and method for rules-based context management in a medical environment
US8145503B2 (en) 2005-02-25 2012-03-27 Virtual Radiologic Corporation Medical image metadata processing
NZ569623A (en) 2005-12-24 2011-07-29 Joshua D I Distler Methods and files for delivering imagery with embedded data
US8331637B2 (en) 2006-03-03 2012-12-11 Medic Vision-Brain Technologies Ltd. System and method of automatic prioritization and analysis of medical images
US8370293B2 (en) 2008-08-21 2013-02-05 Terarecon Inc. Workflow template management for medical image data processing
US10734116B2 (en) 2011-10-04 2020-08-04 Quantant Technology, Inc. Remote cloud based medical image sharing and rendering semi-automated or fully automated network and/or web-based, 3D and/or 4D imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard X-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US20140176661A1 (en) 2012-12-21 2014-06-26 G. Anthony Reina System and method for surgical telementoring and training with virtualized telestration and haptic holograms, including metadata tagging, encapsulation and saving multi-modal streaming medical imagery together with multi-dimensional [4-d] virtual mesh and multi-sensory annotation in standard file formats used for digital imaging and communications in medicine (dicom)
US10025479B2 (en) 2013-09-25 2018-07-17 Terarecon, Inc. Advanced medical image processing wizard
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2016154571A1 (en) * 2015-03-25 2016-09-29 Zaxis Labs System and method for medical procedure planning
US9846938B2 (en) 2015-06-01 2017-12-19 Virtual Radiologic Corporation Medical evaluation machine learning workflows and processes
US20170337329A1 (en) 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Automatic generation of radiology reports from images and automatic rule out of images without findings

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021176522A (ja) * 2020-05-08 2021-11-11 グローバス メディカル インコーポレイティッド 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
JP7216768B2 (ja) 2020-05-08 2023-02-01 グローバス メディカル インコーポレイティッド 三次元のエクステンデットリアリティアプリケーションでの医療画像における二次元のデジタル撮像の活用および通信
WO2022124705A1 (ko) * 2020-12-11 2022-06-16 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR20220083477A (ko) * 2020-12-11 2022-06-20 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR102476957B1 (ko) 2020-12-11 2022-12-12 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법

Also Published As

Publication number Publication date
CA3044060A1 (en) 2018-05-24
US10559114B2 (en) 2020-02-11
KR20190113760A (ko) 2019-10-08
US20200134901A1 (en) 2020-04-30
US20190362536A1 (en) 2019-11-28
EP3542312A4 (en) 2020-06-17
AU2017361243A1 (en) 2019-06-06
EP3542312A1 (en) 2019-09-25
US10275927B2 (en) 2019-04-30
US20190221025A1 (en) 2019-07-18
US10417804B2 (en) 2019-09-17
US20180165867A1 (en) 2018-06-14
US10679402B2 (en) 2020-06-09
WO2018093921A1 (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US10679402B2 (en) Medical image viewing system
US20210210179A1 (en) Evolving contextual clinical data engine for medical information
JP6340059B2 (ja) アクセスコントロールを伴うクラウドベースの医療画像処理システム
US20200335199A1 (en) Methods and Systems for Electronically Receiving, Modifying and Distributing Three-Dimensional Medical Images
EP2815372B1 (en) Cloud-based medical image processing system with anonymous data upload and download
US20190051420A1 (en) Evolving contextual clinical data engine for medical data processing