JP2016535370A - 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ - Google Patents

分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ Download PDF

Info

Publication number
JP2016535370A
JP2016535370A JP2016542399A JP2016542399A JP2016535370A JP 2016535370 A JP2016535370 A JP 2016535370A JP 2016542399 A JP2016542399 A JP 2016542399A JP 2016542399 A JP2016542399 A JP 2016542399A JP 2016535370 A JP2016535370 A JP 2016535370A
Authority
JP
Japan
Prior art keywords
computing device
image data
client computing
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016542399A
Other languages
English (en)
Inventor
トリン・アルニ・テーラム
マシュー・チャールズ・ヒューズ
マイケル・ロバート・カズンズ
エリック・ジョン・チェルヌカ
ジャレット・ジェームズ・ハーグリーヴス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Calgary Scientific Inc
Original Assignee
Calgary Scientific Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calgary Scientific Inc filed Critical Calgary Scientific Inc
Publication of JP2016535370A publication Critical patent/JP2016535370A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/04Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/16Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/08Bandwidth reduction

Abstract

分散アーキテクチャにおけるサーバに対して課される要件を最小限に抑える、スケーラブル画像表示アーキテクチャ。画像データは、クラウドベースのサービスにプッシュされ、画像データが遠隔クライアントコンピューティングデバイスによる表示に最適化されるように、前処理される。関連メタデータは、分離され、記憶され、検索のために利用可能にされ、画像データは、伝達され、遠隔クライアントコンピューティングデバイスによってレンダリングされ得る一方で、3次元画像データは、クラウドベースのサービスによって、画像サーバによってレンダリングされ、クライアントコンピューティングデバイスに伝達される。

Description

資源共有ネットワークにおいてグラフィック画像データへのユビキタスな遠隔アクセスを提供するシステムでは、適切な性能及び拡張性が問題となる。たとえば、中央サーバで実行される動作では、拡張性は最適化されないことがある。クライアントで実行される動作では、大きなデータセットは、ネットワークを介して伝達するのに、容認できない量の時間を要し得る。加えて、携帯型デバイスなどのいくつかのクライアントデバイスは、重い処理動作を効果的に成し遂げるのに十分な計算能力を有していないことがある。たとえば、ヘルスケアでは、診療所または病院内に保管されている患者観察記録にアクセスすることが望ましいことがある。特に、Picture Archiving and Communication Systems(PACS)は、患者観察記録へのユビキタスな遠隔アクセスを提供することができず、むしろ、PACSサーバを専用の医療用画像ワークステーションに接続するローカルエリアネットワーク(LANS)に制限され得る。CAD設計及び耐震解析などの他のアプリケーションは、同様の問題を有することがあり、それは、そのようなアプリケーションが、複雑な画像を生成するために使用され得るからである。
本明細書で開示するものは、2次元画像データをクライアントコンピューティングデバイスにストリーミングし、表示のための2次元画像をクライアントコンピューティングデバイス上でレンダリングし、3次元画像データをサーバコンピューティングデバイス上でレンダリングし、レンダリングした3次元画像を、表示のためにクライアントコンピューティングデバイスに伝達する遠隔アクセス環境における、2次元画像データと3次元画像データとの分散レンダリングのためのシステム及び方法である。本開示の一態様によると、クライアントコンピューティングデバイスをサービスに接続する遠隔アクセス環境における、画像データの分散レンダリング方法が提供される。この方法は、2次元画像データをサービスに関連するデータベースに記憶することと、要求を、サービスにおいて、クライアントコンピューティングデバイスから受信することと、要求が2次元画像データまたは3次元画像に対するものかどうかを判断することと、を含むことができる。要求が2次元画像データに対するものである場合、2次元画像データを、クライアントコンピューティングデバイスに、表示するための2次元画像をレンダリングするために、ストリーミングする。要求が3次元画像に対するものである場合、サービスに関連するサーバコンピューティングデバイスは、3次元画像を2次元画像データからレンダリングし、3次元画像を、クライアントコンピューティングデバイスに、表示のために伝達する。
本開示の態様によると、クライアントコンピューティングデバイスをサービスに接続する遠隔アクセス環境における、画像データの分散レンダリングのための方法が提供される。この方法は、2次元画像データをサービスに関連するデータベースに記憶することと、要求を、サービスにおいて、クライアントコンピューティングデバイスから受信することと、要求が2次元画像データまたは3次元画像に対するものかどうかを判断することと、を含むことができる。要求が2次元画像データに対するものである場合、この方法は、2次元画像データを、クライアントコンピューティングデバイスに、表示するための2次元画像をクライアントコンピューティングデバイスにおいてレンダリングするためにストリーミングすることを含むことができる。しかしながら、要求が3次元画像に対するものである場合、この方法は、サービスに関連するサーバコンピューティングデバイスにおいて、3次元画像を2次元画像データからレンダリングすることと、レンダリングした3次元画像を、クライアントコンピューティングデバイスに、表示のために伝達することと、を含むことができる。
本開示の他の態様によると、画像データの分散レンダリングのためのサービスを、サービスと遠隔接続されたクライアントコンピューティングデバイスとの間で提供するための方法が、提供される。この方法は、接続要求をクライアントコンピューティングデバイスから受信することと、ユーザによる表示のために利用可能な画像を示すユーザインターフェースを提供するために、クライアントコンピューティングデバイスに関連するユーザを認証することと、画像に対する要求を受信して、画像についての要求が2次元画像データに対するものである場合、2次元画像データを、サービスからクライアントコンピューティングデバイスにストリーミングすること、または、要求が3次元画像に対するものである場合、3次元画像をサービスにおいてレンダリングし、レンダリングした3次元画像を、クライアントコンピューティングデバイスに伝達することと、を含むことができる。
本開示の他の態様によると、遠隔アクセス環境における画像データの分散レンダリングのための命令を有するコンピュータプログラムを記憶した、有形コンピュータ可読ストレージ媒体が開示される。命令は、2次元画像データをサービスに関連するデータベースに記憶するステップと、要求を、サービスにおいて、クライアントコンピューティングデバイスから受信するステップと、要求が2次元画像データまたは3次元画像に対するものかどうかを判断するステップと、要求が2次元画像データに対するものである場合、2次元画像データを、クライアントコンピューティングデバイスに、表示するための2次元画像をクライアントコンピューティングデバイスにおいてレンダリングするためにストリーミングするステップ、または要求が3次元画像に対するものである場合、サービスに関連するサーバコンピューティングデバイスにおいて、3次元画像を2次元画像データからレンダリングし、レンダリングした3次元画像を、クライアントコンピューティングデバイスに、表示のために伝達するステップと、を備える方法を実行することができる。
他のシステム、方法、特徴及び/または利点は、以下の図面と発明を実施するための形態とを検討することで、当業者にとって明白であり、または明白になり得る。すべてのそのような追加のシステム、方法、特徴及び/または利点が、本明細書に含まれ、添付の特許請求の範囲によって保護されることを意図する。
図面中の構成要素は、必ずしも、互いに対して正確な縮尺ではない。同一の参照番号は、いくつかの図に渡って、同じ部分を指している。
遠隔デバイスにおける画像データと他のデータとへの遠隔アクセスを、コンピュータネットワークを介して提供するためのシステムを示した、簡略ブロック図である。 図1の環境における画像データとメタデータとの前処理の態様を示した図である。 図1の環境における、2次元画像データの前処理と、3次元データ及び/またはMIP/MPRデータのサーバ側レンダリング及び2次元データのクライアント側レンダリングと、に関する、2次元画像データとメタデータとのデータフローを示した図である。 クライアントコンピューティングデバイスからの要求に対してサービスを提供するために図1と図2との環境内で実行される、例示的動作の流れ図である。 例示的なクライアント側画像データレンダリング動作の流れ図である。 画像データのサーバ側レンダリングの一部として実行される、例示的な動作の流れ図である。 協調を提供するために図1の環境内で実行される、例示的な動作の流れ図である。 例示的なコンピューティングデバイスの図である。
別に定めない限り、本明細書で使用するすべての技術用語及び科学用語は、当業者によって一般的に理解されているものと同じ意味を有する。本明細書で説明するものと類似または同等の方法と材料とを、実務で、または本開示の検査で、使用することができる。実装形態を、遠隔アクセスアプリケーションについて説明するが、実装形態がそれに限定されず、任意の種類のデータまたはサービスへの、遠隔デバイスを介した遠隔アクセスに応用できるということが、当業者に明白になる。
概要
本開示の態様によると、遠隔ユーザは、画像に、たとえば、クラウドベースのサービスなどの遠隔サービスを使用してアクセスすることができる。要求されている種類の画像に従って、特定の種類を遠隔サービスによってレンダリングすることができ、一方で、他の種類を、クライアントコンピューティングデバイス上で、ローカルにレンダリングすることができる。
たとえば、高解像度医療用画像という文脈では、病院などのホスティング施設は、患者画像データを遠隔サービスにプッシュすることができ、ホスティング施設では、患者画像データを前処理し、遠隔ユーザに利用可能にする。患者画像データ(ソースデータ)は、通常、それぞれが1つまたは複数の画像とメタデータとを含む、一連のDICOMファイルである。遠隔サービスは、ソースデータを、メタデータとは別にクライアントコンピューティングデバイスに伝達される、共通のフォーマットを有する2次元画像のシーケンスに変換する。クライアントコンピューティングデバイスは、2次元画像のシーケンスを、表示のためにレンダリングする。別の態様では、2次元画像のシーケンスを、3次元レンダリングまたは最大値投影(MIP)/多断面再構成(MPR)レンダリングに適した表現に、遠隔サービスの画像サーバによって、さらに処理することができる。3次元レンダリング画像またはMIP/MPRレンダリング画像は、クライアントコンピューティングデバイスに伝達される。3次元画像データを、ユーザに、3次元画像データの2次元投射として、視覚的に提示することができる。
上記の実施例は、本開示の態様を医療用画像に関して述べたが、本明細書で説明する概念を、遠隔ソースからクライアントコンピューティングデバイスに伝達される任意の画像に適用することができる。たとえば、コンピュータ支援設計(CAD)、工学設計、地震学的画像などの他の画像の文脈では、本開示の態様を活用して、設計の2次元概略図をクライアントデバイス上でレンダリングすることができ、設計の3次元モデルを遠隔サービスの画像サーバ上でレンダリングして、遠隔サービスの、より高速で、より強力なグラフィックスプロセシングユニット(GPU)アレイを生かすことができる。レンダリングした3次元モデルは、クライアントコンピューティングデバイスに、表示のために伝達される。このような実装形態を使用して、たとえば、ビルの2次元概略図を現地で表示することができ、一方で、同じビルの3次元モデルを、遠隔サービスのGPUアレイ上でレンダリングすることができる。同様に、このような実装形態を使用して、たとえば、2次元画像を、クライアントコンピューティングデバイスにおいて、2次元反射地震データからレンダリングし、または3次元画像を、遠隔サービスにおいて、未加工3次元反射地震データから、または表示のためにクライアントコンピューティングデバイスに伝達された2次元反射地震データを補間することによって、レンダリングすることができる。たとえば、2次元地震データを、井戸水調査と他のデータセットのために使用することができ、一方で、3次元地震データを、貯留層解析のために使用する。
したがって、本開示は、分散画像処理を提供し、それによって、より複雑でない画像データ(たとえば、2次元画像データ)をクライアントコンピューティングデバイスによって処理することができ、より複雑な画像データ(たとえば、3次元画像データ)を遠隔で処理し、その後、クライアントコンピューティングデバイスに伝達することができる。加えて、遠隔サービスは、分散データベース配置における検索及び取り出しのためにそのようなデータを最適化するために、画像データに関連する他のデータを前処理することができる。したがって、本開示は、データを、ネットワークを介して効果的に送信し、したがって、帯域幅を節約する一方で、反応の早いユーザ体験を提供するための、システムと方法とを提供する。
例示的環境
上記の概要を導入とし、ここで、コンピュータネットワークを介した画像データ表示と協調と伝達とのための環境100を示す、図1〜図2を参照する。本実施例では、患者データを表示するための医療用画像アプリケーションを、説明の目的のために参照すると、サーバコンピュータ109を、既存ネットワーク内の施設101A(たとえば、病院または他の介護施設)に、医療用画像アプリケーションの一部として提供して、たとえば、Picture Archiving and Communication Systems(PACS)データベース102内に存在する、患者画像ファイル(観察記録)などのデータファイルにアクセスするための機構を提供することができる。PACS技術を使用して、PACSデータベース102内に記憶されたデータファイルを取り出し、データファイルが医師によって表示のために処理される診断ワークステーション110Aに、Digital Imaging and Communications in Medicine(DICOM)通信プロトコルを使用して、伝達することができる。診断ワークステーション110Aを、PACSデータベース102に、たとえば、病院内ネットワークなどのローカルエリアネットワーク(LAN)108を介して、または、たとえば、広域ネットワーク(WAN)114またはインターネットを介して遠隔で、接続することができる。メタデータと画像データとに、PACSデータベース102から、DICOMクエリプロトコルを使用してアクセスすることがき、DICOM通信プロトコルをLAN108上で使用して、情報を共有することができる。
サーバコンピュータ109は、カナダ、アルバータ州カルガリー市のCalgary Scientific, Inc.から入手可能なRESOLUTIONMDサーバを備えることができる。サーバコンピュータ109は、PACSデータベース102内の患者データファイルへの遠隔アクセスや、遠隔クライアントが、PACSデータベース102内のデータに対する要求をHTTPを使用して行うことを可能にする、ハイパーテキスト転送プロトコル(HTTP)からDICOMへの変換サービスなどの他の機能を提供する、1つまたは複数のサーバであり得る。
プッシャーアプリケーション107は、患者画像データを、施設101A(たとえば、PACSデータベース102)からクラウドサービス120に伝達する。プッシャーアプリケーション107は、患者画像データに対するHTTP要求を、サーバコンピュータ109に行うことができ、患者画像データを、PACSデータベース102から、サーバコンピュータ109によって取り出し、プッシャーアプリケーション107に返すことができる。プッシャーアプリケーション107は、患者画像データを、スケジュール通りに、または患者画像データがPACSデータベース102内で利用可能になると、取り出し、それを、クラウドサービス120に提供することができる。
クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bは、たとえば、インターネットなどのコンピュータネットワーク114を介してクラウドサービス120に通信する、たとえば、IPHONE(登録商標)またはANDROID(登録商標)などのワイヤレス携帯型デバイスであってよい。通信は、クラウドサービス120とのハイパーテキスト転送プロトコル(HTTP)通信であってよい。たとえば、ウェブクライアント(たとえば、ブラウザ)またはネイティブクライアントを使用して、クラウドサービス120と通信することができる。ウェブクライアントは、HTML5と互換性を有することができる。同様に、クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bは、また、デスクトップコンピュータ/ノートパソコンまたはタブレットデバイスを含むことができる。通信ネットワーク114への接続が、任意の種類の接続、たとえば、Wi−Fi(IEEE802.11x)、WiMax(IEEE802.16)、イーサネット(登録商標)、3G、4G、LTEなどであってよい、ということに留意すべきである。
クラウドサービス120は、患者画像データをホストし、患者画像データを処理し、患者画像データを、たとえば、クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bのうちの1つまたは複数に提供することができる。アプリケーションサーバ122は、認証及び許可、患者画像データアクセス、メタデータの検索、及びアプリケーション状態普及などの機能を提供することができる。アプリケーションサーバ122は、未加工画像データをプッシャーアプリケーション107から受信し、未加工画像データを、バイナリラージオブジェクト(blob)ストア126に置くことができる。他の患者関連データ(つまり、メタデータ)を、アプリケーションサーバ122によって、データストア128内に置くことができる。
アプリケーションサーバ122を、仮想化、つまり、たとえば、それに関連するタスクを実行するための負荷または他の要件に基づいて、作り出し、破壊することができる。いくつかの実装形態では、アプリケーションサーバ122は、クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bによって行われた要求に対してサービスを提供する、たとえば、node.jsウェブサーバまたはjavaアプリケーションサーバであってよい。アプリケーションサーバ122は、また、APIを露出して、クライアントがクラウドサービス120によって記憶されたデータにアクセスし、操作することを可能にすることができる。たとえば、APIは、画像データの検索と取り出しとを提供することができる。いくつかの実装形態によると、アプリケーションサーバ122は、マネージャまたはゲートウェイとして動作することができ、それによって、データ、及びクライアント要求及び応答は、すべて、アプリケーションサーバ122を通過する。したがって、アプリケーションサーバ122は、クラウドサービス120によってホストされている環境内の資源を管理することができる。
アプリケーションサーバ122は、また、各クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bに関連するアプリケーション状態情報を、維持することができる。アプリケーション状態は、表示のためのクライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bにおいて最後に表示された患者画像データのスライス番号などを含むが、これに限定されない。アプリケーション状態を、たとえば、拡張マークアップ言語(XML)文書によって表すことができる。アプリケーション状態の他の表現を使用することができる。1つのクライアントコンピューティングデバイス(たとえば、112A)に関連するアプリケーション状態に、他のクライアントコンピューティングデバイス(たとえば、112B)によってアクセスして、両方のクライアントコンピューティングデバイスが共同で患者画像データに作用するようにすることができる。言い換えると、両方のクライアントコンピューティングデバイスが患者画像データを表示することができ、ディスプレイの変更を、協調セッション中の両方のクライアントコンピューティングデバイスで同期するようにする。2つのクライアントコンピューティングデバイスのみを示したが、任意の数のクライアントコンピューティングデバイスが、協調セッションに参加することができる。
いくつかの実装形態によると、blobストア126を、画像データの記憶のために最適化することができ、一方で、データストア128を、患者名、患者生年月日、観察記録を命じた医師名、施設情報、または未加工画像データに関連し得る他の情報などであるがこれらに限定されない、他の種類の情報の検索と高速な取り出しとのために最適化することができる。blobストア126とデータストア128とを、たとえば、冗長性、整合性、バージョニング、及び/または暗号化を提供する、Amazon S3または他のサービス上にホストすることができる。加えて、blobストア126及びデータストア128は、HIPPA準拠であってよい。いくつかの実装形態によると、blobストア126とデータストア128とを、分散データベースとして実装することができ、それによって、アプリケーション依存の一貫性基準を、データをホストするすべてのサイトに渡って達成する。blobストア126とデータストア128との更新を、イベントによって起こすことができ、アプリケーションサーバ122は、マスタとして動作する。
メッセージバス123a〜123bを提供して、さまざまな構成要素をクラウドサービス120から切断し、プリプロセッサ124a〜124n及び画像サーバ130a〜130nなどの、構成要素間でのメッセージングを提供することができる。メッセージを、メッセージバス123a〜123b上で、要求/応答枠組みまたは発行/購読枠組みを使用して伝達することができる。メッセージバス123a〜123bは、たとえば、ZeroMQ、RabbitMQ(または他のAMQP実装形態)またはAmazon SQSであり得る。
図1と図2Aと図2Bとを参照すると、プリプロセッサ124a〜124nは、メッセージバス123a上のメッセージに応答する。たとえば、未加工画像データが、アプリケーションサーバ122によって受信され、前処理の必要がある時、メッセージを、アプリケーションサーバ122によって、プリプロセッサ124a〜124nに伝達することができる。図2Bに示す通り、ソースデータ150(未加工患者画像データ)を、PACSデータベース102内に、それぞれが1つまたは複数の画像とメタデータとを含む一連のDICOMファイルとして、記憶することができる。プリプロセッサ124a〜124nによって実行される前処理は、たとえば、メタデータの分離及び記憶と、画素データ変換及び圧縮と、3次元ダウンサンプリングとを含むことができる。したがって、ソースデータを、blobストア126内に記憶される、共通フォーマットを有する一連の2次元画像に変換することができ、一方で、メタデータを、データストア128内に記憶することができる。たとえば、図2Aに示す通り、プロセスは、プッシュ−プル配置で動作することができ、アプリケーションサーバ122がデータをメッセージ内にプッシュすると、任意の利用可能なプリプロセッサがデータをプルし、タスクをデータに対して実行し、処理データを、アプリケーションサーバ122に、blobストア126またはデータストア128内に記憶するために、返すようにする。
プリプロセッサ124a〜124nは、最適化をデータに対して実行することができ、データが、クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bによる取り込みのためにフォーマットされるようにする。プリプロセッサ124a〜124nは、未加工画像データを処理し、処理画像データを、blobストア126内に、クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bによって要求されるまで、記憶することができる。たとえば、2次元患者画像データを、ハールウェーブレットとしてフォーマットすることができる。他の非画像患者データ(メタデータ)を、プリプロセッサ124a〜124nによって処理し、データストア128内に記憶することができる。任意の数のプリプロセッサ124a〜124nを、たとえば、クライアントコンピューティングデバイス112Aとクライアントコンピューティングデバイス112Bとに対して、患者画像データをより使用可能またはアクセス可能にするタスクを実行するための処理負荷要件に従って、作成及び/または破壊することができる。
画像サーバ130a〜130nは、画像データの分散レンダリングを提供する。各画像サーバ130a〜130nは、複数のユーザのために働くことができる。たとえば、図2Bに示す通り、画像サーバ130a〜130nは、一連の2次元画像としてblobストア126内に記憶した患者画像データを処理して、レンダリングした3次元画像及び/または最大値投影(MIP)/多断面再構成(MPR)画像データを、クライアントコンピューティングデバイス112Aとクライアントコンピューティングデバイス112Bとに提供することができる。たとえば、コンピューティングデバイス112Aまたはコンピューティングデバイス112Bのうちの1つにおけるユーザは、体積の3次元表現を3次元直交MPRスライスを用いて表示するための要求を行うことができる。したがって、画像サーバ130は、3次元直交MPRスライスをレンダリングすることができ、それは、要求を行っているクライアントコンピューティングデバイスに、アプリケーションサーバ122を介して伝達される。
いくつかの実装形態によると、3次元体積は、N枚の、X×Y画像から計算される。これは、X×Y×Nボクセルの大きさを有する3次元体積を形成する。その後、この3次元体積を間引いて、画像を生成するために画像サーバ130a〜130nによって処理されなければならないデータの量を減らす。たとえば、75%の削減を各軸に沿って提供することができ、これにより、結果として生じるレンダリング画像における忠実性を大幅に失うことなく、十分な結果を生み出す。間引き3次元体積の任意の2つの角の間の最長距離を使用して、レンダリング画像の大きさを決定することができる。たとえば、1000枚の512×512のCTスライスを使用して、3次元体積を作成することができる。この体積を、384×384×750の大きさに間引くことができ、そうすると、任意の2つの角の間の最長距離は、
Figure 2016535370
ボクセル、または約926である。したがって、レンダリング画像は、情報を、ボクセルと画素との間の1:1の関係で捕らえるために、926×926画素である。クライアントの表示域(ディスプレイ)が926×926よりも小さい場合では、レンダリング画像の大きさを決定するために、画像サイズではなく、クライアントの表示域の大きさを使用する。表示域が926×926よりも大きい場合、レンダリング画像を、クライアントコンピューティングデバイスによって、ユーザに表示する時に、スケールアップすることができる。したがって、より多くの数の画像を画像サーバ130a〜130nでレンダリングすることができ、画像レンダリング時間が短縮される。
したがって、上述した通り、画像サーバ130a〜130nが3次元体積表示をレンダリングするように要求された時、2次元画像のセットを、512×512×N画素から384×384×N画素に、処理の前に間引くことができる。しかしながら、MIP/MPR画像では、2次元画像データを、その元の大きさで使用することができる。
プロセスモニタ132を提供して、画像サーバ130a〜130nが活動しており、稼働していることを確実にする。プロセスモニタ132が、特定の画像サーバが予期せず停止したことを発見した場合、プロセスモニタ132は、画像サーバが要求に対してサービスを提供することができるように、画像サーバを再始動させることができる。
したがって、環境100は、医療用画像アプリケーションに関連する患者画像データまたは他の種類の画像データのクラウドベースの分散レンダリングと、それらそれぞれの表示/編集アプリケーションとを可能にする。さらに、クライアントコンピューティングデバイス112Aまたはクライアントコンピューティングデバイス112Bは、協調セッションに参加することができ、それぞれは、患者画像データの表示の同期表示を提示する。
図3は、クライアントコンピューティングデバイス112Aとクライアントコンピューティングデバイス112Bとからの要求にサービスを提供するために図1と図2との環境内で実行される、例示的な動作の流れ図300を示している。上述した通り、アプリケーションサーバ122は、患者画像データを、プッシャーアプリケーション107から、定期的にまたは患者データが利用可能になった時に、受信する。図3の動作フローは、302で開始し、クライアントコンピューティングデバイスが、セッション中のアプリケーションサーバに接続する。たとえば、クライアントコンピューティングデバイス112Aは、所定のユニフォームリソースロケータ(URL)におけるアプリケーションサーバ122に接続することができる。クライアントコンピューティングデバイス112Aのユーザは、たとえば、ウェブブラウザまたはネイティブアプリケーションを使用して、アプリケーションサーバ122に接続することができる。
304では、ユーザは、クラウドサービス120で認証する。たとえば、患者画像データのセンシティブな性質により、特定のアクセス制御を導入して、許可されたユーザのみが患者画像データを表示できるようにすることができる。306では、アプリケーションサーバは、ユーザインターフェースクライアントを、クライアントコンピューティングデバイスに送信する。ユーザインターフェースクライアントを、クライアントコンピューティングデバイス112Aにダウンロードして、ユーザが、blobストア126またはデータストア128から、患者観察記録を選択し、または他の情報を検索及び取り出すことを可能にすることができる。たとえば、HTML5観察記録ブラウザクライアントを、ダッシュボードを提供するクライアントコンピューティングデバイス112Aにダウンロードすることができ、それによって、ユーザは、患者観察記録のサムネイル、説明、患者名、紹介医、受入番号、またはクラウドサービス120に記憶された患者画像データに関連する他の報告を表示することができる。ユーザインターフェースクライアントの別のバージョンを、たとえば、モバイルアプリケーションやデスクトップアプリケーションのために設計することができる。いくつかの実装形態では、ユーザインターフェースクライアントは、モバイルクライアントコンピューティングデバイスのためのハイブリッドアプリケーションであってよく、それを、ネイティブ構成要素とHTML5構成要素との両方を有してインストールすることができる。
308で、ユーザは、観察記録を選択する。たとえば、観察記録ブラウザを使用して、クライアントコンピューティングデバイス112Aのユーザは、クライアントコンピューティングデバイス112Aで表示するための観察記録を選択することができる。310では、選択した観察記録に関連する患者画像データを、クライアントコンピューティングデバイス112Aに、アプリケーションサーバ122からストリーミングする。患者画像データを、XMLHttp要求(XHR)機構を使用して伝達することができる。患者画像データを、完全な画像として、または徐々に、提供することができる。同時に、クライアントコンピューティングデバイス112Aに関連するアプリケーション状態が、アプリケーションサーバ122において、クライアントコンピューティングデバイス112Aにおけるイベントに従って更新される。アプリケーション状態は、アプリケーションサーバ122において継続的に更新されて、ユーザがスライスをスクロールしているなどの、クライアントコンピューティングデバイス112Aにおけるイベントを反映する。ユーザは、画像データがクライアントに送信されている間に、スライスをスクロールし、またはアプリケーション状態を変化させる他の動作を実行することができる。図6を参照して後で説明する通り、同期表示を提供し、特定の患者に関連する画像を同時に表示している複数のクライアントコンピューティングデバイス間の協調を可能にするために、アプリケーション状態を、協調セッションに接続されている1つまたは複数のクライアントコンピューティングデバイスに提供することができる。
したがって、上記に従って、クラウドサービス120において維持されている患者画像データを、1つまたは複数のクライアントコンピューティングデバイス112Aのアプリケーションサーバ122との相互作用を通して、利用可能にする。
図4は、クライアントコンピューティングデバイスで実行される、例示的なクライアント側画像レンダリング動作の流れ図400を示している。402では、動作フロー300に従って310で説明した通り、2次元画像データを、クライアントコンピューティングデバイスにおいて、ストリーミングデータとして受信する。404では、2次元画像データを操作する。画像データを、ArrayBufferデータ型または他のJavaScript(登録商標)型アレイとして操作することができる。
406では、表示画像を、クライアントコンピューティングデバイスにおいて、2次元画像データからレンダリングする。たとえば、表示画像を、レンダリンググラフィックスをウェブブラウザ内で提供するWebGLを使用して、レンダリングすることができる。いくつかの実装形態では、Canvasも、クライアント側画像レンダリングのために使用することができる。画像データに関連するメタデータを、クライアントコンピューティングデバイスによって活用して、レンダリングの性能を補助することができる。
したがって、流れ図400によると、画像データのクライアント側レンダリングは、画像の高性能な提示を提供し、それは、表示のためだけにデータをクライアントコンピューティングデバイスに伝達することが必要とされ、クラウドサービス120との往復通信の必要性をなくすからである。加えて、各クライアントは、画像データを、クライアントに固有の方法でレンダリングすることができる。
図5は、画像データのサーバ側レンダリングの一部として実行される、例示的な動作の流れ図500を示している。図4で上述した通り、画像の2次元レンダリングは、クライアントコンピューティングデバイス上である。動作フロー500を使用して、3次元画像及び/またはMIP/MPR画像を、クライアントコンピューティングデバイスに提供することができ、3次元画像及び/またはMIP/MPR画像を、たとえば、画像サーバ130a〜103nのうちの1つによってレンダリングし、クライアントコンピューティングデバイスに、表示のために伝達する。したがって、本開示は、2次元画像をクライアント上でレンダリングし、3次元画像及び/またはMIP/MPR画像をサーバ上でレンダリングする、分散画像レンダリングモデルを提供する。
502では、サーバ側レンダリングが、たとえば、アプリケーションサーバ122によって受信された、クライアントコンピューティングデバイス112Aのユーザによって行われた要求に従って開始する。たとえば、ユーザは、たとえば、患者に関連する画像の拡大、パンまたは回転などであるがこれらに限定されない動作を実行するために、画像データを3次元で表示することを望むことがある。プロセスモニタ132は、画像サーバ130がユーザ要求にサービスを提供するのに利用可能であることを確実にするために、応答することができる。上述した通り、各画像サーバは、複数のユーザのために働くことができる。
任意で、504では、画像サイズを、ソース画像データから決定する。上述した通り、データサイズを、3次元体積レンダリングのために減らすことができ、一方で、元のサイズを、MIP/MPR画像のために使用する。506では、画像をレンダリングする。たとえば、画像サーバ130a〜130nは、画像をOpenGLでレンダリングすることができる。
508では、レンダリング画像を、クライアントコンピューティングデバイスに伝達する。たとえば、画像全体を、クライアントコンピューティングデバイスに伝達することができ、その後、画像全体が、クライアントコンピューティングデバイス510上で表示される。本開示によると、クライアントコンピューティングデバイスは、画像をスケーリングして、クライアントコンピューティングデバイスに関連する特定のディスプレイ内におさめることができる。
したがって、画像サーバは、同じ大きさの画像を、3次元画像データを要求する各クライアントコンピューティングデバイスに提供することができ、クライアントコンピューティングデバイスは、送信する予定の画像の大きさを小さくし、帯域幅を節約する。したがって、データのスケーリングは、画像サーバによって実行されるのではなく、クライアントコンピューティングデバイスに分散される。
図6は、協調を提供するために図1の環境内で実行される、例示的な動作の流れ図600を示している。602では、第1のクライアントコンピューティングデバイス(たとえば、112A)は、アプリケーションサーバ122とセッションを確立しており、2次元画像データが、クライアントコンピューティングデバイスにストリーミングされている。したがって、2次元画像データのクライアント側レンダリング及びアプリケーション状態の更新が、310で、説明した通り開始されている。604では、第2のクライアントコンピューティングデバイスは、セッションに参加するために、アプリケーションサーバに接続する。たとえば、クライアントコンピューティングデバイス112Bは、第1のクライアントコンピューティングデバイス(たとえば、112A)によってアプリケーションサーバ112に接続するために使用されるものと同じURLにおいて、アプリケーションサーバ122に接続する。
606では、第2のクライアントコンピューティングデバイスは、第1のクライアントコンピューティングデバイスに関連するアプリケーション状態を、アプリケーションサーバから受信する。したがって、クライアントコンピューティングデバイス112Aとクライアントコンピューティングデバイス112Bとの間の協調セッションを、ここで、確立することができる。608では、第1のクライアントコンピューティングデバイス(112A)に関連する画像データを、第2のクライアントコンピューティングデバイス(112B)に伝達する。608の後、第2のクライアントコンピューティングデバイス(112B)は、第1のコンピューティングデバイスのアプリケーション状態についての知識を有し、画像データを受信する。次に、610では、画像データとアプリケーション状態とを、クライアントコンピューティングデバイス112Aとクライアントコンピューティングデバイス112Bとの両方におけるイベントに従って更新し、クライアントコンピューティングデバイス112Aとクライアントコンピューティングデバイス112Bとの両方が、同じ画像データを同期した方法で表示するようにする。612では、協調者は、画像データを表示し、それに作用して、たとえば、患者の状態を話し合うことができる。画像データに作用することは、画像データとアプリケーション状態とを、610〜612で、ループ方法で更新するようにすることができる。
本開示を特定の動作フローを参照して説明したが、他のフローが可能である。また、本開示を患者画像データに関して説明したが、任意の種類の画像データを、クラウドサービスによって処理し、及び/または1つまたは複数のクライアントコンピューティングデバイスによって(協力して)表示することができる、ということに留意する。
多数の他の汎用または特殊用途コンピューティングシステム環境または構成を、使用することができる。使用に適し得る、よく知られたコンピューティングシステム、環境、及び/または構成の実施例は、パーソナルコンピュータ、サーバコンピュータ、携帯型またはノート型デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークパーソナルコンピュータ(PC)、ミニコンピュータ、メインフレームコンピュータ、組込みシステム、上記のシステムまたはデバイスのうちの任意のものを含む分散コンピューティング環境など含むが、それらに限定されない。
コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命を、使用することができる。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。分散コンピューティング環境を使用して、通信ネットワークまたは他のデータ送信媒体を通してリンクした遠隔プロセシングデバイスによって、タスクを実行する。分散コンピューティング環境では、プログラムモジュールと他のデータとを、メモリストレージデバイスを含む、ローカルと遠隔との両方のコンピュータストレージ媒体内に配置することができる。
図7は、例示的な実施形態と態様とを実装することができる、例示的なコンピューティング環境を示している。コンピューティングシステム環境は、単に、適切なコンピューティング環境の一実施例であり、用途と機能との範囲に関して限定を提案する意図はない。
図7を参照すると、本明細書で説明する態様を実装するための例示的なシステムは、コンピューティングデバイス700などのコンピューティングデバイスを含む。その最も基本的な構成では、コンピューティングデバイス700は、通常、少なくとも1つのプロセシングユニット702とメモリ704とを含む。コンピューティングデバイスの正確な構成と種類とにより、メモリ704は、(ランダムアクセスメモリ(RAM)などの)揮発性、(リードオンリメモリ(ROM)、フラッシュメモリなどの)非揮発性、またはこの2つのいくつかの組み合わせであってよい。この最も基本的な構成を、図7に、破線706によって示している。
コンピューティングデバイス700は、追加の特徴/機能を有することができる。たとえば、コンピューティングデバイス700は、(取り外し可能及び/または固定の)追加のストレージを含むことができ、それは、磁気または光のディスクまたはテープを含むが、これらに限定されない。そのような追加のストレージを、図7に、取り外し可能ストレージ708と固定ストレージ710とによって示す。
コンピューティングデバイス700は、通常、さまざまなコンピュータ可読媒体を含む。コンピュータ可読媒体は、デバイス700によってアクセスすることができる、任意の利用可能な媒体であり得、揮発性及び非揮発性の媒体、取り外し可能及び固定の媒体を含む。
コンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実装された、揮発性及び非揮発性の媒体と、取り外し可能及び固定の媒体とを含む。メモリ704、取り外し可能ストレージ708、及び固定ストレージ710は、すべて、コンピュータストレージ媒体の実施例である。コンピュータストレージ媒体は、RAM、ROM、電気的消去可能プログラムリードオンリメモリ(EEPROM)、フラッシュメモリまたは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージデバイス、または所望の情報を記憶するために使用することができ、コンピューティングデバイス700によってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。任意のそのようなコンピュータストレージ媒体は、コンピューティングデバイス700の一部であり得る。
コンピューティングデバイス700は、デバイスが他のデバイスと通信することを可能にする、通信接続712を含むことができる。コンピューティングデバイス700は、また、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなどの入力デバイス714を有することができる。ディスプレイ、スピーカ、プリンタなどの出力デバイス716も、含むことができる。すべてのこれらのデバイスは、当技術分野でよく知られており、ここで詳細に説明する必要はない。
本明細書で説明するさまざまな技術を、ハードウェアまたはソフトウェア、または必要に応じて、両方の組み合わせに関連して実装することができる、ということを理解すべきである。したがって、本開示の主題の方法及び装置、またはそれらの特定の態様及び部分は、フロッピーディスク、CD−ROM、ハードドライブ、または任意の他の機械可読ストレージ媒体などの有形媒体に組み込まれたプログラムコード(つまり、命令)の形態を取ることができ、プログラムコードをコンピュータなどのマシンにロードし、マシンによって実行した時、マシンは、本開示の主題を実践するための装置になる。プログラム可能コンピュータ上でプログラムコードを実行する場合では、コンピューティングデバイスは、一般に、プロセッサと、(揮発性メモリ及び非揮発性メモリと、及び/またはストレージ要素とを含む)プロセッサによって可読なストレージ媒体と、少なくとも1つの入力デバイスと、少なくとも1つの出力デバイスとを含む。1つまたは複数のプログラムは、本開示の主題に関連して説明したプロセスを、たとえば、アプリケーションプログラミングインターフェース(API)、再利用可能制御などの使用を通して、実装または活用することができる。このようなプログラムを、高度手続き型言語またはオブジェクト指向プログラミング言語で実装して、コンピュータシステムと通信することができる。しかしながら、必要に応じて、プログラムを、アセンブリ言語またはマシン言語で実装することができる。いずれの場合でも、言語は、コンパイラ型言語またはインタープリタ型言語であってよく、ハードウェア実装形態と組み合わせることができる。
主題を、構造的特徴及び/または方法論的動作に固有の言語で説明したが、添付の特許請求の範囲に定める主題が、必ずしも、上記で説明した具体的な特徴または動作に限定されない、ということを理解すべきである。むしろ、上記で説明した具体的な特徴と動作とを、特許請求の範囲を満たす例示的な形態として開示されている。
100 環境
102 PACSデータベース
107 プッシャーアプリケーション
108 ローカルエリアネットワーク(LAN)
109 サーバコンピュータ
110 診断ワークステーション
112 コンピューティングデバイス
114 広域ネットワーク(WAN)
120 クラウドサービス
122 アプリケーションサーバ
123 メッセージバス
124 プリプロセッサ
126 blobストア
128 データストア
130 画像サーバ
132 プロセスモニタ
150 ソースデータ
700 コンピューティングデバイス
704 メモリ
708 取り外し可能ストレージ
710 固定ストレージ

Claims (22)

  1. クライアントコンピューティングデバイスをサービスに接続する遠隔アクセス環境における画像データの分散レンダリングのための方法であって、
    2次元画像データを前記サービスに関連するデータベースに記憶することと、
    要求を、前記サービスにおいて、前記クライアントコンピューティングデバイスから受信することと、
    前記要求が、前記2次元画像データまたは3次元画像に対するものかどうかを判断することと、
    前記要求が前記2次元画像データに対するものである場合、前記2次元画像データを、前記クライアントコンピューティングデバイスに、表示するための2次元画像を前記クライアントコンピューティングデバイスにおいてレンダリングするために、ストリーミングすること、または、
    前記要求が3次元画像に対するものである場合、前記サービスに関連するサーバコンピューティングデバイスにおいて、前記3次元画像を前記2次元画像データからレンダリングし、前記レンダリングした3次元画像を、前記クライアントコンピューティングデバイスに、表示のために伝達することと、
    を備える、前記方法。
  2. 未加工画像データを、前記サービスにおいて、データソースから受信することと、
    前記未加工画像データまたは前記未加工画像データとは別のメタデータを前処理して、前記2次元画像を作成することと、
    前記2次元画像データと前記メタデータとを別々に記憶することと、
    をさらに備える、請求項1に記載の方法。
  3. 前記データソースが、前記未加工データを、定期的にまたは前記未加工データが利用可能になった時に送信する、プッシャーアプリケーションを含む、請求項2に記載の方法。
  4. 前記未加工データが、医療用画像データである、請求項2から3のいずれかに記載の方法。
  5. 前記未加工データが、コンピュータ支援設計(CAD)画像データである、請求項2から4のいずれかに記載の方法。
  6. 前記未加工データが、地震学的画像データである、請求項2から5のいずれかに記載の方法。
  7. 前記メタデータが、前記要求に応答して、前記クライアントコンピューティングデバイスに提供されることをさらに備える、請求項2から6のいずれかに記載の方法。
  8. 前記2次元画像データを提供することが、
    前記サービスへの接続を、所定のユニフォームリソースロケータ(URL)における前記クライアントコンピューティングデバイスから受信することと、
    前記クライアントコンピューティングデバイスのユーザを、前記サービスにおいて認証することと、
    ユーザインターフェースを、前記クライアントコンピューティングデバイスに、前記ユーザへの表示のために伝達することと、
    前記要求を前記ユーザインターフェースから受信することと、
    をさらに備える、請求項1から7のいずれかに記載の方法。
  9. 前記ユーザインターフェースが、HTML5準拠ウェブクライアントとして提供される、請求項8に記載の方法。
  10. 前記クライアントコンピューティングデバイスに関連するアプリケーション状態を継続的に更新することをさらに備え、前記アプリケーション状態が、前記クライアントコンピューティングデバイスについての情報を含む、請求項1から9のいずれかに記載の方法。
  11. 前記アプリケーション状態が、前記クライアントコンピューティングデバイスのユーザに表示されている画像に関する情報を含む、請求項10に記載の方法。
  12. 協調セッションを、前記2次元画像データまたは前記3次元画像のいずれかを同時に表示している複数のクライアントコンピューティングデバイス間で確立することをさらに備える、請求項10に記載の方法。
  13. 前記要求が、最大値投影(MIP)/多断面再構成(MPR)データに対するものであるかどうかを決定することと、
    前記MIP/MPRデータを、前記2次元画像データから、前記サーバコンピューティングデバイスにおいてレンダリングすることと、
    前記MIP/MPRデータを、前記クライアントコンピューティングデバイスに、表示のために伝達することと、
    をさらに備える、請求項1から12のいずれかに記載の方法。
  14. 前記3次元画像を前記2次元画像データからレンダリングすることが、
    レンダリングされる画像サイズを、前記2次元画像データから決定することと、
    前記2次元画像データから決定した前記画像サイズを有する前記3次元画像をレンダリングすることと、
    をさらに備える、請求項1から13のいずれかに記載の方法。
  15. 前記クライアントコンピューティングデバイスにおいて、前記3次元画像を、前記クライアントコンピューティングデバイスに関連するディスプレイサイズに従って、スケーリングすることをさらに備える、請求項14に記載の方法。
  16. 画像データの分散レンダリングのためのサービスを、前記サービスと遠隔接続されたクライアントコンピューティングデバイスとの間で提供するための方法であって、
    接続要求を、前記クライアントコンピューティングデバイスから受信することと、
    前記クライアントコンピューティングデバイスに関連するユーザを認証して、前記ユーザによる表示のために利用可能な画像を示すユーザインターフェースを提供することと、
    画像に対する要求を受信し、画像についての前記要求が2次元画像データに対するものである場合、前記2次元画像データを、前記サービスから前記クライアントコンピューティングデバイスにストリーミングすること、または前記要求が3次元画像に対するものである場合、前記3次元画像を、前記サービスにおいてレンダリングし、前記レンダリングした3次元画像を、前記クライアントコンピューティングデバイスに伝達することと、
    を備える、前記方法。
  17. 前記3次元画像を、前記サービスにおいて、前記2次元画像データからレンダリングすることをさらに備える、請求項16に記載の方法。
  18. 2次元画像を、前記クライアントコンピューティングデバイスにおいて、前記2次元画像データからレンダリングすることをさらに備える、請求項16から17のいずれかに記載の方法。
  19. 前記画像に関連するメタデータを、前記サービスから前記クライアントコンピューティングデバイスに伝達することをさらに備える、請求項16から18のいずれかに記載の方法。
  20. 未加工画像データを、前記クライアントコンピューティングデバイスによる取り込みのためのフォーマットに前処理することをさらに備える、請求項16から19のいずれかに記載の方法。
  21. 前記未加工画像データを、前記2次元画像データに、画像に対する前記要求の前にフォーマットすることをさらに備える、請求項20に記載の方法。
  22. 遠隔アクセス環境における画像データの分散レンダリングのための命令を有するコンピュータプログラムを記憶した有形コンピュータ可読ストレージ媒体であって、方法を実行する前記命令が、
    2次元画像データを前記サービスに関連するデータベースに記憶するステップと、
    要求を、前記サービスにおいて、前記クライアントコンピューティングデバイスから受信するステップと、
    前記要求が前記2次元画像データまたは3次元画像に対するものかどうかを判断するステップと、
    前記要求が前記2次元画像データに対するものである場合、前記2次元画像データを、前記クライアントコンピューティングデバイスに、表示するための2次元画像を前記クライアントコンピューティングデバイスにおいてレンダリングするために、ストリーミングするステップ、または、
    前記要求が3次元画像に対するものである場合、前記サービスに関連するサーバコンピューティングデバイスにおいて、前記3次元画像を前記2次元画像データからレンダリングし、前記レンダリングした3次元画像を、前記クライアントコンピューティングデバイスに、表示のために伝達するステップと、
    を備える、前記有形コンピュータ可読ストレージ媒体。
JP2016542399A 2013-09-10 2014-09-10 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ Pending JP2016535370A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361875749P 2013-09-10 2013-09-10
US61/875,749 2013-09-10
PCT/IB2014/002671 WO2015036872A2 (en) 2013-09-10 2014-09-10 Architecture for distributed server-side and client-side image data rendering

Publications (1)

Publication Number Publication Date
JP2016535370A true JP2016535370A (ja) 2016-11-10

Family

ID=52626615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016542399A Pending JP2016535370A (ja) 2013-09-10 2014-09-10 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ

Country Status (7)

Country Link
US (1) US20150074181A1 (ja)
EP (1) EP3044967A4 (ja)
JP (1) JP2016535370A (ja)
CN (1) CN105814903A (ja)
CA (1) CA2923964A1 (ja)
HK (1) HK1222064A1 (ja)
WO (1) WO2015036872A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079485A (ja) * 2017-09-08 2019-05-23 コニカ ミノルタ ヘルスケア アメリカズ, インコーポレイテッド クラウドからローカル、ローカルからクラウドへの切り替えと、医用画像及びデータの同期
JP2021526270A (ja) * 2018-09-21 2021-09-30 ▲蘇▼州瑞派▲寧▼科技有限公司Raycan Technology Co., Ltd. 医療用画像四次元可視化の方法及び装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106063205B (zh) 2013-11-06 2018-06-29 卡尔加里科技股份有限公司 远程访问环境中客户端流量控制的装置和方法
JP6035288B2 (ja) * 2014-07-16 2016-11-30 富士フイルム株式会社 画像処理システム、クライアント、画像処理方法、プログラムおよび記録媒体
CN106709856B (zh) * 2016-11-11 2021-05-11 广州华多网络科技有限公司 一种图形渲染方法及相关设备
CN108572818B (zh) * 2017-03-08 2021-07-23 斑马智行网络(香港)有限公司 一种用户界面渲染方法及装置
CN107728201B (zh) * 2017-09-29 2019-07-12 中国石油化工股份有限公司 一种基于Web的二维地震剖面绘制方法
CN107729105B (zh) * 2017-09-29 2021-02-26 中国石油化工股份有限公司 一种基于Web的地震底图与剖面联动方法
CN107608685A (zh) * 2017-10-18 2018-01-19 湖南警察学院 安卓应用的自动执行方法
US10915343B2 (en) * 2018-06-29 2021-02-09 Atlassian Pty Ltd. Server computer execution of client executable code
CN111488543B (zh) * 2019-01-29 2023-09-15 上海哔哩哔哩科技有限公司 一种基于服务器端渲染的网页输出方法、系统和存储介质
CN110968962B (zh) * 2019-12-19 2023-05-12 武汉英思工程科技股份有限公司 基于云渲染在移动端或大屏三维展示方法及系统
US20230064998A1 (en) * 2021-09-01 2023-03-02 Change Healthcare Holdings, Llc Systems and methods for providing medical studies
EP4202752A1 (en) * 2021-12-21 2023-06-28 The West Retail Group Limited Design development and display

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377257B1 (en) * 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
JP2002288236A (ja) * 2001-03-23 2002-10-04 Com Town.Com Ltd 通信方法およびサーバ装置
JP2003006674A (ja) * 2001-06-22 2003-01-10 Tis Inc 高品質な3次元立体間取り図配布/表示システム
JP2004152219A (ja) * 2002-11-01 2004-05-27 Tv Asahi Create:Kk 3次元画像処理方法及び3次元画像処理指示入力画面送信プログラム並びに3次元画像処理プログラム
JP2005293608A (ja) * 2005-05-11 2005-10-20 Terarikon Inc 情報システム
JP2005301358A (ja) * 2004-04-06 2005-10-27 System Soken:Kk 建築設計支援システム、その方法及びプログラム
JP2006280598A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 医用画像管理装置、医用画像管理方法及び医用画像管理システム
JP2010246774A (ja) * 2009-04-16 2010-11-04 Fujifilm Corp 医療画像データ処理システムおよび医療画像データ処理方法および医療画像データ処理プログラム
JP2012073996A (ja) * 2010-08-30 2012-04-12 Fujifilm Corp 画像配信装置および方法
JP2012530323A (ja) * 2009-06-15 2012-11-29 マイクロソフト コーポレーション 3次元シーンの区分的平面再構成
JP2015515041A (ja) * 2012-02-14 2015-05-21 テラリコン インコーポレイテッド アクセスコントロールを伴うクラウドベースの医療画像処理システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10206397B4 (de) * 2002-02-15 2005-10-06 Siemens Ag Verfahren zur Darstellung von Projektions- oder Schnittbildern aus 3D-Volumendaten eines Untersuchungsvolumens
CN100489871C (zh) * 2002-09-23 2009-05-20 哥伦比亚技术公司 地下污染检测和分析系统、方法和计算机程序产品
US7385615B2 (en) * 2002-10-21 2008-06-10 Microsoft Corporation System and method for scaling images to fit a screen on a mobile device according to a non-linear scale factor
US7173635B2 (en) * 2003-03-25 2007-02-06 Nvidia Corporation Remote graphical user interface support using a graphics processing unit
JP2008522270A (ja) * 2004-11-27 2008-06-26 ブラッコ イメージング ソチエタ ペル アチオニ 単体三次元レンダリングの複合ビュー表示のためのシステムと方法
US7483939B2 (en) * 2005-08-25 2009-01-27 General Electric Company Medical processing system allocating resources for processing 3D to form 2D image data based on report of monitor data
US8194951B2 (en) * 2005-09-30 2012-06-05 Philips Electronics North Method and system for generating display data
US7890573B2 (en) * 2005-11-18 2011-02-15 Toshiba Medical Visualization Systems Europe, Limited Server-client architecture in medical imaging
US7502501B2 (en) * 2005-12-22 2009-03-10 Carestream Health, Inc. System and method for rendering an oblique slice through volumetric data accessed via a client-server architecture
US7224642B1 (en) * 2006-01-26 2007-05-29 Tran Bao Q Wireless sensor data processing systems
US20070277115A1 (en) * 2006-05-23 2007-11-29 Bhp Billiton Innovation Pty Ltd. Method and system for providing a graphical workbench environment with intelligent plug-ins for processing and/or analyzing sub-surface data
US8386560B2 (en) * 2008-09-08 2013-02-26 Microsoft Corporation Pipeline for network based server-side 3D image rendering
US8701167B2 (en) * 2009-05-28 2014-04-15 Kjaya, Llc Method and system for fast access to advanced visualization of medical scans using a dedicated web portal
TWI493500B (zh) * 2009-06-18 2015-07-21 Mstar Semiconductor Inc 使二維影像呈現出三維效果之影像處理方法及相關影像處理裝置
CN102196300A (zh) * 2010-03-18 2011-09-21 国际商业机器公司 虚拟世界场景的图像的提供方法和设备及处理方法和设备
US20120212405A1 (en) * 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
US9420259B2 (en) * 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
US9870429B2 (en) * 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
US9665981B2 (en) * 2013-01-07 2017-05-30 R.B. Iii Associates Inc System and method for generating 3-D models from 2-D views
US9191782B2 (en) * 2013-03-12 2015-11-17 Qualcomm Incorporated 2D to 3D map conversion for improved navigation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377257B1 (en) * 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
JP2002288236A (ja) * 2001-03-23 2002-10-04 Com Town.Com Ltd 通信方法およびサーバ装置
JP2003006674A (ja) * 2001-06-22 2003-01-10 Tis Inc 高品質な3次元立体間取り図配布/表示システム
JP2004152219A (ja) * 2002-11-01 2004-05-27 Tv Asahi Create:Kk 3次元画像処理方法及び3次元画像処理指示入力画面送信プログラム並びに3次元画像処理プログラム
JP2005301358A (ja) * 2004-04-06 2005-10-27 System Soken:Kk 建築設計支援システム、その方法及びプログラム
JP2006280598A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 医用画像管理装置、医用画像管理方法及び医用画像管理システム
JP2005293608A (ja) * 2005-05-11 2005-10-20 Terarikon Inc 情報システム
JP2010246774A (ja) * 2009-04-16 2010-11-04 Fujifilm Corp 医療画像データ処理システムおよび医療画像データ処理方法および医療画像データ処理プログラム
JP2012530323A (ja) * 2009-06-15 2012-11-29 マイクロソフト コーポレーション 3次元シーンの区分的平面再構成
JP2012073996A (ja) * 2010-08-30 2012-04-12 Fujifilm Corp 画像配信装置および方法
JP2015515041A (ja) * 2012-02-14 2015-05-21 テラリコン インコーポレイテッド アクセスコントロールを伴うクラウドベースの医療画像処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019079485A (ja) * 2017-09-08 2019-05-23 コニカ ミノルタ ヘルスケア アメリカズ, インコーポレイテッド クラウドからローカル、ローカルからクラウドへの切り替えと、医用画像及びデータの同期
JP6991909B2 (ja) 2017-09-08 2022-01-13 コニカ ミノルタ ヘルスケア アメリカズ, インコーポレイテッド クラウドからローカル、ローカルからクラウドへの切り替えと、医用画像及びデータの同期
JP2021526270A (ja) * 2018-09-21 2021-09-30 ▲蘇▼州瑞派▲寧▼科技有限公司Raycan Technology Co., Ltd. 医療用画像四次元可視化の方法及び装置
JP7083047B2 (ja) 2018-09-21 2022-06-09 ▲蘇▼州瑞派▲寧▼科技有限公司 医療用画像四次元可視化の方法及び装置

Also Published As

Publication number Publication date
CA2923964A1 (en) 2015-03-19
US20150074181A1 (en) 2015-03-12
EP3044967A2 (en) 2016-07-20
WO2015036872A3 (en) 2015-06-11
CN105814903A (zh) 2016-07-27
EP3044967A4 (en) 2017-05-10
WO2015036872A2 (en) 2015-03-19
HK1222064A1 (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
JP2016535370A (ja) 分散型サーバ側及びクライアント側画像データレンダリングのためのアーキテクチャ
JP6313020B2 (ja) システム、コンピュータ可読記憶媒体及び方法
JP2015534160A (ja) クライアント・サーバー画像閲覧アーキテクチャにおけるクライアント側の画像描画
US9866445B2 (en) Method and system for virtually delivering software applications to remote clients
US9953136B2 (en) System for displaying and editing data for a medical device
US20150154778A1 (en) Systems and methods for dynamic image rendering
US20120221354A1 (en) Administering Medical Digital Images In A Distributed Medical Digital Image Computing Environment With Medical Image Caching
US8856262B1 (en) Cloud-based image hosting
CN107066794B (zh) 用于评估医学研究数据的方法和系统
US9202007B2 (en) Method, apparatus and computer program product for providing documentation and/or annotation capabilities for volumetric data
Jomier et al. Remote visualization of large datasets with midas and paraviewweb
Hachaj Real time exploration and management of large medical volumetric datasets on small mobile devices—evaluation of remote volume rendering approach
US9153208B2 (en) Systems and methods for image data management
US10296713B2 (en) Method and system for reviewing medical study data
Andrikos et al. An enhanced device-transparent real-time teleconsultation environment for radiologists
US20080126487A1 (en) Method and System for Remote Collaboration
Grimstead et al. Automatic distribution of rendering workloads in a grid enabled collaborative visualization environment
Parsonson et al. A cloud computing medical image analysis and collaboration platform
US11949745B2 (en) Collaboration design leveraging application server
Meenatchi Aparna et al. A survey of medical imaging, storage and transfer techniques
US11342065B2 (en) Systems and methods for workstation rendering medical image records
Kohlmann et al. Remote visualization techniques for medical imaging research and image-guided procedures
EP3185155B1 (en) Method and system for reviewing medical study data
Deng et al. Advanced Transmission Methods Applied in Remote Consultation and Diagnosis Platform
US20220392615A1 (en) Method and system for web-based medical image processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180820

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190311