JP2017163537A - セキュアなリアルタイムヘルスケア情報ストリーミング - Google Patents

セキュアなリアルタイムヘルスケア情報ストリーミング Download PDF

Info

Publication number
JP2017163537A
JP2017163537A JP2017023806A JP2017023806A JP2017163537A JP 2017163537 A JP2017163537 A JP 2017163537A JP 2017023806 A JP2017023806 A JP 2017023806A JP 2017023806 A JP2017023806 A JP 2017023806A JP 2017163537 A JP2017163537 A JP 2017163537A
Authority
JP
Japan
Prior art keywords
stream
high resolution
media item
low
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017023806A
Other languages
English (en)
Inventor
ワスニク パンカ
Wasnik Pankaj
ワスニク パンカ
ナムボディリ ヴィピン
Namboodiri Vipin
ナムボディリ ヴィピン
ラーオ ボッパーナ
Visweswara Rao Boppana
ラーオ ボッパーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2017163537A publication Critical patent/JP2017163537A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4333Processing operations in response to a pause request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ヘルスケア情報のストリーミングのための方法及びシステムを提供する。【解決手段】方法は、低解像度ストリームを送信するステップと、高解像度ストリームをバッファメモリに格納するステップと、前記低解像度ストリームに基づく1又は複数のフレーム番号を含む、高解像度メディアアイテムについての要求を受信するステップと、前記フレーム番号に基づき、前記バッファメモリから前記高解像度メディアアイテムを読み出すステップと、前記高解像度メディアアイテムを送信するステップと、を有する。前記要求は、前記低解像度ストリームに基づく1又は複数のフレーム番号を含む。【選択図】図5

Description

本開示は、情報ストリーミングシステムに関する。特に、本開示は、制限のある帯域幅のネットワークに渡る情報のストリーミングに関する。更に具体的には、本開示は、ヘルスケア情報のストリーミングに関する。
遠隔ヘルスケア、及び特にテレヘルスは、現代のヘルスケアの新興分野である。テレヘルスは、電子通信技術による健康関連サービス及び情報の配信である。テレヘルスは、外来診療と外来診療の間で患者が監視されることを可能にできる。これは、患者の健康を増進できる。テレヘルスは、患者が患者のローカルエリアで利用できない専門知識にアクセス可能にもする。テレヘルスは、2人の専門家が電話を介して症例を議論するように簡易であり、又は地球の正反対の側にある施設の間のロボット外科手術のように高機能であり得る。
インターネットが出現し及び広く導入されていることにより、世界の幾つかの場所にいるユーザは、帯域幅の増大を含むネットワーク能力の著しい増大を目にしてきた。さらに、コンピュータネットワーキングの進行に伴うパーソナルコンピュータの進歩は、概して、ストリーミングメディアを世界中の多くの人々にとって実用的に且つ手頃な価格にした。インターネット接続が遅れている世界の他の場所は、情報格差に苦しんでいる。この情報格差は、多くの場合、農村部及び発展途上国において特に明らかである。
本開示は、情報ストリーミングに関する。本開示の主題の1つの新規な態様によると、方法は、低解像度ストリームを送信するステップと、高解像度ストリームをバッファメモリに格納するステップと、高解像度メディアアイテムについての要求を受信するステップであって、前記要求は、前記低解像度ストリームに基づく1又は複数のフレーム番号を含む、ステップと、前記フレーム番号に基づき、前記バッファメモリから前記高解像度メディアアイテムを読み出すステップと、前記高解像度メディアアイテムを送信するステップと、を有する。高解像度メディアアイテムについての前記要求は、前記低解像度ストリームに基づく1又は複数のフレーム番号を含んでも良い。
概して、本開示に記載の主題の別の新規な態様では、方法は、低解像度ストリームを受信するステップと、高解像度メディアアイテムについての要求を送信するステップと、前記フレーム番号に基づき前記高解像度メディアアイテムを読み出すステップと、を有する。高解像度メディアアイテムについての前記要求は、前記低解像度ストリームに基づく1又は複数のフレーム番号を含んでも良い。
上述の態様のうちの1又は複数の他の実装は、対応するシステム、装置、及び、方法の動作を実行するよう構成されコンピュータ記憶装置上にエンコードされたコンピュータプログラムを含む。
理解されるべきことに、本開示で用いられる語は、基本的に読み易さ及び説明的目的で選択されており、本願明細書に開示された事項の範囲を制限しない。
本開示は、例を用いて説明され、添付の図面に限定されるものではない。図中、同様の参照符号は同様の要素を表すために用いられる。
本願明細書に記載の技術による、情報ストリーミングを実施する例示的なシステムを示す高レベルブロック図を示す。 本願明細書に記載の技術による、情報ストリーミングを実施するコンピューティング装置の一例を示すブロック図を示す。 本願明細書に記載の技術による、高解像度グラバの一例を示すブロック図を示す。 本願明細書に記載の技術による、情報ストリーミングの例示的な方法のフローチャートを示す。 本願明細書に記載の技術による、情報ストリーミングの別の例示的な方法のフローチャートを示す。 本願明細書に記載の技術による、例示的なグラフィカルユーザインタフェースを示すブロック図を示す。
テレヘルスは、リモート専門医による診断において使用される様々な種類のデータをストリーミングするために、ロバストデータストリーミング基盤を使用する。ストリーミングされるこの種の情報は、音声、ビデオ、テキスト、等を含む様々なメディア種類を有しても良い。医療装置の種類及び情報出力は、ストリーミングされるべき情報の種類を指示しても良い。例えば、耳鏡はビデオをストリーミングしても良く、一方で、聴診器は音声をストリーミングしても良い。他の装置は、テキスト、3次元環境、等を含む他の種類のメディアストリームを有しても良い。規制及び個人プライバシーへの関心により、テレヘルスネットワークのための効率的なストリーミングシステムは、認証、暗号化、及び基礎となるネットワークにおける変化に動的に対応できる能力も含み得る。
開示の技術は、低ビットレートプレビューストリームによるストリーム、及びほぼリアルタイムに低ビットレートプレビューストリームを反映する、より高品質なメディアアイテムを提供する能力を提供する。本願明細書で使用されるとき、低ビットレートプレビューストリームは、低解像度ストリーム、低帯域幅ストリーム、等としても表され得る。概して、低ビットレートプレビューストリームは、高ビットレートストリーム(或いは、高解像度ストリーム、高帯域幅ストリーム、等として表される)より、低い品質の解像度を有し及び/又は少ない帯域幅しか消費しない。したがって、1つの使用例では、高レベルにおいて、医師(又は複数の医師)は、医療情報を低ビットレートプレビューストリームと共にストリーミングしても良く、低ビットレートプレビューストリームの中で特に関心のある領域が生じると、医師は、ユーザインタフェースを介して、低ビットレートプレビューストリームに基づく、より高品質のメディアアイテムが取り込まれるべきであることを示しても良い。例えば、ビデオストリームでは、低ビットレートプレビューストリームは、高ビットレートストリームと揃えられたタイムスタンプ又はフレーム番号を有しても良い。高ビットレートストリームは、要求されるまで医師に送信されず、次に、高ビットレートストリームの一部又は部分集合(例えば、より高品質なメディアアイテム)のみが送信されても良い。例えば、より高品質なメディアアイテムは、単一フレーム又は固定長のフレームシリーズを含んでも良く、それにより帯域幅使用を効果的に低減する。より高品質なメディアアイテムは、より高品質なメディアアイテムについての要求と共に送信されたタイムスタンプ、フレーム番号、等に基づき、高ビットレートストリームから抽出されても良い。さらに、幾つかの例では、より高品質なメディアアイテムが送信されている間、低ビットレートストリームは一時停止されても良く、或いは、低ビットレートストリームのビットレートは、更に低下されても良い。
図1は、情報ストリーミングを実施する例示的なシステム100を示す高レベルブロック図を示す。システムは、ネットワーク110を通じて通信可能に接続される、1又は複数のハブ102と、クラウド基盤112と、1又は複数のノード132と、を有する。したがって、図示の実施形態では、ハブ102a、クラウド基盤112、及びノード132aは、信号線120、124、及び128を介してネットワーク110に通信可能に結合される。さらに、ハブ102n及びノード132nのような他のハブ及びノードは、信号線122及び126を介してネットワークに通信可能に結合されても良い。しかしながら、本開示はこの構成に限定されず、種々の異なるシステム環境及び構成が展開でき、本開示の範囲内にある。他の実施形態は、追加の又はより少数のコンポーネントを含んでも良い。例えば、クラウド基盤112は、種々のリモート位置に置かれる複数のインスタンスを含んでも良い。
これらの実装は、多数の観点において特に有利である。例えば、本願明細書に記載の技術は、ネットワーク帯域幅の変化に伴い、ストリーミングを適応的に調整する。さらに、本技術は、低帯域幅の状況で、乏しいリソースの効率的な使用を提供する。
図1及び参照符号又は数字の後の文字、例えば「102a」を含む一実施形態を説明するために使用される他の図は、特定の参照符号により指定される要素又はコンポーネントへの特定の参照であることが、理解されるべきである。参照符号が、それに続く文字を有しないで文中に現れる場合には、例えば「102」、これは、一般的参照符号を担う要素又はコンポーネントの異なる実施形態の一般的参照であることが理解されるべきである。
ハブ102は、医師106又は患者を診断し医療ケアを提供し得る別のヘルスケアプロバイダにより(線104により示されるような)使用される設備を含む。特に、ハブ102は、部分的に、情報ストリーミングを実施しても良い。ハブ102は、コンピューティングハードウェア、入力装置、ディスプレイ装置、及び他の出力装置を有しても良い。ハブ102は、プロセッサにより又はプロセッサと接続して処理するためにデータ、プログラム、ソフトウェア、コードルーチンなどを含み若しくは格納できる任意の非一時的機器又は装置であり得る非一時的コンピュータ使用可能(例えば、読み取り可能、書き込み可能、等)媒体を含んでも良い。ハブ102は、種々のアプリケーションも含んでも良い。例えば、ハブ102は、高解像度グラバ140z及び適応ストリーマ142zを有しても良い。高解像度グラバ140z及び適応ストリーマ142zを詳細に記述する情報は、図2、3、及び残りの図を参照して更に説明される。
ネットワーク110は、従来型の有線又は無線であり、スター構成、トークンリング構成若しくは他の構成を含む多数の異なる構成を有しても良い。さらに、ネットワーク110は、WAN(wide area network)(例えば、インターネット)、LAN(local area network)、及び/又は複数の装置が通信できる他の相互接続されたデータ経路を有しても良い。幾つかの実施形態では、ネットワーク110は、ピアツーピアネットワークであっても良い。ネットワーク110は、種々の異なる通信プロトコルでデータを送信する通信ネットワークの一部に結合され又はそれを含んでも良い。幾つかの実施形態では、ネットワーク110は、前述の種類のネットワークのうちの1つに渡り動作するVPNであっても良い。
クラウド基盤112は、インターネット、又は情報ストリーミング及びストリーム監査のための処理リソース及びデータ記憶を提供する他のネットワークに基づくコンピューティングプラットフォームであっても良い。特に、クラウド基盤112は、部分的に、情報ストリーミングを実施しても良い。クラウド基盤112は、コンピューティングハードウェア、入力装置、ディスプレイ装置、及び他の出力装置を有しても良い。クラウド基盤112は、プロセッサにより又はプロセッサと接続して処理するためにデータ、プログラム、ソフトウェア、コードルーチンなどを含み若しくは格納できる任意の非一時的機器又は装置であり得る非一時的コンピュータ使用可能(例えば、読み取り可能、書き込み可能、等)媒体を含んでも良い。クラウド基盤112は、種々のアプリケーションも含んでも良い。例えば、クラウド基盤112は、高解像度グラバ140y及び適応ストリーマ142yを有しても良い。高解像度グラバ140y及び適応ストリーマ142yを詳細に記述する情報は、図2、3、及び残りの図を参照して更に説明される。
ノード132は、テレヘルス医療を受信するために患者及び/又は技師136により(使用線134により示されるような)使用される設備を含む。技師は、物理的に患者の手当をし、患者のバイタルを取り込む及びシステム100を通じてテレヘルス医療ケアを受信する際に患者を技術的に支援するような職務を実行しても良い。ノード132は、部分的に、情報ストリーミングを実施しても良い。ノード132は、コンピューティングハードウェア、入力装置、ディスプレイ装置、及び他の出力装置を有しても良い。ノード132は、プロセッサにより又はプロセッサと接続して処理するためにデータ、プログラム、ソフトウェア、コードルーチンなどを含み若しくは格納できる任意の非一時的機器又は装置であり得る非一時的コンピュータ使用可能(例えば、読み取り可能、書き込み可能、等)媒体を含んでも良い。ノード132は、種々のアプリケーションも含んでも良い。例えば、ノード132は、高解像度グラバ140x及び適応ストリーマ142xを有しても良い。高解像度グラバ140x及び適応ストリーマ142xを詳細に記述する情報は、図2、3、及び残りの図を参照して更に説明される。
医師106は、ハブ102にあるアプリケーションから操作すべきリモート医療装置を選択しても良い。幾つかの例では、アプリケーションは、ウェブブラウザを通じてアクセスされ且つウェブサーバによりホスティングされるウェブアプリケーションであっても良い。とにかく、リモート医療装置は、アプリケーションで操作され、ローカルに取り付けられた医療装置の操作を実行するためにメッセージがノード132へ送信されても良い。したがって、ローカルに取り付けられた医療装置は、アプリケーションにおいて参照されるリモート医療装置を機能的に具現する。幾つかの例では、ローカルに取り付けられた医療装置は、装置ストリームを生成しても良い。例えば、耳鏡は、ビデオ装置ストリームを生成しても良い。聴診器は、音声装置ストリームを生成しても良い。磁気共鳴画像診断(MRI)スキャナは、画像を生成しても良い。カメラはビデオを生成しても良く、マイクは患者136と対話するために音声信号を生成しても良い。
幾つかの例では、メッセージは、RTMP(Real Time Messaging Protocol)を用いて転送されても良く、監査記録のためにクラウド基盤を通過しても良い。遠隔治療システム100は、幾つかの例では、ハブ102、クラウド基盤112、及びノード132の間の通信を実現するために使用されても良い。幾つかの例では、クラウド基盤は、複数のサーバ、サイト、場所に渡りコンピューティングリソースの利用を広げるためにロードバランスを実施しても良い。
図2は、情報ストリーミングを実施するコンピューティング装置200の一例を示すブロック図を示す。コンピューティング装置200は、高解像度グラバ140と、適応型ストリーマ142と、プロセッサ230と、メモリ232と、通信ユニット234と、記憶装置236と、を含む。コンピューティング装置200のコンポーネントは、バス220により通信可能に結合される。幾つかの実施形態では、ハブ102、クラウド基盤112、及び/又はノード132は、コンピューティング装置200を有しても良い。
プロセッサ230は、論理演算ユニット、マイクロプロセッサ、汎用制御部、又は計算を実行しディスプレイ装置に電子表示信号を提供する特定の他のプロセッサアレイを有する。プロセッサ230は、システム200の他のコンポーネントと通信するためにバス220に結合されても良い。図2は単一プロセッサ230を有するが、複数のプロセッサ又はプロセッサコアが含まれても良い。他のプロセッサ、オペレーティングシステム、センサ、ディスプレイ、及び物理構成も可能である。
メモリ232は、プロセッサ230により実行され得る命令及び/又はデータを格納する。メモリ232は、システム220の他のコンポーネントと通信するためにバス220に結合される。命令及び/又はデータは、本願明細書に記載の技術を実行するコードを有しても良い。メモリ232は、DRAM(dynamic random access memory)素子、SRAM(static random access memory)素子、フラッシュメモリ又は何らかの他のメモリ素子であっても良い。幾つかの実施形態では、メモリ232は、不揮発性メモリ、又はハードディスクドライブ、フロッピディスクドライブ、CD−ROM装置、DVD−ROM装置、DVD−RAM装置、DVD−RW装置、フラッシュメモリ装置又は従来知られているより永久的に情報を格納する特定の他の大容量記憶装置を含む同様の永久記憶装置及び媒体も有しても良い。
通信ユニット234は、ネットワーク110へデータを送信し及びネットワーク110からデータを受信する。通信ユニット234はバス220に結合される。幾つかの実施形態では、通信ユニット234は、ネットワーク110への又は別の通信チャネルへの直接物理接続のためのポートを有しても良い。幾つかの実施形態では、通信ユニット234は、IEEE802.11、IEEE802.16、BLUETOOTH(登録商標)、セルラ通信、又は別の適切な無線通信方法を含む1又は複数の無線通信方法を用いてネットワーク110又は他の通信チャネルによりデータを交換する無線通信機を有する。
記憶装置236は、本願明細書に記載の機能を提供するためにデータを格納する非一時的メモリであり得る。記憶装置236は、DRAM(dynamic random access memory)素子、SRAM(static random access memory)素子、フラッシュメモリ又は何らかの他のメモリ素子であっても良い。幾つかの実施形態では、記憶装置236は、不揮発性メモリ、又はハードディスクドライブ、フロッピディスクドライブ、CD−ROM装置、DVD−ROM装置、DVD−RAM装置、DVD−RW装置、フラッシュメモリ装置又は従来知られているより永久的に情報を格納する特定の他の大容量記憶装置を含む同様の永久記憶装置及び媒体も含む。
高解像度グラバ140は、情報ストリーミングを実施するルーチンを含むソフトウェアであっても良い。幾つかの実施形態では、高解像度グラバ140は、医療情報をストリーミングする後述の機能を提供するために、プロセッサ230により実行可能な命令セットであり得る。幾つかの実施形態では、高解像度グラバ140は、コンピューティング装置200のメモリ232に格納されても良く、プロセッサ230によりアクセス可能且つ実行可能であり得る。高解像度グラバ140は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。幾つかの例では、高解像度グラバ140の機能は、ハブ102(例えば、高解像度グラバ140z)、クラウド基盤112(例えば、高解像度グラバ140y)、及びノード132(例えば、高解像度グラバ140x)の間で分けられても良い。
説明のための例として、高解像度グラバ140は、ビデオをストリーミングする際に使用されても良い。高解像度グラバ140は、医師106が、低ビットレートプレビューストリームのフレームに対応する高品質フレームを取り込むことを可能にできる。患者136の低ビットレートプレビューストリームが続いている間、この高品質フレームは、診断を行うために医師により使用されても良い。
高解像度グラバ140により、医師106と患者及び/又は技師136との間の相互作用の全期間の間に高品質ビデオを送信する必要がないので、アップリンク帯域幅は維持され得る。低ビットレートプレビュービデオを閲覧することにより、医師106は、関心のあるフレームを識別し、送信されるべき対応する高品質フレームを要求できる。したがって、医師106は、高品質フレームに含まれる追加情報に基づき、一層正確な診断を提供できる。
ある実装では、医師106は、彼が関心のあるフレームを識別するときはいつでも、低ビットレートプレビューストリームを一時停止しても良い。低解像度ストリームの一時停止は、関心のあるフレームのタイムスタンプ又はフレーム番号と一緒に、ハブ102からノード132へ一時停止コマンドを送信しても良い。ノード132は、高解像度のローカルにストリーミングされたビデオから提供されたフレーム番号に基づき、対応するフレームをフェッチしても良い。ノード132は、ローカルにフレームを保存し、ハブ102を通じて医師106からダウンロード要求を受信すると、ハブ102に高解像度フレームをアップロードしても良い。ハブ102は、医師106に高解像度フレームを表示し又はその他の場合には利用可能にしても良い。
幾つかの例では、高解像度ストリームは、記憶装置236に保存し及び維持する代わりに、ローカルにストリーミングされ又はメモリ232に格納されても良い。これは、ストリームが永続的記憶装置に保存されないので、患者の秘密性を維持する。幾つかの例では、高解像度ストリームをメモリ232に格納する前に、高解像度ストリームは、装置ストリームからネットワークストリームにトランスコードされても良い。高解像度グラバ140は、図3及び残りの図を参照して更に詳述される。
適応型ストリーマ142は、本願明細書に記載の情報ストリーミング技術を実施するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、適応型ストリーマ142は、医療情報をストリーミングする後述の機能を提供するために、プロセッサ230により実行可能な命令セットであり得る。幾つかの実施形態では、適応型ストリーマ142は、コンピューティング装置200のメモリ232に格納されても良く、プロセッサ230によりアクセス可能及び実効可能であり得る。適応型ストリーマ142は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。幾つかの例では、適応型ストリーマ142の機能は、ハブ102(例えば、適応型ストリーマ142z)、クラウド基盤112(例えば、適応型ストリーマ142y)、及びノード132(例えば、適応型ストリーマ142x)の間で分けられても良い。
適応型ストリーマ142は、システム100へのアクセスに対する認証及び認可を提供しても良い。例えば、適応型ストリーマ142は、トークンに基づく認証を使用しても良い。したがって、システム100による情報のストリーミングは、パーティ(例えば、医師106及び患者130)の両者が認証に成功した場合に限定されても良い。さらに、適応型ストリーマ142は、情報ストリームに暗号化を提供しても良い。例えば、聴覚、視覚、及びテキストデータは、広帯域幅デジタルコンテンツ保護(high−bandwidth digital content protection:HDCP)及び/又は暗号化技術により保護されても良い。
適応型ストリーマ142は、ハブ102において再生ストリーミング問題を回避するために、利用可能なネットワーク帯域幅に合うデータをストリーミングするロジックを含んでも良い。再生ストリーミング問題は、部分的に、ネットワーク帯域幅変動のために生じることがある。したがって、ネットワーク帯域幅変動を平滑化するために、適応型ストリーマ142は、利用可能ネットワーク帯域幅が閾に達すると直ぐに保留中のデータを送信する自動転送機能を提供しても良い。さらに、適応型ストリーマ142は、利用可能帯域幅に適合するようビットレート変更を提供しても良い。さらに、適応型ストリーマ142は、システム100の中でデータを転送するためにHTTPS(secure hypertext transfer protocol)のようなセキュア接続インタフェースを提供しても良い。幾つかの例では、データの転送は、多くの最新ウェブブラウザに実装されているSSE(secure server−sent events)のようなプッシュメカニズムを含んでも良い。
図3は、高解像度グラバ140の一例を示すブロック図を示す。高解像度グラバ140は、制御部302、高解像度コーデック304、低解像度コーデック304、シンクロナイザ308、バッファ310、フレーム抽出器312、ストリームコンポーネント314、ストリーム制御インタフェース316、メディアアイテムコンポーネント318、及びユーザインタフェース320を有する。高解像度グラバ140のこれらのコンポーネントは、例えばバス220を介して互いに通信可能に結合される。
制御部302は、高解像度グラバ140とコンピューティング装置200の他のコンポーネントとの間の通信を処理するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、制御部302は、高解像度グラバ140とコンピューティング装置200の他のコンポーネントとの間の通信を処理する後述する機能を提供するためにプロセッサ230により実行可能な命令セットであり得る。幾つかの実施形態では、制御部302は、コンピューティング装置200のメモリ232に格納でき、プロセッサ230によりアクセス可能且つ実行可能であり得る。制御部302は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
制御部302は、通信ユニット234を介して、ハブ102、クラウド基盤112、及び/又はノード132へデータを送信し及びそれらからデータを受信する。例えば、制御部302は、ノード132から、通信ユニット234を介して、低ビットレートプレビューストリーム及び高解像度メディアアイテムを受信する。幾つかの例では、制御部302は、受信した低ビットレートプレビューストリーム及び高解像度メディアアイテムをディスプレイ上でユーザに提示するためにユーザインタフェース320と通信しても良い。更に、制御部は、ユーザインタフェース320から、特定の関心フレームを要求する又はストリームを一時停止する又は再開することを要求する要求を受信しても良い。
幾つかの実施形態では、制御部302は、高解像度コーデック304からデータを受信し、及び/又は高解像度グラバ140のコンポーネントにデータを送信する。例えば、制御部302は、高解像度コーデック304から高解像度符号化ストリームを受信し、高解像度符号化ストリームを一時的記憶のためにバッファ310に通信しても良い。幾つかの実施形態では、制御部302は、低解像度コーデック306からデータを受信し、及び/又は高解像度グラバ140のコンポーネントにデータを送信する。例えば、制御部302は、低解像度コーデック306から低解像度符号化ストリームを受信し、低解像度符号化ストリームをストリームの送信のためにストリームコンポーネント314に通信しても良い。幾つかの実施形態では、制御部302は、シンクロナイザ308と通信して、バッファ310に一時的に格納された高解像度ストリームと低解像度コーデック306から受信した低解像度プレビューストリームとの間の同期化されたフレーム番号を要求しても良い。
高解像度コーデック304は、装置ストリームを高解像度ストリームに変換するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、高解像度コーデック304は、装置ストリームをデジタル化し及びデジタル化した装置ストリームにストリーム圧縮を適用する後述する機能を提供するためにプロセッサ230により実行可能な命令セットであり得る。この特定の例では、ストリーム圧縮は、ネットワーク110に渡り送信されるとき、少ない帯域幅しか消費しない低ビットレートではなく、更に高品質なストリームへとバイアスされても良い。例えば、高解像度コーデック304は、装置ドライバからアナログビデオ装置ストリームを受信しても良い。高解像度コーデック304は、デジタルフレームレートを生成するために特定の周波数でアナログビデオ装置ストリームをサンプリングしても良く、さらに、各々のアナログフレームをデジタルフレームに変換するために、ウインドウサイズにより各々のフレームをサンプリングしても良い。さらに、H.264又はHEVC(high efficiency video coding、H.265としても知られる)のような最新のビデオ圧縮アルゴリズムが、デジタル化されたビデオ装置ストリームに適用されて、高解像度ストリームを生成しても良い。高解像度コーデック304は、高解像度ストリームを一時的記憶のためにバッファ310に転送しても良い。
低解像度コーデック306は、装置ストリームを低ビットレートプレビューストリームに変換するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、低解像度コーデック306は、装置ストリームをデジタル化し及びデジタル化した装置ストリームにストリーム圧縮を適用する後述する機能を提供するためにプロセッサ230により実行可能な命令セットであり得る。この特定の例では、高解像度ストリームを生成するのではなく、ストリーム圧縮は、ネットワーク110に渡り送信されるとき、少ない帯域幅しか消費しない低ビットレートへとバイアスされても良い。例えば、低解像度コーデック306は、装置ドライバからアナログビデオ装置ストリームを受信しても良い。低解像度コーデック306は、デジタルフレームレートを生成するために特定の周波数でアナログビデオ装置ストリームをサンプリングしても良く、さらに、各々のアナログフレームをデジタルフレームに変換するために、ウインドウサイズにより各々のフレームをサンプリングしても良い。さらに、H.264又はHEVC(high efficiency video coding、H.265としても知られる)のような最新のビデオ圧縮アルゴリズムが、デジタル化されたビデオ装置ストリームに適用されて、低ビットレートプレビューストリームを生成しても良い。
低解像度コーデック306は、次に、ハブ102及び/又はノード132へ送信するために、低ビットレートプレビューストリームをストリームコンポーネント314へ転送しても良い。一実施形態では、ストリームコンポーネント314は、高解像度グラバ140の部分であっても良い。したがって、低ビットレートプレビューストリーム及び高解像度ストリームは、ハブ102へクラウド基盤112を介して送信される。これは、追加のアクセス制御を許す(例えば、ストリーミングされるデータがハブ102に存在する前に、ハブ102において医師106のIDが認証されても良い)。さらに、低ビットレートプレビューストリーム及び高解像度ストリームをクラウド基盤112を介して送信することは、効率的な1対多ストリーミング能力を提供し、複数のヘルスケア専門家が同一のストリーミングされたコンテンツを同時に閲覧できるようにする。クラウド基盤112を通じるストリーミングは、ハブ102に提供されるサービス品質の良好な制御も可能にする。
シンクロナイザ308は、(例えば、ストリーミングコンポーネント314により送信される)低ビットレートプレビューストリーム及び(例えば、バッファ310に格納される)高解像度ストリームの中の、2つのストリームを同じ相対的時間に同期化するフレーム又はタイムスタンプを識別するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、シンクロナイザ308は、コンピューティング装置200のメモリ232に格納でき、プロセッサ230によりアクセス可能且つ実行可能であり得る。シンクロナイザ308は、バス220を介するプロセッサ330及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
バッファ310は、ストリームのデータを一時的に格納するメモリ232の一部であっても良い。幾つかの実施形態では、バッファ310は、固定時間期間の間、ストリームからのデータを一時的に格納できる。例えば、バッファ310は、前の数分間に、高解像度ストリームのデータを格納しても良い。幾つかの実施形態では、バッファ310は、コンピューティング装置200のメモリ232に格納でき、プロセッサ230によりアクセス可能であり得る。バッファ310は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
フレーム抽出器312は、バッファ310に一時的に格納された高解像度ストリームからメディアアイテムを抽出するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、フレーム抽出器312は、バッファ310の中のメディアアイテムを特定し、メディアアイテムをコピーし、及びメディアアイテムをメディアアイテムコンポーネント318を通じてノード132へ送信する後述の機能を提供するために、プロセッサ230により実行可能な命令セットであり得る。幾つかの実施形態では、フレーム抽出器312は、コンピューティング装置200のメモリ232に格納でき、プロセッサ230によりアクセス可能且つ実行可能であり得る。フレーム抽出器312は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
ストリームコンポーネント314は、ストリームを発行するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、ストリームコンポーネント314は、ネットワーク110に渡り発行のためにストリームをフォーマットする後述の機能を提供するために、プロセッサ230により実行可能な命令セットであり得る。例えば、ストリームコンポーネント314は、低解像度ストリームをネットワーク110に渡りノード132からハブ102へ送信しても良い。幾つかの実施形態では、ストリームコンポーネント314は、コンピューティング装置104のメモリ232に格納でき、プロセッサ230によりアクセス可能且つ実行可能であり得る。ストリームコンポーネント314は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
ストリーム制御インタフェース316は、ストリームを制御し及び高解像度メディアアイテムを要求するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、ストリーム制御インタフェース316は、ストリーム制御メッセージを受信し及び処理する後述の機能を提供するために、プロセッサ230により実行可能な命令セットであり得る。例えば、ストリーム制御インタフェース316は、低解像度ストリームのストリーミングを停止するために、ストリーム制御メッセージを受信しても良い。ストリーム制御インタフェース316は、低解像度ストリームの送信を停止するために、ストリームコンポーネント314と通信しても良い。さらに、ストリーム制御インタフェース316は、ストリーム制御メッセージに含まれるフレーム番号又はタイムスタンプに基づき高解像度メディアアイテムを読み出すために、ストリーム制御メッセージを受信しても良い。ストリーム制御インタフェース316は、特定の高解像度メディアアイテムを読み出すために、メディアアイテムコンポーネント318と通信しても良い。幾つかの実施形態では、ストリーム制御インタフェース316は、コンピューティング装置200のメモリ232に格納でき、プロセッサ230によりアクセス可能且つ実行可能であり得る。ストリーム制御インタフェース316は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
メディアアイテムコンポーネント318は、バッファ310からデータを抽出するルーチンを含むソフトウェアであり得る。幾つかの実施形態では、メディアアイテムコンポーネント318は、高解像度メディアアイテムとして抽出しフォーマットするためにバッファ310の中のデータを識別するためにシンクロナイザ308と通信する後述の機能を提供するために、プロセッサ230により実行可能な命令セットであり得る。幾つかの実施形態では、メディアアイテムポーネント318は、コンピューティング装置200のメモリ232に格納でき、プロセッサ230によりアクセス可能且つ実行可能であり得る。メディアアイテムコンポーネント318は、バス220を介するプロセッサ230及びコンピューティング装置200の他のコンポーネントとの協働及び通信のために適応されても良い。
幾つかの実施形態では、ユーザインタフェース320は、高解像度グラバ140から、ストリーム又はメディアコンポーネントを表示するために受信する。幾つかの実施形態では、ユーザインタフェース320は、ストリームコンポーネント314又はメディアアイテムコンポーネント318から、ネットワーク110に渡り、ユーザに提示するために情報ストリーム又はメディアアイテムを受信する。例えば、高解像度グラバ140zは、高解像度グラバ140xのストリームコンポーネント314から低解像度ストリームを受信しても良い。別の例では、高解像度グラバ140zは、高解像度グラバ140xから高解像度メディアアイテムを受信しても良い。グラフィカルユーザインタフェースの例は、図6に示される。
図4は、情報ストリーミングの例示的な方法400のフローチャートを示す。方法400は低解像度ストリームを受信することにより開始しても良い402。例えば、高解像度グラバ140xは、高解像度グラバ140zへ低解像度ストリームを送信しても良い。したがって、ノード132aは、低解像度プレビューストリームをハブ102aへ送信し、したがって、ハブ102aは低解像度ストリームを受信する402。特に、制御部302は、低解像度ストリームを受信し、低解像度ストリームをユーザインタフェース320に通信しても良い。例えば、ユーザインタフェース320は、ビデオプレイヤによりビデオストリームを再生しても良い。ビデオプレイヤは、ユーザ(例えば、医師106)が低解像度ストリームの中の関心のあるフレーム番号を指定できるようにするユーザインタフェース制御を有しても良い。
したがって、高解像度グラバ140zは、低解像度ストリームに基づく1又は複数の関心のあるフレーム番号と一緒に、高解像度メディアアイテムについての要求を送信しても良い404。例えば、ユーザインタフェース320は、所与のフレームの高解像度コピーを要求するユーザ入力を受信しても良い。低解像度ストリームが再生中であっても良く、ユーザは、このような要求を示すためにユーザインタフェース制御と単に相互作用しても良い。ユーザインタフェース320は、次に、関心のあるフレーム番号をストリーム制御インタフェース316に渡しても良い。ハブ102aの中のストリーム制御インタフェース316は、ネットワーク110を用いてノード132aの中の高解像度グラバ140xへ、この要求を送信しても良い。
任意的に、ユーザインタフェース320は、低解像度ストリームを停止する要求を送信しても良い406。この低解像度ストリームの停止は、高解像度メディアアイテムを受信するために帯域幅を解放できる。例えば、ユーザインタフェース320は、関心のあるフレーム番号を示すユーザ入力に応答して、低解像度ストリームを停止する要求を自動的に送信しても良い。ユーザインタフェース320は、低解像度ストリームを停止する要求を、ハブ102aにある高解像度グラバ140zの中のストリーム制御インタフェース316に通信しても良い。ストリーム制御インタフェースは、ネットワーク110を用いてノード132aの中の高解像度グラバ140xへ、低解像度ストリームを停止するこの要求を送信しても良い。
ハブ102aは、次に、低解像度ストリームの中で送信された関心のあるフレーム番号に基づき、高解像度メディアアイテムを受信しても良い408。例えば、制御部302は、ネットワーク110に渡り送信される高解像度グラバ140xからの高解像度メディアアイテムを受信しても良い。制御部302は、次に、ユーザ(例えば、医師106)に表示するため及びユーザとの相互作用のために、高解像度メディアアイテムをユーザインタフェース320に渡しても良い。
任意的に、方法400は、ハブ102aにより、低解像度ストリームを再開する要求を送信するステップを更に有しても良い410。幾つかの例では、低解像度ストリームを再開するための要求は、高解像度メディアアイテムの受信が完了すると、生成される。例えば、制御部302が、高解像度メディアアイテムが完全にダウンロードされたことを決定すると、制御部302は、低解像度ストリームの再開を要求するために、ストリーム制御インタフェース316と通信しても良い。したがって、ハブ102aにある高解像度グラバ140zは、ノード132aにある高解像度グラバ140xへ、低解像度ストリームを再開する要求を送信しても良い。
図5は、情報ストリーミングの別の例示的な方法500のフローチャートを示す。方法500は、装置ストリームを受信するステップを有しても良い502。例えば、装置ストリームは、装置ドライバを通じてノード132aに直接接続されるハードウェア装置から生じても良い。一例として、装置は、患者136と相互作用するビデオカメラであっても良い。ノード132aにある高解像度グラバ140xは、任意的に、高解像度ストリーム504及び低解像度ストリーム508を装置ストリームに符号化しても良い。例えば、制御部302は、装置ドライバと相互作用し、装置ストリームを受信しても良い502。一方、制御部302は、装置ストリームを複製し、装置ストリームのコピーを高解像度コーデック304及び低解像度コーデック306へ通信しても良い。
高解像度コーデック304は、装置ストリームをデジタル化し、圧縮アルゴリズムを適用し、デジタル化し圧縮したストリームをバッファ310へ通信して、高解像度ストリームをメモリ232に格納しても良い506。同様に、低解像度コーデック306は、装置ストリームをデジタル化し、圧縮アルゴリズムを適用し、デジタル化し圧縮したストリームをストリームコンポーネントへ通信して、ノード132aからハブ102aへネットワーク110を渡り低解像度ストリームを送信しても良い510。
ノード132aは、低解像度ストリームの中の関心のあるフレーム番号を受信する512。例えば、ハブ102aにある高解像度グラバ140zは、ノード132aにある高解像度グラバ140xへネットワークを渡り、関心のあるフレーム番号を送信しても良い。高解像度グラバ140x、及び特に制御部302は、低解像度ストリームに基づく関心のあるフレーム番号を含む高解像度メディアアイテムについての要求を受信しても良い512。制御部302は、次に、バッファ310からの高解像度メディアアイテムの読み出しを要求し、シンクロナイザ308と通信することにより高解像度メディアアイテムが低解像度ストリームと正しく同期化されていることを保証しても良い514。
高解像度メディアアイテムは、ハブ102へ送信される516。例えば、高解像度メディアアイテムは、ノード132からハブ102へ送信されても良い。方法500が継続している場合、方法は、次に、低解像度ストリームの中の他の関心のあるフレーム番号を受信するのを待っても良い512。低解像度ストリームが終了すると、方法500も終了しても良い。留意すべきことに、方法400と同様に、方法500は、低解像度ストリームの送信を停止するためのステップ、及び低解像度ストリームの送信を再開するためのステップを有しても良い。幾つかの例では、帯域幅を効率的に解放するために、関心のあるフレーム番号が受信された512後、且つ、高解像度メディアアイテムが送信される516前に、低解像度ストリームの送信を停止することが望ましい場合がある。同様に、低解像度ストリームの再開は、高解像度メディアアイテムを送信するステップ516及び新しい関心のあるフレームを受信するステップ512の後に、生じても良い。幾つかの例では、低解像度ストリームのこの停止及び再開は、方法500の前述のステップと関連して自動的に生じても良い。
幾つかの実施形態では、医師106は、低解像度ストリームの再生を減速することを通じて、高解像度グラバ140を制御しても良い。さらに、システム100は、医師106がいつ高解像度メディアアイテムを要求する可能性が高いかの予測アルゴリズムに基づき、高解像度メディアアイテムを予めフェッチしても良い。予測アルゴリズムは、帯域幅制約、及び所与の時間に利用可能な利用可能帯域幅上限を考慮に入れても良い。
留意すべきことに、高解像度グラバ140zは図4及び5を参照してハブ102及びノード132の観点で説明したが、幾つかの例では、クラウド基盤112が情報ストリーミングの実施において等しく重要な役割を果たし得ることが理解されるべきである。例えば、高解像度グラバ140yは、上流及び下流の両方の高解像度グラバの機能を包含しても良い。これは、帯域幅制約が、ハブ102とクラウド基盤112との間で、又はノード132とクラウド基盤112との間で、より優勢な場合に、特に有用である。説明のための例として、ノード132は農村にある医療センターに置かれても良く、クラウド基盤はその村の近くの中規模都市に置かれても良く、ハブは大都市に置かれても良い。この例では、ノード132とクラウド基盤112との間の帯域幅制約、及びハブとクラウド基盤との間の帯域幅制約は、大いに異なっても良い。幾つかの例では、バッファリングは、クラウド基盤112の高解像度グラバ140yの中で生じても良い。
さらに、クラウド基盤112は、ヘルスケア監査サービスとして機能しても良い。請求書作成部門、保険提供者、及び顧客ケアは、クラウド基盤112の中に保持されている情報への認可されたアクセスを制限しても良い。
図6は、例示的なグラフィカルユーザインタフェース600を示す概略図を示す。特に、グラフィカルユーザインタフェース600は、ビデオプレイヤ602で再生中の低解像度ストリーム、別のビデオプレイヤ604での再生のために準備されたビデオである高解像度メディアアイテム、及びフレーム606の中に表示される写真である高解像度メディアアイテムを示す。低解像度ストリームビデオプレイヤと共に、ユーザインタフェース制御608のセットがある。例えば、ユーザインタフェース制御608は、再生、一時停止、停止のような機能を含んでも良い。さらに、ユーザインタフェース制御608は、ビデオプレイヤ602で再生中の低解像度ストリームから最初のフレーム、最後のフレームを選択する又は単一のフレームを選択するような、追加機能を有しても良い。同様に、高解像度ストリームビデオプレイヤ604と共に、ユーザインタフェース制御612のセットがある。例えば、ユーザインタフェース制御612は、再生、一時停止、停止のような機能を含んでも良い。さらに、ユーザインタフェース600の中に表示される高解像度メディアアイテムは、ユーザがもはや表示する価値がないと考えた高解像度メディアアイテムを隠す又は終了するための、閉じる制御610を有しても良い。図示のユーザインタフェースは、ビデオである高解像度メディアアイテム、及び写真である別の高解像度メディアアイテムを示すが、本願明細書に開示の技術は、これらの種類のメディアに限定されないことに留意すべきである。幾つかの例では、高解像度メディアアイテムは、医療画像スキャンの3次元グラフィックであっても良い。したがって、低解像度ストリームは上述のメディア種類にも限定されないことに更に留意すべきである。非限定的な例として、低解像度ストリームは、医療画像スキャンを含んでも良い。
情報ストリーミングを実施するシステム及び方法が以下に記載される。上記の説明では、説明の目的で、多数の特定の詳細事項が説明された。しかしながら、開示の実施形態はこれらの詳細事項の任意の所与の部分集合を有しないで実施できることが明らかである。他の実施形態では、構造及び装置が、ブロック図の形式で示される。例えば、開示の技術は上述の幾つかの実施形態ではインタフェース及び特定のハードウェアを参照して記載される。さらに、上記の開示の技術は、主に、オンラインサービスの文脈である。しかしながら、開示の技術は、他のデータソース及び他のデータ種類(例えば、他のリソース、例えば画像、音声、ウェブページの収集)にも適用される。
本願明細書において「ある実施形態」、「幾つかの実施形態」又は「一実施形態」等のような表現は、実施形態と関連して記載された特定の機能、構造又は特徴が、開示の技術の少なくとも1つの実施形態に含まれることを意味する。明細所内の種々の文の中の「一実施形態では」という表現の出現は、必ずしも全て同じ実施形態を参照していない。
上述の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに対する演算のプロセス及び象徴的表現の観点で提示された。プロセスは、概して、結果を生じるステップの首尾一貫したシーケンスと考えられる。ステップは、物理量の物理的操作を含み得る。これらの量は、格納され、転送され、結合され、比較され及びその他の場合には操作され得る電気信号又は磁気信号の形式を取る。これらの信号は、ビット、値、要素、シンボル、キャラクタ、項、数値、等の形式であるとして参照され得る。
上述及び同様の用語は、適切な物理量に関連付けられ、これらの量に適用されるラベルと考えられる。特に断りのない限り、先の議論から明らかなように、以下の説明を通じて、例えば「処理」、「計算」又は「演算」又は「決定」又は「表示」等の用語を用いた議論は、コンピュータシステム又は同様の電子コンピューティング装置の動作及び処理を表し得る。コンピュータシステム又は同様の電子コンピューティング装置は、コンピュータシステムのレジスタ及びメモリ内にある物理(電子)量として表されたデータを操作し、コンピュータシステムのメモリ若しくはレジスタ又は情報記憶、送信又は表示装置等の中の物理量として同様に表される他のデータに変換する。
開示の技術は、本願明細書の動作を実行する装置にも関する。この装置は、所要の目的のために特に構成されても良く、又はコンピュータに格納されたコンピュータプログラムにより選択的に起動され又は再構成される汎用目的コンピュータを有しても良い。
開示の技術は、完全なハードウェアの実装、完全なソフトウェアの実装又はハードウェアとソフトウェア要素の両方を含む実装の形式を取り得る。幾つかの実施形態では、本技術は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むがこれらに限定されないソフトウェアで実装されても良い。
さらに、開示の技術は、コンピュータ又は任意の命令実行システムにより又はそれと関連して使用するためのプログラムコードを提供する非一時的コンピュータにより使用可能な又はコンピュータにより読み取り可能な媒体からアクセス可能なコンピュータプログラムプロダクトの形式を取り得る。この説明の目的のために、コンピュータにより使用可能な又はコンピュータにより読み取り可能な媒体は、命令実行システム、機器又は装置により若しくはそれらと関連して使用するためのプログラムを有し、格納し、通信し、伝達し又は転送することが可能な任意の機器であっても良い。
プログラムコードを格納し及び/又は実行するのに適するコンピューティングシステム又はデータ処理システムは、システムバスを通じてメモリ要素に直接又は間接に結合される少なくとも1つのプロセッサ(例えば、ハードウェアプロセッサ)を有する。メモリ要素は、プログラムコードの実際の実行中に用いられるローカルメモリ、大容量記憶装置、及び実行中にコードが大容量記憶装置から読み出されなければならない回数を低減するために少なくとも特定のプログラムコードの一時的記憶を提供するキャッシュメモリを含み得る。
入力/出力又はI/O装置(キーボード、ディスプレイ、ポインティングデバイス等を含むがこれらに限定されない)は、直接に又は介入するI/O制御部を通じてシステムに結合され得る。
ネットワークアダプタも、介入する私設若しくは公衆ネットワークを通じてデータ処理システムを他のデータ処理システムに又は遠隔プリンタ若しくは記憶装置に結合するために、システムに結合されても良い。モデム、ケーブルモデム及びEthernetカードは、現在利用可能な種類のネットワークアダプタのうちの少数の例に過ぎない。
最後に、本願明細書で提示されるプロセス及びディスプレイは、本質的に、任意の特定のコンピュータ又は他の機器にも関連しなくても良い。種々の汎用システムが、本願明細書の教示に従ってプログラムと共に用いられても良く、所要の方法ステップを実行するために更に特定の装置を構成することが都合が良いことがあり得る。種々のこれらのシステムの所要の構造は、以下の説明から明らかである。さらに、開示の技術は、任意の特定のプログラミング言語を参照して記載されなかった。理解されるべきことに、種々のプログラミング言語が、本願明細書に記載された技術の教示を実施するために用いられても良い。
本発明の技法及び技術の実施のための上述の説明は、説明及び開設を目的としている。上述の記載は、網羅的であること又は本発明の技法及び技術を開示の特定の形式に限定することを意図しない。上述の教示に照らして多くの修正及び変形が可能である。本発明の技法及び技術の範囲は、この詳細な説明により限定されないことが意図される。本発明の技法及び技術は、その精神又は基本的特徴から逸脱することなく他の特定の形式で実施できる。同様に、モジュール、ルーチン、特徴、属性、方法及び他の態様の特定の名称及び区分は、必須でも重要でもなく、本発明の技法及び技術又はその特徴を実施するメカニズムは、異なる名称、区分及び/又はフォーマットを有しても良い。さらに、モジュール、ルーチン、特徴、属性、方法、及び本発明の技術の他の側面は、ソフトウェア、ハードウェア、ファームウェア、又はこれら三者の任意の組合せとして実装できる。また、例えばモジュールであるコンポーネントがソフトウェアとして実装されるときは、コンポーネントは、スタンドアロンプログラム、大規模プログラムの一部、複数の別個のプログラム、静的又は動的リンクライブラリ、カーネルローダブルモジュール、デバイスドライバとして、及び/又はコンピュータプログラミングの現在知られている若しくは将来知られる如何なる他の方法でも実装され得る。さらに、本発明の技法及び技術は、特定プログラミング言語、又は特定のオペレーティングシステム若しくは環境での実装に限定されない。したがって、本発明の技法及び技術の開示は、限定ではなく、説明であることを意図している。
100 システム
102 ハブ
140 グラバ
142 適応型ストリーマ
110 ネットワーク
112 クラウド基盤
132 ノード

Claims (20)

  1. 低解像度ストリームを送信するステップと、
    高解像度ストリームをバッファメモリに格納するステップと、
    高解像度メディアアイテムについての要求を受信するステップであって、前記要求は、前記低解像度ストリームに基づく1又は複数のフレーム番号を含む、ステップと、
    前記フレーム番号に基づき、前記バッファメモリから前記高解像度メディアアイテムを読み出すステップと、
    前記高解像度メディアアイテムを送信するステップと、
    を有する方法。
  2. 装置ストリームを受信するステップと、
    前記装置ストリームを前記低解像度ストリーム及び前記高解像度ストリームに符号化するステップと、
    を更に有する請求項1に記載の方法。
  3. 前記高解像度ストリーム及び前記低解像度ストリームは、ビデオストリームである、請求項1に記載の方法。
  4. 前記高解像度メディアアイテムは写真である、請求項3に記載の方法。
  5. 前記高解像度メディアアイテムはビデオである、請求項3に記載の方法。
  6. 前記低解像度ストリームは医療画像スキャンである、請求項1に記載の方法。
  7. 前記高解像度メディアアイテムは、前記医療画像スキャンの少なくとも一部の3次元グラフィックである、請求項6に記載の方法。
  8. システムであって、
    1又は複数のプロセッサと、
    命令を格納するメモリと、
    を有し、前記命令は、前記1又は複数のプロセッサにより実行されると、前記システムに、
    低解像度ストリームを受信させ、
    高解像度ストリームをバッファメモリに格納させ、
    高解像度メディアアイテムについての要求を受信させ、前記要求は、前記低解像度ストリームに基づく1又は複数のフレーム番号を含み、
    前記フレーム番号に基づき、前記バッファメモリから前記高解像度メディアアイテムを読み出させ、
    前記高解像度メディアアイテムを送信させる、
    システム。
  9. 前記メモリは、命令であって、前記1又は複数のプロセッサにより実行されると、前記システムに更に、
    装置ストリームを受信させ、
    前記装置ストリームを前記低解像度ストリーム及び前記高解像度ストリームに符号化させる、
    命令を格納する、請求項8に記載のシステム。
  10. 前記高解像度ストリーム及び前記低解像度ストリームは、ビデオストリームである、請求項8に記載のシステム。
  11. 前記高解像度メディアアイテムは写真である、請求項10に記載のシステム。
  12. 前記高解像度メディアアイテムはビデオである、請求項10に記載のシステム。
  13. 前記低解像度ストリームは医療画像スキャンである、請求項8に記載のシステム。
  14. 前記高解像度メディアアイテムは、前記医療画像スキャンの少なくとも一部の3次元グラフィックである、請求項13に記載のシステム。
  15. 前記メモリは、命令であって、前記1又は複数のプロセッサにより実行されると、前記システムに更に、前記低解像度ストリームの送信を停止させる、命令を格納する、請求項8に記載のシステム。
  16. 前記メモリは、命令であって、前記1又は複数のプロセッサにより実行されると、前記システムに更に、前記低解像度ストリームの送信を再開させる、命令を格納する、請求項15に記載のシステム。
  17. コンピュータプログラムプロダクトであって、コンピュータ可読プログラムを有するコンピュータ使用可能媒体を有し、前記コンピュータ可読プログラムは、コンピュータで実行されると、前記コンピュータに、
    低解像度ストリームを受信させ、
    高解像度メディアアイテムについての要求を送信させ、前記要求は1又は、前記低解像度ストリームに基づく複数のフレーム番号を含み、
    前記フレーム番号に基づく前記高解像度メディアアイテムを受信させる、
    コンピュータプログラムプロダクト。
  18. 前記コンピュータ可読プログラムは、コンピュータで実行されると、前記コンピュータに更に、前記低解像度ストリームを停止するための要求を送信させる、請求項17に記載のコンピュータプログラムプロダクト。
  19. 前記コンピュータ可読プログラムは、コンピュータで実行されると、前記コンピュータに更に、前記低解像度ストリームを再開するための要求を送信させる、請求項18に記載のコンピュータプログラムプロダクト。
  20. 前記低解像度ストリームを再開するための前記要求は、前記高解像度メディアアイテムの受信が完了すると、生成される、請求項19に記載のコンピュータプログラムプロダクト。
JP2017023806A 2016-03-10 2017-02-13 セキュアなリアルタイムヘルスケア情報ストリーミング Pending JP2017163537A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/067,059 2016-03-10
US15/067,059 US10162936B2 (en) 2016-03-10 2016-03-10 Secure real-time healthcare information streaming

Publications (1)

Publication Number Publication Date
JP2017163537A true JP2017163537A (ja) 2017-09-14

Family

ID=57995057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017023806A Pending JP2017163537A (ja) 2016-03-10 2017-02-13 セキュアなリアルタイムヘルスケア情報ストリーミング

Country Status (3)

Country Link
US (1) US10162936B2 (ja)
EP (1) EP3217671A1 (ja)
JP (1) JP2017163537A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062348A (ja) * 2017-09-26 2019-04-18 ソニー株式会社 表示制御装置、表示制御方法、および映像出力装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202017007466U1 (de) * 2016-07-18 2021-11-22 Glide Talk, Ltd. System zur Bereitstellung eines objektorientieren Zooms in einer Multimedia-Nachrichtenübermittlung
US11012694B2 (en) 2018-05-01 2021-05-18 Nvidia Corporation Dynamically shifting video rendering tasks between a server and a client
US10713756B2 (en) 2018-05-01 2020-07-14 Nvidia Corporation HW-assisted upscaling and multi-sampling using a high resolution depth buffer
US11949927B2 (en) 2020-10-30 2024-04-02 Stryker Corporation Methods and systems for hybrid and concurrent video distribution for healthcare campuses
CN113556571A (zh) * 2021-07-20 2021-10-26 苏州景昱医疗器械有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
WO2023110506A1 (en) * 2021-12-13 2023-06-22 Koninklijke Philips N.V. Image quality management system
EP4195669A1 (en) * 2021-12-13 2023-06-14 Koninklijke Philips N.V. Image quality management system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128144A (ja) * 1999-10-26 2001-05-11 Fujitsu Ltd オンデマンドによる画像送信装置及びその方法
JP2001251596A (ja) * 2000-03-03 2001-09-14 Kddi Corp 画像伝送装置、受信画像の読影装置およびtv会議機能付き画像伝送・読影装置
JP2006245746A (ja) * 2005-03-01 2006-09-14 Hitachi Kokusai Electric Inc 監視システム
JP2008199677A (ja) * 2008-05-19 2008-08-28 Hitachi Ltd 映像配信システム
WO2011120204A1 (en) * 2010-04-02 2011-10-06 Telefonaktiebolaget L M Ericsson (Publ) Methods, apparatuses and computer program products for pausing video streaming content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0711486B1 (en) * 1994-05-26 1999-12-29 Hughes Electronics Corporation High resolution digital screen recorder and method
US6937273B1 (en) 1997-05-28 2005-08-30 Eastman Kodak Company Integrated motion-still capture system with indexing capability
JP2000013777A (ja) 1998-06-26 2000-01-14 Matsushita Electric Ind Co Ltd 映像再生装置及び映像蓄積装置
US7197070B1 (en) * 2001-06-04 2007-03-27 Cisco Technology, Inc. Efficient systems and methods for transmitting compressed video data having different resolutions
JP2003224846A (ja) * 2002-01-29 2003-08-08 Matsushita Electric Ind Co Ltd 画像処理装置、復号化装置、符号化装置、画像処理システム、画像処理方法、及び、符号化方法
WO2004086748A2 (en) * 2003-03-20 2004-10-07 Covi Technologies Inc. Systems and methods for multi-resolution image processing
US7792190B2 (en) * 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
EP1655713A1 (en) * 2004-10-29 2006-05-10 Barco N.V. Asynchronous video capture for insertion into high resolution image
US7590550B2 (en) 2006-09-08 2009-09-15 American Well Inc. Connecting consumers with service providers
US7995045B2 (en) * 2007-04-13 2011-08-09 Ethicon Endo-Surgery, Inc. Combined SBI and conventional image processor
US8131100B2 (en) * 2007-10-11 2012-03-06 Apple Inc. Representing high-resolution media content in a lower resolution system
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US20100050221A1 (en) * 2008-06-20 2010-02-25 Mccutchen David J Image Delivery System with Image Quality Varying with Frame Rate
US20100333155A1 (en) * 2009-06-30 2010-12-30 Philip David Royall Selectively using local non-volatile storage in conjunction with transmission of content
US9325940B2 (en) * 2010-05-13 2016-04-26 Nextcast Labs, Inc. Video class room
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
WO2013126985A1 (en) 2012-02-28 2013-09-06 Research In Motion Limited System and method for obtaining images from external cameras using a mobile device
US9516079B2 (en) * 2012-07-16 2016-12-06 Ricoh Company, Ltd. Media stream modification based on channel limitations
EP3748953B1 (en) * 2014-01-07 2024-04-17 ML Netherlands C.V. Adaptive camera control for reducing motion blur during real-time image capture
US10171530B2 (en) * 2014-12-05 2019-01-01 Hisense Usa Corp. Devices and methods for transmitting adaptively adjusted documents
US10356406B2 (en) * 2016-01-19 2019-07-16 Google Llc Real-time video encoder rate control using dynamic resolution switching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128144A (ja) * 1999-10-26 2001-05-11 Fujitsu Ltd オンデマンドによる画像送信装置及びその方法
JP2001251596A (ja) * 2000-03-03 2001-09-14 Kddi Corp 画像伝送装置、受信画像の読影装置およびtv会議機能付き画像伝送・読影装置
JP2006245746A (ja) * 2005-03-01 2006-09-14 Hitachi Kokusai Electric Inc 監視システム
JP2008199677A (ja) * 2008-05-19 2008-08-28 Hitachi Ltd 映像配信システム
WO2011120204A1 (en) * 2010-04-02 2011-10-06 Telefonaktiebolaget L M Ericsson (Publ) Methods, apparatuses and computer program products for pausing video streaming content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019062348A (ja) * 2017-09-26 2019-04-18 ソニー株式会社 表示制御装置、表示制御方法、および映像出力装置
JP7077557B2 (ja) 2017-09-26 2022-05-31 ソニーグループ株式会社 表示制御装置および表示制御方法

Also Published As

Publication number Publication date
US10162936B2 (en) 2018-12-25
EP3217671A1 (en) 2017-09-13
US20170262582A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP2017163537A (ja) セキュアなリアルタイムヘルスケア情報ストリーミング
CN106506502B (zh) 一种多模态移动电子病历系统及其工作方法
US20190342385A1 (en) Method and system for providing remote access to a state of an application program
JP5902288B2 (ja) ジェスチャーの視覚化及び電子装置とリモートディスプレイとの間での共有
US8763055B1 (en) Cross-platform video display
US9710668B2 (en) User targeted medical imaging and information packaging, compression and distribution system
FR2933794A1 (fr) Procede et dispositif de stockage et/ou de transmission de donnees medicales, procede et dispositif de visualisation de donnees medicales, produits programme d'ordinateur, signaux et support de donnees correspondants
US20170126775A1 (en) Remote desktop protocol client for a standards-based web browser
JP6443124B2 (ja) 共同セッションへの文書の公平な追加
JP2017068255A (ja) イメージ処理装置及び方法
CN108040045A (zh) 访问流量文件的生成方法、装置、服务器及存储介质
CN112992332A (zh) 一种远程智能实时监控的手术麻醉系统
CN111629220A (zh) 一种远程医疗的快速回放对比系统和方法
US20180122518A1 (en) Method for monitoring and controlling patient parameters and transmitting medical information and a system for carrying out the method
CN110867257A (zh) 一种远程会诊系统
TWI420315B (zh) 顯示螢幕之記錄內容
CN111653343A (zh) 一种医疗实时影像远程会诊系统及方法
JP2018147472A (ja) 遠隔医療システムにおける医療デバイス制御
CN110798700B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN111798967A (zh) 一种智慧超声检测系统
JP2011061385A (ja) 対話的実時間遠隔可視化システム
Xiong et al. Design and implementation of telemedicine based on Java media framework
Zhang et al. Uncompressed high-definition videoconferencing tools for telemedicine and distance learning
US11792252B2 (en) Converting an RTSP coordinated stream into an HLS stream
Lu et al. A Remote Visiting and Monitoring System for Neonatal Intensive Care Units via Internet of Things

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181106