JP2023047775A - 医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム - Google Patents

医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム Download PDF

Info

Publication number
JP2023047775A
JP2023047775A JP2021156880A JP2021156880A JP2023047775A JP 2023047775 A JP2023047775 A JP 2023047775A JP 2021156880 A JP2021156880 A JP 2021156880A JP 2021156880 A JP2021156880 A JP 2021156880A JP 2023047775 A JP2023047775 A JP 2023047775A
Authority
JP
Japan
Prior art keywords
processing
server
image processing
medical
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021156880A
Other languages
English (en)
Inventor
大暉 上原
Daiki Uehara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2021156880A priority Critical patent/JP2023047775A/ja
Priority to US17/903,043 priority patent/US20230114843A1/en
Priority to DE102022124532.2A priority patent/DE102022124532A1/de
Publication of JP2023047775A publication Critical patent/JP2023047775A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】動的に変化する状況に応じて、医療機関内のサーバと医療機関外のサーバとに画像処理を分散させて、処理完了までの待ち時間を抑制することが可能な医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラムを提供する。【解決手段】医療機関内に設置される第1のサーバと、医療機関の外部のネットワーク上に設置される第2のサーバとのそれぞれは、医用画像の処理要求を受け付け、処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含む。画像処理分配器は、それぞれのサーバが医用画像に対する画像処理の実行した場合に処理結果が得られるまでにかかる処理待ち時間を、医用画像に対する画像処理の実行に要する所要時間と、ネットワーク状況と、それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算し、処理待ち時間が短い方のサーバに医用画像の処理要求を送信する。【選択図】図1

Description

本開示は、医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラムに係り、特に医用画像の処理要求を受け付け、処理要求に応じた画像処理を実行して処理結果を返す処理に好適なコンピュータシステムおよび情報処理技術に関する。
医療分野においては、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の画像診断装置の進歩により、質の高い高解像度の医用画像を用いての画像診断が可能となってきている。特に、近年は深層学習により学習がなされたニューラルネットワークを利用した人工知能(Artificial Intelligence:AI)を用いることにより、画像から病変領域などを認識したり、病名などの分類を特定したりするための解析処理の精度が向上している。
このようなコンピュータ支援診断(Computer Aided Diagnosis, Computer Aided Detection :CAD)等の解析処理は、例えば、肺、心臓、肝臓および脳等の部位毎に、さらには検出可能な病変毎に用意されることが多く、これらの解析処理を実行するためには、高性能なコンピュータが必要になる。特許文献1には、クラウドシステムを利用して医用画像の解析処理サービスを提供する仕組みが提案されている。
特許文献2には、サービスを提供するクラウドサーバとオンプレミスサーバとを備えるシステムが開示されており、同システムは、利用者からジョブの実行指示を受け取ると、そのジョブの設定情報またはジョブの実行時に得られるセキュリティ情報に基づいて、ジョブ実行に使用するクラウドサーバまたはオンプレミスサーバを自動的に切り替える。
特許第6047179号 特開2018-098538号公報
例えば、肺CADなど各種の医用画像処理機能をウェブサービスとして提供するためにクラウド上に画像解析のための中央処理サーバを設置し、その中央処理サーバが画像処理を行い、結果を返すサービス形態を採用することが考えられる。しかし、このようなサービス形態の場合、画像処理それ自体の所要時間以外に、医療機関内端末と中央処理サーバとの間での画像送受信のための時間が必要になる。
このため、医療機関内に画像処理サーバを設置して画像処理を行うよりも余分に時間がかかる場合が多くなる。また、多数の利用者からの処理要求を中央処理サーバのみで処理しようとすると、中央処理サーバに負荷が集中し、それぞれの処理完了までに時間がかかってしまう場合がある。一方、医療機関内のみで画像処理を完結させようとすると、全ての処理要求が医療機関内の画像処理サーバに集中するようになり、その負荷に耐えるためには高価なサーバを導入する必要が生じ、中小の病院やクリニックなどでは導入が難しくなる。
上記のような問題を解決する方法として、医療機関内の画像処理サーバとクラウド上の中央処理サーバとで適切に処理を分担させることで、医療機関内の画像処理サーバ(オンプレミス)側と中央処理サーバ(クラウド)側との双方にかかる負荷を下げるオンプレミス及びクラウドのハイブリッド構成が考えられる。
このようなハイブリッド構成を採用する場合、処理要求を単純に均等に分散させるだけでは、例えば各医療機関のネットワーク回線が混雑する時間帯等にクラウド上の中央処理サーバで処理をさせる場合に、処理結果を得るまでの時間が通常よりもかかってしまうことがあり得る。そのような事態を避けるために、特定の時間帯は医療機関内の画像処理サーバを用いて処理を行うという対策が考えられる。
しかし、予め時間帯を定めて医療機関内の画像処理サーバを用いて処理を行うような固定的な設定とすると、その時間帯に医療機関内の画像処理サーバに対する処理要求が増大した場合、医療機関内の画像処理サーバの処理リソースが逼迫し、医療機関内の画像処理サーバを増台する等でリソースを増強しないと処理待ち時間が増大していく。このように、単純な方法で処理を分散させようとするとシステム全体としての処理待ち時間が長くなっていく問題が想定される。
また、処理待ち時間は、使用する施設または時間帯等によって動的に変化するものである。したがって、状況に応じて医療機関内の画像処理サーバとクラウド上(医療機関外)の中央処理サーバとに処理を適切に分散させ、システム全体としての処理待ち時間を最小化することが望まれる。
本開示はこのような事情に鑑みてなされたものであり、動的に変化する状況に応じて、医療機関内のサーバと医療機関外のサーバとに画像処理を分散させて、処理完了までの待ち時間を抑制することが可能な医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラムを提供することを目的とする。
本開示の一態様に係る医用画像処理システムは、医療機関内に設置される第1のサーバと、医療機関の外部のネットワーク上に設置される第2のサーバと、第1のサーバおよび第2のサーバに医用画像の処理要求を分配する画像処理分配器と、を含み、第1のサーバおよび第2のサーバのそれぞれは、医用画像の処理要求を受け付け、処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、画像処理分配器は、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるプログラムが記憶される1つ以上の記憶装置と、を含み、1つ以上のプロセッサは、プログラムの命令を実行することにより、医用画像の処理要求を受け付け、第1のサーバおよび第2のサーバのそれぞれのサーバが医用画像に対する画像処理の実行した場合に処理結果が得られるまでにかかる処理待ち時間を、医用画像に対する画像処理の実行に要する所要時間と、ネットワーク状況と、それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算し、計算されたそれぞれのサーバについての処理待ち時間に基づき、第1のサーバおよび第2のサーバのうち、処理待ち時間が短い方のサーバに医用画像の処理要求を送信する。
本態様における画像処理分配器は、医用画像の処理要求を受け取ると、第1のサーバが処理する場合に見込まれる処理待ち時間と、第2のサーバが処理する場合に見込まれる処理待ち時間とを計算する。処理待ち時間の計算は、医用画像に対する画像処理の実行に要する所要時間と、ネットワーク状況と、それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて行われ、動的に変化する状況を反映した処理待ち時間が算出される。こうして計算された処理待ち時間に基づき、処理完了までの待ち時間を短い方のサーバに処理要求が送られる。これにより、動的に変化する状況に応じて、医療機関内の第1のサーバと医療機関外の第2のサーバとに適切に処理を分散させて、処理完了までの待ち時間を抑制することができる。
本開示の他の態様に係る医用画像処理システムにおいて、第2のサーバは、複数の医療機関によって共有して使用される構成とすることができる。
本開示の他の態様に係る医用画像処理システムにおいて、画像処理分配器は、医療機関内の第1のネットワークに接続された端末から医用画像の処理要求を受け付ける構成とすることができる。第1のネットワークは、医療機関内に構築されるローカルエリアネットワークであってよい。また、第1のネットワークには複数の端末が接続されてよく、それぞれの端末から処理要求が発せられてよい。
本開示の他の態様に係る医用画像処理システムにおいて、医用画像を保管する画像管理サーバが医療機関内に設置される構成とすることができる。画像保管サーバに保管されている医用画像を第1のサーバまたは第2のサーバに転送して画像処理を行うことができる。
本開示の他の態様に係る医用画像処理システムにおいて、第1のサーバまたは第2のサーバによって実行された画像処理の処理結果が画像管理サーバに保管される構成とすることができる。
本開示の他の態様に係る医用画像処理システムにおいて、第2のサーバは、医療機関の外部のネットワークとしての第2のネットワークを介して画像処理分配器から医用画像を取得する構成とすることができる。
本開示の他の態様に係る医用画像処理システムにおいて、第1のサーバ、第2のサーバおよび画像処理分配器のうち少なくとも1つは、過去に受信した医用画像のキャッシュファイルを保持する構成とすることができる。
本開示の他の態様に係る医用画像処理システムにおいて、1つ以上のプロセッサは、処理対象である医用画像の送受信の要否を基に、処理待ち時間を計算する構成とすることができる。例えば、処理対象の医用画像がキャッシュファイルとして保持されている場合には、医用画像の送受信が不要となり得る。処理対象の医用画像を送受信する場合には、その送受信にかかる時間を含めて処理待ち時間を計算する構成であることが好ましい。
本開示の他の態様に係る医用画像処理システムにおいて、1つ以上のプロセッサは、第1のサーバによって画像処理を実行した場合に処理結果を得るまでにかかる第1の処理待ち時間と、第2のサーバによって画像処理を実行した場合に処理結果を得るまでにかかる第2の処理待ち時間と、を計算し、計算された第1の処理待ち時間と第2の処理待ち時間との比較に基づいて、処理要求の送信先を決定する構成とすることができる。
本開示の他の態様に係る医用画像処理方法は、医療機関内に設置される第1のサーバと、医療機関の外部のネットワーク上に設置される第2のサーバと、を含むコンピュータシステムが実行する医用画像処理方法であって、第1のサーバおよび第2のサーバのそれぞれは、医用画像の処理要求を受け付け、処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、コンピュータシステムに含まれる1つ以上のプロセッサが、医用画像の処理要求を受け付けることと、第1のサーバおよび第2のサーバのそれぞれのサーバが医用画像に対する画像処理の実行した場合に処理結果が得られるまでにかかる処理待ち時間を、医用画像に対する画像処理の実行に要する所要時間と、ネットワーク状況と、それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算することと、計算されたそれぞれのサーバについての処理待ち時間に基づき、第1のサーバおよび第2のサーバのうち、処理待ち時間が短い方のサーバに医用画像の処理要求を送信することと、を含む。
本開示の他の態様に係る画像処理分配器は、医療機関内に設置される第1のサーバまたは医療機関の外部のネットワーク上に設置される第2のサーバに医用画像の処理要求を分配する画像処理分配器であって、第1のサーバおよび第2のサーバのそれぞれは、医用画像の処理要求を受け付け、処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、画像処理分配器は、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されるプログラムが記憶される1つ以上の記憶装置と、を含み、1つ以上のプロセッサは、プログラムの命令を実行することにより、医用画像の処理要求を受け付け、第1のサーバおよび第2のサーバのそれぞれのサーバが医用画像に対する画像処理の実行した場合に処理結果が得られるまでにかかる処理待ち時間を、医用画像に対する画像処理の実行に要する所要時間と、ネットワーク状況と、それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算し、計算されたそれぞれのサーバについての処理待ち時間に基づき、第1のサーバおよび第2のサーバのうち、処理待ち時間が短い方のサーバに医用画像の処理要求を送信する。
本開示の他の態様に係るプログラムは、コンピュータに、医用画像の処理要求を受け付ける機能と、受け付けた処理要求を、医療機関内に設置される第1のサーバまたは医療機関の外部のネットワーク上に設置される第2のサーバに分配する機能と、を実現させるプログラムであって、第1のサーバおよび第2のサーバのそれぞれは、処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、コンピュータに、第1のサーバおよび第2のサーバのそれぞれのサーバが医用画像に対する画像処理の実行した場合に処理結果が得られるまでにかかる処理待ち時間を、医用画像に対する画像処理の実行に要する所要時間と、ネットワーク状況と、それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算する機能と、計算されたそれぞれのサーバについての処理待ち時間に基づき、第1のサーバおよび第2のサーバのうち、処理待ち時間が短い方のサーバに医用画像の処理要求を送信する機能と、を実現させる。
本開示によれば、動的に変化する状況に応じて、医療機関内の第1のサーバと、医療機関外の第2のサーバとに画像処理を分散させることで、処理待ち時間を抑制することが可能になる。
図1は、実施形態に係る医用画像処理システムの構成および動作の概要を示すブロック図である。 図2は、医療機関内画像処理サーバにて画像処理を行う場合の待ち時間の計算例を示すフローチャートである。 図3は、中央処理サーバにて画像処理を行う場合の待ち時間の計算例を示すフローチャートである。 図4は、画像処理分配器の処理分配部にて実行される処理の例を示すフローチャートである。 図5は、実施形態に係る医用画像処理システムのシステム構成例を概略的に示す図である。 図6は、画像処理分配器の構成例を示すブロック図である。 図7は、医療機関内画像処理サーバの構成例を示すブロック図である。 図8は、中央処理サーバの構成例を示すブロック図である。 図9は、医療機関内画像処理サーバがキャッシュ機能を有していない場合に、待ち時間計算部において実行される待ち時間の計算例を示すフローチャートである。 図10は、画像処理分配器および中央処理サーバがキャッシュ機能を有していない場合に、待ち時間計算部において実行される待ち時間の計算例を示すフローチャートである
以下、添付図面に従って本発明の好ましい実施形態について説明する。
《医用画像処理システムの概要》
図1は、実施形態に係る医用画像処理システム10の構成および動作の概要を示すブロック図である。医用画像処理システム10は、複数の医療機関のそれぞれの医療機関内に構築される医療情報システム20と、医療機関の外部のネットワーク上に設置される中央処理サーバ30とを含む。図1に示す「医療機関1」、「医療機関2」・・・「医療機関N」の記載は、N個の医療機関が存在していることを表している。医療機関は、例えば、病院、診療所、医療研究センター、医療健診センターなどである。
各医療機関の医療情報システム20は、1つ以上の利用端末22と、画像処理分配器24と、医療機関内画像処理サーバ25と、画像管理サーバ26とを含む。利用端末22は、医療機関内画像処理サーバ25および中央処理サーバ30を用いて提供される医用画像処理サービスを利用可能な端末である。利用端末22には、医療機関内画像処理サーバ25および中央処理サーバ30を含む医用画像処理サーバ群の機能を利用するためのクライアントソフトウェアが構築される。
ここでの利用端末22とは、安全に医療機関内のデータにアクセスできるネットワーク内に存在する計算資源を指しており、その端末は物理的に医療機関内に存在しなくてもよい。利用端末22は、ワークステーションであってもよいし、パーソナルコンピュータであってもよいし、タブレット端末などであってもよい。また、「クライアントソフトウェア」とは、医用画像処理サーバクラスターを利用できるものであればよく、その形態は問わない。クライアントソフトウェアは、専用のアプリケーションであってもよいし、汎用的なウェブブラウザーなどであってもよい。利用端末22は、例えば、医用画像ビューワ等の読影端末などであってもよい。医療情報システム20は、複数の利用端末22を含む構成が好ましい。利用端末22は本開示における「端末」の一例である。
画像処理分配器24は、処理受付部241と、待ち時間計算部242と、処理分配部244とを含む。画像処理分配器24は、利用端末22から発せられる医用画像に対する画像処理の要求を受け付け、医療機関内画像処理サーバ25と中央処理サーバ30とのそれぞれの処理持ち時間を計算し、どちらのサーバで処理を行う方が早いか(処理待ち時間が短いか)を判定して処理要求の送信先を決定する。また、画像処理分配器24は、必要に応じて、画像管理サーバ26から処理対象画像を取得し、処理対象画像を医療機関内画像処理サーバ25または中央処理サーバ30に送信する。画像処理分配器24の機能(画像処理分配機能)について詳細は後述する。
画像処理分配器24は、画像処理分配機能を提供するソフトウェアが動作する環境であればよく、そのソフトウェアの展開先となるサーバの形態は問わない。ソフトウェアはプログラムと同義である。
各医療機関の医療機関内画像処理サーバ25と中央処理サーバ30とのそれぞれのサーバ上には、医用画像を処理するための画像処理プログラムが構築される。それぞれのサーバは、画像処理プログラムが動作する環境であればよく、物理マシンであってもよいし、仮想マシンであってもよい。医療機関内画像処理サーバ25に展開される画像処理プログラムと中央処理サーバ30に展開される画像処理プログラムとは、同じ医用画像処理サービスを提供するサーバプログラムであってよい。
医療機関内画像処理サーバ25は、医療機関ごとにその医療機関が専有して使用し得るサーバであり、医療機関の施設内に設置される。医療機関内画像処理サーバ25は、処理受付部251と、画像処理部252とを含み、画像処理分配器24から送信される処理要求を受け付け、受け付けた処理要求に応じて、対象の医用画像の画像処理を行う。処理受付部251は、受信した処理要求をキューイング(Queuing)する待ち行列(キュー)を含む。
画像処理部252は、複数種類の画像処理を行う処理モジュールを含んでいてもよい。図1における「画像処理A」および「画像処理B」の記載は、異なる種類の画像処理を行う処理モジュールを表している。医療機関内画像処理サーバ25は本開示における「第1のサーバ」の一例である。
中央処理サーバ30は、複数の医療機関で共有して使用するサーバである。中央処理サーバ30は、医療機関の外部のネットワーク上(例えば、クラウド上)に設置される。中央処理サーバ30は、医療機関内画像処理サーバ25と同様に、処理受付部301と、画像処理部302とを含む。中央処理サーバ30は、各医療機関の画像処理分配器24から送信される処理要求を受け付け、受け付けた処理要求に応じて、対象の医用画像について画像処理を行い、処理結果を返す。中央処理サーバ30は本開示における「第2のサーバ」の一例である。
すなわち、医用画像処理システム10は、オンプレミスの医療機関内画像処理サーバ25と、クラウド上の中央処理サーバ30とを組み合わせたハイブリッド構成により医用画像処理サービスを提供する。ここで、オンプレミスとは、各医療機関内に設置された装置のことを意味する。これに対して、クラウドとは、複数の医療機関から利用できるようにネットワーク上に配置さていることを意味する。
画像管理サーバ26は、医用画像の保管を行うためのサーバである。医療機関内画像処理サーバ25または中央処理サーバ30による画像処理の処理結果は、処理要求元の医療機関内の画像管理サーバ26に送られ、処理対象画像と紐付けされて画像管理サーバ26に保存され得る。
《医用画像処理方法の説明》
図1中に示す手順[1]から手順[10]の流れを例に、医用画像処理システム10の動作を概略的に説明する。
手順[1]:まず、医療機関内の利用端末22から、医用画像の処理要求が画像処理分配器24の処理受付部241に向けて送信される。処理要求には、処理対象の画像を特定する情報と、処理の内容を指示する情報とが含まれる。
手順[2]:画像処理分配器24の処理受付部241は、利用端末22からの処理要求を受信し、受け付けた情報を待ち時間計算部242に送る。
手順[3]:待ち時間計算部242は、該当処理の待ち時間を計算する。このとき、待ち時間計算部242は、実際に医用画像の処理要求を受けてから、つまり、待ち時間計算の必要が生じてから、待ち時間の計算を行ってもよいし、実際の処理要求の受け付けがなくても、例えば、事前に定期的に待ち時間を計算しておくようにしてもよい。
待ち時間計算部242は、医療機関内画像処理サーバ25を用いて処理を行う場合の待ち時間と、中央処理サーバ30を用いて処理を行う場合の待ち時間とをそれぞれ計算する。この際、各医用画像の画像処理の実行に要する所要時間は固定値ではなく、例えば処理対象画像のファイルサイズに比例して所要時間が長くなるといった設定をできるようにすることが望ましい。また、処理対象画像の送受信にかかる時間は、各医療機関のネットワーク状況に応じて動的に変化するため、実際に画像送受信のみを行って所要時間を計測するようなプログラムをバックグラウンド動作させ、定期的に画像処理にかかる時間を求めるようにする。待ち時間計算部242における計算フローについて、具体例は後述する(図2-図3)。
また、待ち時間計算部242によって求めた待ち時間を利用者がどのくらいの待ち時間であるかが分かるように、利用端末22等に表示させてもよい。
手順[4]:待ち時間計算部242の計算結果は、処理分配部244に送られる。処理分配部244は、待ち時間計算部242による計算結果を基に、医療機関内画像処理サーバ25にて処理を行うか、中央処理サーバ30にて処理を行うかを判定し、処理要求の送信先を決定する。
手順[5]:待ち時間を計算した結果、医療機関内画像処理サーバ25にて処理を行う方が早く処理が完了する場合には、処理分配部244は、医療機関内画像処理サーバ25に対して処理要求を送信する。
手順[6]:医療機関内画像処理サーバ25の処理受付部251は、処理分配部244から処理要求を受信すると、画像処理部252に画像処理を実行させる。画像処理部252は、処理受付部251からの指示に従い画像処理を開始する。なお、医療機関内画像処理サーバ25は、処理に必要な入力画像(処理対象画像)の取得が必要な場合は、画像管理サーバ26から処理対象画像を取得する。医療機関内画像処理サーバ25のキャッシュに処理対象画像が保存されている場合には、画像管理サーバ26からの画像取得は不要である。
手順[7]:画像処理部252は、処理要求に応じた画像処理を実行し、処理結果を画像管理サーバ26に保管する。処理結果は、画像処理によって得られる画像(処理結果画像)であってもよいし、画像以外の情報であってもよく、これらの組み合わせであってもよい。画像以外の情報には、例えば、分類情報、ラベリング情報、関心領域の位置情報または医用画像に対応する所見文の候補などがあり得る。
ここで、手順[1]において受け付けた、ある処理要求Aの結果を返却するために、内部的に複数の処理A-1,A-2,・・・,A-nを実行する必要が生じる場合、待ち時間の計算と、医療機関内画像処理サーバ25または中央処理サーバ30のどちらに処理要求を送信するかの判断と、複数の処理A-1,A-2,・・・,A-n毎に行ってもよいし、例えばn個の処理A-1,A-2,・・・,A-nのそれぞれの待ち時間を計算し、n個中の過半数以上が中央処理サーバ30に送信した方が処理が早く終わるという結果が出た場合は、処理要求Aを中央処理サーバ30に送信し、逆に医療機関内画像処理サーバ25に送信した方が処理が早く終わる処理が過半数以上を占めている場合は処理要求Aを医療機関内画像処理サーバ25に送信するというような判定を行ってもよい。
その一方、上記の手順[4]の判定により、待ち時間計算部242にて待ち時間を計算した結果、中央処理サーバ30にて処理を行う方が早く処理が完了する場合には、上記の手順[5]-[7]の代わりに、手順[8]-[10]が適用される。
手順[8]:待ち時間を計算した結果、中央処理サーバ30にて処理を行う方が早く処理が完了する場合には、処理分配部244は、中央処理サーバ30に対して処理要求を送信する。その際に処理対象画像を中央処理サーバ30に対して送信する必要がある場合、処理分配部244は必要に応じて画像管理サーバ26から処理対象画像を取得し、中央処理サーバ30に対して処理対象画像を送信すると共に処理要求を送信する。中央処理サーバ30のキャッシュに処理対象画像が保存されている場合には、処理分配部244から画像の送信は不要である。
手順[9]:中央処理サーバ30の処理受付部301は、処理分配部244から処理要求を受信すると、受け付けた処理要求に従い、画像処理部302に画像処理を実行させる。画像処理部302は、処理受付部301からの指示に基づき画像処理を開始する。
手順[10]:画像処理部302は、処理要求に応じた画像処理を実行し、処理結果を画像管理サーバ26に保管する。中央処理サーバ30上での処理が完了し次第、処理結果は画像管理サーバ26に送られる。
中央処理サーバ30または医療機関内画像処理サーバ25による処理結果は、処理要求元の利用端末22に表示させることができ、さらに、同じ医療機関内の他の利用端末22にも表示させることができる。
《待ち時間の計算フローの例:医療機関内画像処理サーバ25内で処理を行う場合》
図2は、画像処理分配器24の待ち時間計算部242にて実行される待ち時間計算処理の例を示すフローチャートである。図2のフローチャートは、医療機関内画像処理サーバ25内で処理を行う場合の待ち時間の計算フローを示す。ここでは、処理対象画像としての入力画像がID番号=1で特定される画像(以下、入力画像ID1と表記する。)であり、要求される画像処理の種類が画像処理Aという処理である場合を例に説明する。
ステップS11において、待ち時間計算部242は、ある入力画像ID1に対する画像処理Aの実行要求を受信する。
入力画像ID1に対する画像処理Aの実行要求を受信した待ち時間計算部242は、ステップS12において、ある入力画像ID1に対する画像処理Aを実行するのにかかる時間(以下、「第1の画像処理実行所要時間」という。)を、まず処理時間として処理待ち時間Pwt1に足し合わせる。式中の「+=」の記号は、左辺値の現在値に対して、右辺値を加算することを表す。
この第1の画像処理実行所要時間については、手順[3]で説明したように、入力画像サイズが大きいほど処理に時間がかかるというような画像処理の場合には、画像サイズに応じて処理時間を動的に計算するというような構成にするのが望ましい。第1の画像処理実行所要時間は本開示における「所要時間」の一例である。第1の画像処理実行所要時間は、画像処理の実行にかかる時間として見込まれる予想処理時間と理解してもよい。
続いて、ステップS13において、待ち時間計算部242は、入力画像ID1が医療機関内画像処理サーバ25内に存在するか否かを判定する。医療機関内画像処理サーバ25で処理を行う場合、処理対象の入力画像IDが医療機関内画像処理サーバ25内に存在する必要がある。入力画像ID1が医療機関内画像処理サーバ25内に存在しない場合、入力画像ID1を画像管理サーバ26から医療機関内画像処理サーバ25に転送する必要がある。
この転送が必要な場合、すなわち、ステップS13の判定結果がNo判定である場合、待ち時間計算部242は、ステップS14に進む。
ステップS14において、待ち時間計算部242は、入力画像IDを医療機関内画像処理サーバ25が画像管理サーバ26から受信するために必要な時間(以下、「第1の入力画像受信所要時間」という。)を待ち時間として処理待ち時間Pwt1に足し合わせる。第1の入力画像受信所要時間は、入力画像IDの転送に要する時間である。この時の転送に要する時間は、その時々のネットワークの混雑状況に応じて動的に変わるもので、かつ利用する施設によってもその混雑状況はまちまちである。
したがって、待ち時間計算部242は、実際に転送完了までにかかった時間を計測しておき、次回以降の転送時の待ち時間計算の値として、どの程度のサイズのデータであればどの程度転送に時間がかかるか、ということを計算できるようにすることが望ましい。ステップS14の後、待ち時間計算部242は、ステップS15に進む。
その一方で、医療機関内画像処理サーバ25のキャッシュに入力画像IDが保存されている場合など、ステップS13の判定結果がYes判定である場合、待ち時間計算部242は、ステップS15に進む。
ステップS15において、待ち時間計算部242は、今回受信した処理要求を処理する前に、既に医療機関内画像処理サーバ25内で処理待ち状態となっている処理が全て処理される必要があることから、医療機関内画像処理サーバ25内で処理待ち状態となっている処理を全て処理して、本処理が処理開始になるまでの時間(以下、「第1の既存処理完了待ち時間」という。)を処理待ち時間Pwt1に足し合わせる。この時、既存の処理待ち状態の処理要求が全て処理されるまでの時間は、毎回現在処理待ち状態となっているそれぞれの待ち時間を全て足し合わせることで求めてもよいし、新しい処理要求が処理待機列に到着した際に、処理待機列の待ち時間合計値を都度更新してもよい。第1の既存処理完了待ち時間は、医療機関内画像処理サーバ25内における処理待ち状態の処理要求数を反映して計算される。ステップS15の後、待ち時間計算部242は、ステップS16に進む。
医療機関内画像処理サーバ25の処理結果を医療機関内の利用端末22により閲覧できるようにするために結果画像を画像管理サーバ26にダウンロードする必要がある。ステップS16において、待ち時間計算部242は、このダウンロードに要する時間(以下、「第1の結果受信所要時間」という。)も処理待ち時間Pwt1に足し合わせる。この第1の結果受信所要時間に関しても、医療機関内画像処理サーバ25に対して処理対象画像を送信する場合と同様に、定期的にダウンロードにかかる時間を計測し、待ち時間を動的に計算できるようにしておく。第1の結果受信所要時間は、医療機関内のネットワーク状況を反映して計算される。ステップS16の後、待ち時間計算部242は、図2のフローチャートを終了する。
図2に示す計算フローによれば、ステップS13の判定結果がYes判定の場合の処理経路を通った場合に最終的に計算される処理待ち時間Pwt1は、第1の画像処理実行所要時間+第1の既存処理完了待ち時間+第1の結果受信所要時間となる。一方、ステップS13の判定結果のNo判定の場合の処理経路を通った場合に最終的に計算される処理待ち時間Pwt1は、第1の画像処理実行所要時間+第1の入力画像受信所要時間+第1の既存処理完了待ち時間+第1の結果受信所要時間となる。
ステップS13の判定結果に応じて「第1の入力画像受信所要時間」の加算の有無が制御される構成は本開示における「医用画像の送受信の要否を基に、処理待ち時間を計算する」態様の一例である。図2に示す計算フローに従って計算される処理待ち時間Pwt1は本開示における「第1の処理待ち時間」の一例である。
《待ち時間の計算フローの例:中央処理サーバ30内で処理を行う場合》
図3は、画像処理分配器24の待ち時間計算部242にて実行される待ち時間計算処理の例を示すフローチャートである。図3のフローチャートは、中央処理サーバ30内で処理を行う場合の待ち時間の計算フローを示す。ここでは、図2と同様に、処理対象画像としての入力画像が入力画像ID1であり、要求される画像処理の種類が画像処理Aという処理である場合を例に説明する。
ステップS21において、待ち時間計算部242は、ある入力画像ID1に対する画像処理Aの実行要求を受信する。入力画像ID1に対する画像処理Aの実行要求を受信した待ち時間計算部242は、ステップS22において、入力画像ID1に対する画像処理Aを実行するのにかかる時間(以下、「第2の画像処理実行所要時間」という。)を求め、待ち時間として処理待ち時間Pwt2に足し合わせる。
この第2の画像処理実行所要時間は、図2のステップS12と同様に、画像サイズに応じて動的に計算する構成であることが望ましい。第2の画像処理実行所要時間は本開示における「所要時間」の一例である。第2の画像処理実行所要時間は、画像処理の実行にかかる時間として見込まれる予想処理時間と理解してもよい。
続いて、ステップS23において、待ち時間計算部242は、入力画像ID1が中央処理サーバ30内に存在するか否かを判定する。ステップS23の判定結果がNo判定である場合、待ち時間計算部242は、ステップS24に進む。
ステップS24において、待ち時間計算部242は、入力画像ID1が画像処理分配器24内に存在するか否かを判定する。ステップS24の判定結果がNo判定である場合、待ち時間計算部242は、ステップS25に進む。ステップS25において、待ち時間計算部242は、入力画像IDを画像処理分配器24が画像管理サーバ26から受信するために必要な時間(以下、「第2の入力画像受信所要時間」という。)を、処理待ち時間Pwt2に足し合わせる。ステップS25の後、待ち時間計算部242は、ステップS26に進む。
ステップS24とステップS25とが必要な理由は次のとおりである。すなわち、本実施形態においては、中央処理サーバ30に処理対象画像を送信する際には、画像処理分配器24から中央処理サーバ30に対して画像を送信するが、この画像送信を行うためにはまず送信元の画像処理分配器24内に送信対象の画像が存在していないとそもそも送信が行えない。したがって、ステップS24の判定を行い、画像処理分配器24に処理対象画像が存在しない場合は、画像管理サーバ26から画像処理分配器24に処理対象画像を転送する必要があるので、この待ち時間(第2の入力画像受信所要時間)も処理待ち時間Pwt2に足し合わせることとしている。
その一方で、画像処理分配器24のキャッシュに入力画像IDが保存されている場合など、ステップS24の判定結果がYes判定の場合は、画像管理サーバ26から画像処理分配器24に処理対象画像を転送する必要がないため、待ち時間計算部242は、ステップS26に進む。
ステップS26において、待ち時間計算部242は、入力画像ID1を画像処理分配器24から中央処理サーバ30に送信するために必要な時間(以下、「入力画像送信所要時間」という。)を、処理待ち時間Pwt2に足し合わせる。この送信にかかる時間は、各施設のネットワークの混雑状況によって動的に変化するものである。よって、入力画像送信所要時間を求める際にも、図2のステップS14で説明した例と同様に、定期的にダミーデータ等を用いてネットワーク速度を計測し、送信にかかる時間を動的に求めることが望ましい。
ステップS26の後、待ち時間計算部242はステップS27に進む。また、中央処理サーバ30のキャッシュに入力画像IDが保存されている場合など、ステップS23の判定結果がYes判定の場合、待ち時間計算部242はステップS27に進む。
ステップS27において、待ち時間計算部242は、中央処理サーバ30内で既に処理待ち状態になっている処理がすべて完了して、現在送信しようとしている処理要求が処理を開始できるまでの待ち時間(以下、「第2の既存処理完了待ち時間」という。)を、処理待ち時間Pwt2に足し合わせる。第2の既存処理完了待ち時間は、中央処理サーバ30内における処理待ち状態の処理要求数を反映して計算される。
次いで、ステップS28において、図2のステップS16と同様に、待ち時間計算部242は、中央処理サーバ30によって画像処理を行った場合の処理結果を医療機関内の利用端末22で閲覧できるようにするために処理結果を画像管理サーバ26にダウンロードするのに要する時間(以下、「第2の結果受信所要時間」という。)を足し合わせる。このダウンロードに要する時間に関しても、中央処理サーバ30に対して処理対象画像を送信する場合と同様に、定期的にダウンロードにかかる時間を計測し、待ち時間を動的に計算できるようにしておくことが望ましい。ステップS28の後、待ち時間計算部242は、図3のフローチャートを終了する。
図3に示す計算フローによれば、ステップS23とステップS24とのそれぞれの判定結果によって処理経路が3つのパターンに分かれ、3パターンの処理経路に対応して、最終的に計算される処理待ち時間Pwt2が異なるものとなる。すなわち、ステップS23の判定結果がYes判定の場合の処理経路を通った場合に最終的に計算される処理待ち時間Pwt2は、第2の画像処理実行所要時間+第2の既存処理完了待ち時間+第2の結果受信所要時間となる。
ステップS23の判定結果がNo判定かつステップS24の判定結果がYes判定の場合の処理経路を通った場合に最終的に計算される処理待ち時間Pwt2は、第2の画像処理実行所要時間+入力画像送信所要時間+第2の既存処理完了待ち時間+第2の結果受信所要時間となる。ステップS23の判定結果がNo判定かつステップS24の判定結果がNo判定の場合の処理経路を通った場合に最終的に計算される処理待ち時間Pwt2は、第2の画像処理実行所要時間+第2の入力画像受信所要時間+入力画像送信所要時間+第2の既存処理完了待ち時間+第2の結果受信所要時間となる。
ステップS13の判定結果に応じて「第1の入力画像受信所要時間」の加算の有無が制御される構成は本開示における「医用画像の送受信の要否を基に、処理待ち時間を計算する」態様の一例である。ステップS23の判定結果に応じて「第2の入力画像受信所要時間」の加算の有無が制御される構成およびステップS24の判定結果に応じて「入力画像送信所要時間」の加算の有無が制御される構成のそれぞれは本開示における「医用画像の送受信の要否を基に、処理待ち時間を計算する」態様の一例である。図3に示す計算フローに従って計算される処理待ち時間Pwt2は本開示における「第2の処理待ち時間」の一例である。
図2及び図3のフローチャートによる計算結果は、処理分配部244に送られ、画像処理を実行させるサーバが決定される。
《処理分配部244における処理フローの例》
図4は、画像処理分配器24の処理分配部244にて実行される処理の例を示すフローチャートである。ステップS31において、処理分配部244は、待ち時間計算部242から医療機関内画像処理サーバ25を使用する場合の処理待ち時間Pwt1と、中央処理サーバ30を使用する場合の処理待ち時間Pwt2とを取得する。
ステップS32において、処理分配部244は、Pwt1とPwt2との大小を比較しする。Pwt1≦Pwt2を満たす場合、処理分配部244は、ステップS33に進む。ステップS33において、処理分配部244は、医療機関内画像処理サーバ25に処理の実行要求を送信する。
その一方、ステップS32の判定にてPwt1>Pwt2である場合、処理分配部244は、ステップS34に進み、処理分配部244は、中央処理サーバ30に処理の実行要求を送信する。
ステップS33またはステップS34の後、処理分配部244は、図4のフローチャートを終了する。
こうして、処理待ち時間Pwt1と処理待ち時間Pwt2との計算結果に基づき、医療機関内画像処理サーバ25と中央処理サーバ30とのうち、処理待ち時間が短い方のサーバに対して、処理分配部244から処理の実行要求(処理要求)が送信される。これにより、システム全体としての処理待ち時間が最小化される。
《システム構成例》
図5は、医用画像処理システム10のシステム構成例を概略的に示す図である。図5では、図示を簡単にするために、複数の医療機関のそれぞれに同様の構成の医療情報システム20が構築されている例を示すが、医療機関ごとに異なる構成の医療情報システムが構築されてもよい。
図5に示す医療情報システム20は、図1で説明した複数の利用端末22、画像処理分配器24、医療機関内画像処理サーバ25および画像管理サーバ26の他に、電子カルテシステム27と、1つ以上のモダリティ28とを含んでもよく、これらの要素は医療機関内のローカルエリアネットワーク29に接続される。ローカルエリアネットワーク29は本開示における「第1のネットワーク」の一例である。
モダリティ28は、検査画像を撮影する装置である。モダリティ28には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にDICOM(Digital Imaging and Communication in Medicine)規格で規定された付帯情報を付加して出力する装置が含まれる。モダリティ28の具体例としては、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、血管造影X線診断装置、PET(Positron Emission Tomography)装置、超音波装置、平面X線検出器(Flat Panel Detector:FPD)を用いたCR(Computed Radiography)装置、マンモグラフィ装置および内視鏡装置等が挙げられる。
医療情報システム20には、複数種類のモダリティ28が含まれてもよい。モダリティ28の種類および台数は、医療機関ごとに様々な組み合わせがありうる。
画像管理サーバ26は、例えば、DICOMの仕様にて動作するサーバであってよい。画像管理サーバ26は、モダリティ28を用いて撮影された画像を含む各種データを保存および管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用プログラムを備えている。画像管理サーバ26は、ローカルエリアネットワーク29を介して他の装置と通信を行い、画像データを含む各種データを送受信する。画像管理サーバ26は、モダリティ28によって生成された画像データその他の含む各種データをローカルエリアネットワーク29経由で受信し、大容量外部記憶装置等の記録媒体に保存して管理する。
各医療機関の医療情報システム20に含まれる画像処理分配器24は、インターネットなどのワイドエリアネットワーク120を介して中央処理サーバ30と通信可能に接続される。ワイドエリアネットワーク120は本開示における「医療機関の外部のネットワーク」および「第2のネットワーク」の一例である。
《画像処理分配器24の構成例》
画像処理分配器24は、1台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。コンピュータにプログラムをインストールすることにより画像処理分配器24の機能が実現される。
図6は、画像処理分配器24の構成例を示すブロック図である。画像処理分配器24は、プロセッサ202と、非一時的な有体物であるコンピュータ可読媒体204と、通信インターフェース206と、入出力インターフェース208と、バス210とを含む。画像処理分配器24は、入力装置214および表示装置216を備えてもよい。入力装置214および表示装置216は入出力インターフェース208を介してバス210に接続される。
画像処理分配器24は、通信インターフェース206を介して利用端末22、画像管理サーバ26、医療機関内画像処理サーバ25および中央処理サーバ30と通信可能に接続される。
プロセッサ202はCPU(Central Processing Unit)を含む。プロセッサ202はGPU(Graphics Processing Unit)を含んでもよい。プロセッサ202は、バス210を介してコンピュータ可読媒体204、通信インターフェース206および入出力インターフェース208と接続される。
コンピュータ可読媒体204は、主記憶装置であるメモリおよび補助記憶装置であるストレージを含む。コンピュータ可読媒体204は、例えば、半導体メモリ、ハードディスク(HDD:Hard Disk Drive)装置、もしくはソリッドステートドライブ(SSD:Solid State Drive)装置またはこれらの複数の組み合わせであってよい。コンピュータ可読媒体204は本開示における「記憶装置」の一例である。
コンピュータ可読媒体204には、画像処理分配プログラム240と表示制御プログラム248とを含む複数のプログラムおよびデータ等が格納される。プロセッサ202は、画像処理分配プログラム240の命令を実行することにより、処理受付部241、待ち時間計算部242および処理分配部244として機能する。すなわち、プロセッサ202は、図2~図4で説明したフローチャートのステップを実行する。
コンピュータ可読媒体204は、キャッシュ部246を含む。キャッシュ部246には、画像処理分配器24が取得した画像等のデータのキャッシュファイルが保存される。キャッシュ部246には、画像処理分配器24が過去に受信した複数の医用画像のキャッシュファイルが保存され得る。キャッシュファイルは古いものから順次自動的に削除されてよい。待ち時間計算部242は、処理待ち時間の計算に際して、処理対象画像がキャッシュ部246に保持されているか否かを判定する。
表示制御プログラム248は、待ち時間計算部242による計算結果等を表示装置216および/または利用端末22などに表示させるための表示出力に必要な表示用信号を生成し、表示装置216等の表示制御を行う。
表示装置216は、例えば、液晶ディスプレイ、有機EL(organic electro-luminescence:OEL)ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせによって構成される。入力装置214は、例えば、キーボード、マウス、タッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせによって構成される。入力装置214は、オペレータによる種々の入力を受け付ける。なお、タッチパネルを用いることによって表示装置216と入力装置214とを一体に構成してもよい。
《医療機関内画像処理サーバ25の構成例》
医療機関内画像処理サーバ25は、1台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。コンピュータにプログラムをインストールすることにより医療機関内画像処理サーバ25の処理機能が実現される。
図7は、医療機関内画像処理サーバ25の構成例を示すブロック図である。医療機関内画像処理サーバ25は、プロセッサ222と、非一時的な有体物であるコンピュータ可読媒体224と、通信インターフェース226と、入出力インターフェース228と、バス230とを含む。医療機関内画像処理サーバ25は、入力装置234および表示装置236を備えてもよい。入力装置234および表示装置236は入出力インターフェース228を介してバス230に接続される。
医療機関内画像処理サーバ25のハードウェア構成は、図6で説明した画像処理分配器24のハードウェア構成と同様であってよい。すなわち、図7に示すプロセッサ222、コンピュータ可読媒体224、通信インターフェース226、入出力インターフェース228、バス230、入力装置234および表示装置236のそれぞれのハードウェア構成は、図6に示す対応する要素と同様であってよい。
コンピュータ可読媒体224には、処理受付プログラム250、画像処理プログラム253および表示制御プログラム258を含む複数のプログラムおよびデータ等が記憶される。プロセッサ222は、処理受付プログラム250および画像処理プログラム253の命令を実行することにより、処理受付部251および画像処理部252として機能する。画像処理プログラム253は、複数種類の画像処理を行うための複数種類のプログラムを含んで構成されてもよい。画像処理プログラム253は、例えば、画像処理Aを行うための画像処理AプログラムPGaと、画像処理Bを行うための画像処理BプログラムPGbとを含む複数種類の画像処理用のプログラムを含む。
画像処理用のプログラムとして、具体的には、例えば、臓器セグメンテーションプログラム、血管領域抽出プログラム、骨折CADプログラム、骨ラベリングプログラム、肺結節検出プログラム、肺結節性状分析プログラム、肺炎CADプログラム、肺区域ラベリングプログラム、乳腺CADプログラム、肝臓CADプログラム、脳CADプログラム、大腸CADプログラムおよびレポート作成支援プログラムなどのうち1つ以上のプログラムが含まれてよい。これらの各種のプログラムは、深層学習などの機械学習を適用して目的のタスクの出力が得られるように学習された学習済みモデルを含むAI処理モジュールであってよい。
CAD用のAIモデルは、例えば、畳み込み層を有する各種の畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いて構成することができる。AIモデルに対する入力データは、例えば、2次元画像、3次元画像または動画像など医用画像を含み、AIモデルからの出力は例えば、画像内における疾病領域(病変部位)などの位置を示す情報、もしくは病名などのクラス分類を示す情報、またはこれらの組み合わせであってよい。
処理受付プログラム250と画像処理プログラム253との組み合わせは本開示における「サーバプログラム」の一例である。
コンピュータ可読媒体224は、キャッシュ部246を含む。キャッシュ部246には、医療機関内画像処理サーバ25が取得した画像等のデータのキャッシュファイルが保存される。キャッシュ部246を用いたキャッシュ機能は、図6で説明したキャッシュ機能と同様である。画像処理分配器24は、処理待ち時間の計算に際して、処理対象画像がキャッシュ部246に保存されているか否かを判定する。
表示制御プログラム258は、画像処理プログラム253による処理結果等を表示装置236および/または利用端末22などに表示させるための表示出力に必要な表示用信号を生成し、表示装置236等の表示制御を行う。
《中央処理サーバ30の構成例》
中央処理サーバ30は、1台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。コンピュータにプログラムをインストールすることにより中央処理サーバ30の処理機能が実現される。
図8は、中央処理サーバ30の構成例を示すブロック図である。中央処理サーバ30は、プロセッサ312と、非一時的な有体物であるコンピュータ可読媒体314と、通信インターフェース316と、入出力インターフェース318と、バス320とを含む。中央処理サーバ30は、入力装置324および表示装置326を備えてもよい。入力装置324および表示装置326は入出力インターフェース318を介してバス320に接続される。中央処理サーバ30のハードウェア構成は、図7で説明した医療機関内画像処理サーバ25のハードウェア構成と同様であってよい。すなわち、図8に示すプロセッサ312、コンピュータ可読媒体314、通信インターフェース316、入出力インターフェース318、バス320、入力装置324および表示装置326のそれぞれのハードウェア構成は、図7に示す対応する要素と同様であってよい。
また、コンピュータ可読媒体314には、図7と同様に、処理受付プログラム250、画像処理プログラム253および表示制御プログラム308を含む複数のプログラムおよびデータ等が記憶される。プロセッサ312は、処理受付プログラム250および画像処理プログラム253の命令を実行することにより、処理受付部301および画像処理部302として機能する。
コンピュータ可読媒体314は、キャッシュ部306を含む。キャッシュ部306には、中央処理サーバ30が取得した画像等のデータのキャッシュファイルが保存される。キャッシュ部306を用いたキャッシュ機能は、図6で説明したキャッシュ機能と同様である。各医療機関の画像処理分配器24(図1参照)は、処理待ち時間の計算に際して、処理対象画像がキャッシュ部306に保存されているか否かを判定する。
表示制御プログラム308は、画像処理プログラム253による処理結果等を表示装置326および/または利用端末22などに表示させるための表示出力に必要な表示用信号を生成し、表示装置326等の表示制御を行う。
《変形例1》
上述の実施形態では、画像処理分配器24、医療機関内画像処理サーバ25および中央処理サーバ30のそれぞれがキャッシュ機能を有している例を説明したが、画像処理分配器24、医療機関内画像処理サーバ25および中央処理サーバ30のうちの一部または全部がキャッシュ機能を有していない構成も可能である。
画像処理分配器24がキャッシュ機能を有していない場合、図6に示したキャッシュ部246を具備しない構成となる。同様に、医療機関内画像処理サーバ25がキャッシュ機能を有しない場合、図7に示したキャッシュ部256を具備しない構成となり、中央処理サーバ30がキャッシュ機能を有しない場合、図8に示したキャッシュ部306を具備しない構成となる。
医療機関内画像処理サーバ25がキャッシュ機能を有しない場合、待ち時間計算部242は、図2のフローチャートに代えて、図9のフローチャートを実行する。図9において、図2と同一のステップには同一のステップ番号を付し、重複する説明は省略する。図9のフローチャートは、図2におけるステップS13が削除され、ステップS12の後に、ステップS14に進む処理経路となっている。その他のステップは図2と同様である。
図10は、画像処理分配器24および中央処理サーバ30がどちらもキャッシュ機能を有していない場合、待ち時間計算部242において実行される待ち時間の計算例を示すフローチャートである。
図10は、画像処理分配器24および中央処理サーバ30がどちらもキャッシュ機能を有していない場合、待ち時間計算部242は、図3のフローチャートに代えて、図10のフローチャートを実行する。図10において、図3と同一のステップには同一のステップ番号を付し、重複する説明は省略する。図10のフローチャートは、図3におけるステップS23およびステップS24が削除され、ステップS22の後に、ステップS25に進む処理経路となっている。その他のステップは図3と同様である。
《変形例2》
上述の実施形態では、画像処理分配器24が医療機関内画像処理サーバ25とは別のサーバとして構築される例を説明したが、画像処理分配器24は、医療機関内画像処理サーバ25と同じサーバ上に構築されてもよい。
《コンピュータを動作させるプログラムについて》
上記の実施形態およびその変形例として説明した医用画像処理システム10における各種の処理機能のうち少なくとも1つの処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
《各処理部のハードウェア構成について》
医用画像処理システム10における処理受付部241、待ち時間計算部242、処理分配部244、処理受付部251、画像処理部252、処理受付部301および画像処理部302などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ(processor)である。
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU、画像処理に特化したプロセッサであるGPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、あるいは、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
《実施形態に係る医用画像処理システム10の利点》
医用画像処理システム10によれば、次のような利点がある。
[1]医療機関ごとの医療機関内画像処理サーバ25の状況、医療機関の内外のネットワーク状況および中央処理サーバ30の状況に応じて、医療機関内画像処理サーバ25および中央処理サーバ30のそれぞれのサーバによる画像処理の処理待ち時間が計算される。したがって、動的に変化する状況に応じて、処理待ち時間を適切に予測することができる。
[2]また、計算された処理待ち時間が短い方のサーバに画像処理を実行させるように処理要求を分配することにより、受け付けた処理要求に対して、処理結果を返すまでの処理待ち時間を抑制することができる。
[3]医用画像処理システム10によれば、状況に応じて待ち時間を最小化するように医療機関内画像処理サーバ25または中央処理サーバ30に処理要求を分配することが可能である。
《その他》
本開示は上述した実施形態および変形例の内容に限定されるものではなく、本開示の技術的思想の趣旨を逸脱しない範囲で種々の変形が可能である。
10 医用画像処理システム
20 医療情報システム
22 利用端末
24 画像処理分配器
25 医療機関内画像処理サーバ
26 画像管理サーバ
27 電子カルテシステム
28 モダリティ
29 ローカルエリアネットワーク
30 中央処理サーバ
120 ワイドエリアネットワーク
202 プロセッサ
204 コンピュータ可読媒体
206 通信インターフェース
208 入出力インターフェース
210 バス
214 入力装置
216 表示装置
222 プロセッサ
224 コンピュータ可読媒体
226 通信インターフェース
228 入出力インターフェース
230 バス
234 入力装置
236 表示装置
240 画像処理分配プログラム
241 処理受付部
242 待ち時間計算部
244 処理分配部
246 キャッシュ部
248 表示制御プログラム
250 処理受付プログラム
251 処理受付部
252 画像処理部
253 画像処理プログラム
256 キャッシュ部
258 表示制御プログラム
301 処理受付部
302 画像処理部
306 キャッシュ部
308 表示制御プログラム
312 プロセッサ
314 コンピュータ可読媒体
316 通信インターフェース
318 入出力インターフェース
320 バス
324 入力装置
326 表示装置
PGa 画像処理Aプログラム
PGb 画像処理Bプログラム
Pwt1 時間
Pwt2 時間
S11~S15 医療機関内画像処理サーバにて画像処理する場合の処理待ち時間計算フローのステップ
S21~S28 中央処理サーバにて画像処理する場合の処理待ち時間計算フローのステップ
S31~S34 処理分配部が実行する処理のステップ

Claims (12)

  1. 医療機関内に設置される第1のサーバと、
    前記医療機関の外部のネットワーク上に設置される第2のサーバと、
    前記第1のサーバおよび前記第2のサーバに医用画像の処理要求を分配する画像処理分配器と、を含み、
    前記第1のサーバおよび前記第2のサーバのそれぞれは、前記医用画像の前記処理要求を受け付け、前記処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、
    前記画像処理分配器は、
    1つ以上のプロセッサと、前記1つ以上の前記プロセッサによって実行されるプログラムが記憶される1つ以上の記憶装置と、を含み、
    前記1つ以上の前記プロセッサは、前記プログラムの命令を実行することにより、
    前記医用画像の前記処理要求を受け付け、
    前記第1のサーバおよび前記第2のサーバのそれぞれのサーバが前記医用画像に対する前記画像処理の実行した場合に前記処理結果が得られるまでにかかる処理待ち時間を、前記医用画像に対する前記画像処理の実行に要する所要時間と、ネットワーク状況と、前記それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算し、
    前記計算された前記それぞれのサーバについての前記処理待ち時間に基づき、前記第1のサーバおよび前記第2のサーバのうち、前記処理待ち時間が短い方のサーバに前記医用画像の前記処理要求を送信する、
    医用画像処理システム。
  2. 前記第2のサーバは、複数の前記医療機関によって共有して使用される、
    請求項1に記載の医用画像処理システム。
  3. 前記画像処理分配器は、前記医療機関内の第1のネットワークに接続された端末から前記医用画像の処理要求を受け付ける、
    請求項1または2に記載の医用画像処理システム。
  4. 前記医用画像を保管する画像管理サーバが前記医療機関内に設置される、
    請求項1から3のいずれか一項に記載の医用画像処理システム。
  5. 前記第1のサーバまたは前記第2のサーバによって実行された前記画像処理の処理結果が前記画像管理サーバに保管される、
    請求項4に記載の医用画像処理システム。
  6. 前記第2のサーバは、前記医療機関の外部の前記ネットワークとしての第2のネットワークを介して前記画像処理分配器から前記医用画像を取得する、
    請求項1から5のいずれか一項に記載の医用画像処理システム。
  7. 前記第1のサーバ、前記第2のサーバおよび前記画像処理分配器のうち少なくとも1つは、過去に受信した前記医用画像のキャッシュファイルを保持する、
    請求項1から6のいずれか一項に記載の医用画像処理システム。
  8. 前記1つ以上の前記プロセッサは、処理対象である前記医用画像の送受信の要否を基に、
    前記処理待ち時間を計算する、
    請求項1から7のいずれか一項に記載の医用画像処理システム。
  9. 前記1つ以上の前記プロセッサは、
    前記第1のサーバによって前記画像処理を実行した場合に前記処理結果を得るまでにかかる第1の処理待ち時間と、
    前記第2のサーバによって前記画像処理を実行した場合に前記処理結果を得るまでにかかる第2の処理待ち時間と、を計算し、
    前記計算された前記第1の処理待ち時間と前記第2の処理待ち時間との比較に基づいて、前記処理要求の送信先を決定する、
    請求項1から8のいずれか一項に記載の医用画像処理システム。
  10. 医療機関内に設置される第1のサーバと、
    前記医療機関の外部のネットワーク上に設置される第2のサーバと、を含むコンピュータシステムが実行する医用画像処理方法であって、
    前記第1のサーバおよび前記第2のサーバのそれぞれは、医用画像の処理要求を受け付け、前記処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、
    前記コンピュータシステムに含まれる1つ以上のプロセッサが、
    前記医用画像の前記処理要求を受け付けることと、
    前記第1のサーバおよび前記第2のサーバのそれぞれのサーバが前記医用画像に対する前記画像処理の実行した場合に前記処理結果が得られるまでにかかる処理待ち時間を、前記医用画像に対する前記画像処理の実行に要する所要時間と、ネットワーク状況と、前記それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算することと、
    前記計算された前記それぞれのサーバについての前記処理待ち時間に基づき、前記第1のサーバおよび前記第2のサーバのうち、前記処理待ち時間が短い方のサーバに前記医用画像の前記処理要求を送信することと、
    を含む、医用画像処理方法。
  11. 医療機関内に設置される第1のサーバおよび前記医療機関の外部のネットワーク上に設置される第2のサーバに医用画像の処理要求を分配する画像処理分配器であって、
    前記第1のサーバおよび前記第2のサーバのそれぞれは、前記医用画像の前記処理要求を受け付け、前記処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、
    前記画像処理分配器は、
    1つ以上のプロセッサと、前記1つ以上の前記プロセッサによって実行されるプログラムが記憶される1つ以上の記憶装置と、を含み、
    前記1つ以上の前記プロセッサは、前記プログラムの命令を実行することにより、
    前記医用画像の前記処理要求を受け付け、
    前記第1のサーバおよび前記第2のサーバのそれぞれのサーバが前記医用画像に対する前記画像処理の実行した場合に前記処理結果が得られるまでにかかる処理待ち時間を、前記医用画像に対する前記画像処理の実行に要する所要時間と、ネットワーク状況と、前記それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算し、
    前記計算された前記それぞれのサーバについての前記処理待ち時間に基づき、前記第1のサーバおよび前記第2のサーバのうち、前記処理待ち時間が短い方のサーバに前記医用画像の前記処理要求を送信する、
    画像処理分配器。
  12. コンピュータに、
    医用画像の処理要求を受け付ける機能と、
    前記受け付けた前記処理要求を、医療機関内に設置される第1のサーバまたは前記医療機関の外部のネットワーク上に設置される第2のサーバに分配する機能と、を実現させるプログラムであって、
    前記第1のサーバおよび前記第2のサーバのそれぞれは、前記処理要求に応じた画像処理を実行して処理結果を出力するサーバプログラムを含み、
    前記コンピュータに、
    前記第1のサーバおよび前記第2のサーバのそれぞれのサーバが前記医用画像に対する前記画像処理の実行した場合に前記処理結果が得られるまでにかかる処理待ち時間を、前記医用画像に対する前記画像処理の実行に要する所要時間と、ネットワーク状況と、前記それぞれのサーバ内における処理待ち状態の処理要求数とに基づいて計算する機能と、
    前記計算された前記それぞれのサーバについての前記処理待ち時間に基づき、前記第1のサーバおよび前記第2のサーバのうち、前記処理待ち時間が短い方のサーバに前記医用画像の前記処理要求を送信する機能と、
    を実現させる、プログラム。
JP2021156880A 2021-09-27 2021-09-27 医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム Pending JP2023047775A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021156880A JP2023047775A (ja) 2021-09-27 2021-09-27 医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム
US17/903,043 US20230114843A1 (en) 2021-09-27 2022-09-06 Medical image processing system, medical image processing method, image processing distributor, and program
DE102022124532.2A DE102022124532A1 (de) 2021-09-27 2022-09-23 Verarbeitungssystem für medizinische bilder, verarbeitungsverfahren für medizinische bilder, bildverarbeitungsverteiler und -programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021156880A JP2023047775A (ja) 2021-09-27 2021-09-27 医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム

Publications (1)

Publication Number Publication Date
JP2023047775A true JP2023047775A (ja) 2023-04-06

Family

ID=85477335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021156880A Pending JP2023047775A (ja) 2021-09-27 2021-09-27 医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム

Country Status (3)

Country Link
US (1) US20230114843A1 (ja)
JP (1) JP2023047775A (ja)
DE (1) DE102022124532A1 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682049B2 (en) 2012-02-14 2014-03-25 Terarecon, Inc. Cloud-based medical image processing system with access control
JP2018098538A (ja) 2016-12-08 2018-06-21 株式会社リコー ジョブ実行装置、ジョブ実行システム、及びジョブ実行方法

Also Published As

Publication number Publication date
DE102022124532A1 (de) 2023-03-30
US20230114843A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
WO2021059607A1 (ja) 機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法
ES2888523A2 (es) Una plataforma para evaluar informacion medica y metodo para utilizar la misma
WO2021079792A1 (ja) 機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法
JP6949909B2 (ja) 画像ビューア
Yang et al. Deep learning application in spinal implant identification
US20220164661A1 (en) Machine learning system and method, integration server, information processing apparatus, program, and inference model creation method
US10176569B2 (en) Multiple algorithm lesion segmentation
US9483870B2 (en) Apparatus for processing, generating, storing and displaying images in picture archiving communication system, and method thereof
JP2003263420A (ja) 医療機器を用いた並列演算処理システム
US10146907B2 (en) Network system and method for controlling a computer tomograph
US11961606B2 (en) Systems and methods for processing medical images for in-progress studies
JP7210254B2 (ja) 医用データファイル生成装置、医用データファイル生成システム、及び医用データファイル生成プログラム
JP2023047775A (ja) 医用画像処理システム、医用画像処理方法、画像処理分配器およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
Yuan et al. Sharing of larger medical DICOM imaging data-sets in cloud computing
WO2021193815A1 (ja) 機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法
US20190087541A1 (en) Method and system for storing data during updates of electronic medical records
US20220181005A1 (en) Utilizing multi-layer caching systems for storing and delivering images
US9842121B2 (en) Medical information processing apparatus to apply image processing to received medical images
JP5025090B2 (ja) 画像管理サーバ及び画像管理システム
JP6904878B2 (ja) 読影管理システム及び読影管理方法
JP6021517B2 (ja) 医用画像処理システム
JP2020081176A (ja) 優先度判定装置、方法およびプログラム
US20230197252A1 (en) Medical image processing system, medical image processing method, information processing apparatus, and program
US20230409390A1 (en) Medical information processing system and medical information processing method, medical information processing service providing method, and program