JP2016033738A - 画像表示装置および画像保存装置 - Google Patents

Abstract

【課題】端末装置に画像を表示させる際の遅延を短縮する。
【解決手段】端末装置４０の圧縮率決定部４２４は、医用画像管理システムに送信要求する画像における、データ量を非圧縮とする注目領域と、データ量を圧縮する非注目領域の割合から当該非注目領域の圧縮率を決定する。圧縮情報通知部は、圧縮率に応じた圧縮情報を医用画像管理システムに通知する。回線速度検出部４２２は、端末装置４０と医用画像管理システム間の通信速度を検出する。圧縮率決定部４２４は、検出された通信速度、及び注目領域と非注目領域の割合をもとに圧縮率を決定してもよい。
【選択図】図２

Description

本発明は、内視鏡画像などの画像を表示する画像表示、及び内視鏡画像などの画像を保存する画像保存装置に関する。

内視鏡検査では、患者の体内に挿入された内視鏡スコープにより患者の体内が撮像される。撮像された内視鏡画像はサーバに保存される。近年、様々な部門で撮像された医用画像を一元的に管理する医用画像管理システム（ＰＡＣＳ；Picture Archiving and Communication System）を導入している医療機関が増えてきている。医用画像管理システムでは、内視鏡画像、放射線画像、眼底画像など患者の医用画像を一元管理でき、院内の業務効率を向上させている。

内視鏡検査の後、医師は端末装置を用いて、内視鏡検査に関する検査レポートを作成する。その際、検査で撮像した内視鏡画像をレポートに添付する。医師は内視鏡画像をレポートに添付する際、医用画像管理システムから画像を読み出して、どの画像を添付するか決定する。

特開２００３−１１１０５０号公報 特開平１１−７３３８２号公報

内視鏡画像が医用画像管理システムに保存される場合、内視鏡画像を画像表示装置で表示する際、内視鏡部門のサーバや端末装置に保存される場合より、通信時間が長くなるため端末装置に内視鏡画像が表示されるまでの時間も長くなる。特に医用画像管理システムがクラウドサーバで構成され、院内に設置されず海外など遠方に設置されている場合、通信時間がより長くなる。また端末装置が内視鏡部門システムに無線ＬＡＮで接続される場合、有線ＬＡＮで接続される場合より通信時間が長くなる。

本発明はこうした状況に鑑みなされたものであり、その目的は、端末装置における画像表示遅延を抑制する技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像表示装置は、画像保存装置とネットワークを介して接続された画像表示装置であって、前記画像保存装置に送信要求する画像における、データ量を非圧縮とする注目領域と、データ量を圧縮する非注目領域の割合から当該非注目領域の圧縮率を決定する圧縮率決定部と、前記圧縮率に応じた圧縮情報を前記画像保存装置に通知する圧縮情報通知部と、を備える。

本発明の別の態様は、画像保存装置である。この装置は、画像表示装置とネットワークを介して接続された画像保存装置であって、前記画像表示装置から送信要求された画像における、データ量を非圧縮とする注目領域と、データ量を圧縮する非注目領域の割合から決定される当該非注目領域の圧縮率に応じて前記非注目領域のデータ量を圧縮する圧縮部と、前記非注目領域が圧縮された画像を前記画像表示装置に送信する画像送信部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、端末装置における画像表示遅延を抑制できる。

本発明の実施の形態に係る医療業務支援システムの構成を示す図である。 図１の端末装置の内部構成を示す図である。 図１の医用画像管理システムの内部構成を示す図である。 図４（ａ）−（ｂ）は、注目領域と非注目領域を含む内視鏡画像の一例を示す図である。 図５（ａ）−（ｂ）は、注目領域と非注目領域を含む内視鏡画像の別の例を示す図である。 端末装置と医用画像管理システム間のｐｉｎｇ応答速度、画像全体領域に対する非注目領域の面積割合、非注目領域の圧縮率の関係例を規定したテーブルを示す図である。 端末装置と医用画像管理システム間の画像データ伝送処理の流れを示すフローチャートである。 変形例に係る医療業務支援システムの構成を示す図である。

図１は、本発明の実施の形態に係る医療業務支援システム１の構成を示す図である。医療業務支援システム１は医療施設内に構築され、当該医療施設内の医療業務を支援する。医療業務支援システム１は内視鏡部門システム５、ゲートウェイ装置６０、病院情報システム（ＨＩＳ；Hospital Information System）７０、医用画像管理システム８０を含む。内視鏡部門システム５は内視鏡部門に設置され、内視鏡業務を支援するためのシステムである。内視鏡部門システム５は、複数の内視鏡システム１０ａ、１０ｂ（以下、特に区別しない場合には「内視鏡システム１０」とよぶ）、内視鏡業務支援装置３０、複数の端末装置４０ａ、４０ｂ（以下、特に区別しない場合には「端末装置４０」とよぶ）、及び洗浄装置５０を備え、それらはＬＡＮなどのネットワーク２ａによって相互接続される。

病院情報システム７０はオーダリングシステム、電子カルテシステム及びレセプトシステムなどを含む院内の基幹システムである。なお図１では病院情報システム７０と医用画像管理システム８０を別のシステムとする例を描いているが、病院情報システム７０が医用画像管理システム８０を含む構成であってもよい。内視鏡部門システム５はゲートウェイ装置６０を介して病院情報システム７０、医用画像管理システム８０及び図示しない他部門システムと連携可能である。

内視鏡システム１０は内視鏡スコープ１１、内視鏡処理装置１２及び表示装置１３を備える。内視鏡スコープ１１は患者の体内に挿入され、医師が内視鏡スコープ１１のレリーズスイッチを押したタイミングで体内を撮像する。内視鏡スコープ１１は固体撮像素子（例えばＣＣＤイメージセンサ、ＣＭＤイメージセンサまたはＣＭＯＳイメージセンサ）及び信号処理回路を備える。固体撮像素子は入射光を電気信号に変換し、信号処理回路は、固体撮像素子により光電変換された画像データに対してＡ／Ｄ変換、ノイズ除去などの信号処理を施して内視鏡処理装置１２に出力する。

内視鏡処理装置１２は、内視鏡スコープ１１により撮像された画像を取得する。内視鏡処理装置１２は、取得した画像を表示装置１３に出力して表示装置１３に表示させる。撮像中の画像をリアルタイムに表示させることもできる。また内視鏡処理装置１２は、内視鏡スコープ１１から取得した画像を医用画像管理システム８０に送信して、医用画像管理システム８０内の記憶部にファイリングする。

内視鏡業務支援装置３０は内視鏡部門システム５全体を統括的に制御する。内視鏡業務支援装置３０は例えば、サーバで構成される。端末装置４０は医師、看護師など当該医療施設に従事するユーザが使用する端末装置であり、例えばＰＣ、タブレット、ＰＤＡなどで構成される。タブレット、ＰＤＡなどの携帯端末装置が使用される場合、ネットワーク２ａに図示しないアクセスポイントが設置され、無線ＬＡＮによりネットワーク２ａに接続される。洗浄装置５０は、検査や処置で使用済みの内視鏡スコープ１１を洗浄および消毒するための装置である。

内視鏡業務支援装置３０は、ネットワーク２ａに接続された端末装置４０からの操作に従い、内視鏡業務に関連する各種のアプリケーションプログラムを実行し、端末装置４０のユーザが行う業務を支援する。例えば検査レポート作成支援プログラムを実行して、医師による検査レポートの作成を支援する。医師が端末装置４０を操作して検査レポートの入力を行うと、内視鏡業務支援装置３０は端末装置４０から送信されてきた検査レポートを受け取り記憶部に蓄積する。また内視鏡業務支援装置３０は洗浄装置５０の洗浄履歴を洗浄情報として記憶部に蓄積する。

図２は、図１の端末装置４０の内部構成を示す図である。端末装置４０は通信部４１、制御部４２、記憶部４３、表示部４４及び操作入力部４５を備える。制御部４２は操作受付部４２１、回線速度検出部４２２、操作受付部４２１、送信要求部４２３、圧縮率決定部４２４及び表示制御部４２５を含む。本実施の形態では医用画像管理システム８０からの画像取得・表示機能に注目するため、図２の制御部４２の機能ブロックとして、画像取得・表示機能に関連する機能のみを描いている。

制御部４２の機能はハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。

図３は、図１の医用画像管理システム８０の内部構成を示す図である。医用画像管理システム８０は例えば、サーバで構成される。医用画像管理システム８０は通信部８１、制御部８２、記憶部８３及び操作入力部８５を備える。制御部８２は送信要求受付部８２１、注目領域検出部８２２、注目領域情報通知部８２３、非注目領域圧縮部８２４及び画像送信部８２５を含む。本実施の形態では端末装置４０へ送信すべき画像の圧縮・送信機能に注目するため、図３の制御部８２の機能ブロックとして、画像圧縮・送信機能に関連する機能のみを描いている。制御部８２の機能もハードウェア資源とソフトウェア資源の協働により実現できる。記憶部８３は例えばＨＤＤ、ＳＳＤなどで構成され、医用画像記憶部８３１を含む。以下、図２及び図３を参照しながら、より具体的に説明する。

端末装置４０の操作受付部４２１は、ユーザにより操作入力部４５に対してなされた操作を受け付ける。本実施の形態では内視鏡画像の表示要求を受け付ける。内視鏡画像の表示要求は、単独で発生する場合の他にレポート表示要求に付随して発生する場合もある。医師が検査レポート作成支援アプリケーションを起動させると、当該検査レポート作成支援アプリケーションは、その内視鏡検査で撮像された内視鏡画像またはその患者の全ての内視鏡画像をレポート作成画面にプレビュー表示させる。

回線速度検出部４２２は、端末装置４０と医用画像管理システム８０間の通信速度を検出する。通信速度の検出には例えばｐｉｎｇを使用する。回線速度検出部４２２は、ＩＣＭＰ（Internet Control Message Protocol）のエコーリクエストパケットを医用画像管理システム８０に送信し、医用画像管理システム８０からエコーリプライパケットを受信する。エコーリクエストパケットを送信してからエコーリプライパケットを受信するまでの時間から、端末装置４０と医用画像管理システム８０間のラウンドトリップタイムを検出する。なお回線速度の検出は、画像表示要求を受け付ける度に実行されてもよいし、表示要求と無関係に定期的（例えば１日に１回、１時間に１回）に実行されてもよい。

送信要求部４２３は、操作受付部４２１からの操作、検査レポート作成支援アプリケーションからの指示などに基づく画像表示要求を受け付けると、当該画像の識別情報（例えば、ファイル名）と当該画像の注目領域情報の送信要求を医用画像管理システム８０に通知する。画像の注目領域は、内視鏡画像内の患部に関連する重要な領域を指し、例えば生検箇所、出血箇所、腫瘍、ポリープを含む領域である。

検査で撮像された内視鏡画像はレポート作成前または作成中に、検査を行った医師によりチェックされ、チェックした医師により端末装置４０に表示された内視鏡画像内の患部に関連する箇所にマークが上書きされる。例えば内視鏡画像内の生検箇所、出血箇所、腫瘍位置を示すマークが内視鏡画像上に描画される。医師により画像上に上書きされたマークに関する情報（具体的にはマークの種別、座標位置）はメタデータとして、画像ファイルに付加される。

医用画像管理システム８０の送信要求受付部８２１が、端末装置４０から内視鏡画像の識別情報と当該画像の注目領域情報の送信要求を受け付けると、注目領域検出部８２２は、当該画像の注目領域を検出する。上述のように当該画像にメタデータが付加されている場合、そのメタデータから注目領域を検出する。また注目領域検出部８２２は、内視鏡画像内から画像認識により患部に関連する箇所を検出してもよい。例えば腫瘍のパターンデータとマッチングすることにより腫瘍位置を検出できる。また画像内の赤成分の濃淡情報をもとに出血箇所を検出できる。

注目領域情報通知部８２３は、注目領域検出部８２２により検出された注目領域の位置を含む注目領域情報を端末装置４０に通知する。端末装置４０の圧縮率決定部４２４は、医用画像管理システム８０から通知された注目領域情報および回線速度検出部４２２により検出された通信速度をもとに、医用画像管理システム８０に送信要求する当該画像の圧縮率を決定する。

本実施の形態では、画像の全体領域のデータ量を圧縮するのではなく、重要部分を含む注目領域のデータ量は圧縮せず、重要部分を含まない非注目領域のデータ量を圧縮する。圧縮率決定部４２４は、注目領域と非注目領域の割合及び通信速度から当該非注目領域の圧縮率を決定する。全体領域に対する非注目領域の割合が多いほど圧縮できる面積が増えるため非圧縮領域のデータ圧縮率を小さくできる。反対に全体領域に対する非注目領域の割合が少ないほど圧縮できる面積が減るため非圧縮領域のデータ圧縮率を大きくして、画像全体のデータ量を抑える。また通信速度が速いほどレイテンシーが小さくなり短時間に多くのデータ量を送ることができるため、データ圧縮率を小さくできる。反対に通信速度が遅いほどレイテンシーが大きくなり短時間に多くのデータ量を送ることができなくなるため、データ圧縮率を大きくして画像のデータ量を抑える。

送信要求部４２３は、圧縮率決定部４２４により決定された圧縮率に応じた圧縮情報を医用画像管理システム８０に通知する。当該圧縮情報として、決定された圧縮率をそのまま送ってもよいし、決定された圧縮率に応じた圧縮モード情報を送ってもよい。

医用画像管理システム８０の非注目領域圧縮部８２４は、送信要求部４２３から通知された圧縮情報をもとに当該画像の非注目領域のデータを圧縮する。例えば画像がＪＰＥＧフォーマットの場合、非注目領域の量子化ステップを大きくすることにより非注目領域のデータ量を圧縮する。端末装置４０から通知された圧縮率が大きいほど量子化ステップを大きくする。また画像がＢＭＰフォーマットの場合、非注目領域のピクセルデータの下位ビットを省略することにより非注目領域のデータ量を圧縮する。端末装置４０から通知された圧縮率が大きいほど省略する下位ビットの数を増やす。なお画像のファイル形式および注目領域の圧縮方法は一例であり、既存のファイル形式および圧縮方法のいずれを採用してもよい。

画像送信部８２５は、非注目領域圧縮部８２４により非注目領域のデータ量が圧縮された画像データを端末装置４０に送信する。端末装置４０の表示制御部４２５は、医用画像管理システム８０から受信した画像データを伸張復号して表示部４４に表示させる。

図４（ａ）−（ｂ）は、注目領域と非注目領域を含む内視鏡画像９０の一例を示す図である。図４（ａ）に示す内視鏡画像９０は複数の領域に分割されている。具体的には水平方向および垂直方向にそれぞれ５つに分割されており、全体で２５のブロックに領域分割されている。内視鏡画像９０内には医師の操作により描画された、生検箇所を示す３つの生検マーク９１ａ−９３ａが付加されている。注目領域検出部８２２は、医師の操作により描画されたマークを含むブロックとその周辺のブロックを注目領域として検出する。図４（ａ）では注目領域検出部８２２は、生検マーク９１ａを含むブロックを中心に９（＝３×３）個のブロックで形成される領域を注目領域９１ｂとして検出する。生検マーク９２ａ−９３ａについても同様に注目領域９２ｂ−９３ｂを検出する。なお周辺ブロックの認定ルールは設計者が任意に設定できる。

図５（ａ）−（ｂ）は、注目領域と非注目領域を含む内視鏡画像９４の別の例を示す図である。図５（ａ）に示す内視鏡画像９４も２５のブロックに領域分割されている。内視鏡画像９４内には医師の操作により描画された、生検箇所を示す２つの生検マーク９５ａ−９６ａが付加されている。注目領域検出部８２２は、生検マーク９５ａを含むブロックを中心に９（＝３×３）個のブロックで形成される領域を注目領域９５ｂとして検出する。生検マーク９６ａについても同様に注目領域９６ｂを検出する。

図６は、端末装置４０と医用画像管理システム８０間のｐｉｎｇ応答速度、画像全体領域に対する非注目領域の面積割合、非注目領域の圧縮率の関係例を規定したテーブルである。図６の例ではｐｉｎｇ応答時間を４回平均で規定している。図４（ａ）に示す例において、ｐｉｎｇの応答速度が２２ｍｓであった場合、非注目領域の面積割合は２８％であるため図６を参照すると非注目領域の圧縮率は４０％となる。図４（ｂ）は各ブロックのデータ圧縮率を示している。

図５（ａ）に示す例において、ｐｉｎｇの応答速度が３３ｍｓであった場合、非注目領域の面積割合は４４％であるため図６を参照すると非注目領域の圧縮率は５０％となる。図５（ｂ）は各ブロックのデータ圧縮率を示している。

図７は、端末装置４０と医用画像管理システム８０間の画像データ伝送処理の流れを示すフローチャートである。端末装置４０の回線速度検出部４２２は、医用画像管理システム８０にｐｉｎｇを送信する（Ｓ１０）。医用画像管理システム８０の図示しないｐｉｎｇ応答部は、ｐｉｎｇ応答を端末装置４０に送信する（Ｓ１１）。端末装置４０の送信要求部４２３は、送信要求する画像の識別情報と当該画像の注目領域情報の送信要求を医用画像管理システム８０に送信する（Ｓ１２）。

医用画像管理システム８０の注目領域検出部８２２は当該画像の注目領域を検出し、注目領域情報通知部８２３は当該注目領域に関する情報を含む注目領域情報を端末装置４０に通知する（Ｓ１３）。端末装置４０の圧縮率決定部４２４は、ｐｉｎｇ応答速度および注目領域情報をもとに当該画像の非注目領域の圧縮率を算出する（Ｓ１４）。送信要求部４２３は、算出された圧縮率に応じた圧縮情報を医用画像管理システム８０に通知する（Ｓ１５）。医用画像管理システム８０の非注目領域圧縮部８２４は、当該圧縮情報をもとに当該画像の非注目領域を圧縮する（Ｓ１６）。画像送信部８２５は、非注目領域が圧縮された画像データを端末装置４０に送信する（Ｓ１７）。端末装置４０の表示制御部４２５は、受信した画像データを表示部４４に表示させる（Ｓ１８）。

以上説明したように本実施の形態によれば、回線速度に応じて医用画像管理システム８０から取得する画像データの圧縮率を調整することにより、端末装置４０が医用画像管理システム８０から画像データを取得してプレビュー表示させる際の遅延を短縮できる。画像データを圧縮する際、患部に関連する箇所を含む注目領域のデータを圧縮せずに、非注目領域のデータを圧縮することにより、注目領域の画質を低下させずに画像全体のデータ量を低減できる。

検査レポート作成画面では、その検査の対象となった患者の多数の内視鏡画像が一覧表示されることがある。端末装置４０と医用画像管理システム８０間の通信速度が遅い場合、多数の内視鏡画像を取得して全てを表示するのに時間がかかり、ユーザである医師や看護師にストレスを与えることになる。この点、本実施の形態によれば通信速度が遅い場合に、画像データの圧縮率を上げてデータ量を減らすことにより、表示遅延を抑制できる。また画像内の重要箇所の画質は維持されるため医療業務への悪影響を最低限に抑えることができる。ユーザである医師や看護師は必要に応じて操作入力部４５を操作して、非圧縮の画像データの送信要求を医用画像管理システム８０に通知することができ、その通知を受けた医用画像管理システム８０は非圧縮の画像データを端末装置４０に送信する。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図８は、変形例に係る医療業務支援システム１の構成を示す図である。図１では医用画像管理システム８０が院内に設置される構成を示したが、医用画像管理システム８０は、インターネット３または専用回線で接続された院外のサーバに構築されてもよい。この場合、端末装置４０と医用画像管理システム８０との伝送距離が長くなるため、本実施の形態に係る画像データ圧縮技術がより有効となる。

上述の実施の形態では、回線速度検出処理および圧縮率決定処理を端末装置４０側で行う例を説明した。この点、回線速度検出処理および圧縮率決定処理を医用画像管理システム８０側で行ってもよい。この場合、端末装置４０から医用画像管理システム８０に、画像識別情報を含む画像送信要求を通知するだけで足りる。

また上述の実施の形態では、非注目領域の圧縮率を全てのブロックで一律としたが、圧縮率に重み付けがされてもよい。例えば圧縮率決定部４２４は非注目領域に属するブロックの内、注目領域に近いブロックほど圧縮率を小さくし、注目領域から遠いブロックほど圧縮率を高く設定してもよい。

また上述の実施の形態では１枚の内視鏡画像内の重要箇所を含む領域を注目領域に設定したが、医用画像記憶部８３１に保持される複数の内視鏡画像を、画像単位で注目画像と非注目画像に分類してもよい。例えば、複数の内視鏡画像の内、レポート添付画像のフラグが付加された内視鏡画像を注目画像に選定してもよい。また検査または処置のオーダが入っている患者の内視鏡画像を注目画像に選定してもよい。医用画像管理システム８０は注目画像に選定されている内視鏡画像は非圧縮で端末装置４０に送信する。非注目画像に選定されている内視鏡画像は上述の圧縮を施した上で端末装置４０に送信する。なお非注目画像に選定されている内視鏡画像は注目領域と非注目領域を選別せずに一律に圧縮してもよい。また注目領域と非注目領域を選別しつつ、注目領域を非注目領域の圧縮率より低い圧縮率で圧縮してもよい。

１ 医療業務支援システム、 ５ 内視鏡部門システム、 ２ ネットワーク、 １０ 内視鏡システム、 １１ 内視鏡スコープ、 １２ 内視鏡処理装置、 １３ 表示装置、 ３０ 内視鏡業務支援装置、 ４０ 端末装置、 ４１ 通信部、 ４２ 制御部、 ４２１ 操作受付部、 ４２２ 回線速度検出部、 ４２３ 送信要求部、 ４２４ 圧縮率決定部、 ４２５ 表示制御部、 ４３ 記憶部、 ４４ 表示部、 ４５ 操作入力部、 ５０ 洗浄装置、 ６０ ゲートウェイ装置、 ７０ 病院情報システム、 ８０ 医用画像管理システム、 ８１ 通信部、 ８２ 制御部、 ８２１ 送信要求受付部、 ８２２ 注目領域検出部、 ８２３ 注目領域情報通知部、 ８２４ 非注目領域圧縮部、 ８２５ 画像送信部、 ８３ 記憶部、 ８３１ 医用画像記憶部、 ８５ 操作入力部。

Claims (4)

1. 画像保存装置とネットワークを介して接続された画像表示装置であって、
   前記画像保存装置に送信要求する画像における、データ量を非圧縮とする注目領域と、データ量を圧縮する非注目領域の割合から当該非注目領域の圧縮率を決定する圧縮率決定部と、
   前記圧縮率に応じた圧縮情報を前記画像保存装置に通知する圧縮情報通知部と、
   を備えることを特徴とする画像表示装置。
2. 本画像表示装置と前記画像保存装置間の通信速度を検出する通信速度検出部を、さらに備え、
   前記圧縮率決定部は、前記通信速度、及び前記注目領域と前記非注目領域の割合をもとに前記圧縮率を決定することを特徴とする請求項１に記載の画像表示装置。
3. 前記送信要求する画像は内視鏡画像であり、
   前記注目領域は、前記内視鏡画像内の生検箇所、出血箇所または腫瘍箇所を含む領域に設定されることを特徴とする請求項１または２に記載の画像表示装置。
4. 画像表示装置とネットワークを介して接続された画像保存装置であって、
   前記画像表示装置から送信要求された画像における、データ量を非圧縮とする注目領域と、データ量を圧縮する非注目領域の割合から決定される当該非注目領域の圧縮率に応じて前記非注目領域のデータ量を圧縮する圧縮部と、
   前記非注目領域が圧縮された画像を前記画像表示装置に送信する画像送信部と、
   を備えることを特徴とする画像保存装置。