JP2021171197A - 医用画像経時比較プログラム、医用画像経時比較方法及び医用画像経時比較システム - Google Patents

Abstract

【課題】画像の比較を効率良く行うこと。【解決手段】抽出部は、患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量を抽出する。表示制御部は、画像を撮影日時の順に並べて、各画像の特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置に表示させる。【選択図】図６

Description

本発明は、医用画像経時比較プログラム、医用画像経時比較方法及び医用画像経時比較システムに関する。

従来、びまん性肺疾患の患者の肺のＣＴ画像を医師に提示し、診察を支援する症例検索システムが知られている。

富士通株式会社、「医用画像ソリューション HOPE DrABLE-GX」（https://www.fujitsu.com/jp/solutions/industry/healthcare/products/drablegx/）

しかしながら、従来の技術では、画像の比較を効率良く行うことができない場合があるという問題がある。例えば、肺の画像には、病気の進行に従って特徴が大きく変化する箇所と大きく変化しない箇所があると考えられるが、従来技術ではその違いを画像に明確に表示することは難しい場合がある。

１つの側面では、画像の比較を効率良く行うことを目的とする。

１つの態様において、医用画像経時比較プログラムは、患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量を抽出する処理をコンピュータに実行させる。医用画像経時比較プログラムは、画像を撮影日時の順に並べて、各画像の前記特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置に表示させる処理をコンピュータに実行させる。

１つの側面では、画像の比較を効率良く行うことができる。

図１は、医用画像経時比較システムの構成例を示す図である。 図２は、患者ＤＢのデータ構造の例を示す図である。 図３は、症例ＤＢのデータ構造の例を示す図である。 図４は、管理部の構成例を示す図である。 図５は、画像の入れ換えを説明する図である。 図６は、画像の入れ換えを説明する図である。 図７は、画像の入れ換えを説明する図である。 図８は、画像の入れ換えを説明する図である。 図９は、画像の入れ換えを説明する図である。 図１０は、画像を表示する処理の流れを示すフローチャートである。 図１１は、画像を入れ換える処理の流れを示すフローチャートである。 図１２は、ハードウェア構成例を説明する図である。

以下に、本発明に係る医用画像経時比較プログラム、医用画像経時比較方法及び医用画像経時比較システムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

医用画像経時比較システムは、ＤＢに蓄積された患者の画像を検索し、検索により得られた画像を表示することで、医師の診察を支援するシステムである。ここでの画像は、例えばＣＴ画像等の医用画像である。例えば、医用画像経時比較システム１は、診察中の患者の画像に類似する画像をＤＢから取得し、当該取得した画像に対応付けられた疾患に関する情報を医師に提示することができる。これにより、医師は、提示された画像及び疾患に関する情報を参考にして診察を行うことができる。医用画像経時比較システムのユーザは、例えば医師である。

図１は、医用画像経時比較システムの構成例を示す図である。図１に示すように、医用画像経時比較システム１は、医用画像経時比較装置１０及び表示装置２０を有する。また、医用画像経時比較装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。

インタフェース部１１は、データの入出力、及び他の装置とのデータ通信を行うためのインタフェースである。また、例えば、インタフェース部１１は、表示装置２０に対し画像データを出力する。このとき、表示装置２０は、インタフェース部１１を介して受け取った画像データを基に画像を表示する。表示装置２０は、例えばディスプレイ及びタッチパネルである。

記憶部１２は、制御部１３が実行するプログラム及びプログラムの実行に必要なデータを記憶する記憶装置の一例である。記憶部１２は、患者ＤＢ１２１、症例ＤＢ１２２及び画像ＤＢ１２３を記憶する。

患者ＤＢ１２１には、患者ごとの情報が格納される。図２は、患者ＤＢのデータ構造の例を示す図である。図２に示すように、患者ＤＢ１２１には、患者ごとの患者ＩＤ、氏名、性別、生年月日が格納される。図２の例では、患者ＩＤが「0000000074」である患者の氏名が「患者 太朗」であり、性別が男であり、生年月日が「1950/1/1」であることが示されている。

症例ＤＢ１２２には、検査結果が格納される。図３は、症例ＤＢのデータ構造の例を示す図である。図３に示すように、症例ＤＢ１２２には、患者を識別する患者ＩＤ、画像を識別するＵＩＤとともに、検査日と画像情報が格納される。

画像情報ｆ１、画像情報ｆ２等は、例えば画像から抽出される特徴量である。画像情報は画像の類似度の計算等に用いられる。また、本実施例では、検査日は撮影日と同じであるものとする。

図３の例では、患者ＩＤが「0000000074」である患者のＵＩＤが「1.1.1.1」である画像の検査日が「2019/9/15」であり、画像情報ｆ１が「100」であり、画像情報ｆ２が「300」であったことが示されている。

画像ＤＢ１２３には、検査において得られた画像が格納される。画像ＤＢ１２３に格納された画像は、ＵＩＤにより一意に特定される。また、画像ＤＢ１２３の画像を取得するためのパスは、症例ＤＢ１２２に格納されていてもよい。

制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３は、表示制御部１３１、抽出部１３２、検索部１３３及び管理部１３４を有する。

表示制御部１３１は、制御部１３の各処理部による処理の結果を基に生成される画像を表示装置２０に表示させる。例えば、表示制御部１３１は、インタフェース部１１を介して画像データを表示装置２０に出力する。

抽出部１３２は、画像から特徴量を抽出する。抽出部１３２は、画像全体の特徴量を抽出してもよいし、パッチごとの特徴量を抽出してもよい。

ここで、パッチはＣＴ画像を分割して得られる複数の領域である。例えば、パッチは、ＣＴ画像を分割して得られる16×16pixelの画像である。また、パッチごとの特徴と、あらかじめ定められた所定の陰影ごとの特徴との類似度を基に、陰影種類が得られる。例えば、医用画像経時比較システム１は、パッチから抽出した特徴量と、各陰影種類の特徴量との類似度を計算する機械学習モデルを利用して、各パッチに対応する陰影種類を検出することができる。

検索部１３３は、患者の肺を撮影した第１の画像に類似する画像を、画像ＤＢ１２３から検索する。画像ＤＢ１２３は、所定の記憶領域の一例である。例えば、検索部１３３は、指定された画像の特徴量と画像ＤＢ１２３に格納された画像の特徴量との類似度を比較し、類似度が大きい順に所定数の画像を取得することができる。また、検索部１３３は、類似度が所定値以上、かつ指定されたその他の条件に合致する画像を取得してもよい。ここで、その他の条件には、患者ＩＤ及び各種カルテ情報が含まれる。また、その他の条件は、フラグが付与されているか否かであってもよい。

表示制御部１３１は、画像を撮影日時の順に並べて、各画像の特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置２０に表示させる。抽出部１３２は、患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量、すなわちパッチごとの特徴量を抽出することができる。表示制御部１３１は、複数の画像を並べて表示する際に、必ずしも全てのパッチを強調表示する必要はなく、例えば時系列で大きく変化したパッチのみを強調表示してもよい。なお、パッチの枠線は、マークの一例である。
管理部１３４は、画像を追加する操作が行われた場合に、既に表示中の画像と追加された画像を含めた全画像のうち、どの画像を画面に表示するかを管理する。図４は、管理部の構成例を示す図である。図４に示すように、管理部１３４は、画像表示管理部１３４ａ、表示患者管理部１３４ｂ及び表示画像管理部１３４ｃを有する。また、管理部１３４は、読影ビューア３０を介して画像の追加を受け付ける。

読影ビューア３０は、類似症例検査システムと連携したシステムであり、画像の表示を行う。読影ビューア３０は、医用画像経時比較装置１０又は表示装置２０の機能として実現されてもよい。読影ビューア３０は、管理部１３４に対し、１つ以上の画像と画像に関連する情報を入力する。画像に関連する情報には、画像に対応する患者ＩＤ及びＵＩＤが含まれる。

表示患者管理部１３４ｂは、表示される画像の患者ＩＤを管理する。表示画像管理部１３４ｃは、表示される画像のＵＩＤを管理する。画像表示管理部１３４ａは、表示患者管理部１３４ｂ及び表示画像管理部１３４ｃと各情報をやり取りして実際にどの画像を表示するかを表示制御部１３１に通知する。表示制御部１３１は、画像表示管理部１３４ａからの通知に従って画像を表示する。

表示制御部１３１は、患者の肺を撮影した画像を追加する操作が行われると、表示中の画像の撮影日時、追加される画像の撮影日時、及び並べて表示可能な画像の上限数に基づき、表示を制御する。このとき、表示制御部１３１は、表示中の画像と追加される画像のうち、撮影日時が最も新しい画像を少なくとも表示させる。

ここで、表示中の画像を既存画像と呼ぶ。また、追加する操作の対象の画像を追加画像と呼ぶ。また、画面に１度に表示可能な画像の最大個数をＮとする。また、既存画像の数をｍとする。また、追加画像の数をｎとする。追加画像が複数の場合、各画像の患者ＩＤは同一であるものとする。このとき、管理部１３４は、以下のルールに従って表示する画像を決定する。ルール（１）から（３）のうち、（１）の優先度が最も高い。また、画像が新しいとは、画像に対応する検査日が新しいことを意味する。
（１）追加画像の患者ＩＤと既存画像の患者ＩＤが異なる場合、追加画像のみを検査日順に表示する。
（２）追加画像の中に既存画像の最新画像より新しいものがある場合、追加画像のみを検査日順に表示する。
（３）追加画像の中に既存画像の最新画像より古いもののみがある場合、ルール（３．１）又はルール（３．１）に従う。
（３．１）空きが十分である場合、すなわちｍ＋ｎ≦Ｎである場合、既存画像と追加画像の両方を検査日順に並べて表示する。
（３．２）空きが十分でない場合、すなわちｍ＋ｎ＞Ｎである場合、既存画像のうちの最新の画像１つと追加画像とを検査日順に並べて表示する。（ただし、ｎ＝Ｎの場合は、追加画像のみを検査日順に表示する。）

図５から図９に具体例を示し、既存画像と追加画像の入れ換えについて説明する。図５から図９は、画像の入れ換えを説明する図である。ここでは、画面に１度に表示可能な画像の最大個数を３とする。

図５に示すように、患者Ａの画像を３つ表示しているときに、患者Ｂの画像が１つ追加された場合、表示制御部１３１は、ルール（１）に従って、追加画像のみを表示させる。このように、表示制御部１３１は、患者と異なる患者の肺を撮影した画像を追加する操作が行われると、追加される画像のみを表示させる。

図６に示すように、患者Ａの画像を３つ表示しているときに、表示中のどの画像よりも新しい患者Ａの画像が１つ追加された場合、表示制御部１３１は、ルール（２）に従って、追加画像のみを表示させる。このように、表示制御部１３１は、表示中の画像と追加される画像のうち、撮影日が最新の画像が、追加される画像の方に含まれる場合は、追加される画像のみを表示させる。

図７に示すように、患者Ａの画像を３つ表示しているときに、表示中の最新画像よりも古い患者Ａの画像が１つ追加された場合であって、空きが十分にある場合、表示制御部１３１は、ルール（３．１）に従って、既存画像と追加画像の両方を表示させる。

図８に示すように、患者Ａの画像を３つ表示しているときに、表示中の最新画像よりも古い患者Ａの画像が１つ追加された場合であって、空きが十分にない場合、表示制御部１３１は、ルール（３．２）に従って、既存画像のうちの最新の１つと追加画像とを表示させる。

表示制御部１３１は、表示中の画像と追加される画像のうち、撮影日が最新の画像が、表示中の画像の方に含まれる場合であって、表示中の画像の数と追加される画像の数の合計が上限数を超える場合、ルール（３．２）に従って表示を制御する。すなわち、表示制御部１３１は、表示中の画像のうち撮影日が最新の画像を少なくとも表示させ、追加された画像を上限数を越えないように撮影日が新しい順に表示させる。

図９に示すように、患者Ａの画像を３つ表示しているときに、表示中の最新画像よりも古い患者Ａの画像が２つ追加された場合であって、空きが十分にない場合、表示制御部１３１は、ルール（３．２）に従って、既存画像のうちの最新の１つと追加画像とを表示させる。

図１０は、画像を表示する処理の流れを示すフローチャートである。図１０に示すように、まず、検索部１３３は、診断対象の画像と類似する画像を検索する（ステップＳ１０１）。次に、表示制御部１３１は、検索によって得られた画像を日付が新しい順に並べて表示させる（ステップＳ１０２）。

図１１は、画像を入れ換える処理の流れを示すフローチャートである。まず、表示可能な画像最大個数をＮ、表示中の画像（既存画像）の数をｍ（１≦ｍ≦Ｎ）とする（ステップＳ２０１）。そして、追加画像ｎ個の表示要求（ｎ≦Ｎ）があったものとする（ステップＳ２０２）。

既存画像と追加画像で患者が異なるか、又はｎ＝Ｎである場合（ステップＳ２０３、No）、表示制御部１３１は、追加画像のみを並べて表示させる（ステップＳ２０４）。一方、既存画像と追加画像で患者が同じであり、かつｎ＜Ｎである場合（ステップＳ２０３、Yes）であって、追加画像の中に、既存画像の最新画像より新しいものがある場合（ステップＳ２０５、Yes）、表示制御部１３１は、追加画像のみを並べて表示させる（ステップＳ２０４）。

既存画像と追加画像で患者が同じである場合（ステップＳ２０３、Yes）であって、追加画像の中に、既存画像の最新画像より新しいものがない場合（ステップＳ２０５、No）、管理部１３４は、ｍ＋ｎがＮ以下であるか否かを判定する（ステップＳ２０６）。

ｍ＋ｎがＮ以下でない場合（ステップＳ２０６、No）、表示制御部１３１は、既存画像のうち最新のものと追加画像を並べて表示する（ステップＳ２０７）。一方、ｍ＋ｎがＮ以下である場合（ステップＳ２０６、Yes）、表示制御部１３１は、既存画像と追加画像の両方を並べて表示する（ステップＳ２０８）。

これまで説明してきたように、抽出部１３２は、患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量を抽出する。表示制御部１３１は、画像を撮影日時の順に並べて、各画像の特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置２０に表示させる。このように、医用画像経時比較システム１は、画像を並べた際に、特徴が大きくことなる箇所を強調表示することができる。この結果、本実施例によれば、画像の比較を効率良く行うことができる。

表示制御部１３１は、患者の肺を撮影した画像を追加する操作が行われると、表示中の画像の撮影日時、追加される画像の撮影日時、及び並べて表示可能な画像の上限数に基づき表示を制御する。このとき、表示制御部１３１は、表示中の画像と追加される画像のうち、撮影日時が最も新しい画像を少なくとも表示させる。ユーザが画像を追加する場合、少なくとも最新の画像を確認することを意図していると考えられる。そこで、医用画像経時比較システム１は、ユーザの意図を考慮して画像の表示を制御する。その結果、本実施例によれば、画像の比較を効率良く行うことができる。

表示制御部１３１は、表示中の画像と追加される画像のうち、撮影日が最新の画像が、追加される画像の方に含まれる場合は、追加される画像のみを表示させる。これにより、医用画像経時比較システム１は、最新の画像を表示することができる。その結果、本実施例によれば、画像の比較を効率良く行うことができる。

表示制御部１３１は、表示中の画像と追加される画像のうち、撮影日が最新の画像が、表示中の画像の方に含まれる場合であって、表示中の画像の数と追加される画像の数の合計が、上限数を超える場合は、以下のように表示を制御する。すなわち、表示制御部１３１は、表示中の画像のうち撮影日が最新の画像を少なくとも表示させ、追加された画像を上限数を越えないように撮影日が新しい順に表示させる。これにより、医用画像経時比較システム１は、最新の画像を表示することができる。その結果、本実施例によれば、画像の比較を効率良く行うことができる。

表示制御部１３１は、患者と異なる患者の肺を撮影した画像を追加する操作が行われると、追加される画像のみを表示させる。この結果、本実施例によれば、異な患者の画像が同時に表示されないようにすることで、診断対象を混同してしまうことを防止することができる。

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１２は、ハードウェア構成例を説明する図である。図１２に示すように、医用画像経時比較装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１２に示した各部は、バス等で相互に接続される。

通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図１等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、医用画像経時比較装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、表示制御部１３１、抽出部１３２、検索部１３３及び管理部１３４と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、表示制御部１３１、抽出部１３２、検索部１３３及び管理部１３４等と同様の処理を実行するプロセスを実行する。

このように医用画像経時比較装置１０は、プログラムを読み出して実行することで学習類方法を実行する情報処理装置として動作する。また、医用画像経時比較装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、医用画像経時比較装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１ 医用画像経時比較システム
１０ 医用画像経時比較装置
１１ インタフェース部
１２ 記憶部
１３ 制御部
２０ 表示装置
１２１ 患者ＤＢ
１２２ 症例ＤＢ
１２３ 画像ＤＢ
１３１ 表示制御部
１３２ 抽出部
１３３ 検索部
１３４ 管理部
１３４ａ 画像表示管理部
１３４ｂ 表示患者管理部
１３４ｃ 表示画像管理部
２０１ 患者情報表示欄
２１１ 体積表
２１２ 体積グラフ
２２１ チェックボックスリスト
２３１ 陰影ヒストグラム
２４１ 画像表示領域

Claims (7)

1. 患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量を抽出し、
   前記画像を撮影日時の順に並べて、各画像の前記特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置に表示させる
   処理をコンピュータに実行させることを特徴とする医用画像経時比較プログラム。
2. 前記表示させる処理は、前記患者の肺を撮影した画像を追加する操作が行われると、表示中の画像の撮影日時、追加される画像の撮影日時、及び並べて表示可能な画像の上限数に基づき、前記表示中の画像と前記追加される画像のうち、撮影日時が最も新しい画像を少なくとも表示させることを特徴とする請求項１に記載の医用画像経時比較プログラム。
3. 前記表示させる処理は、前記表示中の画像と前記追加される画像のうち、撮影日が最新の画像が、前記追加される画像の方に含まれる場合は、前記追加される画像のみを表示させることを特徴とする請求項２に記載の医用画像経時比較プログラム。
4. 前記表示させる処理は、前記表示中の画像と前記追加される画像のうち、撮影日が最新の画像が、前記表示中の画像の方に含まれる場合であって、前記表示中の画像の数と前記追加される画像の数の合計が、前記上限数を超える場合は、前記表示中の画像のうち撮影日が最新の画像を少なくとも表示させ、前記追加された画像を前記上限数を越えないように撮影日が新しい順に表示させることを特徴とする請求項２又は３に記載の医用画像経時比較プログラム。
5. 前記表示させる処理は、前記患者と異なる患者の肺を撮影した画像を追加する操作が行われると、追加される画像のみを表示させることを特徴とする請求項２から４のいずれか１項に記載の医用画像経時比較プログラム。
6. 患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量を抽出し、
   前記画像を撮影日時の順に並べて、各画像の前記特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置に表示させる
   処理をコンピュータが実行することを特徴とする医用画像経時比較方法。
7. 医用画像経時比較装置と表示装置とを有する医用画像経時比較システムであって、
   前記医用画像経時比較装置は、
   患者の肺を撮影した画像を分割した複数の領域のそれぞれの特徴量を抽出する抽出部と、
   前記画像を撮影日時の順に並べて、各画像の前記特徴量の時系列の変化の度合いが所定値以上である領域にマークを付して表示装置に表示させる表示制御部と、
   を有し、
   前記表示装置は、
   前記表示制御部の制御に応じて画面を表示することを特徴とする医用画像経時比較システム。

Images