JP2021183114A - 医用画像判読支援システム - Google Patents

Abstract

【課題】ユーザのために使い勝手がよい医用画像判読支援システムを提供する。【解決手段】位置情報モジュール１１と特徴マーキングモジュール１２によって複数の参照位置スケールと複数の提示記号が生成される。表示装置にて一枚の組織画像を表示している時、表示補助装置にて対応する参照位置スケールと提示記号とがまとめて表示される。これによって、ユーザが既存の画像ソフトウェアでそれらの組織画像や、参照位置スケール、それらの提示記号をまとめて閲覧することができ、参照位置スケールと提示記号との相対的位置によって、前もってそれらの組織画像に含まれた組織特徴のタイプを識別することができ、ユーザの閲覧効率を高めることができる。【選択図】図１

Description

本発明は、画像判読支援システムに関し、特に、医用画像を解読する医用画像判読支援システムに関する。

患者の体内器官の疾患若しくは病変の部位、又は手術の前に病巣の位置を決めるために、コンピュータ断層撮影（ＣＴ：Computed Tomography）又は磁気共鳴画像法（ＭＲＩ：Magnetic Resonance Imaging）等の撮像技術を用いて患者の体を走査し、コンピュータを用いて処理することで、体内器官の断層像をとらえる。患者の体内器官に関して得られた断層像を一枚ずつ読影することによって病変の疑いのある部位を検出する。

医師は、ＭＲＩやＣＴ等で得られた画像において、経験に基づいて範囲を絞って病変の疑いのある部位を判読することができるが、取得される画像は数百枚に及ぶこともあるため判読するのに時間がかかる。また、病巣の位置決め、マーク付け、サイズ測定等の後続作業も煩雑であり診断の負担となる。

医師の医用画像に対する読影においての診断の負担を軽減するために、人工知能（Artificial Intelligence；AI）を利用して医用画像の判読を行うこともあるが、そのためには医用画像判読支援ソフトウェアをインストールする必要があり、そのような医師が通常使い慣れている医用画像閲覧ソフトウェアとは異なるソフトウェアプログラムに医師が慣れるのに時間がかかるという問題点がある。また、病巣の所在を正確に定めるために慣用の医用画像閲覧ソフトウェアと医用画像判読支援ソフトウェアとを両方同時に用いて、病巣のある部位について交互に対比する必要があるため、使い勝手が悪いという問題点もある。

本発明は、上記問題点の少なくとも１つに鑑みてなされたものであり、医師等のユーザのために使い勝手がよい医用画像判読支援システムを提供することを目的とする。

上記目的を達成するために、本発明は、表示装置に適用され、医用画像モデルの複数の組織画像に複数の組織特徴を表示するように構成される医用画像判読支援システムであって、実行ルールセットに基づいて前記複数の組織画像を判読する処理ユニットであって、前記実行ルールセットにおける提示ルールに従って動作する位置情報モジュールと、前記実行ルールセットにおけるマーキングルールに従って動作する特徴マーキングモジュールとを有し、前記位置情報モジュールはそれぞれが前記複数の組織画像のそれぞれに対応し前記複数の組織画像の相対的位置を示す複数の参照位置スケールを生成し、前記特徴マーキングモジュールは、それぞれが複数の組織画像のそれぞれに対応し、前記複数の組織画像に関すると共に複数の組織特徴に関する複数の提示記号を生成するように構成される、前記処理ユニットと、前記処理ユニットと前記表示装置とに情報的に接続されている表示ユニットであって、前記表示装置に前記複数の組織画像を表示させることに適用される画像表示モジュールと、前記参照位置スケールのそれぞれと前記提示記号のそれぞれと対応する前記組織画像とを同時に前記表示装置に表示させるように構成される表示補助モジュールと、を有し、前記表示補助モジュールは前記複数の組織画像の配列の順に基づき、前記複数の提示記号を前記複数の参照位置スケールにおいて対応する位置に表示させ、ユーザが前記医用画像モデルにおいて前記複数の組織特徴を速やかに認識することができるようにする前記表示ユニットとを備えていることを特徴とする医用画像判読支援システムを提供する。

本発明に係る医用画像判読支援システムは、位置情報モジュールと特徴マーキングモジュールによって複数の参照位置スケールと複数の提示記号が生成される。表示装置にて一枚の組織画像を表示する間、表示補助装置にて対応する参照位置スケールと提示記号とがまとめて表示される。これによって、ユーザが既存の画像ソフトウェアで組織画像や、参照位置スケール、それらの提示記号をまとめて閲覧することができ、参照位置スケールと提示記号との相対的位置によって、前もってそれらの組織画像に含まれた組織特徴のタイプを識別することができ、ユーザの閲覧効率を高めることができる。

本発明の他の特徴および利点は、添付の図面を参照する以下の実施の形態の詳細な説明において明白になるであろう。

本発明に係る医用画像判読支援システムの第１の実施の形態の構成を概略的に示す図である。 本実施の形態に係る医用画像判読支援システムにおけるプロセスユニットと表示ユニットにより複数の画像を分析する場合を説明する図である。 本実施の形態に係る医用画像判読支援システムにおけるインターフェースモジュールへの操作の第１の例を説明する図である。 参照位置スケール、順番記号及び特徴条件に対応する複数の提示記号と組織画像とが表示されている状態を示す図である。 ユーザが閲覧している組織画像に、マーキングされた組織特徴が含まれている場合に、対応する特徴記号が表示されている状態を示す図である。 複数の特徴条件に対応される複数の提示記号と組織画像とが表示されている状態を示す図である。 感度条件に対応されている複数の特徴記号、複数の提示記号及び組織画像を示す図である。 第２の実施の形態による組織画像を示す図である。 第２の実施の形態による組織画像を示す図である。 第３の実施の形態による組織画像を示す図である。 第３の実施の形態による組織画像を示す図である。

以下、本発明に係る医用画像判読支援システムの１例について図面を参照して説明する。
図１は本発明に係る医用画像判読支援システムの第１の実施の形態の構成を概略的に示している。本実施の形態に係る医用画像判読支援システムは外部の表示装置と共に用いるように適用され、医用画像モデルの複数の組織画像に複数の組織特徴を表示するように構成される。なお、本実施例における医用画像モデルとは、医用画像撮影設備を用いて患者に対して撮影を１回行って得られた一連の画像であって、患者の連続的に続く複数の組織画像が含まれた複数の画像のセットである。本実施形態において、組織画像は、病変していない正常組織の画像であってもよく、病変している異常組織の画像であってもよい。病変している異常組織は例えば結節又は嚢腫等である。

なお、組織画像は、医用画像の保存フォーマット及び通信プロトコルであるDigital Imaging and Communications in Medicine（ＤＩＣＯＭ）と称される標準規格に基づき伝送され、本実施例による処理後もＤＩＣＯＭに準ずるものであり、ユーザ（医師、看護師等の医療従事者）が医用画像の画像保管通信システム（ＰＡＣＳ）又は病院情報システム（ＨＩＳ）にアクセスし、本実施例による処理が取り扱う組織画像を取得することができると共に、慣用している画像閲覧ソフトウェアによって閲覧することができる。

本実施例に係る医用画像判読支援システムは、実行ルールに従い複数の組織画像を自動的に判読分析する処理ユニット１と、表示ユニット２と、記憶ユニット３とを備えている。本実施例はプログラミングされ、ソフトウェアプログラムで実行可能であり、つまり、本実施例を構成する複数の構成要素のうち一部の構成要素が物理的構成部材でなくてもよい。

処理ユニット１は、実行ルールセットによって複数の組織画像を判読するものである。具体的には、処理ユニット１は、実行ルールセットにおける提示ルールに従って動作する位置情報モジュール１１と、実行ルールセットにおけるマーキングルールに従って動作する特徴マーキングモジュール１２とを有する。本実施例では、処理ユニット１は、深層学習によって予めトレーニングされていてマーキングルールを実行する複数のニューラルネットワークモデルを格納しているが、これに限らない。

位置情報モジュール１１は、それぞれが複数の組織画像のそれぞれに対応しており複数の組織画像の相対的位置を示す参照位置スケールと、それぞれがそれらの組織画像のそれぞれに対応しておりそれらの組織画像の配列に関連する複数の順番記号とを生成するために構成されている。特徴マーキングモジュール１２は、それぞれが複数の組織画像のそれぞれに対応し、複数の組織画像に関する複数の組織特徴に関する提示記号と、それぞれが複数の組織特徴のそれぞれに対応する複数の特徴記号とを生成するように構成される。本実施例では、順番記号それぞれには、組織画像の序数及び組織画像全ての総数を含んでおり、特徴記号それぞれには、特徴番号と特徴サイズとの少なくとも１つを含んでいるが、複数の順番記号及び複数の特徴記号に含まれる文字情報はこれらに限らない。

表示ユニット２は、処理ユニット１と表示装置とに情報的に接続されており、画像表示モジュール２１と表示補助モジュール２２と表示補助モジュール２２に情報的に接続されているインターフェースモジュール２３とを有する。画像表示モジュール２１は、表示装置に複数の組織画像を表示させることに適用される。表示補助モジュール２２は、参照位置スケールのそれぞれ、提示記号のそれぞれ、対応する組織画像を同時に表示装置に表示させるように構成され、複数の組織画像の配列の順に基づき、提示記号を複数の参照位置スケールにおいて対応する位置に表示させ、順番記号とそれぞれの特徴記号と対応する組織画像とを同時に表示させるように構成される。このようにして、ユーザが医用画像モデルにおいて複数の組織特徴を速やかに認識することができる。

記憶ユニット３は、処理ユニット１に情報的に接続されており、複数の組織特徴のそれぞれに対応する複数の特徴条件と、複数の判読感度のそれぞれに対応する複数の感度条件とが格納されている。処理ユニット１における特徴マーキングモジュール１２は、複数の特徴条件に応じて、それぞれが複数の組織特徴のそれぞれに対応する複数の特徴記号と複数の提示記号とを医用画像モデルにマーキングすると共に、感度条件に応じて、それぞれが複数の判読感度のそれぞれに対応する複数の提示記号を医用画像モデルにマーキングする。

表示ユニット２におけるインターフェースモジュール２３は、操作により、特徴条件の内のいずれか１つに対応する特徴記号と提示記号と、他の１つの特徴条件に対応する特徴記号と提示記号とを同時に又は非同時に表示すると共に、感度条件それぞれに対応する提示記号と他の特徴条件に対応する提示記号を同時に又は非同時に表示する。

本実施例では、処理ユニット１にそれぞれ複数の特徴条件のそれぞれに対応するように構成されるニューラルネットワークモデルが格納されている。つまり、ニューラルネットワークモデルはそれぞれ、特徴条件に基づきマーキングルールを実行し、特徴マーキングモジュール１２はニューラルネットワークモデルによる特徴条件によってマーク付け（マーキング）を行うことによって、複数のニューラルネットワークモデルを使って１つの医用画像モデルに対して異なるタイプの組織特徴へのマーク付けを行うことができる。

一例として、処理ユニット１は２つのニューラルネットワークモデルを格納しており、記憶ユニット３は結節に対応する特徴条件と、嚢腫に対応する特徴条件とを格納している。１つのニューラルネットワークモデルが結節に対応する特徴条件に基づきマーキングルールを実行し、他の１つのニューラルネットワークモデルが嚢腫に対応する特徴条件に基づきマーキングルールを実行する。即ち、処理ユニット１の特徴マーキングモジュール１２は、結節に対応する特徴条件によって、医用画像モデルにおいて結節に対応する複数の特徴記号と複数の提示記号とをマーキングし、嚢腫に対応する特徴条件によって、医用画像モデルにおいて嚢腫に対応する複数の特徴記号と複数の提示記号とをマーキングする。

なお、本実施例では、判読感度とは、処理ユニット１がユーザが関心のある組織特徴を検出する程度を示し、複数の提示記号と複数の特徴記号のそれぞれの数に関連するものである。処理ユニット１が高い判読感度によって複数の組織画像を分析する場合、特徴マーキングモジュール１２は多くの組織特徴を検出し、それらの組織特徴に対応して対応する複数の特徴記号をマーキングし、複数の特徴記号に基づき、複数の特徴記号が対応する複数の参照位置スケールに複数の提示記号をマーキングする。一方、処理ユニット１が低い判読感度によって複数の組織画像を分析する場合、特徴マーキングモジュール１２による組織特徴への検出の数が少なくなり、これら組織特徴に対応して特徴記号のマーキング数も少なくなり、比較的少ない複数の特徴記号に対応して複数の参照位置スケールにマーキングされる提示記号の数も少ないものとなる。

なお、判読感度は高ければ高いほどよいというものではなく、例えば、ユーザが複数の組織画像から結節を識別する場合、判読感度が高く設定されていれば、処理ユニット１によって正常組織をも結節として読み取られてしまいかねず、特徴マーキングモジュール１２により異常と判断された当該正常組織に対しても対応する特徴記号をマーキングしてしまう問題点があるが、ユーザは本実施例を複数回使用して積み重ねた信頼度に基づき、または必要に応じて適切な判読感度を選択することができる。本実施例を高い感度で用いて判読作業の支援としても、それによってユーザが正常組織まで異常であると誤判断することにはならないと判断した場合であって、病状が特殊であったり、所定の病気の発症のリスクが高く、組織画像をより一層慎重に評価する必要がある場合、ユーザはインターフェースモジュール２３を操作して、複数の感度条件においてより高い感度を選択することにより、ユーザが病変に関わる組織特徴をより充分に把握できるようにすることができる。

本実施例では、各特徴条件にそれぞれ対応する各提示記号のタイプは、他の特徴条件に対応する提示記号のタイプと同じでもよく異なってもよく、また、各特徴条件にそれぞれ対応する各特徴記号のタイプは、他の特徴条件に対応する特徴記号のタイプと同じでもよく異なってもよい。提示記号と特徴記号のタイプは、形状、色、サイズ、太さによって判別することができるが、これらに限らない。各特徴条件にそれぞれ対応する各提示記号及び各特徴記号のタイプが、他の特徴条件に対応する提示記号及び特徴記号のタイプと異なっている場合、ユーザはそれぞれ異なるタイプの複数の提示記号及び複数の特徴記号によってそれら提示記号及び特徴記号が対応する各種特徴条件を簡単に判別することができ、それら提示記号及び特徴記号が対応する組織特徴を簡単に知ることができる。

また、本実施例では、感度条件それぞれに対応される複数の提示記号のタイプは、他の感度条件に対応される複数の提示記号のタイプと同じであってもよく異なってもよい。感度条件それぞれに対応される複数の特徴記号のタイプは、他の感度条件に対応される複数の特徴記号のタイプと同じであってもよく異なってもよい。複数の提示記号と複数の特徴記号のタイプは、形状、色、サイズによって判別することができるが、これらに限らない。各感度条件にそれぞれ対応する各提示記号及び各特徴記号のタイプが、他の感度条件に対応する提示記号及び特徴記号のタイプと異なっている場合、ユーザはそれぞれ異なるタイプの複数の提示記号及び複数の特徴記号によってそれら提示記号及び特徴記号が対応する各種感度条件を簡単に判別することができ、それら提示記号及び特徴記号が対応する感度を簡単に知ることができる。

本実施例について図面を参照して説明する。
図１と図２を参照すると、本実施例では、位置情報モジュール１１は提示ルールに従って動作すると、複数の組織画像の数に基づいて同じ数の参照位置スケールと順番記号とを生成する。例えば、組織画像の数が、図２に示されているように、４つである場合、位置情報モジュール１１は４つの参照位置スケールと４つの順番記号を生成する。説明の便宜上、以下の説明では、図２中上側の２つの参照位置スケールに上から下へ符号「４ａ」、「４ｂ」と、図２中の上側の２つの順番記号を上から下へ符号「５ａ」「５ｂ」とそれぞれ付けている。

画像表示モジュール２１は、１回に１つの組織画像を表示し、表示補助モジュール２２は参照位置スケールを当該１つの組織画像と共に表示する。図２に示されているように、図２の紙面上側から１番目の組織画像において順番記号５ａを参照位置スケール４ａの対応位置に表示し、図２の紙面上側から２番目の組織画像において順番記号５ｂを参照位置スケール４ｂの対応位置に表示する。このように、ユーザはそれぞれの順序記号と対応する参照位置スケールの相対的位置、及び順番記号によって表示されている文字情報によって、現在表示されている複数の組織画像における順番を判断する。

複数のニューラルネットワークモデルはそれぞれマーキングルールを実行した後、特徴マーキングモジュール１２は複数の組織特徴の数に基づき、同じ数の特徴記号を生成すると共に、複数の特徴記号に対応する複数の組織画像の数に基づき、同じ数の複数の提示記号を生成する。なお、複数の提示記号と複数の特徴記号とは１対１の関係ではない。

１例として、１つのニューラルネットワークモデルによって複数の組織画像に対してマーキングルールを実行した後、複数の組織画像における１つだけが病変した組織特徴を含んでいると判定された場合、特徴マーキングモジュール１２は病変した組織特徴に関する特徴記号と該特徴記号に対応する提示記号とを生成し、他の３つの組織画像については３つの正常の組織特徴に関する３つの特徴記号と３つの対応する提示記号とを生成する。他の例として、複数の組織画像における１つにおいて病変した組織特徴を２つ含んでいると判定された場合、特徴マーキングモジュール１２は同じ１つの組織画像に対応する特徴記号を２つ生成し、当該組織画像に対応する提示記号を１つだけ生成する。

なお、組織特徴の種類を区別するために、異なる組織特徴に関する特徴記号をそれぞれ異なるタイプによって区別し、対応する複数の提示記号のタイプも異ならせ、例えばタイプは色によって区別されるが、これに限らない。例えば、ユーザは色付き、色無しの複数の特徴記号と複数の提示記号によって、対応する複数の特徴組織を区別することができる。つまり、判定済みの組織画像と色付きの特徴記号とが同時に表示されていない場合、実際には色無しの特徴記号と色無しの提示記号が表示されているが、ユーザは表示装置において当該色無しの特徴記号と色無しの提示記号とを観察することができないので、ユーザにとっては特徴記号が表示されていないことになる。

説明の便宜上、図２における４つの特徴記号に対して上から下へと順に符号「6a」、「6b」、「6c」、「6d」、「6e」を付し、同様に４つの提示記号に対して符号「7a」、「7b」、「7c」、「7d」を付す。この内、色付きの特徴記号6b、6cと色付きの提示記号7bは病変している複数の組織特徴に関する。色無しの特徴記号6a、6d、6e（図２中、点線で図示）及び色無しの提示記号7a、7c、7d（図２中、点線で図示）は複数の異常無しの組織特徴に関する。なお、特徴記号6b、6cは、色によって病変に関する複数の組織特徴を分類する。例えば、使用の際、特徴記号６ｂが赤色で、特徴記号６ｃが緑色で表示されている場合、特徴記号６ｂによって悪性に関する複数の組織特徴（悪性腫瘍）を表し、特徴記号６ｃによって良性に関する複数の組織特徴（良性腫瘍）を表す。

特徴マーキングモジュール１２は複数の特徴記号と複数の提示記号とを生成し、そして参照位置スケールにおいて提示記号７ｂをマーキングすることにより、ユーザが幾つ目の組織画像を閲覧しているかに関わらず、提示記号７ｂが参照位置スケールにおける２つ目の組織画像を示す位置に常にマーキングされ、これによって、例えばユーザが１つ目の組織画像を閲覧している時でも、提示記号７ｂによって複数の組織画像において２つ目の組織画像にだけ病変に関する組織特徴が含まれていることを事前に知ることができる。

本実施例の動作として、本実施例に係る医用画像判読支援システムによる１つの使用状況について説明する。本実施例では、ＣＴにより患者の肺臓を走査する検査によって、肺臓に関する複数の組織画像において肺結節と肺嚢腫等の組織特徴を速やかに認識することができる。なお、本実施例において肺結節と肺嚢腫に限定されず、他の病変について検査することもできる。

図１、図３、図４を参照して、本実施例に係る第１の実施の形態を説明する。現有の閲覧ソフトウェアを第１の実施の形態と合わせて用いることによって複数の組織画像を閲覧することにより、操作する際、複数の組織画像を例えばカルテ番号、撮影時間、撮影部位などの文字情報と共に表示させる。これによって、複数の組織画像の関連情報を判別することができる。なお、文字情報の表示は当該技術分野では既知技術であるため、ここではその詳細は省略する。

第１の実施の形態では、各参照位置スケールは座標軸であり、位置情報モジュール１１は複数の組織画像の並び順に従って、座標軸それぞれの対応位置に組織画像それぞれに対応する順番記号をマーキングすることに適用される。また、特徴マーキングモジュール１２は複数の組織画像の並び順に従って、座標軸それぞれの対応位置に組織画像それぞれに対応する提示記号をマーキングすることに適用される。

ユーザが医用画像モデルの複数の組織画像を閲覧する時、画像表示モジュール２１が表示装置に医用画像モデルのある組織画像を表示させ、ユーザがインターフェースモジュール２３を操作することで、対応する参照位置スケール、対応する順番記号、対応する特徴記号、及び提示記号が表示装置に表示されないようにしたり（図３）、組織画像と共に表示装置に表示されるようにしたりできる（図４）。なお、図４では、肺結節に関する複数の提示記号のみが示されている。

図４と図５を合わせて参照すると、ユーザは、対応する特徴記号を含まない図４に図示された画面から、閲覧された組織画像に肺結節が含まれていないことが分かると共に、対応する特徴記号を含んでいる図５に図示された画面から、閲覧している組織画像に肺結節が１つ含まれていることが分かる。そして、特徴記号に含まれている文字情報によって肺結節の大きさ、密度などの情報を得ることができる。また、並び順で前にある組織画像を閲覧している時に、提示記号によって、並び順で後ろにある一部の組織画像に肺結節が含まれていることが事前に知ることができる。ユーザはそれら特徴記号と提示記号とによって医用画像モデルに肺結節が含まれていることを速やかに確認することができ、肺結節の所在を速やかに知ることができる。また、複数の組織画像の中から、ユーザは提示記号によって、特徴記号をマーキングしている組織画像を直ちに閲覧することができるので、ユーザの閲覧効率を効果的に高めることができる。

図１、図５と図６を合わせて参照すると、ユーザはインターフェースモジュール２３を操作することで、更に、肺結節に対応する複数の特徴記号と複数の提示記号と、肺嚢腫に対応する複数の特徴記号と複数の提示記号とを、図５のように一緒には表示させないようにしたり、図６のように一緒に表示させたりすることができる（なお、図６では肺嚢腫に対応する特徴記号は図示していない）。第１の実施の形態では、形状によって異なる複数の特徴条件に対応する複数の提示記号を判別することができる。例えば、図６に示されている正方形をなした複数の提示記号によって、ユーザは対応する複数の組織画像に肺結節に関連する複数の組織特徴を判別することができる。また、図６に示されている三角形をなした複数の提示記号によって、ユーザは対応する複数の組織画像に肺嚢腫に関連する複数の組織特徴を判別することができる。このようにすると、ユーザは複数の提示記号に対応付けられている複数の組織特徴を判別することができる。

図１、図５、図７を合わせて参照すると、ユーザはインターフェースモジュール２３を操作することで、更に、異なる感度条件に対応する複数の提示記号と複数の特徴記号と、他の特徴条件に対応する複数の提示記号と複数の特徴記号とを、図５のように一緒に表示させないようにしたり、図７のように一緒に表示させたりすることができる。例えば、図５、図７に示されているように、線の太さによって異なる感度に対応する複数の特徴記号を判別し、色の違いにより異なる感度条件に対応する複数の提示記号を判別することによって、ユーザは例えば色が濃い複数の提示記号及び図７に細線で図示された複数の特徴記号によって、これら提示記号と特徴記号が低い判読感度でマーキングされたものであることを判読することができる。また、色が浅い複数の提示記号及び図７に太線で図示された複数の特徴記号によって、これら提示記号と特徴記号が高い判読感度でマーキングされたものであることを判読することができる。これによって、ユーザが複数の提示記号と複数の特徴記号が対応する複数の感度条件を判別することができる。

次に、図１、図８、図９を合わせて参照して本実施例に係る第２の実施の形態を説明する。第２の実施の形態に関して、第１の実施の形態との重複部分の説明を省略し、相違点について、以下のように説明する。参照位置スケールはグリッドであり、画像表示モジュール２１は、対応する組織画像と隣り合わせるようにグリッドの中に並び順で複数のサムネイルを表示することによって複数の組織画像をプレビューすることに適用される。位置情報モジュール１１は、サムネイル表示に対応する複数の組織画像及び複数の組織画像の並び順により、グリッド毎の対応位置に画像表示モジュール２１に表示された組織画像に対応する順番記号をマーキングすることに適用される。また、特徴マーキングモジュール１２は、サムネイルに対応する複数の組織画像及び複数の組織画像の並び順に従って、グリッド毎の対応位置に複数の組織画像に対応する複数の提示記号をマーキングすることに適用される。第２の実施の形態では、３行３列のグリッドを図示しているが、これに限定されない。

ユーザはインターフェースモジュール２３を操作することで、肺結節に対応する複数の特徴記号及び複数の提示記号と、肺嚢腫に対応する複数の特徴記号及び複数の提示記号とが、図８のように一緒に表示されないようにしたり、図９のように一緒に表示されるようにすることができる（図９において肺嚢腫に対応する複数の特徴記号を図示せず）。第２の実施の形態では、線のタイプの違いによって異なる特徴条件に対応する提示記号が判別されるように構成されている。ユーザが図８と図９において太線で図示された提示記号によって、対応する組織画像に肺結節に関する組織特徴が含まれていることを知ることができる。また、図９において太い点線で図示された提示記号によって、対応する組織画像に肺嚢腫に関する組織特徴が含まれていることを知ることができる。これによって、ユーザは図９に示されているように、並び順で前にある組織画像を閲覧している時でも、提示記号によって、並び順で後ろにある一部の組織画像に肺嚢腫が含まれていることが事前に知ることができる

次に、図１、図１０、図１１を合わせて参照して本実施例に係る第３の実施の形態を説明する。第３の実施の形態に関して、第２の実施の形態との重複部分の説明を省略し、相違点について、以下のように説明する。第３の実施の形態に係る医用画像判読支援システムでは、複数の組織画像における１つを拡大して観察する。複数の組織画像に関する各サムネイルは、組織画像の一部を縮小して表示するものであり、画像表示モジュール２１は、グリッドの中に複数の組織画像の一部をサムネイル表示するように適用される。図１０の紙面左側には組織画像における１つのサムネイルを拡大して表示している。このように、ユーザは線のタイプの違いで異なる特徴条件に対応する複数の提示記号を判別することができる。例えば、図１０において太線で図示されている複数の提示記号から、各提示記号に対応する各組織画像に肺結節に関する組織特徴が含まれていることを事前に知ることができる。

従来から用いられているＡＩ画像判読支援技術によるＡＩモデルは、リソースをシェアして編集することによって構成されていることから判読する画像フォーマットがＪＰＧ又はＢＭＰ等のデジタルイメージファイルフォーマットに限られているので、複数の組織画像をＤＩＣＯＭの伝送規格に従ってフォーマットの変換を行い、ＡＩモデルで判読補助を実行する。このため、ユーザは他のソフトウェアプログラムを使ってＡＩ判読補助の結果を検視する必要が有り、またフォーマット変換された画像をＤＩＣＯＭによる伝送規格に合うよう復元することが難しくなるので、ＰＡＣＳ又はＨＩＳを介して複数の組織画像の後続使用のために、ユーザが手作業で複数の組織特徴をＤＩＣＯＭ伝送規格による複数の組織画像にマーキングしなければならず、手間や時間が多くかかる。

本実施の形態による複数のニューラルネットワークモデルによれば、特徴マーキングモジュール１２はＤＩＣＯＭ伝送規格による複数の組織画像に追加情報を直接追記することができ、イメージフォーマットの変換なく元の画像伝送構造に従って判読することができる。このようにすると、ユーザの閲覧等の作業時間を効果的に短縮することができ、マーキング等の手作業によるエラー率を減らすことができる。

なお、本実施例による他の実施の形態では、処理ユニット１は、ニューラルネットワークモデルを１つだけ格納してもよく、記憶ユニット３は特徴条件を１つだけ格納してもよく、処理ユニット１はニューラルネットワークモデルによって特徴条件に基づいてマーキングルールを実行し、組織画像の判読を支援することができる。なお、参照位置スケールは座標軸としてもグリッドとしても両方としてもよく、２つのタイプによる参照位置スケールに基づいて視覚的判読を行うことができる。

以上のように、本発明に係る医用画像判読支援システムによれば、位置情報モジュール１１により複数の参照位置スケールと複数の順番記号とが生成され、特徴マーキングモジュール１２によって複数の提示記号と複数の特徴記号のマーキングを実行することができる。画像表示装置２１によって複数の組織画像の１つを表示する時、補助表示装置２２は医用デジタル画像用のＤＩＣＯＭプロトコルに従って複数の参照位置スケール、複数の提示記号、その組織画像に対応する順番記号、及びその組織画像に対応する複数の特徴記号を一緒に表示することができる。複数の組織画像の伝送規格はＤＩＣＯＭプロトコルに従うので、複数の組織画像に追記した追加情報を表示させることができる。このように、既存の画像伝送構成を変えることなくユーザが１つの従来の画像ソフトウェアプログラムで複数の組織画像や、複数の参照位置スケール、複数の提示記号、複数の特徴記号を同時に閲覧することができ、複数の組織画像に含まれている複数の組織特徴の種類を判別することができる。従って、本発明に係る医用画像判読支援システムによってユーザの閲覧等の作業効率を効果的に高めることができ、手作業によるエラー率を抑制することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

本発明に係る医用画像判読支援システムは、医用画像を解読する医用画像判読システムに有用である。

１ 処理ユニット
１１ 位置情報モジュール
１２ 特徴マーキングモジュール
２ 表示ユニット
２１ 画像表示モジュール
２２ 表示補助モジュール
２３ インターフェースモジュール
３ 記憶ユニット
４ａ，４ｂ 参照位置スケール
５ａ，５ｂ 順番記号（組織画像）
６ａ，６ｂ，６ｃ，６ｄ，６ｅ 特徴記号
７ａ，７ｂ，７ｃ，７ｄ 提示記号

Claims (16)

1. 表示装置に適用され、医用画像モデルの複数の組織画像に複数の組織特徴を表示するように構成される医用画像判読支援システムであって、
   実行ルールセットに基づいて前記複数の組織画像を判読する処理ユニットであって、前記実行ルールセットにおける提示ルールに従って動作する位置情報モジュールと、前記実行ルールセットにおけるマーキングルールに従って動作する特徴マーキングモジュールとを有し、前記位置情報モジュールはそれぞれが前記複数の組織画像のそれぞれに対応し前記複数の組織画像の相対的位置を示す複数の参照位置スケールを生成し、前記特徴マーキングモジュールは、それぞれが複数の組織画像のそれぞれに対応し、前記複数の組織画像に関すると共に複数の組織特徴に関する複数の提示記号を生成するように構成される、前記処理ユニットと、
   前記処理ユニットと前記表示装置とに情報的に接続されている表示ユニットであって、前記表示装置に前記複数の組織画像を表示させることに適用される画像表示モジュールと、前記参照位置スケールのそれぞれと前記提示記号のそれぞれと対応する前記組織画像とを同時に前記表示装置に表示させるように構成される表示補助モジュールと、を有し、前記表示補助モジュールは前記複数の組織画像の配列の順に基づき、前記複数の提示記号を前記複数の参照位置スケールにおいて対応する位置に表示させ、ユーザが前記医用画像モデルにおいて前記複数の組織特徴を速やかに認識することができるようにする前記表示ユニットと、
   を備えていることを特徴とする医用画像判読支援システム。
2. 前記位置情報モジュールは更に、それぞれが前記複数の組織画像のそれぞれに対応し且つ前記複数の組織画像の配列に関連する複数の順番記号を生成するように構成され、
   前記表示補助モジュールは更に、前記順番記号のそれぞれと、対応する前記組織画像とを同時に表示することを特徴とする請求項１に記載の医用画像判読支援システム。
3. 前記特徴マーキングモジュールは更に、前記複数の組織特徴のそれぞれに対応する複数の特徴記号を生成し、
   前記表示補助モジュールは更に、前記特徴記号のそれぞれと、対応する前記組織画像とを同時に表示させることを特徴とする請求項１に記載の医用画像判読支援システム。
4. 前記参照位置スケールは、座標軸であり、
   前記特徴マーキングモジュールは、前記複数の組織画像の配列の順に基づいて、前記座標軸における対応位置に前記組織画像のそれぞれに対応する前記複数の提示記号をマーキングすることを特徴とする請求項１に記載の医用画像判読支援システム。
5. 前記参照位置スケールは、グリッドであり、
   前記画像表示モジュールは、前記グリッドの中並び順で対応する複数の組織画像と隣り合うサムネイルを表示するように適用され、
   前記特徴マーキングモジュールは、前記サムネイルに対応された前記複数の組織画像、及び前記複数の組織画像の並び順に従って、前記グリッド毎の対応位置に複数の組織画像に対応される前記複数の提示記号をマーキングすることに適用されることを特徴とする請求項１に記載の医用画像判読支援システム。
6. 前記参照位置スケールは、座標軸であり、
   前記位置情報モジュールは、前記複数の組織画像の配列の順に基づいて、前記座標軸における対応位置に前記組織画像のそれぞれに対応する前記順番記号をマーキングすることを特徴とする請求項２に記載の医用画像判読支援システム。
7. 前記参照位置スケールはグリッドであり、
   前記画像表示モジュールは、対応する前記組織画像と隣り合わせるように前記グリッドにおいて前記配列の順で複数のサムネイルを表示するように適用され、
   前記位置情報モジュールは、前記複数のサムネイルに対応する前記複数の組織画像と前記複数の組織画像の並び順に従って、前記グリッドの対応位置に前記組織画像のそれぞれに対応する前記順番記号をマーキングすることを特徴とする請求項２に記載の医用画像判読支援システム。
8. 更に、前記処理ユニットに情報的に接続されている記憶ユニットを備え、
   前記記憶ユニットは、前記複数の組織特徴のそれぞれに対応する複数の特徴条件を格納し、
   前記特徴マーキングモジュールは、前記複数の特徴条件に応じて、それぞれが前記複数の組織特徴のそれぞれに対応する前記複数の提示記号を前記医用画像モデルにマーキングすることを特徴とする請求項１に記載の医用画像判読支援システム。
9. 前記特徴条件のそれぞれにそれぞれ対応する前記複数の提示記号は、他の前記特徴条件に対応する前記提示記号とタイプが異なることを特徴とする請求項８に記載の医用画像判読支援システム。
10. 前記表示ユニットは更に、前記表示補助モジュールに情報的に接続されているインターフェースモジュールを有し、
    前記インターフェースモジュールは、操作により、前記複数の特徴条件のうちのいずれか１つに対応する前記提示記号と、他の１つの前記特徴条件に対応する前記提示記号とを同時に又は非同時に表示することを特徴とする請求項８又は９に記載の医用画像判読支援システム。
11. 前記記憶ユニットは更に、複数の判読感度のそれぞれに対応する複数の感度条件とが格納され、
    前記特徴マーキングモジュールは、前記感度条件に応じて、それぞれが前記複数の判読感度のそれぞれに対応する前記複数の提示記号を前記医用画像モデルにマーキングすることを特徴とする請求項８に記載の医用画像判読支援システム。
12. 前記感度条件それぞれにそれぞれ対応する前記複数の提示記号は、他の前記感度条件に対応する前記提示記号とタイプが異なることを特徴とする請求項１１に記載の医用画像判読支援システム。
13. 前記表示ユニットは更に、前記表示補助モジュールに情報的に接続されているインターフェースモジュールを有し、
    前記インターフェースモジュールは、操作により、前記複数の感度条件のうちのいずれか１つに対応する前記提示記号と、他の１つの前記感度条件に対応する前記提示記号とを同時に又は非同時に表示することを特徴とする請求項１１又は１２に記載の医用画像判読支援システム。
14. 前記処理ユニットは、前記マーキングルールを実行するためのニューラルネットワークモデルを格納していることを特徴とする請求項１に記載の医用画像判読支援システム。
15. 前記処理ユニットは、前記マーキングルールを実行するための、それぞれ前記複数の特徴条件のそれぞれに対応する複数のニューラルネットワークモデルを格納していることを特徴とする請求項８に記載の医用画像判読支援システム。
16. 前記組織画像、前記参照位置スケール、前記提示記号の伝送規格は、医用デジタル画像用のＤＩＣＯＭ（Digital Imaging and Communications in Medicine）プロトコルに従うことを特徴とする請求項１に記載の医用画像判読支援システム。

Images