JP2020201801A - 読影支援装置、読影支援方法、読影支援プログラム - Google Patents

Abstract

【課題】 医療画像の読影において、経時変化の観察を容易にする。【解決手段】 第１時点に撮影された第１医用画像と、第１医用画像が撮影された患者の医用画像であって第１時点とは異なる第２時点に撮影された第２医用画像と、を取得する画像取得部１１と、機械学習アルゴリズムを含む判別機により、第１医用画像および第２医用画像から特徴点をそれぞれ抽出する特徴点抽出部１２と、抽出される特徴点に基づいて、第１医用画像および第２医用画像の類似度が大きくなるように、第２医用画像を調整する画像調整部１４と、調整された第２医用画像を、第１医用画像と共に表示する表示部１５と、を備える、読影支援装置１。【選択図】図２

Description

本発明は、読影支援装置、読影支援方法、および読影支援プログラムに関する。

患者を撮影して得られた医用画像を医師が読影するために、医用画像を表示する装置が知られている。

特許文献１には、第１の機械学習アルゴリズムを互いに異なるデータセットで学習させた学習済みアルゴリズムを含む第１および第２の判別機を備え、判別結果に応じて被験者の診断を支援するための情報を出力する、診断支援装置等が開示されている。

特開２０１７−６７４８９号公報

病変等の経時変化を観察するために、同一範囲の医療画像を、時間をおいて複数回撮影する場合がある。撮影時に患者の位置や姿勢を全く同一にするのは困難であり、ずれが生じる。また、患者が子供である場合、身長や体重が短期間に大きく変化するため、位置や姿勢を揃えても、画像にずれが生じる。そのため、特定の病変の経時変化を読影するためには、検査技師等の専門家が画像を確認しながら画像を選択した上で位置合わせをする必要があり、煩雑であった。さらに、１回の測定で走査しながら複数回撮影する場合には、いずれの画像を比較すべきかを決定する必要がある。

そこで、本発明は、医療画像の読影において、経時変化の観察を容易にすることを目的の１つとする。

上記目的を達成するため、本発明の一の観点に係る読影支援装置は、第１時点に撮影された第１医用画像と、前記第１医用画像が撮影された患者の医用画像であって前記第１時点とは異なる第２時点に撮影された第２医用画像と、を取得する画像取得部と、機械学習アルゴリズムを含む判別機により、前記第１医用画像および前記第２医用画像から特徴点をそれぞれ抽出する特徴点抽出部と、抽出される前記特徴点に基づいて、前記第１医用画像および前記第２医用画像の類似度が大きくなるように、前記第２医用画像を調整する画像調整部と、調整された前記第２医用画像を、前記第１医用画像と共に表示する表示部と、を備える。

読影者が前記医用画像の一部を選択する入力を受け付ける入力部をさらに備え、
前記特徴点抽出部は、複数の特徴点を抽出して前記表示部に表示し、
前記画像調整部は、前記入力部を介して選択される前記特徴点に基づいて、前記第２医用画像を調整するものとしてもよい。

前記第１医用画像と共に表示する前記第２医用画像を選定する画像選定部をさらに備え、
前記画像取得部は、前記第２時点に互いに異なる位置を撮影した複数の画像を取得し、
前記画像選定部は、前記特徴点に基づいて、前記第１医用画像に最も類似する前記第２医用画像を選定するものとしてもよい。

前記特徴点抽出部は、患者の特性に基づいて、特徴点を抽出するものとしてもよい。

撮影部位と、前記特徴点の抽出領域と、が互いに対応付けられて記憶されている記憶部をさらに備え、
前記特徴点抽出部は、前記撮影部位に基づいて、前記記憶部から前記特徴点の抽出領域を特定し、前記抽出領域内において前記特徴点を抽出するものとしてもよい。

前記医用画像を撮影する撮影装置での撮影時に、前記特徴点の抽出結果に基づいて、患者の姿勢を誘導する情報を発する出力部をさらに備えるものとしてもよい。

上記目的を達成するため、本発明の別の観点に係る読影支援方法は、第１時点に撮影された第１医用画像と、前記第１医用画像が撮影された患者の医用画像であって前記第１時点とは異なる第２時点に撮影された第２医用画像と、を取得するステップと、機械学習アルゴリズムを含む判別機により、前記第１医用画像および前記第２医用画像から特徴点をそれぞれ抽出するステップと、抽出される前記特徴点に基づいて、前記第１医用画像および前記第２医用画像の類似度が大きくなるように、前記第２医用画像を調整するステップと、調整された前記第２医用画像を、前記第１医用画像と共に表示するステップと、を含む。

上記目的を達成するため、本発明の別の観点に係る読影支援プログラムは、第１時点に撮影された第１医用画像と、前記第１医用画像が撮影された患者の医用画像であって前記第１時点とは異なる第２時点に撮影された第２医用画像と、を取得する命令と、機械学習アルゴリズムを含む判別機により、前記第１医用画像および前記第２医用画像から特徴点をそれぞれ抽出する命令と、抽出される前記特徴点に基づいて、前記第１医用画像および前記第２医用画像の類似度が大きくなるように、前記第２医用画像を調整する命令と、調整された前記第２医用画像を、前記第１医用画像と共に表示する命令と、をコンピュータに実行させる。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、ＣＤ−ＲＯＭなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。

本発明によれば、医療画像の読影において、経時変化の観察を容易にすることができる。

本発明にかかる読影支援装置の実施の形態を示す全体概略図である。 上記読影支援装置の機能ブロック図である。 上記読影支援装置により解析される画像の例であって、（a）第１時点において胸部を水平面方向に撮影して得られるCT画像、（b）第２時点において図３（a）と同様の位置を水平面方向に撮影して得られるCT画像、（c）上記第２時点において胸部のうち図３（b）とは異なる位置を水平面方向に撮影して得られるCT画像、（d）上記第２時点において胸部のうち図３（b）および（c）とは異なる位置を水平面方向に撮影して得られるCT画像である。 上記読影支援装置により解析される画像の別の例であって、（a）第３時点において頭部を水平面方向に撮影して得られるCT画像、（b）第４時点において図4(a)と同様の位置を水平面方向に撮影して得られるCT画像、（c）上記第４時点において頭部のうち図4（b）とは異なる位置を水平面方向に撮影して得られるCT画像、（d）上記第４時点において頭部のうち図4（b）および（c）とは異なる位置を水平面方向に撮影して得られるCT画像である。 上記読影支援装置により解析される画像のさらに別の例であって、（a）第5時点において上腹部を水平面方向に撮影して得られるCT画像、（b）第６時点において図5(a)と同様の位置を水平面方向に撮影して得られるCT画像、（c）上記第６時点において腹部のうち図5（b）とは異なる部分を水平面方向に撮影して得られるCT画像、（d）上記第６時点において腹部のうち図5（b）および（c）とは異なる部分を水平面方向に撮影して得られるCT画像である。 上記読影支援装置により解析される画像のさらに別の例であって、（a）第7時点に撮影された水平面方向の腹部CT画像、(b)第8時点に撮影された水平面方向の腹部CT画像である。 上記読影支援装置により解析される画像のさらに別の例であって、（a）第9時点に撮影された腹部CT画像、(b)第10時点に撮影された水平面方向の腹部CT画像である。 上記読影支援装置が医用画像を選定および調整するフローチャートである。

以下、本発明にかかる読影支援装置、読影支援方法、および読影支援プログラムの実施の形態について、図面を参照しながら説明する。

図１及び図２に示すように、読影支援装置１は、主として、モダリティ１０およびPACSサーバ２０（Picture Archiving and Communication Systemサーバ２０）にネットワークを通じて互いに接続されている。接続形態は、すべて無線であってもよいし、一部又は全部が有線で接続されていてもよい。１個のPACSサーバ２０に接続される読影支援装置１は、複数であってもよい。

モダリティ１０は、撮影装置の例であり、患者の医用画像を撮影する装置である。モダリティ１０は、例えばＣＲ、ＣＴ、およびＭＲＩ等の装置である。読影支援装置１に接続されるモダリティ１０の個数は、１個であっても複数であってもよい。モダリティ１０は、撮影で得られる医用画像を、画像データとしてPACSサーバ２０に送信する。

PACSサーバ２０は、モダリティ１０から画像データを受信して、管理する装置である。PACSサーバ２０はデータベースを有し、患者に関する情報を記憶している。PACSサーバ２０は、受信した画像データを患者に関する情報と対応付けてデータベースに保存する。

PACSサーバ２０は、接続されている読影支援装置１に、画像および対応付けられている情報を送信し、当該画像および情報を表示させる。

読影支援装置１は、医師や放射線技師等の医療従事者により利用可能な端末である。読影支援装置１は、例えばパーソナルコンピュータであるが、タブレット、スマートホン等の携帯端末であってもよい。

図２を用いて、読影支援装置１が有する構成の各機能ブロックに関して詳細に説明する。同図に示すように、読影支援装置１は、画像取得部１１、特徴点抽出部１２、画像選定部１３、画像調整部１４、表示部１５、入力部１６、出力部１７および記憶部３０を備える。なお、読影支援装置１の機能ブロックの一部を、PACSサーバ２０が有していてもよい。

記憶部３０は、撮影部位と、当該撮影部位の画像において抽出された特徴点の抽出領域と、が互いに対応付けられて記憶されている機能部である。また、記憶部３０は、患者の年齢、性別、身長および体重などの、患者の特性に関する情報を記憶していてもよい。

画像取得部１１は、PACSサーバ２０から医用画像を取得する機能部である。画像取得部１１は、ある時点に撮影された第１医用画像と、第１医用画像とは異なる時点に撮影された第２医用画像と、を取得する。第１医用画像は、例えば第２医用画像の撮影時点（「第２時点」の例である。）よりも過去の時点（「第１時点」の例である。）に撮影された画像である。

また、画像取得部１１は、１個の第１医用画像と、複数の第２医用画像を取得してもよい。複数の第２医用画像は、同時点において互いに異なる位置を撮影した画像である。複数の第２医用画像は、例えば、１回の測定で走査しながら複数回撮影を行う、コンピュータ断層撮影（「CT」ともいう。）等で得られる画像である。複数の第２医用画像のうち、第１医用画像と比較する画像は、後述する画像選定部１３により選定される。

特徴点抽出部１２は、機械学習アルゴリズムを含む判別機により、第１医用画像および第２医用画像から特徴点をそれぞれ抽出する機能部である。特徴点抽出は、例えばエッジ又はコーナーを検出して両者を比較し、特徴点を抽出する。

特徴点抽出部１２が有する判別機は、過去に同部位で撮影された画像により学習される。判別機は、人工知能を有する構成であってもよい。また、判別機は機械学習の具体的な学習の仕組みとして、ニューラルネットワークモデルを有していてもよい。さらに、判別機は、ディープラーニングによる学習を行ってもよい。

特徴点抽出部１２は、医用画像の一部の領域について特徴点を抽出してもよい。特徴点抽出部１２は、例えば、患者の身体特徴的な構成が現れている画像領域のみについて特徴点を抽出してもよい。また、特徴点抽出部１２は、医用画像全体に特徴点を抽出した上で、一部の領域についてより高密度に特徴点を抽出してもよい。特徴点の分布は、機械学習により決定されてもよい。特徴点抽出部１２は、画像の選定又は調整に用いられる特徴点の候補を複数抽出してもよい。なお、以下の説明において特徴点とは、１個の特徴点であってもよいし、所定の領域において抽出される特徴点群であってもよい。

特徴点抽出部１２は、取得される医用画像の撮影部位に基づいて、特徴点の抽出領域を記憶部３０から呼び出し、特徴点の抽出領域を決定してもよい。人間の身体の内部構造はある程度共通しているため、ある患者の読影において抽出された選定領域は、他の患者の領域と類似する可能性が高い。そこで、特徴点抽出部１２が他の患者の画像で学習した抽出領域において当該医用画像の特徴点を抽出することで、読影する観点に則した画像の選定および調整ができる。

特徴点抽出部１２は、記憶部３０から患者の特性に関する情報を呼び出し、患者の特性に基づいて特徴点の抽出領域を決定してもよい。例えば、前回の測定時から大きく体重が変化した場合、脂肪の厚さの変化を加味した特徴点抽出を行う。例えば、注目する臓器が脂肪により圧迫されて歪んでいることを考慮して、臓器の外郭に多くの特徴点を抽出する。また、患者が子供である場合、前回の測定時から身長が大きく伸びる場合があるので、身長の変化を加味した特徴点抽出を行う。特徴点抽出部１２は、患者の特性も考慮して多次元的に学習を行ってもよい。

画像選定部１３は、特徴点抽出部１２により抽出される特徴点に基づいて、複数の第２医用画像の中から、第１医用画像に最も類似する画像、すなわちマッチング度の高い画像を選定する機能部である。断層撮影においては、異なる位置を撮影した類似の画像が複数取得される。画像選定部１３によれば、第１医用画像と比較して読影すべき画像を選定することができる。ひいては、医療画像の読影において、経時変化の観察を容易にすることができる。

図３を用いて、画像選定部１３により選定される医用画像の一例を説明する。図３(a)は、胸部を水平面方向に撮影して得られるCT画像であり、第１時点に撮影された第１医用画像３１ａである。図３(b)乃至(d)は、第１医用画像と同一患者に対して撮影された第２医用画像３１ｂ、３１ｃおよび３１ｄである。第２医用画像３１ｂ、３１ｃおよび３１ｄは、走査の結果得られた画像であり、撮影箇所が互いに僅かに異なっている。

特徴点抽出部１２は、第１医用画像３１ａおよび第２医用画像３１ｂ乃至３１ｄを解析し、特徴点を抽出する。本例においては、特徴点抽出部１２は、気管支の分岐部分から特徴点を抽出する。

画像選定部１３は、第１医用画像３１ａの特徴点３２ａと、第２医用画像３１ｂ乃至３１ｄの特徴点３２ｂ乃至３２ｄとをそれぞれ比較し、最も類似する第２医用画像を選定する。ここで、第２医用画像３１ｂは、気管支の断面を示す歪んだ２個の円の形状および互いの距離等が、第１医用画像３１ａに類似している。画像選定部１３により選定が行われた結果、本例においては、第２医用画像３１ｂを、第１医用画像３１ａの比較対象として選定する。

図４は、画像選定部１３により選定される医用画像の別の例である。図４(a)は、頭部を水平面方向に撮影して得られる第１医用画像４１ａであり、画像中央部に１対の側脳室が現れている。特徴点抽出部１２は、この側脳室が現れる画像領域から特徴点を抽出する。画像選定部１３は、特徴点の情報に基づいて、図４(b)乃至（d）に示す、撮影箇所が互いに僅かに異なる第２医用画像４１ｂ乃至４１ｄのうち第１医用画像４１ａに最も類似する画像を選定する。本例においては、第２医用画像４１ｂが、第１医用画像４１ａの比較対象として選定される。

図５は、画像選定部１３により選定される医用画像のさらに別の例である。図５(a)は、上腹部を水平面方向に撮影して得られる第１医用画像５１ａであり、画像右下に左腎とその内部構造が表れている。特徴点抽出部１２は、この左腎内部構造が現れる画像領域から特徴点を抽出する。画像選定部１３は、特徴点の情報に基づいて、図５（b）乃至（d）に示す、撮影箇所が互いに僅かに異なる第２医用画像５１ｂ乃至５１ｄのうち、第１医用画像５１ａに最も類似する画像を選定する。本例においては、第２医用画像５１ｂが、第１医用画像５１ａの比較対象として選定される。

画像調整部１４は、特徴点抽出部１２により抽出される特徴点に基づいて、第１医用画像および第２医用画像の類似度が大きくなるように、第２医用画像を調整する機能部である。医用画像の調整は、例えば水平移動、回転、および拡大縮小を含んでもよい。また、医用画像の調整は、画像を湾曲させる操作であってもよい。回転は、画像内外のいずれの点を回転中心にしてもよい。拡大縮小は、画像のX方向およびY方向の倍率が等倍であってもよいし、ある特定の方向のみに引き伸ばされ、又は縮められる操作であってもよい。画像調整部１４によれば、別の時点で撮影した画像の比較が容易になり、経時変化の観察を容易にすることができる。

図６に示すように、特徴点抽出部１２は、第１医用画像６１ａから特徴点６２ａ乃至７１ａを抽出し、第２医用画像６１ｂから特徴点６２ｂ乃至７１ｂを抽出する。画像調整部１４は、第１医用画像６１ａから抽出される特徴点６２ａ乃至７１ａのうち１又は複数の点と、各特徴点に対応する第２医用画像６１ｂの特徴点６２ｂ乃至７１ｂの１又は複数の点とを比較し、画像を調整する。画像調整に使用する特徴点は、例えば、向きがわかる骨等が現れる画像領域上に抽出される。特徴点抽出部１２は、画像選定に用いる特徴点抽出とは異なるアルゴリズムに基づいて、画像調整に係る特徴点を抽出してもよい。

図７に示す別の例においては、画像調整部１４は、第１医用画像８１ａから抽出される特徴点８２ａ乃至８９ａのうち１又は複数の点と、各特徴点に対応する第２医用画像８１ｂの特徴点８２ｂ乃至８９ｂの１又は複数の点とを比較し、画像を調整する。

表示部１５は、第１および第２医用画像を表示する画面である。表示部１５は、例えば液晶画面である。

入力部１６は、表示部１５に表示される医用画像の一部を選択する入力を受け付ける機能部である。入力部１６は、特徴点抽出部１２で抽出された特徴点の候補から、画像の選定又は調整に用いる特徴点を選択入力可能である。また、入力部１６は、画像の選定又は調整に用いる特徴点が含まれる領域を選択する入力が可能であってもよい。例えば、患者の身体の構成上特徴的な領域を読影者が選択し、当該領域における特徴点を画像の選定又は調整に用いる。また、病変の可能性が小さい部位を特徴点として選択することで、病変の僅かな変化をより確実に読影することができる。すなわち、本構成によれば、読影する観点に即した画像の選定および調整ができる。また、読影者に特徴点を選択させることで、当該選択結果が判別機の教師データとなり、特徴点抽出の精度を向上させることができる。

出力部１７は、医用画像を撮影する撮影装置での撮影時に、特徴点の抽出結果に基づいて、患者の姿勢を誘導する情報を発する機能部である。出力部１７は、例えば、患者がCT装置内で仰臥位になっている際に、前後左右の位置移動や、回転の指示を音声により指示する。また、出力部１７は、患者の息の止め方が第１医用画像の撮影時と同様になるように、指示を発してもよい。この構成によれば、撮影条件を第１医用画像の撮影時に近づけることができる。

図８を用いて、読影支援装置が、医用画像を比較可能な状態に調整して表示するフローを説明する。同図に示すように、まず、画像取得部１１は、PACSサーバ２０から第１医用画像を取得する（ステップS1）。次いで、画像取得部１１は、PACSサーバ２０から第２医用画像を取得する（ステップS2）。ステップS1およびS2は、順不同であり、同時であってもよい。

次いで、特徴点抽出部１２は、第１および第２医用画像から、特徴点の抽出を行う（ステップS3）。なおこのとき、特徴点抽出部１２は複数の特徴点の候補を表示し、選定に用いられる特徴点の入力を待機してもよい。入力部１６から特徴点の位置又は範囲が入力されると、ステップS4に進む。

画像選定部１３は、特徴点に基づいて第１医用画像と比較する第２医用画像を選定する（ステップS4）。

次いで、画像調整部１４は、選定された第２医用画像に水平移動、回転、拡大縮小などの処理を行い、第１医用画像との類似度が大きくなるように調整する（ステップS5）。また、表示部１５は、第１医用画像および調整された第２医用画像を表示する。

このように、本発明にかかる読影支援装置によれば、医療画像の読影において、経時変化の観察を容易にすることができる。

１ 読影支援装置
１１ 画像取得部
１２ 特徴点抽出部
１３ 画像選定部
１４ 画像調整部

Claims (8)

1. 第１時点に撮影された第１医用画像と、前記第１医用画像が撮影された患者の医用画像であって前記第１時点とは異なる第２時点に撮影された第２医用画像と、を取得する画像取得部と、
   機械学習アルゴリズムを含む判別機により、前記第１医用画像および前記第２医用画像から特徴点をそれぞれ抽出する特徴点抽出部と、
   抽出される前記特徴点に基づいて、前記第１医用画像および前記第２医用画像の類似度が大きくなるように、前記第２医用画像を調整する画像調整部と、
   調整された前記第２医用画像を、前記第１医用画像と共に表示する表示部と、
   を備える、
   読影支援装置。
   
2. 読影者が前記医用画像の一部を選択する入力を受け付ける入力部をさらに備え、
   前記特徴点抽出部は、複数の特徴点を抽出して前記表示部に表示し、
   前記画像調整部は、前記入力部を介して選択される前記特徴点に基づいて、前記第２医用画像を調整する、
   請求項１記載の読影支援装置。
   
3. 前記第１医用画像と共に表示する前記第２医用画像を選定する画像選定部をさらに備え、
   前記画像取得部は、前記第２時点に互いに異なる位置を撮影した複数の画像を取得し、
   前記画像選定部は、前記特徴点に基づいて、前記第１医用画像に最も類似する前記第２医用画像を選定する、
   請求項１又は２記載の読影支援装置。
   
4. 前記特徴点抽出部は、患者の特性に基づいて、特徴点を抽出する、
   請求項１乃至３のいずれかに記載の読影支援装置。
   
5. 撮影部位と、前記特徴点の抽出領域と、が互いに対応付けられて記憶されている記憶部をさらに備え、
   前記特徴点抽出部は、前記撮影部位に基づいて、前記記憶部から前記特徴点の抽出領域を特定し、前記抽出領域内において前記特徴点を抽出する、
   請求項１乃至４のいずれかに記載の読影支援装置。
   
6. 前記医用画像を撮影する撮影装置での撮影時に、前記特徴点の抽出結果に基づいて、患者の姿勢を誘導する情報を発する出力部をさらに備える、
   請求項１乃至５のいずれかに記載の読影支援装置。
   
7. 第１時点に撮影された第１医用画像と、前記第１医用画像が撮影された患者の医用画像であって前記第１時点とは異なる第２時点に撮影された第２医用画像と、を取得するステップと、
   機械学習アルゴリズムを含む判別機により、前記第１医用画像および前記第２医用画像から特徴点をそれぞれ抽出するステップと、
   抽出される前記特徴点に基づいて、前記第１医用画像および前記第２医用画像の類似度が大きくなるように、前記第２医用画像を調整するステップと、
   調整された前記第２医用画像を、前記第１医用画像と共に表示するステップと、
   を含む、
   読影支援方法。
   
8. 第１時点に撮影された第１医用画像と、前記第１医用画像が撮影された患者の医用画像であって前記第１時点とは異なる第２時点に撮影された第２医用画像と、を取得する命令と、
   機械学習アルゴリズムを含む判別機により、前記第１医用画像および前記第２医用画像から特徴点をそれぞれ抽出する命令と、
   抽出される前記特徴点に基づいて、前記第１医用画像および前記第２医用画像の類似度が大きくなるように、前記第２医用画像を調整する命令と、
   調整された前記第２医用画像を、前記第１医用画像と共に表示する命令と、
   をコンピュータに実行させる、
   読影支援プログラム。
   

Images