JP2015095050A - 読影レポート作成装置 - Google Patents

Abstract

【課題】読影者の作業手順に依存することなく自動的に読影レポートを作成し、負担を軽減できる読影レポート作成装置を提供する。【解決手段】医用画像を取得する画像取得部と、表示された画像を読影する読影者の視線情報を取得する視線情報取得部と、異常が観察された解剖学的部位、および観察された異常の内容を記載した所見を少なくとも含む所見情報を記憶する所見情報記憶部と、視線情報から注視箇所を特定する注視箇所特定部と、異常が観察された代表的な画像であるキー画像の候補となる候補画像を特定する候補画像特定部と、注視箇所の位置情報と解剖学的部位の位置情報とが一致する画像をキー画像として特定するキー画像特定部と、注視箇所をマーキングし、解剖学的部位に対応する所見をキー画像の所定の位置に付与した読影レポート用画像を生成する画像生成部と、画像および所見情報を関連付けた読影レポートを作成する読影レポート作成部を備える。【選択図】図２

Description

本発明の一態様としての本実施形態は、読影レポート作成装置に関する。

現代の医療では早期診断、および病気の原因や治療方針をわかりやすく説明することなどが求められている。その結果、医用画像診断にかかわる装置などにおいて、データ収集速度や画像処理性能の向上、読影によって得られる病巣などの情報を記載した所見入力、および所見と病巣が観察される代表的な画像とを関連付けた読影レポート作成の効率化などが図られてきた。特に医用画像の読影および読影レポート作成は、医用画像の収集や画像処理のように電子化することは難しく、最終的には読影を行う者（以下、読影者という）による判断を要する作業である。たとえば、読影者は読影中に病巣などが観察された場合、その病巣が確認された解剖学的部位とその病巣の態様とを所見として記録し、その所見がみられる代表的な画像（以下、キー画像という）を選択し、キー画像の特定の箇所に目印を付ける（以下、マーキングという）作業が必要である。このような読影レポート作成作業を読影者は健康診断などでは数百人単位の診断者に対して実施しなければならない。また、Ｘ線ＣＴやＭＲＩなどで取得される画像は、１回の撮像で１人当たり数百枚の画像が取得されるマルチスライス画像で、すべての画像を読影し、その中からキー画像を選択し、所見が観察される箇所をマーキングする作業を行わなければならない。このように、読影レポート作成は画像診断における負荷の大きな要因となっている。

そこで、読影レポート作成をできるだけ自動化するために、所見情報を入力する時の読影者の視線情報を収集し、入力された所見情報と、所見情報が入力された時の視線情報とを関連付けることで、自動的に読影レポートを作成する医用情報処理システムが提供されている（たとえば、特許文献１）。

特開２００９−０４５１３１号公報

しかしながら、読影と所見情報の入力とが並行して実施されない場合もある。たとえば、マルチスライス画像の場合、一つの臓器が複数のスライス画像にわたって撮像されており、その臓器について連続して読影が実施される場合がある。このような場合、複数のスライス画像を読影した後、まとめて観察された所見を記入するような場合があり、読影者によっては病巣を含むスライス画像を表示せずに所見の入力のみを行う場合がある。また、集団検診などにおいて、１人につき複数枚の画像が撮像された場合は、１枚ごとに読影を行い、所見を入力するやり方と、複数枚あるいは、１人分の画像をまとめて読影し、所見を入力するやり方とがある。このように、読影レポート作成は対象となる医用画像の種類や、読影者によって作業手順が異なることが想定される。

また、キーボードなどの入力装置を用いて文字を入力する場合、入力した文字が表示される画面を見ながら行うことが一般的である。したがって、所見を入力する場合は、所見が表示される画面に視線を合わせているため、入力時に取得した視線情報では適切な病巣の位置を取得できない場合がある。病巣を注視しながらブラインドでキーボードなどの入力装置を操作し、所見を入力する場合であっても、入力内容が正しいか否か確認するために、常に視線を医用画像の病巣が表示された部分と、所見を入力する画面との間を行き来させなければならない。このような視線の往復は眼の筋肉疲労を引き起こし、読影者の身体的負担にもなる。

そこで、読影者の作業手順に依存することなく自動的に読影レポートを作成し、読影者の負担を軽減できる読影レポート作成装置が要望されている。

本実施形態にかかる読影レポート作成装置は、読影レポート作成の対象となる医用画像を取得する画像取得部と、表示部に表示された前記医用画像を読影する読影者の視線情報を取得する視線情報取得部と、異常が観察された解剖学的部位、および前記解剖学的部位に観察された異常の内容を記載した所見を少なくとも含む所見情報を記憶する所見情報記憶部と、前記視線情報から注視箇所を特定する注視箇所特定部と、異常が観察された代表的な画像であるキー画像の候補となる候補画像を、前記医用画像の中から特定する候補画像特定部と、前記候補画像上の前記注視箇所の位置情報と前記解剖学的部位の位置情報とが、一致する画像を前記キー画像として特定する、キー画像特定部と、前記キー画像に前記注視箇所をマーキングし、前記解剖学的部位に対応する所見を前記キー画像の所定の位置に付与した読影レポート用画像を生成する画像生成部と、前記読影レポート用画像および前記所見情報を関連付けた読影レポートを作成する読影レポート作成部と、を備えたことを特徴とする。

実施形態に係る読影レポート作成装置の一例を示す概念的な構成図。 実施形態に係る読影レポート作成装置の機能構成例を示す機能ブロック図。 実施形態に係る読影レポート作成装置の動作の一例を示すフローチャート。 実施形態に係る読影レポート作成装置の視線情報取得部における視線情報取得方法を説明する図。 実施形態に係る読影レポート作成装置における視線情報集計部での視線情報の集計方法を説明する図。 実施形態に係る読影レポート作成装置における画像特定ケース１での注視箇所特定方法および候補画像の抽出を説明する図。 実施形態に係る読影レポート作成装置における画像特定ケース１での候補画像からキー画像を特定する方法を説明する図。 実施形態に係る読影レポート作成装置における画像特定ケース２での候補画像の特定方法を説明する図。 実施形態に係る読影レポート作成装置における画像特定ケース２での候補画像からキー画像を特定する方法を説明する図。 実施形態に係る読影レポート作成装置における読影レポート用画像を説明する図。 実施形態に係る読影レポート作成装置における所見情報が複数ある場合の読影レポート用画像の１つ目の例を説明する図。 実施形態に係る読影レポート作成装置における所見情報が複数ある場合の読影レポート用画像の２つ目の例を説明する図。

読影レポート作成装置の実施の形態について添付図面を参照して説明する。

（１）構成
図１は、実施形態に係る読影レポート作成装置の一例を示す概念的な構成図を示している。図１が示すように、読影レポート作成装置１００は、通信制御装置１０、記憶部２０、主制御部３０、視線情報取得部４０、表示部５０、入力部６０を備えた構成である。

読影レポート作成装置１００は、通信制御装置１０を介して電子ネットワーク経由で医用画像一元管理サーバ２００と接続している。通信制御装置１０は、ネットワーク形態に応じた種々の通信プロトコルを実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹ＬＡＮ、無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。読影レポート作成装置１００は医用画像一元管理サーバ２００から医用画像を電子ネットワーク経由で取得する。

読影レポート作成装置１００で取得される医用画像は、一般Ｘ線撮影装置で撮影したＸ線画像や、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置などで撮影したマルチスライス画像、あるいは、超音波診断装置で撮像した超音波検査画像など、各種画像診断装置で取得された医用画像が対象である。

記憶部２０に格納されたプログラムが、主制御部３０によって実行されることで、取得した医用画像から画像診断の結果が記載された読影レポートが生成される。

記憶部２０は、ＲＡＭとＲＯＭをはじめとする記憶媒体などにより構成され、磁気的もしくは光学的記憶媒体または半導体メモリなどの、主制御部３０により読み取り可能な記憶媒体を含んだ構成を有し、これらの記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

視線情報取得部４０は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体撮像素子を備えた一般的なビデオカメラにより構成されるほか、パーソナルコンピュータまたはモバイル機器に内蔵されたＷｅｂカメラやネットワークカメラなどから構成される。また、視線情報取得部４０は、前述したビデオカメラとしての構成に加えて、取得した視線情報をデジタル変換し、変換したデジタルデータを格納する読影レポート作成装置１００の主制御部３０により読み取り可能な記憶媒体等の構成を含む。

表示部５０は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示装置により構成されるほか、主制御部３０の制御に従って画像をディスプレイ表示する。

入力部６０は、たとえばキーボード、タッチパネル、テンキー、マウスなどの一般的な入力装置により構成されるほか、視線や音声などを利用した入力インターフェースも含む。入力部６０はユーザの画像の拡大縮小、画像の移動といった操作や、所見情報の入力に対応した入力信号を主制御部３０に出力する。

図２は、実施形態に係る読影レポート作成装置１００の機能構成例を示す機能ブロック図である。図２に示すように、読影レポート作成装置１００は、画像取得部２１、視線情報集計部２２、注視箇所特定部２３、所見情報記憶部２４、候補画像特定部２５、キー画像特定部２６、画像生成部２７、読影レポート作成部２８、データ保存部２９、視線情報取得部４０、表示部５０、入力部６０から構成される。そのうち、画像取得部２１、視線情報集計部２２、注視箇所特定部２３、候補画像特定部２５、キー画像特定部２６、画像生成部２７、読影レポート作成部２８は記憶部２０に記憶させたプログラムが主制御部３０によって実行されることで実現される機能である。

画像取得部２１は、電子ネットワーク経由で医用画像一元管理サーバ２００から読影レポートを作成する対象となる医用画像を取得する。

所見情報記憶部２４は読影医が入力部６０を介して入力する所見情報を格納する。所見情報は少なくとも、異常の見られる臓器などの解剖学的部位と、その解剖学的部位の異常に関する説明を示した所見とから構成される。

視線情報取得部４０は、読影を行うユーザの視線情報を取得する。視線情報取得部４０で収集される情報は、少なくとも読影者が観察中の画像を特定するための画像番号、観察中の画像の拡大縮小率、画像の移動、表示部５０を観察する読影者の視線を表すＸ座標およびＹ座標、視線情報をサンプリングした時刻を表す視線情報取得時刻を含む。視線情報取得部４０での視線情報の取得方法については後述する。

視線情報集計部２２は、視線情報取得部４０が取得した視線情報を、画像番号および座標毎に集計し、視線情報集計表を作成する。視線情報取得部４０で取得された座標は、視線情報取得部４０の備えたビデオカメラなどが視線情報を取得する領域における座標で表されている。したがって、表示部５０に表示された画像の拡大縮小率および移動などが加味されていないため、視線情報取得部４０で取得した座標と、元画像（画像取得部２１で取得した画像そのもので、拡大縮小や移動が行われていない画像）における座標とは一致しない場合がある。そのため、視線情報集計部２２では、視線情報取得部４０で取得した座標を、画像の拡大縮小率および移動に基づき元画像における座標に換算する。視線情報集計部２２での視線情報の集計方法は後述する。

注視箇所特定部２３は、視線情報集計部２２で作成された視線情報集計表から所定の基準を満たす注視箇所を特定する。注視箇所の特定方法は後述する。

候補画像特定部２５は、注視箇所特定部２３で特定された注視箇所または、所見情報記憶部２４に格納された所見の対象となっている解剖学的部位によって、キー画像の候補となる候補画像を取得した医用画像の中から特定する。注視箇所および所見の対象となっている解剖学的部位が複数の画像に及ぶ場合、候補画像は複数存在することになる。候補画像の特定方法は後述する。

キー画像特定部２６は、候補画像の中からキー画像を選択する。キー画像の特定方法は、候補画像が注視箇所によって特定されたか、解剖学的部位によって特定されたかによって異なる。キー画像の特定方法は後述する。

画像生成部２７は、キー画像に注視箇所とそれに対応する所見と関連づけた読影レポート用画像を作成する。キー画像の注視箇所に該当する箇所には注視箇所以外の箇所と識別可能なマーキングが施される。注視箇所に対応する所見は、注視箇所と関連付けされた状態でキー画像上の所定の場所に表示される。画像生成部２７における候補画像の中からキー画像を選択する処理と、読影レポート用画像の生成については後述する。

読影レポート作成部２８は、画像生成部２７で生成された読影レポート用画像と、所見情報記憶部２４に格納された所見情報を関連付した読影レポートを作成する。

データ保存部２９は、作成された読影レポートや読影レポート用画像を記憶する。

表示部５０は、画像取得部２１が取得した医用画像を表示し、また、所見情報や、本実施形態にかかる読影レポート作成装置１００で生成した読影レポート用画像等を表示する。

入力部６０は、所見情報の入力や、表示部５０に表示された画像の拡大縮小率の入力、および画像の移動に関する入力を取得する。

（２）動作
図３は、実施形態に係る読影レポート作成装置１００の動作の一例を示すフローチャートである。

図３のＳＴ１０１では、画像取得部２１が医用画像一元管理サーバ２００から医用画像を取得する。

図３のＳＴ１０３では、候補画像特定部２５が注視箇所および解剖学的部位のどちらを基準として候補画像を抽出するかによって、２通りのキー画像の特定方法があることを示している。１つ目は、ＳＴ１０３でケース１として示された注視箇所を基準として候補画像を抽出する処理（画像特定ケース１）で、２つ目はＳＴ１０３でケース２として示された解剖学的部を基準として候補画像を抽出する処理（画像特定ケース２）である。画像特定ケース１はＳＴ１２０からＳＴ１２６に示されており、画像特定ケース２は、ＳＴ１３０からＳＴ１３６に示されている。画像特定ケース１と画像特定ケース２の選択は、視線情報の有無や所見情報の有無などによって自動で判定してもよいし、読影および所見情報の入力作業のいずれを先に行うかといった読影者の作業手順に合わせて設定してもよい。たとえば、一つの臓器が複数のスライス画像にわたって撮像されており、その臓器について連続して読影が実施される場合は、その解剖学的部位についてまとめて読影を行い、のちに所見情報を入力する読影手順と、異常を観察する都度所見情報を入力する読影手順とが考えられる。また、集団検診などにおいて、１人につき複数枚の画像が撮像された場合、１枚ずつ読影を行い、所見情報を入力する読影手順と、複数枚あるいは、１人分まとめて読影を行い、所見情報を入力する読影手順とが考えられる。また、読影による視線情報のみ取得しておき、別の時間または日に入力された所見情報を用いて読影レポートを作成することができる。視線情報または、所見情報のいずれかが取得されたタイミングでリアルタイムにキー画像の特定を行い、読影レポートを生成してもよい。このようなキー画像の特定および読影レポートの生成タイミングは、読影レポートの対象となる医用画像の種類や、読影者の作業手順などによって自動または手動で設定する。

画像特定ケース１では、注視箇所特定部２３で視線情報集計表を用いて、所定の基準を満たす視線情報が注視箇所として特定される。次に、候補画像特定部２５は注視箇所が存在する画像を候補画像として抽出する。キー画像特定部２６は、抽出した候補画像であって、所見情報の解剖学的部が撮像された画像をキー画像として特定する。

他方、画像特定ケース２では、候補画像特定部２５が所見情報に入力された解剖学的部位を抽出し、抽出した解剖学的部位が撮像された候補画像を特定する。たとえば、所見情報から抽出された解剖学的部位が「右肺下葉」であった場合、「右肺下葉」が撮像されているすべての画像を候補画像として抽出する。医用画像から解剖学的部位を判定する方法としては、セグメンテーション技術などの従来技術を用いる。キー画像特定部２６は、抽出した候補画像の中から、注視箇所を特定し、所見情報の解剖学的部位が撮像された画像であって、注視箇所を有する画像をキー画像として特定する。

まず、画像特定ケース１の流れに沿ってキー画像の抽出方法を説明する。

図３のＳＴ１２０では、視線情報取得部４０が医用画像を読影する読影者の視線情報を取得する。

図４は、実施形態に係る読影レポート作成装置１００の視線情報取得部４０における視線情報取得方法を説明する図である。図４（ａ）左側は表示部５０に医用画像が表示された図を示しており、画像番号が１０、拡大率が１．０である画像が表示されている。表示部５０の上部には視線情報取得部４０を構成するビデオカメラが示されており、表示部５０の外側を囲む一点鎖線で示した領域Ｒは、視線情報取得部４０が読影者の視線情報を取得する視線情報取得領域を示している。視線情報取得部４０で取得されるＸ座標およびＹ座標は、この視線情報取得領域Ｒにおける座標である。図４（ａ）右側には、読影者が示されており、破線矢印で示した読影者の視線の先には、それぞれ、座標を示すＡ、Ｂ、Ｃの点が表示されている。

視線情報取得部４０は、一定の視線情報取得間隔で、読影者の視線が視線情報取得領域Ｒ中のどの座標にあるかを取得する。ある視線情報取得時刻に、視線がＡの座標にあった場合、その時の視線情報として、Ａの座標が取得される。

視線情報取得間隔は、読影対象の医用画像や検査目的、読影者の読影速度などによって手動または自動で設定することが可能である。たとえば、集団健康診断における一般Ｘ線撮影装置で撮影したＸ線画像の読影では、観察の観点が限られるため読影者の読影速度は比較的速い。したがって、視線情報のサンプリング間隔である視線情報取得間隔を短く設定することで、適切な視線情報を取得することができる。一方、複数の連続したマルチスライス画像などでは、一般Ｘ線撮影装置で撮影したＸ線画像と比べて観察の観点が複雑であるため、視線情報取得間隔は比較的長く設定してもよい。このように、読影対象の画像の種類や読影者の読影速度などによって視線情報取得間隔を設定する。

視線情報取得部４０では、視線情報取得間隔ごとに、視線情報取得時刻での視線情報取得領域Ｒにおける座標を取得するが、同時に読影中の画像番号と、画像の拡大縮小率および移動といった情報を併せて取得する。画像の拡大縮小率および移動は、入力部６０から取得する。図４（ｂ）左図は図４（ａ）左図に表示された画像を２倍に拡大し、さらに画面左上方向に画像を移動させた場合の表示を示している。図４（ｂ）左図において読影者の視線を示す座標Ａは、図４（ａ）左図の視線情報取得領域Ｒにおける座標Ａと同じ座標を示している。しかしながら、図４（ｂ）左図における座標Ａと、図４（ａ）左図における座標Ａは、元画像では異なる座標を示す。なぜなら、表示部５０に表示された画像が、拡大縮小または移動されていたとしても、視線情報取得部４０は視線情報取得領域Ｒの座標を取得するからである。このように、視線情報取得部４０で取得される視線情報取得領域Ｒの座標が同じであっても、表示部５０に表示された画像が拡大縮小率または移動されたことよって、元画像における座標と異なる座標を示す場合がある。

視線情報取得部４０で取得される読影中の画像番号は、表示部５０に表示されている医用画像の付帯情報から取得する。医用画像は各種画像診断装置で生成される際に、撮像条件や患者の情報などが付加される。このようなデータを付帯情報といい、付帯情報には画像番号など、その画像を一意に特定することができる識別番号が付与されている。前述した集団検診における一般Ｘ線撮影装置で撮影したＸ線画像の読影においては、画像番号の代わりに患者番号を識別番号として用いて、視線情報と対応する画像と関連付けてもよい。

図３のＳＴ１２１では、視線情報集計部２２で視線情報集計表を作成する。

図５は、実施形態に係る読影レポート作成装置１００における視線情報集計部２２での視線情報の集計方法を説明する図である。図５（ａ）は、図４で示した画像番号１０の画像について、視線情報取得間隔を１秒として視線情報を取得した場合の例を示している。図４で示したＡ、Ｂ、Ｃそれぞれの座標について視線情報が取得された場合、図５（ａ）の視線情報取得領域の座標の列に示されたように、座標Ａ（Ｘ１、Ｙ１）、Ｂ（Ｘ２、Ｙ２）、Ｃ（Ｘ３、Ｙ３）が取得される。図５（ａ）の視線情報取得時刻が「１０秒」の時の視線情報は、図４（ｂ）で示されたように、画像を２倍に拡大し、画面の左上方向に画像を移動させて表示した時に取得した座標である。図５（ａ）では、画像の左上方向への画像の移動を（Ａ４、Ｂ４）で示している。この時の視線情報取得領域の座標はＡ（Ｘ１、Ｙ１）であるが、この時取得した座標は、表示部５０に表示された画像を拡大し、移動させて表示した時の座標である。したがって、図５（ａ）で取得した座標は、元画像における座標とは異なる座標を示している。

図５（ｂ）は、拡大率を１倍とし、元画像上でそれぞれの視線情報が示す座標を表した図である。視線情報取得時刻が「１０秒」の時の座標について拡大率および移動を加味して元画像における座標に換算した場合、元画像ではＡ’で示された箇所になる。このように、視線情報集計部２２は、画面の拡大縮小率と移動の情報を用いて、視線情報取得部４０で取得された視線情報取得領域の座標を元画像における座標に変換する。このような座標の変換は、アフィン変換などの一般的な座標変換方法を用いて行われる。

図５（ｃ）は図５（ａ）で取得された視線情報を、視線情報集計部２２が元画像の座標に変換して作成した、視線情報集計表を示す。視線情報集計部２２は、図５（ｃ）に示されるように、Ａ、Ｂ、ＣおよびＡ’の４つの座標それぞれについて、視線が維持されていた時間を表す、注視時間を算出する。図５（ａ）では視線情報取得間隔が１秒ごとであるため、各座標の注視時間は１秒にその座標について視線情報が取得された回数を乗じた時間となる。図５（ａ）では、Ａ（Ｘ１、Ｙ１）に該当する座標が５つある。そのうち、４つが同じ拡大縮小率および移動で観察されたものであることから、図５（ｂ）で示す元画像におけるＡ（Ｘ１、Ｙ１）の注視時間は４秒となる。また、視線情報集計表において、図５（ｃ）で示された注視時間に替えて、同じ座標に視線が維持されていた回数を表す、注視回数を算出してもよい。

図３のＳＴ１２２では、注視箇所特定部２３が、視線情報集計表から注視箇所を特定する。

図３のＳＴ１２３では、候補画像特定部２５が候補画像を特定する。

図６は、実施形態に係る読影レポート作成装置１００における画像特定ケース１での注視箇所特定方法および候補画像の抽出を説明する図である。図６（ａ）は視線情報集計部２２で作成された視線情報集計表を示している。画像特定ケース１は、まず図６（ａ）に示された視線情報集計表から注視箇所を特定する。図６（ａ）に示されたそれぞれの座標は、図６（ｂ）に示された対応する画像番号の元画像に示された座標と対応する。図６（ａ）で示した例では、注視時間が「１０秒以上」のものを注視箇所と判定する基準を設けた場合を示している。このような基準を設けた場合、図６（ａ）の画像番号１０について取得された視線情報は１０秒以上の注視時間を有する座標がないため、注視箇所が無いと判定される。注視箇所の無い画像は、図６（ｂ）に示されたように、候補画像として抽出されない。

一方、画像番号１１について取得された視線情報のうち、図６（ａ）で示した例では、座標Ｄ（Ｘ４、Ｙ４）は注視時間が「１２秒」であり基準を満たす。したがって、図６（ｂ）に示されたように、画像番号１１は候補画像として抽出される。同様に、図６（ｂ）に示されるように、画像番号１２は候補画像として抽出されるが、画像番号１３は候補画像として抽出されない。

注視箇所の判定基準は、それぞれの画像番号ごとに注視時間が最も長いものを判定基準としてもよい。このように画像ごとに注視箇所を定める場合は、すべての画像が候補画像となる。さらに、注視箇所の判定基準は、注視時間に替えて、注視回数であってもよい。このような注視箇所の判定基準は、読影対象となる医用画像の種類や、検査の種類などによって左右される。したがって、これらの検査項目に合わせた判定基準を、あらかじめ注視箇所特定部２３に設定しておいてもよいし、読影者が手動で設定してもよい。

また、注視箇所は座標の分布などから特定してもよい。たとえば、異常が観察される箇所が大きい場合は、読影者の視線は同じ座標にとどまらず、ある範囲に集中することになる。したがって、視線を示す座標が近接する位置で集中していることを、座標の密集度などを基準として注視箇所を判定することもできる。このような場合は、視線が集中している範囲から代表的な座標を抽出して注視箇所と特定してもよいし、集中している範囲にある座標の平均値を注視箇所と特定してもよい。

図３のＳＴ１２４では、入力部６０から所見情報が入力される。所見情報は異常が認められる臓器などの解剖学的部位と、その解剖学的部位に認められる異常の詳細を示した所見とを少なくとも含む。たとえば、右肺下葉という解剖学的部位に腫瘍などの異常が認められた場合、所見情報として「右肺下葉に腫瘍の疑い」といった内容が入力される。入力された所見情報は所見情報記憶部２４に記憶される。

図３のＳＴ１２５では、所見情報から解剖学的部位を示す文字列を抽出する。上記の例では、抽出される文字列は、「右肺下葉」となる。

図３のＳＴ１２６では、キー画像特定部２６が、画像特定ケース１で抽出した候補画像に、所見情報から取得した解剖学的部位が撮像されているかどうか判断し、キー画像を特定する。画像特定ケース１におけるキー画像は、注視箇所に基づいて候補画像として抽出された画像であって、所見情報に記載された解剖学的部位が撮像された画像である。

図７は、実施形態に係る読影レポート作成装置１００における画像特定ケース１での候補画像からキー画像を特定する方法を説明する図である。図７（ａ）および図７（ｂ）は、図６（ｂ）で候補画像として抽出された画像番号１１および画像番号１２を例として示している。図７（ｃ）は胸部の模式的な解剖学図を示しており、画像番号１１および画像番号１２は、「右肺下葉」および「左肺下葉」が撮像されている。図７（ａ）および図７（ｂ）に示された注視箇所が位置する座標は、それぞれ、図７（ａ）では「右肺下葉」、図７（ｂ）では「左肺下葉」の解剖学的部位に位置する。それぞれの座標の解剖学的部位の特定は、医用画像から解剖学的部位を判定するセグメンテーション技術などの従来技術を用いる。医用画像に撮像されたそれぞれの解剖学的部位の位置および範囲を特定することで、各座標の解剖学的位置が特定できる。

キー画像特定部２６は、注視箇所が位置する解剖学的部位が、所見情報に記載された解剖学的部位と一致するか否かを判定基準として、キー画像を特定する。図７（ｄ）は所見情報を示している。図７（ｄ）から、異常が観察される解剖学的部位として「右肺下葉」が示されている。したがって、図７（ａ）に示した、画像番号１１の注視箇所が位置する解剖学的部位は「右肺下葉」であり、所見情報から抽出された解剖学的部位と一致する。一方、図７（ｂ）に示した、画像番号１２の注視箇所が位置する解剖学的部位は「左肺下葉」であり、所見情報から抽出された解剖学的部位と一致しない。キー画像は注視箇所の示す座標の位置する解剖学的部位と、所見に記載された解剖学的部位とが一致する画像であることから、画像番号１１はキー画像に該当するが、画像番号１２はキー画像に該当しないと判定される。

次に、画像特定ケース２について説明する。画像特定ケース２は、図３のＳＴ１３０からＳＴ１３６に示されている。このうち、ＳＴ１３０での所見情報の取得およびＳＴ１３１での解剖学的部位抽出は、それぞれ前述したＳＴ１２４およびＳＴ１２５における処理と同じである。

図３のＳＴ１３２では、医用画像の中から所見情報の解剖学的部位に基づき、候補画像が特定される。

図８は、実施形態に係る読影レポート作成装置１００における画像特定ケース２での候補画像の特定方法を説明する図である。図８（ａ）は所見情報を示しており、異常が観察される解剖学的部位として「右肺下葉」が示されている。図８（ｂ）は胸部の解剖図を模式的に示した図であり、「右肺下葉」は模式図において網掛けで示された部分である。図８（ｂ）に示した模式図の左側には、胸部のスライス画像の画像番号１番から１３番が示されている。図８（ｂ）から、「右肺下葉」が撮像されたスライス画像が１０番から１３番であることがわかる。

図８（ｃ）に示すように、取得した医用画像から候補画像特定部２５は候補画像として１０番から１３番のスライス画像を抽出する。図８（ｃ）に示した１０番から１３番の候補画像に示した網掛けは、解剖学的部位として示された「右肺下葉」に対応する部分を示している。

画像特定ケース２における図３のＳＴ１３３での視線情報取得部４０による視線情報の取得、ＳＴ１３４での視線情報集計表の作成およびＳＴ１３５での注視箇所特定処理は、それぞれ前述したＳＴ１２０、ＳＴ１２１、ＳＴ１２２における処理と同じである。

図３のＳＴ１３６では、画像生成部２７がキー画像を特定する。画像特定ケース２では、キー画像特定部２６が解剖学的部位から抽出された候補画像に、対応する注視箇所が存在するか否かによってキー画像が特定される。

図９は、実施形態に係る読影レポート作成装置１００における画像特定ケース２での候補画像からキー画像を特定する方法を説明する図である。図９（ａ）は、図８（ｃ）と同様に、候補画像として画像番号１０から画像番号１３が抽出された例を示している。図９（ａ）の網掛け部分は、所見情報に記載された解剖学的部位である「右肺下葉」に該当する領域を示している。

図９（ｂ）は候補画像として抽出された画像と対応する画像番号についての注視箇所として判定された座標を示している。候補画像特定部２５で、解剖学的部位が撮像されているとして抽出された候補画像は、その画像における解剖学的部位の位置および範囲が明らかになっているため、図９（ｂ）の表の右側に示すように、注視箇所特定部２３で特定されたそれぞれの注視箇所が、所見情報から抽出した解剖学的部位に含まれるかどうか判定することができる。キー画像特定部２６は、図９（ｂ）に示した注視箇所のうち、「右肺下葉」の解剖学的部位に含まれる座標はＤ（Ｘ４、Ｙ４）であり、画像番号１１がキー画像として特定される。

図３のＳＴ１０５からＳＴ１０９の処理は、画像特定ケース１および画像特定ケース２のいずれの方法からキー画像が特定されていても同じ処理になる。

図３のＳＴ１０５では、画像生成部２７がキー画像をもとに、読影レポート用画像を生成する。読影レポート用画像は、キー画像の注視箇所を他の箇所と区別する態様でマーキングを行い、所見情報から抽出した所見を注視箇所と関連付けてキー画像上に表示した画像である。キー画像の注視箇所を他の箇所と区別するマーキングは、座標を中心とした一定の大きさの円、楕円、または矩形状の枠で表してもよいし、座標が集中している場合は、その座標が集中している領域の外縁で示してもよい。

このように、本実施形態に係る読影レポート作成装置１００は、読影によって取得される視線情報と、所見情報から取得される解剖学的部位をそれぞれの情報から取得される位置情報を用いて関連付けを行うため、読影者の作業手順に依存することなく自動的に読影レポートを作成することができる。したがって、実施形態にかかる読影レポート作成装置１００では、読影における読影者の視線情報の取得と所見情報の取得の順序は決まっておらず、どちらが先に行われてもよい。また、読影による視線情報の取得と所見情報の入力は別のタイミングで実施されてもよい。

図１０は、実施形態に係る読影レポート作成装置１００における読影レポート用画像を説明する図である。図１０（ａ）は、図７（ｄ）と同様に、所見情報に「右肺下葉に腫瘍の疑い」と記載されている場合の例を示している。図７において「右肺下葉」における注視箇所は、視線情報集計表の座標Ｄである。

図１０（ｂ）はこの注視箇所である座標Ｄを中心とした円でマーキングした画像を示している。図１０（ｂ）の２５ａは、注視箇所のマーキングを示している。図１０（ｂ）の２５ｂは、図１０（ａ）に示した所見情報に記載された所見を示している。所見情報の所見には「腫瘍の疑い」という文言が記載されており、その文言が、所見２５ｂとしてマーキング２５ａと関連付けて表示される。マーキング２５ａと所見２５ｂの関連付けは、矢印や実線などによって関連付けされて常に表示されていてもよいし、マーキング２５ａにカーソルやポインタなどをあわせるなどにより所見２５ｂを動的に表示してもよい。

図１１は、実施形態に係る読影レポート作成装置における所見情報が複数ある場合の読影レポート用画像の１つ目の例を説明する図である。図１１（ａ）に示される例では、所見情報記憶部２４に格納された所見情報に、所見情報１として「右肺下葉に腫瘍の疑い」、所見情報２として「左肺下葉に結節あり」が記載されている場合を示している。

「右肺下葉」と「左肺下葉」は、肺が左右にほぼ対称な構造の臓器であることから、図１１（ｂ）に示されるように、胸部の体軸断面の画像では右側の構造が「右肺下葉」左側の構造「左肺下葉」となる。図１１（ｂ）は表示部５０に表示された画像とその画像を読影する読影者の視線情報を示している。図１１（ｂ）にはＡからＥまでの視線情報が示されており、視線情報取得部４０によって、これらの視線情報が取得された場合の例を示している。

図１１（ｃ）は視線情報集計部２２で作成される視線情報集計表のうち、図１１（ｂ）で示した画像番号１１についての視線情報集計表を示している。画像番号１１の画像には「右肺下葉」と「左肺下葉」が撮像されているため、「右肺下葉」および「左肺下葉」を観察している視線情報が混在する。

図１１の例において、画像特定ケース１で候補画像を特定する場合、まず、視線情報集計表から注視箇所が特定される。注視箇所の判定基準を図６と同様に、注視時間が「１０秒以上」のものとすると、図１１（ｃ）の座標Ｂ（Ｘ２、Ｙ２）および座標Ｅ（Ｘ５、Ｙ５）が注視箇所として特定される。したがって、画像番号１０は候補画像に該当する。次に、候補画像の注視箇所それぞれの解剖学的部位を判定すると、注視箇所の座標Ｂ（Ｘ２、Ｙ２）は「右肺下葉」、注視箇所の座標Ｅ（Ｘ５、Ｙ５）は「左肺下葉」となる。所見情報から取得される解剖学的部位は、それぞれ「右肺下葉」と「左肺下葉」であり、この解剖学的部位に対応する注視箇所が存在する画像番号１１はキー画像に該当する。

図１１（ｄ）はキー画像にマーキングと所見を表示した読影レポート用画像を示している。「右肺下葉」に対応するマーキング２５ａ１は、視線情報集計表における座標Ｂ（Ｘ２、Ｙ２）の位置で、「左肺下葉」に対応するマーキング２５ａ２は、視線情報集計表における座標Ｅ（Ｘ５、Ｙ５）の位置である。それぞれの所見「腫瘍の疑い」と「結節あり」の文言は、それぞれのマーキングと関連付けされ、キー画像に表示されている。「右肺下葉」の所見は、「腫瘍の疑い」であるため、座標Ｂ（Ｘ２、Ｙ２）の位置と関連付けされた所見２５ｂ１として「腫瘍の疑い」の文言が表示されている。同様に、「左肺下葉」の所見は、「結節あり」であるため、座標Ｅ（Ｘ５、Ｙ５）の位置と関連付けされた所見２５ｂ２として「結節あり」の文言が表示されている。

図１２は、実施形態に係る読影レポート作成装置１００における所見情報が複数ある場合の読影レポート用画像の２つ目の例を説明する図である。図１２（ａ）に示される例では、所見情報記憶部２４に格納された所見情報に、所見情報１として「右肺下葉に腫瘍の疑い」、所見情報２として「肝臓に炎症あり」が記載されている場合を示している。所見情報１には解剖学的部位として「右肺下葉」が、所見情報２には解剖学的部位として「肝臓」が記載されている。これらの解剖学的部位それぞれに「腫瘍の疑い」と「炎症あり」という所見が記載されている。

図１２の例において、画像特定ケース２で候補画像が抽出される場合、図１２（ａ）の所見情報から解剖学的部位として取得された「右肺下葉」および「肝臓」が撮像された画像が候補画像となる。候補画像として、画像番号１２および画像番号５０が抽出された例で説明する。候補画像として特定された画像から、図１２（ｂ）および図１２（ｃ）に示されるように、注視箇所特定部２３で注視箇所が特定される。図１２（ｂ）および図１２（ｃ）の例では、注視箇所は、図６と同様に、注視時間が「１０秒以上」のものを判定基準とし、図１２（ｂ）では注視時間が１２秒の座標（Ｘ３、Ｙ３）が、図１２（ｃ）では注視箇所が１０秒である２つの座標（Ｘ４、Ｙ４）および（Ｘ５、Ｙ５）が特定される。候補画像として抽出された画像番号１２および画像番号５０それぞれについて注視箇所が特定されたため、それぞれの画像はキー画像と判定される。

図１２（ｄ）は解剖学的部位が「右肺下葉」の読影レポート用画像を示している。図１２（ｄ）は、解剖学的部位「右肺下葉」に対して特定されたキー画像である画像番号１２番の画像に、マーキング２５ａと所見２５ｂが表示された画像である。マーキング２５ａは、注視箇所特定部２３で特定された注視箇所から取得される位置情報である座標（Ｘ３、Ｙ３）に基づき表示される。所見２５ｂは所見情報１に記載された所見「腫瘍の疑い」の文言を表示したものである。

同様に、図１２（ｅ）は解剖学的部が「肝臓」である場合の読影レポート用画像を示している。図１２（ｅ）は、解剖学的部位「肝臓」に対して特定されたキー画像である画像番号５０番の画像に、マーキング２５ａと所見２５ｂが表示された画像である。マーキング２５ａは、注視箇所特定部２３で特定された注視箇所から取得される位置情報である２つの座標（Ｘ４、Ｙ４）および（Ｘ５、Ｙ５）に基づき表示される。図１２（ｅ）では、この２つの座標が近接している場合の例を示しており、マーキング２５ａは２つの座標の集合によって示される領域の輪郭を表している。所見２５ｂは所見情報２に記載された所見「炎症あり」の文言を表示したものである。

図３のＳＴ１０７では、読影レポート作成部２８が、読影レポート用画像と所見情報を関連付けた読影レポートを作成する。図９で示すように、所見情報が複数存在する場合は、複数の読影レポート用画像が生成され、それら複数の所見情報と読影レポート用画像をまとめて１つの読影レポートを作成する。

図３のＳＴ１０９では、読影レポート作成部２８で作成された読影レポートをデータ保存部２９に保存する。また、データ保存部２９は画像生成部２７で生成された読影レポート用画像のみを保存してもよい。

以上説明してきたように、実施形態の読影レポート作成装置１００によれば、読影者の作業手順に依存することなく自動的に読影レポートを作成し、読影者の負担を軽減することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ 通信制御装置
２０ 記憶部
２１ 画像取得部
２２ 視線情報集計部
２３ 注視箇所特定部
２４ 所見情報記憶部
２５ 候補画像特定部
２６ キー画像特定部
２７ 画像生成部
２８ 読影レポート作成部
２９ データ保存部
３０ 主制御部
４０ 視線情報取得部
５０ 表示部
６０ 入力部
１００ 読影レポート作成装置
２００ 医用画像一元管理サーバ

Claims (12)

1. 読影レポート作成の対象となる医用画像を取得する画像取得部と、
   表示部に表示された前記医用画像を読影する読影者の視線情報を取得する視線情報取得部と、
   異常が観察された解剖学的部位、および前記解剖学的部位に観察された異常の内容を記載した所見を少なくとも含む所見情報を記憶する所見情報記憶部と、
   前記視線情報から注視箇所を特定する注視箇所特定部と、
   異常が観察された代表的な画像であるキー画像の候補となる候補画像を、前記医用画像の中から特定する候補画像特定部と、
   前記候補画像上の前記注視箇所の位置情報と前記解剖学的部位の位置情報とが、一致する画像を前記キー画像として特定する、キー画像特定部と、
   前記キー画像に前記注視箇所をマーキングし、前記解剖学的部位に対応する所見を前記キー画像の所定の位置に付与した読影レポート用画像を生成する画像生成部と、
   前記読影レポート用画像および前記所見情報を関連付けた読影レポートを作成する読影レポート作成部と、
   を備えたことを特徴とする読影レポート作成装置。
2. 前記視線情報取得部は、少なくとも視線情報取得時刻、前記表示部に表示された画像の画像番号、拡大縮小率、移動、前記視線情報取得部の視線取得領域におけるＸ座標およびＹ座標に関する情報を取得すること、
   を特徴とする請求項１に記載の読影レポート作成装置。
3. 前記視線情報から視線情報集計表を作成する視線情報集計部をさらに備え、
   前記視線情報集計部は、前記視線情報取得部の視線取得領域におけるＸ座標およびＹ座標を、前記拡大縮小率および移動をもとに前記医用画像におけるＸ座標およびＹ座標に変換し、前記画像番号ごとに前記医用画像におけるＸ座標およびＹ座標に視線が維持された時間を注視時間として集計すること、
   を特徴とする請求項１に記載の読影レポート作成装置。
4. 前記視線情報から視線情報集計表を作成する視線情報集計部をさらに備え、
   前記視線情報集計部は、前記視線情報取得部の視線取得領域におけるＸ座標およびＹ座標を、前記拡大縮小率および移動をもとに前記医用画像におけるＸ座標およびＹ座標に変換し、前記画像番号ごとに前記医用画像におけるＸ座標およびＹ座標に視線が位置した回数を注視回数として集計すること、
   を特徴とする請求項１に記載の読影レポート作成装置。
5. 候補画像特定部は、前記注視箇所を有する画像をから前記候補画像と特定し、
   前記キー画像特定部は、前記候補画像のうち、前記注視箇所が前記解剖学的部位に位置する画像を前記キー画像と判定すること、
   を特徴とする請求項１に記載の読影レポート作成装置。
6. 候補画像特定部は、前記解剖学的部位から前記候補画像を特定し、
   前記キー画像特定部は、前記候補画像のうち、前記解剖学的部位に前記注視箇所が位置する画像を前記キー画像と判定すること、
   を特徴とする請求項１に記載の読影レポート作成装置。
7. 前記所見情報が複数存在する場合は、前記キー画像および前記マーキングの少なくともいずれか一方が複数生成され、
   前記読影レポート作成部は、複数生成されたキー画像と複数の所見情報とを一つにまとめた読影レポートを生成すること、
   を特徴とする請求項１に記載の読影レポート作成装置。
8. 前記読影レポート作成部で作成された読影レポートを記憶するデータ保存部をさらに、
   備えたことを特徴とする請求項１に記載の読影レポート作成装置。
9. 前記注視箇所特定部は、前記画像番号または前記解剖学的部位ごとに前記注視時間が最も長いものを注視箇所と特定すること、
   を特徴とする請求項３に記載の読影レポート作成装置。
10. 前記注視箇所特定部は、前記注視時間が一定以上の長さである場合に注視箇所と特定すること、
    を特徴とする請求項３に記載の読影レポート作成装置。
11. 前記注視箇所特定部は、前記画像番号または前記解剖学的部位ごとに前記注視回数が最も多いものを注視箇所と特定すること、
    を特徴とする請求項４に記載の読影レポート作成装置。
12. 前記注視箇所特定部は、前記注視回数が一定以上の回数である場合に注視箇所と特定すること、
    を特徴とする請求項４に記載の読影レポート作成装置。

Images