JP2021069699A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2021069699A
JP2021069699A JP2019198250A JP2019198250A JP2021069699A JP 2021069699 A JP2021069699 A JP 2021069699A JP 2019198250 A JP2019198250 A JP 2019198250A JP 2019198250 A JP2019198250 A JP 2019198250A JP 2021069699 A JP2021069699 A JP 2021069699A
Authority
JP
Japan
Prior art keywords
image
injury
illness
information processing
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019198250A
Other languages
English (en)
Other versions
JP7471795B2 (ja
Inventor
秀謙 溝部
Hidekane Mizobe
秀謙 溝部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019198250A priority Critical patent/JP7471795B2/ja
Publication of JP2021069699A publication Critical patent/JP2021069699A/ja
Application granted granted Critical
Publication of JP7471795B2 publication Critical patent/JP7471795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】 本発明は、被検者の傷病を迅速に検出する情報処理装置を提供することを目的とする。【解決手段】 本発明の一態様による情報処理装置は、診断用画像の撮影範囲を決定するための位置決め用画像を取得する画像取得部と、画像取得部によって取得された位置決め用画像から傷病を検出する傷病検出部と、傷病検出部による傷病検出結果を報知する報知部と、を有する。【選択図】 図1

Description

本発明は、被検者の傷病を検出する情報処理装置、情報処理方法及びプログラムに関する。
医療分野において、被検者の傷病を特定したり、傷病の程度を観察したりするために、様々な撮影装置によって取得された画像を利用した画像診断が実施されている。撮影装置の種類には、例えば放射線科分野では、X線撮影装置、X線コンピュータ断層撮影装置(CT)、磁気共鳴イメージング装置(MRI)、及び陽電子放出断層撮影装置(PET)などがある。また、例えば眼科分野では、眼底カメラ、走査型レーザ検眼鏡(SLO)、光コヒーレンストモグラフィ撮影装置(OCT)、及びOCTアンギオグラフィ撮影装置(OCTA)などがある。
画像診断は、医師が画像に描出された傷病等を観察することによって実施され、近年では情報処理装置等による画像解析によって種々の情報が取得される。画像解析により、例えば見落とす可能性のある小さな傷病を検出して医師の確認を促したり、傷病の形状や体積について定量的な計測を行ったりする。
画像診断や画像解析を実施するフローとして、まず、技師または医師が撮影装置を操作して被検者を撮影する。次に、撮影装置によって取得された画像を、撮影装置に備えられたデータベースや、医療機関施設のネットワークに接続された画像管理システム等に保管する。最後に、保管された画像を対象に画像診断や画像解析が実施される。
特開2016−87109号公報 特開2018−206382号公報
しかしながら、画像解析は、特許文献1のように、医師が画像診断の際に観察する画像(以下、診断用画像)を使用して実施される。つまり、被検者の撮影が完了してからでなければ、医師による画像診断や、画像解析を開始することができないため、被検者の撮影を開始してから時間が経過してしまっていた。
本発明は、上述したような問題点に鑑みてなされたものであり、迅速に傷病の検出をする情報処理装置を提供することを目的とする。
本発明の一態様による情報処理装置は、診断用画像の撮影範囲を決定するための位置決め用画像を取得する画像取得部と、画像取得部によって取得された位置決め用画像から傷病を検出する傷病検出部と、傷病検出部による傷病検出結果を報知する報知部と、を有する。
本発明によれば、診断用画像の撮影範囲を決定するための位置決め用画像を傷病検出の対象とすることで、画像診断や従来の画像解析よりも早い時点で傷病の検出をすることができる。
本発明に係る情報処理装置の構成概略図。 位置決め用画像と診断用画像の関係を説明する図。 診断用画像における領域ラベル像を説明する図。 位置決め用画像における領域ラベル画像を説明する図。 疾患の領域ラベル画像を説明する図。 画像セグメンテーションによる領域ラベル画像を出力するニューラルネットワークの例を示す図。 傷病の有無の指標を出力するニューラルネットワークの例を示す図。 報知サーバの手続きを示すフロー図。 本発明の第1の実施形態に係る情報処理装置のフロー図。 本発明の第3の実施形態に係る情報処理装置の構成の概略図。 本発明の第5の実施形態に係る情報処理装置の構成の概略図。 本発明の第10の実施形態に係る情報処理装置の構成の概略図。 本発明の第10の実施形態に係る情報処理装置のフロー図。 本発明の第11の実施形態に係る情報処理装置のフロー図。
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
<第1の実施形態>
以下、図1から図9を参照して、第1の実施形態による情報処理装置について説明する。
以下の用語の説明、および、実施形態の説明における撮影装置は、分かりやすさのため、特に明記しない限りCTであるものとして説明する。
以下の用語の説明、および、実施形態の説明における位置決め用画像や投影画像、診断用画像等の画像は、分かりやすさのため、特に明記しない限りCTによって取得されるものとして説明する。
また以下の用語の説明、および、実施形態の説明におけるCTによって取得された診断用画像は、複数の断層像で構成された三次元画像であるものとして説明する。
以下、本実施形態に係る情報処理装置の概略的な構成の一例を図1を用いて示す。
情報処理装置は、撮影装置110とコンソール120とが回路やネットワークを介して接続され、構成されている。また、情報処理装置は、撮影装置110とコンソール120とが直接接続されていてもよい。なお、ここでの情報処理装置は本実施形態では別個の装置とするが、これらの装置の一部又は全部を一体的に構成してもよい。情報処理装置は、相互に通信が可能な2以上の装置によって構成されてもよいし、単一の装置によって構成されてもよい。また、情報処理装置の各構成要素は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等のプロセッサーによって実行されるソフトウェアモジュールにより構成されてよい。また、当該各構成要素は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、他の任意のハードウェアと任意のソフトウェアとの組み合わせにより構成されてもよい。
本明細書におけるネットワークでは、各装置は有線又は無線の回線で接続されてよい。ここで、ネットワークにおける各装置を接続する回線は、例えば、専用回線、ローカルエリアネットワーク(以下、LANと表記)回線、無線LAN回線、インターネット回線、Wi−Fi(登録商標)、及びBluetooth(登録商標)等を含む。
撮影装置110は、検者がコンソール120を操作して指示することにより、被検者を撮影して位置決め用画像を取得することができる。検者は取得された位置決め用画像を参照して、診断用画像の撮影範囲を決定し、診断用画像の撮影を開始する。
ここで診断用画像は、医師が画像診断の際に観察する画像である。撮影装置によって取得された診断用画像は、撮影装置に備えられたデータベースや、医療機関施設のネットワークに接続された画像管理システム124に保管され、医師が観察可能な状態となる。
また位置決め用画像は、撮影装置によって診断用画像の取得に先立って撮影され、取得される画像である。例えば、撮影装置がCTであるときの位置決め用画像は、技師や医師が診断用画像を取得する領域を決めるために取得される画像である。領域の例として、頭部、胸部、腹部等がある。また、位置決め用画像は、スキャノ画像やスカウト画像とも呼ばれることがある。また、位置決め用画像は、撮影装置の種類や撮影装置の設定によって二次元画像であったり、三次元画像であったりする。具体的に図2で説明すると、まず、全身を撮影して三次元画像である位置決め用画像Im210を取得する。次に、技師または医師が撮影装置を操作して、位置決め用画像Im210を参照し、診断用画像のために撮影する範囲を指定する三次元の領域Re220を決定する。なお、領域Re220のような、撮影する範囲を指定する領域を一般的に撮影範囲と呼ぶ。また、装置によっては、撮影範囲を二次元の領域によって指定させるものもあり、その場合は、例えば、図2における座標系において、領域Re220のXZ面だけ指定することとなる。最後に領域Re220を撮影して、該領域Re220に対応する領域が描出された、三次元の診断用画像を取得する。補足すると、領域Re220のあるXY面に対応する診断用画像はIm230のような二次元画像となる。
また、例えば、撮影装置がOCTであるときの位置決め用画像は、技師や医師が診断用画像を取得する眼部に対する位置や深度を決めるために取得される、撮影プレビュー用の画像である。
なお、位置決め用画像は、通常、診断用画像の領域と同じ、もしくは、広い領域を撮影して取得される。例えば、診断用画像で撮影したい領域が心臓であった場合には、心臓領域を含む領域である、胸部や全身の位置決め用画像が取得される。また、図2においては、位置決め用画像Im210と領域Re220とが三次元である場合を説明しているが、撮影装置によっては、前述したように、位置決め用画像が二次元である場合があり、その場合には指定する領域も二次元となる。
また、位置決め用画像は、撮影する位置を把握できるようにするため、被検者の構造的特徴が分かるような画像であり、例えば、CTやOCTにおいては、画質の低い診断用画像のような様相となる。画質が低い理由は、位置決め用画像では撮影する位置を把握できれば良いだけであるため、低放射線量の撮影をしたり、低画質であるが処理が高速な画像生成アルゴリズムを利用したりするためである。しかし、近年、撮影装置の性能向上により、位置決め用画像においても、診断用画像並みの高画質な画像が取得可能となった。即ち、位置決め用画像は、診断用画像よりも画質の低い画像であることを特徴とする。
コンソール120は、検者が撮影装置110を操作するために使用される。また、本実施形態の説明に必要な構成として、少なくとも、画像取得部121と、傷病検出部122と、報知部123とが設けられている。なお、コンソール120は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。また、コンソール120は、不図示の入力装置を介して検者からの入力を取得したりすることができる。なお、入力装置としては、マウス、キーボード、タッチパネル、及び、その他任意の入力装置を採用してよい。
コンソール120とは、撮影装置を操作可能なユーザインタフェースを備えた、撮影装置に接続された表示装置である。医療機関施設においては、技師や医師等のユーザがコンソールを操作して撮影条件を設定し、被検者を撮影する撮影手続きを実施することができる。
撮影条件、または、撮影プロトコルは、被検者を撮影する際に撮影装置に設定される撮影に関わる設定情報群である。例えば、撮影条件には、装置機種、被検者に係る撮影範囲や体位、撮影装置に係る管電圧、管電流、スキャンスライス厚、スキャン時間、造影に係る造影剤使用量、造影剤注入時間、撮影時相(タイミング)等が含まれる。一般的には、撮影する被検者の病状や部位といった検査の内容により、予め用意された複数の撮影条件のプリセット群のうちの一つを選択することによって、再設定の手間を省くことが多い。
また、ユーザがコンソール120を操作して画像条件を設定し、撮影で得られた投影画像やK−Spaceデータを診断用画像に再構成する情報処理手続きを実施することができる。また、コンソールには、撮影装置によって撮影して取得した投影画像やK−Spaceデータを一時保管するためのメモリ等の記憶装置が備えられている。なお、撮影装置の種類によっては、撮影手続き用のコンソールと、情報処理手続き用のコンソールとが、一体であったり、別々の筐体であったりする。
画像取得部121は、撮影装置110が被検者の位置決め用画像を撮影している最中、または、撮影完了後に、回路やネットワークを介して、撮影装置110から位置決め用画像の一部または全てを取得する。
傷病検出部122は、傷病検出エンジン(傷病検出手法)を備え、位置決め用画像が入力されると、該位置決め用画像に描画された傷病を検出し、傷病の有無を判定できる。
ここで傷病検出エンジン(傷病検出手法)を構築するための方法および用語について説明する。
領域ラベル画像とは、画素毎に領域のラベルが付されたラベル画像である。具体的には、図3の、撮影装置によって取得された胸部の断層像を示す画像Im310に描出されている領域群のうち、任意の領域を特定可能な画素値(以下、領域ラベル値)群によって分けている画像Im320のことである。ここで、特定される任意の領域には関心領域(ROI:Region Of Interest)や関心体積(VOI:Volume Of Interest)等が含まれる。領域ラベル画像Im320から任意の領域ラベル値を持つ画素の座標群を特定すると、画像Im310中において対応する肺の領域を描出している画素の座標群を特定できる。具体的には、例えば、右肺を示す領域ラベル値が1である場合、領域ラベル画像Im320の画素群のうち画素値が1である座標群を特定し、画像Im310から該座標群に対応する画素群を抽出する。これにより、画像Im310における右肺の領域を特定できる。もちろん、領域ラベル画像に病変領域を特定可能な画素値があれば、対応する画像から病変領域の座標群を特定できる。なお、領域ラベル画像に対応する領域を特定可能な画像の種類や次元は、実施形態により様々であり、例えば、二次元の位置決め用画像に対応する二次元の領域ラベル画像であったり、三次元の診断用画像に対応する三次元の領域ラベル画像であったりする。なお、一部の実施形態において、領域ラベル画像に対する縮小又は拡大処理を実施する処理が含まれる。このとき、領域ラベル画像の縮小又は拡大に用いる画像補間処理手法は、未定義の領域ラベル値や対応する座標に存在しないはずの領域ラベル値を誤って生成しないような、最近傍法等を使うものとする。
画像セグメンテーション処理とは、画像に描出された臓器や病変といった、ROIやVOIと呼ばれる領域を、画像診断や画像解析に利用するために特定する処理のことである。例えば、画像セグメンテーション処理によれば、胸部を撮影して取得された画像から、右肺や左肺、肺の疾患である気胸の領域等を特定することができる。なお、画像に特定すべき領域が描出されていなければ特定される領域の数は0である。また、画像に特定すべき複数の領域群が描出されていれば、特定される領域の数は複数であってもよいし、或いは、該領域群を含むように囲む領域1つであってもよい。特定された領域群は、その他の処理において利用可能な情報として出力される。具体的には、例えば、特定された領域群のそれぞれを構成する画素群の座標群を数値データ群として出力することができる。また、例えば、特定された領域群のそれぞれを含む矩形領域や楕円領域、長方体領域、楕円体領域等を示す座標群を数値データ群として出力することもできる。さらに、例えば、特定された領域群の境界にあたる直線や曲線、平面、又は曲面等を示す座標群を数値データ群として出力することもできる。また、例えば、特定された領域群を示す領域ラベル画像を出力することもできる。なお、以下において、画像セグメンテーション処理の精度が高いと表現したり、精度の高い領域ラベル画像と表現したりする場合は、領域を正しく特定できている割合が高いことを指す。また、逆に、画像セグメンテーション処理の精度が低いと表現する場合は、領域を誤って特定している割合が高いことを指す。
学習済モデルとは、ディープラーニング技術等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルのことである。ただし、学習済モデルは、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。教師データは、一つ以上の、入力データと出力データとのペア群で構成される。なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値であったり、一方が複数の画像群で構成され他方が文字列であったり、双方が画像であったりする等、所望の構成に適したものであってよい。
教師データの例として、具体的には、CTによって取得された二次元の位置決め用画像を入力データとし、該画像に対応する傷病ラベルを出力データとするペア群によって構成された教師データ(以下、第1の教師データ)が挙げられる。なお、傷病ラベルは、位置決め用画像に対応する撮影範囲において、疾患や画像アーチファクト等の傷病があるかないかを表すユニークな数値や文字列である。例えば、傷病が無ければ0、傷病があれば1を設定する。なお設計によっては、入力データを三次元や四次元の位置決め用画像としてもよい。なお、四次元の画像とは、例えば、三次元の動画像や三次元画像の各画素位置におけるパラメータを異なる色相で示したような画像を含む。
また、他の教師データの例として、CTによって取得された二次元の診断用画像を入力データとし、該画像に対応する傷病ラベルを出力データとするペア群によって構成された教師データ(以下、第2の教師データ)が挙げられる。なお、傷病ラベルは、上記位置決め用画像のものと同様に、診断用画像に対応する撮影範囲において、疾患や画像アーチファクト等の傷病があるかないかを表すユニークな数値や文字列である。例えば、傷病が無ければ0、傷病があれば1を設定する。なお設計によっては、入力データを三次元や四次元の診断用画像としてもよい。
また、他の教師データの例として、CTによって取得された二次元の位置決め用画像を入力データとし、該画像に描出される肺野と気胸の領域を特定可能な二次元の領域ラベル画像を出力データとするペア群によって構成されている教師データが挙げられる。以下、本教師データ第3の教師データとする。当該ペアの例として、図4に示す、三次元の位置決め用画像の一部である、二次元の位置決め用画像Im410を入力データとし、位置決め用画像Im410に描出される肺野と気胸の領域を特定可能な二次元の領域ラベル画像Im420を出力データとするようなペアがある。なお設計によっては、入力データを三次元や四次元の位置決め用画像とし、出力データを二次元〜四次元の領域ラベル画像としてもよい。
また、他の教師データの例として、CTによって取得された二次元の診断用画像を入力データとし、該画像に描出される肺野と気胸の領域を特定可能な二次元の領域ラベル画像を出力データとするペア群によって構成されている教師データが挙げられる。以下本教師データを第4の教師データとする。ペアの例として、図5に示す、三次元の診断用画像の一部である、二次元の診断用画像Im510を入力データとし、診断用画像Im510に描出される肺野と気胸の領域を特定可能な二次元の領域ラベル画像Im520を出力データとするようなペアがある。なお設計によっては、入力データを三次元や四次元の診断用画像とし、出力データを二次元から四次元の領域ラベル画像としてもよい。
学習済モデルに入力データを入力すると、該学習済モデルの設計に従った出力データが出力される。
例えば、画像セグメンテーション問題や回帰問題を対象として設計された学習済モデルは、トレーニングに用いた教師データの入力データに対応する出力データの傾向に従って、入力データに対応する可能性の高い出力データを出力する。
また、例えば、分類問題を対象として設計された学習済モデルは、トレーニングに用いた教師データの入力データに対応する出力データの傾向に従って、入力データが設計によって定義されたクラス群の夫々へ分類され得る可能性を数値群として出力する。
具体的には、例えば、第1の教師データでトレーニングされた学習済モデルに位置決め用画像を入力すると、学習済モデルは該位置決め用画像に傷病があるかないかを示す値を出力したり、設計により傷病があるかないかの程度を示す数値を出力したりする。
また、例えば、第2の教師データによってトレーニングされた学習済モデルに診断用画像を入力すると、学習済モデルは該診断用画像に傷病があるかないかを示す値を出力したり、設計により傷病があるかないかの程度を示す数値を出力したりする。
また、例えば、第3の教師データによってトレーニングされた学習済モデルに位置決め用画像を入力すると、学習済モデルは該位置決め用画像に描出された肺野と気胸の領域を特定可能な領域ラベル画像を出力する。
また、例えば、第4の教師データによってトレーニングされた学習済モデルに診断用画像を入力すると、学習済モデルは該診断用画像に描出された肺野と気胸の領域を特定可能な領域ラベル画像を出力する。
機械学習アルゴリズムは、畳み込みニューラルネットワーク(CNN)等のディープラーニング技術に関する手法を含む。ディープラーニング技術に関する手法においては構成によって、出力データが異なることがある。例えばニューラルネットワークを構成する層群やノード群、ノード群等に設定される重みやバイアスに関する最適化アルゴリズムに対するパラメータの設定や、損失関数の設計によって再現可能な程度が異なる場合がある。
例えば、第1の教師データ、あるいは第2の教師データを用いたディープラーニング技術に基づいた学習済モデルにおいては、より適切なパラメータが設定されていると、入力された画像に疾患などの傷病があるか無いかを正しく出力する確率がより高くなる場合がある。
また、例えば、第3の教師データ、あるいは、第4の教師データを用いる学習済モデルにおいては、より適切なパラメータが設定されていると、より精度の高い領域ラベル画像を出力できる場合がある。
具体的には、CNNの層群やノード群におけるパラメータは、例えば、畳み込み層に対して設定される、フィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値、並びに全結合層の出力するノードの数等を含むことができる。なお、パラメータ群やトレーニングのエポック数は、教師データに基づいて、学習済モデルの利用形態に好ましい値に設定することができる。例えば、教師データに基づいて、傷病があるか無いかをより高い確率で正しく出力したり、より精度の高い領域ラベル画像を出力したりできるパラメータ群やエポック数を設定することができる。
上記のパラメータ群やエポック数を決定する方法を例示する。ホールドアウト法と呼ばれる方法では、まず、教師データを構成するペア群の7割をトレーニング用とし、残りの3割を評価用として選択する。次に、トレーニング用のペア群を用いて学習済モデルのトレーニングを行い、トレーニングの各エポックの終了時に、評価用のペア群を用いてトレーニング評価値を算出する。トレーニング評価値とは、例えば、各ペアを構成する入力データをトレーニング中の学習済モデルに入力したときの出力と、入力データに対応する出力データとを損失関数によって評価した値群の平均値等である。最後に、最もトレーニング評価値が良くなった時点(損失関数の設計により、最小値の時点であったり、最大値の時点であったりする)のパラメータ群及びエポック数を、当該学習済モデルのパラメータ群やエポック数として決定する。このように、教師データを構成するペア群をトレーニング用と評価用とに分けてエポック数の決定を行うことによって、学習済モデルがトレーニング用のペア群に対して過学習してしまうことを防ぐことができる。
また、その他の方法の例として、クロスバリデーション法と呼ばれる方法もある。クロスバリデーション法では、教師データを構成するペア群を複数の集合に分け、ある集合とその他の集合群とを、評価用とトレーニング用との組み合わせとして設定する。そして、全ての組み合わせによるトレーニングを実施して平均精度により良し悪しを評価し、パラメータ群やエポック数を決定する。
上記の損失関数の例を挙げる。回帰問題を対象とする場合、例えば、教師データの、ある出力データの値と、該出力データに対応する入力データを学習済モデルに入力して出力される値との差の絶対値や、二乗誤差を損失関数の出力とすることがある。
また、画像セグメンテーション問題を対象とする場合、例えば、教師データの、ある入力データの画像に関して、ペアを構成する領域ラベル画像と、学習済モデルが出力した領域ラベル画像との、画素値群に関する平均二乗誤差を損失関数の出力とすることがある。
画像セグメンテーションエンジンとは、画像セグメンテーション処理を実施し、入力された入力画像に対応する領域ラベル画像を出力するモジュールのことである。入力画像の例としては、CTの二次元あるいは三次元の位置決め用画像や診断用画像、MRIのK−Spaceデータや診断用画像、OCTのBスキャン画像や三次元画像等がある。また、領域ラベル画像の例としては、入力画像がCTの二次元あるいは三次元画像である場合における疾患の領域を示す領域ラベル画像や、入力画像がOCTのBスキャン画像である場合における網膜層の各層を示す領域ラベル画像等がある。
下記の実施形態における画像セグメンテーション処理の手法を構成する情報処理手法では、ディープラーニング技術等の各種機械学習アルゴリズムに従った学習済モデルを用いた処理を行ってもよい。なお、当該情報処理手法は、機械学習アルゴリズムだけでなく、他の既存の任意の処理を併せて行ってもよい。当該情報処理には、例えば、各種画像フィルタ処理、類似画像に対応する領域ラベル画像のデータベースを用いたマッチング処理、基準領域ラベル画像の画像レジストレーション処理、及び知識ベース情報処理等の処理が含まれる。また、当該情報処理手法は、アンサンブル処理によって、複数の情報処理の結果を多数決させたり、平均したりする等して、最終的な領域ラベル画像を出力しても良い。
特に、入力画像として入力された画像を画像セグメンテーション処理して、領域ラベル画像を出力する畳み込みニューラルネットワーク(CNN)には様々な構成があるが、例として、図6に示すネットワーク構成がある。
具体的には、本ネットワーク構成を、例えば、上記第3の教師データによってトレーニングすることによって、位置決め用画像を入力すると、該位置決め用画像に描出された気胸の領域を特定可能な領域ラベル画像を出力する学習済モデルが得られる。
また、本ネットワーク構成を、例えば、上記第4の教師データによってトレーニングすることによって、診断用画像を入力すると、該診断用画像に描出された気胸の領域を特定可能な領域ラベル画像を出力する学習済モデルが得られる。
本ネットワーク構成には、入力値群を加工して出力する処理を担う、複数の層群が含まれる。なお、ネットワーク構成に含まれる層の種類としては、図6に示すように、畳み込み(Convolution)層、ダウンサンプリング(DownSampling)層、アップサンプリング(Upsampling)層、及び合成(Merger)層がある。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、及びダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。ダウンサンプリング層で行われる処理として、具体的には、例えば、Max Pooling処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。アップサンプリング層で行われる処理として、具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、ネットワーク構成に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度の画像セグメンテーション処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施形態に応じて各層群や各ノード群に対する適切なパラメータは異なるので、必要に応じて変更してもよい。
また、実施形態によっては、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、画像セグメンテーション処理の精度が高かったり、画像セグメンテーション処理の時間が短かったり、学習済モデルのトレーニングにかかる時間が短かったりする等である。CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等がある。
なお、一次元画像や三次元画像、四次元画像を処理する必要がある場合には、フィルタのカーネルサイズが一次元や三次元、四次元に対応していてもよい。
また、画像セグメンテーション処理は、1つの情報処理手法だけで実施されることもあるし、2つ以上の情報処理手法を組み合わせて実施されることもある。さらに、複数の画像セグメンテーション処理手法を実施し、複数の領域ラベル画像を生成することもできる。
また、実施形態によっては、入力画像を小領域群に分割し、それぞれに対して画像セグメンテーション処理を実施して小領域の領域ラベル画像群を得て、該小領域の領域ラベル画像群を結合することで、領域ラベル画像を生成する方法がある。なお、当該小領域は、入力画像が三次元画像であれば、入力画像よりも小さな三次元画像であったり、二次元画像であったり、一次元画像であったりしてもよい。また、当該小領域は、入力画像が二次元画像であれば、入力画像よりも小さな二次元画像であったり、一次元画像であったりしてもよい。また、実施形態によっては複数の領域ラベル画像群を出力してもよい。
また、画像セグメンテーションエンジンに対して、入力画像とともにパラメータを入力してもよい。この場合の入力されるパラメータは、例えば、病変の大きさの上限など、画像セグメンテーション処理を行う範囲の程度を指定するパラメータや、情報処理手法に用いられる画像フィルタサイズを指定するパラメータを含むことができる。なお、画像セグメンテーションエンジンは、実施形態によっては領域ラベル画像の代わりに、領域を特定可能なその他の画像や座標データ群を出力してもよい。
なお、複数の画像セグメンテーション処理手法を実施したり、複数の小領域群に対して画像セグメンテーション処理を実施したりする場合には、並列的に画像セグメンテーション処理を行うことによって、処理時間を短縮できる。
なお、CNNを用いた情報処理等、一部の情報処理手法を利用する場合には画像サイズについて注意する必要がある。具体的には、領域ラベル画像の周辺部が十分な精度でセグメンテーション処理されない問題等の対策のため、入力する画像と出力する領域ラベル画像とで異なる画像サイズを要する場合があることに留意すべきである。
明瞭な説明のため、後述の実施形態において明記はしないが、画像セグメンテーションエンジンに入力される画像と出力される画像とで異なる画像サイズを要する画像セグメンテーションエンジンを採用した場合には、適宜画像サイズを調整しているものとする。具体的には、学習済モデルをトレーニングするための教師データに用いる画像や、画像セグメンテーションエンジンに入力される画像といった入力画像に対して、パディングを行ったり、該入力画像の周辺の撮影領域を結合したりして、画像サイズを調整する。なお、パディングを行う領域は、効果的に画像セグメンテーション処理できるように画像セグメンテーション処理手法の特性に合わせて、一定の画素値で埋めたり、近傍画素値で埋めたり、ミラーパディングしたりする。
傷病検出手法である傷病検出エンジンとは、傷病検出処理を実施し、入力された入力画像に、健康な被検者や、正常な撮影環境、正常な撮影方法等では描出されない疾患や画像アーチファクト等の傷病の有無を判断するモジュールのことである。
なお、傷病検出処理が傷病の有無を判定する過程において、傷病があるかないかの程度を示す値を出力したり、疾患重篤度等の傷病の程度を示す値を出力したりしている場合、傷病検出エンジンは傷病の有無の判定と共に該値を出力してもよい。
入力画像の例としては、CTの二次元あるいは三次元の位置決め用画像や診断用画像、MRIのK−Spaceデータや診断用画像、OCTのBスキャン画像や三次元画像等がある。
また、疾患による傷病の例としては、入力画像がCT画像である場合における、気胸や大動脈解離、体液や血液の貯留、骨折等が描出されている傷病、入力画像がOCTのBスキャン画像である場合における、浮腫や薄い神経細胞層等が描出されている傷病がある。
さらに、画像アーチファクトによる傷病の例としては、入力画像がCT画像やMRI画像である場合における、被検者の体内にある金属や被検者の撮影時の動き、装置の不具合等に起因する画像アーチファクトが描出される傷病がある。
下記の実施形態における傷病検出処理の手法を構成する情報処理手法では、ディープラーニング技術等の各種機械学習アルゴリズムに従った学習済モデルを用いた処理を行ってもよい。なお、当該情報処理手法は、機械学習アルゴリズムだけでなく、他の既存の任意の処理を併せて行ってもよい。当該情報処理には、例えば、各種画像フィルタ処理、類似画像のデータベースを用いたマッチング処理、正常画像の画像レジストレーション処理、及び知識ベース情報処理等の処理が含まれる。また、当該情報処理手法は、アンサンブル処理によって、複数の情報処理の結果を多数決させたり、平均したりする等して、最終的に傷病の有無を判断しても良い。
特に、入力画像として入力された画像の傷病の有無を判断するための、指標となる値(確率等)を出力するCNNには様々な構成があるが、例として、図7に示す構成がある。
具体的には、例えば、本ネットワーク構成を第1の教師データによってトレーニングすることによって、位置決め用画像を入力すると、該位置決め用画像に傷病があるかないかを判断可能にする数値を出力する学習済モデルが得られる。
また、例えば、ネットワーク構成を第2の教師データによってトレーニングすることによって、診断用画像を入力すると、該診断用画像に傷病があるかないかを判断可能にする数値を出力する学習済モデルが得られる。
本ネットワーク構成には、畳み込み層とバッチ正規化層と正規化線形関数を用いた活性化層とで構成された複数の畳み込み処理ブロック群が含まれる。また、当該構成には、最後の畳み込み層と、全結合(Fully Connected)層と、出力層が含まれる。
全結合層は畳み込み処理ブロックの出力値群を全結合する。また、出力層は、Sigmoid関数を利用して、入力画像に傷病が描出されているかいないかの程度を推定結果(Result)として出力する。つまり、推定結果の値は、入力画像に傷病が描出されていれば1に近づき、描出されていなければ0に近づく。
なお、ネットワーク構成に含まれる畳み込み処理ブロックの数を16、畳み込み層群のパラメータとして、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数を64とすることで、一定の精度で傷病の有無を推定することができる。しかしながら、実際には上記の学習済モデルの説明において述べた通り、学習済モデルの利用形態に応じた教師データを用いて、より良いパラメータ群を設定することができる。なお、一次元画像や三次元画像、四次元画像を処理する必要がある場合には、フィルタのカーネルサイズを一次元や三次元、四次元に拡張してもよい。なお、傷病検出処理の手法は、一つの画像及びデータ処理手法だけで実施されることもあるし、二つ以上の画像及びデータ処理手法を組み合わせて実施されることもある。
また、別の傷病検出処理の手法として、Generative Adversarial Network(GAN)やAuto Encoder(AE)と呼ばれる機械学習アルゴリズムを利用する方法もある。具体的には、GANやAEによって、入力画像の様相に近い疑似的な正常画像を出力し、該疑似的な正常画像と入力画像との差異を算出することによって、傷病の有無を判断するための指標となる値を出力する。つまり、差異の大きさは疑似的な正常画像と入力画像との近似性を示すので、差異が小さい場合には正常に近いので傷病がないと判断し、差異が大きい場合には傷病があると判断する。また、画像間の差異の値に対してルックアップテーブルを適用することによって、差異が画像中のどの領域にあったのか、視覚的に分かるようなヒートマップ画像を出力することもできる。
また、傷病検出処理の手法の一部に画像セグメンテーションエンジンの出力結果を利用してもよい。例えば、疾患の領域ラベル画像を出力する画像セグメンテーションエンジンに、画像を入力し、出力された領域ラベル画像中の疾患領域の面積あるいは体積、画素数が、設定された閾値を超えた場合に傷病が描出されているとする方法がある。
傷病検出部122における傷病検出エンジンは、例えば、上述した第1の教師データと同様の構成による教師データによりトレーニングされた学習済モデルを利用する。本モデルを利用すると、傷病が描出された位置決め用画像の入力により真値が出力され、傷病が描出されていない位置決め用画像を入力すると偽値が出力される。
なお、教師データを構成する出力データ群は、入力データ群を参照して専門医が作成したり、任意の傷病検出処理によって作成したり、別に作成された出力データを専門医が修正して作成したりすることによって用意できる。
また、本実施形態の説明においては、傷病検出部122における傷病検出エンジンに入力される位置決め用画像を、図2の位置決め用画像Im210に示すような三次元の位置決め用画像であるとして説明する。しかし、傷病検出エンジンによっては二次元あるいは四次元の位置決め用画像であってもよい。
具体的には、傷病検出部122における傷病検出エンジンへ入力される位置決め用画像が二次元の位置決め用画像である場合、入力される位置決め用画像は、位置決め用画像Im210におけるXY面に対応する、Im240のような二次元の位置決め用画像であってもよい。あるいは、位置決め用画像Im210におけるXZ平面に対応する二次元の位置決め用画像であってもよい。
また、傷病検出部122が傷病を検出した際には、傷病を検出した位置決め用画像に係る検査を特定可能な情報と傷病を検出した旨の情報とを紐づけて、記録してもよい。
具体的には、コンソール120にネットワークを介して接続されたPACS等の画像管理システム124に記録したりする等してもよい。画像管理システム124は、CT等の撮影装置によって撮影された画像や情報処理された画像を受信して保存する装置及びシステムである。また、画像管理システムは、接続された装置の要求に応じて画像を送信したり、保存された画像に対して情報処理を行ったり、情報処理の要求を他の装置に要求したりすることができる。画像管理システムの例としては、画像保存通信システム(PACS)がある。特に、下記実施形態に係る画像管理システムは、受信した画像とともに関連付けられた被検者の情報や撮影時間などの各種情報も保存可能なデータベースを備える。また、画像管理システムはネットワークに接続され、他の装置からの要求に応じて、画像を送受信したり、画像を変換したり、保存した画像に関連付けられた各種情報を送受信したりすることができる。
また、本実施形態の説明においては、傷病検出部122によって検出される傷病を、気胸や大動脈解離、体液や血液の貯留、骨折等が描出されている等の、緊急に対処が必要な疾患や外傷として説明する。しかしながら実施形態により、報知することが望まれるその他の傷病を含めても良い。
なお、教師データを構成するペア群のうち、傷病検出処理の精度に寄与しないペアは教師データから取り除くことができる。
例えば、教師データのペアを構成する出力データが誤っている場合には、当該教師データを用いて学習した学習済モデルの傷病検出の精度が低下する可能性が高くなる。
そのため、誤った出力データを持つペアを教師データから取り除くことで、傷病検出エンジンに含まれる学習済モデルの精度を向上できる可能性がある。
報知部123は、出力装置125を介して、グラフィックや光、音により、検者に傷病が検出されたことを報知することができる。報知部123が報知する情報はテキストや画像、転送先の端末のプログラムを実行するのに必要なプログラム実行情報等で構成された情報である。
即ち、報知部123によって報知をする情報が、テキスト、画像、転送先の端末のプログラムの実行に必要なプログラム実行情報のうち、少なくとも一つによって構成されることを特徴とする。また、報知部123は、傷病検出部122による傷病の有無のみならず、傷病検出部122による検出結果に対して、実施すべき検査を報知してもよい。
また報知部123は、実施すべき検査と、予定されている検査が異なる場合には、検査の変更を推奨する報知を行う。
なお、出力装置125として、ディスプレイ、スピーカー、LEDライト等の発光装置、及び、その他任意の出力装置を実装してよい。また、出力装置125として、タッチパネルディスプレイを採用した場合には、該タッチパネルを上記入力装置と兼用してもよい。即ち、情報処理装置は、診断用画像の撮影範囲を決定するための位置決め用画像を取得する画像取得部121と、画像取得部121によって取得された位置決め用画像から傷病を検出する傷病検出部122とを有する。さらに情報処理装置は、傷病検出部122による傷病検出結果を報知する報知部123とを有する。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。
ステップS910では、検者がコンソール120を操作することにより、撮影装置110が被検者の位置決め用画像を撮影開始する。
ステップS920では、画像取得部121が、撮影装置110によって撮影した位置決め用画像を取得する。
ステップS930では、傷病検出部122が、画像取得部121が取得した位置決め用画像に対して、傷病の有無を判定する。傷病検出部122の傷病検出は上述したようなディープラーニニング技術に基づいた検出を行う。即ち、傷病検出部122は、ディープラーニング技術に基づいた検出を行うことを特徴とする。なお、簡単のため特に図示していないが、位置決め用画像が傷病検出エンジンに入力されることが想定されていない特徴を持つ等によって、傷病検出処理を実施できない、もしくは、実施しても期待された性能を発揮できない等の状況がありうる。傷病検出部122における傷病検出の性能が十分でない場合には、本実施形態の一連の手続きを終了したり、あるいは、報知部123に備えられた出力装置を介して、検者にその旨を知らせたりしてもよい。
ステップS940では、ステップS930において傷病があると判定された場合に、ステップS950に移行する。また、傷病が無いと判定された場合には、実施形態の一連の手続きを終了する。
ステップS950では、報知部123に備えられた出力装置を介して、検者に傷病が検出された旨を知らせる。
以上の手続きにより、本実施形態の情報処理装置は、画像診断や従来の画像解析が開始可能となる時点よりも早い時点において、診断用画像に描出されうる被検者の疾患や外傷、撮影不良(画像アーチファクト)等の傷病を検出できる。即ち、傷病検出部122が検出をする傷病は、疾患、外傷のうち、少なくとも一つであることを特徴とする。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
<第2の実施形態>
以下、図1及び図9を参照して、第2の実施形態による情報処理装置について説明する。
なお、本実施形態に係る情報処理装置の構成は、第1の実施形態と同様であるため、説明を省略する。
傷病検出部122は、第1の実施形態と同様であるが、入力される位置決め用画像として、二次元の位置決め用画像のみを対象とする。
次に、図9のフロー図を参照して、本実施形態に係る一連の情報処理について説明する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。
ステップS910では、第1の実施形態と同様の手続きを実施する。
ステップS920では、画像取得部121が、回路やネットワークを介して接続された撮影装置110から、撮影装置110が撮影した位置決め用画像を取得する。なお、第1の実施形態との差異は、位置決め用画像が被検者の撮影中においても取得されることである。
つまり、具体的には、撮影を完了した時点で取得される位置決め用画像が、図2に示す位置決め用画像Im210のような三次元画像である場合に、撮影装置が撮影中に取得する位置決め用画像Im210を構成する、Im220のようなXY面の断層像を順次取得する。
ステップS930では、画像取得部121が順次取得する、撮影装置110が最終的に取得する三次元の位置決め用画像の一部である二次元の位置決め用画像に対して、順次、傷病検出部122が傷病の有無を判定する。
ステップS940、ステップS950では、第1の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、画像診断や従来の画像解析が開始可能となる時点よりもより早い時点において、診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の傷病を検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに、本形態では、被検者の位置決め用画像を撮影完了した時点で取得される三次元の位置決め用画像ではなく、該三次元の位置決め用画像を構成する一部の位置決め用画像に対して、傷病検出部122が順次、傷病検出を実施する。故に、第一の実施形態よりもさらに早い時点において、より迅速な対処を医療従事者に促すことができる。
<第3の実施形態>
以下、図9および図10を参照して、第3の実施形態による情報処理装置について説明する。
図10は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第2の実施形態と同様であるため、一部説明を省略する。
情報処理装置は、撮影装置1010とコンソール1020とが回路やネットワークを介して接続され、また、コンソール1020と報知サーバ1030についても回路やネットワークを介して接続され、構成されている。また、撮影装置1010とコンソール1020とが直接接続されていてもよいし、また、コンソール1020と報知サーバ1030についても直接接続されていてもよい。なお、本発明におけるそれぞれの装置は本実施形態では別個の装置とされているが、これらの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。
撮影装置1010は、検者がコンソール1020を操作して指示することにより、被検者を撮影して位置決め用画像を取得することができる。
コンソール1020は、検者が撮影装置1010を操作するために使用される。また、本実施形態の説明に必要な構成として、少なくとも、画像取得部1021と、傷病検出部1022と、報知部1023とが設けられている。なお、コンソール1020は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。
報知部1023は、第2の実施形態における報知部123と同様の機能に加え、報知サーバ1030に対して、報知に係る情報を送信することができる。報知に係る情報とは、少なくとも、撮影装置で撮影されている被検者の情報もしくは検査行為を特定可能な検査オーダ番号等の情報と、位置決め用画像に傷病が描出されている旨の情報とを含む。なお、設定によっては、傷病の種類に関する情報を当該情報として加えてもよい。また、設定によって、傷病があるかないかの程度を表す数値を算出していれば、情報として該数値を加えてもよい。
報知サーバ1030は、受信した情報を設定された宛先群に転送し、該情報を関係者や関係部門に周知させたり、アクションを指示したり、転送先の端末のプログラムを実行したりすることができる。宛先とは、報知サーバ1030が参照可能な宛先情報群から、受信した情報を転送すべき宛先として選択された宛先群のことである。即ち、報知部1023は、一人以上の関係者及び一つ以上の関係部門の少なくとも一方に傷病検出部1022による検出結果を報知することを特徴とする。
ここで報知サーバ1030とは、ある情報を、設定された宛先群に転送し、該情報を関係者や関係部門に周知させたり、関係者や関係部門にアクションを指示したり、転送先の端末のプログラムを実行したりすることを目的とする、報知サービスの機能を備えたサーバである。当該情報とは、テキストや画像、転送先の端末のプログラムを実行するのに必要なプログラム実行情報等で構成された情報である。
報知サーバ1030は、例えば、医療機関施設の関連ネットワークに接続され、電子カルテ端末や、医療機関施設の職員が所持するPHSやスマートフォン等の携帯情報端末に情報を送信することができる。例えば、電子カルテ端末が報知サーバよりテキストや画像の情報を受信した際には、電子カルテシステムのクライアントアプリケーション、または、報知サーバと連携するその他のアプリケーションが機能する。そして、画面に受信した該テキストや該画像が閲覧に適したスタイルで表示される。また、電子カルテ端末やスマートフォンが報知サーバよりプログラム実行情報を受信した際には、該プログラム実行情報に従って端末上で利用可能なプログラムを実行する。当該プログラムの例として、診断用画像を参照するために利用される診断用画像参照ビューアが挙げられる。例えば、プログラム実行情報に診断用画像参照ビューアに表示させる検査を特定可能な情報が含まれていれば、端末上で、診断用画像参照ビューアが実行され、該検査に係る診断用画像を表示する。
なお、プログラム実行情報に、実行するプログラムを指定する情報が含まれていない場合、その他の情報を基にプログラムを実行したり、実行方法が不明な場合は何もしなかったりする。その他の情報とは、例えば、ファイルパスであり、該ファイルパスが指すファイルの形式を拡張子等により特定し、端末上で該形式に関連付けられたプログラムに該ファイルパスをパラメータとして与え、実行する。また、その他の情報とは、例えば、Uniform Resource Locator(URL)であり、端末にインストールされたWEBブラウザ等のプログラムに該URLをパラメータとして与え、実行する。
また、例えば、スマートフォンが報知サーバよりテキストや画像で構成される情報を受信した際には、Instant MessengerやEメールクライアント、SMS(Short Message Service)クライアント等が、該情報を表示する。
また、電子カルテ端末やスマートフォン等の、配信先の端末の種類によっては、報知サーバが送信した情報をユーザが確認したか否かの情報である開封情報が報知サーバに通知される。利用例として、医療医機関施設に患者が救急車により緊急搬送されるケースを、図8を用いて説明する。まず、ステップS110において、担当の救急隊員が搬送先の担当医を宛先として患者の状態のメモと写真、搬送先への到着時刻等の情報を報知サーバに送信する。次にステップS120において、報知サーバが、ステップS110で受信した情報を設定された宛先ユーザである担当医の所持するスマートフォンに、情報を転送する。次にステップS130において、ステップS120を実施した一定時間経過後に、報知サーバが担当医のスマートフォンから開封情報を受信している場合には、担当医が、患者が搬送されて来ることを知ったと見做すことができる。もし、開封情報を受信していない場合には、ステップS140において、報知サーバは第二の宛先として設定されている、担当医のPHSに電子合成された音声による情報の連絡を試みる。なお、PHSの場合には音声のみの情報として画像の転送はスキップし、ステップS120においてスマートフォンへ既に転送済みであることを音声で伝えても良い。また、ステップS110において設定される宛先は複数でもよく、それぞれの宛先について、ステップS120〜ステップS140と同様の手続きが実施される。また、ステップS110において、救急車に装備されたバイタルサインモニタが一定量の生体情報が蓄積され次第、自動的に、宛先を設定して該生体情報を報知サーバに送信してもよい。また、救急車に装備されたX線撮影装置によって取得された画像が、救急隊員によって搬送中に搬送先の医療医機関施設に送信された後、該画像の保管先のPACS等の画像管理システム1025が、自動的に、宛先を設定して該画像を報知サーバ1030に送信してもよい。宛先情報群は、ネットワークを介して接続された電子カルテシステムが備える職員情報に係るデータベースから取得しても良いし、報知サーバ1030の備える不図示の宛先情報を記憶する領域に直接ユーザが入力する等して用意してもよい。
また、転送すべき宛先には、予め設定された規定の宛先を加えてもよい。既定の宛先とは、例えば、撮影装置1010によって取得される診断用画像を画像診断することになっている医師の宛先や、画像診断専門医が所属する部門を代表するメーリングリスト等の宛先等である。
また、転送すべき宛先は、受信した情報に含まれる被検者や検査の情報等を利用して選択してもよい。具体的には、受信した情報に被検者の情報が含まれていれば、被検者の担当医を宛先に加えてもよい。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第2の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。
ステップS910では、検者がコンソール1020を操作することにより、撮影装置1010が被検者を撮影開始する。
ステップS920では、画像取得部1021が、回路やネットワークを介して接続された撮影装置1010から、撮影装置1010が撮影した位置決め用画像を順次取得する。
ステップS930では、画像取得部1021が順次取得した位置決め用画像に対して傷病検出部1022が傷病を検出する。即ち、撮影装置1010が最終的に取得する三次元の位置決め用画像の一部である二次元の位置決め用画像に対して、順次、傷病検出部1022が傷病の有無を判定する。
ステップS940では、ステップS930において傷病があると判定された場合に、ステップS950に移行する。または、傷病が無いと判定された場合に、本実施形態の一連の手続きを終了する。
ステップS950では、報知部1023に備えられた出力装置を介して、検者に傷病が検出された旨を知らせる。さらに、報知部1023が回路やネットワークを介して接続された報知サーバ1030に対し、上記において示した、報知に係る情報を送信する。
以上の手続きにより、本実施形態の情報処理装置は、診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の異常を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、報知サーバが報知することによって、検者以外の関係者にも傷病を検知した旨を周知することができ、被検者に対する対処の準備をいち早く開始することができる。
<第4の実施形態>
以下、図9および図10を参照して、第4の実施形態による情報処理装置について説明する。
図10は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第3の実施形態と同様であるため、一部説明を省略する。
報知部1023は、第3の実施形態における報知部1023と同様の機能に加え、傷病検出部1022が傷病を検出した場合に、本実施例に係る手続きの後に撮影される投影画像を規定の画像条件に従って再構成する。そして仮の診断用画像を生成し、報知に係る情報に追加する。あるいは、仮の診断用画像を関係者が観察可能なようにPACS等の画像管理システムに保存し、報知に係る情報に仮の診断用画像を参照するための情報を追加する。即ち、報知部1023によって報知をする情報が、医師による被検者への対処が必要か否かを判断するための画像を含むことを特徴とする。
ここで画像条件とは診断用画像を生成する際に利用される設定情報群である。具体的には、CTやPETにおいて、投影画像から診断用画像を再構成する際に利用される設定情報である。あるいは、MRIにおいて、K−Spaceデータから診断用画像を再構成する際に利用される設定情報である。画像条件には、例えば、再構成の手法、FOV、画像解像度、スライス厚、スライス間隔、再構成関数等が含まれる。一般的には、撮影条件と同様に、撮影された被検者の病状や部位といった検査の内容により、予め用意された複数の画像条件のプリセット群のうちの一つを選択することによって、再設定の手間を省くことが多い。また、装置によっては、撮影条件に従って、自動的に画像条件が設定されることもある。
撮影条件および画像条件は、診断用画像を構成するデータ構造中に保存されたり、画像とは別のデータとして保存されたり、撮影装置に関連するデータベースや画像管理システム1025に保存されたりする。そのため、撮影装置の撮影条件および画像条件の保存手段に対応した手順により取得することができる。具体的には、撮影条件および画像条件は、例えば、撮影装置が出力した画像のデータ構造を解析したり、画像とは別に保存されているデータを取得したり、撮影装置に関連するデータベースから取得するためのインターフェースにアクセスする等により取得される。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第3の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。ステップS910〜ステップS950では、第3の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の異常を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、本実施形態においては報知に係る情報に仮の診断用画像が追加されているため、関係者は報知に係る情報を受信した端末上において、傷病が本当に存在するか否かを画像診断して判断できる。
<第5の実施形態>
以下、図9、図11を参照して、第5の実施形態による情報処理装置について説明する。
図11は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第4の実施形態と同様であるため、一部説明を省略する。
情報処理装置は、撮影装置1110と、コンソール1120とが回路やネットワークを介して接続され、構成されている。また、コンソール1120と傷病検出装置1140についても回路やネットワークを介して接続され、構成されている。また、傷病検出装置1140と報知サーバ1130についても回路やネットワークを介して接続され、構成されている。また、撮影装置1110とコンソール1120とが直接接続されていてもよい。また、コンソール1120と傷病検知装置1140についても直接接続されていてもよい。また、傷病検出装置1140と報知サーバ1130についても直接接続されていてもよい。なお、それぞれの装置は本実施形態では別個の装置とされているが、それぞれの装置の一部又は全部を一体的に構成してもよい。また、これらの装置は、他の任意の装置と回路やネットワークを介して接続されてもよいし、他の任意の装置と一体的に構成されてもよい。
撮影装置1110は、第4の実施形態の撮影装置1010と同様である。
コンソール1120は、検者が撮影装置1110を操作するために使用される。また、コンソール1120はメモリ等の記憶装置を有しており、撮影装置1110が撮影する位置決め用画像が部分的にでも取得可能になり次第、順次取得し記憶される。
報知サーバ1130は、第4の実施形態の報知サーバ1030と同様である。
傷病検出装置1140は、本実施形態の説明に必要な構成として、少なくとも、画像取得部1141と、傷病検出部1142と、報知部1143とが設けられている。なお、傷病検出装置1140は、これら構成要素のうちの一部が設けられた複数の装置で構成されてもよい。
画像取得部1141は、回路やネットワークを介して接続された、コンソール1120が記憶した位置決め用画像を取得する。傷病検出部1142は、第4の実施形態の傷病検出部1022と同様である。報知部1143は、第4の実施形態の報知部1023と同様である。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第4の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。
ステップS910では、第4の実施形態と同様の手続きを実施する。
ステップS920では、取得部1141が、コンソール1120が記憶している、撮影装置1110が撮影中に取得した位置決め用画像を取得する。
ステップS930〜ステップS950では、第4の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の異常を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、コンソール1120とは別の傷病検出装置が傷病検出処理を担うことによって、コンソール1120の処理負荷を軽減することができる。
また、既に設置済みの撮影装置およびコンソール1120に対して、後から追加する形で装置を設置できるので、傷病検知および報知の機能の需要や導入費用の都合に合わせて柔軟に対応することができる。
<第6の実施形態>
以下、図9、図11を参照して、第6の実施形態による情報処理装置について説明する。
図11は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
報知部1143は、第5の実施形態における報知部1143と同様の機能に加え、傷病検出部1142が生成した仮の診断用画像と、規定のルックアップテーブルで着色された領域ラベル画像とを、報知に係る情報に追加する。あるいは、仮の診断用画像と、領域ラベル画像とを、関係者が観察可能なようにPACS等の画像管理システム1126に保存し、報知に係る情報にそれらを参照するための情報を追加する。
傷病検出部1142は、傷病検出エンジンを備え、位置決め用画像が入力されると、該位置決め用画像に描画された臓器等および傷病の領域を特定可能な領域ラベル画像を出力する。
さらに、領域ラベル画像における、傷病領域の面積を算出し、該面積が予め設定された閾値を超えているか否かによって、傷病の有無(傷病とするか否か)を判定する。具体的には、例えば、領域ラベルが肺野と気胸の領域を特定可能である場合に、気胸の面積を肺野の面積で割った値が3%を超える場合に、傷病があると判定する。あるいは、気胸の面積が2平方cmを超える場合に、傷病があると判定する。
なお、傷病検出部1142における傷病検出エンジンは、上記第5の教師データと同様の構成による教師データによりトレーニングされた学習済モデルを利用している。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。ステップS910〜ステップS950では、第6の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、画診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の異常を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、本実施形態においては傷病が描出されている領域を特定可能な領域ラベル画像が、報知に係る情報に含まれるので、画像診断の専門医でないユーザが情報を参照した場合であっても、傷病の有無を判断しやすい。
<第7の実施形態>
以下、図9、図11を参照して、第7の実施形態による情報処理装置について説明する。
図11は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第4の実施形態と同様であるため、一部説明を省略する。
報知部1143は、第5の実施形態における報知部1143と同様の機能に加え、造影検査を実施することを推奨する旨のテキストを、報知に係る情報に追加する。
傷病検出部1142は、第5の実施形態の傷病検出エンジンと同様であるが、傷病とする対象を大動脈解離や肝細胞がん等の、通常、非造影検査とともに造影検査も実施するような疾患に限定する。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。ステップS910〜ステップS950では、第5の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、画診断用画像に描出されうる被検者の傷病を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に検査の変更や追加検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、本実施形態においては、一般的に造影検査を実施する疾患を検出することができ、また、造影検査の実施を関係者に推奨することによって、結果的に非造影検査のみでは発見しづらい疾患を見逃してしまうことを防ぐことができる。
<第8の実施形態>
以下、図9、図11を参照して、第8の実施形態による情報処理装置について説明する。
図11は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
傷病検出部1142は、第5の実施形態とほとんど同様であるが、複数の傷病検出エンジン(傷病検出手法)を備える。
複数の傷病検出エンジンは、それぞれ検出対象とする傷病の種類が異なっている。
具体例として、複数の傷病検出エンジンのうちの1つが、気胸を検出する傷病検出エンジンである場合を説明する。当該傷病検出エンジンは、胸部領域に描出される気胸を対象に検出処理を行うので、入力される位置決め用画像に胸部領域が描出されていれば十分である。そのため、位置決め用画像の全身の撮影完了を待たず、胸部領域の位置決め用画像が取得可能となった時点で、当該位置決め用画像を入力し、気胸の検出処理を開始して良い。なお、位置決め用画像に胸部領域が含まれていなければ検出処理を実施しなくても良いし、胸部領域の全体が含まれていない状況においては、当該傷病検出エンジンの設計や設定に応じて、検出処理を実施しても、しなくても良い。
また、別の具体例として、傷病検出エンジンの1つが、大動脈解離を検出する傷病検出エンジンである場合を説明する。当該傷病検出エンジンは、縦隔領域に描出される大動脈を対象に検出処理を行うので、入力される位置決め用画像に縦隔領域が描出されていれば十分である。そのため、位置決め用画像の全身の撮影完了を待たず、縦隔領域の位置決め用画像が取得可能となった時点で、当該位置決め用画像を入力し、大動脈解離の検出処理を開始して良い。なお、位置決め用画像に縦隔領域が含まれていなければ検出処理を実施しなくても良いし、縦隔領域の全体が含まれていない状況においては、当該傷病検出エンジンの設計や設定に応じて、検出処理を実施しても、しなくても良い。
なお、位置決め用画像に対象の部位が含まれているかどうかを判定するには、検者によって設定された撮影指示内容から取得しても良いが、別の手段として、位置決め用画像から撮影範囲を推定する情報処理を行って、その結果を利用する方法がある。
具体的には、ディープラーニング技術等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、入力データが画像であり、出力データが撮影範囲を示すラベル情報である、教師データでトレーニングする。教師データによるトレーニングが実施されると該機械学習モデルは撮影範囲を推定する情報処理を実施できる。なお、同様にして患者の性別や年齢、体格といった情報も推定可能な情報処理も実装可能である。
傷病検出部1142は、複数の傷病検出エンジン(傷病検出手法)から、入力された撮影条件に対応可能な傷病検出エンジンを選択する。例えば、撮影条件に含まれる撮影範囲の情報が、胸部を含む場合に、気胸を検出する傷病検出エンジンと、大動脈解離を検出する傷病検出エンジンを選択する等、である。なお、本実施形態に係る情報処理装置が導入される施設の専門性や意向等によって、特定の傷病検出エンジン(傷病検出手法)が選択されないように設定してもよい。即ち、傷病検出部1142は、位置決め用画像の特徴に応じて、傷病検出部1142における傷病検出手法を選択することを特徴とする。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。
ステップS910〜S920では、第5の実施形態と同様の手続きを実施する。
ステップS930では、傷病検出部1142が、画像取得部1141が取得した位置決め用画像と、該位置決め用画像に描出されている部位や被検者の特徴(性別や年齢、体格等)に応じて、傷病検出エンジンを選択し、傷病の有無が判定可能になった時点で判定をする。例えば、被検者が女性であれば乳がんを対象とした傷病検出を実施し、男性であれば実施しない等の選択がある。
ステップS940〜ステップS950では、第5の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の異常を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、再撮影や追加撮影、別の検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、本実施形態においては撮影された位置決め用画像に対応可能な傷病検出エンジンを選択し、傷病検出可能な状況になった時点において処理を実施することによって、より効率的な傷病検出処理が実施される。
<第9の実施形態>
以下、図9、図11を参照して、第9の実施形態による情報処理装置について説明する。
図11は、本実施形態に係る情報処理装置の概略的な構成の一例を示すが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
傷病検出部1142は、第5の実施形態とほとんど同様であるが、傷病検出エンジンが、傷病を検出する前に、位置決め用画像を診断用画像並みに高画質化する。高画質化の手段としては、例えば、特許文献2のような手法がある。なお、傷病検出エンジンに係る傷病検出処理は、公知の診断用画像用の傷病検出処理で良い。例えば、特許文献1のような手法がある。
次に、図9のフロー図を参照して、本実施形態に係る一連の手続きについて説明するが、特に明言しない限り、第5の実施形態と同様であるため、一部説明を省略する。
まず、本実施形態に係る一連の手続きが開始されると、最初にステップS910に移行する。
ステップS910〜S950では、第5の実施形態と同様の手続きを実施する。
以上の手続きにより、本実施形態の情報処理装置は、診断用画像に描出されうる被検者の疾患や外傷、撮影不良等の異常を迅速に検出できる。
また、医療従事者に傷病を検出した旨を報知することによって、被検者が重篤化する前に、再撮影や追加撮影、別の検査、外科的処置等の、被検者への適切な対処を医療従事者に促すことができる。
さらに言及すると、本実施形態においては撮影された位置決め用画像を、診断用画像並みに高画質化してから、公知の診断用画像用の傷病検出処理を実施する。そのため、過去に開発されてきた診断用画像用の傷病検出処理に係る手法を流用できる。即ち、傷病検出部1142は、位置決め用画像を高画質化し、高画質化した位置決め用画像に対して傷病検出を実施することを特徴とする。
<第10の実施形態>
以下、図12および図13を用いて第10の実施形態における情報処理装置について説明をする。本実施形態では、傷病検出部1222が、位置決め用画像から傷病検出を行う位置決め用画像の傷病検出部1223と、さらに診断用画像から傷病を検出する診断用画像の傷病検出部1224とを有する。診断用画像は画像取得部1221により例えば画像管理システム1200から取得される。本実施形態により、位置決め用画像に傷病が確認された後に、さらに情報を多く含む診断用画像から傷病を検出することによって、報知の正当性を評価することが可能となる。
ここでは、傷病検出を行う傷病検出部をコンソール1220内に有する場合の説明をするが、傷病検出を行う対象が、位置決め用画像と診断用画像の両者であれば上述までの傷病検出装置が別途設けられていてもよい。また傷病検出部による検出結果を報知する報知部が別途設けられていてもよい。また情報処理装置は、位置決め用画像の傷病検出部1223による傷病検出結果と、診断用画像の傷病検出部1224による傷病検出結果を比較する比較部1225を有する。比較部1225によって両画像からの傷病検出結果を比較することで、位置決め用画像に対する傷病検出の結果と、診断用画像に対する傷病検出の結果との整合性を担保できるもしくは、互いの情報を補間できる。即ち、傷病検出部1222は診断用画像に対して傷病検出を実施することを特徴とする。また、情報処理装置は、位置決め用画像における傷病検出結果と、診断用画像における傷病検出結果とを比較する比較部1225を有することを特徴とする。
報知部1226は、傷病検出部1222における位置決め用画像の傷病検出部1223による傷病検出結果および、診断用画像の傷病検出部1224の傷病検出結果をそれぞれ報知しても、いずれか一方を報知してもよい。また報知部1226が両傷病検出結果を報知する場合には、表示している傷病検出結果が、いずれの傷病検出部による傷病検出結果であるのかを識別可能にしてもよい。また報知部1226は、比較部1225による比較の結果を報知してもよい。比較部1225は、両傷病検出部による傷病検出結果から、いずれか一方の結果を置換してもよいし、補間しても、統合してもよい。即ち報知部1226は、比較部1225による比較結果に基づいた報知をすることを特徴とする。
以下、図13を用いて本実施形態における一フローについて述べる。なお、本フローの開始前に、上述までの実施形態で説明をした方法等で、傷病検出部1222における位置決め用画像の傷病検出部1223によって、位置決め用画像から傷病検出の処理が行われているものとする。
ステップS1310において、画像取得部1221は画像管理システム1200から診断用画像を取得する。画像取得部1221は診断用画像が取得されると、傷病検出部1222に画像を送信する。
ステップS1320において、傷病検出部1222における診断用画像の傷病検出部1224は、画像取得部1221による入力された診断用画像に対して傷病検出を行う。
ステップS1330において、傷病検出部1222による傷病が検出された場合なかった場合には、フローを終了する。傷病検出部1222によって傷病が検出された場合には、ステップS1340において、比較部1225は位置決め用画像から傷病検出を行った結果と、診断用画像から傷病検出を行った結果を取得し、両結果の比較を行う。
ステップS1350で、報知部1226は、比較部1225による比較結果を報知する。位置決め用画像に対する傷病検出結果と、診断用画像からの傷病検出結果が一致、もしくはいずれかがいずれかの包含関係にある場合はその旨を報知する。位置決め用画像に対する傷病検出結果と、診断用画像に対する傷病検出結果が、異なるもしくは、排他関係にある場合は報知部1226による報知に確認を推奨する内容を含んでいてもよい。
本実施形態によって、位置決め用画像および診断用画像を対象とした傷病検出が実施でき、両検出結果を比較することで、より精度の高い情報を取得することが可能となる。
<第11の実施形態>
図12及び図14を用いて第11の実施形態における情報処理装置について説明する。
本実施形態では、画像取得部1221が取得した位置決め用画像に対して傷病検出部1222における位置決め用画像の傷病検出部1223によって検出された傷病に基づいて、診断用画像の撮影条件の設定、変更を行う。位置決め用画像は、診断用画像よりも撮影の目的からも人体の広範を対象として取得される。そのため、医師又は技師が想定していなかった部位に、より緊急度や重要度の高い病変が存在する場合にも、位置決め用画像からの傷病検出が特に有効である。あらかじめ設定されていた撮影範囲よりも重要度が高い病変が傷病検出部1222における位置決め用画像の傷病検出部1223により検出された場合には、診断用画像の撮影条件を変更する。
例えば、変更される撮影条件としては位置決め用画像によって傷病が検出された範囲を含むような撮影範囲を診断用画像の撮影範囲として設定することで、診断用画像の撮影範囲が異なるために診断用画像から当該傷病が検出されないことを防ぐことができる。
即ち、位置決め用画像によって傷病が検出された範囲を含む範囲を診断用画像の撮影範囲とするように撮影条件を変更することを特徴とする。
また、位置決め用画像によって、変更される撮影条件における撮影範囲が複数設定されてもよい。
また、位置決め用画像から検出された傷病が、診断用画像の対象とする撮影範囲と異なった場合には、報知部1226は撮影条件の変更の推奨と、変更を推奨する根拠を報知する。ユーザからの変更や、設定もしくは、変更、設定の承認が降りると、変更もしくは設定された撮影条件を用いて診断用画像の撮影を開始する。なお、装置構成は、図12のみに限定されるものではなく、上述までの実施形態で説明した構成でもよいし、それぞれが独立した装置として構成されていてもよい。即ち、傷病検出部1222は、検出した傷病に基づいて診断用画像の撮影条件を設定することを特徴とする。
以下、図14を用いて本実施形態における一フローについて述べる。
ステップS1410において、比較部1225は、傷病検出部1222における位置決め用画像の傷病検出部1223による位置決め用画像に対する傷病検出結果を取得する。比較部1225は、現在設定されている診断用画像の撮影条件と比較をし、撮影条件の変更が好ましい場合には、報知部1226を介して検出された傷病と、撮影条件の変更を推奨する報知を行う。
ステップS1420において、ユーザは推奨された撮影条件の設定・変更、もしくは既存の撮影条件からの再設定・変更を承諾すると、情報処理装置における診断用画像の撮影条件が設定される。撮影条件の設定・変更は上述したように、例えば診断用画像を撮影する撮影範囲内に、位置決め用画像から検出された傷病の領域を含むように撮影範囲を設定する。
ステップS1430において、設定された撮影条件によって診断用画像の撮影が実施される。
ステップS1440では、画像取得部1221が画像管理システム1200より撮影された診断用画像を取得し、傷病検出部1222に診断用画像を送信する。傷病検出部1222は、診断用画像が入力されると、診断用画像の傷病検出部1224によって傷病の検出を行う。
ステップS1450において、傷病が検出された場合にはステップS1460に進み、傷病が検出されなかった場合には本フローの終了をする。
ステップS1460およびステップS1470はステップS1340およびステップS1350と同様の処理のため説明を省略する。
本実施形態によって、医師や技師が想定していなかった緊急度や重要度が高い傷病が検出された場合に、当該検出された傷病に適応した診断用画像の撮影条件を設定することにより、適切な診断行為を支援することが可能となる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

Claims (18)

  1. 診断用画像の撮影範囲を決定するための位置決め用画像を取得する画像取得部と、
    前記画像取得部によって取得された前記位置決め用画像から傷病を検出する傷病検出部と、
    前記傷病検出部による傷病検出結果を報知する報知部と、を有することを特徴とする情報処理装置。
  2. 前記傷病検出部は、検出した傷病に基づいて診断用画像の撮影条件を設定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記傷病検出部における前記撮影条件の設定は、前記検出された傷病を含む範囲を診断用画像の撮影範囲として設定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記位置決め用画像がスキャノ画像であることを特徴とする請求項1乃至3の何れか一項に記載の情報処理装置。
  5. 前記位置決め用画像は、前記診断用画像よりも画質の低い画像であることを特徴とする請求項1乃至4の何れか一項に記載の情報処理装置。
  6. 前記傷病検出部における傷病検出がディープラーニング技術に基づいた検出を行うことを特徴とする請求項1乃至5の何れか一項に記載の情報処理装置。
  7. 前記傷病検出部が検出をする傷病は、疾患、外傷のうち、すくなくとも一つであることを特徴とする請求項1乃至6の何れか一項に記載の情報処理装置。
  8. 前記報知部によって報知をする情報が、テキスト、画像、転送先の端末のプログラムの実行に必要なプログラム実行情報のうち、少なくとも一つによって構成されることを特徴とする請求項1乃至7の何れか一項に記載の情報処理装置。
  9. 前記報知部によって報知をする情報が、医師による被検者への対処が必要か否かを判断するための画像を含むことを特徴とする請求項1乃至8の何れか一項に記載の情報処理装置。
  10. 前記報知部は、前記傷病検出部による検出結果に基づいて、実施すべき検査を報知することを特徴とする請求項1乃至9の何れか一項に記載の情報処理装置。
  11. 前記報知部は、前記傷病検出部による検出結果に基づいて、検査の変更を推奨する報知をすることを特徴とする請求項1乃至10の何れか一項に記載の情報処理装置。
  12. 前記傷病検出部は、前記診断用画像に対して傷病検出を実施することを特徴とする請求項1乃至11の何れか一項に記載の情報処理装置。
  13. 前記位置決め用画像における傷病検出結果と、前記診断用画像における傷病検出結果とを比較する比較部を有することを特徴とする請求項12に記載の情報処理装置。
  14. 前記報知部は、前記比較部による比較結果に基づいた報知をすることを特徴とする請求項13に記載の情報処理装置。
  15. 前記傷病検出部は、前記画像取得部によって取得した位置決め用画像の特徴に応じて、傷病検出部における検出手法を選択することを特徴とする請求項1乃至14の何れか一項に記載の情報処理装置。
  16. 前記傷病検出部は、前記画像取得部によって取得した位置決め用画像を高画質化し、高画質化した位置決め用画像に対して傷病検出を実施することを特徴とする請求項1乃至15の何れか一項に記載の情報処理装置。
  17. 診断用画像の撮影範囲を決定するための位置決め用画像を取得する画像取得ステップと、
    前記画像取得ステップによって取得された前記位置決め用画像から傷病を検出する傷病検出ステップと、
    前記傷病検出ステップによる傷病検出結果を報知する報知ステップと、を有することを特徴とする情報処理方法。
  18. 請求項17に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2019198250A 2019-10-31 2019-10-31 情報処理装置、情報処理方法及びプログラム Active JP7471795B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019198250A JP7471795B2 (ja) 2019-10-31 2019-10-31 情報処理装置、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198250A JP7471795B2 (ja) 2019-10-31 2019-10-31 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021069699A true JP2021069699A (ja) 2021-05-06
JP7471795B2 JP7471795B2 (ja) 2024-04-22

Family

ID=75711872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198250A Active JP7471795B2 (ja) 2019-10-31 2019-10-31 情報処理装置、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7471795B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974650A (zh) * 2024-03-29 2024-05-03 北京大学人民医院 一种全身电子计算机断层扫描创伤检测系统及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163278A1 (en) * 2004-01-28 2005-07-28 Metz Stephen W. Methods and apparatus for anomaly detection
JP2006055235A (ja) * 2004-08-18 2006-03-02 Ge Medical Systems Global Technology Co Llc X線ct装置およびその撮影方法
JP2017108850A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 制御装置、制御方法、制御システム、及びプログラム
JP2017202310A (ja) * 2016-05-09 2017-11-16 東芝メディカルシステムズ株式会社 医用画像撮像装置及び方法
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
JP2019149005A (ja) * 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP2019153249A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2019154943A (ja) * 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163278A1 (en) * 2004-01-28 2005-07-28 Metz Stephen W. Methods and apparatus for anomaly detection
JP2006055235A (ja) * 2004-08-18 2006-03-02 Ge Medical Systems Global Technology Co Llc X線ct装置およびその撮影方法
JP2017108850A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 制御装置、制御方法、制御システム、及びプログラム
JP2017202310A (ja) * 2016-05-09 2017-11-16 東芝メディカルシステムズ株式会社 医用画像撮像装置及び方法
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
JP2019149005A (ja) * 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム
JP2019153249A (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2019154943A (ja) * 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974650A (zh) * 2024-03-29 2024-05-03 北京大学人民医院 一种全身电子计算机断层扫描创伤检测系统及计算机设备

Also Published As

Publication number Publication date
JP7471795B2 (ja) 2024-04-22

Similar Documents

Publication Publication Date Title
KR102507711B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 및 컴퓨터 판독가능 매체
JP7114358B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US20220175325A1 (en) Information processing apparatus, information processing method, information processing system, and program
JP6930283B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP7406892B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
CN110827956A (zh) 用于识别医学图像采集参数的系统和方法
KR102245189B1 (ko) 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
WO2020075345A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US20220005584A1 (en) Information processing apparatus, information processing method, and storage medium
WO2003071779A1 (en) System and method for generating movie loop display from medical image data
JP2016116774A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP7490741B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2019198376A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理システム
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP7349870B2 (ja) 医用画像処理装置、断層撮影装置、医用画像処理方法及びプログラム
JP7471795B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7144129B2 (ja) 医用画像診断装置及び医用情報管理装置
JP2020173614A (ja) 医用情報処理装置及び医用情報処理プログラム
JP2020010823A (ja) 医用情報処理装置、医用情報処理システム及び医用情報処理プログラム
EP4084010A1 (en) Method for operating an evaluation system for medical image data sets, evaluation system, computer program and electronically readable storage medium
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
US20190251691A1 (en) Information processing apparatus and information processing method
CN113631080A (zh) 信息处理装置和信息处理方法
JP2020121012A (ja) 眼科情報処理装置、学習済モデル、学習装置、眼科情報処理方法、及びプログラム
US20120087560A1 (en) Method and system for transfer of image data files

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410

R150 Certificate of patent or registration of utility model

Ref document number: 7471795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150