以下、添付の図面を参照して、本実施形態に係る画像処理装置について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は本明細書及び図面に開示された構成に限定されるものではない。
<実施形態1>
実施形態1における診断支援装置(画像処理装置)は、診断の対象となる医用画像を取得し、取得した医用画像の画像処理結果を用いて医用画像上に支援情報を提示することにより当該医用画像に関する診断支援を行う。
本実施形態では、眼科領域における光干渉断層画像(以下、単に断層画像と称する)に対し画像処理を行い、画像処理結果を基に所見を同定し、その情報を断層画像上に提示する場合を例として説明する。なお、本実施形態では、断層画像は視神経乳頭と中心窩(黄斑部)とを通る方向で撮影した1枚の眼底の2次元画像であるものとする。以下、視神経乳頭と中心窩とを通る方向で撮影した画像をHスキャン像と称する場合がある。もちろん画像処理の対象はこれに限定されるものではない。例えば、断層画像は視神経乳頭および黄斑部のうちいずれか一方のみを含む画像であってもよいし、視神経乳頭および黄斑部を含まない画像であってもよい。また、以下に示す所見等は、何れも診断支援装置の処理の工程を説明するための一例に過ぎない。なお、以下に示す実施形態においては医用画像として主に眼底の断層画像に対する画像処理について説明を行うが、前眼の断層画像に対して以下に示す画像処理を適用することとしてもよい。
図1は、実施形態1における診断支援装置100の機能構成の一例を示す図である。なお、診断支援装置100は例えばデスクトップ型のPC、ノート型PCまたはタブレット型PCである。本実施形態における診断支援装置(画像処理装置)100は、光干渉断層計200と有線または無線を介して接続されている。光干渉断層計200は、例えばSD(Spectral−Domain)−OCT、SS(Swept−Source)−OCTまたはPS(Polarization−Sensitive)−OCTからなる。なお、光干渉断層計200は既知の装置であるため、詳細な説明は省略する。光干渉断層計200は、眼底に近赤外線光を当てることにより得られた戻り光と参照光との干渉を利用して網膜の断層を示す断層画像(すなわち、医用画像)を取得する。そして、光干渉断層計200は、取得した医用画像と、撮影情報(画像の種類、撮影部位、撮影サイズ、スキャンパターン、等)に関するデータを、USBやLAN等の通信を介して診断支援装置100へと出力する。撮影情報には例えば、画像の種類は「OCT」、撮影部位は「黄斑部」、撮影サイズは「12mm」、スキャンパターンは「ラインスキャン」等という情報が含まれる。その他の例では、撮影情報には、画像の種類は「OCT」、撮影部位は「視神経乳頭部」、撮影サイズは「6mm」、スキャンパターンは「3Dスキャン」等という情報が含まれる。なお、撮影情報はこれに限るものではなく、上記に記載した全ての情報が必ずしも必要ではない。画像の種類はOCTだけではなく、SD−OCT、SS−OCTやPS−OCTなどOCTの種類まで情報に含めることとしてもよい。また、撮影サイズの単位は長さではなく角度でもよい。なお、画像の種類とは、例えば、OCT像(光干渉断層計により得られた断層画像)、単純X線像、CT像といったような、モダリティに応じた医用画像の種類である。
診断支援装置100は、医用画像取得部102、記憶部104、解析情報取得部106、画像処理部108、判定部110、位置取得部112、表示制御部116および表示部118を備える。
医用画像取得部102は、光干渉断層計200から診断支援装置100へ送信された医用画像、医用画像の撮影情報に関するデータを取得する。なお、医用画像および医用画像の撮影情報を記憶部104に保存しておき、ユーザからの要求に応じて記憶部104から読み出す構成であってもよい。あるいは、診断支援装置100にSSD、HDD、FDD、USBメモリ、CDドライブ、DVDドライブ、MOドライブ、ZIPドライブ等の不図示の外部記憶装置を接続し、医用画像取得部102は外部記憶装置から前記の情報を取得するようにしてもよい。本実施形態では、医用画像取得部102は光干渉断層計200から断層画像および断層画像の撮影情報に関するデータを取得するものとする。すなわち、医用画像取得部102は被検眼の断層画像を取得する取得手段の一例に相当する。
医用画像取得部102は、取得した医用画像を画像処理部108と表示制御部116とに、撮影した医用画像の撮影情報に関するデータを解析情報取得部106へと出力する。
記憶部104は、例えば、診断対象となる医用画像の部位毎に診断対象の画像に付与されるべき複数の所見の候補を含む第1のテーブル情報と、それぞれの所見の候補に対応する画像処理のパラメータを含む第2のテーブル情報とを記憶している。この画像処理のパラメータは、複数の所見の候補のそれぞれを特定するための画像処理に用いられるパラメータである。第1のテーブル情報、第2のテーブル情報のデータ構成の詳細については図5(a),(b)を用いて後述する。
解析情報取得部106は、医用画像取得部102が取得した医用画像の種類と部位に関する情報とを基に、記憶部104から解析情報(画像処理のパラメータ)を取得する。具体的には、解析情報取得部106は、記憶部104に記憶された第1のテーブル情報から、医用画像取得部102から受け取った医用画像の種類および部位に対応する複数の所見の候補を取得する。さらに、解析情報取得部106は、取得した複数の所見の候補を基に、記憶部104に記憶された第2のテーブル情報から、それぞれの候補に対応する画像処理のパラメータを取得する。そして、解析情報取得部106は、複数の所見の候補を判定部110に、画像処理のパラメータを画像処理部108へと出力する。
画像処理部108は、医用画像取得部102が取得した医用画像と、解析情報取得部106が取得した画像処理のパラメータとに基づいて、医用画像に対して画像処理を施す。画像処理部108は、画像処理の結果を判定部110及び位置取得部112へと出力する。
判定部110は、解析情報取得部106が取得した複数の所見の候補と、画像処理部108が実行した画像処理の結果とに基づいて、複数の所見の候補のうちどの所見が医用画像に存在するか否かを判定する。すなわち、判定部110は、どの所見の候補が医用画像に該当する所見か否かを判定する。判定部110は、判定結果を位置取得部112へと出力する。
位置取得部112は、画像処理部108が実行した画像処理の結果と、判定部110で該当すると判定された所見の候補とに基づいて、所見に対応する病変(異常部位)の医用画像における位置を示す情報を取得する。位置を示す情報の取得については後述する。位置取得部112は、取得した位置を示す情報を、判定部110で該当すると判定された所見の候補と紐づけて表示制御部116へと出力する。
表示制御部116は、医用画像取得部102が取得した医用画像と、位置取得部112が取得した該当すると判定された所見の候補に紐づいた医用画像における位置を示す情報とを基に表示を制御する。所見の候補に紐づいた医用画像における位置とは、所見に対応する病変(異常部位)の医用画像における位置である。具体的には、表示制御部116は、医用画像を表示部118に表示させ、表示された医用画像に、該当すると判定された所見の候補を重畳表示させる。なお、表示制御部116は、所見の位置を示す表示(後述するマーカ等)を表示部118に表示させることとしてもよい。
表示部118は、表示制御部116により制御された表示内容を表示する。なお、表示部118は診断支援装置100に含まれることとしているが、これに限定されるものではなく、表示部118は診断支援装置100と別体であってもよい。
なお、図1に示した診断支援装置100の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では各部はそれぞれソフトウェアにより実現されているものとする。
図2(a)、(b)は、診断支援装置100のハードウェア構成の一例を示す図である。CPU1001は、主として各構成要素の動作を制御する。主メモリ1002は、CPU1001が実行する制御プログラムを格納したり、CPU1001によるプログラム実行時の作業領域を提供したりする。磁気ディスク1003は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。CPU1001が主メモリ1002、磁気ディスク1003に格納されているプログラムを実行することにより、図1に示した診断支援装置100の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。
表示メモリ1004は、表示用データを一時記憶する。モニタ1005は、表示部118の一例であり、例えばCRTモニタや液晶モニタ等であり、表示メモリ1004からのデータに基づいて画像やテキスト等の表示を行う。マウス1006及びキーボード1007は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス1008により互いに通信可能に接続されている。
なお、図2(a)におけるモニタ1005、マウス1006及びキーボード1007は、図2(b)に示すようにタッチパネルモニタ1015で置き換えてもよい。これは、例えば、タッチパネル液晶等であり、表示メモリ1004からのデータに基づいて画像やテキスト等の表示を行うと共に、ユーザによるポインティング入力及び文字等の入力を受け付ける。なお、タッチパネル1015に加えてマウス1006及びキーボード1007を設けることとしてもよい。タッチパネル1015が設けられた装置において患者を選択する場合、表示部118に表示された複数の患者情報(患者ID)のうち一の患者情報を操作者がタップすることで所望の患者情報が仮選択される。そして、仮選択が行われた後に操作者がスワイプを行うことで患者情報が選択される。なお、スワイプを行うタッチパネル上の位置は、所望の患者情報が表示された位置とは異なる位置であってもよい。CPU1001は上記のタップおよびスワイプの動作を検出して所望の患者情報を選択する。すなわち、CPU1001は、表示手段にリスト状に表示された複数の患者情報のうち一の患者情報がタップされた場合に前記一の患者情報を仮選択し、前記タップ後スワイプが行われた場合に前記一の患者情報を選択する選択手段の一例である。患者情報が選択されると医用画像取得手段102は、選択手段により選択された患者情報に対応する断層画像を取得する。このような患者情報の選択方法を採用することで、小さな文字で表示された複数の患者情報から操作者の意図に沿った患者情報を容易に選択することが可能となる。例えば、ダブルタップで患者情報を選択する場合には同じ箇所をタップ出来ずに所望の患者情報を迅速に選択できないという課題を上記の患者情報の選択方法により解決している。
次に、図3(a)のフローチャートを用いて、診断支援装置100が行う処理の一例を説明する。図3(a)は、診断支援装置100が行う処理の一例を示すフローチャートである。本実施形態では、CPU1001が主メモリ1002に格納されている各部の機能を実現するプログラムを実行することにより図3に示す処理が実現される。
ステップS3000において、医用画像取得部102は、光干渉断層計200から送信された医用画像と撮影した医用画像の種類に関する情報と医用画像の部位に関する情報とを取得する。本実施形態の例では、医用画像は光干渉断層計200で撮影した断層画像(Hスキャン像)であるので、医用画像取得部102は、医用画像の種類に関する情報として「OCT」を、医用画像の部位に関する情報として「黄斑部」を取得する。なお、医用画像の部位に関する情報は「黄斑部」に限定されるものではない。
ステップS3010において、解析情報取得部106は、ステップS3000で取得した医用画像の種類に関する情報と医用画像の部位に関する情報を基に、記憶部104に記憶された第1のテーブル情報から対応する複数の所見の候補を取得する。
図5(a)は、記憶部104に記憶された第1のテーブル情報の一例を示す図である。このテーブル情報には、被検眼の眼底の部位に画像の種類の情報が紐づいており、さらに画像の種類の情報に複数の所見の候補が紐づいて記憶されている。本実施形態の例の場合は、部位が「黄斑部」で画像の種類が「OCT」なので、解析情報取得部106は中心窩嚢胞様孔、繊維様嚢胞様孔、黄斑円孔などの複数の所見の候補を取得する。これは、部位および画像の種類に応じて判断出来る所見が異なるためである。なお、画像の種類に対し紐付けられている所見の候補は必ずしも複数である必要はない。例えば、部位がより細かく分類されている場合には画像の種類に対して紐付けられる所見の候補は1つの場合もあり得る。また、図5(a)の例において、画像の種類を省略して部位に対して所見を紐付けることとしてもよい。すなわち、第1のテーブル情報は図5(a)に示す例に限定されるものではない。
ステップS3020において、解析情報取得部106は、ステップS3010で取得した複数の所見の候補を基に、記憶部104の第2のテーブル情報から、複数の所見の候補のそれぞれを特定するために必要な画像処理のパラメータを取得する。本実施形態では、解析情報取得部106は、画像処理のパラメータを取得するために、所見の候補の情報の他に、ステップS3000で取得した医用画像の種類に関する情報も用いるものとする。
図5(b)は、記憶部104に記憶された第2のテーブル情報の一例を示す図である。例えば、所見が「繊維層嚢胞様孔」であり、画像の種類が「OCT」の場合は、「X:25%−75%、Z:30%−70%、画素値:10以下」という画像処理のパラメータが紐づけられている。解析情報取得部106は、このような画像処理のパラメータを、ステップS3010で取得した複数の所見の候補それぞれに関して取得する。ここで、Z:30%−70%は例えば、断層画像における網膜領域を示している。
本実施形態の例の場合は、医用画像の種類が「OCT」であり、ステップS3010で所見の候補として「中心窩嚢胞様孔」が取得されている。従って、解析情報取得部106は、第2のテーブル情報から「X:40%−60%、Z:30%−70%、画素値:10以下」という画像処理のパラメータを取得する。
なお、図5(b)の例において、画像の種類を省略して所見に対して画像処理パラメータを紐付けることとしてもよい。すなわち、第2のテーブル情報は図5(b)に示す例に限定されるものではない。
ステップS3030において、画像処理部108は、ステップS3000で取得された医用画像と、ステップS3020で取得された画像処理のパラメータとに基づいて、医用画像に対して画像処理を施す。なお、以下の例では断層画像は256階調のモノクロ画像で背景に相当する低反射領域は黒(画素値は0)だとする。
画像処理に関して図3(b)のフローチャートと図4とを参照して説明をする。図3(b)はステップS3030の処理の一例を詳細化したフローチャートである。図4(a)は断層画像の一例を示す図である。図4(a)において、400は断層画像、401は網膜層領域、402は黄斑部、403は内境界膜(ILM)あるいは神経線維層(NFL)上部、404は網膜色素上皮(RPE)を示す。さらに、図4(a)において、405は後部硝子体剥離、406は蓋、410は背景領域、420は視神経乳頭部領域、421は視神経乳頭部、430の網膜層上部の斜線領域は硝子体を示す。図4(a)に示すように断層画像には網膜を示す領域と背景領域410(網膜以外の領域)とが含まれている。
ステップS3031において、画像処理部108は断層画像のノイズ除去を行う。OCT撮影において、ラインスキャンまたはクロススキャン等では、光干渉断層計200は眼のトラッキングを行い空間的に同一とされる箇所を複数回撮影する。そして、同一箇所で撮影した複数枚の断層画像の位置合わせを行い、その断層画像間で対応する複数のピクセルで平均化処理をすることで断層画像のノイズ除去を行う処理が実施される。なお、ここでは例えば画像処理部108によって既に断層画像の位置合わせと平均化処理が行われているものとして説明をする。上述したように、画像処理部108が、複数回撮影された断層画像の位置合わせを行い、平均化処理をすることでランダムノイズが除去される。しかし、撮影時の被検眼の状態(固視不良)によっては、位置合わせ時の断層画像間の類似度が低下するため、類似度が所定閾値よりも低い所定の枚数の断層画像の平均化処理が出来ないことがある。その場合、平均化に用いる断層画像の枚数の違いによって画像のノイズレベルも異なる。例えば、図4(a)の領域410のヒストグラムを図4(b)と(c)に示す。図4(b)は平均化処理の枚数が少ない場合(例えば、1〜3枚)のヒストグラム411であり、図4(c)は平均化処理の枚数が多い場合(例えば、10枚以上)のヒストグラム412の例である。図4(b)、(c)の黒い部分が領域410のヒストグラムを示している。図4(b),(c)の縦軸は頻度、横軸は輝度を示している。図で示すように、平均化処理に用いた断層画像の枚数によってノイズが異なる。そのため、画像処理部108は、ノイズのレベルに応じてノイズ除去のパラメータを変更する。断層画像に対するノイズ除去の方法として、まず、画像処理部108は、断層画像の網膜内層の背景に相当する領域410(硝子体および強膜の少なくとも一方)からノイズを推定する。そして、画像処理部108は、ノイズ量に応じてノイズ除去に用いるメディアンフィルタやガウシアンフィルタ等のフィルタサイズを変更する。画像処理部108は、ノイズが多い場合にはフィルタサイズを大きくし、ノイズが少ない場合にはフィルタサイズを小さくする。これにより、ノイズ除去による画像のボケを少なくし、ノイズが多い場合にはノイズを除去する事が出来る。また、フィルタサイズの上限値は、1ピクセルあたりの物理サイズによって決めることが望ましい。例えば、1mmの範囲をAスキャン100本で撮影した場合と、50本で撮影した場合とでは、画像のピクセルに相当する画像範囲が異なってしまう。すなわち、X方向のノイズ除去フィルタのパラメータを10と設定した場合に、1ピクセルあたりの物理サイズは100本で撮影した方は0.1mm相当だが、50本で撮影した方は0.2mm相当となるため、同程度の範囲でノイズ除去を行うようにパラメータを調整する。
ステップS3032において、画像処理部108は断層画像の濃度正規化を行う。これは基準となる断層画像と処理の対象となる断層画像との輝度の濃淡レベルを可能な限り一致させる処理である。これにより、被検眼毎の画像の明るさの違いを吸収する。濃淡補正の方法としては、基準画像と対象画像とのヒストグラムを一致させる方法または、濃淡変換テーブルを用いて濃淡レベルを一致させる方法がある。また、背景が白(画素値は255)の断層画像の場合には、画像処理部108は白黒反転を行う。なお、本画像処理において断層画像の背景が黒の場合について説明をしているが必ずしもこれに限らない。断層画像の背景が白である場合を基準として考えてもよい。その場合、画像処理パラメータの閾値として画素値が10以下としているものは、画素値が245以上となる。
ステップS3033において、画像処理部108は視神経乳頭部の検出をする。黄斑疾患に関する場合には、視神経乳頭部領域を除去して処理を行い、視神経乳頭部に関する疾患の場合には、視神経乳頭部を抽出するためである。ここでは、一例として黄斑疾患の診断支援を行う場合について説明をする。その場合、画像処理部108は、断層画像から視神経乳頭部領域を除外する。図4(a)に示すように視神経乳頭部は断層画像において大きな陥凹形状をしている。そのため、画像処理部108は、断層画像から大きな窪み領域を検出する。あるいは、画像処理部108は、SLO画像や眼底写真(眼底画像)がある場合にはその画像から円形の視神経乳頭部を検出し、検出した視神経乳頭部を断層画像の撮影範囲と対応させることで断層画像から視神経乳頭部を検出するようにしてもよい。また、黄斑部中心の水平スキャンの場合、左目では向かって左側に視神経乳頭部があり、右眼では向かって右側に視神経乳頭部があるため、単純に断層画像の端部分(視神経乳頭部側)を無効領域としてもよい。なお、黄斑部中心の垂直スキャンの場合には視神経乳頭部は写らないため、本ステップの処理を実行する必要はない。
ステップS3034において、画像処理部108は網膜領域を検出する。具体的には画像処理部108は、断層像からILMとRPEとを検出し、これらの層境界に挟まれる領域を網膜領域として検出する。なお、ILMとRPEとに挟まれる領域に限らず、画像処理部108は、ILMおよびNFLの一方とRPEおよび視細胞内節外節境界(IS/OS)の一方とに挟まれる領域を網膜領域として検出することとしてもよい。
また、網膜領域は背景領域に比べて明るいので、画像処理部108は、判別分析法等を用いて2値化をし、画像の中から明るい領域を検出する。そして、画像処理部108は、モルフォロジー変換(ClosingやOpening)をして明るい領域を連結するとともに、ノイズ部分を除去する。画像処理部108は、その領域に対して中心線を求めて、中心線の上方で領域内の上方(例えば上端)にILMの初期境界線、中心線の下方で領域内の下方(例えば下端)にRPEの初期境界線を設定する。そして、画像処理部108は、その境界線に対してSnakesなどの輪郭線抽出アルゴリズムを適用して層境界の検出を行う。Snakesでは、形状エネルギーEshapeと画像エネルギーEImageとを定義し、繰り返し計算によりエネルギーを最小化する。形状エネルギーEshapeは、網膜層の形状が滑らかになるほどエネルギーが小さくなり、画像エネルギーEImageは、エッジ強度が強い所ほどエネルギーが小さくなるようにそれぞれ定義される。そのため、画像処理部108は、初期値で設定した境界線の全検出点を動かしながらエネルギーが最小になる箇所を見つけることで、初期の境界線は、層の境界(エッジが強い)でかつ滑らかな形状として最終的に出力される。すなわち、画像処理部108は、断層画像から層境界を抽出する抽出手段の一例に相当する。画像処理部108は上記の例ではILM(内境界膜)およびRPE(網膜色素上皮層境界)を抽出することとしているが、これに限定されるものではない。例えば、画像処理部108は、内境界膜および神経線維層境界の少なくとも一方および網膜色素上皮層境界および視細胞内節外節境界の少なくとも一方を抽出することとしてもよい。
通常、Snakesでは、層境界は滑らかな境界線として検出されるため、黄斑円孔で網膜層に穴が開いてしまった場合においてもILMの境界線は滑らかな境界線として検出される。網膜厚計測を行う場合には、境界線情報を基に計測を行うため、画像処理部108は、ここで検出したILMの境界線を基に、後述するステップS3037の硝子体存在領域の検出においてILM境界線の補正を行ってもよい。なお、層境界の検出には既知の種々手法を用いることとしてもよい。
ステップS3035において、画像処理部108は網膜位置の深さ方向(Z方向)における正規化を行う。網膜位置の正規化は事前に設定してある基準画像に合うようにステップS3034で求めた中心線を用いて網膜の深さ方向の位置を基準画像における網膜の位置に揃える。これは、所見候補検出時の位置を特定しやすくするため及び、断層画像に所見を表示するための場所を確保するために行う。
ステップS3036において、画像処理部108は黄斑部の候補領域を検出する。黄斑部は断層画像において小さな陥凹形状をしている。例えば、黄斑部の陥凹は視神経乳頭部の陥凹に比べて小さい。そのため、画像処理部108は断層画像から小さな窪み領域を検出する。あるいは、SLO画像や眼底写真(眼底画像)がある場合には画像処理部108はその画像から黄斑部を検出し、検出した黄斑部を断層画像の撮影範囲と対応させることで断層画像から黄斑部を検出するようにしてもよい。あるいは、黄斑部中心で撮影を行った場合、黄斑部は断層画像の中心付近となるため、画像処理部108は単純に断層画像の中心付近を黄斑部として検出してもよい。あるいは、画像処理部108はステップS3033で検出した視神経乳頭部の位置を基準として黄斑部を検出するようにしてもよい。視神経乳頭径(DD)と乳頭中心から黄斑中心窩までの距離(DM)の比は通常、2.4から3.0であるため、画像処理部108はその比を用いておおよその黄斑部領域を特定するようにしてもよい。
ステップS3037において、画像処理部108は硝子体領域(図4(a)の斜線部430)を検出する。画像処理部108は、ステップS3034で検出した網膜領域(或いはILM)を基準として断層画像でZ方向の浅部側(上側)を硝子体領域として検出する。さらに、画像処理部108は、硝子体領域内において細線化処理を実行して、後部硝子体剥離候補として405を抽出することとしてもよい(図5(b)参照)。なお、後部硝子体剥離候補405の抽出はステップS3038で行うこととしてもよい。ここで、硝子体存在領域430検出後に画像処理部108がILMの補正を行う場合について説明をする。黄斑円孔により黄斑部に穴が開いている場合、滑らかな線として検出されたILM境界線は硝子体存在領域430を横切る。ILM境界線により硝子体領域430が分割されるため、その箇所に関しては、ILM境界線の再検出を行うようにしてもよい。
次に、ステップS3038において、画像処理部108は複数の所見の候補にそれぞれ対応する画像処理のパラメータに基づいて、画像処理(病変候補の領域抽出)を行う。ここでは「繊維層嚢胞様孔」の画像処理のパラメータ「X:25%−75%、Z:30%−70%、画素値:10以下」を例とし説明する。この場合、前処理で正規化された断層画像に対して画像処理部108は上記の画像処理のパラメータに従い、断層画像のX座標が25%−75%、Z座標が30%−70%の矩形範囲に対して画素値が10以下である画素を抽出する。このような処理を複数の所見の候補夫々について行う。また、本実施形態では断層画像は1枚であるが、断層画像が複数存在する場合には複数の断層画像それぞれに対して上記の処理を行う。
図3(a)のステップS3040に戻る。ステップS3040において判定部110は、ステップS3020で取得した複数の所見の候補と、ステップS3030で実行した画像処理の結果とに基づいて、複数の所見の候補夫々が該当するか否か(断層画像に存在する所見か否か)を判定する。
例えば、「繊維層嚢胞様孔」に対しては、判定部110は、抽出した画素において隣接している画素を一つの領域とし、夫々の領域に対して縦横比(短辺/長辺)を計算する。そして、判定部110は例えば縦横比が0.7以下となる領域を「繊維層嚢胞様孔」に該当すると判定する。あるいは「後部硝子体剥離」の場合は、判定部110は細線化処理により抽出した線の長さが閾値以上(例えば、画像のX方向の長さの20%)である場合に「後部硝子体剥離」に該当すると判定する。すなわち、画像処理部108および判定部110は、取得手段により取得した断層画像に対して構造解析を行うことで被検眼の異常部位を検出する検出手段の一例に相当する。
なお、これらの判定基準は第2のテーブル情報の一部として記憶されていてもよいし、記憶部104が判定基準を記憶した不図示の第三のテーブル情報を有するように構成してもよい。
また、ステップS3038において、Z座標が30%−70%の領域を処理対象としているが、層境界の検出結果を用いて処理対象の領域を決定することとしてもよい。例えば、Z座標が30%−70%の領域をILMとRPEとによってはさまれる領域(第1領域の一例)に置き換えることとしてもよい。すなわち、繊維層嚢胞様孔の領域(第1異常部位の一例)を検出するために、画像処理部108は断層画像のX座標が25%−75%で且つILMとRPEとによってはさまれる領域に対して画素値が10以下である画素を抽出することとしてもよい。また、図5(b)の第2のテーブルに示すように、画像処理部108は後部硝子体剥離の領域(第2異常部位の一例)を検出するために層境界の検出結果であるILMより上側の領域(第2領域の一例)で細線化処理を行う。すなわち、画像処理部108および判定部110は、抽出手段により抽出された層境界(例えばILM)により画定される断層画像における第1領域と第2領域とに対して異なるアルゴリズムの構造解析を適用することで、第1領域から第1異常部位を検出し、第2領域から第1異常部位とは異なる第2異常部位を検出する。
なお、内境界膜および神経線維層境界の一方と網膜色素上皮層境界および視細胞内節外節境界の一方とにより挟まれる領域を第1領域としてもよい。また、内境界膜および前記神経線維層境界の一方より硝子体側の領域を第2領域としてもよい。そして、上記のように定義された第1領域および第2領域それぞれの領域に対して異なるアルゴリズムの構造解析を適用することで第1異常部位および第2異常部位を生成してもよい。
図6はステップS3030における画像処理結果の一例と、ステップS3040における判定の結果の一例とを示した図である。図6に示すRPE層610とILM620とは、断層画像600に対しステップS3030の処理によって抽出された層境界である。
繊維層嚢胞様孔の該当領域630と繊維層嚢胞様孔の非該当領域635は、ステップS3030において、「繊維層嚢胞様孔」に対応する画像処理のパラメータにより抽出された領域を示す。図6に示すように、繊維層嚢胞様孔の該当領域630では、縦横比が0.7以下(すなわち、横長)であるため、判定部110は、該当領域630は「繊維層嚢胞様孔」に該当すると判定している。一方、繊維層嚢胞様孔の非該当領域635では、縦横比が0.7を超えているために、判定部110は「繊維層嚢胞様孔」に該当しないと判定している。同様に、後部硝子体剥離該当部640は、ステップS3030において、「後部硝子体剥離」に対応する画像処理のパラメータにより抽出された線を示す。この例の場合は、線のX方向の長さが閾値である画像のX方向の長さの20%を超えているので、判定部110は「後部硝子体剥離」に該当すると判定する。このような判定を複数の所見の候補夫々について行う。図6の例では、上述の所見の他に、黄斑円孔650や蓋660が該当する所見として判定される。なお、本実施形態において上記のようにコンピュータ(診断支援装置100)が判定した所見をCAD所見と称する。
ステップS3050において、位置取得部112は、ステップS3030で実行した画像処理の結果と、ステップS3040で該当すると判定した所見の候補とに基づいて、所見に対応する医用画像の位置を示す情報(所見の位置を示す情報)を取得する。位置を示す情報は位置が特定できる情報であればどのような情報であってもよいが、本実施形態において、位置取得部112は、所見に該当すると判定された画像領域を内包する矩形の情報(例えば頂点の4つの座標)を、所見の位置を示す情報として取得する。言い換えれば、位置取得部112は、所見に該当すると判定された画像領域に外接する矩形の情報(例えば矩形の4つの頂点の座標)を、所見の位置を示す情報として取得する。なお、位置取得部112が取得する情報は画像領域を内包あるいは画像領域に外接する矩形の情報に限るものではなく、画像領域を含んでいれば矩形以外の形状であってもよい。
図6に示した例では、位置取得部112は、ステップS3040で「繊維層嚢胞様孔」と判定された領域に対して繊維層嚢胞様孔位置情報632、「後部硝子体剥離」と判定された領域に対して後部硝子体剥離位置情報642を取得する。ここで、繊維層嚢胞様孔位置情報632は繊維層嚢胞様孔の該当領域630に外接する矩形領域の位置情報であり、後部硝子体剥離位置情報642は後部硝子体剥離の該当領域640に外接する矩形領域の位置情報である。
位置取得部112は、このような所見の位置を示す情報の取得を、判定した複数の所見の候補夫々について行う。図6に示した例では、他に、黄斑円孔位置情報652と、蓋位置情報662が取得される。なお、同一所見の位置を示す情報はそれぞれの領域に関して取得してもよいし、それぞれの領域に優先度を付与し、優先度の最も高い領域の位置を示す情報を、その所見の位置を示す情報として取得してもよい。優先度は、例えば矩形面積の大きさ、画像中央からの距離、画像端からの距離の少なくとも一つによって決めることができる。例えば、断層画像において同一所見が複数存在する場合には、矩形面積が大きい所見を優先し、同一所見のうち矩形面積が大きい所見のみの位置を示す情報を取得することとしてもよい。
ステップS3060において、表示制御部116は、表示部118に表示させる内容を制御する。そして、表示部118は、表示制御部116で制御された表示内容を表示する。
具体的には、ステップS3050で取得した、ステップS3040において該当すると判定された所見の断層画像における位置を示す情報を用いて、ステップS3000で取得した断層画像上に、該当すると判定された所見の情報を重畳表示させる。より具体的には、表示制御部116は断層画像を表示部118に表示させるとともに、断層画像上に所見を文書或いは単語として重畳表示させる。すなわち、表示制御部116は、検出手段により検出された異常部位の所見を文書或いは単語として断層画像に重畳して表示手段に表示させる表示制御手段の一例に相当する。また、表示制御部116は所見に該当すると判定した画像領域(異常部位)の位置に対応する断層画像上の位置に所見を表示させる。
本実施形態では、表示制御部116は、各該当する所見に対して、以下の表示規則に従い、断層画像への重畳表示の位置を決定するものとする。(1)該当すると判定された他の所見の位置を示す情報の上には重畳表示しない。(2)所見の文字情報は、RPE層よりZ方向下側かILMよりZ方向上側に表示する。すなわち、所見の文字情報を網膜に重畳させない(3)該当すると判定された所見の位置を示す情報がZ方向においてRPE層とILMとの間にある場合には、当該情報が示す所見の位置の近傍にマーカ(例えば矢印など)を付与する。もちろん、表示規則は上記の例に限定されるものではない。例えば、条件(2)を、所見の文字情報は内境界膜および神経線維層境界の一方と網膜色素上皮層境界および視細胞内節外節境界の一方とに挟まれる領域以外の領域に表示させるという条件に変更してもよい。また、条件(2)を所見の文字情報の少なくとも一部はRPE層よりZ方向下側かILMよりZ方向上側に表示するという条件に変更することとしてもよい。このように条件を変更しても文字情報の全てが断層画像に重畳されることはなく、断層画像の視認性の低下を防ぐことが可能である。なお、条件(3)においてマーカを表示させるとともに、RPE層よりZ方向下側の領域およびILMよりZ方向上側の領域のうち該当する所見に対応する画像領域に近い方の領域に所見の文字情報を表示させることとしてもよい。このようにすれば、図7で示すマーカ712が不要に大きくなることによる断層画像の視認性の低下を防ぐことが可能となる。
図7は表示部118が表示する表示内容の一例を示したものである。表示部118が表示する表示内容700は、症例情報701、対象となる症例の断層画像710、断層画像に重畳表示する所見711、マーカ712、及び、対象となる症例の断層画像に対応する眼底画像715、眼底画像715に重畳表示する水平矢印717を有する。水平矢印717は断層画像710の眼底像上における取得位置を示している。さらに、解析処理結果画像720、モード730、表示情報740、オプション750、画像処理パラメータ760を有する。
表示制御部116は、前述した表示規則および所見711の位置を示す情報に基づいて所見711の文字情報を断層画像に重畳表示させる。例えば、「繊維層嚢胞様孔」に関しては、繊維層嚢胞様孔の領域713の位置を示す情報がZ方向においてRPE層とILMとの間にあるので、RPE層よりZ方向下側に所見711の文字情報が表示される。なお、本実施形態では、繊維層嚢胞様孔の領域713がILMよりZ方向上側の領域よりRPE層よりZ方向下側の領域に近いため「繊維層嚢胞様孔」という単語をRPE層よりZ方向下側の領域に表示させている。さらに、所見711の位置を示す情報の近傍にマーカ712が付与される。すなわち、異常部位である繊維層嚢胞様孔の領域713の近傍にマーカ712が表示される。また、「後部硝子体剥離」に関しては、「後部硝子体剥離」の位置を示す情報がILMよりZ方向上側にあるので、文字情報がILMに重ならないように、「後部硝子体剥離」の位置を示す情報の近傍に所見711の文字情報が表示される。図7に示す例では、検出された硝子体剥離部分に文字情報が重ならないように所見711の文字情報が表示されている。なお、文字情報の少なくとも一部が検出された硝子体剥離部分に重ならないように所見711の文字情報が表示させることとしてもよい。
上記の処理と同様に、「黄斑円孔」や「蓋」についても異常部位の近傍に所見711の文字情報が表示される。なお、表示される所見711の文字情報は、「後部硝子体剥離」のように単語であってもよいし、「後部硝子体に剥離がある」のように文書であってもよい。
解析処理結果画像720は、上述の画像解析結果を示す画像である。解析処理結果画像720には、硝子体領域721(斜線部分)、蓋722、繊維層嚢胞様孔723、後部硝子体剥離724、ILM725、網膜層領域726、RPE727、脈絡膜下領域728を示している。これらは、所見711を出力する基となった断層画像に対する画像解析の解析結果を表示している。本実施形態では、病変部(異常部位)として、蓋722、繊維層嚢胞様孔723、後部硝子体剥離724を検出する例を示しているが、これに限らない。黄斑上膜、網膜萎縮、硬性白斑などが存在する場合には、それらを検出した結果を示すようにする。なお、解析処理結果画像720は表示してもよいし表示しなくてもよい。
モード730は表示モードを示す。本実施形態では診断画像モード731として断層画像に所見を表示するモードを示す。後述する実施形態(図11,14)においてはモード730として複数のモードが選択可能なインターフェースが表示される。
表示情報740は、断層画像上に表示される情報を選択するユーザインターフェースである。医師等のユーザは、表示されたユーザインターフェースを例えばクリックまたはタップすることで断層画像上に表示される情報を切換えることが可能である。ユーザインターフェースとして、断層画像710に層検出の結果、医師による所見、CADによる所見、手書きメモなど、全ての情報の重畳表示をON/OFFする診断画像表示741が表示部118に表示されている。さらにユーザインターフェースとして、重畳表示する情報を個別に切り替えるために、層検出結果の表示ON/OFFを切り替える層検出表示742が表示部118に表示されている。加えて、医師により確定された所見の表示ON/OFFを切り替える医師所見表示743が表示部118に表示されている。また、ユーザインターフェースとして、CADにより検出した所見の表示ON/OFFを切り替えるCAD所見表示744、手書きメモの表示ON/OFFを切り替える手書きメモ表示745が表示部118に表示されている。表示情報740を指定するためのユーザインターフェースは例えばボタンやチェックボックス等とする。
所見は、CAD所見だけではなく医師が確定した所見も存在する。CAD所見は、コンピュータにより判定された所見を示し、医師による所見は、コンピュータが出力した所見について確定(承認)したもの或いはCADによる所見を修正したものとする。なお、医師が新たに追加した所見であってもよい。CAD所見の確定については、不図示の承認チェックボックス等を医者等の操作者が選択することでCAD所見の確定を行うことが可能である。その場合は、複数のCAD所見を一括で確定することが可能である。なお、マウスを持つPC装置であれば、チェックボックスをクリックしてCAD所見を選択することでCAD所見の確定を行うことが可能である。例えばチェックボックスは所見711のそれぞれの近傍に表示される。また、タッチパネルモニタであれば、画面のタップによりCAD所見を選択することでCAD所見の確定を行うことが可能である。一括確定の場合、チェックボックスではなく、所見711の存在しない断層画像711でのダブルクリックやダブルタップなどにより所見の一括確定としてもよい。なお、CAD所見の修正方法としては、表示部118に表示された所見711をタップまたはクリックすることで所定の所見711が選択し、選択した所見711に対して医師等がキーボード1007などを用いて修正を行うことが可能である。
また、個別に所見711を選択して確定を選択することとしてもよい。その場合、所見上で右クリックをしてメニューを表示させ、メニューに含まれる「確定」を選択してもよいし、所見711上でのダブルクリックやダブルタップなどにより確定させてもよい。さらには、所見711をタッチで仮選択とし、仮選択状態でタッチパネルモニタ上をスライドジェスチャ(スワイプ)する事により確定としてもよい。所見の修正の場合、所見711を選択すると他の所見名をリストボックスとして所見711近傍に表示をし、その中から任意の所見を選択することで確定することとしてもよい。また、不要な所見削除の場合は、所見711を選択してメニューから削除を選択するか、所見711を断層画像710の外までドラッグすることで削除することが可能である。すなわち、表示制御部116は、所見711に対する操作を検知して所見711を表示画面から削除することが可能である。
また、所見の一括確定、個別確定共に、確定の解除機能を持つものとする。チェックボックスの場合は、チェックボックスのチェックを外せばよい。また、ダブルクリックやダブルタップの場合は、再度同じ操作をすることで解除する事も可能とする。
所見には医師が確定した所見も含むため、CAD(診断支援装置100)が判定した所見とでは文字の色を変えて表示するのが望ましい。例えば、CAD所見は赤色とし、医師の所見は青色とする。このようにすれば、一見してどの所見がCADによるものか医師によるものかを容易に把握することが可能となる。なお、文字の色に限らずアイコンをつける、単語の周りを矩形で囲む、文字に影を付ける、フォントを変える等、CAD所見と医師による所見との違いが分かる表示であればよい。例えば、CAD所見をキーボード1007等を介して入力された医師の修正を表示制御部116が受け付けた場合、表示制御部116は所見711を医師による修正前後で異なる表示形態で表示させることとしてもよい。例えば、修正前後で所見711は文字の色が表示制御部116によって変更される。すなわち、表示制御部116は、操作者による表示手段に表示され記所見に対する修正を受け付ける受付手段の一例に相当すし、修正された所見を修正前と異なる表示形態で表示手段に表示させる。
なお、表示制御部116が、文字の色を変更するタイミングは医師により変更が行われた直後であってもよいし、不図示の承認チェックボックス等を選択することで修整を確定させたタイミングであってもよい。
さらには、所見の種類に応じて表示制御部116は所見711の文字の色を変えて表示部118に表示させるようにしてもよい。その場合、CADによる所見と医師による所見とではアイコンやフォント等を変えることとし、同じ所見では同じ色とする。例えば、黄斑円孔は水色、蓋は紫色などとし、CADによる所見は斜体、医師による所見は太字等とする。
また、手書きメモとして所見の他に任意のコメントを記入出来るものとする。手書きメモと所見入力との違いについて以下に示す。文字入力時に不図示の手書きメモ入力か所見入力かを選択する選択部を設け、医師等による選択に基づいてCPU1001が手書きメモ入力か所見入力かを判定することとしてもよい。あるいは、所見入力の場合は事前に登録された所見辞書の中から所見の単語を選択して追加をし、自由入力は手書きメモとする。あるいは、入力された単語の文字解析を行い、所見辞書に登録されている単語は所見であると判断する。あるいは、CADが出力した所見を修正したものや医師によってCADが出力した所見を確定したものを所見とし、自由入力は手書きメモとする。
オプション750は、断層画像に対する処理を行うため、またはCADの情報を表示するためのユーザインターフェースである。医師等のユーザは、表示されたユーザインターフェースを例えばクリックまたはタップすることで画像処理部108による断層画像に対する処理の実行または表示制御部116によるCADの情報の表示を行うことが可能である。オプション750として、白黒反転表示751、傾き補正表示752、ノイズ除去753、濃度補正754、CAD詳細755というユーザインターフェースが表示されている。表示画像の白黒反転を指定する白黒反転表示751は、断層画像の表示色を低反射領域を黒とし高反射領域を白とする表示か、低反射領域を白とし高反射領域を黒とする表示とを切り替えるためのユーザインターフェースである。傾き補正表示752は、網膜層の傾き補正を行うためのユーザインターフェースである。これは、画像処理パラメータ760に基づいて表示する網膜層の傾きを補正する。ノイズ除去753は、画像処理パラメータ760に基づいて断層画像からノイズ除去を行うためのユーザインターフェースである。濃度補正754は、断層画像のWW/WLの補正を行うためのユーザインターフェースである。CAD詳細755は、解析処理結果画像720および画像処理パラメータ760の表示のON/OFFを選択するためのユーザインターフェースである。すなわち、解析処理結果画像720と画像処理パラメータ760は、CAD詳細755が選択されている時に表示制御部116によって表示部118に表示される。また、解析処理結果画像720には、解析処理を実行中の途中結果を随時表示するようにしてもよい。なお、画像処理パラメータ760の欄には、画像処理に必要なパラメータの項目761と、その数値762等を表示し、ここに表示した数値に基づいて処理が実行される。なお、数値762はマウス1006及びキーボード1007等を用いて編集可能とする。
図8に本実施形態における別の表示例について示す。図8では、図7における解析処理結果画像720と画像処理パラメータ760との箇所が異なり、解析データ820と解析値860とが表示される。それ以外の表示は図7に示す例と同じである。これらの表示はCAD詳細755のON/OFFによって切り替えられる。診断画像モード731ではCAD詳細755のONをデフォルト状態としているが、不図示の設定によりCAD詳細755のOFFをデフォルト状態として、解析データ820と画像解析値860の表示をデフォルトとしてもよい。解析データ820では、統計的な正常眼データベース821と、表示している断層画像710の層厚グラフ822を示している。正常眼データベース821は、例えば、「正常値の上限の外側」の範囲(99%以上)、「上側の境界線」の範囲(95%−99%)、「正常値」の範囲(5%−95%)、「下側の境界線」の範囲(1%−5%)、「正常値の下限の外側」の範囲(1%以下)で色分けがされている。層厚グラフ822は、正常眼データベース821と比較することで、網膜層の厚みが正常から外れる範囲に関してみる事が出来る。画像解析値860は、ステップS3030の画像処理とステップS3040の所見候補の判定の結果とにより、判定された病変のサイズや数等について計測した結果である。
本実施形態によれば、診断支援装置100は、医用画像の部位の情報を基に該当する所見の候補と所見の候補を導出に関する画像処理のパラメータを取得する。そして、取得した画像処理のパラメータを基に画像処理を行い、該当する所見の判定と位置を特定し、これらの結果を提示する。そうすることで、医師は医用画像上で該当すると判定された所見とその位置、および、解析結果を確認することができる。これにより、医師は現在対象としている医用画像の状態と、診断名を閲覧可能となるため、診断に係る負担を軽減させることができる。
より具体的には、本実施形態によれば、断層画像上に所見が表示されるため、医師等は断層画像と所見との関係を容易に把握することが可能となる。また、所見は断層画像における異常部位の位置に対応して表示されるため異常部位と所見との関係を医師等は容易に把握することが可能となり、迅速な診断が可能となる。
さらに、所見を断層画像における網膜領域に極力重ならないように表示するため断層画像自体の視認性の低下を防ぎながら、断層画像上に所見を表示させることができる。
<実施形態2>
実施形態1では、診断の対象となる医用画像を取得し、画像処理結果を用いて医用画像上にCAD所見等の支援情報を提示するとともに、画像処理の解析画像や解析データを提示した。本実施形態では、医用画像上に支援情報を提示するとともに、類似症例(類似画像)の結果を提示する場合について説明をする。
図9を用いて実施形態2における診断支援装置900の機能構成の一例について説明を行う。診断支援装置900は、図1に対して、検索部914、データベース300が機能的に追加される。データベース300は有線または無線を介して診断支援装置900と通信可能に接続されている。データベース300は医用画像とその画像に対応する所見および診断名とが紐づけられて格納されている。すなわち、データベース300は複数の断層画像それぞれを所見と対付けて記憶する記憶手段の一例に相当する。
また、データベース300に格納されている医用画像には性別および年齢等の患者情報が対応付けられている。そしてデータベース300は、診断支援装置900からの要求に対して、要求に対応する医用画像及び所見を診断支援装置900へと出力する。なお、データベース300は診断支援装置900内部の記憶部104に保存される構成であってもよい。検索部914は、判定部110で該当すると判定された所見の候補をキーとして、データベース300から、対象としている医用画像と類似する画像の情報を要求する。そして、検索部914は、データベース300から要求した情報を受信する。検索部914は、受信した画像の情報を対象としている医用画像との類似度とともに表示制御部116へと出力する。また、診断支援装置900のハードウェア構成は実施形態1における図2と同様である。即ち、CPU1001が主メモリ1002、磁気ディスク1003に格納されているプログラムを実行することにより、本実施形態の診断支援装置900の機能(ソフトウェア)及びフローチャートにおける処理が実現される。
診断支援装置900が行う処理の一例を説明するフローチャートを図10に示す。基本的に実施形態1における図3のフローと同じであるが、処理の一部が実施形態1とは異なっている。具体的には、類似画像の検索S10060と、情報の表示S10070が図3のフローとは異なる。以下、図10のフローチャート、図11の表示内容の一例を参照して、本実施形態における診断支援装置900が行う処理について、実施形態1との相違部分についてのみ説明する。
図10のフローチャートにおいてステップS3000乃至ステップS3050の処理は、実施形態1と同様であるため説明を省略する。
ステップS10060において、検索部914は、ステップS3040で該当すると判定された所見の候補をキーとして、データベース300から類似画像を取得する。すなわち、検索部914は、検出手段により検出された異常部位の所見と一致する所見に対応付けられた断層画像を記憶手段から取得する類似画像取得手段の一例に相当する。
なお、検索キーは、「後部硝子体剥離」または「黄斑円孔」等である。検索キーとする所見は複数であってもよいし一つであってもよい。なお、データベース300に格納された所見は、例えば、医師が事前に症例に対して特定した所見であり、データベース300には医師により特定された所見の位置に関する情報も含まれているものとする。データベース300に含まれる所見の情報は医師によって事前に特定された情報に代えて、教科書のような文献情報を用いたものであってもよいし、データベース用に収集した症例に対して医師が特定した所見の情報を用いてもよい。
検索部914による類似画像の取得方法は、検索キーが完全に一致するもののみをデータベース300から取得してもよいし、検索キーの一部が一致する類似画像を取得してもよい。例えば、複数の所見を検索キーとした場合に、複数の所見のうち一部の所見にのみ一致する類似画像を検索部914は取得することとしてもよい。あるいは何らかの方法により類似度を計算し、類似度の高い順に規定の数だけ画像を取得するようにしてもよい。本実施形態では、検索キーが完全に一致する画像のみを取得するものとする。類似度を用いる方法に関しては後述の変形例で説明する。
ステップS10070において、表示制御部116は、表示部118に表示させる内容を制御する。そして、表示部118は、表示制御部116で制御された表示内容を表示する。具体的には、ステップS3050で取得した、ステップS3040において該当すると判定された所見の医用画像における位置を示す情報を用いて、ステップS3000で取得した医用画像上に、該当すると判定された所見の情報を重畳表示させる。所見情報の表示規則は実施形態1と同様とする。さらに、表示制御部116は、ステップS10060で取得した類似する画像の情報を基に、類似する画像と、それに紐づいている診断名の情報とを、類似度の高い順に表示させる。本実施形態ではステップS10060で検索キーが完全に一致する画像のみを取得しているため、ステップS3000で取得した医用画像に係る患者情報に関して、同性で、年齢が近い類似画像から表示するものとする。あるいは、撮影の情報以外に生活習慣に関する情報を取得可能な構成であれば、生活習慣の項目を検索キーに追加してもよい。例えば、糖尿病の有無や喫煙の有無などの情報を用いて検索を実行してもよい。これらの他に、撮影日が近い情報から表示するようにしてもよい。また、本実施形態では、類似する画像と、それに紐づく診断名の情報をリストで管理し、リストの情報を表示するとともに、リスト中の一つの症例をステップS3000で取得した医用画像と対比可能な形で表示する。なお、対比可能な形で表示する一つの症例は、診断支援装置900が選択してもよいし、診断支援装置900がユーザ入力による選択を受け入れるようにしてもよい。例えば、ユーザインターフェースとして類似症例のリストを格納したリストボックスを用意し、リストボックスの中から一つの症例を選択させることで実現できる。
本実施形態では、表示制御部116が最も撮影日が近い類似する画像を初期の対比可能な形で表示する一つの症例として決定するものとし、その後はユーザ入力による選択に応じて対比可能な形で表示する症例を決定するものとする。なお、表示の方法はこれに限定されない。例えば、複数の類似する画像とそれに紐づく診断名の情報とを、ステップS3000で取得した医用画像と対比可能な形で表示してもよいし、全てを対比可能な形で表示してもよい。
図11は表示部118が表示する表示内容の一例を示したものである。表示部118が表示する表示内容700は、実施形態1の図7で説明した図を基本とする。実施形態1との差異は、ユーザインターフェースとして類似症例モード1132が表示されている点である。医師等が類似症例モード1132をタップまたはクリックすることで類似症例モードを選択すると、表示制御部116は類似症例リスト(すなわち、類似する画像が類似度の高い順に表示したリスト)1160を表示させる。そして、表示制御部116は、類似症例リストの中の一つの症例(ここでは、前述したように撮影日が最も近い画像)の断層画像1120、所見1121、診断名1122及び断層画像に対応する眼底画像1125を表示部118に表示させる。類似症例モード1132が選択された場合には、オプション750に症例検索を実行するユーザインターフェースである症例検索1155が追加される。医師等の操作者が症例検索1155をタップまたはクリックする事で、対象の断層画像710に類似する症例検索が実行される。なお、本実施形態では、症例検索を実行するためのユーザインターフェースを類似症例モード1132と別にする例を示したが、類似症例モード1132を選択すると同時に症例検索を実行するようにしてもよい。
所見が重畳表示された断層画像710、1120は、前述した表示規則に従って、所見の位置を示す情報に基づいて該当すると判定された所見711、1121の情報が重畳表示されている。なお、前述の通り、ユーザ入力による選択の結果、類似症例リストの他の症例を対比可能な形で表示する症例として決定した場合は、表示制御部116により表示部118の表示内容が制御される。具体的には、表示制御部116は、類似症例リスト1160で選択された症例に対応する、所見が重畳表示された断層画像1120、診断名1122及び断層画像に対応する眼底画像1125を表示部118に表示させる。
本実施形態によれば、診断支援装置900は、医用画像の部位の情報を基に該当する所見の候補と所見の候補を導出に関する画像処理のパラメータを取得する。そして、取得した画像処理のパラメータを基に画像処理を行い、該当する所見の判定と位置を特定し、該当すると判定した所見を基に類似画像を検索し、これらの結果を提示する。そうすることで、医師は医用画像上で該当すると判定された所見とその位置、および、類似画像に紐づいた診断名を確認することができる。これにより、医師は現在対象としている医用画像の状態と、類似した症例の診断名を閲覧となるため、診断に係る負担を軽減させることができる。
また、デフォルト状態においては、現在対象としている医用画像に最も類似した画像を対比可能な形で表示されるため、医師等の操作者は対比に適した画像を選択する時間を節約することが可能である。
なお、データベース300に格納されている情報は上記の例に限定されるものではない。例えば、データベース300には医用画像とその画像に対応する所見および診断名と当該所見の断層画像における位置と診断名と所見とが紐づけられて格納されていることとしてもよい。この場合、検索部914は、所見に加えて所見の位置を検索キーとして、類似画像を検索することができる。例えば、検索部914は、所見が一致し且つ所見の位置が一致または対象とする断層画像とデータベース300内の断層画像の所見の位置の差が所定の閾値以内の断層画像(類似画像)をデータベース300から取得することとしてもよい。すなわち、データベース300は、複数の断層画像それぞれを所見および当該所見の断層画像における位置と対応付けて記憶することとしてもよい。また、類似画像取得手段の一例である検索部914は、検出手段により検出された異常部位の所見および当該所見の位置と一致する所見および当該所見の位置に対応付けられた断層画像を記憶手段から取得する。
このようにすれば、所見および所見の位置が一致する類似画像を取得できるため、対象とする断層画像により近い症状を呈する断層画像を取得することが可能となる。
(変形例1)
上記の実施形態では、所見を検索キーとして、所見の一致する類似症例を検索していた。しかし、類似症例検索の方法はこれに限らない。例えば、画像特徴量を基に類似症例を検索するようにしてもよい。この処理について、図12のフローチャートを用いて説明をする。図12は図10のフローチャートのステップS10060の処理を詳細化したものである。
ステップS10061では大局特徴抽出として、画像処理部108は断層画像から網膜層の厚み特徴を抽出する。網膜層の厚みは、ILMとRPEの境界線とのZ方向の差を網膜層の厚みとする。網膜層の厚みを計算するための領域として、画像処理部108は、黄斑部中心領域、黄斑部中心を除いた左右領域、全体領域とからそれぞれ特徴量を抽出する。領域分割の方法として、断層画像のX方向を単純に3分割してもよいし、5分割をして、左右領域は2/5ずつとし、黄斑領域は中心の1/5としてもよい。なお、厚みを計算する際の領域から視神経乳頭部領域を除去することが望ましい。それぞれの領域における厚みの特徴量は、平均厚、最大厚、最小厚、分散あるいは標準偏差のいずれかであるものとする。画像処理部108は、これらの特徴量から大局特徴ベクトルを作成する。このように、大局特徴は網膜全体の形状特徴を表す。
ステップS10062では局所特徴抽出として、画像処理部108は網膜内層の局所領域においてHOG特徴を計算する。HOG特徴は、局所領域において輝度の勾配方向と勾配強度を算出し、横軸を勾配方向、縦軸を勾配強度としたヒストグラムを作成する特徴量である。網膜内層が正常であれば、網膜内層は層構造をしているので、局所領域において輝度の勾配方向が揃うが、病変により層構造が乱れている場合には、輝度の勾配方向も乱れる。このように、局所特徴は網膜内層の層の整列状態を表す。なお、HOG特徴を計算する領域は、OCTの断層画像全体ではなく、実施形態1のステップS3034で示した網膜領域に適応するのが望ましい。ここで求める局所特徴量は数1000次元となるため、後述する画像表現で次元を減らす。
ステップS10063では、画像処理部108はステップS10062で求めた局所特徴量をBag of Featuresにより画像表現に変換する。Bag of Featuresは画像特徴量の辞書(コードブック)に登録されている画像特徴の出現頻度から画像を分類する方法である。学習時に、全ての学習用画像から局所特徴量を抽出し、抽出した局所特徴量を特徴空間においてクラスタリングを行い、各クラスタの重心をVisual word(コードブック)とする。この際のクラスタリングには、K−meansを用いる。ステップS10063の画像表現時では、画像処理部108はステップS10062で求めた局所特徴量を、学習時に作成したVisual wordにおいて最も近いVisual wordに投票する。これにより画像処理部108は、局所特徴量をVisual wordの出現頻度をカウントした局所特徴ベクトルに変換する。
ステップS10064の検索では、検索部914は、ステップS10061で求めた大局特徴ベクトルとステップS10063で求めた局所特徴ベクトルとを用いて類似画像の検索を行う。検索の方法として、大局特徴ベクトルと局所特徴ベクトルとそれぞれで類似度を計算し、その総合類似度で検索結果とする。類似度としては、例えば、コサイン類似度を用いる事が出来る。対象となる画像特徴ベクトルをVt、データベース300に保存されている画像特徴ベクトルをVsとすると、コサイン類似度は以下の式で示される。
この類似度は1に近いほど二つのベクトルが類似していることを示し、0に近ければ類似していないことを示す。
類似度計算の方法としてはこれに限らず、偏差パターン類似度を計算するようにしてもよい。各要素の属する集団における平均値からの偏差を類似度とし、最大値は1となる。すなわち、偏差パターン類似度は特徴空間でのデータの分布を反映した類似度となる。このような類似度を用いた場合には、ステップS10070で類似度が高い順に症例リストに表示するのが望ましい。このように、所見による検索ではなく、画像特徴量を基に類似症例を検索することも出来る。
データベース300は、複数の断層画像それぞれを所見、断層画像の所定の層の厚さに基づく情報および断層画像に含まれる網膜の輝度に基づく情報と対応付けて記憶することとしてもよい。ここで、断層画像の所定の層の厚さに基づく情報とは例えば大局特徴ベクトルであり、断層画像に含まれる網膜の輝度に基づく情報とは例えば局所特徴ベクトルである。データベース300が上記のような情報を格納する場合、検索部914は、検出手段により検出された異常部位の所見、層の厚さに基づく情報および輝度に基づく情報に対応する、異常部位の所見、層の厚さに基づく情報および輝度に基づく情報に対応付けられた断層画像を記憶手段から取得する。なお、この変形例は実施形態2のみならず他の実施形態においても適用可能である。
(変形例2)
実施形態2では、ステップS3060において、検索部914は、ステップS3040で該当すると判定した所見の候補を検索キーとして、検索キーが完全一致する画像(症例)のみをデータベース300から取得していた。しかし、検索キーが部分一致の画像を取得してもよいし、検索キーの類似度を計算する方法を用いて画像を取得してもよい。
類似度としては、例えば、ベクトルの類似度を計算するコサイン類似度を用いることができる。以下、具体的に説明する。まず、ステップS3010で取得した複数の所見の候補と、ステップS3040で該当すると判定された所見の候補とを用いて画像処理部108は所見ベクトルを作成する。所見ベクトルは、各所見の候補をベクトルの要素と見なし、対象とする画像にある所見が該当する(存在する)場合には1を、ない場合には0を与えることで生成できる。例えば、複数の所見の候補が20個ある場合には、20次元の所見ベクトルとなる。次に、画像処理部108は生成した所見ベクトルと、データベース300に保存されている医用画像の所見ベクトルを生成し、検索部914はこれらのベクトルの類似度を計算する。あるいは、データベース300には所見ベクトルを予め保存しておくようにしてもよい。
対象となる医用画像の所見ベクトルをVt、データベース300に保存されている医用画像の所見ベクトルをVsとすると、コサイン類似度は変形例1で説明した式1で示される。
なおこの変形例は第2の実施形態のみならず他の実施形態においても適用可能であり、変形例1で示した画像特徴の類似度と所見の類似度との両方を用いて類似症例を検索するようにしてもよい。具体的には、それぞれの類似度は1で正規化しているので、単純に類似度の総合和で最終的な類似度となるようにしてもよいし、画像特徴類似度と所見類似度とにそれぞれ重みを掛けて重み加算で最終的な類似度を計算するようにしてもよい。
(変形例3)
実施形態2では、データベース300に格納された症例の該当する所見と所見の位置は医師が事前に特定することとしていた。しかし、その他の方法で所見等が特定されてもよい。例えば、データベース300に格納された症例に対してステップS3010乃至ステップS3050の処理を行い、該当する所見および所見の位置情報を医用画像
紐づけるようにしてもよい。また、ステップS10070の処理を行った後に、当該症例をデータベースに保存するようにしてもよい。
(変形例4)
実施形態2では、検索部914は、データベース300に格納された症例から類似症例を検索していた。しかし、必ずしも外部に接続されたデータベース300から類似症例を検索しなくてもよい。例えば、データベース300と同等の情報を有する症例情報を記憶部104に保存しておき、検索部914は記憶部104に記憶された症例情報から類似症例を検索してもよい。この場合、記憶部104に記憶された症例情報をユーザ、設置場所、時刻などの様々な条件に応じて入れ替えてもよい。同様に、第1のテーブル情報、第2のテーブル情報も条件に応じて入れ替えてもよい。
<実施形態3>
実施形態2では、診断の対象となる医用画像を取得し、画像処理結果を用いて医用画像上に支援情報を提示するとともに、画像処理の解析画像や類似症例を提示した。本実施形態では、医用画像上にCAD所見等の支援情報を提示するとともに、診断をするにあたりガイドラインとなる情報を提示する場合について説明をする。なお、本実施形態におけるガイドラインとは、診断をするために支援をする情報であり、診断手順をしめす診断のマニュアル、アトラス、読影のポイント、同じモダリティの画像、異なるモダリティの画像(例えば、眼底写真、FA画像、IA画像)等、文章や図などの情報を含む。すなわち、ガイドラインは疾患の診断手順を示す情報である。また、データベース300には複数のガイドラインが格納されている。すなわち、データベース300には複数の疾患の診断手順を示す情報が格納されている。なお、ガイドラインは診断手順を示す電子書籍であってもよい。
なお、本施形態における診断支援装置900の機能構成は実施形態2における図9と同様である。データベース300には医用画像とその画像に対応するガイドラインと所見とが紐づけられて格納されている。すなわち、データベース300には、複数の疾患の診断手順を示す情報それぞれに対して所見が紐付けられて格納されている。そしてデータベース300は、診断支援装置900からの要求に対して、要求に対応するガイドライン及び所見を診断支援装置900へと出力する。なお、データベース300は診断支援装置900内部の記憶部104に保存される構成であってもよい。検索部914は、判定部110で該当すると判定された所見の候補を検索キーとして、データベース300から、対象としている医用画像に対応するガイドラインを要求する。そして検索部914はデータベース300からガイドラインを受信(取得)する。すなわち、検索部914は、検出手段により検出された異常部位の所見に基づいて複数の疾患の診断手順を示す情報から少なくとも一つの疾患の診断手順を示す情報を取得する情報取得手段の一例に相当する。具体的には、情報取得手段の一例である検索部914は、検出手段により検出された異常部位の所見が対応付けられた疾患の診断手順を示す情報を取得する。
さらに、検索部914は受信したガイドラインを対象としている医用画像との関連度とともに表示制御部116へと出力する。そして、表示制御部116は、ガイドラインを表示部118に表示させる。すなわち、表示制御部116は、情報取得手段によって取得された疾患の診断手順を示す情報を表示手段に表示させる。
また、診断支援装置900のハードウェア構成は実施形態1における図2と同様である。即ち、CPU1001が主メモリ1002、磁気ディスク1003に格納されているプログラムを実行することにより、本実施形態の診断支援装置900の機能(ソフトウェア)及びフローチャートにおける処理が実現される。また、診断支援装置900が行う処理の一例を説明するフローチャートを図13に示す。基本的に実施形態1と同じであるが、処理の一部が実施形態1とは異なっている。具体的には、ガイドラインの検索S13060と、情報の表示S13070とが図3のフローとは異なる。以下、図13のフローチャート、図14の表示内容の一例を参照して、本実施形態における診断支援装置900が行う処理の一例について、実施形態1、2との相違部分についてのみ説明する。
図13のフローチャートにおいてステップS3000乃至ステップS3050の処理は、実施形態1、2と同様である。
ステップS13060において、検索部914は、ステップS3040で該当すると判定した所見の候補を検索キーとして、データベース300からガイドラインを取得する。検索キーは、「後部硝子体剥離」や「黄斑円孔」等である。なお、検索キーとする所見は複数であってもよいし1つであってもよい。なお、データベース300に格納された所見は、例えば、医師が事前に症例に対して特定した所見であり、データベース300には医師により特定された所見の位置に関する情報も含まれているものとする。データベース300に含まれる所見の情報は医師によって事前に特定された情報に代えて、教科書のような文献情報を用いたものであってもよいし、データベース用に収集した症例に対して医師が特定した所見の情報を用いてもよい。
ガイドラインの取得方法は、検索キーが完全に一致するもののみを取得してもよいし、一部が一致するものを取得してもよいし、検索キーの一部が一致するガイドラインを取得することとしてもよい。例えば、複数の所見を検索キーとした場合に、複数の所見のうち一部の所見にのみ一致するガイドラインを検索部914は取得することとしてもよい。あるいは何らかの方法により類似度を計算し、類似度の高い順に規定の数だけガイドラインを取得するようにしてもよい。類似度を用いる方法に関しては実施形態2の変形例で説明したものと同様に特徴ベクトルの一致度合いで計算する事が出来る。なお、本実施形態において類似度は関連度として説明する。
ステップS13070において、表示制御部116は、表示部118に表示させる内容を制御する。そして、表示部118は、表示制御部116で制御された表示内容を表示する。これについては、図14を用いて説明をする。
図14は表示部118が表示する表示内容の一例を示したものである。表示部118が表示する表示内容700は、実施形態1の図7で説明した図を基本とする。実施形態1との差異は、ガイドラインモードを選択するユーザインターフェースとしてガイドラインモード1433が表示されている点である。操作者がガイドラインモード1433をタップまたはクリックによりガイドラインモードを選択すると、表示制御部116はガイドラインリスト(すなわち、ガイドラインの関連度の高い順に表示したリスト)1460を表示させる。さらに、表示制御部116は、ガイドラインリストの中の一つの症例の断層画像1420と所見1421、その診断名1422、読影のポイント1424、及び、断層画像に対応する眼底画像1425と眼底写真1426と表示部118に表示させる。読影のポイント1424には例えば、どのような手順で読影を行うことが望ましいかという情報が含まれている。ガイドラインリスト1460には、症例のID、診断名、関連度が含まれている。関連度は類似度と等価のものであり、本実施例では5段階評価で関連(類似)度を示している。例えば、類似度は1で正規化しているので、類似度が0.9以上のものを5、類似度が0.8―0.9のものを4、類似度が0.6−0.8のものを3、類似度が0.4−0.6のものを2、類似度が0.4以下を1などとする。なお、この数値は一例であり、類似度をそのまま表示してもよいし、5段階ではなく10段階評価としてもよい。また、類似度を用いて表示をする場合には、一定の類似度以上のものを表示するようにし、相関が低いものはリストに表示しないようにしてもよい。
ガイドラインモード1433が選択されている場合には、オプション750にガイドライン検索を実行するユーザインターフェースであるガイドライン検索1455が追加される。そして、ガイドライン検索1455をタップまたはクリックすることで対象の断層画像710に関連するガイドライン検索が実行される。なお、本実施形態では、ガイドライン検索を実行するためのユーザインターフェースをガイドラインモード1433とは
別にする例を示したが、ガイドラインモード1433を選択すると同時にガイドライン検索を実行するようにしてもよい。
所見が重畳表示された断層画像710は前述した表示規則に従って、所見の位置を示す情報に基づいて該当すると判定された所見711の情報が重畳表示されている。なお、前述の通り、ユーザ入力による選択の結果、ガイドラインリストの他の症例を選択した場合は、表示制御部116により表示部118の表示内容が制御される。具体的には、表示制御部116は、ガイドラインリスト1160で選択された症例に対応する、所見が重畳表示された断層像1420、その診断名1422、読影のポイント1424、及び、その画像に対応する眼底画像1425と眼底写真1426とを表示部118に表示させる。
本実施形態によれば、診断支援装置900は、医用画像の部位の情報を基に該当する所見の候補と所見の候補を導出に関する画像処理のパラメータを取得する。そして、取得した画像処理のパラメータを基に画像処理を行い、該当する所見の判定と位置を特定し、該当すると判定した所見を基にガイドラインを検索し、これらの結果を提示する。そうすることで、医師は医用画像上で該当すると判定された所見とその位置、および、ガイドラインに紐づいた診断名や他のモダリティで撮影した画像、並びに読影する上での読影ポイントを確認することができる。これにより、医師は現在対象としている医用画像の状態と、類似した症例の診断名を閲覧可能となるため、診断に係る負担を軽減させることができる。
なお、実施形態2で述べたように類似画像の検索に所見の位置を用いることとしてもよい。
(変形例1)
実施形態3では、所見を検索キーとして、所見の一致でガイドラインを検索していた。しかし、ガイドライン検索の方法はこれに限らない。例えば、複数の所見の中から任意の所見だけを選んでガイドライン検索を行ってもよい。ガイドライン検索を行う際に、医師所見表示743をONとし、CAD所見表示744をOFFにしてガイドライン検索を実行した場合には、医師により確定された所見だけを用いてガイドラインを検索することとしてもよい。また、医師所見表示743をOFFとし、CAD所見表示744をONにしてガイドライン検索を実行した場合には、CAD所見だけを用いてガイドラインを検索することとしてもよい。さらに、断層画像に表示している所見711の中から任意の所見だけを選択して、ガイドライン検索を実行した場合、選択した任意の所見を用いてガイドライン検索を実行してもよい。なおこの変形例は実施形態3のみならず他の実施形態においても適用可能である。
<実施形態4>
実施形態1〜3では、撮影された1枚の断層画像を用いてCAD所見等の支援情報を提示していた。一方、光干渉断層計を用いた検査では、一検査において複数の方向から断層画像を撮影し、取得することがある。例えば、図15(a)に示すように、視神経乳頭と中心窩を通る断層画像と、中心窩を通り、視神経乳頭と中心窩を通る断層画像に直交する断面との二つの断層画像を取得する場合がある。また、図15(b)に示すように、眼底上をラスタースキャン(3Dスキャン)することで3次元撮影をする場合がある。
本実施形態における診断支援装置は、複数の方向または複数の位置で撮影された複数の医用画像を取得し、取得した医用画像の画像処理結果を用いて医用画像上に支援情報を提示することにより当該医用画像に関する診断支援を行う。
なお、本施形態における診断支援装置900の機能構成は実施形態2における図9と同様である。また、診断支援装置900のハードウェア構成は実施形態1における図2と同様である。即ち、CPU1001が主メモリ1002、磁気ディスク1003に格納されているプログラムを実行することにより、本実施形態の診断支援装置900の機能(ソフトウェア)及びフローチャートにおける処理が実現される。また、診断支援装置900が行う処理の一例を説明するフローチャートは図3、図10、図13のいずれかと同様である。本実施形態では、図10の類似画像の検索を行う場合について説明をする。以下、図10のフローチャートを参照して、本実施形態における診断支援装置900が行う全体の処理について、実施形態1乃至3との相違部分についてのみ説明する。本実施形態では図15(a)に示すような二つの断層画像を取得する場合と図15(b)に示す3次元の断層画像を取得する例についてそれぞれ説明をする。すなわち、医用画像取得部102が、被検眼における位置がそれぞれ異なる複数の断層画像を取得した場合の例である。
最初に、図15(a)のクロススキャンの場合について説明をする。以下では、視神経乳頭と中心窩を通る断層画像をHスキャン像、中心窩を通りHスキャン像に直交する断層画像をVスキャン像と称する。
ステップS3000の処理において、医用画像取得部102は、光干渉断層計200から送信された複数の方向から光を捜査することで撮影された複数の医用画像と、撮影した医用画像の種類に関する情報と医用画像の部位に関する情報とを取得する。すなわち、医用画像取得部102は、被検眼に対して異なる方向に測定光を走査することで得られた複数の断層画像を取得する。本実施形態において異なる方向とは直交する方向である。
なお、撮影した医用画像の種類に関する情報と医用画像の部位に関する情報とは、複数の医用画像全体に対して一つ取得してもよいし、夫々の医用画像で夫々取得してもよい。以降では、複数の医用画像全体に対して医用画像の種類に関する情報と、医用画像の部位に関する情報とを一つ取得するものとして説明する。
ステップS3010の処理は実施形態1における処理と同様であるため説明を省略する。
ステップS3020乃至ステップS3050の処理は、複数の医用画像の夫々に対して処理を行う以外は、実施形態1と同様であるため説明を省略する。
ステップS10060において、検索部914は、ステップS3040で該当すると判定した所見の候補を検索キーとして、データベース300から類似画像を取得する。本実施形態では、複数の医用画像のうちの一つの医用画像(すなわち、ある一つの方向から撮影された医用画像)において該当すると判定した所見の候補を検索キーとして、データベース300から類似画像を取得する。本実施形態ではHスキャン像から得られた所見を用いて類似画像を取得するものとする。なお、本実施形態においては検索の対象となる画像は、検索元となる医用画像の撮影された方向と、同一の方向から撮影された医用画像のみとする。すなわち、類似画像取得手段の一例に相当する検索部914は、検出手段により異常部位が検出された断層画像を得る際の測定光の走査方向と同一の方向に測定光を走査することにより得られた断層画像を記憶手段から取得する。
また、実施形態2と同様に、検索キーが完全に一致するもののみを類似画像として取得するものとする。なお、類似画像に対応する、その類似画像とは異なる方向から撮影された医用画像がある場合には、それらを一つの類似画像としてまとめて取得する。
ステップS10070において、表示制御部116は、表示部118に表示させる内容を制御する。そして、表示部118は、表示制御部116で制御された表示内容を表示する。具体的には、複数の医用画像のうち少なくとも一つの医用画像を実施形態2と同様の制御を行い表示させる。また、表示制御部116は、実施形態2と同様に、類似する画像とそれに紐づく診断名の情報とを、類似度の高い順に表示させる。
また、本実施形態においても実施形態2と同様に、類似する画像とそれに紐づく診断名の情報とをリストで管理し、リストの情報を表示するとともに、リストの中の一つの症例をステップS3000で取得した複数の医用画像と対比可能な形で表示する。すなわち、類似する画像が異なる方向から撮影された複数の医用画像を有する場合には、そのうちの少なくとも一つの医用画像を対比可能な形で表示する。この時表示する画像は、ステップS3000で取得した複数の医用画像と同一の方向から撮影された画像を表示する。なお、違う方向から撮影された画像を表示してもよい。
本実施形態では、ステップS3000で取得した複数の医用画像、および、対比可能な形で表示一つの症例として決定された類似画像の複数の医用画像のうち、表示する画像はそれぞれ一つとする。ただし、表示する画像は、診断支援装置900またはユーザ入力による選択により決定されるものとする。ユーザ入力による選択は、例えばボタンなどのユーザインターフェースを用いて実現できる。
図16は表示部118が表示する表示内容の一例を示したものである。表示部118が表示する表示内容700は、対象となる症例の断層画像710、及び、対象となる症例の断層画像に対応する眼底画像715を有する。
眼底画像715には断層画像の撮影された方向を示す矢印717が重畳表示されている。水平矢印717はHスキャン像に対応しており、垂直矢印1619はVスキャン像に対応している。また、表示内容700は、類似症例リスト1160を有する。さらに、表示内容700は、対象となる症例と同様に、類似症例リストのうち決定された一つの症例の断層画像1120とその診断名1122、及び、その断層画像に対応する眼底画像1125と水平矢印1127と垂直矢印1639を有する。なお、断層画像710、1120に関する所見の重畳表示、及び、類似症例リストのユーザによる選択の説明は実施形態2と同様なので省略する。
断層画像1120の初期状態(すなわちユーザ入力による選択がなされる前)は、表示制御部116は、ステップS10060で検索に用いた所見を含む断層画像710が撮影された方向の断層画像を表示部118に表示させるものとする。すなわち、断層画像710がHスキャン像の場合には、断層画像1120もHスキャン像とする。本実施形態では前述の通り、ユーザ入力による選択で、複数の医用画像のうちの一つの医用画像を表示可能とする。具体的には、眼底画像715、1125に重畳表示された水平矢印717、1127と垂直矢印1619、1639を例えばマウスのクリックまたはタップなどにより選択する。垂直矢印1619、1639が選択されると、表示制御部116は、クリックした矢印に対応する方向で撮影された医用画像(Vスキャン画像)を、断層画像710、1120として表示部118に表示させる。この場合、現在選択されている矢印と他の矢印を区別するように表示するのが望ましい。図16の例では実線で表示されている矢印が選択されている矢印であることを示し、一点鎖線の矢印は非選択であることを示している。なお、垂直矢印1619、1639のいずれか一方を選択することで、断層画像710、1120の両画像が連動してVスキャン像に変更されることとしてもよい。
なお、Vスキャン像の所見とHスキャン像の所見とのうち共通する所見のみを各断層画像上に表示させることとしてもよい。すなわち、表示制御部116は、複数の断層画像から得られた複数の異常部位に基づいて、前記複数の断層画像に共通する異常部位の所見を表示手段に表示させることとしてもよい。
次に、図15(b)に示す3次元スキャンの場合について説明をする。以下、図10のフローチャートを参照して、本実施形態における診断支援装置900が行う処理の一例について、実施形態2との相違部分についてのみ説明する。なお、3次元スキャンにおいては、画像処理部108或いは不図示の位置合わせ手段によって、複数の断層画像間の位置合わせ処理が実施されているものとして、以下の処理を説明する。
ステップS3010の処理は実施形態1における処理と同様であるため説明を省略する。
ステップS3020において、複数の医用画像の夫々に対して他の実施形態と同様の処理を行うが、第2のテーブル情報に格納されている画像処理のパラメータには空間的なパラメータとしてY方向のパラメータを含んでもよい。例えば、黄斑円孔は黄斑部に発生するため黄斑中心で撮影をした場合にはX、Y軸共に中心付近に黄斑が存在する。そのため、撮影範囲のX:40−60%とY:40−60%の範囲と領域を限定する事が出来、その範囲に含まれる断層画像に対してのみ画像処理パラメータを適用する。
ステップS3030においては、ラスタースキャンにより取得された複数の断層画像に対して構造解析を行うことで前記被検眼の異常部位を検出する。すなわち、他の実施形態で述べた画像処理を複数の断層画像のそれぞれに適用する。
ステップS3030において、3次元的に画像処理を行うようにしてもよい。輝度正規化は、複数の断層画像のそれぞれで行うのではなく、複数の断層画像全体でヒストグラム調整を行う。また、画像処理に用いる各種フィルタは3次元で定義してもよい。
ステップS3040も同様に、所見の判定を3次元的に行う。例えば、判定自体は複数の断層画像それぞれに対して行った後に、隣接する断層画像において隣接する所見候補の領域同士で再判定を行うようにしてもよいし、ステップ3030で検出された病変候補に対して、3次元的に連結した領域のサイズ比等によって所見の候補の判定をするようにしてもよい。
ステップS3050において、位置取得部112は、ステップS3030で実行した画像処理の結果と、ステップS3040で該当すると判定した所見の候補とに基づいて、所見の医用画像における位置を示す情報を取得する。位置を示す情報は位置が特定できる情報であればどのような情報であってもよいが、本実施形態では、所見が該当すると判定した画像処理領域に隣接する直方体、あるいは立方体の位置を示す情報として取得する。
ステップS10060において、検索部914は、ステップS3040で該当すると判定した所見の候補を検索キーとして、データベース300から類似画像を取得する。本実施形態では、検索部914は、複数の医用画像において該当すると判定した所見の候補を検索キーとして、データベース300から類似画像を取得する。実施形態2と同様に、検索キーが完全に一致するもの、あるいは類似度が高いものを類似画像として取得するものとする。なお、所見特徴や画像特徴が類似する類似画像において、異なる方向で撮影した画像や同じ方向で撮影した複数の画像がある場合には、検索部914は、それらを一つの類似画像としてまとめて取得する。
ステップS10070において、表示制御部116は、表示部118に表示させる内容を制御する。そして、表示部118は、表示制御部116で制御された表示内容を表示する。具体的には、複数の医用画像のうち少なくとも一つの医用画像を実施形態2と同様の制御を行い表示させる。また、表示制御部116は、実施形態2と同様に、類似する画像とそれに紐づく診断名の情報を、類似度の高い順に表示させる。
また、本実施形態においても実施形態2と同様に、類似する画像とそれに紐づく診断名の情報をリストで管理し、リストの情報を表示するとともに、リストの中の一つの症例をステップS3000で取得した複数の医用画像と対比可能な形で表示する。本実施形態では、ステップS3000で取得した複数の医用画像、および、対比可能な形で表示する一つの症例として決定された類似画像の複数の医用画像のうち、表示する画像はそれぞれ一つとする。ただし、表示する画像は、診断支援装置900またはユーザ入力による選択により決定されるものとする。ユーザ入力による選択は、例えばボタンなどのユーザインターフェースを用いて実現できる。
図17は表示部118が表示する表示内容の一例を示したものである。表示部118が表示する表示内容700は、対象となる症例の断層画像710、及び、対象となる症例の断層画像に対応する眼底画像715を有する。眼底画像715は、例えば、医用画像取得部102により取得された複数の断層画像を深さ方向に積算することで生成された積算画像である。医用画像取得部102は積算画像の生成を行うこととしてもよい。眼底画像715は断層画像に基づいて生成された画像であるため、断層画像の所見の位置を眼底画像715上の位置に対応させることが可能である。また、眼底画像715はSLOまたは眼底カメラにより撮影された画像であってもよい。この場合、医用画像取得手段102が不図示のSLOまたは眼底カメラから眼底画像を取得する。すなわち、 医用画像取得部102は、被検眼の眼底画像を取得する。なお、SLOまたは眼底カメラにより得られた眼底画像と断層画像に基づいて生成された積算画像との位置合わせを行うことで、断層画像の所見をSLOまたは眼底カメラにより得られた眼底画像715に対応付けることが可能である。上述のように眼底画像の所見を眼底画像715に対応付けることが可能であるため、表示制御部116は、所見を断層画像715上に表示させることが可能である。すなわち、表示制御手段は、眼底画像を表示手段に更に表示させるとともに、所見を眼底画像上にも表示させることが可能である。
眼底画像715には表示している断層画像710の眼底における位置を示す矢印717、所見1711およびマーカ1712が重畳表示されている。マーカ1712は、ステップS3050において取得した所見位置の領域を示す直方体、あるいは立方体の重心位置を指し示すように表示する。
本実施形態では、各該当された所見に対して、以下の表示規則に従い眼底画像715に重畳表示する位置を決定するものとする。もちろん、表示規則は以下に示す例に限定されない。(1)該当すると判定された他の所見の文字情報の上には重畳表示しない。(2)該当すると判定された所見の位置を示す情報は、所見の位置を示す情報の近傍にマーカ(例えば矢印など)を付与する。(3)同一所見が複数存在する場合、空間的に近い領域では、代表する箇所のものを表示する。(4)同一所見がN数より多く存在する場合、表示する数はN数以下とする。
上述した規則の(3)について、例えば、硬性白斑が近い領域に複数存在する事がある。その場合、空間的に近いものは一つにまとめて表示をする。具体的には、XY平面において直径1mmの円の中に5個の硬性白斑が存在する場合、眼底画像上に所見を5つ表示するのではなく、まとめて1つだけ表示をする。すなわち、表示制御部116は、異なる断層画像それぞれから検出手段により検出された異常部位に対応する所見が同一の所見であり、且つ、異なる断層画像から検出された異常部位間の距離が閾値未満の場合、前記同一の所見を1つの所見として眼底画像上に表示させる。なお、硬性白斑同士の距離が閾値以下の場合に所見をまとめることとしてもよいし、硬性白斑が検出された複数の断層像間の距離が閾値以下の場合に所見をまとめることとしもよい。
上述した規則の(4)について、例えば、上述した規則(3)により空間的に近いものをまとめたとしても、広範囲に現れる場合、N数より多く所見が表示される事になる。その場合、同じ所見の表示数はN数以下になるようにする。例えば、Nは3とする。3より多くなる場合、黄斑部中心窩に距離的に近いものを残すようにするか、あるいは、黄斑部中心窩に近いものを1箇所選択し、残りの2箇所は、空間的に離れたものを残すようにしてもよい。例えば、中心を1箇所として、残りの2箇所は上下方向からそれぞれ1箇所ずつ選択する。なお、中心窩に近い所見は視機能に対する影響が他の所見に比べて高いため、医師等にとっては必要な情報である。
眼底画像に重畳表示する所見1711とマーカ1712とは、実施形態1で説明したように、情報表示740のユーザインターフェースによりON/OFF出来るものとする。また、医師による所見、CADによる所見のそれぞれの表示ON/OFFも可能とする。これらの所見表示のON/OFFは、クリックする回数に応じて変えてもよい。例えば、「両方ともON」⇒「断層画像の所見ON、眼底画像の所見OFF」⇒「断層画像の所見OFF、眼底画像の所見ON」⇒「両方ともOFF」等である。あるいは、不図示のユーザインターフェースによりON/OFFする所見の種類を指定するようにしてもよい。なお、コンピュータが出力したCAD所見について確定(承認)を行うこと、あるいはCAD所見を修正することが可能である。これらの処理は、断層画像710に重畳表示されている所見711、眼底画像715に重畳表示されている所見1711のどちらからでも可能とする。そして、所見711および1711のいずれかで確定(または修正)されると、対応する所見も連動して確定(修正)されるものとする。すなわち、CAD所見と医師所見とで所見の文字の色を変えている場合、所見1711の「蓋」を確定させる事により、所見711の「蓋」も確定されたものとして、表示制御部116は両方の所見の文字を変更する。また、3次元で撮影したデータの場合、病変は3次元的な拡がりを持つので、同じ所見が複数の断層画像に表示される。例えば、「蓋」であれば隣接する5枚の断層画像に表示される等である。これにおいても、眼底画像で確定するか、どれか1枚の断層画像で確定した場合には、表示制御部116は同様に他の断層画像においても確定されたという文字色で表示部118に表示させる。
複数の断層画像のスライス位置の変更は、不図示のスライダーバーや矢印717を操作する事で可能である。その他に、所見1711を選択する事で、断層画像の位置を変更するようにしてもよい。すなわち、眼底画像上の所見1711をタップまたはクリックすることで、所見1711が含まれる断層画像が表示される。その場合、選択した所見1711が該当すると判定した画像処理領域に隣接する直方体、あるいは立方体の重心位置に相当する断層画像を表示制御部116は表示部118に表示させる。このようにすれば、眼底画像と所見とに基づいて注目したい断層画像を迅速に表示させることが可能となる。
また、表示内容700は、類似症例リスト1160を有する。さらに、対象となる症例と同様に、類似症例リストのうち決定された一つの症例の断層画像1120とその診断名1122、その断層画像に対応する眼底画像1125、断層画像1210の位置を示す矢印1127および所見1721を有する。なお、重畳表示された断層画像710、1120に関する所見の重畳表示、及び、類似症例リストのユーザによる選択の説明は実施形態2と同様なので省略する。
本実施形態では前述の通り、ユーザ入力による選択で、複数の医用画像のうちの一つの医用画像を表示可能とする。
本実施形態によれば、医用画像が複数枚の画像からなる場合に、検索対象となっていた方向から撮影された画像だけではなく、他の方向から撮影された画像についても簡易な操作で確認することができる。すなわち、広範囲に拡がる所見を簡易に確認できるため、医師の診断に係る負担を軽減させることができる。
(変形例1)
実施形態4ではステップS10060において、検索部914が複数の医用画像のうちの一つの医用画像において該当すると判定した所見の候補を検索キーとし、同一方向から撮影された医用画像のみを対象としてデータベース300から類似画像を取得していた。しかし、一つの医用画像において該当すると判定した所見のみを用いなくてもよい。例えば、複数の医用画像うち二つ以上あるいは全ての医用画像夫々において検索キーを作成し、夫々の方向全てで類似する画像を取得するようにしてもよい。例えば、検索元の複数の医用画像がHスキャン像とVスキャン像とである場合を考える。この場合、検索部914は、データベース300に存在する画像のうち、検索元のHスキャン像と類似するHスキャン像を持ち、かつ、検索元のVスキャン像と類似するVスキャン像を持つ医用画像を類似する画像として取得する。
また、実施形態4では、検索元となる医用画像の撮影された方向と、同一の方向から撮影された医用画像のみをデータベース300から取得する対象としていたが、他の方向から撮影された医用画像をデータベース300から取得する対象としてもよい。例えば、検索元の画像がHスキャン像である場合に、データベース300に存在するVスキャン像の画像を類似する画像として取得してもよい。さらに、検索部914は、一つの医用画像において該当すると判定した所見のみを用いなくてもよい。複数の医用画像のうち二つ以上あるいは全ての医用画像において該当すると判定した所見のANDやORを取って検索キーとしてもよい。
<実施形態5>
実施形態4では、複数の方向から撮影された複数の医用画像を取得し、取得した医用画像の画像処理結果を用いて医用画像上にCAD所見等の支援情報を提示していた。本実施形態では、取得した医用画像の画像処理結果を用いて医用画像上に支援情報を提示すると共に、病名(診断名)を推定して提示する事により当該医用画像に関する診断支援を行う。図18を用いて実施形態5における診断支援装置1800の機能構成の一例について説明を行う。診断支援装置1800は、図9に示した機能構成に推定部1811が追加されている。CPU1001がプログラムを実行することで実現される推定部1811は、断層画像から検出された異常部位を用いて病名を推定する。また、診断支援装置1800が行う処理の一例を説明するフローチャートを図19に示す。基本的に実施形態1と同じであるが、処理の一部が実施形態1とは異なっている。具体的には、病名候補の推定を行うステップS19060と、情報の表示を行うステップS19070が実施形態1とは異なっている。以下、図19のフローチャート、図20、図21の表示内容の一例を参照して、本実施形態における診断支援装置1800が行う全体の処理について、実施形態1乃至4との相違部分についてのみ説明する。本実施形態では図15(a)に示すようなクロススキャンの場合について説明を行う。なお、他のスキャンパターンに対しても本実施形態は適用可能である。
ステップS3000乃至ステップS3050の処理は、実施形態4と同じであるであるいため説明を省略する。
ステップS19060において、推定部1811は得られた所見に基づいて病名候補の推定を行う。すなわち、推定部181は、所見に基づいて病名を推定する推定手段の一例に相当する。推定部1811では、ステップS3050で取得したHスキャン像とVスキャン像に関して、それぞれの所見の候補の位置を用いて病名候補の推定を行う。すなわち、推定部1811は眼底画像上のどの位置でどの所見が検出されたかを基に病名候補を推定する。眼底画像上における所見の場所の特定について図20を用いて説明をする。図20は、眼底画像に対して領域を分割する複数の例を図20(a)〜(d)に示している。図20(a)、(b)は黄斑部中心窩を基準として耳側、上側、鼻側、下側に眼底画像の領域を分割している例であり、黄斑部中心窩からの距離に応じてセクターを分けている。例えば、セクターの直径は1mm、3mm、10mmとする。なお、数値はこれらの値に限定されるものではない。図20(a)は黄斑部中心窩を基準とした円形領域を分割する例、図20(b)は中心窩から3mmより外の領域全てを分割する例である。
また、図20(c)、(d)は眼底画像の全体をグリッドに分割する例であり、図20(c)は眼底画像の撮影範囲に水平な線および垂直な線によって眼底画像を領域分割した例である。また、図20(d)は視神経乳頭部と黄斑部中心窩とを結んだ直線に対して水平な線および垂直な線によって眼底画像を領域分割した例である。ここで示すように、黄斑部および視神経乳頭部の少なくとも一方を基準として眼底画像を任意の領域に分割をする。
ここでは、図20(a)のように眼底画像の領域が分割された場合について説明をする。例えば、推定部1811は、Vスキャン像の上側か下側に網膜肥厚が検出され且つ中心には中心窩嚢胞様孔が検出され、Hスキャン像においては中心窩嚢胞様孔が検出された場合、網膜静脈分枝閉塞症という病名候補を推定(検出)する。このように、推定部1811は、Vスキャン像の所見とHスキャン像の所見とに基づいて病名を推定する。すなわち、推定部1811は複数の断層画像それぞれから得られた異常部位の所見に基づいて病名を推定する。
なお、推定部1811では、病名候補を推定するためにRandom forestsのような決定木手法を用いてもよいし、SVMのような識別器を用いてもよい。あるいは、推定部1811は、所見または画像特徴による類似症例検索を用いて、眼底画像において所見が現れる空間的な特徴を考慮する検索を行い、検索結果からそれに関連付けられる病名を提示するようにしてもよい。空間的な特徴とは、クロススキャンの場合、中心+上側+下側領域の特徴ベクトルと、中心+鼻側+耳側領域の特徴ベクトルとでそれぞれ類似度を算出する。
ステップS19070において、表示制御部116は、表示部118に表示させる内容を制御する。そして、表示部118は、表示制御部116で制御された表示内容を表示する。具体的には、複数の医用画像のうち少なくとも一つの医用画像を実施形態2と同様の制御を行い表示させる。図21は表示部118が表示する表示内容の一例を示したものである。表示部118が表示する表示内容700は、対象となる症例の眼底画像2110、所見2111とマーカ2112、及び、対象となる症例の眼底画像に対応する眼底画像2115を有する。眼底画像2115には表示している眼底画像2110(Hスキャン像)の位置を示す矢印2117が重畳表示されている。同様に、Vスキャンの方は、断層画像2120、所見2121とマーカ2122、及び、対象となる症例の断層画像に対応する眼底画像2115を有する。眼底画像2115には表示している断層画像2120(Vスキャン像)の位置を示す矢印2119が重畳表示されている。なお、図21に示すように眼底画像2115の下部に広範囲の出血領域2116が見られる。また、表示内容700は、診断名候補モード2134、診断名候補リスト2160を有する。診断名候補モード2134をタップまたはクリックにより診断名候補モードを選択する事により、上述した診断名の候補を表示する処理が実行される。
なお、本実施形態ではHスキャン像とVスキャン像とをそれぞれ表示する例を示したがこれに限らない。例えば、複数の断層画像は画面上部の場所(例えば、断層画像2110の場所)に表示をして、不図示のユーザインターフェースにより断層画像を切り替えて表示するようにしてもよい。すなわち、Hスキャン像2110とVスキャン像の一方を表示させ、ユーザインターフェースにより表示させる画像を切換えることとしてもよい。そして、画面下部には、実施形態3で示したように、診断名候補リストに対応する診断のガイドラインを表示するようにしてもよい。なお、診断名候補リストに表示される診断名の選択を切り替える事により、診断のガイドラインも切り替わる。
本実施形態によれば、所見を表示すると共に診断名候補の表示を行う。さらには、それに関する診断のガイドラインも参照する事が出来るため、医師の診断に係る負担を軽減させることができる。また、本実施形態によれば、直交する2つの断層画像の所見に基づいて病名の推定を行うため、より正確な病名の推定を行うことが可能となる。
<その他の実施形態>
これらの全ての機能、または、一部の機能はネットワーク上に置かれていてもよい。この場合、表示機能または一部の機能のみをローカル側で動作させる、サーバ・クライアント型の構成となっていてもよい。また、上記に示した各実施形態は独立した実施形態であってもよいし、任意の実施形態を組み合わせることとしてもよい。
以上、実施例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施例の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。