JP2012249936A - 医用画像処理システム - Google Patents

医用画像処理システム Download PDF

Info

Publication number
JP2012249936A
JP2012249936A JP2011126288A JP2011126288A JP2012249936A JP 2012249936 A JP2012249936 A JP 2012249936A JP 2011126288 A JP2011126288 A JP 2011126288A JP 2011126288 A JP2011126288 A JP 2011126288A JP 2012249936 A JP2012249936 A JP 2012249936A
Authority
JP
Japan
Prior art keywords
image data
unit
map
examination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011126288A
Other languages
English (en)
Other versions
JP5818520B2 (ja
Inventor
Saka Takahashi
紗佳 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2011126288A priority Critical patent/JP5818520B2/ja
Publication of JP2012249936A publication Critical patent/JP2012249936A/ja
Application granted granted Critical
Publication of JP5818520B2 publication Critical patent/JP5818520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Endoscopes (AREA)

Abstract

【課題】カプセル内視鏡により撮像された複数の画像の中から、病変の疑いのある部分が撮像された画像を容易に抽出可能とする。
【解決手段】マップ出力部と、検出部と、表示制御部と、を備えた医用画像処理システムである。マップ出力部は、カプセル内視鏡による撮像経路を模したマップであって、撮像経路の進行方向に沿う複数の部位に対応する複数の領域に分割されたマップをあらかじめ記憶している。また、マップ出力部は、カプセル内視鏡による一の検査により取得された被検体内部を表す一連の画像データを受けて、一連の画像データのそれぞれをその撮像位置に基づき複数の領域のいずれかに関連付ける。検出部は、画像データそれぞれに対して、当該画像データ中の異常候補を検出する。表示制御部は、異常候補の検出結果に基づく情報を識別可能な形態でマップを表示可能に出力する。
【選択図】図1

Description

本発明の実施形態は、カプセル内視鏡により取得された医用画像の画像データを処理する医用画像処理システムの技術に関する。
医療用内視鏡として、その形状をカプセル形状にして挿入部を不要とした、カプセル内視鏡なるものがある。このカプセル内視鏡は、撮像機能と無線通信機能とを有している。カプセル内視鏡は、観察(検査)のために患者の口から飲込まれた後、人体から自然排出されるまでの観察期間中に、胃、小腸等の臓器を順次撮像する。撮像により得られた画像情報(画像を表現する電子データ)は、順次外部に無線送信される。
このようにして無線送信された画像情報は、患者の体外に設けられた受信機により受信され所定のメモリに蓄積されるようになっている。この画像情報を、必要に応じて読み出し、読み出された画像情報を表示装置に表示等することにより、医師の診断等に利用することができるようになっている。
また、上記のようにして、カプセル内視鏡から送信された画像に対し画像処理を施し、病変の疑いのある画像を自動的に抽出する医用画像処理システムがある。
特開2006−304995号公報 特開2006−295490号公報
一方で、カプセル内視鏡により一度の検査で取得される画像は数万枚にわたり、その量は膨大である。そのため、このような膨大な画像の中から病変の疑いの部分を特定するために、操作者は多大な労力を必要とする。これにより、診断に係る時間が増大し、病変部を見落とす可能性も増える。さらに、このような診断を、複数の検査に亘って行う場合には、操作者に係る負担はさらに増大する。
そこで、この発明の実施形態は、カプセル内視鏡により取得された複数の画像の中から、病変の疑いのある部分が取得された画像を容易に抽出可能とすることを目的とする。
上記目的を達成するために、この実施形態は、マップ出力部と、検出部と、表示制御部と、を備えた医用画像処理システムである。マップ出力部は、カプセル内視鏡による撮像経路を模したマップであって、撮像経路の進行方向に沿う複数の部位に対応する複数の領域に分割されたマップをあらかじめ記憶している。また、マップ出力部は、カプセル内視鏡による一の検査により取得された被検体内部を表す一連の画像データを受けて、一連の画像データのそれぞれをその撮像位置に基づき複数の領域のいずれかに関連付ける。検出部は、画像データそれぞれに対して、当該画像データ中の異常候補を検出する。表示制御部は、異常候補の検出結果に基づく情報を識別可能な形態でマップを表示可能に出力する。
本実施形態に係る医用画像処理システムのブロック図である。 体内マップを示した図である。 検査選択画面の一例である。 画像表示画面の一例である。 体内マップの生成に係る一連の動作を示したフローチャートである。 画像の表示に係る一連の動作を示したフローチャートである。
本実施形態に係る医用画像処理システムについて図1を参照しながら説明する。本実施形態に係る医用画像処理システムは、撮像部500と、第1の記憶部11と、マップ出力部12と、異常候補検出部13と、解析部14と、第2の記憶部15と、リスト生成部16と、入力部17と、表示制御部18と、表示部19とを含んで構成される。
撮像部500は、カプセル内視鏡に相当する。撮像部500は、観察又は検査のために被検査者の口から飲み込まれた後、身体から排出されるまでの期間中に、食道、胃、十二指腸、小腸、大腸などの消化管内の画像を順次経時的に撮像し取得する。この画像データには、画像自体を示すデータと、その画像に関する付帯情報を示すデータとで構成される。これらの画像データは、検査ごとに一連の画像データとして、付帯情報を基に関連付けられる。以降では、検査ごとの一連の画像データを「一連の検査画像データ」と呼ぶ場合がある。また、順次送信される各画像データには、その画像データが取得された時刻を示す情報(以降では、「撮像時刻」と呼ぶ場合がある)が付帯されている。即ち、この撮像時刻を基に、各画像データを時系列に沿って並べることが可能となる。
撮像部500は、取得された画像データを、無線通信により第1の記憶部11に送信し記憶させる。第1の記憶部11は、画像データを記憶する記憶領域である。
マップ出力部12は、部位特定部121と、関連付け処理部122と、雛型記憶部123とを含んで構成される。マップ出力部12は、第1の記憶部11に記憶された画像データを検査ごとに読み出し、読み出された画像データを体内マップと関連付ける。以降では、まず、体内マップについて説明し、その後に、部位特定部121、関連付け処理部122、及び雛型記憶部123について説明する。
体内マップについて、図2を参照しながら説明する。図2は、体内マップを示した図である。図2に示すように、体内マップP1は、カプセル内視鏡の撮像経路、即ち、食道、胃、十二指腸、小腸、大腸などの消化管を模した図である。体内マップP1は、領域P11〜P15を含んで構成されている。領域P11〜P15は、消化管を構成する部位にそれぞれ関連付けられている。具体的には、領域P11は、食道に関連付けられ、領域P12は、胃に関連付けられている。また、領域P13は、十二指腸に関連付けられている。また、領域P14は、小腸に関連付けられており、入口から出口に向けて、さらに領域P141〜P14mに分割されている。また、領域P15は、大腸に関連付けられており、入口から出口に向けて、さらに領域P151〜P15nに分割されている。このように、体内マップP1は、消化管の進行方向に沿って複数の領域に分割されている。これらの各領域は、危険度などにより重みづけされ、その重み付けを、例えば色やマークなどにより識別可能に表示される。各領域の重み付けと、それに応じた体内マップの表示制御とに関する具体的な内容については後述する。雛型記憶部123には、体内マップの雛型があらかじめ記憶されている。なお、領域を分割する単位は、上記で示した消化管を構成する部位の単位に限らず、その単位は適宜変更してもよい。
ここで、図1を参照する。部位特定部121は、一連の検査画像データを第1の記憶部11から読み出す。部位特定部121は、読み出された一連の検査画像データに含まれる各画像データに対し、その画像データがどの部位を撮像したものかを特定する。例えば、部位特定部121は、画像を構成するピクセルの色の情報を基に、どの部位を撮像した画像データかを特定する。その他の方法として、部位特定部121は、例えば、画像からの輪郭抽出により、どの部位を撮像した画像データかを特定してもよい。また、色の情報による特定方法と、輪郭抽出による特定方法とを、適宜組み合わせてもよい。
部位特定部121は、各画像データに対して、特定された部位を示す部位情報を付帯させる。この部位情報に基づき、その画像データが、消化管中のどの部位を撮像した画像データかを判別することが可能となる。部位特定部121は、各画像データに対して部位情報が付帯された一連の検査画像データを、関連付け処理部122に出力する。
関連付け処理部122は、一連の検査画像データを部位特定部121から受ける。また、関連付け処理部122は、雛型記憶部123から体内マップP1の雛型を読み出す。次に、関連付け処理部122は、一連の検査画像データから各画像データを読み出す。関連付け処理部122は、読み出された画像データに付帯された部位情報を参照し、その画像データが取得された消化管中の部位(即ち、食道、胃、十二指腸、小腸、及び大腸のいずれか)を特定する。関連付け処理部122は、体内マップP1中の特定された部位を示す領域に、その画像データを関連付ける。具体的には、関連付け処理部122は、食道に相当する画像データを領域P11に関連付ける。同様にして、関連付け処理部122は、胃に相当する画像データを領域P12に関連付け、十二指腸に相当する画像データを領域P13に関連付ける。
また、小腸に相当する画像データについては、関連付け処理部122は、領域P141〜P14mそれぞれに対応する画像データを特定し、特定された画像データを各領域に関連付ける。その関連付けの方法について、以下に具体的に説明する。関連付け処理部122は、まず、部位情報を基に小腸に相当する画像データを一連の検査画像データの中から抽出する。次に、関連付け処理部122は、各画像データに付帯された撮像時刻を参照し、小腸の撮像開始時刻(最も早い撮像時刻)と撮像終了時刻(最も遅い撮像時刻)とを特定する。関連付け処理部122は、特定された撮像開始時刻から撮像終了時刻までの時間帯を、時系列に沿って領域P141〜14mの数(即ち、m個)の時間帯t141〜t14mに分割する。関連付け処理部122は、時間帯t141に相当する画像データを領域P141に関連付け、時間帯t142に相当する画像データを領域P142に関連付ける。このように、関連付け処理部122は、時間帯t141〜t14mに相当する各画像データを、領域P141〜P14mに関連付ける。また、関連付け処理部122は、小腸と同様にして大腸に相当する各画像データを、領域P151〜P15nに関連付ける。
関連付け処理部122は、一連の検査画像データが関連付けられた体内マップ(以降では、「検査ごとの体内マップ」と呼ぶ)を、その一連の検査画像データとあわせて異常候補検出部13に出力する。
異常候補検出部13は、検査ごとの体内マップを、その体内マップに関連付けられた一連の検査画像データとあわせて関連付け処理部122から受ける。異常候補検出部13は、受けた画像データに画像処理を施すことで、その取得された画像を解析し、病変の疑いがある領域を異常候補として抽出する。この抽出方法の一例としては、画像を構成するピクセルの色を示す情報を用いる方法が挙げられる。例えば、出血している部分は、正常な部分と色が異なる。そのため、異常候補検出部13は、まず、画像を構成するピクセルが示す色の情報を基に、ピクセル間の色の平均値を算出する。異常候補検出部13は、各ピクセルが示す色の情報と、算出された平均値とを比較し、値間で所定値以上の乖離があるピクセルを含む領域を異常候補として抽出する。また、上記した方法に限らず、例えば、異常候補検出部13は、輪郭抽出等により異常候補を抽出してもよい。異常候補検出部13は、抽出された異常候補に相当する領域を、他の領域と区別して識別するための識別情報(例えば、アノテーション)を、当該異常候補が抽出された画像データに付帯させる。異常候補検出部13は、各画像データに対して画像処理が施された体内マップを、その体内マップに関連付けられた一連の検査画像データとあわせて解析部14に出力する。
解析部14は、検査ごとの体内マップを、その体内マップに関連付けられた一連の検査画像データとあわせて異常候補検出部13から受ける。解析部14は、体内マップを構成する領域ごとに、その領域に関連付けられた画像データに対する、それらの画像データに含まれた異常候補の検出割合を算出する。この算出方法について、以下に具体的に説明する。
解析部14は、体内マップを構成する領域ごとに、その領域に関連付けられた画像データの数(画像の枚数)と、異常候補が抽出された画像データの数(画像の枚数)とを特定する。解析部14は、異常候補が抽出された画像データの数を領域に含まれる画像データの数で除算することで、領域に含まれる画像データの数に対して、異常候補が抽出された画像データの数が占める割合を検出割合として算出する。解析部14は、算出された検出割合を示す情報(以降では、「分布情報」と呼ぶ)を、その領域に関連付ける。
なお、解析部14は、画像の総面積に対する異常候補の総面積を基に検出割合を算出してもよい。この場合には、解析部14は、体内マップを構成する領域ごとに、その領域に関連付けられた画像データの総面積を算出する。この総面積は、その領域に含まれる画像1枚あたりの面積をまず算出し、算出された面積を、その領域に含まれる画像の枚数分加算することで算出すればよい。次に、解析部14は、その領域に関連付けられた画像データから抽出された異常候補の総面積を算出する。異常候補の面積は、例えば、ピクセル数を基に算出する。解析部14は、算出された異常候補の総面積を画像の総面積で除算することで、画像の総面積に対して、異常候補の総面積が占める割合を検出割合として算出する。解析部14は、算出された検出割合を示す分布情報を、その領域に関連付ける。
これにより、後述する表示制御部18は、この分布情報を基に、上述した割合を体内マップ上に識別可能に表示させることが可能となる。例えば、図2では、分布情報に応じて、危険度0〜危険度2までの3段階に分けて、各領域を色分けして表示させている。
また、解析部14は、検査ごとに取得された一連の検査画像全てに対する、それらの画像に含まれる異常候補の占める割合を算出する。この割合は、領域ごとの割合と同様に、枚数を基に算出してもよいし、面積を基に算出してもよい。解析部14は、全体に対する分布情報として体内マップに関連付ける。
領域ごとの分布情報、及び全体に対する分布情報を体内マップに関連付けたら、解析部14は、体内マップと、その体内マップに関連付けられた画像データとを第2の記憶部15に記憶させる。第2の記憶部15は、第2の記憶部15は、一連の検査画像データを、それらの画像データが関連付けられた体内マップとあわせて、検査ごとに記憶する記憶部である。
次に、第2の記憶部に記憶された体内マップと、その体内マップに関連付けられた画像データを基に生成された画像とを表示させる構成について説明する。
入力部17は、操作者が、画像の表示に係る条件を入力するための入力I/Fである。
リスト生成部16は、第2の記憶部15に記憶された体内マップを、あらかじめ決められた条件に基づき複数検査分読み出す。リスト生成部16は、この条件として、例えば撮像時刻を基に、直近1週間に撮像された検査の体内マップを読み出す。また、リスト生成部16は、操作者が指定した条件を、入力部17を介して受け付け、この条件に基づき第2の記憶部15から読み出す体内マップを決定してもよい。リスト生成部16は、読み出された体内マップの一覧を表示制御部18に出力する。
表示制御部18は、体内マップの一覧をリスト生成部16から受ける。表示制御部18は、受けた体内マップの一覧を基に検査選択画面V10を生成する。図3は、検査選択画面V10の一例である。図3に示すように、検査選択画面V10は、マップ一覧表示部V11と、条件指定部V12と、指示手段V13とを含んで構成される。
マップ一覧表示部V11は、複数検査分の体内マップを表示させるための領域である。マップ一覧表示部V11は、検査ごとに設けられた検査表示領域V111を複数検査分含んで構成されている。表示制御部18は、受けた各体内マップに対応する検査を、検査表示領域V111と関連付ける。
検査表示領域V111は、体内マップ表示領域V112と、検査情報表示部V113を含んで構成されている。体内マップ表示領域V112は、検査表示領域V111に関連付けられた検査の体内マップを表示させるための領域である。また、検査情報表示部V113は、例えば、患者名や撮像時刻等のような検査の情報を表示させるための領域である。表示制御部18は、体内マップ表示領域V112に、検査表示領域V111に関連付けられた検査の体内マップを表示させ、検査情報表示部V113にその検査の情報を表示させる。このとき、表示制御部18は、体内マップの各領域に関連付けられた分布情報を基に、体内マップ上の各領域を色分けして、分布情報を識別可能に表示させる。
例えば、図3の例では、分布情報に応じて、危険度0〜危険度2までの3段階に分けて、各領域を色分けして表示させている。この場合、表示制御部18は、分布情報の閾値を複数設け、この閾値を基準として各領域に危険度を設定する。例えば、表示制御部18は、分布情報が2割未満の場合には危険度0を、分布情報が2割以上5割未満の場合には危険度1を、分布情報が5割以上の場合には危険度2を設定する。なお、危険度の段階数や閾値は適宜変更してもよい。
表示制御部18は、検査ごとに関連付けられた検査表示領域V111を、あらかじめ決められた条件に基づき並び替える。この並び替えの条件としては、例えば、患者名の順、撮像時刻の順、または、分布情報を基にした並び替えが挙げられる。また、検査選択画面V10は、この並び替えの条件を指定可能に構成されている。条件指定部V12には、この並び替えの条件を指定するための指定部(例えば、ボタン)が設けられている。例えば、条件指定部V12は、図3に示すように、日付指定部V121、患者名指定部V122、全体危険度指定部V123、及び部位危険度指定部V124を含んで構成されている。
日付指定部V121は、撮像時刻を基にした検査表示領域V111の並べ替えを指定するための指定部である。日付指定部V121が、指示手段V13により押下された場合には、表示制御部18は、撮像時刻の早い順または遅い順に、検査表示領域V111を並べ替えて、検査選択画面V10に表示させる。
患者名指定部V122は、患者名を基にした検査表示領域V111の並べ替えを指定するための指定部である。患者名指定部V122が、指示手段V13により押下された場合には、表示制御部18は、患者名の昇順または降順に、検査表示領域V111を並べ替えて、検査選択画面V10に表示させる。
全体危険度指定部V123は、各体内マップに関連付けられた「全体に対する分布情報」を基にした、検査表示領域V111の並べ替えを指定するための指定部である。全体危険度指定部V123が、指示手段V13により押下された場合には、表示制御部18は、まず、体内マップに関連付けられた全体に対する分布情報を複数検査分比較する。表示制御部18は、この比較結果を基に、割合の大きい順(または、小さい順)に検査表示領域V111を並べ替えて、検査選択画面V10に表示させる。
部位危険度指定部V124は、部位ごとに分布情報を比較し、その比較結果を基にした、検査表示領域V111の並べ替え指定するための指定部である。部位危険度指定部V124が、指示手段V13により押下された場合には、表示制御部18は、まず、消化管の部位を指定するための部位一覧を表示させる。操作者は、入力部17を介して指示手段V13を操作し、この部位一覧上から部位を指定する。表示制御部18は、入力部17から部位の指定を受けて、その部位に対応する領域に関連付けられた分布情報を複数検査分比較する。なお、小腸や大腸のように、その部位が複数の領域を含む場合には、その部位を構成する領域の分布情報の和を基に複数検査分比較する。表示制御部18は、この比較結果を基に、割合の大きい順(または、小さい順)に検査表示領域V111を並べ替えて、検査選択画面V10に表示させる。
以上のように、全体に対する分布情報、または部位ごとの分布情報に基づき検査表示領域V111を並び替えて表示させることで、操作者は、病変の疑いのある部分の多い(即ち、危険度の高い)患者を容易に特定することが可能となる。
また、表示制御部18は、各検査表示領域V111を指示手段V13により指定可能に表示させる。表示制御部18は、生成された検査選択画面V10を表示部19に表示させる。
この表示を受けて、操作者は、入力部17を介して指示手段V13を操作し、検査表示領域V111を指定する。
この指定を受けると、表示制御部18は、指定された検査表示領域V111に関連付けられた検査で撮像された一連の検査画像データを第2の記憶部15から読み出す。表示制御部18は、指定された検査表示領域V111に関連付けられた体内マップと、読み出された一連の検査画像データを基に、画像表示画面V20を生成し表示部19に表示させる。図4は、画像表示画面V20の一例である。図4に示すように、画像表示画面V20は、検査情報表示部V21と、体内マップ表示部V22と、表示切替手段V23と、画像表示部V24と、サブパネルV25と、指示手段V26とを含んで構成されている。
検査情報表示部V21と、選択された検査の情報を表示させるための領域である。検査の情報としては、例えば、患者名、ID、検査日時等が挙げられる。表示制御部18は、一連の検査画像に付帯された付帯情報から、これらの情報を読み出して検査情報表示部V21に表示させる。
体内マップ表示部V22には、選択された検査の体内マップが表示される。体内マップ表示部V22に表示された体内マップは、その体内マップを構成する各領域を個々に選択可能に構成されている。操作者は、入力部17を介して指示手段V26を操作し、これらの領域を指定する。体内マップ中の所望の領域が指定されると、表示制御部18は、その指定された領域に対応付けられた画像データを、一連の検査画像データの中から特定し、特定された画像データを基に画像を生成する。表示制御部18は、生成された画像を画像表示部V24に表示させる。
画像表示部V24は、体内マップ上で指定された領域に対応する画像を表示させるための領域である。画像表示部V24には、選択された領域に対応する画像データを基に生成された静止画像や動画が表示される。また、画像表示部V24には、その領域に対応する画像データに所見を入力するための入力画面を表示させてもよい。画像表示部V24の表示態様は、表示切替手段V23により切り替え可能に構成されている。
サブパネルV25は、画像表示部V24の表示態様にあわせて、操作系統を表示させるための領域である。サブパネルV25は、画像表示部V24の表示態様にあわせて、その表示が切り替わる。各態様に応じたサブパネルV25の具体的な構成については、表示切替手段V23の説明とあわせて後述する。
表示切替手段V23は、画像表示部V24の表示態様を切り替えるための切替手段である。この表示態様としては、例えば、静止画像を表示させる態様、動画を表示させる態様、または、選択された領域に対応する画像データに所見を入力するための入力画面を表示させる態様が挙げられる。表示切替手段V23は、これらの態様を指定するための指定部として、静止画像指定部V231と、動画指定部V232と、所見指定部V233とを含んで構成されている。
静止画像指定部V231は、画像表示部V24に静止画像を表示させる表示態様を指定するための指定部である。静止画像指定部V231が指示手段V26により押下された場合には、表示制御部18は、体内マップ上で選択された領域に関連付けられた所定の画像データ(例えば、先頭の画像データ)を基に画像を生成し、画像表示部V24に表示させる。また、表示制御部18は、その領域に関連付けられた各画像データを基に画像を生成し、これらの画像を指示手段V26により選択可能に構成されたサムネイルをサブパネルV25に表示させる。表示制御部18は、このサムネイル上の画像が選択されると、選択された画像を画像表示部V24に表示させる。
動画指定部V232は、画像表示部V24に動画を表示させる表示態様を指定するための指定部である。動画指定部V232が指示手段V26により押下された場合には、表示制御部18は、体内マップ上で選択された領域に関連付けられた画像データを基に動画を生成し、画像表示部V24で再生可能に表示させる。また、表示制御部18は、画像表示部V24に表示された動画に対し、再生、停止、巻き戻し、早送り等の操作を行うためのインタフェースをサブパネルV25に表示させる。サブパネルV25に表示されたインタフェースが操作された場合には、表示制御部18は、その操作内容に応じて、画像表示部V24に表示された動画の、再生、停止、巻き戻し、または早送りを行う。
所見指定部V233は、選択された領域に対応する画像データに所見を入力するための入力画面を、画像表示部V24に表示させるための指定部である。所見指定部V233が指示手段V26により押下された場合には、表示制御部18は、画像表示部V24に、選択された領域に関連付けられた各画像データが選択可能に構成された一覧を表示させる。また、表示制御部18は、画像表示部V24上で選択された画像データに対する所見を入力するための入力領域をサブパネルV25に表示させる。画像表示部V24の一覧で画像データが選択され、サブパネルV25に所見が入力されると、表示制御部18は、一覧上で選択された画像データに、入力領域に入力された所見を付帯する。
以上のように、画像表示画面V20に体内マップを表示させることで、操作者は、カプセル内視鏡により検査ごとに撮像された複数の画像の中から、病変の疑いのある部分が撮像された画像を容易に抽出することが可能となる。
(動作)
次に、本実施形態に係る医用画像処理システムの一連の動作について、図5及び図6を参照しながら説明する。まず、図5に示したフローチャートを参照しながら、体内マップの生成に係る一連の動作について説明する。
(ステップS11)
撮像部500は、観察又は検査のために被検査者の口から飲み込まれた後、身体から排出されるまでの期間中に、食道、胃、十二指腸、小腸、大腸などの消化管内の画像を順次経時的に撮像し取得する。撮像部500は、取得された画像データを、無線通信により第1の記憶部11に送信し記憶させる。
部位特定部121は、一連の検査画像データを第1の記憶部11から検査ごとに読み出す。部位特定部121は、読み出された一連の検査画像データに含まれる各画像データに対し、その画像データがどの部位を撮像したものかを特定する。例えば、部位特定部121は、画像を構成するピクセルの色の情報を基に、どの部位を撮像した画像データかを特定する。
部位特定部121は、各画像データに対して、特定された部位を示す部位情報を付帯させる。この部位情報に基づき、その画像データが、消化管中のどの部位を撮像した画像データかを判別することが可能となる。部位特定部121は、各画像データに対して部位情報が付帯された一連の検査画像データを、関連付け処理部122に出力する。
(ステップS12)
関連付け処理部122は、一連の検査画像データを部位特定部121から受ける。この一連の検査画像データを、関連付け処理部122は、雛型記憶部123から体内マップP1の雛型を読み出す。関連付け処理部122は、一連の検査画像データから各画像データを読み出す。関連付け処理部122は、読み出された画像データに付帯された部位情報を参照し、その画像データが取得された消化管中の部位(即ち、食道、胃、十二指腸、小腸、及び大腸のいずれか)を特定する。関連付け処理部122は、体内マップP1中の特定された部位を示す領域に、その画像データを関連付ける。
また、小腸に相当する画像データについては、関連付け処理部122は、領域P141〜P14mそれぞれに対応する画像データを特定し、特定された画像データを各領域に関連付ける。また、関連付け処理部122は、小腸と同様にして大腸に相当する各画像データを、領域P151〜P15nに関連付ける。
関連付け処理部122は、一連の検査画像データが関連付けられた体内マップを、その一連の検査画像データとあわせて異常候補検出部13に出力する。
(ステップS13)
異常候補検出部13は、検査ごとの体内マップを、その体内マップに関連付けられた一連の検査画像データとあわせて関連付け処理部122から受ける。異常候補検出部13は、受けた画像データに画像処理を施すことで、その取得された画像を解析し、病変の疑いがある領域を異常候補として抽出する。この抽出方法の一例としては、画像を構成するピクセルの色を示す情報を用いる方法が挙げられる。異常候補検出部13は、抽出された異常候補に相当する領域を、他の領域と区別して識別するための識別情報(例えば、アノテーション)を、当該異常候補が抽出された画像データに付帯させる。異常候補検出部13は、各画像データに対して画像処理が施された体内マップを、その体内マップに関連付けられた一連の検査画像データとあわせて解析部14に出力する。
(ステップS14)
解析部14は、検査ごとの体内マップを、その体内マップに関連付けられた一連の検査画像データとあわせて異常候補検出部13から受ける。解析部14は、体内マップを構成する領域ごとに、その領域に関連付けられた画像データに対する、それらの画像データに含まれた異常候補の割合を算出する。
(ステップS15)
解析部14は、算出された画像の総面積に対して、異常候補の総面積が占める割合を算出する。解析部14は、算出された割合を示す分布情報を、その領域に関連付ける。また、解析部14は、取得された一連の検査画像全てに対する、それらの画像に含まれる異常候補の占める割合を算出する。この割合は、領域ごとの割合と同様に、枚数を基に算出してもよいし、面積を基に算出してもよい。解析部14は、全体に対する分布情報として体内マップに関連付ける。
(ステップS16)
領域ごとの分布情報、及び全体に対する分布情報を体内マップに関連付けたら、解析部14は、体内マップと、その体内マップに関連付けられた画像データとを第2の記憶部15に記憶させる。
次に、図6に示したフローチャートを参照しながら、画像の表示に係る一連の動作について説明する。
(ステップS21)
リスト生成部16は、第2の記憶部15に記憶された体内マップを、あらかじめ決められた条件に基づき複数検査分読み出す。リスト生成部16は、この条件として、例えば撮像時刻を基に、直近1週間に撮像された検査の体内マップを読み出す。また、リスト生成部16は、操作者が指定した条件を、入力部17を介して受け付け、この条件に基づき第2の記憶部15から読み出す体内マップを決定してもよい。リスト生成部16は、読み出された体内マップの一覧を表示制御部18に出力する。
(ステップS22)
表示制御部18は、体内マップの一覧をリスト生成部16から受ける。表示制御部18は、受けた体内マップの一覧を基に検査選択画面V10を生成する。
表示制御部18は、検査ごとに関連付けられた検査表示領域V111を、あらかじめ決められた条件に基づき並び替える。この並び替えの条件としては、例えば、患者名の順、撮像時刻の順、または、分布情報を基にした並び替えが挙げられる。また、表示制御部18は、入力部17からの指定(日付指定部V121、患者名指定部V122、全体危険度指定部V123、または部位危険度指定部V124)を受けて、指定された条件に基づき検査表示領域V111を並べ替えてもよい。
また、表示制御部18は、各検査表示領域V111を指示手段V13により指定可能に表示させる。表示制御部18は、生成された検査選択画面V10を表示部19に表示させる。
(ステップS23)
この表示を受けて、操作者は、入力部17を介して指示手段V13を操作し、検査表示領域V111を指定する。この指定を受けると、表示制御部18は、指定された検査表示領域V111に関連付けられた検査で撮像された一連の検査画像データを第2の記憶部15から読み出す。
(ステップS24)
表示制御部18は、指定された検査表示領域V111に関連付けられた体内マップと、読み出された一連の検査画像データを基に、画像表示画面V20を生成し表示部19に表示させる。
操作者は、入力部17を介して指示手段V26を操作し、体内マップ表示部V22に表示された体内マップ中の領域を指定する。この指定を受けて、表示制御部18は、その指定された領域に対応付けられた画像データを、一連の検査画像データの中から特定し、特定された画像データを基に画像を生成する。表示制御部18は、生成された画像を画像表示部V24に表示させる。
以上のように、本実施形態に係る医用画像処理システムは、検査ごとに撮像された一連の検査画像データを、体内マップ上の各領域に関連付けるとともに、領域ごとの分布情報と全体に対する分布情報とを算出する。そのうえで、医用画像処理システムは、全体に対する分布情報、または部位ごとの分布情報に基づき、複数検査分の体内マップを並べ替えて検査選択画面V10に表示させる。これにより、操作者は、病変の疑いのある部分の多い(即ち、危険度の高い)患者を容易に特定することが可能となる。
また、本実施形態に係る医用画像処理システムでは、体内マップを構成する各領域を、それらの領域に関連付けられた分布情報を識別可能に表示させる。これにより、操作者は、カプセル内視鏡により検査ごとに撮像された複数の画像の中から、病変の疑いのある部分が撮像された画像を容易に抽出することが可能となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載されたその均等の範囲に含まれる。
11 第1の記憶部
12 マップ出力部
121 部位特定部
122 関連付け処理部
123 雛型記憶部
13 異常候補検出部
14 解析部
15 第2の記憶部
16 リスト生成部
17 入力部
18 表示制御部
19 表示部
500 撮像部

Claims (6)

  1. カプセル内視鏡による撮像経路を模したマップであって、前記撮像経路の進行方向に沿う複数の部位に対応する複数の領域に分割されたマップをあらかじめ記憶し、前記カプセル内視鏡による一の検査により取得された被検体内部を表す一連の画像データを受けて、前記一連の画像データのそれぞれをその撮像位置に基づき前記複数の領域のいずれかに関連付けるマップ出力部と、
    前記画像データそれぞれに対して、当該画像データ中の異常候補を検出する検出部と、
    前記異常候補の検出結果に基づく情報を識別可能な形態で前記マップを表示可能に出力する表示制御部と、
    を備えた医用画像処理システム。
  2. 前記マップは、前記撮像経路に沿って、前記消化管を構成する部位を示す所定の範囲ごとに分割され、前記範囲ごとに前記領域に分割されており、
    前記マップ出力部は、前記画像データを部位ごとに抽出可能に前記領域に関連付けることを特徴とする請求項1に記載の医用画像処理システム。
  3. 前記異常候補の検出結果に基づく情報として、前記複数の領域それぞれについて、当該領域に関連付けられた前記画像データにおける前記異常候補の検出割合を算出する解析部を備え、
    前記表示制御部は、算出された前記検出割合を識別可能な形態で前記マップを表示可能に出力することを特徴とする請求項1または請求項2に記載の医用画像処理システム。
  4. 前記解析部は、前記複数の領域それぞれについて、当該領域に関連付けられた前記画像データの総数で、前記異常候補を含む画像データの個数を除算することにより、前記検出割合の算出を行うことを特徴とする請求項3に記載の医用画像処理システム。
  5. 前記解析部は、前記複数の領域それぞれについて、当該領域に関連付けられた前記画像データに基づく画像の合計面積で、前記異常候補に相当する画像領域の合計面積を除算することにより、前記検出割合の算出を行うことを特徴とする請求項3に記載の医用画像処理システム。
  6. 前記解析部は、前記カプセル内視鏡による検査ごとに、前記検出割合を示す情報と、当該一連の画像データと前記複数の領域との関連付けがなされた前記マップとを関連付け、
    前記表示制御部は、複数の前記検査に対応する複数の前記マップに対して、前記検出割合を示す情報に基づき順位を付与し、前記順に応じた前記複数のマップの一覧情報を表示可能に出力することを特徴とする請求項3乃至請求項5のいずれか一つに記載の医用画像処理システム。
JP2011126288A 2011-06-06 2011-06-06 医用画像処理システム Active JP5818520B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011126288A JP5818520B2 (ja) 2011-06-06 2011-06-06 医用画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011126288A JP5818520B2 (ja) 2011-06-06 2011-06-06 医用画像処理システム

Publications (2)

Publication Number Publication Date
JP2012249936A true JP2012249936A (ja) 2012-12-20
JP5818520B2 JP5818520B2 (ja) 2015-11-18

Family

ID=47523340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011126288A Active JP5818520B2 (ja) 2011-06-06 2011-06-06 医用画像処理システム

Country Status (1)

Country Link
JP (1) JP5818520B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788904A (zh) * 2016-06-30 2019-05-21 基文影像公司 评估和监测受试者胃肠道的粘膜疾病的系统和方法
JPWO2019054265A1 (ja) * 2017-09-15 2020-10-01 富士フイルム株式会社 医療画像処理装置
JPWO2019039259A1 (ja) * 2017-08-25 2020-10-29 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
WO2021149137A1 (ja) * 2020-01-21 2021-07-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JPWO2020071086A1 (ja) * 2018-10-04 2021-09-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102595429B1 (ko) * 2019-12-05 2023-11-01 동국대학교 산학협력단 장 정결도의 자동화 계산 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007330797A (ja) * 2007-07-10 2007-12-27 Olympus Medical Systems Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2009005866A (ja) * 2007-06-27 2009-01-15 Olympus Medical Systems Corp 画像情報の表示処理装置
JP2010082241A (ja) * 2008-09-30 2010-04-15 Olympus Medical Systems Corp 画像表示装置、画像表示方法、および画像表示プログラム
WO2010103868A1 (ja) * 2009-03-11 2010-09-16 オリンパスメディカルシステムズ株式会社 画像処理システム、その外部装置およびその画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008061704A (ja) * 2006-09-05 2008-03-21 Olympus Medical Systems Corp 画像表示装置
JP2009005866A (ja) * 2007-06-27 2009-01-15 Olympus Medical Systems Corp 画像情報の表示処理装置
JP2007330797A (ja) * 2007-07-10 2007-12-27 Olympus Medical Systems Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2010082241A (ja) * 2008-09-30 2010-04-15 Olympus Medical Systems Corp 画像表示装置、画像表示方法、および画像表示プログラム
WO2010103868A1 (ja) * 2009-03-11 2010-09-16 オリンパスメディカルシステムズ株式会社 画像処理システム、その外部装置およびその画像処理方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034102B2 (ja) 2016-06-30 2022-03-11 ギブン イメージング リミテッド 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法
JP2019520916A (ja) * 2016-06-30 2019-07-25 ギブン イメージング リミテッドGiven Imaging Ltd. 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法
US11478125B2 (en) 2016-06-30 2022-10-25 Given Imaging Ltd. Systems and methods for assessment and monitoring of a mucosal disease in a subjects gastrointestinal tract
CN109788904A (zh) * 2016-06-30 2019-05-21 基文影像公司 评估和监测受试者胃肠道的粘膜疾病的系统和方法
JPWO2019039259A1 (ja) * 2017-08-25 2020-10-29 富士フイルム株式会社 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
US11103197B2 (en) 2017-08-25 2021-08-31 Fujifilm Corporation Diagnosis support system, endoscope system, processor and diagnosis support method
US11449988B2 (en) 2017-09-15 2022-09-20 Fujifilm Corporation Medical image processing apparatus
JPWO2019054265A1 (ja) * 2017-09-15 2020-10-01 富士フイルム株式会社 医療画像処理装置
EP3841955A4 (en) * 2018-08-23 2021-10-13 FUJIFILM Corporation MEDICAL IMAGE PROCESSING APPARATUS, ENDOSCOPE SYSTEM AND METHOD OF OPERATION OF A MEDICAL IMAGE PROCESSING DEVICE
CN112584746A (zh) * 2018-08-23 2021-03-30 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
JPWO2020071086A1 (ja) * 2018-10-04 2021-09-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7253152B2 (ja) 2018-10-04 2023-04-06 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US12075969B2 (en) 2018-10-04 2024-09-03 Nec Corporation Information processing apparatus, control method, and non-transitory storage medium
WO2021149137A1 (ja) * 2020-01-21 2021-07-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP5818520B2 (ja) 2015-11-18

Similar Documents

Publication Publication Date Title
JP5818520B2 (ja) 医用画像処理システム
JP5568196B1 (ja) 画像処理装置及び画像処理方法
EP2290613B1 (en) System and method for presentation of data streams
JP5087544B2 (ja) データストリームを表示するシステムおよび方法
US8900124B2 (en) Image display device
US8335423B2 (en) Image display apparatus, image interpretation support system and computer-readable recording medium
US8830308B2 (en) Image management apparatus, image management method and computer-readable recording medium associated with medical images
US7577283B2 (en) System and method for detecting content in-vivo
JPWO2009008125A1 (ja) 画像処理装置、該動作方法及び該プログラム
US9877635B2 (en) Image processing device, image processing method, and computer-readable recording medium
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
US20140321724A1 (en) Image processing apparatus and image processing method
JP6313913B2 (ja) 内視鏡画像観察支援システム
KR102072476B1 (ko) 영상 유도 수술을 위한 종양 검출 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150929

R150 Certificate of patent or registration of utility model

Ref document number: 5818520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350