JP2015112429A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2015112429A
JP2015112429A JP2013258657A JP2013258657A JP2015112429A JP 2015112429 A JP2015112429 A JP 2015112429A JP 2013258657 A JP2013258657 A JP 2013258657A JP 2013258657 A JP2013258657 A JP 2013258657A JP 2015112429 A JP2015112429 A JP 2015112429A
Authority
JP
Japan
Prior art keywords
image
display
specific image
specific
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013258657A
Other languages
English (en)
Other versions
JP2015112429A5 (ja
JP6120762B2 (ja
Inventor
浩平 堀内
Kohei Horiuchi
浩平 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2013258657A priority Critical patent/JP6120762B2/ja
Publication of JP2015112429A publication Critical patent/JP2015112429A/ja
Publication of JP2015112429A5 publication Critical patent/JP2015112429A5/ja
Application granted granted Critical
Publication of JP6120762B2 publication Critical patent/JP6120762B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ユーザが過剰な負担を感じることなく、画像から得られる情報の種々の突然の変化に対して備えることを可能にする画像処理装置を提供する。
【解決手段】画像処理装置1は、時系列順に並べられた画像群の画像データを記憶する記憶部13と、画像群から特定画像を特定する画像特定部143と、画像群内の各画像を表示する表示部15と、各画像の画像データを記憶部から時系列順又は時系列の逆順に取得し、画像データの取得順に画像を表示部に表示させる表示制御部161と、表示対象の画像に対する所定の範囲に特定画像が含まれるか否かを判定する判定部162と、特定画像が含まれると判定された場合に特定画像が存在する旨の情報を表す表示データを生成する表示データ生成部163とを備え、表示制御部は表示対象の画像を含む画面を作成し、特定画像が存在する旨の情報を上記範囲に含まれる特定画像の特性に応じた態様で上記画面に配置する。
【選択図】図2

Description

本発明は、カプセル型内視鏡等の医療用画像取得装置を用いた検査により取得された画像を処理する画像処理装置に関する。
近年、内視鏡の分野では、患者等の被検体内に導入されて該被検体内を撮像するカプセル型内視鏡を用いた検査が知られている。カプセル型内視鏡は、被検体の消化管内に導入可能な大きさに形成されたカプセル形状の筐体内に撮像機能や無線通信機能等を内蔵した装置であり、被検体内を撮像することにより画像データを生成して、被検体外に順次無線送信する。カプセル型内視鏡から無線送信された画像データは、被検体外に設けられた受信装置に一旦蓄積され、受信装置からワークステーション等の画像処理装置に転送される。画像処理装置において、取得した画像データに対して種々の画像処理を施すことにより、被検体内の臓器等が写った一連の画像が生成される。
ところで、カプセル型内視鏡は、消化管の蠕動運動により受動的に移動するため、移動速度は非常に不安定である。即ち、消化管内をスムーズに通過することもあれば、消化管自体の構造や消化管内の残留物等に移動を阻害されて、しばらくの間、同じ箇所に滞留することもある。また、滞留していたカプセル型内視鏡が突然、素早く動きだすこともある。
一方、消化管内の構造は複雑であるため、カプセル型内視鏡の位置や向きが少しでも変わると、カプセル型内視鏡の撮像結果は全く違ったものとなることが多い。
複数の画像の表示に関連する技術として、特許文献1には、画像群における特徴画像を表示させる場合に、特徴画像が表示されることを知らせる通知音を出力する技術が開示されている。また、特許文献2には、フレーム間の画像の変化が設定値以上である場合に、その旨をユーザに通知する技術が開示されている。
特開2006−129950号公報 特開2005−176096号公報
このような事情から、カプセル型内視鏡により取得された画像を連続的に再生表示すると、視野の突然の変化により画像内の様子が急激に変化する、或いは、病変等の注目すべき領域が突然表示されるといったことが繰り返し発生する。そのため、ユーザ(画像の観察者)は、画像から得られる情報の突然の変化に備えるため、常に画面を注視し続ける必要があり、負担が非常に大きかった。
上記問題に関し、特許文献2においては、画面にテキストメッセージを表示することにより、ユーザへの通知を行っている。しかしながら、カプセル型内視鏡により取得された画像内で発生し得る情報の変化は1種類ではないため、情報の変化に応じた通知がなされることが好ましい。この点に関し、テキストメッセージであれば情報の変化に応じた通知は可能であるが、この場合、ユーザはテキストメッセージが表示されるたびに視点を移してメッセージを読まなくてはならず、画像に対する注意が低下してしまうおそれがある。
本発明は、上記に鑑みてなされたものであって、ユーザが過剰な負担を感じることなく、画像から得られる情報の種々の突然の変化に対して備えることを可能にする画像処理装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列順に並べられた画像群に対応する画像データを記憶する記憶部と、前記画像群から、所定の特徴を有する画像を特定画像として特定する画像特定部と、前記画像群に含まれる各画像を表示する表示部と、前記各画像に対応する画像データを前記記憶部から時系列順又は時系列の逆順に取得し、画像データを取得した順に画像を前記表示部に表示させる表示制御部と、前記表示制御部が画像データを取得した表示対象の画像から、該表示対象の画像に対して表示順序が所定枚数後又は表示時刻が所定時間後の画像までの範囲に、前記画像特定部により特定された特定画像が含まれるか否かを判定する判定部と、前記範囲に前記特定画像が含まれると判定された場合に、特定画像が存在する旨の情報を表す表示データを生成する表示データ生成部と、を備え、前記表示制御部は、前記表示対象の画像を含む画面を作成すると共に、前記表示データに基づき、前記特定画像が存在する旨の情報を、前記範囲に含まれる前記特定画像の特性に応じた態様で前記画面に配置することを特徴とする。
上記画像処理装置において、前記範囲に含まれる前記特定画像の特性は、前記表示対象の画像から該特定画像までの画像の枚数若しくは表示時間、該特定画像が有する所定の特徴の種類、又は、該特定画像が有する所定の特徴の特徴量の大きさであることを特徴とする。
上記画像処理装置において、前記特定画像が存在する旨の情報は、前記表示対象の画像の周囲に設けられた表示枠であることを特徴とする。
上記画像処理装置において、前記表示制御部は、前記範囲に含まれる前記特定画像の特性に応じて前記表示枠の色調と点滅周期との少なくとも一方を変化させることを特徴とする。
上記画像処理装置において、前記特定画像が有する前記所定の特徴が、該特定画像内に存在する所定の特徴部である場合、前記画像特定部は、さらに、前記特定画像における前記特徴部の存在領域を特定し、前記表示制御部は、さらに、前記範囲に含まれる前記特定画像における前記特徴部の存在領域に応じて、前記特定画像が存在する旨の情報の前記画面における配置を決定することを特徴とする。
上記画像処理装置において、前記特定画像が存在する旨の情報は、前記表示対象の画像の周囲の一部に設けられる部分的な表示枠であることを特徴とする。
上記画像処理装置において、前記特定画像が存在する旨の情報は、前記表示対象の画像の近傍に配置されるアイコンであり、前記表示制御部は、前記範囲に含まれる前記特定画像の特性に応じて、前記アイコンのサイズ、前記アイコンの表示位置、及び前記アイコンの点滅周期のうちの少なくとも1つを変化させることを特徴とする。
上記画像処理装置において、前記特定画像が存在する旨の情報は、前記画面に配置される入力用のアイコンであり、外部からの操作に応じた信号を入力する入力部と、前記画面において前記入力用のアイコンを選択する操作に応じた信号が前記入力部から入力された場合に、前記表示部に表示させる画像を前記特定画像にスキップさせるスキップ部と、をさらに備えることを特徴とする。
上記画像処理装置において、前記画像群は、被検体内に導入されたカプセル型内視鏡が該被検体内を順次撮像することにより取得された一連の画像を含み、前記特定画像は、画像内の所定の特徴量が所定の範囲内である画像、所定の特徴部が検出された画像、画像番号が隣接する画像との類似度が所定値以下である画像、特定の位置若しくは領域が写った画像、又は、当該画像が撮像された際の前記カプセル型内視鏡の速度変化が所定値以上である画像であることを特徴とする。
本発明によれば、表示対象の画像から、該表示対象の画像に対して表示順序が所定枚数後又は表示時刻が所定時間後の画像までの範囲に特定画像が含まれると判定された場合に、特定画像が存在する旨の表示を該特定画像の特性に応じた態様で画面に配置するので、ユーザは、過剰な負担を感じることなく、画像から得られる情報の種々の突然の変化に対して備えることができる。
図1は、本発明の実施の形態1に係る画像処理装置を含むカプセル型内視鏡システムを示す模式図である。 図2は、本発明の実施の形態1に係る画像処理装置の構成を示すブロック図である。 図3は、図1に示すカプセル型内視鏡により取得された画像群を示す模式図である。 図4は、図2に示す画像処理装置の動作を示すフローチャートである。 図5は、表示対象の画像を含む画面の表示例を示す模式図である。 図6は、表示対象の画像を含む画面に対して特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。 図7は、変形例1−1における特定画像が存在する旨の情報の表示態様の例を示す模式図である。 図8は、本発明の変形例1−5における特定画像が存在する旨の情報の表示態様の例を示す模式図である。 図9は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。 図10は、図9に示す画像処理装置の動作を示すフローチャートである。 図11は、実施の形態2における特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。 図12は、図11に示すスキップボタンに対してポインタ操作がなされた後に表示される画面を示す模式図である。 図13は、本発明の実施の形態3における特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。 図14は、本発明の実施の形態3の変形例3−5における特定画像が存在する旨の情報の表示態様の例を示す模式図である。 図15は、本発明の実施の形態3の変形例3−5における特定画像が存在する旨の情報の表示態様の別の例を示す模式図である。 図16は、本発明の実施の形態3の変形例3−6における特定画像が存在する旨の情報の表示態様の例を示す模式図である。 図17は、本発明の実施の形態4における特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。 図18は、本発明の実施の形態4における特定画像が存在する旨の情報が配置された画面の別の表示例を示す模式図である。 図19は、図1に示すカプセル型内視鏡により取得された画像群を示す模式図である。 図20は、本発明の実施の形態5に係る画像処理装置の構成を示すブロック図である。
以下に、本発明の実施の形態に係る画像処理装置について、図面を参照しながら説明する。なお、これらの実施の形態により本発明が限定されるものではない。以下の実施の形態においては、カプセル型内視鏡を用いた検査により取得された画像群を管理する場合を説明するが、本発明に係る画像処理装置は各種医療用画像取得装置により取得された画像を管理する場合に適用することができる。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、カプセル型内視鏡を用いた検査を行うためのカプセル型内視鏡システムを示す模式図である。図1に示すカプセル型内視鏡システムは、本発明の実施の形態1に係る画像処理装置1と、被検体5内に導入されて該被検体5内を撮像することにより画像データを生成して無線送信するカプセル型内視鏡2と、カプセル型内視鏡2から送信された画像データを、被検体5に装着された受信アンテナユニット4を介して受信する受信装置3とを備える。
画像処理装置1は、検査により時系列順に取得された画像群を管理する装置であり、例えばワークステーションやパーソナルコンピュータ等の汎用のコンピュータによって構成される。なお、実施の形態1においては、カプセル型内視鏡2を用いた検査により取得された画像を管理する場合を説明するが、カプセル型内視鏡2以外の各種画像取得装置により取得された画像を管理する際にも画像処理装置1を適用することができる。画像処理装置1の詳細な構成及び動作については後述する。
カプセル型内視鏡2は、被検体5が嚥下可能な大きさのカプセル形状の筐体に、CCD等の撮像素子、LED等の照明素子、メモリ、信号処理手段、無線通信手段、その他各種部品を内蔵した装置である。撮像素子は筐体の一端側に設けられ、照明素子により照明された筐体の外部の所定範囲を撮像して撮像信号を出力する。カプセル型内視鏡2は、撮像素子から出力された撮像信号に所定の信号処理を施すことにより画像データを生成し、該画像データ及び関連情報を無線信号に重畳して送信する。
受信装置3は、複数(図1においては8個)の受信アンテナ4a〜4hを有する受信アンテナユニット4を介して、カプセル型内視鏡2から送信された無線信号を受信する。各受信アンテナ4a〜4hは、例えばループアンテナを用いて構成され、被検体5の体外表面上の所定位置(例えば、カプセル型内視鏡2の通過経路である被検体5内の各臓器に対応した位置)に配置される。
受信装置3は、受信した無線信号を復調することにより画像データ及び関連情報を取得し、内蔵するメモリに該画像データ及び関連情報を保存する。関連情報としては、例えば、カプセル型内視鏡2のシリアル番号や、各受信アンテナ4a〜4hが無線信号を受信した際の受信強度等の情報が含まれる。また、受信装置3は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースからなるデータ送信部を備え、これらのインタフェースを介して画像データ及び関連情報を外部機器に転送する。
図2は、画像処理装置1の構成を示すブロック図である。図2に示すように、画像処理装置1は、入力部11と、画像データ取得部12と、記憶部13と、演算部14と、表示部15と、制御部16とを備える。
入力部11は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、ユーザにより外部からなされた操作に応じた信号を制御部16に入力する。
画像データ取得部12は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースであり、USBポートやLANポート等を含んでいる。画像データ取得部12は、USBポートに接続される外部機器や各種回線を介して画像データ及び関連情報を取得し、記憶部13に記憶させる。図1に示すように、実施の形態1においては、画像処理装置1のUSBポートに接続されたクレードル3aに受信装置3をセットすることにより、受信装置3が画像処理装置1と接続される。これにより、受信装置3のメモリに蓄積された画像データが、画像処理装置1に順次取り込まれる。
記憶部13は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体に対して情報の書き込み及び読み出しを行う書込読取装置等によって構成される。記憶部13は、画像処理装置1を動作させて種々の機能を実行させるためのプログラム及び各種設定情報や、画像データ取得部12により取り込まれた画像データや、演算部14により所定の演算処理が施された画像データを記憶する。
演算部14は、例えばCPU等のハードウェアによって構成され、記憶部13に記憶されたプログラムを読み込むことにより、画像データ取得部12により取り込まれて記憶部13に記憶された画像データに対応する画像群の各々に所定の演算処理を実行する。より詳細には、演算部14は、各画像に所定の画像処理を施す画像処理部141と、各画像が撮像された際のカプセル型内視鏡2の位置を算出する位置算出部142と、画像群のうちから所定の特徴を有する画像を抽出して特定する画像特定部143とを備える。
画像処理部141は、各画像にホワイトバランス処理、デモザイキング、色変換、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、鮮鋭化(エッジ強調等)等の画像処理を施すことにより表示用の画像データを生成し、さらに、各画像の平均色等の特徴量を算出する特徴量算出処理(平均色算出処理)、各画像から病変又は病変候補等の所定の特徴部を検出する病変検出処理、隣接する画像との類似度を算出する類似度算出処理等の画像処理を施す。
位置算出部142は、各画像の画像データの関連情報のうち、各受信アンテナ4a〜4hが無線信号を受信した際の受信強度情報に基づいて、そのときのカプセル型内視鏡2の位置、即ち、画像の撮像位置を算出する。なお、カプセル型内視鏡2の位置の算出方法は、無線信号の受信強度に基づく方法に限定されず、公知の種々の方法を用いることができる(例えば特開2009−226080号公報参照)。
画像特定部143は、画像処理部141による画像処理の結果や、位置算出部142による位置算出の結果に基づいて、画像群から所定の特徴を有する画像を抽出する。所定の特徴を有する画像としては、例えば、画像内の平均色等の特徴量が所定の範囲内である画像、病変又は病変候補等の所定の特徴部が検出された画像、画像番号が隣接する画像との類似度が所定値以下である画像、特定の位置又は領域が写った画像、当該画像の撮像時におけるカプセル型内視鏡2の速度(単位時間あたりの移動量)の変化(隣接する画像との速度の差分)が所定値以上である画像等が挙げられる。画像特定部143が抽出する画像の特徴や閾値は特に限定されず、ユーザ所望の特徴や閾値を設定して良い。
なお、カプセル型内視鏡2の速度及びその変化は、位置算出部142により算出された位置情報から画像ごとに求めることができる。また、カプセル型内視鏡2に3軸加速度センサを予め設けておき、該3軸加速度センサによる検出値に基づいて、カプセル型内視鏡2の速度変化を画像ごとに取得しても良い。或いは、画像処理部141により算出された類似度に基づき、隣接する画像との類似度の変化が大きい画像を、速度変化の大きい画像として抽出しても良い。
速度変化が大きい画像には、例えば滞留していたカプセル型内視鏡2が急に動き出した場合のように、速度が急に増加した画像の他、移動していたカプセル型内視鏡2が急に停止した場合のように、速度が急に低下した画像も含まれる。
以下、画像特定部143により特定された画像を特定画像という。画像特定部143は、特定画像の画像データに対し、特定画像である旨を示すフラグを付加して記憶部13に記憶させる。
表示部15は、例えば、CRTディスプレイや液晶ディスプレイ等の表示装置であり、制御部16の制御の下で、画像を含む所定の形式の画面やその他の情報を表示する。
制御部16は、例えばCPU等のハードウェアにより構成され、記憶部13に記憶されたプログラムを読み込むことにより、入力部11から入力される信号等に基づいて、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
また、制御部16は、画像処理部141により所定の画像処理が施された画像データをもとに所定の形式で画像を表示部15に表示させる表示制御部161と、表示対象の画像から所定の範囲の画像内に特定画像が含まれるか否かを判定する判定部162と、該判定部162による判定結果に応じて、表示対象の画像が表示される画面に表示される表示データを生成する表示データ生成部163とを備える。
表示制御部161は、画像処理部141により画像処理が施された画像データを記憶部13から取得し、画像を表示部15に表示させる。取得する画像データは全ての画像データであっても良いし、画像処理部141による画像処理の結果を基に選出された画像データであっても良い。また、他の基準により、取得する画像データを選出しても良い。
画像の表示順序は、カプセル型内視鏡2が撮像を行った順に沿った時系列順であっても良いし、時系列の逆順であっても良い。また、画像処理部141による画像処理の結果等、上記以外の基準により表示順序を設定しても良い。
図3は、判定部162の動作を説明するための模式図であり、カプセル型内視鏡2により取得された画像群を示す。判定部162は、表示制御部161が画像データを取得した表示対象の画像Imから、該画像Imに対して表示順序が所定枚数(d枚)後又は表示時刻が所定時間(Td時間)後の画像までの範囲(以下、判定対象の範囲ともいう)に、特定画像(図3においては画像In)が含まれるか否かを判定する。具体的には、判定対象の範囲内に、特定画像である旨を示すフラグが付加された画像が存在するか否かを判定する。
ここで、符号Iの添え字m、nは画像群における画像番号であり、1≦m≦N、1≦n≦N、Nは画像群に含まれる画像の枚数である。画像の表示順序が時系列順である場合、判定部162は、画像Imに対して画像番号が大きい範囲(Im+1〜Im+d)を判定対象とする。一方、画像の表示順序が時系列の逆順である場合、判定部162は、画像Imに対して画像番号が小さい範囲(Im-1〜Im-d)を判定対象とする。判定対象の範囲を規定する画像枚数d又は時間Tdは、当該画像処理装置1に対して予め設定しておいても良いし、ユーザが所望の値を設定できることとしても良い。
表示データ生成部163は、判定部162により判定対象の範囲に特定画像が含まれると判定された場合に、特定画像が存在する旨の情報を表す表示データを生成する。また、表示データ生成部163は、当該表示データに、特定画像が表示されるまでの画像の枚数(画像Imから画像Inまでの画像枚数)や時間等の情報を含めても良い。特定画像が表示されるまでの時間は、画像Imから画像Inまでの画像枚数に表示フレームレートを積算することにより算出される。
次に、画像処理装置1の動作を説明する。図4は、画像処理装置1の動作を示すフローチャートである。
まず、ステップS10において、画像データ取得部12は、カプセル型内視鏡2を用いた検査により取得された画像群の画像データを取得し、記憶部13に記憶させる。この際、画像データ取得部12は、図1に示す受信装置3からクレードル3aを介して画像データを取得しても良いし、各種通信回線を介して画像データを取得しても良い。
続くステップS11において、演算部14は、ステップS10において取得した画像データに対応する画像群に含まれる各画像に対して所定の画像処理を施すと共に、各画像の撮像位置を算出する。詳細には、画像処理部141が、ホワイトバランス処理、デモザイキング、色変換、濃度変換、平滑化、鮮鋭化等の画像処理を実行することにより、表示用の画像データを生成し、さらに、平均色算出処理、病変検出処理、及び類似度算出処理等の画像処理を実行する。また、位置算出部142が、各画像の画像データの関連情報に含まれる無線信号の受信強度情報に基づいて、各画像の撮像位置を算出する。演算部14は、画像処理済みの画像データ及び撮像位置を表す位置情報を、画像ごとに関連づけて記憶部13に記憶させる。
ステップS12において、画像特定部143は、画像処理部141による画像処理の結果、及び位置算出部142による位置算出の結果に基づき、画像群の中から特定画像を抽出し、抽出した画像の画像データに対して特定画像である旨のフラグを付加する。これにより、例えば、画像内の平均色等の特徴量が所定の範囲内である画像や、病変又は病変候補等の所定の特徴部が検出された画像や、画像番号が隣接する画像との類似度が所定値以下である画像や、特定の位置又は領域が写った画像や、撮像時におけるカプセル型内視鏡2の速度の変化が所定値以上である画像等に対し、特定画像である旨を示すフラグが付加される。
ステップS13において、画像処理装置1は、画像群に含まれる各画像の表示を開始する。この際、表示制御部161は、ユーザの操作に応じて入力部11から入力される所定の指示信号をトリガとして、画像の表示を開始することとしても良い。また、この際、表示制御部161は、ユーザの操作に応じて入力部11から入力される指示信号(再生又は逆再生の指示信号)に従って、画像の表示順序(時系列順又は時系列の逆順)を決定することとしても良い。
ステップS14において、表示制御部161は、画像番号を表すパラメータjを、最初に表示する画像の画像番号に設定する。ここで、画像の表示順序が時系列順である場合、パラメータjは、画像群の最初の画像の画像番号1に設定される。一方、画像の表示順序が時系列の逆順である場合、パラメータjは画像群の最後の画像の画像番号Nに設定される。或いは、表示制御部161は、ユーザの操作に応じて入力部11から入力される所定の指示信号(例えば、早送り又は巻き戻しの指示信号)に従って、1からNの範囲でパラメータjの値を決定しても良い。図4は、j=1に設定する場合を示している。
ステップS15において、表示制御部161は、表示対象とする画像Ijの画像データを記憶部13から取得する。
ステップS16において、判定部162は、表示対象の画像Ij(図3においてはj=m)に対する判定対象の範囲に、特定画像である旨を示すフラグが付加された画像が含まれるか否かを判定する。
判定対象の範囲に特定画像が含まれない場合(ステップS16:No)、表示制御部161は、表示対象の画像Ij(画像Im)を含む画面を作成して、表示部15に表示させる(ステップS17)。
図5は、表示対象の画像Imを含む画面の表示例を示す模式図である。図5に示す画面M1は、画像Imが表示される画像表示領域M10の他、被検体5である患者の氏名及び年齢等の患者に関する情報や検査に関する情報が表示される情報表示欄M11と、再生操作ボタン群M12とを含む。
再生操作ボタン群M12は、画像表示領域M10における画像の再生動作を制御する指示をユーザが入力する際に用いる操作ボタンの集合であり、例えば、頭出しボタン、コマ送りボタン、一時停止ボタン、早送りボタン、再生ボタン、逆再生ボタン、巻き戻しボタン、停止ボタン等を含む。再生操作ボタン群M12に対する入力部11を用いた所定のポインタ操作(例えば、いずれかの操作ボタンに対するクリック操作)が行われると、該ポインタ操作に応じた操作信号が表示制御部161に入力される。
一方、判定対象の範囲に特定画像が含まれる場合(ステップS16:Yes)、表示データ生成部163は、特定画像が存在する旨の情報を表す表示データを生成する(ステップS18)。この際、実施の形態1においては、表示データとして、所定の形状を有するアイコンを表すデータを作成する。
この場合、続くステップS17において、表示制御部161は、画像Ij(図3においては画像Im)を含む画面を作成すると共に、ステップS18において生成された表示データに基づき、特定画像が存在する旨の情報を、判定対象の範囲に含まれる特定画像(図3においては画像In)の特性に応じた態様で該画面に配置し、表示部15に表示させる。ここで、判定対象の範囲に含まれる特定画像の特性には、表示対象の画像Ijから該特定画像までの画像の枚数又は表示時間の他、特定画像の特徴量や類似度、特定画像から検出された特徴部の種類、該特定画像の撮像時におけるカプセル型内視鏡2の速度変化等が含まれる。
図6は、画像Imを含む画面に対して特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。図6に示す画面M2は、図5に示す画面M1に対し、特定画像が存在する旨の情報としてのアイコンM20をさらに含む。画面M2内におけるアイコンM20の位置は、画像表示領域M10の周辺領域であれば特に限定されないが、ユーザが画像表示領域M10から視線をずらすことなくアイコンM20の表示/非表示や表示態様の変化を認識できるように、画像観察の妨げにならない範囲で、できるだけ画像表示領域M10の近傍にアイコンM20を配置すると良い。
また、表示制御部161は、併せて、特定画像の特性の1つとして、特定画像が表示されるまでの画像の枚数や時間等の情報を、アイコンM20内又は画面M1の所定の位置にテキスト表示しても良い。
続くステップS19において、表示制御部161は、画像Ijに続いて表示すべき次の画像があるか否かを、パラメータjの値に基づいて判定する。具体的には、画像の表示順序が時系列である場合にはj=Nに至ったか否かが判定され、時系列の逆順である場合にはj=1に至ったか否かが判定される。
次の画像があると判定された場合(ステップS19:Yes)、制御部16はパラメータjを次に表示する画像の画像番号に更新する(ステップS20)。その後、画像処理装置1の動作はステップS15に戻る。一方、次の画像がないと判定された場合(ステップS19:No)、画像処理装置1の動作は終了する。
以上説明したように、実施の形態1によれば、表示対象の画像から表示順序が所定枚数後又は表示時刻が所定時間後の画像までの範囲に特定画像が含まれる場合に、特定画像が存在する旨の情報を画面に表示するので、ユーザは、過剰な負担を感じることなく、画像から得られる情報の突然の変化に対して備えることができる。また、特定画像が表示されるまでの枚数や時間等を併せて表示する場合、ユーザは、特定画像が表示されるタイミングを具体的に予測することができるので、さらに効率の良い観察を行なうことが可能となる。
実施の形態1において、表示制御部161は、画面M2に表示されるアイコンM20の表示態様を、判定対象の範囲に含まれる特定画像の特性に応じて変化させても良い。以下、特定画像の特性に応じてアイコンM20の表示態様を変化させた変形例を説明する。
(変形例1−1)
上記実施の形態1においては、特定画像が表示されるまでの画像の枚数や時間をアイコンM20内にテキスト表示することとしたが、これらの枚数や時間に応じてアイコンM20を変化させても良い。
一例として、アイコンM20の色調を変化させる場合、初めにアイコンM20を例えば薄い赤で表示し、上記枚数又は時間が減少するにつれて、アイコンM20を徐々に濃い赤に変化させる。
別の例として、アイコンM20の明度を変化させる場合、初めにアイコンM20の明度を低くして表示し、上記枚数又は時間が減少するにつれて、アイコンM20の明度を徐々に高くする。
さらに別の例として、アイコンM20を点滅表示しても良い。この場合、初めにアイコンM20の点滅周期を長くして表示し、上記枚数又は時間が減少するにつれて、アイコンM20の点滅周期を徐々に短くする。
さらに別の例として、アイコンM20のサイズを変化させる場合、初めにアイコンM20のサイズを小さくして表示し(図6参照)、上記枚数又は時間が減少するにつれて、アイコンM20のサイズを徐々に大きくする(図7参照)。
さらに別の例として、アイコンM20の表示位置を変化させる場合、初めにアイコンM20を画像表示領域M10から若干離れた位置に表示し、上記枚数又は時間が減少するにつれて、アイコンM20の位置を画像表示領域M10に徐々に近づける。
さらに、上述したアイコンM20の表示態様を互いに組み合わせても良い。例えば、初めにアイコンM20のサイズを小さく、且つ画像表示領域M10から若干離れた位置に表示し、上記枚数又は時間が減少するにつれて、アイコンM20のサイズを徐々に大きくすると共に画像表示領域M10に徐々に近づける。
(変形例1−2)
アイコンM20の表示態様を、特定画像の類似度に応じて変化させても良い。ここで、特定画像としては、隣接する画像との類似度が所定値よりも低い画像、即ち、隣接する画像からの変化が大きい画像も抽出され得る。そこで、特定画像として抽出された画像の類似度に応じてアイコンM20の表示態様を変化させる。
一例として、アイコンM20の色調を変化させる場合、類似度が高いほど(隣接する画像との変化が小さいほど)アイコンM20を例えば薄い赤で表示し、類似度が低いほど(隣接する画像との変化が大きいほど)アイコンM20を例えば濃い赤で表示する。
別の例として、アイコンM20の明度を変化させる場合、類似度が高いほど(隣接する画像との変化が小さいほど)アイコンM20の明度を低くし、類似度が低いほど(隣接する画像との変化が大きいほど)アイコンM20の明度を高くする。
さらに別の例として、アイコンM20を点滅させる場合、類似度が高いほどアイコンM20の点滅周期を長くし、類似度が低いほどアイコンM20の点滅周期を短くする。
さらに別の例として、アイコンM20のサイズを変化させる場合、類似度が高いほどアイコンM20のサイズを小さくし、類似度が低いほどアイコンM20のサイズを大きくする。
さらに別の例として、アイコンM20の表示位置を変化させる場合、類似度が高いほどアイコンM20を画像表示領域M10から離し、類似度が低いほどアイコンM20を画像表示領域M10に近づける。
さらに、上述したアイコンM20の表示態様を互いに組み合わせても良い。
(変形例1−3)
アイコンM20の表示態様を、特定画像において検出された病変等の種類に応じて変化させても良い。
一例として、アイコンM20の色調を変化させる場合、例えば、潰瘍が検出された特定画像に対してはアイコンM20を緑色で表示し、出血が検出された特定画像に対してはアイコンM20を赤色で表示し、腫瘍が検出された特定画像に対してはアイコンM20を黄色で表示するといった表示態様が挙げられる。
(変形例1−4)
アイコンM20の表示態様を、特定画像において検出された病変等の程度に応じて変化させても良い。病変等の程度としては、例えば、潰瘍や出血の領域の面積、腫瘍の大きさ等が判定される。
一例として、アイコンM20の色調を変化させる場合、例えば、潰瘍や出血の面積や腫瘍の大きさが小さい特定画像に対してはアイコンM20を薄い赤色で表示し、潰瘍や出血の面積や腫瘍の大きさが大きい特定画像に対してはアイコンM20を濃い赤色で表示する。
或いは、出血している潰瘍や出血の領域の面積、腫瘍の大きさ等に応じて、アイコンM20の明度や、アイコンM20を点滅させる際の点滅周期や、アイコンM20のサイズや、アイコンM20の表示位置を変化させても良い。
(変形例1−5)
アイコンM20の表示態様を、特定画像において検出された病変等の位置に応じて変化させても良い。例えば、特定画像を4分割した左下の領域から病変が検出された場合、図8に示すように、アイコンM20を画像表示領域M10の近傍の左下の領域に配置する。
以上説明したように、実施の形態1の変形例1−1〜1−5によれば、特定画像が存在する旨の情報を、判定対象の範囲に含まれる特定画像の特性に応じて表示するので、ユーザは、いつごろ特定画像が表示されるのか、或いは、どのような特定画像が表示されるのかといった情報を直感的に把握することが可能となる。従って、ユーザは、過剰な負担を感じることなく特定画像の表示に備えることができ、効率の良い観察を行なうことが可能となる。
なお、ユーザは、画像表示領域M10を注視している場合、一般に、周辺視野の変化に関しては色調の変化よりも明度の変化に敏感である。従って、アイコンM20の色調を変化させる場合には、色調以外の表示要素(例えば、明度、点滅周期、サイズ)と組み合わせると良い。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図9は、本発明の実施の形態2に係る画像処理装置の構成を示すブロック図である。図9に示すように、本実施の形態2に係る画像処理装置6は、図2に示す制御部16の代わりに制御部61を備える。なお、制御部61以外の画像処理装置6の各部の構成及び動作は、実施の形態1と同様である。
制御部61は、図2に示す制御部16に対し、スキップ部611をさらに有する。スキップ部611は、入力部11から表示部15の画面に表示された所定のアイコンを選択する信号が入力された場合に、該表示部15に表示させる画像の表示順序を特定画像にスキップさせる制御を行う。なお、スキップ部611以外の制御部61内の各部の動作は、実施の形態1と同様である。
図10は、画像処理装置6の動作を示すフローチャートである。なお、図10に示すステップS10〜S17の動作は、実施の形態1と同様である(図4参照)。
ステップS16において、判定対象の範囲に特定画像が含まれる場合(ステップS16:Yes)、表示データ生成部163は、特定画像が存在する旨の情報を表す表示データを生成する(ステップS21)。実施の形態2においては、該表示データとして、判定対象の範囲に含まれる特定画像の特性に応じて表示態様が変化させられるアイコンを表すデータと、表示対象の画像を特定画像にスキップさせる指示を入力する際に用いられる入力用のアイコンを表すデータとが生成される。
続くステップS22において、表示制御部161は、画像Ij(図3においてはIm)を含む画面を作成すると共に、ステップS21において生成された表示データに基づき、特定画像が存在する旨の情報を該画面に配置し、表示部15に表示させる。
図11は、画像Imを含む画面に対して特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。図11に示す画面M3は、図5に示す画面M1に対し、アイコンM20及び入力用のアイコンとしてのスキップボタンM30をさらに含む。このうち、アイコンM20の表示態様は、実施の形態1において説明したとおりである(図6参照)。
一方、スキップボタンM30は、特定画像が存在する旨の情報が表示された当該特定画像をすぐに表示させる際にユーザが用いるアイコンである。スキップボタンM30に対する入力部11を用いた所定のポインタ操作(例えばクリック操作)が行われると、表示対象の画像をスキップさせる指示信号が制御部61に入力される。
表示対象の画像をスキップさせる指示信号が入力された場合(ステップS23:Yes)、スキップ部611は、表示対象の画像の画像番号を当該特定画像の画像番号(図3の場合、j=n)にスキップさせる(ステップS24)。その後、画像処理装置6の動作はステップS15に戻る。
図12は、スキップボタンM30に対してポインタ操作がなされた後に、表示部15に表示される画面を示す模式図である。図12に示すように、画面M4の画像表示領域M10には、先に表示されていた画像Imに続いて、特定画像として抽出された画像Inが表示される。
一方、表示対象の画像をスキップさせる信号が入力されない場合(ステップS23:No)、画像処理装置6の動作は、ステップS19に移行する。ステップS19及びS20の動作は、実施の形態1と同様である。
以上説明したように、実施の形態2によれば、表示順序が所定枚数後まで又は表示時刻が所定時間後までの範囲に特定画像が含まれる場合に、画像の表示順序をスキップして当該特定画像をすぐに表示させることができる。従って、ユーザは、特定画像が気になる場合に、すぐに特定画像を表示させて確認することができるので、効率の良い観察を行うことが可能となる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
本実施の形態3においては、上記実施の形態1においては、特定画像が存在する旨の情報をアイコンによって表示したが、特定画像が存在する旨の情報の表示態様はアイコンに限定されない。例えば、画像の周囲に表示枠を設けることによって、特定画像が存在する旨を表しても良い。以下、実施の形態3における特定画像が存在する旨の情報の表示態様について説明する。なお、実施の形態3に係る画像処理装置の構成及び動作は、全体として実施の形態1と同様である(図2及び図4参照)。
実施の形態3においては、表示対象の画像に対し、表示順序が所定枚数後まで又は表示時刻が所定時間後までの範囲に特定画像が含まれる場合、表示データ生成部163は、特定画像が存在する旨の情報を表す表示データとして、画像表示領域M10(図5参照)を囲む表示枠を表す表示データを作成する(図4のステップS18参照)。
この場合、表示制御部161は、表示対象の画像を含む画面に対し、さらに、ステップS18において生成された表示枠を表す表示データに基づいて、特定画像が存在する旨の情報を、判定対象の範囲に含まれる特定画像の特性に応じた態様で表示する(図4のステップS17参照)。
図13は、表示対象の画像を含む画面に対して特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。図13に示す画面M5は、図5に示す画面M1に対し、特定画像が存在する旨の情報としての表示枠M50をさらに含む。表示対象の画像Imに対し、表示順序が所定枚数後まで又は表示時刻が所定時間後までの範囲に特定画像が含まれる場合に、このような表示枠M50を表示することにより、ユーザは、過剰な負担を感じることなく、画像から得られる情報の突然の変化に対して備えることができる。
上記実施の形態3においては、特定画像が存在する場合にのみ表示枠M50を設けることとしたが、特定画像が存在しない場合にも表示枠M50を設けても良い。この場合、特定画像が存在する場合と存在しない場合とで、表示枠M50の色を変化させることにより、特定画像が存在する旨をユーザに認知させることとしても良い。
また、実施の形態3において特定画像が存在する旨の情報として表示される表示枠M50の表示態様は、判定対象の範囲に含まれる特定画像の特性に応じて変化させても良い。以下、特定画像の特性に応じて表示枠M50の表示態様を変化させた変形例を説明する。
(変形例3−1)
表示枠M50の表示態様を、特定画像が表示されるまでの画像の枚数や時間に応じて変化させても良い。
一例として、表示枠M50の色調を変化させる場合、上記枚数が多いとき又は時間が長いときには、表示枠M50を例えば薄い赤で表示し、上記枚数又は時間が減少するについれて、表示枠M50を徐々に濃い赤に変化させる。
別の例として、表示枠M50の明度を変化させる場合、上記枚数が多いとき又は上記時間が長いときには、表示枠M50の明度を低くし、上記枚数又は時間が減少するにつれて、表示枠M50の明度を徐々に高くする。
さらに別の例として、表示枠M50を点滅表示させる場合、上記枚数が多いとき又は上記時間が長いときには、表示枠M50の点滅周期を長くし、上記枚数又は時間が減少するにつれて、表示枠M50の点滅周期を徐々に短くする。
さらに別の例として、表示枠M50の幅を変化させる場合、上記枚数が多いとき又は上記時間が長いときには、表示枠M50の幅を狭くし、上記枚数又は時間が減少するにつれて、図7に示すように表示枠M50の幅を徐々に太くする。
さらに、上述した表示枠M50の表示態様を互いに組み合わせても良い。
(変形例3−2)
表示枠M50の表示態様を、特定画像の類似度に応じて変化させても良い。
一例として、表示枠M50の色調を変化させる場合、類似度が高いほど(隣接する画像との変化が小さいほど)表示枠M50を例えば薄い赤で表示し、類似度が低いほど(隣接する画像との変化が大きいほど)表示枠M50を例えば濃い赤で表示する。
別の例として、表示枠M50の明度を変化させる場合、類似度が高いほど表示枠M50の明度を低くし、類似度が低いほど表示枠M50の明度を高くする。
さらに別の例として、表示枠M50を点滅させる場合、類似度が高いほど表示枠M50の点滅周期を長くし、類似度が低いほど表示枠M50の点滅周期を短くする。
さらに別の例として、表示枠M50の幅を変化させる場合、類似度が高いほど表示枠M50の幅を狭くし、類似度が低いほど表示枠M50の幅を太くする。
さらに、上述した表示枠M50の表示態様を互いに組み合わせても良い。
(変形例3−3)
表示枠M50の表示態様を、特定画像において検出された病変等の種類に応じて変化させても良い。
一例として、表示枠M50の色調を変化させる場合、例えば、潰瘍が検出された特定画像に対しては表示枠M50を緑色で表示し、出血が検出された特定画像に対しては表示枠M50を赤色で表示し、腫瘍が検出された特定画像に対しては表示枠M50を黄色で表示するといった表示態様が挙げられる。
(変形例3−4)
表示枠M50の表示態様を、特定画像において検出された病変等の程度に応じて変化させても良い。病変等の程度としては、例えば、潰瘍や出血の領域の面積、腫瘍の大きさ等が判定される。
一例として、表示枠M50の色調を変化させる場合、例えば、潰瘍や出血の面積や腫瘍の大きさが小さい特定画像に対しては表示枠M50を薄い赤色で表示し、潰瘍や出血の面積や腫瘍の大きさが大きい特定画像に対しては表示枠M50を濃い赤色で表示する。
或いは、出血している潰瘍や出血の領域の面積、腫瘍の大きさ等に応じて、表示枠M50の明度や、表示枠M50を点滅させる際の点滅周期や、表示枠M50のサイズや、表示枠M50の表示位置を変化させても良い。
(変形例3−5)
特定画像が存在する旨の情報としての表示枠の表示態様を、特定画像において検出された病変等の位置に応じて変化させても良い。図14及び図15は、変形例3−5における表示枠の表示態様の例を示す模式図である。
この場合、画像特定部143は、特定画像における病変等の存在領域を特定し、該存在領域を表すフラグを当該特定画像の画像データに付加する。表示制御部161は、画像データに付加された存在領域を表すフラグをもとに、画面上における表示枠を表示させる位置を決定する。なお、病変等の存在領域は、画像の上半分の領域、右上1/4の領域というように、大まかに規定して良い。
例えば、特定画像を4分割した右上の領域から病変が検出された場合、図14に示す画面M6のように、部分的な表示枠M51を画像表示領域M10の周囲の右上1/4の領域に配置する。また、特定画像の上半分の領域から病変が検出された場合、図15に示す画面M7のように、部分的な表示枠M52を画像表示領域M10の周囲の上半分の領域に配置する。
(変形例3−6)
図16は、変形例3−6における特定画像が存在する旨の情報の表示態様の例を示す模式図である。図16に示す画面M8のように、特定画像が存在する旨の情報として、表示枠M50に加えて、実施の形態2において説明したスキップボタンM30を併せて表示しても良い。
以上説明したように、実施の形態3の変形例3−1〜3−6によれば、特定画像が存在する旨の情報を、判定対象の範囲に含まれる特定画像の特性に応じて表示するので、ユーザは、いつごろ特定画像が表示されるのか、或いは、どのような特定画像が表示されるのかといった情報を直感的に把握することが可能となる。従って、ユーザは、過剰な負担を感じることなく特定画像の表示に備えることができ、効率の良い観察を行なうことが可能となる。
なお、上記実施の形態3及びその変形例3−1〜3−6においては、表示枠M50、M51、M52を画像表示領域M10の外周に接触させて表示したが、画像表示領域M10と表示枠50、51、52との間に隙間を設けても良い。この場合であっても、ユーザが、画像表示領域M10を注視しながら表示枠M50、51、52の表示/非表示や表示態様の変化を認識できるように、画像の観察の妨げにならない範囲で、できるだけ画像表示領域M10の近傍に表示枠50、51、52を配置すると良い。
また、上述したように、ユーザは、画像表示領域M10を注視している場合、一般に、周辺視野の変化に関しては色調の変化よりも明度の変化に敏感であるので、表示枠M50の色調を変化させる場合には、色調以外の表示要素(例えば、明度、点滅周期、サイズ)と組み合わせると良い。
(実施の形態4)
次に本発明の実施の形態4について説明する。
本実施の形態4においては、特定画像が存在する旨の情報として、アイコンの代わりに特定画像そのものを表示する。なお、実施の形態4に係る画像処理装置の構成及び動作は、全体として実施の形態1と同様である。
実施の形態4においては、表示対象の画像に対する判定対象の範囲に特定画像が含まれる場合、表示データ生成部163は、特定画像が存在する旨の情報を表す表示データとして、当該特定画像の画像データを記憶部13から取得する(図4のステップS18参照)。
この場合、表示制御部161は、表示対象の画像を含む画面に対し、さらに、ステップS18において取得された画像データに基づいて、判定対象の範囲に含まれる特定画像そのものを、当該特定画像の特性に応じた態様で表示する(図4のステップS17参照)。
図17は、表示対象の画像を含む画面に対して特定画像が存在する旨の情報が配置された画面の表示例を示す模式図である。図17に示す画面M9は、図5に示す画面M1に対し、特定画像が存在する旨の情報としての特定画像表示領域M90を含む。該特定画像表示領域M90には、ステップS16において特定画像である旨を示すフラグが付加されていると判定された画像Inが配置される。
特定画像表示領域M90の位置は、特定画像が表示されるまでの画像の枚数や時間に応じて変化させても良い。例えば、該枚数や時間が減少するにつれて、図18に示すように、特定画像表示領域M90を徐々に拡大すると共に、徐々に画像表示領域M10に近づけることにより、特定画像(画像In)が遠方から近づいてくるように表示しても良い。これにより、ユーザは、特定画像が表示されるタイミングを直感的に把握できるようになる。
(変形例4)
次に、上記実施の形態1〜4の変形例4について説明する。
上記実施の形態1〜4においては、表示対象の画像Im(図3参照)から表示順序がd枚後又は表示時刻がTd時間後の画像までの範囲(判定対象の範囲)に、特定画像が1枚(画像In)のみ含まれる場合を説明した。しかしながら、判定対象の範囲に複数の特定画像が含まれる場合もある。このような場合、判定部162は、複数の特定画像を1つの特定画像群として処理しても良い。
例えば、図19に示すように、判定対象の範囲から連続する複数の特定画像(画像In1〜In4)が検出された場合、表示対象の画像Imから特定画像として判定された最初の画像In1までの画像の枚数又は時間に応じて、特定画像が存在する旨の表示(アイコンM20、表示枠M50等)を行う。
以上説明したように、実施の形態1〜4の変形例4によれば、ユーザは、複数の表示データを一括して確認することが可能となる。従って、ユーザは、特定画像が存在する旨の情報を容易に把握することができるので、効率の良い観察を行うことが可能となる。
さらには、上記実施の形態1〜4、及び各実施の形態の変形例同士を適宜組み合わせても良い。
例えば、特定画像から検出された病変の種類や程度に応じて特定画像が存在する旨の情報の表示態様を変化させる場合、特定画像として判定された最初の画像In1において検出された病変の種類や程度に基づいてアイコンM20や表示枠M50等の表示態様を変化させても良いし、画像In1〜In4において検出された病変の種類や程度の平均に基づいてこれらの表示態様を変化させても良い。
また、判定対象の範囲から連続する複数の特定画像からなる画像群が複数検出された場合、特定画像が存在する旨の表示として、最初の画像群に対応する1つアイコンのみを表示しても良いし、複数の画像群にそれぞれ対応する複数のアイコンを表示しても良い。
(実施の形態5)
次に、本発明の実施の形態5について説明する。
図20は、本発明の実施の形態5に係る画像処理装置の構成を示すブロック図である。図20に示すように、本実施の形態5に係る画像処理装置7は、図2に示す制御部16の代わりに制御部71を備えると共に、さらに通知部72を備える。なお、制御部71及び通知部72以外の画像処理装置7の各部の構成及び動作は、実施の形態1と同様である。
制御部71は、図2に示す制御部16に対し、通知制御部711をさらに有する。通知制御部711は、判定部162により判定対象の範囲に特定画像が含まれると判定された場合に、特定画像が存在する旨を、例えば音声や通知音等の聴覚により知覚可能な手段によってユーザに通知する制御を行う。
通知部72は、例えば音声や通知音等を発生する音発生手段である。
特定画像が存在する旨の通知は、具体例として次のような態様で行われる。
(1)特定画像が存在する場合、通知音を発生する。
(2)特定画像が存在する場合に通知音を発生し、特定画像が表示されるまでの画像の枚数が少なくなるにつれて、又は特定画像が表示されるまでの時間が短くなるにつれて、通知音の音量を徐々に大きくする、或いは、音程を徐々に高くする。或いは、通知音を間欠的に発生することとし、発生周期を徐々に短くしても良い。
(3)特定画像が存在する場合に通知音を発生し、特定画像の隣接する画像との類似度に応じて、通知音の音量又は音程又は発生周期を変化させる。
(4)特定画像が存在する場合に通知音を発生し、特定画像において検出された病変等の種類に応じて通知音の種類を変化させる。
(5)特定画像が存在する場合に通知音を発生し、特定画像において検出された病変等の程度に応じて通知音の音量又は音程を変化させる。
(6)特定画像が存在する場合に、特定画像が存在する旨のメッセージ及び特定画像が表示されるまでの画像の枚数又は時間を音声で読み上げる。
(7)特定画像が存在する場合に、特定画像が存在する旨のメッセージ及び特定画像の特性(類似度や検出された病変の種類や程度)を音声で読み上げる。
さらには、これらの態様(1)〜(7)同士を適宜組み合わせても良い。また、これらの態様(1)〜(7)を実施の形態1〜4において説明した視覚(画面表示)による通知と組み合わせても良い。
実施の形態5によれば、ユーザは、画面に表示された画像を注視しつつ、音声や通知音により、特定画像が存在する旨を把握することが可能となる。
(変形例5)
次に、本発明の実施の形態5の変形例5について説明する。
図20に示す通知制御部711及び通知部72は、判定部162により判定対象の範囲に特定画像が含まれると判定された場合に、特定画像が存在する旨を、触覚により知覚可能な手段によってユーザに通知しても良い。触覚により知覚可能な手段とは、例えば、振動や温度変化等が挙げられる。この場合、通知部72は、例えば振動を発生するバイブレータや、温度を変化させるヒータ等によって構成される。
特定画像が存在する旨の通知は、具体例として次のような態様で行われる。
(1)特定画像が存在する場合に、画像処理装置7の入力部11として用いられるマウス等のデバイスや、ユーザが座る椅子等の部材を振動させる。
(2)特定画像が存在する場合に上記マウスや椅子等の部材を振動させ、特定画像が表示されるまでの画像の枚数や時間に応じて、振動量(強さ)や周期を変化させる。
(3)特定画像が存在する場合に、上記マウスや椅子等の部材の温度を変化させる。
(4)特定画像が存在する場合に、上記マウスや椅子等の部材の形状等を変化させる。具体的には、特定画像が存在する場合にマウスから突起状の部材を突出させる、或いは、椅子の座面や背もたれの傾きや硬さを変化させるといった態様が挙げられる。
さらには、これらの態様(1)〜(5)同士を適宜組み合わせても良い。また、これらの態様(1)〜(5)を実施の形態1〜4において説明した視覚(画面表示)による通知や、実施の形態5において説明した聴覚による通知と組み合わせても良い。
以上説明した本発明は、実施の形態1〜5及びこれらの変形例に限定されるものではなく、仕様等に応じて種々変形することが可能であり、例えば上記実施の形態1〜5及びこれらの変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良い。本発明の範囲内において、他の様々な実施の形態が可能であることは、上記記載から自明である。
1、6、7 画像処理装置
2 カプセル型内視鏡
3 受信装置
3a クレードル
4 受信アンテナユニット
4a〜4h 受信アンテナ
5 被検体
11 入力部
12 画像データ取得部
13 記憶部
14 演算部
15 表示部
16、61、71 制御部
72 通知部
141 画像処理部
142 位置算出部
143 画像特定部
161 表示制御部
162 判定部
163 表示データ生成部
611 スキップ部
711 通知制御部

Claims (9)

  1. 時系列順に並べられた画像群に対応する画像データを記憶する記憶部と、
    前記画像群から、所定の特徴を有する画像を特定画像として特定する画像特定部と、
    前記画像群に含まれる各画像を表示する表示部と、
    前記各画像に対応する画像データを前記記憶部から時系列順又は時系列の逆順に取得し、画像データを取得した順に画像を前記表示部に表示させる表示制御部と、
    前記表示制御部が画像データを取得した表示対象の画像から、該表示対象の画像に対して表示順序が所定枚数後又は表示時刻が所定時間後の画像までの範囲に、前記画像特定部により特定された特定画像が含まれるか否かを判定する判定部と、
    前記範囲に前記特定画像が含まれると判定された場合に、特定画像が存在する旨の情報を表す表示データを生成する表示データ生成部と、
    を備え、
    前記表示制御部は、前記表示対象の画像を含む画面を作成すると共に、前記表示データに基づき、前記特定画像が存在する旨の情報を、前記範囲に含まれる前記特定画像の特性に応じた態様で前記画面に配置することを特徴とする画像処理装置。
  2. 前記範囲に含まれる前記特定画像の特性は、前記表示対象の画像から該特定画像までの画像の枚数若しくは表示時間、該特定画像が有する所定の特徴の種類、又は、該特定画像が有する所定の特徴の特徴量の大きさであることを特徴とする請求項1に記載の画像処理装置。
  3. 前記特定画像が存在する旨の情報は、前記表示対象の画像の周囲に設けられた表示枠であることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記表示制御部は、前記範囲に含まれる前記特定画像の特性に応じて前記表示枠の色調と点滅周期との少なくとも一方を変化させることを特徴とする請求項3に記載の画像処理装置。
  5. 前記特定画像が有する前記所定の特徴が、該特定画像内に存在する所定の特徴部である場合、
    前記画像特定部は、さらに、前記特定画像における前記特徴部の存在領域を特定し、
    前記表示制御部は、さらに、前記範囲に含まれる前記特定画像における前記特徴部の存在領域に応じて、前記特定画像が存在する旨の情報の前記画面における配置を決定することを特徴とする請求項1又は2に記載の画像処理装置。
  6. 前記特定画像が存在する旨の情報は、前記表示対象の画像の周囲の一部に設けられる部分的な表示枠であることを特徴とする請求項5に記載の画像処理装置。
  7. 前記特定画像が存在する旨の情報は、前記表示対象の画像の近傍に配置されるアイコンであり、
    前記表示制御部は、前記範囲に含まれる前記特定画像の特性に応じて、前記アイコンのサイズ、前記アイコンの表示位置、及び前記アイコンの点滅周期のうちの少なくとも1つを変化させることを特徴とする請求項1又は2に記載の画像処理装置。
  8. 前記特定画像が存在する旨の情報は、前記画面に配置される入力用のアイコンであり、
    外部からの操作に応じた信号を入力する入力部と、
    前記画面において前記入力用のアイコンを選択する操作に応じた信号が前記入力部から入力された場合に、前記表示部に表示させる画像を前記特定画像にスキップさせるスキップ部と、
    をさらに備えることを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 前記画像群は、被検体内に導入されたカプセル型内視鏡が該被検体内を順次撮像することにより取得された一連の画像を含み、
    前記特定画像は、画像内の所定の特徴量が所定の範囲内である画像、所定の特徴部が検出された画像、画像番号が隣接する画像との類似度が所定値以下である画像、特定の位置若しくは領域が写った画像、又は、当該画像が撮像された際の前記カプセル型内視鏡の速度変化が所定値以上である画像であることを特徴とする請求項1〜8のいずれか1項に記載の画像処理装置。
JP2013258657A 2013-12-13 2013-12-13 画像処理装置 Active JP6120762B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013258657A JP6120762B2 (ja) 2013-12-13 2013-12-13 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013258657A JP6120762B2 (ja) 2013-12-13 2013-12-13 画像処理装置

Publications (3)

Publication Number Publication Date
JP2015112429A true JP2015112429A (ja) 2015-06-22
JP2015112429A5 JP2015112429A5 (ja) 2015-12-03
JP6120762B2 JP6120762B2 (ja) 2017-04-26

Family

ID=53526791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013258657A Active JP6120762B2 (ja) 2013-12-13 2013-12-13 画像処理装置

Country Status (1)

Country Link
JP (1) JP6120762B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017153763A (ja) * 2016-03-03 2017-09-07 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
CN108348145A (zh) * 2015-11-10 2018-07-31 奥林巴斯株式会社 内窥镜装置
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019146077A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
JP2019180966A (ja) * 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
JPWO2018159347A1 (ja) * 2017-02-28 2019-12-19 富士フイルム株式会社 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
WO2020054604A1 (ja) 2018-09-11 2020-03-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2020071086A1 (ja) 2018-10-04 2020-04-09 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JPWO2021029293A1 (ja) * 2019-08-13 2021-02-18
JPWO2021029292A1 (ja) * 2019-08-13 2021-02-18
WO2021132023A1 (ja) * 2019-12-26 2021-07-01 富士フイルム株式会社 医用画像処理装置、医用画像処理方法及びプログラム
EP3841957A4 (en) * 2018-08-20 2021-10-13 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JP2022010367A (ja) * 2018-04-13 2022-01-14 学校法人昭和大学 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
JP2022010368A (ja) * 2018-04-13 2022-01-14 学校法人昭和大学 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
JP2022058397A (ja) * 2018-03-06 2022-04-12 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7047122B2 (ja) 2018-09-26 2022-04-04 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180987A (ja) * 2002-12-04 2004-07-02 Hitachi Medical Corp 医用画像表示装置
JP2006129950A (ja) * 2004-11-02 2006-05-25 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006187385A (ja) * 2005-01-04 2006-07-20 Olympus Corp 内視鏡装置及びその接触位置取得方法
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2009131319A (ja) * 2007-11-28 2009-06-18 Olympus Corp 画像処理装置、及び画像処理システム
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011206168A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 観察支援システムおよび方法並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180987A (ja) * 2002-12-04 2004-07-02 Hitachi Medical Corp 医用画像表示装置
JP2006129950A (ja) * 2004-11-02 2006-05-25 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006187385A (ja) * 2005-01-04 2006-07-20 Olympus Corp 内視鏡装置及びその接触位置取得方法
JP2009050321A (ja) * 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP2009131319A (ja) * 2007-11-28 2009-06-18 Olympus Corp 画像処理装置、及び画像処理システム
JP2011160848A (ja) * 2010-02-05 2011-08-25 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011206168A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 観察支援システムおよび方法並びにプログラム

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863893B2 (en) 2015-11-10 2020-12-15 Olympus Corporation Endoscope apparatus
CN108348145A (zh) * 2015-11-10 2018-07-31 奥林巴斯株式会社 内窥镜装置
EP3360461A4 (en) * 2015-11-10 2019-05-08 Olympus Corporation ENDOSCOPE DEVICE
CN107153833A (zh) * 2016-03-03 2017-09-12 富士胶片株式会社 图像处理装置及其工作方法
JP2017153763A (ja) * 2016-03-03 2017-09-07 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
US10521904B2 (en) 2016-03-03 2019-12-31 Fujifilm Corporation Image processing apparatus, operating method, and non-transitory computer readable medium
JPWO2018069992A1 (ja) * 2016-10-12 2019-07-18 オリンパス株式会社 挿入システム
US11602263B2 (en) 2016-10-12 2023-03-14 Olympus Corporation Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
JPWO2018159347A1 (ja) * 2017-02-28 2019-12-19 富士フイルム株式会社 プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
WO2018179991A1 (ja) * 2017-03-30 2018-10-04 富士フイルム株式会社 内視鏡システム及びその作動方法
JPWO2018179991A1 (ja) * 2017-03-30 2020-01-09 富士フイルム株式会社 内視鏡システム及びその作動方法
US11272830B2 (en) 2017-03-30 2022-03-15 Fujifilm Corporation Endoscope system and operation method therefor
WO2019146077A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
JP2022058397A (ja) * 2018-03-06 2022-04-12 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2022010368A (ja) * 2018-04-13 2022-01-14 学校法人昭和大学 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
US11690494B2 (en) 2018-04-13 2023-07-04 Showa University Endoscope observation assistance apparatus and endoscope observation assistance method
JP7264407B2 (ja) 2018-04-13 2023-04-25 学校法人昭和大学 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
JP2019180966A (ja) * 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
JP2022010367A (ja) * 2018-04-13 2022-01-14 学校法人昭和大学 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
US11862327B2 (en) 2018-08-20 2024-01-02 Fujifilm Corporation Medical image processing system
EP3841957A4 (en) * 2018-08-20 2021-10-13 FUJIFILM Corporation MEDICAL IMAGE PROCESSING SYSTEM
US11957300B2 (en) 2018-09-11 2024-04-16 Nec Corporation Information processing apparatus, control method, and program
WO2020054604A1 (ja) 2018-09-11 2020-03-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2020071086A1 (ja) 2018-10-04 2020-04-09 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP7290729B2 (ja) 2019-08-13 2023-06-13 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援装置の作動方法、及び画像診断支援プログラム
JPWO2021029293A1 (ja) * 2019-08-13 2021-02-18
WO2021029292A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 画像診断支援装置、内視鏡システム、画像診断支援方法、及び画像診断支援プログラム
JPWO2021029292A1 (ja) * 2019-08-13 2021-02-18
WO2021029293A1 (ja) * 2019-08-13 2021-02-18 富士フイルム株式会社 医用画像処理装置、内視鏡システム、及び医用画像処理方法
JPWO2021132023A1 (ja) * 2019-12-26 2021-07-01
WO2021132023A1 (ja) * 2019-12-26 2021-07-01 富士フイルム株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JPWO2021205778A1 (ja) * 2020-04-08 2021-10-14
WO2021205778A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JP7348386B2 (ja) 2020-04-08 2023-09-20 富士フイルム株式会社 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
US11954897B2 (en) 2020-04-08 2024-04-09 Fujifilm Corporation Medical image processing system, recognition processing processor device, and operation method of medical image processing system

Also Published As

Publication number Publication date
JP6120762B2 (ja) 2017-04-26

Similar Documents

Publication Publication Date Title
JP6120762B2 (ja) 画像処理装置
US20220413692A1 (en) System and method for controlling the display of an image stream
US20210015432A1 (en) Surgery support system, information processing apparatus, and program
EP2721997A1 (en) Method of obtaining image and providing information on screen of magnetic resonance imaging apparatus, and apparatus thereof
US9530205B2 (en) Polyp detection apparatus and method of operating the same
JP5774645B2 (ja) Mri装置で映像を獲得して画面上に情報を提供する方法及びその装置
CN109934220B (zh) 一种影像兴趣点的展示方法、装置及终端
JP5676063B1 (ja) 医療装置及び医療装置の作動方法
KR20160139810A (ko) 의료 영상 디스플레이 장치 및 그에 따른 의료 영상 디스플레이 방법
CN102668556A (zh) 医疗支援装置,医疗支援方法以及医疗支援系统
EP3644174A1 (en) Display control device, display control method, and display control program
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6004875B2 (ja) 医用画像表示装置、医用画像表示方法及びプログラム
Randall et al. The oculus rift virtual colonoscopy: introducing a new technology and initial impressions
CN105310653A (zh) 提供非可视信息的设备和方法及其计算机辅助诊断系统
JP7091845B2 (ja) 医用診断システム
JP5262649B2 (ja) 医用画像表示装置及びプログラム
JP2014226515A (ja) 診断支援システム
JP6978975B2 (ja) 情報出力装置及び情報出力方法
JP6458782B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP7456702B1 (ja) プログラム、情報処理システム及び情報処理方法
JP5645190B2 (ja) ちらつき知覚閾値の測定装置、測定方法及び測定プログラム
JP2009000342A (ja) 医用画像表示装置
JP7442300B2 (ja) 再生制御装置及び再生制御プログラム
JP2012170751A (ja) 画像表示装置、方法、及びプログラム、並びにカプセル型内視鏡システム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150422

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R151 Written notification of patent or utility model registration

Ref document number: 6120762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250