JP2010082241A - 画像表示装置、画像表示方法、および画像表示プログラム - Google Patents

画像表示装置、画像表示方法、および画像表示プログラム Download PDF

Info

Publication number
JP2010082241A
JP2010082241A JP2008255348A JP2008255348A JP2010082241A JP 2010082241 A JP2010082241 A JP 2010082241A JP 2008255348 A JP2008255348 A JP 2008255348A JP 2008255348 A JP2008255348 A JP 2008255348A JP 2010082241 A JP2010082241 A JP 2010082241A
Authority
JP
Japan
Prior art keywords
image
display
vivo
images
extraction condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008255348A
Other languages
English (en)
Other versions
JP5215105B2 (ja
Inventor
Eri Toi
恵里 頭井
Katsuyoshi Taniguchi
勝義 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2008255348A priority Critical patent/JP5215105B2/ja
Priority to CN2009101796101A priority patent/CN101711662B/zh
Priority to US12/569,167 priority patent/US20100083178A1/en
Priority to EP09012427A priority patent/EP2172902B1/en
Priority to AT09012427T priority patent/ATE534102T1/de
Publication of JP2010082241A publication Critical patent/JP2010082241A/ja
Application granted granted Critical
Publication of JP5215105B2 publication Critical patent/JP5215105B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】画面に一覧表示した各体内画像の観察時の労力を軽減できるとともに、短時間に効率よく体内画像を観察できること。
【解決手段】本発明にかかる画像表示装置4は、時系列に沿って撮像した一連の画像を取得するリーダライタ11と、階層的に変更可能な画像抽出条件を設定する抽出条件設定部15cと、かかる画像抽出条件に対応して前記一連の画像の中から複数の画像を抽出する画像抽出部15bと、これら複数の画像を一覧表示する表示部13と、表示部13を制御する表示制御部15aとを備える。表示制御部15aは、変更後の画像抽出条件に対応して抽出された複数の画像のうち、変更後の画像抽出条件に対応する新規画像を、変更前の画像抽出条件に対応する既存画像と異なる表示態様で表示するように表示部13を制御する。
【選択図】 図2

Description

本発明は、患者等の被検体の臓器内部を時系列に沿って撮像した一連の画像を表示する画像表示装置に関し、特に、この一連の画像に含まれる複数の画像を一覧表示することができる画像表示装置、画像表示方法、および画像表示プログラムに関するものである。
従来から、内視鏡分野においては、カプセル型の筐体内部に撮像機能と無線通信機能とを備えた飲込み型の内視鏡であるカプセル型内視鏡が登場している。カプセル型内視鏡は、患者等の被検体の臓器内部に経口摂取等によって導入される。その後、被検体内部のカプセル型内視鏡は、蠕動運動等によって臓器内部を移動しつつ、この被検体の臓器内部の画像(以下、体内画像という場合がある)を撮像し、得られた体内画像を外部に無線送信する。かかるカプセル型内視鏡は、被検体内部に導入されてから被検体外部に排出されるまでの期間、時系列に沿って体内画像を順次撮像し、得られた体内画像を時系列順に被検体外部に無線送信する。
かかるカプセル型内視鏡によって時系列順に無線送信された各体内画像は、被検体外部の受信装置に順次受信される。この受信装置は、予め挿着された記録媒体内に、かかるカプセル型内視鏡から時系列順に受信した体内画像群を保存する。その後、かかる体内画像群を蓄積した記録媒体は、この受信装置から取り外されて画像表示装置に挿着される。画像表示装置は、この挿着した記録媒体内の体内画像群を取り込み、得られた各体内画像をディスプレイに順次表示する。医師または看護師等の医療従事者は、かかる画像表示装置に順次表示された各体内画像を観察し、この体内画像の観察を通して被検体の臓器内部を観察(検査)することができる。
なお、このように被検体の体内画像群を表示する画像表示装置として、例えば、カプセル型内視鏡によって撮像された画像ストリームを複数の画像ストリームに分け、これら複数の画像ストリームを実質的に同時にディスプレイに表示するものがある(特許文献1参照)。一方、画像データ間の関連情報に基づいて複数の画像をグループ化し、このグループ化した複数の画像を一覧表示する画像表示装置もある(特許文献2参照)。
特開2006−305369号公報 特開2004−13575号公報
ところで、上述した従来の画像表示装置は、複数の体内画像を一覧表示する場合、予め設定した表示対象画像の抽出条件に基づいて、被検体の体内画像群の中から表示対象の体内画像を複数抽出し、これら抽出した複数の体内画像を画面に一覧表示する。その後、この従来の画像表示装置は、かかる表示対象画像の抽出条件における閾値等のレベルを変更した場合、この変更後の抽出条件に基づいて、表示対象である複数の体内画像を抽出し直し、抽出し直した複数の体内画像を画面に一覧表示する。このように画面に一覧表示された複数の体内画像には、前回の抽出条件に基づいて既に抽出されていた体内画像と変更後の抽出条件に基づいて新規に抽出された体内画像とが含まれる場合がある。
しかしながら、かかる従来の画像表示装置では、画面に一覧表示された複数の体内画像の中から、前回の抽出条件に基づいて既に抽出されていた体内画像と変更後の抽出条件に基づいて新規に抽出された体内画像とを視覚的に識別することが困難である。このため、一覧表示された複数の体内画像を観察する際、既に観察済みの体内画像を意図せず繰り返して観察してしまうという事態を招来し、この結果、被検体の体内画像の観察に多大の時間および労力が掛かるという問題点があった。
本発明は、上記事情に鑑みてなされたものであって、画面に一覧表示した各体内画像の観察時の労力を軽減できるとともに、短時間に効率よく体内画像を観察することができる画像表示装置、画像表示方法、および画像表示プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像表示装置は、時系列に沿って撮像した一連の画像を取得する画像取得部と、階層的に変更可能な画像抽出条件を設定する抽出条件設定部と、前記抽出条件設定部が設定した前記画像抽出条件に対応して、前記一連の画像の中から複数の画像を抽出する画像抽出部と、前記画像抽出部が抽出した前記複数の画像を一覧表示する表示部と、前記抽出条件設定部が前記画像抽出条件を階層的に変更した場合、前記画像抽出部が変更後の前記画像抽出条件に対応して抽出した前記複数の画像のうち、変更後の前記画像抽出条件に対応して新規に抽出された新規画像を、変更前の前記画像抽出条件に対応して既に抽出された既存画像と異なる表示態様で表示するように前記表示部を制御する表示制御部と、を備えたことを特徴とする。
また、本発明にかかる画像表示装置は、上記の発明において、前記表示制御部は、変更後の前記画像抽出条件に対応して新規に抽出された前記新規画像を強調表示するように前記表示部を制御することを特徴とする。
また、本発明にかかる画像表示装置は、上記の発明において、前記表示制御部は、前記既存画像に比して前記新規画像を大きく表示して前記新規画像を強調表示するように前記表示部を制御することを特徴とする。
また、本発明にかかる画像表示装置は、上記の発明において、前記表示制御部は、前記複数の画像に含まれる各画像の画像抽出条件のレベルを判定し、この判定した前記レベルを示すレベル情報を前記各画像に付加して前記新規画像と前記既存画像とを異なる表示態様にするように前記表示部を制御することを特徴とする。
また、本発明にかかる画像表示装置は、上記の発明において、前記表示制御部は、変更後の前記画像抽出条件に対応して一覧表示対象から除外された画像の存在位置を示すマーク情報を表示するように前記表示部を制御することを特徴とする。
また、本発明にかかる画像表示装置は、上記の発明において、前記表示部は、一覧表示する前記複数の画像の画像間に前記マーク情報を表示することを特徴とする。
また、本発明にかかる画像表示方法は、時系列に沿って撮像した一連の画像の中から一覧表示対象である複数の体内画像を抽出するための画像抽出条件を階層的に変更する抽出条件変更ステップと、前記抽出条件変更ステップによる変更後の前記画像抽出条件をもとに、前記一連の画像の中から一覧表示対象である複数の体内画像を抽出し直す画像抽出ステップと、前記画像抽出ステップによって抽出し直した前記複数の体内画像のうち、変更後の前記画像抽出条件に対応して新規に抽出した新規画像を、変更前の前記画像抽出条件に対応して既に抽出した既存画像と異なる表示態様にして、前記複数の体内画像を一覧表示する一覧表示ステップと、を含むことを特徴とする。
また、本発明にかかる画像表示方法は、上記の発明において、前記一覧表示ステップは、変更後の前記画像抽出条件に対応して新規に抽出した前記新規画像を強調表示することを特徴とする。
また、本発明にかかる画像表示方法は、上記の発明において、前記一覧表示ステップは、前記既存画像に比して前記新規画像を大きく表示して前記新規画像を強調表示することを特徴とする。
また、本発明にかかる画像表示方法は、上記の発明において、前記一覧表示ステップは、前記複数の画像に含まれる各画像の画像抽出条件のレベルを判定し、この判定した前記レベルを示すレベル情報を前記各画像に付加して前記新規画像と前記既存画像とを異なる表示態様にすることを特徴とする。
また、本発明にかかる画像表示方法は、上記の発明において、前記一覧表示ステップは、変更後の前記画像抽出条件に対応して一覧表示対象から除外された画像の存在位置を示すマーク情報を表示することを特徴とする。
また、本発明にかかる画像表示方法は、上記の発明において、前記一覧表示ステップは、前記複数の画像の画像間に前記マーク情報を表示することを特徴とする。
また、本発明にかかる画像表示プログラムは、時系列に沿って撮像した一連の画像の中から一覧表示対象である複数の体内画像を抽出するための画像抽出条件を階層的に変更する抽出条件変更手順と、前記抽出条件変更手順による変更後の前記画像抽出条件をもとに、前記一連の画像の中から一覧表示対象である複数の体内画像を抽出し直す画像抽出手順と、前記画像抽出手順によって抽出し直した前記複数の体内画像のうち、変更後の前記画像抽出条件に対応して新規に抽出した新規画像を、変更前の前記画像抽出条件に対応して既に抽出した既存画像と異なる表示態様にして、前記複数の体内画像を一覧表示する一覧表示手順と、をコンピュータに実行させることを特徴とする。
また、本発明にかかる画像表示プログラムは、上記の発明において、前記一覧表示手順は、変更後の前記画像抽出条件に対応して新規に抽出した前記新規画像を強調表示することを特徴とする。
また、本発明にかかる画像表示プログラムは、上記の発明において、前記一覧表示手順は、前記既存画像に比して前記新規画像を大きく表示して前記新規画像を強調表示することを特徴とする。
また、本発明にかかる画像表示プログラムは、上記の発明において、前記一覧表示手順は、前記複数の画像に含まれる各画像の画像抽出条件のレベルを判定し、この判定した前記レベルを示すレベル情報を前記各画像に付加して前記新規画像と前記既存画像とを異なる表示態様にすることを特徴とする。
また、本発明にかかる画像表示プログラムは、上記の発明において、前記一覧表示手順は、変更後の前記画像抽出条件に対応して一覧表示対象から除外された画像の存在位置を示すマーク情報を表示することを特徴とする。
また、本発明にかかる画像表示プログラムは、上記の発明において、前記一覧表示手順は、前記複数の画像の画像間に前記マーク情報を表示することを特徴とする。
本発明にかかる画像表示装置では、画像取得部が、時系列に沿って撮像した一連の画像を取得し、抽出条件設定部が、階層的に変更可能な画像抽出条件を設定し、画像抽出部が、前記抽出条件設定部が設定した前記画像抽出条件に対応して、前記一連の画像の中から複数の画像を抽出し、表示部が、前記画像抽出部が抽出した前記複数の画像を一覧表示し、前記抽出条件設定部が前記画像抽出条件を階層的に変更した場合、表示制御部が、前記画像抽出部が変更後の前記画像抽出条件に対応して抽出した前記複数の画像のうち、変更後の前記画像抽出条件に対応して新規に抽出された新規画像を、変更前の前記画像抽出条件に対応して既に抽出された既存画像と異なる表示態様で表示するように前記表示部を制御する。このため、画面に一覧表示された複数の体内画像のうちの新規の体内画像と既存の体内画像とを視覚的に容易に識別でき、これによって、これら複数の体内画像のうちの既に観察済みの体内画像を意図せずに繰り返し観察するという事態を防止できる。この結果、画面に一覧表示した各体内画像の観察時の労力を軽減できるとともに、短時間に効率よく体内画像を観察できるという効果を奏する。
また、本発明にかかる画像表示方法では、時系列に沿って撮像した一連の画像の中から一覧表示対象である複数の体内画像を抽出するための画像抽出条件を階層的に変更し、変更後の前記画像抽出条件をもとに、前記一連の画像の中から一覧表示対象である複数の体内画像を抽出し直し、抽出し直した前記複数の体内画像のうち、変更後の前記画像抽出条件に対応して新規に抽出した新規画像を、変更前の前記画像抽出条件に対応して既に抽出した既存画像と異なる表示態様にして、前記複数の体内画像を一覧表示する。このため、画面に一覧表示された複数の体内画像のうちの新規の体内画像と既存の体内画像とを視覚的に容易に識別でき、これによって、これら複数の体内画像のうちの既に観察済みの体内画像を意図せずに繰り返し観察するという事態を防止できる。この結果、画面に一覧表示した各体内画像の観察時の労力を軽減できるとともに、短時間に効率よく体内画像を観察できるという効果を奏する。
また、本発明にかかる画像表示プログラムでは、時系列に沿って撮像した一連の画像の中から一覧表示対象である複数の体内画像を抽出するための画像抽出条件を階層的に変更する抽出条件変更手順を実行し、前記抽出条件変更手順による変更後の前記画像抽出条件をもとに、前記一連の画像の中から一覧表示対象である複数の体内画像を抽出し直す画像抽出手順を実行し、前記画像抽出手順によって抽出し直した前記複数の体内画像のうち、変更後の前記画像抽出条件に対応して新規に抽出した新規画像を、変更前の前記画像抽出条件に対応して既に抽出した既存画像と異なる表示態様にして、前記複数の体内画像を一覧表示する一覧表示手順を実行する。このため、画面に一覧表示された複数の体内画像のうちの新規の体内画像と既存の体内画像とを視覚的に容易に識別でき、これによって、これら複数の体内画像のうちの既に観察済みの体内画像を意図せずに繰り返し観察するという事態を防止できる。この結果、画面に一覧表示した各体内画像の観察時の労力を軽減できるとともに、短時間に効率よく体内画像を観察できるという効果を奏する。
以下、図面を参照して、本発明にかかる画像表示装置、画像表示方法、および画像表示プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる画像表示装置を備えた被検体内情報取得システムの一構成例を示す模式図である。図1に示すように、この実施の形態1にかかる被検体内情報取得システムは、被検体1の体内画像を撮像するカプセル型内視鏡2と、カプセル型内視鏡2によって無線送信された画像信号を受信する受信装置3と、カプセル型内視鏡2によって撮像された体内画像を表示する画像表示装置4と、かかる受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録媒体5とを備える。
カプセル型内視鏡2は、被検体1の臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、カプセル型筐体の内部に撮像機能および無線通信機能を備える。具体的には、カプセル型内視鏡2は、経口摂取等によって被検体1の臓器内部に導入される。その後、被検体1内部のカプセル型内視鏡2は、蠕動運動等によって臓器内部を移動しつつ、時系列に沿って体内画像を順次撮像し、得られた体内画像の画像信号を外部の受信装置3に順次無線送信する。カプセル型内視鏡2は、被検体1の臓器内部に導入されてから被検体1の外部に排出されるまでの期間、かかる体内画像の撮像動作および無線送信動作を順次繰り返す。
受信装置3は、複数の受信アンテナ3a〜3hを備え、これら複数の受信アンテナ3a〜3hのうちの少なくとも一つを介して被検体1内部のカプセル型内視鏡2からの無線信号を受信する。受信装置3は、かかるカプセル型内視鏡2から受信した無線信号に対して復調処理等の所定の通信処理を行って、この無線信号に含まれる画像信号を抽出し、この抽出した画像信号をもとに被検体1の体内画像を生成する。受信装置3は、このような処理を順次繰り返して、カプセル型内視鏡2による被検体1の体内画像群を取得する。また、受信装置3には記録媒体5が予め挿着されている。受信装置3は、この記録媒体5内に、各体内画像の撮像時刻等の時間データと対応付けた態様で被検体1の体内画像群の各画像データを蓄積する。
なお、かかる受信装置3の受信アンテナ3a〜3hは、図1に示したように被検体1の体表上に分散配置されてもよいし、被検体1に着用させるジャケットに配置されてもよい。また、受信装置3が備える受信アンテナ数は、1つ以上であればよく、特に8つに限定されない。
画像表示装置4は、被検体1の体内画像群等の各種データを取得し、取得した体内画像群等の各種データを表示するワークステーションのような構成を有する。具体的には、画像表示装置4は、上述した受信装置3から取り外された記録媒体5を挿着され、この記録媒体5の保存データを取り込む。これによって、画像表示装置4は、カプセル型内視鏡2による被検体1の体内画像群等の各種データを取得する。かかる画像表示装置4は、このように取得した体内画像群内の各体内画像を静止画表示または動画表示し、あるいは、この体内画像群の中から抽出した複数の体内画像を一覧表示する。医師または看護師等の医療従事者は、この画像表示装置4に表示された各体内画像を観察し、かかる各体内画像の観察を通して被検体1の臓器内部を観察し、この結果、被検体1を診断できる。
記録媒体5は、上述した受信装置3と画像表示装置4との間におけるデータの受け渡しを行うための可搬型の記録メディアである。具体的には、記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。記録媒体5は、受信装置3に挿着された場合、受信装置3がカプセル型内視鏡2から受信した体内画像群等の各種データを記録する。かかる各種データを蓄積した状態の記録媒体5は、受信装置3から取り外された後に画像表示装置4に挿着される。この場合、かかる記録媒体5の保存データは、画像表示装置4に取り込まれる。
つぎに、本発明の実施の形態1にかかる画像表示装置4の構成について詳細に説明する。図2は、本発明の実施の形態1にかかる画像表示装置の一構成例を模式的に示すブロック図である。図2に示すように、この実施の形態1にかかる画像表示装置4は、上述した記録媒体5の保存データを取り込むリーダライタ11と、各種情報を入力する入力部12と、被検体1の体内画像等を表示する表示部13と、リーダライタ11によって取り込まれた各種データ等を記憶する記憶部14と、かかる画像表示装置4の各構成部を制御する制御部15とを備える。
リーダライタ11は、上述したカプセル型内視鏡2による被検体1の体内画像群を取得する画像取得部として機能する。具体的には、リーダライタ11は、上述した受信装置3から取り外された記録媒体5を着脱可能に挿着され、制御部15の制御に基づいて、この記録媒体5の保存データを取り込む。このようにして、リーダライタ11は、被検体1の体内画像群等の各種データを取得し、この取得した各種データを制御部15に転送する。なお、かかるリーダライタ11が取得した体内画像群は、上述したカプセル型内視鏡2が被検体1の臓器内部を時系列に沿って撮像した一連の画像である。一方、リーダライタ11は、初期化された記録媒体5を挿着された場合、制御部15によって書き込み指示されたデータをこの記録媒体5に書き込む。この場合、リーダライタ11は、例えば被検体1の患者名、患者ID、検査日および検査ID等の特定データを記録媒体5に書き込む。
入力部12は、キーボードおよびマウス等の入力デバイスを用いて実現され、ユーザによる入力操作に対応して制御部15に各種情報を入力する。なお、かかる入力部12によって制御部15に入力される各種情報として、例えば、制御部15に対して指示する各種指示情報、被検体1の特定データ、一覧表示対象の体内画像を抽出するための画像抽出条件の情報等が挙げられる。
表示部13は、CRTディスプレイまたは液晶ディスプレイ等の画像表示が可能なディスプレイを用いて実現され、制御部15によって表示指示された各種情報および各種データを表示する。具体的には、表示部13は、上述したカプセル型内視鏡2による被検体1の体内画像群、被検体1の特定データ、入力部12による入力情報、入力操作または表示操作のための各種GUI(Graphical User Interface)等を表示する。かかる表示部13は、制御部15の制御に基づいて、被検体1の体内画像群内の各体内画像を時系列順または時系列の逆順に静止画表示または動画表示し、あるいは、被検体1の体内画像群の中から抽出された複数の体内画像を一覧表示する。
記憶部14は、EEPROMまたはハードディスク等の再書き込み可能な不揮発性の記憶媒体を用いて実現される。記憶部14は、制御部15によって書き込み指示された各種データ等を保存し、制御部15によって読み出し指示された保存データを制御部15に送信する。具体的には、記憶部14は、制御部15の制御に基づいて、被検体1の特定データ等の入力部12による入力情報、被検体1の体内画像群等のリーダライタ11による取得データ、一覧表示対象の体内画像を抽出するための画像抽出条件等の各種データおよび各種情報を記憶する。また、記憶部14は、取得した全体内画像を記憶する記憶領域である体内画像フォルダ14aと、体内画像フォルダ14a内の体内画像群の中から抽出された体内画像を記憶する記憶領域である抽出画像フォルダ14bとを有する。記憶部14は、上述した被検体1の体内画像群を体内画像フォルダ14a内に記憶し、この体内画像群の中から抽出された複数の体内画像を抽出画像フォルダ14b内に記憶する。
制御部15は、画像表示装置4の機能を実現するためのプログラム等を記憶する記憶部およびこの記憶部内のプログラムを実行するCPU等を用いて実現される。制御部15は、画像表示装置4の各構成部であるリーダライタ11、入力部12、表示部13、および記憶部14の各動作を制御し、且つ、かかる各構成部間における信号の入出力を制御する。具体的には、制御部15は、入力部12によって入力された指示情報に基づいて、記録媒体5の保存データを取り込むようにリーダライタ11を制御し、この取り込んだ保存データを記憶するように記憶部14を制御する。また、制御部15は、入力部12によって入力された被検体1の特定データ等を記録媒体5に保存するようにリーダライタ11を制御する。
また、制御部15は、表示部13の表示動作を制御する表示制御部15aと、一覧表示対象の体内画像を抽出する画像抽出部15bと、階層的に変更可能な画像抽出条件を設定する抽出条件設定部15cと、体内画像群内の各体内画像に対して各種処理を行う画像処理部15dとを備える。
表示制御部15aは、入力部12によって入力された指示情報に基づいて、被検体1の体内画像群内の各体内画像を静止画表示または動画表示するように表示部13を制御する。この場合、表示制御部15aは、記憶部14の体内画像フォルダ14aの中から被検体1の体内画像群を読み出し、この読み出した体内画像群内の各体内画像を、時系列順または時系列の逆順に静止画表示または動画表示するように表示部13を制御する。一方、表示制御部15aは、入力部12の入力情報に基づいて、一画面内に表示する体内画像の表示枚数を予め設定する。表示制御部15aは、入力部12によって入力された指示情報に基づいて、被検体1の体内画像群のうちの複数の体内画像を一覧表示するように表示部13を制御する。この場合、表示制御部15aは、記憶部14の抽出画像フォルダ14bの中から複数の体内画像を読み出し、予め設定した表示枚数ずつ、これら複数の体内画像を一覧表示するように表示部13を制御する。なお、かかる抽出画像フォルダ14bに保存される複数の体内画像は、画像抽出部15bによって被検体1の体内画像群の中から抽出されたものである。
また、表示制御部15aは、抽出条件設定部15cが画像抽出条件を階層的に変更した場合、画像抽出条件の変更後に新規に表示する体内画像と画像抽出条件の変更前に既に表示した体内画像とを異なる表示態様にして、表示部13に複数の体内画像を一覧表示させる。この場合、表示制御部15aは、変更後の画像抽出条件に対応して画像抽出部15bが抽出した複数の体内画像(すなわち一覧表示対象の体内画像)のうち、新規の体内画像を既存の体内画像と異なる表示態様で表示するように表示部13を制御する。具体的には、表示制御部15aは、一覧表示対象である複数の体内画像のうち、かかる変更後の画像抽出条件に対応して新規に抽出された体内画像を強調表示するように表示部13を制御する。これによって、表示制御部15aは、かかる新規の体内画像と既存の体内画像とを異なる表示態様にする。
なお、上述した新規の体内画像は、画像抽出部15bが変更後の画像抽出条件に対応して新規に抽出した体内画像である。また、上述した既存の体内画像は、画像抽出部15bが変更前の画像抽出条件に対応して既に抽出した体内画像である。
画像抽出部15bは、表示部13に一覧表示させる複数の体内画像を抽出する画像抽出手段として機能する。具体的には、画像抽出部15bは、抽出条件設定部15cが設定した画像抽出条件に対応して、体内画像フォルダ14a内の被検体1の体内画像群の中から複数の体内画像を抽出する。この場合、画像抽出部15bは、かかる画像抽出条件に合致する体内画像を被検体1の体内画像群の中から抽出する。かかる画像抽出部15bによって抽出された複数の体内画像は、記憶部14の抽出画像フォルダ14b内に保存される。画像抽出部15bは、抽出条件設定部15cが画像抽出条件を階層的に変更した場合、その都度、被検体1の体内画像群の中から、この変更後の画像抽出条件に合致する複数の体内画像を抽出し直す。
抽出条件設定部15cは、上述した画像抽出部15bが被検体1の体内画像群の中から一覧表示対象の体内画像を抽出するための画像抽出条件を設定する。また、抽出条件設定部15cは、入力部12の入力情報をもとに、かかる画像抽出条件のレベルを階層的に変更する。言い換えると、抽出条件設定部15cは、入力部12の入力情報をもとに、多段階で画像抽出条件を設定可能である。かかる画像抽出条件は、制御部15の制御に基づいて記憶部14に保存され、制御部15によって適宜読み出される。なお、かかる抽出条件設定部15cによって設定される画像抽出条件は、階層的に変更可能なものであり、例えば、時系列に沿って連続する体内画像間の類似度に関する閾値、被写体として体内画像に含まれる出血部に関する情報を示す数値に関する閾値、特殊光を用いて撮像した体内画像の画像処理の結果に関する数値に対する閾値等である。
画像処理部15dは、被検体1の体内画像群に含まれる各体内画像に対して所定の画像処理を行って、上述した画像抽出部15bによる体内画像の抽出処理に必要な情報を算出する。具体的には、画像処理部15dは、記憶部14の体内画像フォルダ14a内に保存された被検体1の体内画像群を読み出し、この体内画像群内の各体内画像の色情報を抽出する。画像処理部15dは、かかる各体内画像の色情報をもとに、この体内画像群内において時系列に沿って連続する体内画像間の類似度を画像毎に算出する。なお、画像処理部15dは、この体内画像群内における隣接画像間の動きベクトルを算出し、この算出した各体内画像の動きベクトルをもとに、かかる体内画像間の類似度を画像毎に算出してもよい。画像処理部15dは、このように画像毎に算出した各類似度をこの体内画像群内の各体内画像に各々対応付ける。制御部15は、かかる各類似度を各体内画像と対応付けた態様で記憶部14に保存する。なお、かかる記憶部14に保存した各体内画像の類似度は、制御部15によって適宜読み出され、上述した画像抽出部15bが一覧表示対象の体内画像を抽出する際に用いられる。
なお、制御部15は、画像抽出条件が変更された際に、変更前の画像抽出条件を記憶するとともに、この変更後の画像抽出条件を記憶する記憶部を備えていてもよい。これによって、制御部15は、階層的あるいは多段階で設定された画像抽出条件を保持でき、この結果、再度同様の画像抽出処理を実行することができる。
また、画像抽出部15bは、変更前の画像抽出条件に基づいて抽出した体内画像毎に体内画像を抽出した旨を示す情報を管理する抽出結果管理部を備えてもよい。これによって、画像抽出部15bは、階層的あるいは多段階の画像抽出条件に基づく体内画像の抽出結果を比較することが可能となり、表示制御部15aは、それぞれの抽出結果を異なる形態で表示部13に表示させることが可能になる。
つぎに、本発明の実施の形態1にかかる画像表示装置4の動作について説明する。図3は、複数の体内画像を一覧表示する際の画像表示装置の処理手順を例示するフローチャートである。この実施の形態1にかかる画像表示装置4は、取得した被検体1の体内画像群の中から一覧表示対象の体内画像を複数抽出し、予め設定した表示枚数ずつ、これら複数の体内画像を一覧表示する。この場合、画像表示装置4は、これら複数の体内画像のうちの新規の体内画像と既存の体内画像とを異なる表示態様で表示する。
詳細には図3に示すように、この実施の形態1にかかる画像表示装置4の制御部15は、まず、体内画像の一覧表示指示の有無を判断する(ステップS101)。このステップS101において、制御部15は、入力部12によって一覧表示の指示情報を入力された場合、体内画像の一覧表示指示ありと判断し、一覧表示の指示情報を入力されていない場合、体内画像の一覧表示指示なしと判断する。制御部15は、体内画像の一覧表示指示なしと判断した場合(ステップS101,No)、入力部12によって一覧表示の指示情報を入力されるまで、このステップS101を繰り返す。
一方、制御部15は、このステップS101において体内画像の一覧表示指示ありと判断した場合(ステップS101,Yes)、予め取得した体内画像群の中から一覧表示対象の体内画像を抽出する(ステップS102)。
このステップS102において、画像抽出部15bは、記憶部14の体内画像フォルダ14a内に保存された被検体1の体内画像群の中から、抽出条件設定部15cによって予め設定された画像抽出条件と合致する複数の体内画像を抽出する。この場合、画像抽出部15bは、この体内画像群内の各体内画像の類似度と画像抽出条件とを比較し、この比較結果に基づいて、これら複数の体内画像を抽出する。なお、かかる各体内画像の類似度は、上述したように、画像処理部15dによって予め算出される。制御部15は、このように抽出した複数の体内画像を抽出画像フォルダ14b内に記憶するように記憶部14を制御する。
つぎに、制御部15は、ステップS102において抽出した複数の体内画像を表示部13に一覧表示させる(ステップS103)。この場合、表示制御部15aは、記憶部14の抽出画像フォルダ14bの中から、上述した画像抽出部15bによって抽出された複数の体内画像を読み出す。そして、表示制御部15aは、予め設定した一画面内における体内画像の表示枚数ずつ、これら複数の体内画像を一覧表示するように表示部13を制御する。
このように複数の体内画像が一覧表示された状態において、制御部15は、一覧表示対象である体内画像の画像抽出条件の変更指示の有無を判断する(ステップS104)。このステップS104において、制御部15は、入力部12によって画像抽出条件変更の指示情報を入力された場合、画像抽出条件の変更指示ありと判断し、画像抽出条件変更の指示情報を入力されていない場合、画像抽出条件の変更指示なしと判断する。
制御部15は、画像抽出条件の変更指示ありと判断した場合(ステップS104,Yes)、一覧表示対象である体内画像の画像抽出条件を変更する(ステップS105)。このステップS105において、抽出条件設定部15cは、入力部12によって入力された画像抽出条件変更の指示情報に基づいて、一覧表示対象である体内画像の画像抽出条件を階層的に変更する。この場合、抽出条件設定部15cは、かかる画像抽出条件変更の指示情報に基づいて画像抽出条件のレベル(例えば体内画像の類似度に関する閾値)を増減する。
つぎに、制御部15は、上述したステップS105において抽出条件設定部15cが設定した変更後の画像抽出条件をもとに、一覧表示対象である体内画像を抽出し直す(ステップS106)。このステップS106において、画像抽出部15bは、体内画像フォルダ14a内の被検体1の体内画像群の中から、この変更後の画像抽出条件と合致する複数の体内画像を抽出し直す。この場合、画像抽出部15bは、この体内画像群内の各体内画像の類似度と変更後の画像抽出条件とを再度比較し、この再比較結果に基づいて、これら複数の体内画像を抽出し直す。制御部15は、このように抽出し直した複数の体内画像を抽出画像フォルダ14b内に上書きするように記憶部14を制御する。この結果、一覧表示対象の体内画像は、これら抽出し直した複数の体内画像に更新される。
続いて、制御部15は、ステップS106において画像抽出条件を変更後に被検体1の体内画像群の中から新規に抽出した体内画像を強調して表示部13に体内画像を一覧表示させる(ステップS107)。このステップS107において、表示制御部15aは、上述したように画像抽出部15bが変更後の画像抽出条件に基づいて抽出し直した複数の体内画像を、予め設定した表示枚数ずつ一覧表示するように表示部13を制御する。これと同時に、表示制御部15aは、これら抽出し直した複数の体内画像のうち、変更前の画像抽出条件では抽出されずに、この変更後の画像抽出条件に対応して新規に抽出された体内画像を強調表示するように表示部13を制御する。この場合、表示制御部15aは、変更前の画像抽出条件と変更後の画像抽出条件とによって規定される画像抽出条件の範囲をもとに、これら複数の体内画像のうちの新規の体内画像を判別する。
かかる表示制御部15aの制御に基づいて、表示部13は、変更前の画像抽出条件に対応して既に抽出された既存の体内画像を表示しつつ、変更後の画像抽出条件に対応して新規に抽出された新規の体内画像を既存の体内画像と異なる表示態様で強調表示して、これら複数の体内画像を一覧表示する。
その後、制御部15は、体内画像の一覧表示処理を終了するか否かを判断し(ステップS108)、入力部12によって処理終了の指示情報を入力された場合、この入力された指示情報に基づいて処理終了と判断し(ステップS108,Yes)、本処理を終了する。一方、制御部15は、このステップS108において処理終了の指示情報を入力されていない場合、処理終了ではないと判断し(ステップS108,No)、上述したステップS104に戻り、このステップS104以降の処理手順を繰り返す。
なお、上述したステップS104において、制御部15は、画像抽出条件の変更指示なしと判断した場合(ステップS104,No)、上述したステップS108に進み、このステップS108以降の処理手順を繰り返す。
つぎに、体内画像の画像抽出条件として体内画像の類似度に関する閾値を階層的に変更する場合を例示して、複数の体内画像を一覧表示する際の画像表示装置4の動作を具体的に説明する。図4は、階層的に変更可能な画像抽出条件に対応して一覧表示対象である複数の体内画像を抽出する際の画像表示装置の動作を説明するための模式図である。図5は、本発明の実施の形態1にかかる画像表示装置による体内画像の一覧表示態様を例示する模式図である。
この実施の形態1にかかる画像表示装置4が体内画像を一覧表示する前の準備段階において、表示制御部15aは、入力部12の入力情報をもとに、一画面内における体内画像の一覧表示枚数を予め設定する。抽出条件設定部15cは、階層的に変更可能な画像抽出条件として、体内画像の類似度に関する閾値Th1を初期的に設定する。なお、かかる画像抽出条件としての閾値Th1は、抽出条件設定部15cに対して予め設定されたデフォルト値であってもよいし、入力部12の入力情報に基づいて抽出条件設定部15cが設定したものであってもよい。
体内画像の一覧表示の指示情報が入力部12によって入力された画像表示装置4において、制御部15は、この入力部12によって入力された一覧表示の指示情報をもとに、体内画像の一覧表示指示ありと判断する。この場合、画像抽出部15bは、体内画像フォルダ14a内に保存された被検体1の体内画像群PGの中から、抽出条件設定部15cによる画像抽出条件と合致する体内画像を抽出する。具体的には、画像抽出部15bは、図4に示すように、この体内画像群PG内の各体内画像の類似度と画像抽出条件としての閾値Th1とを比較し、この体内画像群PGの中から、この閾値Th1以下の類似度をもつ複数の体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21を抽出する。制御部15は、一覧表示対象の体内画像として、これら複数の体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21を抽出画像フォルダ14b内に記憶するように記憶部14を制御する。
表示制御部15aは、かかる画像抽出部15bによって抽出された複数の体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21を一覧表示するように表示部13を制御する。表示部13は、かかる表示制御部15aの制御に基づいて、予め設定された表示枚数ずつ、これら複数の体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21を一覧表示する。
ここで、画像抽出条件変更の指示情報が入力部12によって制御部15に入力された場合、制御部15は、この入力部12によって入力された画像抽出条件変更の指示情報をもとに、画像抽出条件の変更指示ありと判断する。この場合、抽出条件設定部15cは、この画像抽出条件変更の指示情報をもとに、上述した閾値Th1から閾値Th2に体内画像の画像抽出条件を階層的に変更する。なお、この閾値Th2は、体内画像の類似度に関する閾値であり、上述した閾値Th1に比して大きい。
画像抽出部15bは、体内画像フォルダ14a内に保存された被検体1の体内画像群PGの中から、かかる抽出条件設定部15cによる変更後の画像抽出条件と合致する体内画像を抽出する。具体的には、画像抽出部15bは、図4に示すように、この体内画像群PG内の各体内画像の類似度と変更後の画像抽出条件である閾値Th2とを比較し、この体内画像群PGの中から、この閾値Th2以下の類似度をもつ複数の体内画像P1〜P21を抽出し直す。制御部15は、変更後の画像抽出条件に対応する一覧表示対象の体内画像として、これら複数の体内画像P1〜P21を抽出画像フォルダ14b内に記憶するように記憶部14を制御する。この結果、一覧表示対象の体内画像は、このように抽出し直した複数の体内画像P1〜P21に更新される。
表示制御部15aは、図4に示したように変更後の閾値Th2に基づいて体内画像群PGの中から抽出し直した複数の体内画像P1〜P21を、予め設定した表示枚数ずつ一覧表示するように表示部13を制御する。これと同時に、表示制御部15aは、これら抽出し直した複数の体内画像P1〜P21のうち、変更前の画像抽出条件(閾値Th1)では抽出されずに、この変更後の画像抽出条件(閾値Th2)に対応して新規に抽出された体内画像P7,P8,P10,P14,P15,P18を強調表示するように表示部13を制御する。
詳細には、表示制御部15aは、変更前の画像抽出条件である閾値Th1と変更後の画像抽出条件である閾値Th2とをもとに、画像抽出条件の範囲W(Th1<W≦Th2)を規定する。表示制御部15aは、かかる画像抽出条件の範囲Wと複数の体内画像P1〜P21の各類似度とを比較する。表示制御部15aは、この比較処理の結果をもとに、閾値Th1を超過し且つ閾値Th2以下の類似度をもつ体内画像P7,P8,P10,P14,P15,P18を新規の体内画像として判別する。なお、ここでいう新規の体内画像は、変更前の閾値Th1以下という画像抽出条件では抽出されず、変更後の閾値Th2以下という画像抽出条件に対応して新規に抽出された体内画像である。表示制御部15aは、かかる新規の体内画像P7,P8,P10,P14,P15,P18を強調表示しつつ複数の体内画像P1〜P21を一覧表示するように表示部13を制御する。
かかる表示制御部15aの制御に基づいて、表示部13は、変更前の閾値Th1に対応する既存の体内画像を表示しつつ、変更後の閾値Th2に対応する新規の体内画像を既存の体内画像と異なる表示態様で強調表示して、これら複数の体内画像P1〜P21を一覧表示する。具体的には、図5に示すように、表示部13は、体内画像の一覧表示ウィンドウ13a内に、複数の体内画像P1〜P21のうちの新規の体内画像P7,P8,P10,P14,P15,P18を太枠表示等によって強調表示する。これと同時に、表示部13は、変更前の閾値Th1に対応して既に表示していた既存の体内画像P1〜P6,P9,P11〜P13,P16,P17を通常の表示態様で表示する。医師または看護師等のユーザは、かかる一覧表示ウィンドウ13aを視認することによって、一覧表示された複数の体内画像P1〜P18のうちの強調表示された体内画像P7,P8,P10,P14,P15,P18を新規の体内画像として容易に認識できる。
なお、表示部13は、表示制御部15aの制御に基づいて、かかる一覧表示ウィンドウ13aを表示する。かかる一覧表示ウィンドウ13aには、図5に示すように、一覧表示された複数の体内画像のうちのいずれかの時間位置を示すためのタイムバー13bおよびスライダ13cが表示される。タイムバー13bは、被検体1の体内画像群PGの全体的な時間位置を示すグラフィックバーである。スライダ13cは、かかるタイムバー13bに沿って移動して、一覧表示中の体内画像(図5においては体内画像P1〜P18)の中から選択された体内画像に対応するタイムバー13b上の時間位置を指し示す。
また、図5において、表示制御部15aは、一覧表示ウィンドウ13a内に一覧表示する体内画像の表示枚数を18枚に設定しているが、かかる一覧表示ウィンドウ13a内の体内画像の表示枚数は所望の枚数であればよく、特に18枚に限定されない。なお、図5では、一覧表示対象である複数の体内画像P1〜P21のうち、体内画像P19〜P21が表示されていないが、表示部13は、画像のスクロール操作、スライダ13cの移動操作または表示枚数の設定変更等によって残りの体内画像P19〜P21を表示可能である。
一方、この実施の形態1にかかる画像表示装置4は、上述した閾値Th1から閾値Th2への変更に例示されるように画像抽出条件を階層的に増加させて体内画像を一覧表示し直していたが、これに限らず、階層的に画像抽出条件を減少させて体内画像を一覧表示し直すこともできる。
例えば、抽出条件設定部15cが閾値Th2から閾値Th1に画像抽出条件を階層的に変更した場合、画像抽出部15bは、変更後の閾値Th1に基づいて体内画像群PGの中から体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21を抽出する。この場合、表示制御部15aは、変更前の閾値Th2に対応して抽出されていた複数の体内画像P1〜P21のうち、変更後の画像抽出条件と合致しない体内画像P7,P8,P10,P14,P15,P18を一覧表示対象から除外する。そして、表示制御部15aは、画像抽出条件の変更後に画像抽出部15によって抽出された体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21を一覧表示するように表示部13を制御する。なお、これら複数の体内画像P1〜P6,P9,P11〜P13,P16,P17,P19〜P21の中には、画像抽出条件の変更後に新規に抽出された体内画像が含まれないため、表示制御部15aは、表示部13に体内画像の強調表示を行わせない。
以上、説明したように、本発明の実施の形態1では、取得した被検体の体内画像群の中から画像抽出条件に基づいて抽出した複数の体内画像を表示部に一覧表示し、この画像抽出条件を階層的に変更した場合、この変更後の画像抽出条件に基づいて体内画像群の中から一覧表示対象の体内画像を抽出し直し、これら抽出し直した複数の体内画像のうち、この変更後の画像抽出条件に対応して新規に抽出された新規の体内画像を強調表示して、変更前の画像抽出条件に対応して既に抽出された既存の体内画像と新規の体内画像とを異なる表示態様にしつつ、これら複数の体内画像を一覧表示するように構成した。このため、画面に一覧表示された複数の体内画像のうちの新規の体内画像と既存の体内画像とを視覚的に容易に識別することができる。これによって、これら複数の体内画像のうちの既に観察済みの体内画像を意図せずに繰り返し観察するという事態を防止でき、この結果、画面に一覧表示した各体内画像の観察時の労力を軽減できるとともに、短時間に効率よく体内画像を観察可能な画像表示装置を実現することができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、一覧表示対象である複数の体内画像のうち、変更後の画像抽出条件に対応して新規に抽出された新規の体内画像を強調表示して、かかる新規の体内画像と既存の体内画像とを異なる表示態様にしていたが、この実施の形態2では、かかる変更後の画像抽出条件に対応する新規の体内画像を既存の体内画像に比して大きいサイズで表示して、一覧表示対象である複数の体内画像のうちの新規の体内画像と既存の体内画像とを異なる表示態様にしている。
図6は、本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。図6に示すように、この実施の形態2にかかる画像表示装置24は、上述した実施の形態1にかかる画像表示装置4の制御部15に代えて制御部25を備える。この制御部25は、上述した実施の形態1にかかる画像表示装置4の表示制御部15aに代えて表示制御部25aを備える。なお、この実施の形態2にかかる被検体内情報取得システムは、上述した実施の形態1にかかる被検体内情報取得システム(図1参照)の画像表示装置4に代えて画像表示装置24を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部25は、上述したように、上述した実施の形態1にかかる画像表示装置4の表示制御部15aに代えて表示制御部25aを備える。制御部25は、かかる表示制御部25aの機能以外、上述した実施の形態1における制御部15と同様の機能を有する。
表示制御部25aは、抽出条件設定部15cが画像抽出条件を階層的に変更した場合、画像抽出条件の変更後に新規に抽出された新規の体内画像の表示サイズを、画像抽出条件の変更前に既に抽出された既存の体内画像に比して大きくして、表示部13に複数の体内画像を一覧表示させる。この場合、表示制御部25aは、変更後の画像抽出条件に対応して画像抽出部15bが抽出した複数の体内画像(すなわち一覧表示対象の体内画像)のうち、新規の体内画像を通常サイズで表示するとともに既存の体内画像を縮小して表示するように表示部13を制御する。これによって、表示制御部25aは、これら複数の体内画像のうちの新規の体内画像の表示サイズを既存の体内画像に比して大きくし、この結果、かかる新規の体内画像と既存の体内画像とを異なる表示態様にする。なお、かかる表示制御部25aは、このように新規の体内画像を既存の体内画像に比して大きな表示サイズで表示部13に表示させる機能以外、上述した実施の形態1にかかる画像表示装置4の表示制御部15aと同様の機能を有する。
つぎに、本発明の実施の形態2にかかる画像表示装置24の動作について説明する。図7は、本発明の実施の形態2にかかる画像表示装置による体内画像の一覧表示態様を例示する模式図である。なお、図7には、画像抽出条件の変更前後において一覧表示ウィンドウ13aに一覧表示される体内画像の一覧表示態様の遷移の一例が図示されている。
この実施の形態2にかかる画像表示装置24は、変更後の画像抽出条件に基づいて抽出し直した複数の体内画像のうちの新規の体内画像と既存の体内画像とを異なる表示態様にする際の動作以外、上述した実施の形態1にかかる画像表示装置4と同様に動作する。すなわち、この画像表示装置24の制御部25は、図3に示したステップS101〜S108のうちのステップS107において実施の形態1の場合と異なる処理手順を実行する。なお、制御部25は、残りのステップS101〜S106およびステップS108において、実施の形態1の場合と同様の処理手順を実行する。以下では、図7を参照しつつ、ステップS107における画像表示装置24の動作を説明する。
上述したステップS107において、制御部25は、変更後の画像抽出条件に対応して新規に抽出した新規の体内画像の表示サイズを画像抽出条件の変更前における既存の体内画像に比して大きくして、表示部13に体内画像を一覧表示させる。この場合、表示制御部25aは、上述したように画像抽出部15bが変更後の画像抽出条件に基づいて抽出し直した複数の体内画像を、予め設定した表示枚数ずつ一覧表示するように表示部13を制御する。これと同時に、表示制御部25aは、これら抽出し直した複数の体内画像のうち、この変更後の画像抽出条件に対応して新規に抽出された体内画像を通常サイズで表示するとともに、変更前の画像抽出条件に対応して既に抽出された既存の体内画像を縮小表示するように表示部13を制御する。なお、かかる表示制御部25aは、実施の形態1における表示制御部15aと同様に画像抽出条件の範囲をもとに、これら複数の体内画像のうちの新規の体内画像と既存の体内画像とを判別する。
一方、この実施の形態2にかかる画像表示装置24の表示部13は、実施の形態1の場合と同様に体内画像の一覧表示ウィンドウ13aを表示する。画像抽出条件の変更前において、表示部13は、表示制御部25aの制御に基づき、この一覧表示ウィンドウ13a内に、変更前の画像抽出条件によって抽出された複数の体内画像のうちの体内画像P1,P2,P5,P6,P8〜P10,P13〜P15,P17〜P24を一覧表示する(図7参照)。なお、表示部13は、画像のスクロール操作、スライダ13cの移動操作または表示枚数の設定変更等によって、これら複数の体内画像のうちの残りの体内画像を表示可能である。
ここで、画像抽出条件の変更後において、表示部13は、上述したステップS107における表示制御部25aの制御に基づき、一覧表示ウィンドウ13a内に、変更後の画像抽出条件によって抽出された複数の体内画像のうちの体内画像P1〜P42を一覧表示する(図7参照)。この場合、表示部13は、これら複数の体内画像P1〜P42のうち、表示制御部25aによって縮小表示するよう指示された体内画像、すなわち変更前の画像抽出条件に対応して既に抽出された既存の体内画像P1,P2,P5,P6,P8〜P10,P13〜P15,P17〜P31,P34〜P41を縮小表示する。これと同時に、表示部13は、これら複数の体内画像P1〜P42のうち、変更後の画像抽出条件に対応して新規に抽出された新規の体内画像P3,P4,P7,P11,P12,P16,P32,P33,P42を通常サイズで表示する。なお、表示部13は、画像のスクロール操作、スライダ13cの移動操作または表示枚数の設定変更等によって、これら複数の体内画像のうちの体内画像P1〜P42以外である残りの体内画像を表示可能である。
医師または看護師等のユーザは、かかる一覧表示ウィンドウ13aを視認することによって、一覧表示された複数の体内画像P1〜P42のうち、既存の体内画像に比して表示サイズの大きい体内画像P3,P4,P7,P11,P12,P16,P32,P33,P42を新規の体内画像として容易に認識できる。
なお、この実施の形態2にかかる画像表示装置24は、階層的に画像抽出条件を増加させて体内画像を一覧表示し直してもよいし、階層的に画像抽出条件を減少させて体内画像を一覧表示し直してもよい。いずれの場合であっても、表示制御部25aは、変更前の画像抽出条件に対応する既存の体内画像を縮小表示するように表示部13を制御し、これによって、一覧表示対象である複数の体内画像のうちの既存の体内画像の表示サイズを新規の体内画像(すなわち通常の表示サイズ)に比して小さくする。
また、表示制御部25aは、入力部12によって入力された指示情報に基づいて、かかる体内画像の縮小表示を解除するように表示部13を制御してもよい。この場合、表示部13は、かかる表示制御部25aの制御に基づき、既存の体内画像の表示サイズを通常の表示サイズに戻して体内画像を一覧表示する。
以上、説明したように、本発明の実施の形態2では、変更後の画像抽出条件に基づいて体内画像群の中から抽出し直した複数の体内画像のうち、この変更後の画像抽出条件に対応して新規に抽出された新規の体内画像を、変更前の画像抽出条件に対応して既に抽出された既存の体内画像に比して大きな表示サイズで表示しつつ、これら複数の体内画像を一覧表示するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、一覧表示対象である複数の体内画像のうちの新規の体内画像を一層明確に強調表示でき、この結果、より容易に観察前の体内画像と観察済みの体内画像とを識別可能な画像表示装置を実現することができる。
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。上述した実施の形態1では、変更後の画像抽出条件と合致しない体内画像を一覧表示対象から除外していたが、この実施の形態3では、一覧表示した複数の体内画像の画像間に、一覧表示対象から除外した体内画像の存在位置を示すマーク情報を表示するようにしている。
図8は、本発明の実施の形態3にかかる画像表示装置の一構成例を模式的に示すブロック図である。図8に示すように、この実施の形態3にかかる画像表示装置34は、上述した実施の形態1にかかる画像表示装置4の制御部15に代えて制御部35を備える。この制御部35は、上述した実施の形態1にかかる画像表示装置4の表示制御部15aに代えて表示制御部35aを備える。なお、この実施の形態3にかかる被検体内情報取得システムは、上述した実施の形態1にかかる被検体内情報取得システム(図1参照)の画像表示装置4に代えて画像表示装置34を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部35は、上述したように、上述した実施の形態1にかかる画像表示装置4の表示制御部15aに代えて表示制御部35aを備える。制御部35は、かかる表示制御部35aの機能以外、上述した実施の形態1における制御部15と同様の機能を有する。
表示制御部35aは、抽出条件設定部15cが画像抽出条件を階層的に変更した場合、この変更後の画像抽出条件と合致しないために一覧表示対象から除外された体内画像の存在位置を示すマーク情報を表示するように表示部13を制御する。具体的には、上述した画像抽出部15bは、変更前の画像抽出条件に基づいて既に抽出した複数の体内画像、すなわち前回の一覧表示対象である複数の体内画像のうち、変更後の画像抽出条件と合致しない体内画像を抽出し直さずに一覧表示対象から除外する。表示制御部35aは、かかる画像抽出部15bが変更後の画像抽出条件に対応して一覧表示対象から除外した体内画像の存在位置を示すマーク情報を、今回の一覧表示対象である複数の体内画像の画像間に表示するように表示部13を制御する。なお、かかる表示制御部35aは、このように除外対象の体内画像の存在位置を示すマーク情報を表示部13に表示させる機能以外、上述した実施の形態1にかかる画像表示装置4の表示制御部15aと同様の機能を有する。
つぎに、本発明の実施の形態3にかかる画像表示装置34の動作について説明する。図9は、本発明の実施の形態3にかかる画像表示装置による体内画像の一覧表示態様を例示する模式図である。なお、図9には、画像抽出条件の変更前後において一覧表示ウィンドウ13aに一覧表示される体内画像の一覧表示態様の遷移の一例が図示されている。
この実施の形態3にかかる画像表示装置34は、画像抽出条件を階層的に変更した場合に一覧表示対象から除外された体内画像の存在位置を表示部13にマーク表示させる際の動作以外、上述した実施の形態1にかかる画像表示装置4と同様に動作する。すなわち、この画像表示装置34の制御部35は、実施の形態1の場合と略同様に、図3に示したステップS101〜S108の処理手順を実行する。かかる制御部35は、ステップS106において一覧表示対象から除外された体内画像が存在する場合、上述したステップS107において、かかる除外対象の体内画像の存在位置を示すマーク情報を表示部13に表示させる。以下では、図9を参照しつつ、上述したステップS106において変更前の画像抽出条件に合致する複数の体内画像のうちの少なくとも一つが一覧表示対象から除外された後のステップS107における画像表示装置34の動作を説明する。
かかるステップS107において、制御部35は、変更後の画像抽出条件に対応して一覧表示対象から除外された除外対象の体内画像の存在位置を表示部13にマーク表示させつつ、表示部13に体内画像を一覧表示させる。この場合、表示制御部35aは、上述した実施の形態1の場合と同様に、新規の体内画像を強調表示して体内画像を一覧表示するように表示部13を制御する。一方、表示制御部35aは、今回の一覧表示対象である複数の体内画像の各フレーム番号と除外対象の体内画像のフレーム番号とをもとに、これら複数の体内画像における各画像間の中から、かかる除外対象の体内画像が存在する画像間を特定する。表示制御部35aは、このように特定した画像間に除外対象の体内画像の存在位置を示すマーク情報を表示するように表示部13を制御する。
なお、画像抽出条件の変更前後において一覧表示対象から体内画像が除外されなかった場合、すなわち、上述したステップS106において変更前の画像抽出条件に合致する体内画像が変更後の画像抽出条件に基づいて全て抽出された場合、制御部35は、上述した実施の形態1の場合と同様にステップS107の処理手順を実行する。
一方、この実施の形態3にかかる画像表示装置34の表示部13は、画像抽出条件の変更前において、表示制御部35aの制御に基づき、一覧表示ウィンドウ13a内に、変更前の画像抽出条件によって抽出された複数の体内画像のうちの体内画像P1〜P18を一覧表示する(図9参照)。なお、表示部13は、画像のスクロール操作、スライダ13cの移動操作または表示枚数の設定変更等によって、これら複数の体内画像のうちの体内画像P1〜P18以外である残りの体内画像を表示可能である。
ここで、画像抽出条件の変更後において、表示部13は、上述したステップS107における表示制御部35aの制御に基づき、一覧表示ウィンドウ13a内に、変更後の画像抽出条件によって抽出された複数の体内画像のうちの体内画像P1〜P9,P11〜P14,P16,P17,P19〜P21を一覧表示する(図9参照)。さらに、表示部13は、上述した画像抽出部15bが変更後の画像抽出条件に基づいて一覧表示対象から除外した体内画像P10,P15,P18に各々対応するマークM1,M2,M3を一覧表示ウィンドウ13a内に表示する。
詳細には、マークM1は、一覧表示対象から除外された体内画像P10の存在位置を示すマーク情報であり、この除外対象の体内画像P10が存在する体内画像P9と体内画像P11との画像間に表示される。マークM2は、一覧表示対象から除外された体内画像P15の存在位置を示すマーク情報であり、この除外対象の体内画像P15が存在する体内画像P14と体内画像P16との画像間に表示される。マークM3は、一覧表示対象から除外された体内画像P18の存在位置を示すマーク情報であり、この除外対象の体内画像P18が存在する体内画像P17と体内画像P19との画像間に表示される。
なお、表示部13は、画像のスクロール操作、スライダ13cの移動操作または表示枚数の設定変更等によって、これら複数の体内画像のうちの体内画像P1〜P9,P11〜P14,P16,P17,P19〜P21以外である残りの体内画像を表示可能である。
医師または看護師等のユーザは、かかる一覧表示ウィンドウ13aを視認することによって、一覧表示された複数の体内画像の中から新規の体内画像を容易に判別できるとともに、画像抽出条件の変更後に一覧表示対象から除外された体内画像が存在する旨と除外対象の体内画像の存在位置とを視覚的に認識することができる。
なお、この実施の形態3にかかる画像表示装置34は、階層的に画像抽出条件を増加させて体内画像を一覧表示し直してもよいし、階層的に画像抽出条件を減少させて体内画像を一覧表示し直してもよい。いずれの場合であっても、表示制御部35aは、変更後の画像抽出条件に基づいて一覧表示対象から除外された体内画像の存在位置を示すマーク情報を表示するように表示部13を制御する。
以上、説明したように、本発明の実施の形態3では、変更前の画像抽出条件に合致する複数の体内画像のうちの少なくとも一つを変更後の画像抽出条件に基づいて一覧表示対象から除外した場合、体内画像の一覧表示とともに、かかる除外対象の体内画像の存在位置を示すマーク情報を表示するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、画像抽出条件の変更後に一覧表示対象から除外された体内画像が存在する旨と除外対象の体内画像の存在位置とを視覚的に認識でき、この結果、画像抽出条件に応じた体内画像の一覧表示状態を容易に確認可能な画像表示装置を実現することができる。
(実施の形態4)
つぎに、本発明の実施の形態4について説明する。上述した実施の形態1では、変更後の画像抽出条件に対応して新規に抽出された新規の体内画像を強調表示していたが、この実施の形態4では、一覧表示対象の体内画像の画像抽出条件を画像毎に判定し、この判定した画像抽出条件のレベルを示すレベル情報を画像毎に表示するようにしている。
図10は、本発明の実施の形態4にかかる画像表示装置の一構成例を模式的に示すブロック図である。図10に示すように、この実施の形態4にかかる画像表示装置44は、上述した実施の形態1にかかる画像表示装置4の制御部15に代えて制御部45を備える。この制御部45は、上述した実施の形態1にかかる画像表示装置4の表示制御部15aに代えて表示制御部45aを備える。なお、この実施の形態4にかかる被検体内情報取得システムは、上述した実施の形態1にかかる被検体内情報取得システム(図1参照)の画像表示装置4に代えて画像表示装置44を備える。その他の構成は実施の形態1と同じであり、同一構成部分には同一符号を付している。
制御部45は、上述したように、上述した実施の形態1にかかる画像表示装置4の表示制御部15aに代えて表示制御部45aを備える。制御部45は、かかる表示制御部45aの機能以外、上述した実施の形態1における制御部15と同様の機能を有する。
表示制御部45aは、抽出条件設定部15cが画像抽出条件を階層的に変更した場合、画像抽出条件の変更後に抽出された各体内画像の画像抽出条件のレベルを判定し、この判定した画像抽出条件のレベル情報とともに、この抽出された各体内画像を表示部13に一覧表示させる。この場合、表示制御部45aは、予め設定した画像抽出条件の範囲と一覧表示対象の各体内画像の類似度とを比較し、この比較処理の結果をもとに、かかる各体内画像の画像抽出条件のレベルを判定する。表示制御部45aは、このように判定した画像抽出条件のレベルを示すレベル情報を一覧表示対象の体内画像毎に表示しつつ一覧表示対象の各体内画像を一覧表示するように表示部13を制御する。表示制御部45aは、かかる画像抽出条件のレベル情報を一覧表示対象の体内画像毎に表示部13に表示させることによって、この一覧表示対象の各体内画像における新規の体内画像と既存の体内画像とを異なる表示態様にする。なお、かかる表示制御部45aは、このように画像抽出条件のレベル情報を一覧表示対象の体内画像毎に判定して表示部13に表示させる機能以外、上述した実施の形態1にかかる画像表示装置4の表示制御部15aと同様の機能を有する。
つぎに、本発明の実施の形態4にかかる画像表示装置44の動作について説明する。図11は、本発明の実施の形態4にかかる画像表示装置による画像抽出条件のレベル情報および体内画像の一覧表示態様を例示する模式図である。なお、図11には、一覧表示対象である複数の体内画像とともに、これら複数の体内画像の体内画像毎に画像抽出条件のレベル情報を一覧表示した状態の一覧表示ウィンドウ13aが図示されている。
この実施の形態4にかかる画像表示装置44は、一覧表示対象の体内画像毎に画像抽出条件のレベル情報を表示する際の動作以外、上述した実施の形態1にかかる画像表示装置4と同様に動作する。すなわち、この画像表示装置44の制御部45は、図3に示したステップS101〜S108のうちのステップS107において実施の形態1の場合と異なる処理手順を実行する。なお、制御部45は、残りのステップS101〜S106およびステップS108において、実施の形態1の場合と同様の処理手順を実行する。以下では、図11を参照しつつ、ステップS107における画像表示装置44の動作を説明する。
上述したステップS107において、制御部45は、変更後の画像抽出条件に対応して抽出した体内画像毎に画像抽出条件のレベル情報を付加して、表示部13に体内画像を一覧表示させる。この場合、表示制御部45aは、上述したように画像抽出部15bが変更後の画像抽出条件に基づいて抽出し直した複数の体内画像を、予め設定した表示枚数ずつ一覧表示するように表示部13を制御する。また、表示制御部45aは、これら複数の体内画像の各々について画像抽出条件のレベルを判定し、体内画像毎に判定した画像抽出条件の各レベル情報をこれら複数の体内画像の各々に付加した態様で表示するように表示部13を制御する。
詳細には、表示制御部45aは、上述した抽出条件設定部15cによって設定される画像抽出条件の階層に対応して、かかる画像抽出条件の範囲を多段階に設定する。例えば、表示制御部45aは、上述した抽出条件設定部15cによって階層的に設定される画像抽出条件としての閾値Th11〜Th15をもとに、5段階の画像抽出条件の範囲W1〜W5を設定する。ここで、かかる閾値Th11〜Th15は、上述した画像処理部15dが算出する体内画像の類似度に関する閾値であり、その大小関係は、Th15<Th14<Th13<Th12<Th11である。表示制御部45aは、かかる画像抽出条件としての閾値Th11〜Th15をもとに5段階の画像抽出条件の範囲W1〜W5を設定する。
具体的には、表示制御部45aは、体内画像の画像抽出レベルのうちの最も低いレベル1に対応する画像抽出条件の範囲として、閾値Th12を超過し且つ閾値Th11以下である画像抽出条件の範囲W1を設定する。表示制御部45aは、このレベル1に比して高いレベル2に対応する画像抽出条件の範囲として、閾値Th13を超過し且つ閾値Th12以下である画像抽出条件の範囲W2を設定する。表示制御部45aは、このレベル2に比して高いレベル3に対応する画像抽出条件の範囲として、閾値Th14を超過し且つ閾値Th13以下である画像抽出条件の範囲W3を設定する。表示制御部45aは、このレベル3に比して高いレベル4に対応する画像抽出条件の範囲として、閾値Th15を超過し且つ閾値Th14以下である画像抽出条件の範囲W4を設定する。表示制御部45aは、このレベル4に比して高いレベル5に対応する画像抽出条件の範囲として、閾値Th15以下である画像抽出条件の範囲W5を設定する。
ここで、表示制御部45aは、上述したように画像抽出部15bが変更後の画像抽出条件に基づいて抽出し直した複数の体内画像の各々について、画像抽出条件の範囲W1〜W5と体内画像の類似度とを比較して、これら複数の体内画像の体内画像毎に画像抽出条件のレベルを判定する。具体的には、表示制御部45aは、体内画像の類似度が画像抽出条件の範囲W1内である場合、この体内画像の画像抽出条件のレベルをレベル1と判定する。また、表示制御部45aは、体内画像の類似度が画像抽出条件の範囲W2内である場合、この体内画像の画像抽出条件のレベルをレベル2と判定し、体内画像の類似度が画像抽出条件の範囲W3内である場合、この体内画像の画像抽出条件のレベルをレベル3と判定する。また、表示制御部45aは、体内画像の類似度が画像抽出条件の範囲W4内である場合、この体内画像の画像抽出条件のレベルをレベル4と判定し、体内画像の類似度が画像抽出条件の範囲W5内である場合、この体内画像の画像抽出条件のレベルをレベル5と判定する。
表示制御部45aは、上述したように判定した画像抽出条件のレベルを示すレベル情報を一覧表示対象の体内画像毎に付加して表示するように表示部13を制御する。なお、かかるレベル情報は、例えば数値情報によって画像抽出条件のレベルを示すものであり、表示制御部45aの制御に基づいて一覧表示対象の各体内画像に重畳される。
一方、この実施の形態4にかかる画像表示装置44の表示部13は、上述した表示制御部45aの制御に基づき、一覧表示ウィンドウ13a内に、変更後の画像抽出条件によって抽出された複数の体内画像のうちの体内画像P1〜P18を一覧表示する(図11参照)。なお、表示部13は、画像のスクロール操作、スライダ13cの移動操作または表示枚数の設定変更等によって、これら複数の体内画像のうちの体内画像P1〜P18以外である残りの体内画像を表示可能である。
さらに、表示部13は、上述した表示制御部25aの制御に基づき、一覧表示ウィンドウ13a内に、これら複数の体内画像P1〜P18とともに画像抽出条件のレベル情報A1〜A18を表示する。この場合、表示部13は、図11に示すように、一覧表示対象の体内画像P1〜P18の辺部近傍にレベル情報A1〜A18を各々重畳して表示する。なお、かかるレベル情報A1〜A18は、体内画像P1〜P18の画像抽出条件のレベルを数値情報によって各々示す。例えば、体内画像P1に付加されたレベル情報A1は、この体内画像P1の画像抽出条件のレベルが「レベル1」である旨を示し、体内画像P9に付加されたレベル情報A9は、この体内画像P9の画像抽出条件のレベルが「レベル5」である旨を示す。
表示部13は、このようにレベル情報A1〜A18を体内画像P1〜P18に付加して表示することによって、画像抽出条件のレベル別に異なる表示態様で体内画像を一覧表示する。例えば、画像抽出条件が閾値Th11に変更された場合、表示部13は、この変更後の画像抽出条件に対応する新規の体内画像P1,P4,P6,P11,P12,P13,P16,P17に「レベル1」を示すレベル情報A1,A4,A6,A11,A12,A13,A16,A17を各々付加して表示する。この結果、かかる新規の体内画像P1,P4,P6,P11,P12,P13,P16,P17は、レベル1以外を示すレベル情報が付加された既存の体内画像P2,P3,P5,P7,P8,P10,P14,P15,P18と異なる表示態様になる。
医師または看護師等のユーザは、かかる一覧表示ウィンドウ13aを視認することによって、一覧表示された複数の体内画像P1〜P18のうちの新規の体内画像と既存の体内画像とを容易に判別できるとともに、これら複数の体内画像P1〜P18の各画像抽出条件のレベルを容易に確認することができる。この結果、ユーザは、体内画像の観察に適した画像抽出条件のレベルを容易に知ることができ、これに基づいて、体内画像の観察に適したレベルの画像抽出条件を画像表示装置44に容易に設定することができる。
なお、この実施の形態4にかかる画像表示装置44は、階層的に画像抽出条件を増加させて体内画像を一覧表示し直してもよいし、階層的に画像抽出条件を減少させて体内画像を一覧表示し直してもよい。いずれの場合であっても、表示制御部45aは、一覧表示対象の体内画像毎に画像抽出条件のレベルを判定し、かかる画像抽出条件のレベル情報を一覧表示対象の各体内画像に付加して表示部13に体内画像を一覧表示させる。
また、表示制御部45aは、上述したステップS103においても、一覧表示対象の各体内画像とともに画像抽出条件のレベル情報を表示するように表示部13を制御してもよい。すなわち、表示制御部45aは、画像抽出条件の変更前後によらず、一覧表示対象の体内画像毎に画像抽出条件のレベルを判定し、各体内画像の一覧表示とともに、かかる画像抽出条件のレベル情報を一覧表示対象の各体内画像に付加して表示するように表示部13を制御してもよい。
以上、説明したように、本発明の実施の形態4では、一覧表示対象として抽出された複数の体内画像の各々について画像抽出条件のレベルを判定し、これら複数の体内画像を一覧表示するとともに、かかる画像抽出条件のレベル情報を体内画像毎に付加して表示するようにし、その他を実施の形態1と同様に構成した。このため、上述した実施の形態1の場合と同様の作用効果を享受するとともに、一覧表示された各体内画像の画像抽出条件のレベルを容易に視認することができ、この結果、体内画像の観察に適したレベルの画像抽出条件を容易に設定可能な画像表示装置を実現することができる。
なお、上述した実施の形態4では、一覧表示対象の各体内画像に画像抽出条件のレベル情報を重畳表示していたが、これに限らず、画像抽出条件のレベル情報は、一覧表示対象の体内画像に対応付けられた態様で表示されていれば、体内画像に重畳されていなくてもよい。図12は、一覧表示対象の体内画像とともに表示される画像抽出条件のレベル情報の一変形例を示す模式図である。かかる画像抽出条件のレベル情報は、図12に示すレベル情報A1〜A18に例示されるように、一覧表示対象の体内画像の外側近傍に付加して表示されてもよい。
また、上述した実施の形態4では、数値情報によって画像抽出条件のレベルを示すレベル情報を体内画像に付加していたが、これに限らず、かかる画像抽出条件のレベル情報は、数値情報以外の情報によって画像抽出条件のレベルを示すものであってもよい。図13は、一覧表示対象の体内画像とともに表示される画像抽出条件のレベル情報の別の変形例を示す模式図である。かかる画像抽出条件のレベル情報は、図13に示すレベル情報A1〜A18に例示されるように、画像抽出条件のレベル毎に異なる模様または色のマーク情報であってもよく、このマーク情報の色または模様等の表示態様によって画像抽出条件のレベルを示してもよい。
さらに、上述した実施の形態1〜4では、一覧表示対象の体内画像を抽出するための画像抽出条件として体内画像の類似度に関する閾値を変更可能に設定していたが、これに限らず、かかる画像抽出条件は、階層的に変更可能なものであれば、体内画像の類似度の閾値でなくてもよい。具体的には、かかる画像抽出条件は、体内画像内における赤色または緑色等の所定の色レベルに関する閾値であってもよいし、体内画像の平均色のレベルに関する閾値であってもよいし、体内画像内における所定の色の広がりレベル(所定の色の画素数)に関する閾値であってもよいし、時系列に沿って撮像された体内画像群から体内画像を間引くまたは抽出する際のフレーム間隔数であってもよいし、これらのうちの少なくとも2つを組み合わせたものであってもよい。
また、体内画像の画像抽出条件が、かかる体内画像の色レベルの閾値、平均色のレベルに関する閾値、色の広がりレベルに関する閾値およびフレーム間隔数のうちの少なくとも2つを組み合わせたものである場合、上述した抽出条件設定部15cは、入力部12の入力情報に基づいて、かかる組み合わせによる画像抽出条件を階層的に変更する。例えば、抽出条件設定部15cは、体内画像の類似度の閾値を一定に維持しつつ体内画像の赤色レベルの閾値を増減してもよいし、体内画像を間引く際のフレーム間隔数を一定に維持しつつ体内画像の類似度の閾値を増減してもよい。この場合、画像抽出部15bは、例えば、一定の閾値以下の類似度をもつ体内画像を複数抽出し、この抽出した複数の体内画像の中から、この増減された閾値以下の赤色レベルをもつ体内画像をさらに抽出する。または、画像抽出部15bは、例えば、体内画像群の中から一定間隔で体内画像を間引き、この体内画像の間引き処理がなされた複数の体内画像の中から、この増減された閾値以下の類似度をもつ体内画像をさらに抽出する。
一方、上述した実施の形態1では、一覧表示対象である複数の体内画像のうちの新規の体内画像の外枠を太くして、かかる新規の体内画像を強調表示していたが、これに限らず、かかる新規の体内画像は、体内画像の上下左右の4辺のうちの少なくとも一つを太くして強調表示されてもよいし、体内画像の上下左右の4辺のうちの少なくとも一つを所定の色にして強調表示してもよいし、これらを組み合わせた強調表示であってもよい。また、かかる新規の体内画像に所定のマークを付加して新規の体内画像を強調表示してもよいし、新規の体内画像を点滅させて強調表示してもよい。あるいは、新規の体内画像以外の残りの体内画像(すなわち既存の体内画像)の色をグレー色等の色に変更することによって、新規の体内画像を相対的に強調表示してもよい。
また、上述した実施の形態2では、一覧表示対象である複数の体内画像のうちの既存の体内画像を縮小表示して、新規の体内画像の表示サイズを既存の体内画像に比して大きくしていたが、これに限らず、これら複数の体内画像のうちの新規の体内画像を拡大表示してもよいし、新規の体内画像を拡大表示するとともに既存の体内画像を縮小表示してもよい。また、上述した表示制御部は、入力部12によって入力された情報に基づいて、かかる新規の体内画像の拡大率または既存の体内画像の縮小率を設定してもよい。
さらに、上述した実施の形態3では、一覧表示対象から除外された体内画像の存在位置を示すマーク情報を体内画像の一覧表示とともに表示していたが、さらに、かかるマーク情報に、除外された体内画像の枚数を示す数値情報を付加し、除外された体内画像の存在位置と枚数情報とを示すマーク情報を体内画像の画像間に表示してもよい。これによって、ユーザは、除外された体内画像の存在位置と除外枚数とを容易に視認することができる。
また、上述した実施の形態3では、実施の形態1の場合と同様に新規の体内画像を強調表示していたが、これに限らず、実施の形態3にかかる画像表示装置は、実施の形態2の場合と同様に新規の体内画像の表示サイズを既存の体内画像に比して大きくしてもよいし、実施の形態4の場合と同様に、画像抽出条件のレベル情報を体内画像毎に付加して表示してもよい。すなわち、本発明にかかる画像表示装置は、上述した実施の形態2と実施の形態3とを組み合わせたものであってもよいし、上述した実施の形態3と実施の形態4とを組み合わせたものであってもよい。
本発明の実施の形態1にかかる画像表示装置を備えた被検体内情報取得システムの一構成例を示す模式図である。 本発明の実施の形態1にかかる画像表示装置の一構成例を模式的に示すブロック図である。 複数の体内画像を一覧表示する際の画像表示装置の処理手順を例示するフローチャートである。 階層的に変更可能な画像抽出条件に対応して一覧表示対象である複数の体内画像を抽出する際の画像表示装置の動作を説明するための模式図である。 本発明の実施の形態1にかかる画像表示装置による体内画像の一覧表示態様を例示する模式図である。 本発明の実施の形態2にかかる画像表示装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態2にかかる画像表示装置による体内画像の一覧表示態様を例示する模式図である。 本発明の実施の形態3にかかる画像表示装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態3にかかる画像表示装置による体内画像の一覧表示態様を例示する模式図である。 本発明の実施の形態4にかかる画像表示装置の一構成例を模式的に示すブロック図である。 本発明の実施の形態4にかかる画像表示装置による画像抽出条件のレベル情報および体内画像の一覧表示態様を例示する模式図である。 一覧表示対象の体内画像とともに表示される画像抽出条件のレベル情報の一変形例を示す模式図である。 一覧表示対象の体内画像とともに表示される画像抽出条件のレベル情報の別の変形例を示す模式図である。
符号の説明
1 被検体
2 カプセル型内視鏡
3 受信装置
3a〜3h 受信アンテナ
4,24,34,44 画像表示装置
5 記録媒体
11 リーダライタ
12 入力部
13 表示部
13a 一覧表示ウィンドウ
13b タイムバー
13c スライダ
14 記憶部
14a 体内画像フォルダ
14b 抽出画像フォルダ
15,25,35,45 制御部
15a,25a,35a,45a 表示制御部
15b 画像抽出部
15c 抽出条件設定部
15d 画像処理部
A1〜A18 レベル情報
M1〜M3 マーク
P1〜P42 体内画像
PG 体内画像群

Claims (18)

  1. 時系列に沿って撮像した一連の画像を取得する画像取得部と、
    階層的に変更可能な画像抽出条件を設定する抽出条件設定部と、
    前記抽出条件設定部が設定した前記画像抽出条件に対応して、前記一連の画像の中から複数の画像を抽出する画像抽出部と、
    前記画像抽出部が抽出した前記複数の画像を一覧表示する表示部と、
    前記抽出条件設定部が前記画像抽出条件を階層的に変更した場合、前記画像抽出部が変更後の前記画像抽出条件に対応して抽出した前記複数の画像のうち、変更後の前記画像抽出条件に対応して新規に抽出された新規画像を、変更前の前記画像抽出条件に対応して既に抽出された既存画像と異なる表示態様で表示するように前記表示部を制御する表示制御部と、
    を備えたことを特徴とする画像表示装置。
  2. 前記表示制御部は、変更後の前記画像抽出条件に対応して新規に抽出された前記新規画像を強調表示するように前記表示部を制御することを特徴とする請求項1に記載の画像表示装置。
  3. 前記表示制御部は、前記既存画像に比して前記新規画像を大きく表示して前記新規画像を強調表示するように前記表示部を制御することを特徴とする請求項2に記載の画像表示装置。
  4. 前記表示制御部は、前記複数の画像に含まれる各画像の画像抽出条件のレベルを判定し、この判定した前記レベルを示すレベル情報を前記各画像に付加して前記新規画像と前記既存画像とを異なる表示態様にするように前記表示部を制御することを特徴とする請求項1に記載の画像表示装置。
  5. 前記表示制御部は、変更後の前記画像抽出条件に対応して一覧表示対象から除外された画像の存在位置を示すマーク情報を表示するように前記表示部を制御することを特徴とする請求項1〜4いずれか一つに記載の画像表示装置。
  6. 前記表示部は、一覧表示する前記複数の画像の画像間に前記マーク情報を表示することを特徴とする請求項5に記載の画像表示装置。
  7. 時系列に沿って撮像した一連の画像の中から一覧表示対象である複数の体内画像を抽出するための画像抽出条件を階層的に変更する抽出条件変更ステップと、
    前記抽出条件変更ステップによる変更後の前記画像抽出条件をもとに、前記一連の画像の中から一覧表示対象である複数の体内画像を抽出し直す画像抽出ステップと、
    前記画像抽出ステップによって抽出し直した前記複数の体内画像のうち、変更後の前記画像抽出条件に対応して新規に抽出した新規画像を、変更前の前記画像抽出条件に対応して既に抽出した既存画像と異なる表示態様にして、前記複数の体内画像を一覧表示する一覧表示ステップと、
    を含むことを特徴とする画像表示方法。
  8. 前記一覧表示ステップは、変更後の前記画像抽出条件に対応して新規に抽出した前記新規画像を強調表示することを特徴とする請求項7に記載の画像表示方法。
  9. 前記一覧表示ステップは、前記既存画像に比して前記新規画像を大きく表示して前記新規画像を強調表示することを特徴とする請求項8に記載の画像表示方法。
  10. 前記一覧表示ステップは、前記複数の画像に含まれる各画像の画像抽出条件のレベルを判定し、この判定した前記レベルを示すレベル情報を前記各画像に付加して前記新規画像と前記既存画像とを異なる表示態様にすることを特徴とする請求項7に記載の画像表示方法。
  11. 前記一覧表示ステップは、変更後の前記画像抽出条件に対応して一覧表示対象から除外された画像の存在位置を示すマーク情報を表示することを特徴とする請求項7〜10いずれか一つに記載の画像表示方法。
  12. 前記一覧表示ステップは、前記複数の画像の画像間に前記マーク情報を表示することを特徴とする請求項11に記載の画像表示方法。
  13. 時系列に沿って撮像した一連の画像の中から一覧表示対象である複数の体内画像を抽出するための画像抽出条件を階層的に変更する抽出条件変更手順と、
    前記抽出条件変更手順による変更後の前記画像抽出条件をもとに、前記一連の画像の中から一覧表示対象である複数の体内画像を抽出し直す画像抽出手順と、
    前記画像抽出手順によって抽出し直した前記複数の体内画像のうち、変更後の前記画像抽出条件に対応して新規に抽出した新規画像を、変更前の前記画像抽出条件に対応して既に抽出した既存画像と異なる表示態様にして、前記複数の体内画像を一覧表示する一覧表示手順と、
    をコンピュータに実行させることを特徴とする画像表示プログラム。
  14. 前記一覧表示手順は、変更後の前記画像抽出条件に対応して新規に抽出した前記新規画像を強調表示することを特徴とする請求項13に記載の画像表示プログラム。
  15. 前記一覧表示手順は、前記既存画像に比して前記新規画像を大きく表示して前記新規画像を強調表示することを特徴とする請求項14に記載の画像表示プログラム。
  16. 前記一覧表示手順は、前記複数の画像に含まれる各画像の画像抽出条件のレベルを判定し、この判定した前記レベルを示すレベル情報を前記各画像に付加して前記新規画像と前記既存画像とを異なる表示態様にすることを特徴とする請求項13に記載の画像表示プログラム。
  17. 前記一覧表示手順は、変更後の前記画像抽出条件に対応して一覧表示対象から除外された画像の存在位置を示すマーク情報を表示することを特徴とする請求項13〜16いずれか一つに記載の画像表示プログラム。
  18. 前記一覧表示手順は、前記複数の画像の画像間に前記マーク情報を表示することを特徴とする請求項17に記載の画像表示プログラム。
JP2008255348A 2008-09-30 2008-09-30 画像表示装置、画像表示方法、および画像表示プログラム Expired - Fee Related JP5215105B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008255348A JP5215105B2 (ja) 2008-09-30 2008-09-30 画像表示装置、画像表示方法、および画像表示プログラム
CN2009101796101A CN101711662B (zh) 2008-09-30 2009-09-29 图像显示装置和图像显示方法
US12/569,167 US20100083178A1 (en) 2008-09-30 2009-09-29 Image display apparatus, image display method, and computer program product
EP09012427A EP2172902B1 (en) 2008-09-30 2009-09-30 Image display apparatus, image display method, and image display program
AT09012427T ATE534102T1 (de) 2008-09-30 2009-09-30 Bildanzeigevorrichtung, bildanzeigeverfahren und bildanzeigeprogramm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008255348A JP5215105B2 (ja) 2008-09-30 2008-09-30 画像表示装置、画像表示方法、および画像表示プログラム

Publications (2)

Publication Number Publication Date
JP2010082241A true JP2010082241A (ja) 2010-04-15
JP5215105B2 JP5215105B2 (ja) 2013-06-19

Family

ID=41683327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008255348A Expired - Fee Related JP5215105B2 (ja) 2008-09-30 2008-09-30 画像表示装置、画像表示方法、および画像表示プログラム

Country Status (5)

Country Link
US (1) US20100083178A1 (ja)
EP (1) EP2172902B1 (ja)
JP (1) JP5215105B2 (ja)
CN (1) CN101711662B (ja)
AT (1) ATE534102T1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039171A1 (ja) 2010-09-24 2012-03-29 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
JP2012249936A (ja) * 2011-06-06 2012-12-20 Toshiba Corp 医用画像処理システム
JP2013017812A (ja) * 2011-06-14 2013-01-31 Toshiba Corp 医用画像表示装置およびプログラム
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
WO2014061554A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2022195725A1 (ja) * 2021-03-16 2022-09-22 オリンパスメディカルシステムズ株式会社 情報処理装置および画像表示方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
US20140019879A1 (en) * 2013-02-01 2014-01-16 Concurix Corporation Dynamic Visualization of Message Passing Computation
US8990777B2 (en) 2013-05-21 2015-03-24 Concurix Corporation Interactive graph for navigating and monitoring execution of application code
US9734040B2 (en) 2013-05-21 2017-08-15 Microsoft Technology Licensing, Llc Animated highlights in a graph representing an application
US9280841B2 (en) 2013-07-24 2016-03-08 Microsoft Technology Licensing, Llc Event chain visualization of performance data
US9292415B2 (en) 2013-09-04 2016-03-22 Microsoft Technology Licensing, Llc Module specific tracing in a shared module environment
EP3069267A4 (en) 2013-11-13 2017-09-27 Microsoft Technology Licensing, LLC Software component recommendation based on multiple trace runs
US9911173B2 (en) * 2014-12-30 2018-03-06 Xiaomi Inc. Method and device for displaying images
CN104598534B (zh) * 2014-12-30 2018-04-06 小米科技有限责任公司 图片折叠方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006068488A (ja) * 2004-08-31 2006-03-16 Olympus Corp カプセル内視鏡
JP2007164298A (ja) * 2005-12-09 2007-06-28 Sony Corp データ表示装置、データ表示方法、データ表示プログラム及びグラフィカルユーザインタフェース
JP2007164297A (ja) * 2005-12-09 2007-06-28 Sony Corp データ表示装置、データ表示方法及びデータ表示プログラム
JP2008036028A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 画像表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3344528B2 (ja) * 1995-06-29 2002-11-11 インターナショナル・ビジネス・マシーンズ・コーポレーション ウィンドウの表示方法およびそのシステム
US6944830B2 (en) * 2000-12-21 2005-09-13 Xerox Corporation System and method for browsing hierarchically based node-link structures based on an estimated degree of interest
US7505062B2 (en) 2002-02-12 2009-03-17 Given Imaging Ltd. System and method for displaying an image stream
US6968511B1 (en) * 2002-03-07 2005-11-22 Microsoft Corporation Graphical user interface, data structure and associated method for cluster-based document management
JP2004013575A (ja) 2002-06-07 2004-01-15 Konica Minolta Holdings Inc 画像処理装置、画像処理方法、及びプログラム
WO2004103151A2 (en) * 2003-05-16 2004-12-02 Marc Shapiro Data entry system for an endoscopic examination
JP4885432B2 (ja) * 2004-08-18 2012-02-29 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US7676760B1 (en) * 2005-02-25 2010-03-09 Adobe Systems Incorporated Methods and apparatus for analysis of access logs
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP2007058605A (ja) * 2005-08-24 2007-03-08 Ricoh Co Ltd 文書管理システム
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
EP1883020B1 (en) * 2006-07-28 2013-05-22 Dassault Systèmes Method and system for navigating in a database of a computer system
US20090088964A1 (en) * 2007-09-28 2009-04-02 Dave Schaaf Map scrolling method and apparatus for navigation system for selectively displaying icons
JP5259374B2 (ja) * 2008-12-19 2013-08-07 富士フイルム株式会社 光構造観察装置及びその構造情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337596A (ja) * 2003-04-25 2004-12-02 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006068488A (ja) * 2004-08-31 2006-03-16 Olympus Corp カプセル内視鏡
JP2007164298A (ja) * 2005-12-09 2007-06-28 Sony Corp データ表示装置、データ表示方法、データ表示プログラム及びグラフィカルユーザインタフェース
JP2007164297A (ja) * 2005-12-09 2007-06-28 Sony Corp データ表示装置、データ表示方法及びデータ表示プログラム
JP2008036028A (ja) * 2006-08-03 2008-02-21 Olympus Medical Systems Corp 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6012062587; Hyunmo Kang et al: 'Visualization Methods for Personal Photo Collections: Browsing and Searching in the PhotoFinder' Multimedia and Expo, 2000. 2000 IEEE International Conference on Vol. 3, 2000, p1539 - 1542 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012039171A1 (ja) 2010-09-24 2012-03-29 オリンパスメディカルシステムズ株式会社 画像表示装置及びカプセル型内視鏡システム
EP2508116A4 (en) * 2010-09-24 2012-10-10 Olympus Medical Systems Corp IMAGE DISPLAY DEVICE, AND CAPSULE TYPE ENDOSCOPE SYSTEM
EP2508116A1 (en) * 2010-09-24 2012-10-10 Olympus Medical Systems Corp. Image-display device and capsule-type endoscope system
JP2012249936A (ja) * 2011-06-06 2012-12-20 Toshiba Corp 医用画像処理システム
JP2013017812A (ja) * 2011-06-14 2013-01-31 Toshiba Corp 医用画像表示装置およびプログラム
JP2013128702A (ja) * 2011-12-22 2013-07-04 Toshiba Corp 医用画像処理システム
WO2014061554A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2022195725A1 (ja) * 2021-03-16 2022-09-22 オリンパスメディカルシステムズ株式会社 情報処理装置および画像表示方法

Also Published As

Publication number Publication date
JP5215105B2 (ja) 2013-06-19
ATE534102T1 (de) 2011-12-15
EP2172902A2 (en) 2010-04-07
EP2172902A3 (en) 2010-12-15
CN101711662B (zh) 2012-04-11
US20100083178A1 (en) 2010-04-01
CN101711662A (zh) 2010-05-26
EP2172902B1 (en) 2011-11-16

Similar Documents

Publication Publication Date Title
JP5215105B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US8194096B2 (en) Image display apparatus
EP2316327B1 (en) Image display device, image display method, and image display program
US8502861B2 (en) Image display apparatus
JP5220705B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8900124B2 (en) Image display device
EP1787574B1 (en) Image display device, image display method, and image display program
JP4914680B2 (ja) 画像表示装置
EP2158835A1 (en) Image information display processing device
EP2156784A1 (en) Capsule endoscope display device
JP6217632B2 (ja) 撮像制御装置、記憶システムおよび記憶媒体
JP4891646B2 (ja) 画像表示装置
JP5231160B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP2007075158A (ja) 画像表示装置
JP5684300B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP4789961B2 (ja) 画像表示装置
JP4923096B2 (ja) 画像表示装置
JP4868965B2 (ja) 画像表示装置
JP4594834B2 (ja) 画像表示装置
JP2006061626A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2008062069A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2008023358A (ja) 画像表示装置、画像表示方法および画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130228

R151 Written notification of patent or utility model registration

Ref document number: 5215105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees