CN104640496A - 医疗装置 - Google Patents

医疗装置 Download PDF

Info

Publication number
CN104640496A
CN104640496A CN201480002430.5A CN201480002430A CN104640496A CN 104640496 A CN104640496 A CN 104640496A CN 201480002430 A CN201480002430 A CN 201480002430A CN 104640496 A CN104640496 A CN 104640496A
Authority
CN
China
Prior art keywords
mentioned
image
viewing area
characteristic information
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480002430.5A
Other languages
English (en)
Inventor
高桥和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Publication of CN104640496A publication Critical patent/CN104640496A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131—Accessories for endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)

Abstract

提供一种进行使用户容易直观地掌握拍摄了图像的被检体内的位置的显示的医疗装置。医疗装置(1)具备：特征信息计算部(141)，其计算表示各图像的特征的特征信息；图像分类部(143)，其将一系列图像根据图像间的类似度来分类为时间序列顺序的多个组；位置轴平均色条生成部(145)，其生成将特征信息按时间序列顺序配置于画面的规定区域内的位置轴平均色条；显示区域计算部(144)，其根据多个组的组数来计算位置轴平均色条中的、显示属于多个组各自的图像群的特征信息的每个组的显示区域；以及显示部(15)，其显示位置轴平均色条，其中，位置轴平均色条生成部(145)将属于多个组各自的图像群的特征信息配置于由显示区域计算部(144)计算出的每个组的显示区域。

Description

医疗装置
技术领域
本发明涉及一种显示由胶囊型内窥镜等医疗用图像获取装置获取到的图像的医疗装置。
背景技术
近年来，在内窥镜的领域中，已知使用被导入到患者等被检体内来对该被检体内进行拍摄的胶囊型内窥镜进行检查。胶囊型内窥镜是在形成为能够导入到被检体的消化管内大小的胶囊形状的壳体内内置了摄像功能、无线通信功能等的装置，将通过拍摄被检体内而生成的图像数据以无线方式依次发送到被检体外。将从胶囊型内窥镜以无线方式发送的一系列图像数据暂时蓄积在设置于被检体外的接收装置，从接收装置传送(下载)到工作站等图像处理装置。在图像处理装置中，对图像数据实施各种图像处理，由此，生成映现了被检体内的脏器等的一系列图像。
在此，使用了胶囊型内窥镜的一次检查为大约8小时，以及在此期间获取到的图像高达大约6万个。因此，在观察所有这些图像时非常花费时间。另外，在这些图像中，有时在连续多个图像中包含胶囊型内窥镜滞留而反复拍摄同一部位所得到的冗余的场景，按时间序列来观察所有这种场景时，效率差。因此，为了在短时间内高效率地观察一系列图像，提出了归纳场景的变化小的图像的归纳技术(例如，参照专利文献1)。
另外，在使用了胶囊型内窥镜的检查中，胶囊型内窥镜随着被检体的蠕动运动而移动，因此，通常，医生等用户无法控制其位置。因此，用户在仅观察由胶囊型内窥镜获取到的图像的情况下，难以掌握映现了被检体内的哪个区域或者小肠等脏器内的哪个区域。
因此，还开发出了显示表示由胶囊型内窥镜拍摄得到的图像的整体的摄像期间的条的技术(例如参照专利文献2)。该条是根据图像数据的颜色信息来检测各图像的平均色并以成为图像的摄像顺序的方式将该平均色配置于带状的区域而得到的，还被称为平均色条。在专利文献2中，显示能够在平均色条上移动的滑块，在画面中显示与滑块的位置对应的图像。在此，图像的摄像顺序(摄像个数)与摄像时刻(从摄像开始时起的经过时间)对应，因此，用户通过参照这种平均色条，能够大概掌握观察中的图像的摄像时刻。
专利文献1：日本特开2009-160298号公报
专利文献2：日本特开2004-337596号公报
发明内容
发明要解决的问题
然而，胶囊型内窥镜在被检体内并不是始终以固定的速度进行移动，因此通过平均色条表示的时间信息并不一定与胶囊型内窥镜的位置信息对应。因此，用户即使参照平均色条，也难以直观地掌握观察中的图像的在被检体内的摄像位置。
本发明是鉴于上述情形而完成的，目的在于提供一种进行使用户容易直观地掌握被检体内的图像的摄像位置的显示的医疗装置。
用于解决问题的方案
为了解决上述问题而达到目的，本发明所涉及的医疗装置在画面中显示沿时间序列获取到的一系列图像，其特征在于，具备：特征信息计算单元，其计算表示上述一系列图像内包含的各图像的特征的特征信息；分类单元，其将上述一系列图像根据图像间的类似度来分类为时间序列顺序的多个组；特征信息显示生成单元，其生成将上述特征信息按时间序列顺序配置于上述画面的规定的区域内的特征信息显示；显示区域计算单元，其根据上述多个组的组数来计算上述特征信息显示的显示区域中的、显示属于上述多个组各自的图像群的特征信息的每个组的显示区域；以及显示单元，其显示上述特征信息显示，其中，上述特征信息显示生成单元将属于上述多个组各自的图像群的特征信息按时间序列顺序配置于由上述显示区域计算单元计算出的上述每个组的显示区域。
上述医疗装置的特征在于，上述显示区域计算单元通过将上述特征信息显示的显示区域按照上述组数进行等分，来计算上述每个组的显示区域。
上述医疗装置的特征在于，上述显示区域计算单元根据属于上述每个组的图像的数量来计算该组的显示区域中的、显示属于该组的各图像的上述特征信息的每个图像的显示区域。
上述医疗装置的特征在于，上述显示区域计算单元通过将上述每个组的显示区域按照属于该组的图像的数量进行等分，来计算上述每个图像的显示区域，上述特征信息显示生成单元按时间序列顺序对由上述显示区域计算单元计算出的上述每个图像的显示区域配置属于该组的各图像的特征信息。
上述医疗装置的特征在于，上述特征信息显示生成单元将属于上述多个组各自的图像群的代表图像的特征信息配置于上述每个组的显示区域。
上述医疗装置的特征在于，上述特征信息显示生成单元将属于上述多个组各自的图像群的特征信息的代表值配置于上述每个组的显示区域。
上述医疗装置的特征在于，上述分类单元将上述一系列图像根据图像间变化量来分类为时间序列顺序的多个组。
上述医疗装置的特征在于，上述一系列图像是由被导入到被检体内并一边在该被检体内移动一边进行拍摄的胶囊型内窥镜获取到的一系列体内图像。
发明的效果
根据本发明，基于根据图像间的类似度进行分类所得到的时间序列顺序的多个组的组数，来计算特征信息显示中的每个组的显示区域，在该每个组的显示区域内配置属于该组的图像群的特征信息，因此特征信息显示大致成为与图像的场景变化、即摄像位置的变化对应的显示。因而，用户通过参照这种特征信息显示，能够直观且容易地掌握被检体内的图像的摄像位置。
附图说明
图1是表示本发明的实施方式所涉及的医疗装置的结构例的框图。
图2是表示在图1的显示部中显示的画面的一例的示意图。
图3是表示沿着时间序列获取到的一系列体内图像的示意图。
图4是说明时间轴平均色条的生成方法的示意图。
图5是表示被分类为时间序列顺序的多个组的体内图像群的示意图。
图6是说明位置轴平均色条的生成方法的示意图。
图7是说明位置轴平均色条的生成方法的示意图。
图8是表示应用图1示出的医疗装置的胶囊型内窥镜系统的结构例的示意图。
具体实施方式
以下，参照附图说明本发明的实施方式所涉及的医疗装置。此外，本发明并不限定于这些实施方式。另外，在各图的记载中，对相同的部分附加相同的附图标记。
(实施方式)
图1是表示本发明的实施方式所涉及的医疗装置的结构例的框图。如图1所示，本实施方式所涉及的医疗装置1例如由工作站、个人计算机等通用的计算机构成，具备输入部11、图像数据输入部12、存储部13、运算部14、显示部15以及控制部16。
输入部11包括键盘、各种按钮、各种开关等输入设备、鼠标、触摸面板等指示设备，将与用户针对这些设备进行的操作相应的信号输入到控制部16。
图像数据输入部12是能够与USB或者有线LAN、无线LAN等通信线路相连接的接口，包括USB端口、LAN端口等。图像数据输入部12经由与USB端口相连接的外部设备、各种线路来接收图像数据和关联信息，并存储到存储部13。
存储部13由快闪存储器、RAM、ROM等半导体存储器、HDD、MO、CD-R、DVD-R等记录介质以及用于驱动该记录介质的驱动装置等构成。存储部13存储用于使医疗装置1进行动作来执行各种功能的程序和各种信息、输入到图像数据输入部12的图像数据等。
运算部14例如由CPU等硬件构成，通过读取在存储部13中存储的程序，来对在存储部13中存储的图像数据实施白平衡处理、去马赛克、颜色变换、浓度变换(伽马变换等)、平滑化(噪声去除等)、锐化(边缘强调等)等图像处理而生成显示用的图像数据，并且执行用于生成包含图像的规定形式的观察画面的处理。此外，在后文中说明运算部14的详细结构和动作。
显示部15例如为CRT显示器、液晶显示器等显示装置，在控制部15的控制下显示包含图像的规定形式的观察画面、其它信息。
控制部16例如由CPU等硬件构成，通过读取在存储部13中存储的程序，来根据从输入部11输入的信号等对构成医疗装置1的各部进行指示、数据的传送等，统一地控制医疗装置1整体的动作。
图2是表示在显示部15中显示的观察画面的一例的示意图。该观察画面是显示由胶囊型内窥镜获取到的一系列体内图像的画面，该胶囊型内窥镜被导入到被检体内，一边在该被检体内移动一边以规定的周期(例如2帧/秒钟)进行拍摄。
如图2所示，观察画面D1包括：患者信息D11，其用于识别作为被检体的患者；检查信息D12，其用于识别对患者进行的检查；主显示区域D13，其再现通过检查获取到的一系列体内图像；再现操作按钮群D14，其在控制主显示区域D13内的体内图像的再现时使用；捕捉按钮D15，其在捕捉主显示区域D13内正在显示的体内图像时使用；作为带状的图形的时间轴平均色条D16，其沿着摄像时间轴配置有一系列体内图像的特征信息；作为带状的图形的位置轴平均色条D17，其根据图像的场景变化并按时间序列顺序配置有一系列体内图像的特征信息；以及捕捉图像显示区域D18，其将捕捉到的体内图像或者缩小图像以缩略图进行一览显示。
再现操作按钮群D14是在用户输入用于控制主显示区域D13内的体内图像的再现的指示时使用的按钮的集合。在该再现操作按钮群D14中例如包括开头按钮、逐帧播放按钮、暂停按钮、快进按钮、再现按钮、快退按钮、停止按钮等。
捕捉按钮D15是用户在输入用于捕捉在主显示区域D13中正在显示的体内图像的指示时使用的按钮。当通过使用输入部11对观察画面D1上的指针P1进行操作而点击捕捉按钮D15时，对与此时在主显示区域D13中显示的体内图像对应的图像数据附加用于识别为捕捉图像的标志。由此，登记捕捉图像。
时间轴平均色条D16是将作为体内图像的特征信息的平均色沿着摄像时间轴配置于带状的区域的特征信息显示。用户通过参照该时间轴平均色条D16，能在一系列体内图像中确认体内图像的平均色(特别是，红色的趋势)如何发生变化。
在时间轴平均色条D16中设置有滑块d16，该滑块d16示出与在主显示区域D13中正在显示的体内图像对应的时间轴平均色条D16上的位置。该滑块d16在主显示区域D13内进行体内图像的自动再现的期间，与显示中的体内图像的摄像时刻相应地在时间轴平均色条D16上移动。此外，在本申请中，摄像时刻是指从摄像开始(检查开始)时起的经过时间。用户通过参照滑块d16，能够掌握显示中的体内图像是何时拍摄得到的。另外，用户通过使用输入部11对观察画面D1上的指针P1进行操作来使滑块d16沿着时间轴平均色条D16移动，由此能够使与滑块d16的位置相应的摄像时刻的体内图像显示在主显示区域D13内。
位置轴平均色条D17是将作为体内图像的特征信息的平均色沿着时间序列顺序配置于带状的区域内的特征信息显示，根据体内图像的场景变化，按每个体内图像使平均色的显示区域的长度(带状的长边方向的长度)变化。更详细地说，针对胶囊型内窥镜滞留等而反复拍摄被检体内的同一部位而获取到的场景变化小的体内图像，将平均色的显示区域设定得短。相反，针对胶囊型内窥镜的移动速度快而场景变化大的体内图像，将平均色的显示区域设定得长。这样，位置轴平均色条D17的横轴与体内图像的场景变化的频率相关联。而且，体内图像的场景变化主要由胶囊型内窥镜的摄像位置的变化而产生，由此能够视为各体内图像的平均色的显示区域的长度与摄像位置的变化速度、即胶囊型内窥镜的移动速度对应。因而，可以说位置轴平均色条D17的横轴虚拟地表示被检体内的体内图像的摄像位置。
此外，在图2中，使用将与摄像开始时刻(00:00:00)对应的胶囊型内窥镜向被检体的导入位置(口)设为0％、将与摄像结束时刻(06:07:19)对应的胶囊型内窥镜的排出位置(肛门)设为100％的情况下的百分比来表示体内图像的摄像位置。用户通过参照这种位置轴平均色条D17，能够确认体内图像的平均色(特别是，红色的趋势)与被检体内的位置相应地如何变化。
在位置轴平均色条D17上设置有滑块d17，该滑块d17示出与在主显示区域D13中正在显示的体内图像对应的位置轴平均色条D17上的位置。该滑块d17也与滑块d16同样地，在主显示区域D13内进行体内图像的自动再现的期间，与显示中的体内图像相应地在位置轴平均色条D17上移动。用户通过参照滑块d17，能够大概掌握显示中的体内图像是在被检体内的哪个位置拍摄得到的。另外，用户通过使用输入部11对观察画面D1上的指针P1进行操作来使滑块d17沿着位置轴平均色条D17进行移动，由此能够使被检体内的期望位置处的体内图像显示在主显示区域D13内。
此外，上述滑块d16和滑块d17相互连动，当通过用户的操作使一方移动时，另一方也连动地移动。
捕捉图像显示区域D18是作为捕捉图像而登记的体内图像或者其缩小图像(以下称为缩略图像)按时间序列顺序进行一览显示的区域。在该捕捉图像显示区域D18内设置有在显示范围内滑动时使用的滑块D19。另外，也可以设置表示该捕捉图像显示区域D18内的缩略图像与时间轴平均色条D16或者位置轴平均色条D17上的位置的对应关系的连接线D20。
接着，说明运算部14的详细结构。如图1所示，运算部14具备：特征信息计算部141，其计算表示各图像的特征的特征信息；时间轴平均色条生成部142，其生成时间轴平均色条D16；图像分类部143，其将一系列图像根据图像间的类似度来分类为时间序列顺序的多个组；显示区域计算部144，其计算位置轴平均色条D17中的各图像的特征信息的显示区域；以及位置轴平均色条生成部145，其生成位置轴平均色条D17。
特征信息计算部141通过对在存储部13中存储的图像数据实施平均色计算处理、红色检测处理、病变检测处理、脏器检测处理这样的规定的图像处理，来计算各图像的特征信息。在本实施方式中，作为一例，将通过平均色计算处理计算出的平均色用作特征信息。
时间轴平均色条生成部142将由特征信息计算部141计算出的各图像的特征信息配置于图2示出的时间轴平均色条D16的显示区域中的、与该图像的摄像时刻相应的位置，由此生成时间轴平均色条D16。
图像分类部143将与在存储部13中存储的图像数据对应的一系列图像根据图像间的类似度来分类为时间序列顺序的多个组。
显示区域计算部144根据图像分类部143的图像的分类结果，来计算配置于图2示出的位置轴平均色条D17中的各图像的特征信息的显示区域。
位置轴平均色条生成部145是通过将各图像的特征信息配置于由显示区域计算部144计算出的显示区域来生成位置轴平均色条D17的特征信息显示生成单元。
接着，参照图3～图7说明运算部14的动作。以下，作为一例，说明针对使用以规定的周期T(帧/秒钟)进行拍摄的胶囊型内窥镜获取到的一系列体内图像的处理。
当使用胶囊型内窥镜沿着时间序列获取到的图像数据被输入到图像数据输入部12并被存储到存储部13时，运算部14通过对该图像数据实施规定的图像处理来生成显示用的图像数据。如图3所示，特征信息计算部141针对沿着时间序列获取到的一系列体内图像M1～Mk(k是图像的总个数)，作为特征信息，计算构成各体内图像Mi(i＝1～k)的像素的像素值的平均值(平均色Ci)。
接着，如图4所示，时间轴平均色条生成部142计算时间轴平均色条D16(参照图2)的显示区域R1内的每个图像的显示区域R11。详细地说，当将显示区域R1的长边方向的像素数设为x时，通过用该像素数x除以体内图像Mi的个数k，来针对各体内图像Mi分配均等长度(x/k个像素)的显示区域。
并且，时间轴平均色条生成部142从显示区域R1的端(例如左端)起，按时间序列顺序每x/k个像素配置一个体内图像Mi的平均色Ci。即，对于第i个体内图像Mi的平均色Ci，从时间轴平均色条D16的端起配置于第(x/k)×i个像素。这样，生成体内图像Mi的平均色Ci的显示位置与摄像时刻(i/T)对应的时间轴平均色条D16。
此外，在对使用胶囊型内窥镜获取到的体内图像进行处理的情况下，体内图像的个数k(例如6万个)变得比显示区域R1的像素数x(例如1000个像素)多。在这种情况下，对每个像素分配多个体内图像Mi的平均色，因此，实际上多个体内图像Mi的平均色Ci的平均值显示在该像素中。
另一方面，如图5所示，图像分类部143将一系列体内图像M1～Mk根据图像间的类似度来分类为时间序列顺序的多个组G1～Gm(m为总组数)。在对体内图像M1～Mk进行分类时，能够利用公知的图像归纳技术。以下，作为一例，说明在日本特开2009-160298号公报中公开的图像归纳技术。
首先，从作为图像归纳对象的一系列图像的各图像中提取至少一个特征区域。其结果，该图像被分割为多个局部区域。此外，还有时将图像整体作为特征区域而提取出来，在该情况下，还有可能图像不能被分割。接着，按每个局部区域，计算与比较对象的图像(例如按时间序列相邻的图像)之间的图像间变化量。而且，将每个局部区域的图像间变化量与根据特征区域的特征量按每个局部区域设定的阈值进行比较，使比较结果的值进行累加来计算各图像的合并变化量。通过将该合并变化量与规定的阈值进行比较，来提取出图像间的场景变化大的场景变化图像(归纳图像)。
图像分类部143利用这种图像归纳技术，从一系列体内图像M1～Mk中依次提取场景变化图像，将从某一场景变化图像至紧挨在下一场景变化图像之前的体内图像Mi为止的体内图像群分类为一个组Gj(j＝1～m)。而且，对各体内图像Mi的图像数据附加该体内图像Mi所属的组Gj的时间序列的顺序j、属于该组Gj的体内图像的个数nj以及该体内图像Mi在该组Gj中的时间序列的顺序等的信息，并存储到存储部13。
根据这种图像分类方法，在胶囊型内窥镜滞留或者缓慢移动的区间内，体内图像Mi的场景变化小，因此提取出的场景变化图像也少，其结果，很多体内图像属于一个组Gj。相反，在胶囊型内窥镜的移动快的区间内，体内图像Mi的场景变化大，因此提取出的场景变化图像也多，其结果是属于一个组Gj的体内图像的个数nj减少。
接着，如图6所示，显示区域计算部144根据对体内图像Mi进行分类得到的组数m，来计算位置轴平均色条D17的显示区域R2内的每个组的显示区域R21。具体地说，当将显示区域R2的长边方向的像素数设为x时，通过用该像素数x除以组数m，由此针对各组Gj分配均等长度(x/m个像素)的显示区域。
接着，如图7所示，显示区域计算部144根据属于各组Gj的体内图像的个数nj，来计算每个图像的显示区域R22。详细地说，用由x/m个像素构成的组Gj的显示区域R21除以体内图像的个数nj，来将均等的长度(x/(m×nj)个像素)的显示区域分配给属于该组Gj的各体内图像Mi。这样，每个图像的显示区域R22的长度与属于相同组Gi的体内图像的个数nj的倒数成正比。因而，例如组Gj和组Gj’那样，在所属的体内图像的个数不同的情况下(nj≠nj’)，每个图像的显示区域R22的长度也按每个组而不同(x/(m×nj)≠x/(m×nj’))。
位置轴平均色条生成部145从显示区域R2的端(例如左端)起按时间序列顺序每x/(m×nj)个像素配置一个体内图像Mi的平均色Ci。此外，与时间轴平均色条D16同样地，在对每个像素分配多个体内图像Mi的平均色的情况下，这些体内图像Mi的平均色Ci的平均值显示在该像素中。
在这种位置轴平均色条D17中，针对显示区域R2整体的每个图像的显示区域R22所占的比例(1/(m×nj))与场景变化程度、即摄像位置(胶囊型内窥镜的位置)的变化程度相应地变化。例如，在摄像位置的变化小的情况下，属于一个组的体内图像的个数nj相对多，因此上述比例变小。另一方面，在摄像位置的变化大的情况下，属于一个组的体内图像的个数nj相对少，因此上述比例变大。因而，通过在这种每个图像的显示区域R22内配置体内图像Mi的平均色Ci，各体内图像Mi的平均色Ci的显示位置与被检体内的摄像位置虚拟地相关联。
如上所述，根据本实施方式，利用根据类似度对一系列体内图像M1～Mk进行分类而得到的结果来计算各体内图像Mi的平均色Ci的显示区域，因此能够生成与体内图像Mi的场景变化、即摄像位置的变化相关联的位置轴平均色条D17。因而，用户通过参照位置轴平均色条D17，能够直观且容易地掌握被检体内的体内图像Mi的摄像位置。
另外，根据本实施方式，在位置轴平均色条D17上以百分比示出显示中的体内图像Mi的摄像位置，因此用户能够更直观地掌握显示中的体内图像Mi的摄像位置。
此外，在上述说明中，作为体内图像Mi的特征信息而计算出平均色，但是除此以外，也可以将通过红色检测处理、病变检测处理、脏器检测处理等得到的信息作为特征信息来使用。例如，将通过红色检测处理得到的红色信息作为特征信息而使用，由此用户能够直观且容易地掌握出血等病变部的位置。
另外，在上述说明中，在位置轴平均色条D17中配置了各体内图像Mi的特征信息，但是也可以对每个组的显示区域R21配置每个组的特征信息。具体地说，对由x/m个像素构成的每个组的显示区域R21配置属于各组Gj的体内图像群的代表图像(例如作为场景变化图像而检测出的体内图像)的特征信息。或者，也可以配置属于各组Gj的体内图像群的特征信息的代表值(例如平均值、最频值)。在这种情况下，能够使用于生成位置轴平均色条D17的运算处理简单。另外，用户能够大概掌握被检体内的特征信息(例如平均色)与被检体内的位置相应地如何变化。
图8是表示将上述实施方式所涉及的医疗装置应用于胶囊型内窥镜系统的情况下的系统结构例的示意图。图8示出的胶囊型内窥镜系统除了医疗装置1以外，还具备：胶囊型内窥镜2，其被导入到被检体6内，通过对该被检体6内进行拍摄来生成图像数据并以无线方式发送；以及接收装置3，其经由安装于被检体6的接收天线部件4来接收从胶囊型内窥镜2发送的图像数据。
胶囊型内窥镜2是在被检体6可吞咽大小的胶囊形状的壳体中内置了CCD等摄像元件、LED等照明元件、存储器、无线通信单元、其它各种部件的装置，通过对从摄像元件输出的摄像信号实施信号处理来生成图像数据，将该图像数据和关联信息(胶囊型内窥镜2的序列号等)以与无线信号叠加的方式发送。
接收装置3具备对从胶囊型内窥镜2发送的无线信号进行解调并实施规定的信号处理的信号处理部、用于存储图像数据的存储器、将图像数据发送到外部设备的数据发送部等。数据发送部为能够与USB或者有线LAN、无线LAN等通信线路连接的接口。
接收装置3经由具有多个(在图8中为8个)接收天线4a～4h的接收天线部件4来接收从胶囊型内窥镜2发送的无线信号，并通过对该无线信号进行解调来获取图像数据和关联信息。各接收天线4a～4h例如使用环形天线构成，配置于被检体6的体外表面上的规定位置(例如与作为胶囊型内窥镜2的通过路径的被检体6内的各脏器对应的位置)。
在图8示出的胶囊型内窥镜系统中，通过对与医疗装置1的USB端口相连接的托架3a设置接收装置3来将接收装置3与医疗装置1连接。通过将接收装置3与医疗装置1连接，来将在接收装置3的存储器中存储的图像数据传送至医疗装置1，来对上述一系列体内图像M1～Mk执行处理。
上述说明的本发明并不限定于实施方式，能够根据规格等进行各种变形，例如也可以从上述实施方式所示的全部结构要素排除几个结构要素来形成。根据上述记载可知在本发明的范围内能够进行其它各种实施方式是不言而喻的。
附图标记说明
1：医疗装置；2：胶囊型内窥镜；3：接收装置；3a：托架；4：接收天线部件；4a～4h：接收天线；6：被检体；11：输入部；12：图像数据输入部；13：存储部；14：运算部；15：显示部；16：控制部；141：特征信息计算部；142：时间轴平均色条生成部；143：图像分类部；144：显示区域计算部；145：位置轴平均色条生成部；D1：观察画面；D11：患者信息；D12：检查信息；D13：主显示区域；D14：再现操作按钮群；D15：捕捉按钮；d16、d17、D19：滑块；D16：时间轴平均色条；D17：位置轴平均色条；D18：捕捉图像显示区域；D20：连接线；P1：指针；R1、R2：显示区域；R11、R22：每个图像的显示区域；R21：每个组的显示区域。

Claims (8)

1.一种医疗装置，在画面中显示沿时间序列获取到的一系列图像，其特征在于，具备：
特征信息计算单元，其计算表示上述一系列图像内包含的各图像的特征的特征信息；
分类单元，其将上述一系列图像根据图像间的类似度来分类为时间序列顺序的多个组；
特征信息显示生成单元，其生成将上述特征信息按时间序列顺序配置于上述画面的规定的区域内的特征信息显示；
显示区域计算单元，其根据上述多个组的组数来计算上述特征信息显示的显示区域中的、显示属于上述多个组各自的图像群的特征信息的每个组的显示区域；以及
显示单元，其显示上述特征信息显示，
其中，上述特征信息显示生成单元将属于上述多个组各自的图像群的特征信息按时间序列顺序配置于由上述显示区域计算单元计算出的上述每个组的显示区域。
2.根据权利要求1所述的医疗装置，其特征在于，
上述显示区域计算单元通过将上述特征信息显示的显示区域按照上述组数进行等分，来计算上述每个组的显示区域。
3.根据权利要求1所述的医疗装置，其特征在于，
上述显示区域计算单元根据属于上述每个组的图像的数量来计算该组的显示区域中的、显示属于该组的各图像的上述特征信息的每个图像的显示区域。
4.根据权利要求3所述的医疗装置，其特征在于，
上述显示区域计算单元通过将上述每个组的显示区域按照属于该组的图像的数量进行等分，来计算上述每个图像的显示区域，
上述特征信息显示生成单元按时间序列顺序对由上述显示区域计算单元计算出的上述每个图像的显示区域配置属于该组的各图像的特征信息。
5.根据权利要求1所述的医疗装置，其特征在于，
上述特征信息显示生成单元将属于上述多个组各自的图像群的代表图像的特征信息配置于上述每个组的显示区域。
6.根据权利要求1所述的医疗装置，其特征在于，
上述特征信息显示生成单元将属于上述多个组各自的图像群的特征信息的代表值配置于上述每个组的显示区域。
7.根据权利要求1所述的医疗装置，其特征在于，
上述分类单元将上述一系列图像根据图像间变化量来分类为时间序列顺序的多个组。
8.根据权利要求1所述的医疗装置，其特征在于，
上述一系列图像是由被导入到被检体内并一边在该被检体内移动一边进行拍摄的胶囊型内窥镜获取到的一系列体内图像。
CN201480002430.5A 2013-05-31 2014-05-08 医疗装置 Pending CN104640496A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013115773 2013-05-31
JP2013-115773 2013-05-31
PCT/JP2014/062341 WO2014192512A1 (ja) 2013-05-31 2014-05-08 医療装置

Publications (1)

Publication Number Publication Date
CN104640496A true CN104640496A (zh) 2015-05-20

Family

ID=51988550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002430.5A Pending CN104640496A (zh) 2013-05-31 2014-05-08 医疗装置

Country Status (5)

Country Link
US (1) US20150187063A1 (zh)
EP (1) EP3005934A4 (zh)
JP (1) JP5676063B1 (zh)
CN (1) CN104640496A (zh)
WO (1) WO2014192512A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584739A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 医疗图像处理系统
CN112930136A (zh) * 2019-04-02 2021-06-08 Hoya株式会社 电子内窥镜系统与数据处理装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015049684A1 (en) * 2013-10-02 2015-04-09 Given Imaging Ltd. System and method for size estimation of in-vivo objects
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
DE102016121668A1 (de) * 2016-11-11 2018-05-17 Karl Storz Se & Co. Kg Automatische Identifizierung medizinisch relevanter Videoelemente
JP2021052810A (ja) * 2017-12-12 2021-04-08 オリンパス株式会社 内視鏡画像観察支援システム
DE112019004863T5 (de) 2018-09-27 2021-06-10 Hoya Corporation Elektronisches endoskopsystem und datenverarbeitungsvorrichtung
US20200305819A1 (en) * 2019-03-27 2020-10-01 Shimadzu Corporation Radiation Image Processing Apparatus and Radiation Image Processing Method
CN110533659A (zh) * 2019-09-03 2019-12-03 安翰科技(武汉)股份有限公司 消化道图像判断方法及包括其的消化道清洁程度判断方法及其计算机设备和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006302043A (ja) * 2005-04-21 2006-11-02 Olympus Medical Systems Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2007307397A (ja) * 2003-04-25 2007-11-29 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
CN102361585A (zh) * 2009-03-23 2012-02-22 奥林巴斯医疗株式会社 图像处理系统、外部装置以及图像处理系统的图像处理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003029911A (ja) * 2001-07-11 2003-01-31 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
CN101264001B (zh) * 2003-04-25 2010-11-10 奥林巴斯株式会社 图像显示装置
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
IL177045A (en) * 2005-07-25 2012-12-31 Daniel Gat Device, system and method for receiving, recording and displaying in-body information with user-entered information
US8406489B2 (en) * 2005-09-09 2013-03-26 Olympus Medical Systems Corp Image display apparatus
JP2008119146A (ja) * 2006-11-09 2008-05-29 Olympus Medical Systems Corp 画像表示装置
JP2008119145A (ja) * 2006-11-09 2008-05-29 Olympus Medical Systems Corp 画像表示方法および画像表示装置
EP2149332B1 (en) * 2007-05-17 2014-12-17 Olympus Medical Systems Corp. Image information display processing device and display processing method
JP2008295490A (ja) * 2007-05-29 2008-12-11 Olympus Medical Systems Corp カプセル内視鏡画像表示装置
JP5403880B2 (ja) * 2007-06-27 2014-01-29 オリンパスメディカルシステムズ株式会社 画像情報の表示処理装置
US20090085897A1 (en) * 2007-09-28 2009-04-02 Olympus Medical Systems Corp. Image display apparatus
JP5191240B2 (ja) 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
EP2347695A4 (en) * 2009-07-29 2012-03-28 Olympus Medical Systems Corp PICTURE DISPLAY DEVICE, SYSTEM FOR SUPPORTING RADIOGRAPHIC INTERPRETATIONS AND PROGRAM FOR SUPPORTING RADIOGRAPHIC INTERPRETATIONS
EP2601880B1 (en) * 2011-03-30 2014-09-03 Olympus Medical Systems Corp. Image management apparatus, operating method of the same, image management program and capsule endoscope system
JP2012228346A (ja) * 2011-04-26 2012-11-22 Toshiba Corp 画像表示装置
EP2742847A4 (en) * 2011-08-12 2015-01-28 Olympus Medical Systems Corp IMAGE MANAGEMENT DEVICE AND METHOD AND PICTURE READING PROGRAM
JP5751184B2 (ja) * 2012-01-31 2015-07-22 Ｎｋワークス株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP5962278B2 (ja) * 2012-07-12 2016-08-03 ノーリツプレシジョン株式会社 画像処理プログラム、画像処理装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007307397A (ja) * 2003-04-25 2007-11-29 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006302043A (ja) * 2005-04-21 2006-11-02 Olympus Medical Systems Corp 画像表示装置、画像表示方法および画像表示プログラム
CN102361585A (zh) * 2009-03-23 2012-02-22 奥林巴斯医疗株式会社 图像处理系统、外部装置以及图像处理系统的图像处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584739A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 医疗图像处理系统
US11862327B2 (en) 2018-08-20 2024-01-02 Fujifilm Corporation Medical image processing system
CN112584739B (zh) * 2018-08-20 2024-04-05 富士胶片株式会社 医疗图像处理系统
CN112930136A (zh) * 2019-04-02 2021-06-08 Hoya株式会社 电子内窥镜系统与数据处理装置
CN112930136B (zh) * 2019-04-02 2023-07-25 Hoya株式会社 电子内窥镜系统与数据处理装置

Also Published As

Publication number Publication date
EP3005934A4 (en) 2017-03-15
JPWO2014192512A1 (ja) 2017-02-23
EP3005934A1 (en) 2016-04-13
US20150187063A1 (en) 2015-07-02
JP5676063B1 (ja) 2015-02-25
WO2014192512A1 (ja) 2014-12-04

Similar Documents

Publication Publication Date Title
CN104640496A (zh) 医疗装置
CN101686799B (zh) 图像处理装置以及图像处理装置的动作方法
CN104114077B (zh) 图像处理装置和图像处理方法
JP5147308B2 (ja) 画像抽出装置および画像抽出プログラム
CN103269635B (zh) 图像管理装置和方法
CN103140160B (zh) 图像管理装置、图像管理装置的工作方法以及胶囊型内窥镜系统
EP1769729B1 (en) System and method for in-vivo feature detection
US8900124B2 (en) Image display device
US8446465B2 (en) System and method for displaying an image stream captured in-vivo
CN103747718B (zh) 图像处理装置
JP2010158308A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10405734B2 (en) System and method for displaying an image stream
JP2006095304A (ja) 生体内でキャプチャされた画像ストリームを編集するシステムおよび方法
US20170046836A1 (en) Real-time endoscopic image enhancement
WO2017006618A1 (ja) サーバ、内視鏡システム、送信方法およびプログラム
JP5684300B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US11961225B2 (en) Systems and methods for detecting potential malignancies
JP4868965B2 (ja) 画像表示装置
CN104902800A (zh) 图像显示装置、图像显示方法以及图像显示程序
CN113744266A (zh) 一种病灶检测框的显示方法、装置、电子设备及存储介质
JP2011008676A (ja) 画像抽出装置、画像抽出方法および画像抽出プログラム
JP2009089910A (ja) 撮像方向判別装置、撮像方向判別方法、撮像方向判別プログラム、及び撮像方向判別プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006061628A (ja) データ生成装置、データ閲覧システム、データ生成方法およびデータ生成プログラム
CN116744088A (zh) 一种内窥镜成像系统及其数据传输方法
JP2021052810A (ja) 内視鏡画像観察支援システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150922

Address after: Tokyo, Japan, Japan

Applicant after: Olympus Corporation

Address before: Tokyo, Japan, Japan

Applicant before: Olympus Medical Systems Corp.

AD01 Patent right deemed abandoned

Effective date of abandoning: 20170620

AD01 Patent right deemed abandoned