CN108697310A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN108697310A
CN108697310A CN201580085814.2A CN201580085814A CN108697310A CN 108697310 A CN108697310 A CN 108697310A CN 201580085814 A CN201580085814 A CN 201580085814A CN 108697310 A CN108697310 A CN 108697310A
Authority
CN
China
Prior art keywords
image
image processing
tube chamber
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580085814.2A
Other languages
English (en)
Other versions
CN108697310B (zh
Inventor
北村诚
木村光隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN108697310A publication Critical patent/CN108697310A/zh
Application granted granted Critical
Publication of CN108697310B publication Critical patent/CN108697310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

提供图像处理装置、图像处理方法和程序，能够生成具有管腔内图像中可能产生的色调的学习样本。图像处理装置具有：图像取得部，其取得活体的管腔内图像；以及图像生成部，其根据基于管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使管腔内图像的色相和/或明亮度变化而生成新的多个图像。

Description

图像处理装置、图像处理方法和程序
技术领域
本发明涉及对拍摄活体的管腔内而取得的图像进行图像处理的图像处理装置、图像处理方法和程序。
背景技术
以往，公知有如下技术：针对使用内窥镜等医疗用观察装置拍摄活体的管腔内(消化道内)的管腔内图像，使用识别基准来检测异常区域等特定区域。通常，根据作为学习样本而从管腔内图像中提取出的各种变形的粘膜区域或异常区域的图像，生成此时使用的识别基准。
作为与图像识别有关的技术，例如在专利文献1中公开了如下技术：针对作为学习样本而取得的图像，进行变更任意关注区域的位置、方向、外观或者放大缩小或旋转关注区域这样的几何学处理，由此生成新的图像，根据新的图像和原来的图像计算特征量，生成识别基准。
现有技术文献
专利文献
专利文献1：美国特许第8903167号说明书
发明内容
发明要解决的课题
但是，在将上述专利文献1所公开的技术应用于管腔内图像的情况下，存在生成了具有管腔内图像中不可能产生的明亮度或色相的学习样本这样的问题。
本发明是鉴于上述情况而完成的，其目的在于，提供能够生成具有管腔内图像中可能产生的色调的学习样本的图像处理装置、图像处理方法和程序。
用于解决课题的手段
为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：图像取得部，其取得活体的管腔内图像；以及图像生成部，其根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
并且，本发明的图像处理装置的特征在于，所述图像处理装置具有：图像取得部，其取得活体的管腔内图像；以及识别部，其根据基于新生成的多个图像而学习的识别基准来进行对象识别，其中，根据基于所述管腔内图像中包含的活体信息预先设定的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而新生成所述多个图像。
并且，本发明的图像处理方法由图像处理装置执行，其特征在于，所述图像处理方法包含：图像取得步骤，取得活体的管腔内图像；以及图像生成步骤，根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
并且，本发明的程序的特征在于，所述程序使图像处理装置执行以下步骤：图像取得步骤，取得活体的管腔内图像；以及图像生成步骤，根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
发明效果
根据本发明，发挥能够生成具有管腔内图像中可能产生的色调的学习样本这样的效果。
附图说明
图1是示出本发明的实施方式1的图像处理装置的结构的框图。
图2是示出本发明的实施方式1的图像处理装置执行的处理的概要的流程图。
图3是示出本发明的实施方式2的运算部的结构的框图。
图4是示出本发明的实施方式2的图像处理装置执行的处理的概要的流程图。
图5是示出图4的范围决定处理的概要的流程图。
图6是示出本发明的实施方式3的运算部的结构的框图。
图7是示出本发明的实施方式3的图像处理装置执行的处理的概要的流程图。
图8是示出本发明的实施方式4的运算部的结构的框图。
图9是示出本发明的实施方式4的图像处理装置执行的处理的概要的流程图。
具体实施方式
下面，参照附图对本发明的实施方式的图像处理装置、图像处理方法和程序进行说明。另外，本发明不由这些实施方式进行限定。并且，在各附图的记载中，对相同部分标注相同标号进行表示。
(实施方式1)
〔图像处理装置的结构〕
图1是示出本发明的实施方式1的图像处理装置的结构的框图。作为一例，本实施方式1的图像处理装置1是执行如下图像处理的装置：根据通过内窥镜(软性内窥镜或硬性内窥镜等内窥镜镜体)或胶囊型内窥镜(以下将这些统一简称为“内窥镜”)拍摄活体的管腔而取得的管腔内图像的活体信息，生成使管腔内图像的颜色或明亮度变化的新的图像(假想图像或学习样本)。这里，通常，管腔内图像是在各像素位置具有针对R(红色)、G(绿色)、B(蓝色)的波长成分的像素电平(像素值)的彩色图像。
图1所示的图像处理装置1具有：从内窥镜或外部输出与由内窥镜拍摄的管腔内图像对应的图像数据的图像取得部2、受理通过来自外部的操作而输入的输入信号的输入部3、进行管腔内图像和各种显示的显示部4、记录由图像取得部2取得的图像数据和各种程序的记录部5、对图像处理装置1整体的动作进行控制的控制部6、对图像数据进行规定的图像处理的运算部7。
图像取得部2根据包含内窥镜的系统的形式而适当构成。例如，在与内窥镜之间的图像数据的交接中使用移动型记录介质的情况下，图像取得部2构成为拆装自如地安装该记录介质并读出所记录的图像数据的读取装置。并且，在通过服务器记录由内窥镜拍摄的图像数据的情况下，图像取得部2由能够与该服务器进行双向通信的通信装置等构成，通过与服务器进行数据通信而取得图像数据。进而，图像取得部2也可以由从内窥镜经由缆线输入图像数据的接口装置等构成。
输入部3例如由键盘、鼠标、触摸面板、各种开关等输入设备实现，将根据来自外部的操作而受理的输入信号输出到控制部6。
显示部4由液晶、有机EL(Electro Luminescence)的显示面板等显示装置实现，在控制部6的控制下显示包含管腔内图像的各种画面。
记录部5由闪存、ROM(Read Only Memory)和RAM(Random Access Memory)这样的各种IC存储器和内置或利用数据通信端子连接的硬盘等实现。记录部5除了记录由图像取得部2取得的图像数据以外，还记录用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序以及该程序的执行中使用的数据等。例如，记录部5记录用于生成使管腔内图像的颜色或明亮度变化得到的新的图像(学习样本)的图像处理程序51、范围信息、以及该程序的执行中使用的各种信息等，其中，该范围信息设定了基于管腔内图像的活体信息的色相和/或明亮度的范围，以使得后述运算部7根据管腔内图像的活体信息生成使管腔内图像的色相和/或明亮度变化得到的新的图像。
控制部6使用CPU(Central Processing Unit)等实现，读入记录部5中记录的各种程序，由此，根据从图像取得部2输入的图像数据或从输入部3输入的输入信号等，进行针对构成图像处理装置1的各部的指示和数据的转送等，对图像处理装置1整体的动作进行总括控制。
运算部7由CPU等实现，读入记录部5记录的图像处理程序51，由此执行如下图像处理：根据管腔内图像的活体信息，生成使管腔内图像的颜色或明亮度变化得到的新的图像。
〔运算部的结构〕
接着，对运算部7的详细结构进行说明。运算部7具有图像生成部10。图像生成部10根据管腔内图像的活体信息，生成使管腔内图像的颜色或明亮度变化得到的新的图像。
〔图像处理装置的处理〕
接着，对图像处理装置1执行的图像处理方法进行说明。图2是示出图像处理装置1执行的处理的概要的流程图。
如图2所示，首先，图像生成部10经由图像取得部2从外部取得与由内窥镜等拍摄的图像数据对应的管腔内图像(步骤S101)。
接着，图像生成部10取得设定了基于管腔内图像的活体信息的色相和/或明亮度的范围的范围信息(步骤S102)。
然后，图像生成部10根据步骤S101中取得的管腔内图像和步骤S102中取得的范围信息，使管腔内图像的颜色或明亮度按照规定间隔变化，生成新的多个图像，将该生成的多个图像记录在记录部5中或显示在显示部4中(步骤S103)。另外，图像生成部10也可以将新生成的多个图像输出到具有学习功能和识别功能的外部装置。在步骤S103之后，图像处理装置1结束本处理。
根据以上说明的本发明的实施方式1，能够生成具有管腔内图像中可能产生的色调的学习样本。
(实施方式2)
接着，对本发明的实施方式2进行说明。本实施方式2的图像处理装置与上述实施方式1的图像处理装置1中的运算部7的结构不同。下面，对本实施方式2的运算部的结构进行说明。另外，对与上述实施方式1的图像处理装置1相同的结构标注相同标号并省略说明。
〔运算部的结构〕
图3是示出本实施方式2的运算部的结构的框图。图3所示的运算部7a具有图像生成部10和范围决定部20。
范围决定部20根据活体信息生成决定颜色或明亮度的范围的范围信息。范围决定部20具有计算活体内管腔中的体液的信息的管腔内体液信息计算部30。
管腔内体液信息计算部30具有血液颜色信息计算部301、胆汁颜色信息计算部302、有无体液颜色信息计算部303、药剂颜色信息计算部304。
血液颜色信息计算部301决定与血液的颜色范围有关的信息。具体而言，血液颜色信息计算部301决定红色的颜色范围。
胆汁颜色信息计算部302决定与胆汁的颜色范围有关的信息。具体而言，胆汁颜色信息计算部302决定黄色的颜色范围。
有无体液颜色信息计算部303决定与基于有无体液得到的颜色范围有关的信息。具体而言，根据与基于有无体液得到的颜色范围有关的信息决定红色的颜色范围和明亮度。
药剂颜色信息计算部304决定与药剂的颜色范围有关的信息。具体而言，药剂颜色信息计算部304根据泻药的类别信息决定白色的颜色范围和明亮度。
〔图像处理装置的处理〕
接着，对本实施方式2的图像处理装置1执行的图像处理方法进行说明。图4是示出图像处理装置1执行的处理的概要的流程图。
如图4所示，首先，图像生成部10经由图像取得部2从外部取得与由内窥镜等拍摄的图像数据对应的管腔内图像，将所取得的管腔内图像记录在记录部5中(步骤S201)。
接着，图像生成部10对管腔内图像进行颜色转换(步骤S202)。具体而言，图像生成部10将管腔内图像从RGB图像颜色转换为HSV图像。另外，作为颜色转换的方法，不限于HSV，例如可以使用能够表现色相和明亮度的Lab、HLS、YUV等其他颜色转换。
然后，范围决定部20执行决定如下的范围信息的范围决定处理，该范围信息用于图像生成部10根据管腔内图像生成使色相和明亮度变化得到的新的图像(步骤S203)。
〔范围决定处理〕
图5是示出图4的步骤S203中的范围决定处理的详细情况的流程图。
如图5所示，血液颜色信息计算部301计算与血液的颜色范围有关的信息(步骤S301)。具体而言，作为血液的构成成分的血红蛋白的吸收波长位于形成G值或B值的中波长到短波长的波段，因此，在位于体内管腔中的体液中混合了血液的情况下，成为G值和B值相对于R值较低的红色系的颜色。因此，在本实施方式2中，事前收集在活体内管腔中的体液中混合了血液的图像，估计混合了血液的情况下的H(色相)范围。即，血液颜色信息计算部301根据预先估计出的混合了血液的情况下的H范围，决定血液的颜色范围。
接着，胆汁颜色信息计算部302计算与胆汁的颜色范围有关的信息(步骤S302)。具体而言，胆汁的构成成分即胆红素的吸收波长位于形成B值的短波长的波段，因此，当在位于活体内管腔中的体液中混合了胆汁时，相对于B值，R值和G值成为较高的黄色系的颜色。因此，在本实施方式2中，事前收集在活体内管腔中的体液中混合了胆汁的图像，估计混合了胆汁的情况下的H(色相)范围。即，胆汁颜色信息计算部302根据预先估计出的混合了胆汁的情况下的H范围，决定胆汁的颜色范围。
然后，有无体液颜色信息计算部303计算与基于有无体液而得到的颜色范围有关的信息(步骤S303)。在胶囊型内窥镜中，多数情况下，在活体内管腔中存在体液的状态下拍摄图像，但是，在软性型内窥镜中，在活体内管腔中不存在体液的状态下拍摄图像。与借助活体内管腔拍摄的图像相比，在不存在体液的状态下拍摄的图像存在成为红黑色图像(红且暗的图像)的倾向。因此，在本实施方式2中，事前分别收集在不存在体液的状态下拍摄的图像和通过体液拍摄的图像，分别估计不存在体液的状态的情况下的H(色相)范围以及存在体液的状态的情况下的H(色相)范围和V范围(明亮度)。即，有无体液颜色信息计算部303根据预先估计出的不存在体液的状态的H范围和V范围决定不存在体液的状态的颜色范围，并且，根据预先估计出的存在体液的状态的H范围和V范围决定存在体液的状态的颜色范围。
接着，药剂颜色信息计算部304计算与药剂的颜色范围有关的信息(步骤S304)。因此，在本实施方式2中，事前收集混合了检查对象者服用的药剂(例如泻药、蠕动促进剂和辅助剂(booster)等)的图像，估计混合了药剂的情况下的H(色相)范围。即，药剂颜色信息计算部304根据预先估计出的混合了药剂的状态的H(色相)范围，决定药剂的颜色范围。在步骤S304之后，图像处理装置1返回图4的主进程。
接着，图像生成部10根据步骤S201中取得的管腔内图像和步骤S203中由范围决定部20决定的颜色范围信息，生成使色相和明亮度变化得到的新的图像(步骤S204)。例如，图像生成部10按照图像内整体、每个规定区域、每个规定像素，生成使色相和/或明亮度按照每个规定值变化得到的多个图像。由此，能够考虑管腔内图像中可能产生的色调并生成使颜色或明亮度变化得到的新的图像。在步骤S204之后，图像处理装置1结束本处理。
根据以上说明的本发明的实施方式2，能够生成具有管腔内图像中可能产生的色调的学习样本，因此，能够生成适当的学习样本。
(实施方式3)
接着，对本发明的实施方式3进行说明。本实施方式3的图像处理装置与上述实施方式2的运算部7a的结构不同。下面，对本实施方式3的运算部的结构进行说明。另外，对与上述实施方式2的图像处理装置1相同的结构标注相同标号并省略说明。
〔运算部的结构〕
图6是示出本实施方式3的运算部的结构的框图。图6所示的运算部7b具有图像生成部10、范围决定部20b、学习部50。
范围决定部20b在上述实施方式2的管腔内体液信息计算部30的基础上，还具有判别管腔内图像的脏器类别的脏器判别部40。
学习部50根据由图像生成部10生成的新的图像，学习用于进行对象识别的识别基准。
〔图像处理装置的处理〕
接着，对本实施方式3的图像处理装置1执行的图像处理方法进行说明。图7是示出图像处理装置1执行的处理的概要的流程图。图7的步骤S401～步骤S403分别对应于上述图4的步骤S301～步骤S303。
在步骤S404中，脏器判别部40判别管腔内图像的脏器类别。作为脏器类别的判别方法，例如使用日本特开2006-288612号所记载的根据管腔内图像的R值、G值和B值各自的平均值来判别脏器类别的方法。具体而言，首先，脏器判别部40事前决定胃、小肠和大肠各自的图像内的R值、G值和B值的平均值的数值。然后，如果管腔内图像中的R值、G值和B值各自的平均值在胃的数值范围内，则脏器判别部40将判别对象的管腔内图像判别为胃，如果在小肠的数值范围内，则脏器判别部40将判别对象的管腔内图像判别为小肠，如果在大肠的数值范围内，则脏器判别部40将判别对象的管腔内图像判别为大肠。
接着，图像生成部10根据由范围决定部20b决定的颜色范围，生成使色相和/或明亮度变化得到的新的图像(步骤S405)。具体而言，图像生成部10按照图像内整体、每个规定区域、每个规定像素，生成使色相和/或明亮度按照每个规定值变化得到的多个图像。该情况下，在图像生成部10中，在上述步骤S404中由脏器判别部40判别为管腔内图像的脏器类别是胃时，在管腔内图像中不存在胆汁，因此，将包含胆汁的体液的颜色范围从生成新的图像时使用的颜色范围的生成对象中排除。
然后，学习部50根据由图像生成部10生成的新的图像和经由图像取得部2取得的原始的管腔内图像进行特征量计算，通过公知的SVM(参照adcom-media株式会社：计算机视觉最前端引导3：P95～P102)等生成识别基准(步骤S406)。在步骤S406之后，图像处理装置1结束本处理。
根据以上说明的本发明的实施方式3，能够生成具有管腔内图像中可能产生的色调的学习样本，因此，能够得到适当的学习结果。
(实施方式4)
接着，对本发明的实施方式4进行说明。本实施方式4的图像处理装置与上述实施方式3的运算部7b的结构不同。下面，对本实施方式4的运算部的结构进行说明。另外，对与上述实施方式3的图像处理装置1相同的结构标注相同标号并省略说明。
〔运算部的结构〕
图8是示出本实施方式4的运算部的结构的框图。图8所示的运算部7c在上述实施方式3的运算部7b的结构的基础上，还具有根据由学习部50学习的识别基准进行对象识别的识别部60、以及进行区域分割的区域分割部70。其中，区域分割部70具有根据体液的信息对区域进行分割的体液区域分割部80。
〔图像处理装置的处理〕
接着，对本实施方式4的图像处理装置1执行的处理进行说明。图9是本实施方式4的图像处理装置1执行的流程图。在图9中，步骤S501～步骤S504分别对应于上述图7的步骤S401～步骤S404。
在步骤S505中，区域分割部70基于有无体液进行区域分割。具体而言，首先，区域分割部70事前分别决定存在体液的管腔内图像的R值、G值和B值，并且，分别决定不存在体液的管腔内图像的R值、G值和B值。然后，如果管腔内图像中的各像素的R值、G值和B值在存在体液的数值范围内，则区域分割部70判别为存在体液，如果在不存在体液的数值范围内，则区域分割部70判别为不存在体液。然后，区域分割部70根据存在体液和不存在体液的信息进行公知的标记处理，由此对区域进行分割。
接着，图像生成部10根据步骤S503中的范围信息、步骤S504中的脏器类别和上述步骤S505中的区域分割结果，生成使色相和/或明亮度变化得到的新的图像(步骤S506)。具体而言，图像生成部10利用上述步骤S505中的区域分割结果，生成仅使存在体液的区域的色相按照每个规定值变化得到的新的多个图像。该情况下，在图像生成部10中，在步骤S504中判别为管腔内图像是胃时，不存在胆汁，因此，将包含胆汁的体液的颜色范围从新的图像的生成中排除。
然后，学习部50根据由图像生成部10生成的新的图像和经由图像取得部2取得的原始的管腔内图像进行特征量计算，通过公知的SVM等生成识别基准(步骤S507)。
接着，识别部60根据学习部50生成的识别基准进行对象识别(步骤S508)。在步骤S508之后，图像处理装置1结束本处理。
根据以上说明的本发明的实施方式4，能够生成具有管腔内图像中可能产生的色调的学习样本，因此，能够得到适当的学习结果。
(其他实施方式)
在本发明中，能够通过由个人计算机或工作站等计算机系统执行记录装置中记录的图像处理程序来实现。并且，可以将这种计算机系统经由局域网(LAN)、广域网(WAN)或互联网等公共线路而与其他计算机系统或服务器等设备连接来使用。该情况下，实施方式1～3及其变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据，或者对经由这些网络连接的阅读器或打印机等各种输出设备输出图像处理结果，或者在经由这些网络连接的存储装置、例如能够通过与网络连接的读取装置读取的记录介质等中存储图像处理结果。
另外，本发明不限于实施方式1～4，通过适当组合各实施方式和变形例所公开的多个结构要素，能够形成各种发明。例如，也可以从各实施方式和变形例所示的全部结构要素中除外若干个结构要素来形成，还可以适当组合不同实施方式和变形例所示的结构要素来形成。
标号说明
1：图像处理装置；2：图像取得部；3：输入部；4：显示部；5：记录部；6：控制部；7、7a、7b、7c：运算部；10：图像生成部；20、20a、20b：范围决定部；30：管腔内体液信息计算部；40：脏器判别部；50：学习部；51：图像处理程序；60：识别部；70：区域分割部；80：体液区域分割部；301：血液颜色信息计算部；302：胆汁颜色信息计算部；303：有无体液颜色信息计算部；304：药剂颜色信息计算部。

Claims (18)

1.一种图像处理装置，其特征在于，所述图像处理装置具有：
图像取得部，其取得活体的管腔内图像；以及
图像生成部，其根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具有学习部，该学习部根据所述多个图像，学习用于进行对象识别的识别基准。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述图像处理装置还具有识别部，该识别部根据所述识别基准进行对象识别。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述图像处理装置还具有范围决定部，该范围决定部根据所述管腔内图像中包含的活体信息，决定所述图像生成部生成所述多个图像时的所述范围信息。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述范围决定部具有管腔内体液信息计算部，该管腔内体液信息计算部根据所述管腔内图像中的体液的信息决定所述范围信息。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述管腔内体液信息计算部具有血液颜色信息计算部，该血液颜色信息计算部计算与血液的颜色范围有关的信息。
7.根据权利要求6所述的图像处理装置，其特征在于，
所述血液颜色信息计算部根据与血液的颜色范围有关的信息决定红色的颜色范围。
8.根据权利要求5所述的图像处理装置，其特征在于，
所述管腔内体液信息计算部具有胆汁颜色信息计算部，该胆汁颜色信息计算部计算与胆汁的颜色范围有关的信息。
9.根据权利要求8所述的图像处理装置，其特征在于，
所述胆汁颜色信息计算部根据与胆汁的颜色范围有关的信息决定黄色的颜色范围。
10.根据权利要求5所述的图像处理装置，其特征在于，
所述管腔内体液信息计算部具有有无体液颜色信息计算部，该有无体液颜色信息计算部计算与基于有无体液得到的颜色范围有关的信息。
11.根据权利要求10所述的图像处理装置，其特征在于，
所述有无体液颜色信息计算部根据与基于有无体液的颜色范围有关的信息决定红色的颜色范围和明亮度。
12.根据权利要求5所述的图像处理装置，其特征在于，
所述管腔内体液信息计算部具有药剂颜色信息计算部，该药剂颜色信息计算部计算与药剂的颜色范围有关的信息。
13.根据权利要求5所述的图像处理装置，其特征在于，
所述范围决定部还具有判别所述管腔内图像的脏器种类的脏器判别部，
所述管腔内体液信息计算部根据由所述脏器判别部判别出的脏器种类决定体液的种类。
14.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具有区域分割部，该区域分割部按照每个规定的区域对所述管腔内图像进行分割，
所述图像生成部生成按照由所述区域分割部分割后的每个区域使色相和/或明亮度变化得到的所述多个图像。
15.根据权利要求14所述的图像处理装置，其特征在于，
所述区域分割部具有根据体液的信息对区域进行分割的体液区域分割部。
16.一种图像处理装置，其特征在于，所述图像处理装置具有：
图像取得部，其取得活体的管腔内图像；以及
识别部，其根据基于新生成的多个图像而学习的识别基准来进行对象识别，其中，根据基于所述管腔内图像中包含的活体信息预先设定的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而新生成所述多个图像。
17.一种由图像处理装置执行的图像处理方法，其特征在于，所述图像处理方法包含：
图像取得步骤，取得活体的管腔内图像；以及
图像生成步骤，根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
18.一种程序，其特征在于，所述程序使图像处理装置执行以下步骤：
图像取得步骤，取得活体的管腔内图像；以及
图像生成步骤，根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息，按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
CN201580085814.2A 2015-12-24 2015-12-24 图像处理装置、图像处理方法和记录了程序的介质 Active CN108697310B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086086 WO2017109904A1 (ja) 2015-12-24 2015-12-24 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN108697310A true CN108697310A (zh) 2018-10-23
CN108697310B CN108697310B (zh) 2020-12-11

Family

ID=59091043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580085814.2A Active CN108697310B (zh) 2015-12-24 2015-12-24 图像处理装置、图像处理方法和记录了程序的介质

Country Status (4)

Country Link
US (1) US10748279B2 (zh)
JP (1) JP6807869B2 (zh)
CN (1) CN108697310B (zh)
WO (1) WO2017109904A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6931425B2 (ja) * 2018-07-20 2021-09-01 富士フイルム株式会社 医用画像学習装置、医用画像学習方法、及びプログラム
CN112584738B (zh) * 2018-08-30 2024-04-23 奥林巴斯株式会社 记录装置、图像观察装置、观察系统、观察系统的控制方法及存储介质
JP7176614B2 (ja) * 2019-03-27 2022-11-22 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
KR102372987B1 (ko) * 2020-03-18 2022-03-11 라온피플 주식회사 불량 이미지 생성 장치 및 방법
KR102272497B1 (ko) * 2020-07-31 2021-07-02 (주)딥인사이트 객체 중심 데이터 증강 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721367A (ja) * 1993-06-22 1995-01-24 Oyo Keisoku Kenkyusho:Kk 画像認識装置
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
JP2015173827A (ja) * 2014-03-14 2015-10-05 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007236957A (ja) * 2007-03-16 2007-09-20 Olympus Corp 内視鏡診断支援装置及び内視鏡画像処理方法
JP6132485B2 (ja) * 2012-07-24 2017-05-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5622903B2 (ja) * 2013-08-05 2014-11-12 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721367A (ja) * 1993-06-22 1995-01-24 Oyo Keisoku Kenkyusho:Kk 画像認識装置
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
JP2015173827A (ja) * 2014-03-14 2015-10-05 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP6807869B2 (ja) 2021-01-06
WO2017109904A1 (ja) 2017-06-29
CN108697310B (zh) 2020-12-11
US10748279B2 (en) 2020-08-18
US20180365830A1 (en) 2018-12-20
JPWO2017109904A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
Ahmad et al. Artificial intelligence and computer-aided diagnosis in colonoscopy: current evidence and future directions
CN106102554B (zh) 图像处理装置以及图像处理方法
CN110337258B (zh) 使用可编程光源对图像进行多类分类的系统和方法
CN108697310A (zh) 图像处理装置、图像处理方法和程序
WO2020098539A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
US8743189B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
US10957043B2 (en) AI systems for detecting and sizing lesions
CN102243762B (zh) 图像处理装置以及图像处理方法
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN106132266A (zh) 图像处理装置、图像处理方法以及图像处理程序
JP2024045234A (ja) 腸の病理学のための画像スコアリング
Imtiaz et al. Color enhancement in endoscopic images using adaptive sigmoid function and space variant color reproduction
US8457376B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20120134556A1 (en) Image processing device, image processing method, and computer-readable recording device
CN112367896A (zh) 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
JP6707131B2 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
JP5622903B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
Pan et al. BP neural network classification for bleeding detection in wireless capsule endoscopy
JP7265805B2 (ja) 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
WO2022176665A1 (ja) 画像解析方法、画像解析装置、分類装置、分類システム、制御プログラム、記録媒体
US20230386660A1 (en) System and method for detecting gastrointestinal disorders
Yang et al. An intelligent medical image understanding method using two-tier neural network ensembles
Goswami et al. Classification of Oral Cancer Into Pre-Cancerous Stages From White Light Images Using LightGBM Algorithm
KR20240063490A (ko) 인공지능 기반 흑색종 생검 부위를 추천하는 전자장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant