CN108697310B - 图像处理装置、图像处理方法和记录了程序的介质 - Google Patents
图像处理装置、图像处理方法和记录了程序的介质 Download PDFInfo
- Publication number
- CN108697310B CN108697310B CN201580085814.2A CN201580085814A CN108697310B CN 108697310 B CN108697310 B CN 108697310B CN 201580085814 A CN201580085814 A CN 201580085814A CN 108697310 B CN108697310 B CN 108697310B
- Authority
- CN
- China
- Prior art keywords
- image
- intraluminal
- range
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 210000001124 body fluid Anatomy 0.000 claims description 48
- 239000010839 body fluid Substances 0.000 claims description 42
- 210000000056 organ Anatomy 0.000 claims description 28
- 210000000941 bile Anatomy 0.000 claims description 22
- 239000008280 blood Substances 0.000 claims description 18
- 210000004369 blood Anatomy 0.000 claims description 18
- 239000012530 fluid Substances 0.000 claims description 16
- 239000003814 drug Substances 0.000 claims description 14
- 229940079593 drug Drugs 0.000 claims description 6
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 210000002784 stomach Anatomy 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002429 large intestine Anatomy 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 210000000813 small intestine Anatomy 0.000 description 3
- BPYKTIZUTYGOLE-IFADSCNNSA-N Bilirubin Chemical compound N1C(=O)C(C)=C(C=C)\C1=C\C1=C(C)C(CCC(O)=O)=C(CC2=C(C(C)=C(\C=C/3C(=C(C=C)C(=O)N\3)C)N2)CCC(O)=O)N1 BPYKTIZUTYGOLE-IFADSCNNSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000008141 laxative Substances 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 239000012752 auxiliary agent Substances 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 229940125722 laxative agent Drugs 0.000 description 1
- 230000002475 laxative effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008855 peristalsis Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Optics & Photonics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Abstract
提供图像处理装置、图像处理方法和程序,能够生成具有管腔内图像中可能产生的色调的学习样本。图像处理装置具有:图像取得部,其取得活体的管腔内图像;以及图像生成部,其根据基于管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照每个规定值使管腔内图像的色相和/或明亮度变化而生成新的多个图像。
Description
技术领域
本发明涉及对拍摄活体的管腔内而取得的图像进行图像处理的图像处理装置、图像处理方法和程序。
背景技术
以往,公知有如下技术:针对使用内窥镜等医疗用观察装置拍摄活体的管腔内(消化道内)的管腔内图像,使用识别基准来检测异常区域等特定区域。通常,根据作为学习样本而从管腔内图像中提取出的各种变形的粘膜区域或异常区域的图像,生成此时使用的识别基准。
作为与图像识别有关的技术,例如在专利文献1中公开了如下技术:针对作为学习样本而取得的图像,进行变更任意关注区域的位置、方向、外观或者放大缩小或旋转关注区域这样的几何学处理,由此生成新的图像,根据新的图像和原来的图像计算特征量,生成识别基准。
现有技术文献
专利文献
专利文献1:美国特许第8903167号说明书
发明内容
发明要解决的课题
但是,在将上述专利文献1所公开的技术应用于管腔内图像的情况下,存在生成了具有管腔内图像中不可能产生的明亮度或色相的学习样本这样的问题。
本发明是鉴于上述情况而完成的,其目的在于,提供能够生成具有管腔内图像中可能产生的色调的学习样本的图像处理装置、图像处理方法和程序。
用于解决课题的手段
为了解决上述课题并实现目的,本发明的图像处理装置的特征在于,所述图像处理装置具有:图像取得部,其取得活体的管腔内图像;以及图像生成部,其根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
并且,本发明的图像处理装置的特征在于,所述图像处理装置具有:图像取得部,其取得活体的管腔内图像;以及识别部,其根据基于新生成的多个图像而学习的识别基准来进行对象识别,其中,根据基于所述管腔内图像中包含的活体信息预先设定的范围信息,按照每个规定值使所述管腔内图像的色相和/或明亮度变化而新生成所述多个图像。
并且,本发明的图像处理方法由图像处理装置执行,其特征在于,所述图像处理方法包含:图像取得步骤,取得活体的管腔内图像;以及图像生成步骤,根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
并且,本发明的程序的特征在于,所述程序使图像处理装置执行以下步骤:图像取得步骤,取得活体的管腔内图像;以及图像生成步骤,根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照每个规定值使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像。
发明效果
根据本发明,发挥能够生成具有管腔内图像中可能产生的色调的学习样本这样的效果。
附图说明
图1是示出本发明的实施方式1的图像处理装置的结构的框图。
图2是示出本发明的实施方式1的图像处理装置执行的处理的概要的流程图。
图3是示出本发明的实施方式2的运算部的结构的框图。
图4是示出本发明的实施方式2的图像处理装置执行的处理的概要的流程图。
图5是示出图4的范围决定处理的概要的流程图。
图6是示出本发明的实施方式3的运算部的结构的框图。
图7是示出本发明的实施方式3的图像处理装置执行的处理的概要的流程图。
图8是示出本发明的实施方式4的运算部的结构的框图。
图9是示出本发明的实施方式4的图像处理装置执行的处理的概要的流程图。
具体实施方式
下面,参照附图对本发明的实施方式的图像处理装置、图像处理方法和程序进行说明。另外,本发明不由这些实施方式进行限定。并且,在各附图的记载中,对相同部分标注相同标号进行表示。
(实施方式1)
〔图像处理装置的结构〕
图1是示出本发明的实施方式1的图像处理装置的结构的框图。作为一例,本实施方式1的图像处理装置1是执行如下图像处理的装置:根据通过内窥镜(软性内窥镜或硬性内窥镜等内窥镜镜体)或胶囊型内窥镜(以下将这些统一简称为“内窥镜”)拍摄活体的管腔而取得的管腔内图像的活体信息,生成使管腔内图像的颜色或明亮度变化的新的图像(假想图像或学习样本)。这里,通常,管腔内图像是在各像素位置具有针对R(红色)、G(绿色)、B(蓝色)的波长成分的像素电平(像素值)的彩色图像。
图1所示的图像处理装置1具有:从内窥镜或外部输出与由内窥镜拍摄的管腔内图像对应的图像数据的图像取得部2、受理通过来自外部的操作而输入的输入信号的输入部3、进行管腔内图像和各种显示的显示部4、记录由图像取得部2取得的图像数据和各种程序的记录部5、对图像处理装置1整体的动作进行控制的控制部6、对图像数据进行规定的图像处理的运算部7。
图像取得部2根据包含内窥镜的系统的形式而适当构成。例如,在与内窥镜之间的图像数据的交接中使用移动型记录介质的情况下,图像取得部2构成为拆装自如地安装该记录介质并读出所记录的图像数据的读取装置。并且,在通过服务器记录由内窥镜拍摄的图像数据的情况下,图像取得部2由能够与该服务器进行双向通信的通信装置等构成,通过与服务器进行数据通信而取得图像数据。进而,图像取得部2也可以由从内窥镜经由缆线输入图像数据的接口装置等构成。
输入部3例如由键盘、鼠标、触摸面板、各种开关等输入设备实现,将根据来自外部的操作而受理的输入信号输出到控制部6。
显示部4由液晶、有机EL(Electro Luminescence)的显示面板等显示装置实现,在控制部6的控制下显示包含管腔内图像的各种画面。
记录部5由闪存、ROM(Read Only Memory)和RAM(Random Access Memory)这样的各种IC存储器和内置或利用数据通信端子连接的硬盘等实现。记录部5除了记录由图像取得部2取得的图像数据以外,还记录用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序以及该程序的执行中使用的数据等。例如,记录部5记录用于生成使管腔内图像的颜色或明亮度变化得到的新的图像(学习样本)的图像处理程序51、范围信息、以及该程序的执行中使用的各种信息等,其中,该范围信息设定了基于管腔内图像的活体信息的色相和/或明亮度的范围,以使得后述运算部7根据管腔内图像的活体信息生成使管腔内图像的色相和/或明亮度变化得到的新的图像。
控制部6使用CPU(Central Processing Unit)等实现,读入记录部5中记录的各种程序,由此,根据从图像取得部2输入的图像数据或从输入部3输入的输入信号等,进行针对构成图像处理装置1的各部的指示和数据的转送等,对图像处理装置1整体的动作进行总括控制。
运算部7由CPU等实现,读入记录部5记录的图像处理程序51,由此执行如下图像处理:根据管腔内图像的活体信息,生成使管腔内图像的颜色或明亮度变化得到的新的图像。
〔运算部的结构〕
接着,对运算部7的详细结构进行说明。运算部7具有图像生成部10。图像生成部10根据管腔内图像的活体信息,生成使管腔内图像的颜色或明亮度变化得到的新的图像。
〔图像处理装置的处理〕
接着,对图像处理装置1执行的图像处理方法进行说明。图2是示出图像处理装置1执行的处理的概要的流程图。
如图2所示,首先,图像生成部10经由图像取得部2从外部取得与由内窥镜等拍摄的图像数据对应的管腔内图像(步骤S101)。
接着,图像生成部10取得设定了基于管腔内图像的活体信息的色相和/或明亮度的范围的范围信息(步骤S102)。
然后,图像生成部10根据步骤S101中取得的管腔内图像和步骤S102中取得的范围信息,使管腔内图像的颜色或明亮度按照规定间隔变化,生成新的多个图像,将该生成的多个图像记录在记录部5中或显示在显示部4中(步骤S103)。另外,图像生成部10也可以将新生成的多个图像输出到具有学习功能和识别功能的外部装置。在步骤S103之后,图像处理装置1结束本处理。
根据以上说明的本发明的实施方式1,能够生成具有管腔内图像中可能产生的色调的学习样本。
(实施方式2)
接着,对本发明的实施方式2进行说明。本实施方式2的图像处理装置与上述实施方式1的图像处理装置1中的运算部7的结构不同。下面,对本实施方式2的运算部的结构进行说明。另外,对与上述实施方式1的图像处理装置1相同的结构标注相同标号并省略说明。
〔运算部的结构〕
图3是示出本实施方式2的运算部的结构的框图。图3所示的运算部7a具有图像生成部10和范围决定部20。
范围决定部20根据活体信息生成决定颜色或明亮度的范围的范围信息。范围决定部20具有计算活体内管腔中的体液的信息的管腔内体液信息计算部30。
管腔内体液信息计算部30具有血液颜色信息计算部301、胆汁颜色信息计算部302、有无体液颜色信息计算部303、药剂颜色信息计算部304。
血液颜色信息计算部301决定与血液的颜色范围有关的信息。具体而言,血液颜色信息计算部301决定红色的颜色范围。
胆汁颜色信息计算部302决定与胆汁的颜色范围有关的信息。具体而言,胆汁颜色信息计算部302决定黄色的颜色范围。
有无体液颜色信息计算部303决定与基于有无体液得到的颜色范围有关的信息。具体而言,根据与基于有无体液得到的颜色范围有关的信息决定红色的颜色范围和明亮度。
药剂颜色信息计算部304决定与药剂的颜色范围有关的信息。具体而言,药剂颜色信息计算部304根据泻药的类别信息决定白色的颜色范围和明亮度。
〔图像处理装置的处理〕
接着,对本实施方式2的图像处理装置1执行的图像处理方法进行说明。图4是示出图像处理装置1执行的处理的概要的流程图。
如图4所示,首先,图像生成部10经由图像取得部2从外部取得与由内窥镜等拍摄的图像数据对应的管腔内图像,将所取得的管腔内图像记录在记录部5中(步骤S201)。
接着,图像生成部10对管腔内图像进行颜色转换(步骤S202)。具体而言,图像生成部10将管腔内图像从RGB图像颜色转换为HSV图像。另外,作为颜色转换的方法,不限于HSV,例如可以使用能够表现色相和明亮度的Lab、HLS、YUV等其他颜色转换。
然后,范围决定部20执行决定如下的范围信息的范围决定处理,该范围信息用于图像生成部10根据管腔内图像生成使色相和明亮度变化得到的新的图像(步骤S203)。
〔范围决定处理〕
图5是示出图4的步骤S203中的范围决定处理的详细情况的流程图。
如图5所示,血液颜色信息计算部301计算与血液的颜色范围有关的信息(步骤S301)。具体而言,作为血液的构成成分的血红蛋白的吸收波长位于形成G值或B值的中波长到短波长的波段,因此,在位于体内管腔中的体液中混合了血液的情况下,成为G值和B值相对于R值较低的红色系的颜色。因此,在本实施方式2中,事前收集在活体内管腔中的体液中混合了血液的图像,估计混合了血液的情况下的H(色相)范围。即,血液颜色信息计算部301根据预先估计出的混合了血液的情况下的H范围,决定血液的颜色范围。
接着,胆汁颜色信息计算部302计算与胆汁的颜色范围有关的信息(步骤S302)。具体而言,胆汁的构成成分即胆红素的吸收波长位于形成B值的短波长的波段,因此,当在位于活体内管腔中的体液中混合了胆汁时,相对于B值,R值和G值成为较高的黄色系的颜色。因此,在本实施方式2中,事前收集在活体内管腔中的体液中混合了胆汁的图像,估计混合了胆汁的情况下的H(色相)范围。即,胆汁颜色信息计算部302根据预先估计出的混合了胆汁的情况下的H范围,决定胆汁的颜色范围。
然后,有无体液颜色信息计算部303计算与基于有无体液而得到的颜色范围有关的信息(步骤S303)。在胶囊型内窥镜中,多数情况下,在活体内管腔中存在体液的状态下拍摄图像,但是,在软性型内窥镜中,在活体内管腔中不存在体液的状态下拍摄图像。与存在体液的状态下拍摄的图像相比,在不存在体液的状态下拍摄的图像存在成为红黑色图像(红且暗的图像)的倾向。因此,在本实施方式2中,事前分别收集在不存在体液的状态下拍摄的图像和通过体液拍摄的图像,分别估计不存在体液的状态的情况下的H(色相)范围以及存在体液的状态的情况下的H(色相)范围和V范围(明亮度)。即,有无体液颜色信息计算部303根据预先估计出的不存在体液的状态的H范围和V范围决定不存在体液的状态的颜色范围,并且,根据预先估计出的存在体液的状态的H范围和V范围决定存在体液的状态的颜色范围。
接着,药剂颜色信息计算部304计算与药剂的颜色范围有关的信息(步骤S304)。因此,在本实施方式2中,事前收集混合了检查对象者服用的药剂(例如泻药、蠕动促进剂和辅助剂(booster)等)的图像,估计混合了药剂的情况下的H(色相)范围。即,药剂颜色信息计算部304根据预先估计出的混合了药剂的状态的H(色相)范围,决定药剂的颜色范围。在步骤S304之后,图像处理装置1返回图4的主进程。
接着,图像生成部10根据步骤S201中取得的管腔内图像和步骤S203中由范围决定部20决定的颜色范围信息,生成使色相和明亮度变化得到的新的图像(步骤S204)。例如,图像生成部10按照图像内整体、每个规定区域、每个规定像素,生成使色相和/或明亮度按照每个规定值变化得到的多个图像。由此,能够考虑管腔内图像中可能产生的色调并生成使颜色或明亮度变化得到的新的图像。在步骤S204之后,图像处理装置1结束本处理。
根据以上说明的本发明的实施方式2,能够生成具有管腔内图像中可能产生的色调的学习样本,因此,能够生成适当的学习样本。
(实施方式3)
接着,对本发明的实施方式3进行说明。本实施方式3的图像处理装置与上述实施方式2的运算部7a的结构不同。下面,对本实施方式3的运算部的结构进行说明。另外,对与上述实施方式2的图像处理装置1相同的结构标注相同标号并省略说明。
〔运算部的结构〕
图6是示出本实施方式3的运算部的结构的框图。图6所示的运算部7b具有图像生成部10、范围决定部20b、学习部50。
范围决定部20b在上述实施方式2的管腔内体液信息计算部30的基础上,还具有判别管腔内图像的脏器类别的脏器判别部40。
学习部50根据由图像生成部10生成的新的图像,学习用于进行对象识别的识别基准。
〔图像处理装置的处理〕
接着,对本实施方式3的图像处理装置1执行的图像处理方法进行说明。图7是示出图像处理装置1执行的处理的概要的流程图。图7的步骤S401~步骤S403分别对应于上述图4的步骤S201~步骤S203。
在步骤S404中,脏器判别部40判别管腔内图像的脏器类别。作为脏器类别的判别方法,例如使用日本特开2006-288612号所记载的根据管腔内图像的R值、G值和B值各自的平均值来判别脏器类别的方法。具体而言,首先,脏器判别部40事前决定胃、小肠和大肠各自的图像内的R值、G值和B值的平均值的数值。然后,如果管腔内图像中的R值、G值和B值各自的平均值在胃的数值范围内,则脏器判别部40将判别对象的管腔内图像判别为胃,如果在小肠的数值范围内,则脏器判别部40将判别对象的管腔内图像判别为小肠,如果在大肠的数值范围内,则脏器判别部40将判别对象的管腔内图像判别为大肠。
接着,图像生成部10根据由范围决定部20b决定的颜色范围,生成使色相和/或明亮度变化得到的新的图像(步骤S405)。具体而言,图像生成部10按照图像内整体、每个规定区域、每个规定像素,生成使色相和/或明亮度按照每个规定值变化得到的多个图像。该情况下,在图像生成部10中,在上述步骤S404中由脏器判别部40判别为管腔内图像的脏器类别是胃时,在管腔内图像中不存在胆汁,因此,将包含胆汁的体液的颜色范围从生成新的图像时使用的颜色范围的生成对象中排除。
然后,学习部50根据由图像生成部10生成的新的图像和经由图像取得部2取得的原始的管腔内图像进行特征量计算,通过公知的SVM(参照adcom-media株式会社:计算机视觉最前端引导3:P95~P102)等生成识别基准(步骤S406)。在步骤S406之后,图像处理装置1结束本处理。
根据以上说明的本发明的实施方式3,能够生成具有管腔内图像中可能产生的色调的学习样本,因此,能够得到适当的学习结果。
(实施方式4)
接着,对本发明的实施方式4进行说明。本实施方式4的图像处理装置与上述实施方式3的运算部7b的结构不同。下面,对本实施方式4的运算部的结构进行说明。另外,对与上述实施方式3的图像处理装置1相同的结构标注相同标号并省略说明。
〔运算部的结构〕
图8是示出本实施方式4的运算部的结构的框图。图8所示的运算部7c在上述实施方式3的运算部7b的结构的基础上,还具有根据由学习部50学习的识别基准进行对象识别的识别部60、以及进行区域分割的区域分割部70。其中,区域分割部70具有根据体液的信息对区域进行分割的体液区域分割部80。
〔图像处理装置的处理〕
接着,对本实施方式4的图像处理装置1执行的处理进行说明。图9是本实施方式4的图像处理装置1执行的流程图。在图9中,步骤S501~步骤S504分别对应于上述图7的步骤S401~步骤S404。
在步骤S505中,区域分割部70基于有无体液进行区域分割。具体而言,首先,区域分割部70事前分别决定存在体液的管腔内图像的R值、G值和B值,并且,分别决定不存在体液的管腔内图像的R值、G值和B值。然后,如果管腔内图像中的各像素的R值、G值和B值在存在体液的数值范围内,则区域分割部70判别为存在体液,如果在不存在体液的数值范围内,则区域分割部70判别为不存在体液。然后,区域分割部70根据存在体液和不存在体液的信息进行公知的标记处理,由此对区域进行分割。
接着,图像生成部10根据步骤S503中的范围信息、步骤S504中的脏器类别和上述步骤S505中的区域分割结果,生成使色相和/或明亮度变化得到的新的图像(步骤S506)。具体而言,图像生成部10利用上述步骤S505中的区域分割结果,生成仅使存在体液的区域的色相按照每个规定值变化得到的新的多个图像。该情况下,在图像生成部10中,在步骤S504中判别为管腔内图像是胃时,不存在胆汁,因此,将包含胆汁的体液的颜色范围从新的图像的生成中排除。
然后,学习部50根据由图像生成部10生成的新的图像和经由图像取得部2取得的原始的管腔内图像进行特征量计算,通过公知的SVM等生成识别基准(步骤S507)。
接着,识别部60根据学习部50生成的识别基准进行对象识别(步骤S508)。在步骤S508之后,图像处理装置1结束本处理。
根据以上说明的本发明的实施方式4,能够生成具有管腔内图像中可能产生的色调的学习样本,因此,能够得到适当的学习结果。
(其他实施方式)
在本发明中,能够通过由个人计算机或工作站等计算机系统执行记录装置中记录的图像处理程序来实现。并且,可以将这种计算机系统经由局域网(LAN)、广域网(WAN)或互联网等公共线路而与其他计算机系统或服务器等设备连接来使用。该情况下,实施方式1~3及其变形例的图像处理装置也可以经由这些网络取得管腔内图像的图像数据,或者对经由这些网络连接的阅读器或打印机等各种输出设备输出图像处理结果,或者在经由这些网络连接的存储装置、例如能够通过与网络连接的读取装置读取的记录介质等中存储图像处理结果。
另外,本发明不限于实施方式1~4,通过适当组合各实施方式和变形例所公开的多个结构要素,能够形成各种发明。例如,也可以从各实施方式和变形例所示的全部结构要素中除外若干个结构要素来形成,还可以适当组合不同实施方式和变形例所示的结构要素来形成。
标号说明
1:图像处理装置;2:图像取得部;3:输入部;4:显示部;5:记录部;6:控制部;7、7a、7b、7c:运算部;10:图像生成部;20、20a、20b:范围决定部;30:管腔内体液信息计算部;40:脏器判别部;50:学习部;51:图像处理程序;60:识别部;70:区域分割部;80:体液区域分割部;301:血液颜色信息计算部;302:胆汁颜色信息计算部;303:有无体液颜色信息计算部;304:药剂颜色信息计算部。
Claims (15)
1.一种图像处理装置,其特征在于,所述图像处理装置具有:
图像取得部,其取得活体的管腔内图像;
图像生成部,其根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照所述管腔内图像的规定区域或规定像素使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像;
范围决定部,其根据所述管腔内图像中包含的活体信息,决定所述图像生成部生成所述多个图像时的所述范围信息;以及
学习部,其根据所述多个图像,学习用于进行对象识别的识别基准,
所述范围决定部具有:
脏器判别部,其判别所述管腔内图像的脏器种类;以及
管腔内体液信息计算部,其根据所述管腔内图像中的体液的信息决定所述范围信息,
所述图像生成部根据与色相和/或明亮度相应的所述范围信息来生成所述新的多个图像,其中,所述色相和/或明亮度是根据与由所述脏器判别部判别出的脏器种类相应的所述体液的有无来确定的。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置还具有识别部,该识别部根据所述识别基准进行对象识别。
3.根据权利要求1所述的图像处理装置,其特征在于,
所述管腔内体液信息计算部具有血液颜色信息计算部,该血液颜色信息计算部计算与血液的颜色范围有关的信息。
4.根据权利要求3所述的图像处理装置,其特征在于,
所述血液颜色信息计算部根据与血液的颜色范围有关的信息决定红色的颜色范围。
5.根据权利要求1所述的图像处理装置,其特征在于,
所述管腔内体液信息计算部具有胆汁颜色信息计算部,该胆汁颜色信息计算部计算与胆汁的颜色范围有关的信息。
6.根据权利要求5所述的图像处理装置,其特征在于,
所述胆汁颜色信息计算部根据与胆汁的颜色范围有关的信息决定黄色的颜色范围。
7.根据权利要求1所述的图像处理装置,其特征在于,
所述管腔内体液信息计算部具有有无体液颜色信息计算部,该有无体液颜色信息计算部计算与基于有无体液得到的颜色范围有关的信息。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述有无体液颜色信息计算部根据与基于有无体液的颜色范围有关的信息决定红色的颜色范围和明亮度。
9.根据权利要求1所述的图像处理装置,其特征在于,
所述管腔内体液信息计算部具有药剂颜色信息计算部,该药剂颜色信息计算部计算与药剂的颜色范围有关的信息。
10.根据权利要求1所述的图像处理装置,其特征在于,
所述管腔内体液信息计算部根据由所述脏器判别部判别出的脏器种类决定体液的种类。
11.根据权利要求1所述的图像处理装置,其特征在于,
所述图像处理装置还具有区域分割部,该区域分割部按照所述管腔内图像的规定区域对所述管腔内图像进行分割,
所述图像生成部生成按照由所述区域分割部分割后的每个区域使色相和/或明亮度变化得到的所述多个图像。
12.根据权利要求11所述的图像处理装置,其特征在于,
所述区域分割部具有根据体液的信息对区域进行分割的体液区域分割部。
13.根据权利要求1所述的图像处理装置,其特征在于,所述图像处理装置还具有:
识别部,其根据所述学习部学习的所述识别基准来进行对象识别。
14.一种由图像处理装置执行的图像处理方法,其特征在于,所述图像处理方法包含:
图像取得步骤,取得活体的管腔内图像;
图像生成步骤,根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照所述管腔内图像的规定区域或规定像素使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像;
范围决定步骤,根据所述管腔内图像中包含的活体信息,决定在所述图像生成步骤中生成所述多个图像时的所述范围信息;以及
学习步骤,根据所述多个图像,学习用于进行对象识别的识别基准,
所述范围决定步骤包含:
脏器判别步骤,判别所述管腔内图像的脏器种类;以及
管腔内体液信息计算步骤,根据所述管腔内图像中的体液的信息决定所述范围信息,
所述图像生成步骤根据与色相和/或明亮度相应的所述范围信息来生成所述新的多个图像,其中,所述色相和/或明亮度是根据与由所述脏器判别步骤判别出的脏器种类相应的所述体液的有无来确定的。
15.一种记录了程序的介质,其特征在于,所述程序使图像处理装置执行以下步骤:
图像取得步骤,取得活体的管腔内图像;
图像生成步骤,根据基于所述管腔内图像中包含的活体信息预先设定了色相和/或明亮度的范围的范围信息,按照所述管腔内图像的规定区域或规定像素使所述管腔内图像的色相和/或明亮度变化而生成新的多个图像;
范围决定步骤,根据所述管腔内图像中包含的活体信息,决定在所述图像生成步骤中生成所述多个图像时的所述范围信息;以及
学习步骤,根据所述多个图像,学习用于进行对象识别的识别基准,
所述范围决定步骤包含:
脏器判别步骤,判别所述管腔内图像的脏器种类;以及
管腔内体液信息计算步骤,根据所述管腔内图像中的体液的信息决定所述范围信息,
所述图像生成步骤根据与色相和/或明亮度相应的所述范围信息来生成所述新的多个图像,其中,所述色相和/或明亮度是根据与由所述脏器判别步骤判别出的脏器种类相应的所述体液的有无来确定的。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/086086 WO2017109904A1 (ja) | 2015-12-24 | 2015-12-24 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108697310A CN108697310A (zh) | 2018-10-23 |
CN108697310B true CN108697310B (zh) | 2020-12-11 |
Family
ID=59091043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580085814.2A Active CN108697310B (zh) | 2015-12-24 | 2015-12-24 | 图像处理装置、图像处理方法和记录了程序的介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10748279B2 (zh) |
JP (1) | JP6807869B2 (zh) |
CN (1) | CN108697310B (zh) |
WO (1) | WO2017109904A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020017211A1 (ja) * | 2018-07-20 | 2020-01-23 | 富士フイルム株式会社 | 医用画像学習装置、医用画像学習方法、及びプログラム |
JP6988001B2 (ja) * | 2018-08-30 | 2022-01-05 | オリンパス株式会社 | 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム |
US12039758B2 (en) | 2019-03-27 | 2024-07-16 | Nec Corporation | Image processing apparatus, image processing method, and non-transitory computer readable medium storing program |
KR102372987B1 (ko) * | 2020-03-18 | 2022-03-11 | 라온피플 주식회사 | 불량 이미지 생성 장치 및 방법 |
KR102272497B1 (ko) * | 2020-07-31 | 2021-07-02 | (주)딥인사이트 | 객체 중심 데이터 증강 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3347817B2 (ja) * | 1993-06-22 | 2002-11-20 | 株式会社ビュープラス | 画像認識装置 |
JP2007236957A (ja) * | 2007-03-16 | 2007-09-20 | Olympus Corp | 内視鏡診断支援装置及び内視鏡画像処理方法 |
US8903167B2 (en) * | 2011-05-12 | 2014-12-02 | Microsoft Corporation | Synthesizing training samples for object recognition |
JP6132485B2 (ja) * | 2012-07-24 | 2017-05-24 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP5622903B2 (ja) * | 2013-08-05 | 2014-11-12 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法および画像処理プログラム |
JP6371544B2 (ja) * | 2014-03-14 | 2018-08-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2015
- 2015-12-24 WO PCT/JP2015/086086 patent/WO2017109904A1/ja active Application Filing
- 2015-12-24 JP JP2017557592A patent/JP6807869B2/ja active Active
- 2015-12-24 CN CN201580085814.2A patent/CN108697310B/zh active Active
-
2018
- 2018-06-20 US US16/013,181 patent/US10748279B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10748279B2 (en) | 2020-08-18 |
WO2017109904A1 (ja) | 2017-06-29 |
JP6807869B2 (ja) | 2021-01-06 |
JPWO2017109904A1 (ja) | 2018-10-11 |
CN108697310A (zh) | 2018-10-23 |
US20180365830A1 (en) | 2018-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108697310B (zh) | 图像处理装置、图像处理方法和记录了程序的介质 | |
CN113543694B (zh) | 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质 | |
US8811698B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US8837821B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
CN113498323B (zh) | 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质 | |
US8457376B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
EP2157790A1 (en) | Image display device and image display program | |
US20080068454A1 (en) | Image display apparatus | |
EP2508116A1 (en) | Image-display device and capsule-type endoscope system | |
JPWO2012153568A1 (ja) | 医用画像処理装置 | |
US20170079506A1 (en) | Image processing device, image processing method, and computer-readable recording medium | |
JP2021051573A (ja) | 画像処理装置、および画像処理装置の制御方法 | |
JP2011024628A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
US20220222820A1 (en) | Image processing apparatus, image processing method, and program | |
JP2017213058A (ja) | 画像処理装置、内視鏡装置、画像処理方法、及び画像処理プログラム | |
US8774521B2 (en) | Image processing apparatus, image processing method, and computer-readable recording device | |
JP5622903B2 (ja) | 画像処理装置、画像処理装置の作動方法および画像処理プログラム | |
US20190122344A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP7265805B2 (ja) | 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体 | |
CN115880208A (zh) | 图像处理方法、图像处理装置及医疗设备 | |
CN106780429B (zh) | 基于感知颜色空间和关键角点的wce视频时序冗余图像数据的关键帧提取方法 | |
WO2016056408A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20240161283A1 (en) | Image processing device, image processing method, and storage medium | |
WO2022234567A1 (en) | Systems, methods, and machine instructions for re-coloring color images | |
CN117459814A (zh) | 一种胶囊式内窥镜系统、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |