CN109310292A - 图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序 - Google Patents

图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序 Download PDF

Info

Publication number
CN109310292A
CN109310292A CN201680086606.9A CN201680086606A CN109310292A CN 109310292 A CN109310292 A CN 109310292A CN 201680086606 A CN201680086606 A CN 201680086606A CN 109310292 A CN109310292 A CN 109310292A
Authority
CN
China
Prior art keywords
learning
group
object images
result
advance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680086606.9A
Other languages
English (en)
Other versions
CN109310292B (zh
Inventor
上山都士也
神田大和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN109310292A publication Critical patent/CN109310292A/zh
Application granted granted Critical
Publication of CN109310292B publication Critical patent/CN109310292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Otolaryngology (AREA)
  • Urology & Nephrology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Pulmonology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供能够捕捉医疗图像特有的特征的图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序。学习装置1包括：预先学习部61，其基于相似图像组进行预先学习，所述相似图像组的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似；和正式学习部62，其基于预先学习部61的预先学习结果和对象图像组，进行正式学习。

Description

图像处理装置、学习装置、图像处理方法、识别基准的生成方 法、学习方法和程序
技术领域
本发明涉及生成识别器的图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序，所述识别器用于根据活体内医疗图像识别活体是否正常。
背景技术
近年来，在使用大容量的数据进行识别器的学习的学习装置中，为了避免在少量数据集的学习中出现过度拟合(Overfitting)，已知一种这样的学习方法，即，在使用Imagenet等大量的普通物体图像数据集进行识别器的预先学习之后，使用少量数据集进行正式学习(参考非专利文献1)。
现有技术文献
非专利文献
非专利文献1：Pulkit Agrawal,et.al“Analyzing the Performance ofMultilayer Neural Networks for Object Recognition”,arXiv:1407.1610V2,arXiv.org,(22,Sep,2014)
发明内容
发明要解决的技术问题
在医疗领域中，也是可以考虑在进行上述预先学习之后进行正式学习。但是，在如上述现有技术那样使用普通物体图像数据集进行的预先学习中，因为普通物体图像数据和医疗图像数据各自的特征不同，所以存在不能捕捉医疗图像数据特有的特征，预先学习不充分这样的问题。
本发明就是鉴于上述的问题而完成的，目的在于提供一种能够捕捉医疗图像数据特有的特征的图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序。
用于解决技术问题的技术手段
为了解决上述的技术问题，达到本发明的目的，本发明的图像处理装置的特征在于：包括识别部，该识别部输出基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果，其中，所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
本发明的学习装置的特征在于，包括：预先学习部，其基于相似图像组进行预先学习，所述相似图像组的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似；和正式学习部，其基于所述预先学习部的预先学习结果和所述对象图像组，进行正式学习。
本发明的图像处理方法是图像处理装置执行的图像处理方法，其特征在于：包括识别步骤，输出基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果，其中，所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
本发明的识别基准的生成方法是学习装置执行的识别基准的生成方法，其特征在于：包括识别步骤，将基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果作为所述识别基准输出，其中，所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
本发明的学习方法是学习装置执行的学习方法，其特征在于，包括：预先学习步骤，从记录部获取相似图像组，基于获取的所述相似图像组进行预先学习，所述相似图像组的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似；和正式学习步骤，从所述记录部获取所述对象图像组，基于获取的所述对象图像组和所述预先学习步骤的预先学习结果，进行正式学习。
本发明的程序的特征在于：使图像处理装置执行下述的识别步骤，该识别步骤输出基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果，其中，所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
本发明的程序的特征在于：使学习装置执行下述的识别步骤，该识别步骤将基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果作为识别基准输出，其中，所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
本发明的程序的特征在于：所述程序使学习装置执行下述的预先学习步骤和正式学习步骤，其中，所述预先学习步骤从记录部获取相似图像组，基于获取的所述相似图像组进行预先学习，所述相似图像组的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似，所述正式学习步骤从所述记录部获取所述对象图像组，基于获取的所述对象图像组和所述预先学习步骤的预先学习结果，进行正式学习。
发明的效果
依照本发明，能够获得能够捕捉医疗图像数据特有的特征的效果。
附图说明
图1是表示本发明的实施方式1的学习装置的结构的框图。
图2是表示本发明的实施方式1的学习装置执行的处理的概要的流程图。
图3是表示图2的预先学习处理的概要的流程图。
图4是表示图3的预先学习用医疗图像获取处理的概要的流程图。
图5是表示图2的正式学习的概要的流程图。
图6是表示本发明的实施方式1的变形例1的预先学习用医疗图像获取处理的概要的流程图。
图7是表示本发明的实施方式1的变形例2的预先学习部执行的预先学习处理的概要的流程图。
图8是表示图7的医疗图像获取处理的概要的流程图。
图9是表示本发明的实施方式1的变形例3的预先学习部执行的预先学习处理的概要的流程图。
图10是表示图9的医疗图像获取处理的概要的流程图。
图11是表示本发明的实施方式2的学习装置的结构的框图。
图12是表示本发明的实施方式2的学习装置执行的处理的概要的流程图。
图13是表示图12的基础学习处理的概要的流程图。
图14是表示本发明的实施方式3的图像处理装置的结构的框图。
图15是表示本发明的实施方式3的图像处理装置执行的处理的概要的流程图。
具体实施方式
下面，参考附图，对包括本发明的实施方式的学习装置的图像处理装置、学习方法和程序进行说明。但是，本发明并不限定于这些实施方式。在各附图的记载中，对相同的部分标注相同的附图标记。
(实施方式1)
[学习装置的结构]
图1是表示本发明的实施方式1的学习装置的结构的框图。本实施方式1的学习装置1，例如基于特性与作为学习对象的医疗图像组中的被摄体的形状、被摄体的组织结构和内窥镜的摄像系统这3个特性中的至少1个特性相似的相似图像组进行预先学习之后，基于作为学习对象的医疗图像组进行正式学习，其中，所述作为学习对象的医疗图像组是通过利用内窥镜(软性内窥镜或硬性内窥镜等插入式内窥镜)或胶囊内窥镜(下面将它们统称为“内窥镜”)对活体的管腔进行摄像而获得的。这里，医疗图像通常是在各像素位置具有与R(红)、G(绿)和B(蓝)的波长成分对应的像素级(像素值)的彩色图像。
图1所示的学习装置1包括：从内窥镜或外部获取与内窥镜摄像得到的医疗图像组对应的对象医疗图像组数据和预先学习用医疗图像组数据的图像获取部2；接收通过外部操作输入的输入信号的输入部3；记录通过图像获取部2获取的图像数据和各种程序的记录部4；控制学习装置1整体的动作的控制部5；和基于图像获取部2获取的对象医疗图像组数据和预先学习用医疗图像组数据进行学习的运算部6。
图像获取部2适当地采用与包括内窥镜的系统的构成方式相应的结构。例如，图像获取部2在为了与内窥镜之间进行图像数据的交接而使用可移动型的记录介质的情况下，构成为可拆装地安装该记录介质并可读取该记录介质记录的图像数据的读取装置。此外，图像获取部2在经服务器获取内窥镜摄像得到的图像数据的情况下，由能够与该服务器双向通信的通信装置等构成，通过与服务器进行数据通信而获取图像数据。图像获取部2也可以由接口装置等构成，内窥镜摄像得到的图像数据可从记录该图像数据的记录装置经电缆被输入至所述接口装置。
输入部3例如可由键盘、鼠标、触摸面板、各种开关等输入设备实现，将受到外部操作而接收的输入信号输出至控制部5。
记录部4可由闪存、ROM(Read Only Memory：只读存储器)或RAM(Random AccessMemory：随机存取存储器)等各种IC存储器、和内置的或用数据通信端子连接的硬盘等实现。记录部4除了记录图像获取部2获取的图像数据之外，还可记录用于使学习装置1动作并且使学习装置1执行各种功能的程序、以及在执行该程序期间使用的数据等。例如，记录部4包括程序记录部41，该程序记录部41记录了用于在使用预先学习用医疗图像组进行预先学习之后，使用对象医疗图像组进行正式学习的程序。并且，记录部4为了后述的运算部6进行学习而记录关于网络结构的信息等。
控制部5可使用CPU(Central Processing Unit：中央处理器)等实现，通过读取记录部4中记录的各种程序，按照从图像获取部2输入的图像数据和从输入部3输入的输入信号等，对构成学习装置1的各部分发出指示并进行数据的传输等，全面地控制学习装置1整体的动作。
运算部6可由CPU等实现，通过从记录部4的程序记录部41读取程序而执行学习处理。
[运算部的结构]
接着，对运算部6的详细结构进行说明。运算部6包括：基于预先学习用医疗图像组进行预先学习的预先学习部61；和基于对象医疗图像组进行正式学习的正式学习部62。
预先学习部61具有：获取预先学习用数据的预先学习用数据获取部611；决定预先学习用的网络结构的预先学习用网络结构决定部612；决定预先学习用的网络的初始参数的预先学习用初始参数决定部613；进行预先学习的预先学习用学习部614；和输出通过预先学习而学习得到的参数的预先学习用参数输出部615。
正式学习部62具有：获取正式学习用数据的正式学习用数据获取部621；决定正式学习用的网络结构的正式学习用网络结构决定部622；决定正式学习用的网络的初始参数的正式学习用初始参数决定部623；进行正式学习的正式学习用学习部624；和输出通过正式学习而学习得到的参数的正式学习用参数输出部625。
[学习装置的处理]
接着，对学习装置1执行的处理进行说明。图2是表示学习装置1执行的处理的概要的流程图。
如图2所示，首先，图像获取部2获取作为处理对象的对象医疗图像组(步骤S1)，并且获取在预先学习时作为处理对象的预先学习用医疗图像组(步骤S2)。
接着，预先学习部61执行预先学习处理，即，基于图像获取部2获取的预先学习用医疗图像组进行预先学习的预先学习处理(步骤S3)。
[预先学习处理]
图3是表示图2的步骤S3中的预先学习处理的概要的流程图。
如图3所示，预先学习用数据获取部611执行获取记录部4中记录的预先学习用医疗图像组的预先学习用医疗图像获取处理(步骤S10)。这里，预先学习用医疗图像组是指与正式学习中作为对象的医疗图像组不同、但是特性与医疗图像组的特性相似的医疗图像组。具体而言，是被摄体的形状相似的医疗图像组。例如，作为被摄体的形状，能够列举管结构。医疗图像中的人体内独特的管结构，在对内窥镜的光源的扩展方式、阴影的产生方式和进深(往深处去)引起的被摄体的变形等进行摄像时产生特殊环境。一般认为，为了对该特殊环境进行预先学习，使用普通物体图像组是不充分的。于是，在本实施方式1中，通过在预先学习中对与上述特殊环境相似的医疗图像组进行学习，能够在预先学习中获取符合特殊环境的参数。其结果是，能够高精度地进行预先学习。具体而言，在本实施方式1中，将活体内管腔的其他脏器图像组用作预先学习用医疗图像组。例如，在本实施方式1中，在对象医疗图像组是通过小肠内窥镜摄像得到的小肠的医疗图像组(下面称为“小肠内窥镜图像组”)的情况下，将一般而言检查数(病例数)较多的、通过大肠内窥镜摄像得到的大肠的医疗图像组(下面称为“大肠内窥镜图像组”)作为预先学习用医疗图像组。
[预先学习用医疗图像获取处理]
图4是表示图3的步骤S10中的预先学习用医疗图像获取处理的概要的流程图。
如图4所示，预先学习用数据获取部611，在与从输入部3输入的指示信号对应的对象医疗图像组是小肠内窥镜图像组的情况下，从记录部4获取大肠内窥镜图像组作为预先学习用医疗图像(步骤S21)。在此情况下，预先学习用数据获取部611将获取的大肠内窥镜图像组分为任意的类别。例如，预先学习用数据获取部611为了检测正式学习的小肠内窥镜图像组的异常，将其划分为正常和异常这2类。因此，预先学习用数据获取部611也同样地将获取的作为预先学习用医疗图像组的大肠内窥镜图像组划分为正常和异常这2类。这样，由于在具有管腔这样的人体内部特有的结构这一点上是共通的，因此即使对象医疗图像组数量少，预先学习用数据获取部611也能够在预先学习中有效地学习上述的特殊环境。在步骤S21之后，学习装置1返回至图3的预先学习处理。
返回图3，继续进行步骤S11以后的说明。
在步骤S11中，预先学习用网络结构决定部612决定预先学习中使用的网络的结构。例如，预先学习用网络结构决定部612将作为一种神经网络(NN：Neural Network)的卷积神经网络(CNN：Convolutional Neural Network)决定为预先学习中使用的网络的结构(参考：Springer Japan(シュプリンガージャパン)，“模式识别与机器学习(パターン認識と機械学習)”，p.270-272(第五章神经网络5.5.6卷积神经网络))。这里，作为预先学习用网络结构决定部612决定的CNN的结构，能够适当地选择深度学习的图像识别工具Caffe的教程(参考：http://caffe.berkeleyvision.org/)中搭载的imageNet用的结构、或CIFAR-10用的结构等。
接着，预先学习用初始参数决定部613决定由预先学习用网络结构决定部612决定的网络结构的初始参数(步骤S12)。在本实施方式1中，预先学习用初始参数决定部613将随机值决定为初始参数。
之后，预先学习用学习部614输入预先学习用数据获取部611获取的预先学习用医疗图像，基于预先学习用网络结构决定部612决定的网络结构，使用预先学习用初始参数决定部613决定的初始值，进行预先学习(步骤S13)。
这里，对预先学习用学习部614进行的预先学习的详情进行说明。下面，对预先学习用网络结构决定部612将CNN决定为网络结构的情况进行说明(参考：优化观点下的深度学习的思路(最適化から見たディープラーニングの考え方))。
CNN是一种模型，用多个非线性变换的合成来表示预测函数。对于输入x＝h0，令f1、……、fL为非线性函，如下式(1)所示地进行定义。
[式1]
hi＝fi(zi),zi＝Wihi-1+bi(i＝1,......,L)……(1)
Wi是耦合权重矩阵，bi是偏置矢量(bias vector)，它们都是要学习的参数。并且，将各hi的成分称为单元(unit)。各非线性函数fi是激活函数，是不具有参数的函数。损失函数可使用NN的输出hL来定义。在本实施方式1中，使用交叉熵误差函数(Cross entropyerror)来定义损失函数。具体而言，使用以下式(2)。
[式2]
l(hL)＝∑i(yiloghL,i+(1-yi)log(1-hL,i))……(2)
在此情况下，hL由于需要是概率矢量，因此使用Softmax函数作为最终层的激活函数。具体而言，使用以下式(3)。
[式3]
这里式(3)的d是输出层的单元数。式(3)是不能分解为每个单元的实值函数的激活函数的一例。NN的优化方法中，基于梯度的方法是主流的方法。关于与某一数据对应的损失l＝l(hL)的梯度，能够对上述式(1)应用链式法则(chain rule，)而如下所示地计算所述梯度。
[式4]
以▽HLl为出发点，使用上述式(4)，按i＝L-1、……、2的顺序计算▽HLl，按每层使用式(5)求取参数的梯度。将该算法称为误差反向传播算法。使用该误差反向传播算法，以使损失函数最小的方式进行学习。在本实施方式1中，使用函数max(0,x)作为激活函数。该函数被称为Rectified Linear Unit(修正线性单元，ReLU)或Rectifier等。ReLU虽然具有值域无界的缺点，但是因为对于取正值的单元，梯度不衰减地进行传播，所以在优化中是有利的(参考：Springer Japan，“模式识别与机器学习”，p.242-250(第五章神经网络5.3.误差反向传播)。预先学习用学习部614将学习的结束条件例如设定为学习次数，在达到了所设定的学习次数的情况下，结束预先学习。
在步骤S13之后，预先学习用参数输出部615输出通过预先学习用学习部614进行预先学习而得到的学习结束时的参数(步骤S14)。在步骤S14之后，学习装置1返回图2。
返回图2，继续进行步骤S4以后的说明。
在步骤S4中，正式学习部62执行基于图像获取部2获取的对象医疗图像组进行正式学习的正式学习处理。
[正式学习处理]
图5是表示图2的步骤S4中的正式学习的概要的流程图。
如图5所示，正式学习用数据获取部621获取记录部4中记录的对象医疗图像组(步骤S31)。
接着，正式学习用网络结构决定部622将上述步骤S11中预先学习用网络结构决定部612决定的网络结构决定为正式学习中使用的网络结构(步骤S32)。
之后，正式学习用初始参数决定部623将上述步骤S14中预先学习用参数输出部615输出的值(参数)决定为初始参数(步骤S33)。
接着，正式学习用学习部624输入正式学习用数据获取部621获取的对象医疗图像组，基于正式学习用网络结构决定部622决定的网络的结构，使用正式学习用初始参数决定部623决定的初始值，进行正式学习(步骤S34)。
之后，正式学习用参数输出部625输出通过正式学习用学习部624进行正式学习而得到的学习结束时的参数(步骤S35)。在步骤S35之后，学习装置1返回图2的主流程。
返回图2，继续进行步骤S5以后的说明。
在步骤S5中，运算部6对外部输出基于正式学习的参数的识别器。
依照以上说明的本发明的实施方式1，预先学习部61对虽然与对象医疗图像不同、但是对象医疗图像映现的被摄体的形状是管结构这样的特性相似的医疗图像进行预先学习，正式学习部62以预先学习部61的预先学习结果为初始值对于对象医疗图像进行正式学习，通过采用这样的方式，能够对用于捕捉人体内管腔结构具有的下述的图像特征的参数进行预先学习，从而能够进行高精度的学习，其中，所述图像特征是光源的扩展方式、阴影的产生方式、和进深引起的被摄体的变形这样的图像特征。其结果是，即使使用少量数据集，也能够得到识别精度高的识别器。
(实施方式1的变形例1)
接着，对本发明的实施方式1的变形例1进行说明。本实施方式1的变形例1与上述实施方式1的预先学习用数据获取部611执行的预先学习用医疗图像获取处理不同。下面，仅对本实施方式1的变形例1的预先学习用数据获取部611执行的预先学习用医疗图像获取处理进行说明。对与上述实施方式1的学习装置1相同的结构标注相同的附图标记，省略说明。
[预先学习用医疗图像获取处理]
图6是表示本发明的实施方式1的变形例1的预先学习用医疗图像获取处理的概要的流程图。
如图6所示，在与从输入部3输入的指示信号对应的对象医疗图像组是小肠内窥镜图像组的情况下，预先学习用数据获取部611从记录部4获取对模仿小肠的状态的仿真脏器进行摄像而得到的仿真脏器图像组作为预先学习用医疗图像组(步骤S41)。这里，仿真脏器图像组是指用内窥镜等对模仿小肠的状态的活体模型进行摄像而得到的图像组。在此情况下，预先学习用数据获取部611获取仿真图像组并将其分为任意的类别。例如，通常，为了检测正式学习的小肠内窥镜图像组的异常，将其分为正常和异常这2类。因此，预先学习用数据获取部611对于作为预先学习用医疗图像组的仿真脏器图像组，也同样地通过在活体模型内例如设置黏膜损伤状态，用内窥镜等对正常部位和黏膜损伤状态的部位进行摄像，将摄像得到的仿真脏器图像组划分为正常和异常这2类而获取。在步骤S41之后，学习装置1返回图3的预先学习处理。
依照以上说明的本发明的实施方式1的变形例1，与难以收集数据的小肠的内窥镜图像组相比较，由于利用活体模型，因此能够多次对其摄像，因此能够学习人体内部特有的结构，进而能够高精度地进行预先学习。
(实施方式1的变形例2)
接着，对本发明的实施方式1的变形例2进行说明。本实施方式1的变形例2与上述实施方式1的预先学习部61执行的预先学习处理不同。下面，对本实施方式1的变形例2的预先学习部执行的预先学习处理进行说明。对与上述实施方式1的学习装置1相同的结构标注相同的附图标记，省略说明。
[预先学习处理]
图7是表示本发明的实施方式1的变形例2的预先学习部61执行的预先学习处理的概要的流程图。
如图7所示，首先，预先学习用数据获取部611执行获取记录部4中记录的预先学习用医疗图像组的预先学习用医疗图像获取处理(步骤S61)。这里，预先学习用医疗图像是指与正式学习中成为对象的医疗图像不同、但是医疗图像的特性相似的医疗图像。具体而言，是被摄体的组织结构与正式学习中成为对象的医疗图像的被摄体的组织结构相似的医疗图像。作为被摄体的组织结构相似的情形，例如能够列举器官系统一致。人体内特有的组织结构在用内窥镜等摄像时产生纹理图案、细微的结构引起的反射光的模样等多种特殊环境。于是，在本实施方式1的变形例2中，通过在预先学习中对上述特殊环境相似的图像数据组进行学习，能够在预先学习中获取符合特殊环境的参数。其结果是，能够高精度地进行预先学习。具体而言，在本实施方式1的变形例2中，器官系统为消化器官、呼吸器官、泌尿器官和循环器官中的任一者，是共通的。预先学习用数据获取部611在对象医疗图像是小肠内窥镜的情况下，获取同样是消化器官的胃的图像作为预先学习中使用的预先学习用医疗图像。
[医疗图像获取处理]
图8是表示图7的步骤S61中说明了的预先学习用医疗图像获取处理的概要的流程图。
如图8所示，在与从输入部3输入的指示信号对应的对象医疗图像组是小肠内窥镜图像组的情况下，预先学习用数据获取部611从记录部4获取具有彼此同样是消化器官这一特性、但是对象医疗图像组的器官不同的胃图像组作为预先学习用医疗图像组(步骤S71)。在此情况下，预先学习用数据获取部611任意地设定类别数。在步骤S71之后，学习装置1返回图7。步骤S62～步骤S65与上述图3的步骤S11～步骤S14分别对应。在步骤S65之后，学习装置1返回图2的主流程。
依照以上说明的本发明的实施方式1的变形例2，因为对因同样是消化器官而与对象医疗图像组的特征相似的人体内特有的黏膜结构进行学习，所以能够对医疗图像中尤其成为问题的细微的纹理特征量进行预先学习，通过以预先学习结果为初始值进行正式学习，能够捕捉人体内组织结构具有的纹理图案和细微的结构引起的反射光的模样等图像的特征，因此能够进行高精度的学习。
(实施方式1的变形例3)
接着，对本发明的实施方式1的变形例3进行说明。本实施方式1的变形例3与上述实施方式1的预先学习部61执行的预先学习处理不同。下面，对本实施方式1的变形例3的预先学习处理执行的预先学习处理进行说明。对与上述实施方式1的学习装置1相同的结构标注相同的附图标记，省略说明。
[预先学习处理]
图9是表示本发明的实施方式1的变形例3的预先学习部61执行的预先学习处理的概要的流程图。
如图9所示，首先，预先学习用数据获取部611执行获取记录部4中记录的作为预先学习对象的医疗图像组的医疗图像获取处理(步骤S81)。这里，预先学习用的医疗图像组是指与正式学习中成为对象的医疗图像组不同、但是与医疗图像组的特性相似的医疗图像组。具体而言，是摄像得到正式学习中成为对象的医疗图像组的摄像系统(包括光学系统和照明系统)和被摄体均分别相似的医疗图像组。作为摄像系统，能够列举内窥镜的摄像系统。进入被检体内部的内窥镜在用内窥镜等摄像时产生广角特有的摄像的畸变、摄像元件自身的特性和照明光的照射特性等诸多的特殊环境。于是，在本实施方式1的变形例3中，通过在预先学习中对上述特殊环境相似的图像组进行学习，能够在预先学习中获取符合特殊环境的参数。其结果是，能够高精度地进行预先学习。具体而言，在本实施方式1的变形例3中，在预先学习中使用摄像系统相同、并且用该相同的摄像系统对仿真脏器进行摄像而得到的医疗图像组。例如，在对象医疗图像组是利用胃用内窥镜对胃摄像而得到的图像组的情况下，预先学习用数据获取部611获取利用胃用内窥镜对模仿胃的活体模型摄像而得到的图像组作为预先学习用医疗图像组。
[医疗图像获取处理]
图10是表示在图9的步骤S81中说明了的医疗图像获取处理的概要的流程图。
如图10所示，预先学习用数据获取部611，在与从输入部3输入的指示信号对应的对象医疗图像组是胃用内窥镜摄像得到的胃内窥镜图像组的情况下，从记录部4获取具有彼此是相同的摄像系统这一特性、并且具有与对象医疗图像的器官相同的特性的仿真脏器图像组作为预先学习用医疗图像组(步骤S91)。在此情况下，预先学习用数据获取部611获取的仿真脏器图像组的类别数可以任意设定。由于为了检测正式学习的胃内窥镜图像组的异常而优选将其分类为正常和异常这2类，因此对于预先学习的仿真图像组，也同样地优选在活体模型中生成黏膜损伤状态，将摄像得到黏膜损伤状态的仿真脏器图像组视为异常，将摄像得到黏膜损伤状态之外的状态的仿真脏器图像组视为正常，这样将预先学习的仿真脏器图像组分为2类。通过采用这样的方式，与难以收集数据的实际的胃的内窥镜图像组相比较，由于利用活体模型，因此能够任意次数地对其进行摄像，因此能够应对少量数据，同时因为用相同的摄像系统进行学习，所以能够高精度地进行预先学习。在步骤S91之后，学习装置1返回图9。步骤S82～步骤S85与上述图3的步骤S11～步骤S14分别对应。在步骤S85之后，学习装置1返回图2的主流程。
依照以上说明的本发明的实施方式1的变形例3，预先学习部61对与对象医疗图像组不同、但是对象医疗图像组的特性相似的摄像系统的医疗图像组进行预先学习，正式学习部62以预先学习部61预先学习得到的预先学习结果为初始值，对于对象医疗图像组进行正式学习，通过采用这样的方式，能够对捕捉下述的图像特征的参数进行预先学习，从而能够进行高精度的学习，其中，所述图像特征是对人体内部摄像的内窥镜所具有的广角特有的摄像的畸变、摄像元件自身的特性和照明光的照明特性等图像特征。
(实施方式2)
接着，对本发明的实施方式2进行说明。本实施方式2的图像处理装置的结构与上述实施方式1的学习装置1的结构不同。具体而言，在上述实施方式1中，在进行预先学习之后进行正式学习，但在本实施方式2中，在进行预先学习之前还进行基础学习。下面，在说明本实施方式2的图像处理装置的结构之后，对本实施方式2的学习装置执行的处理进行说明。对于与上述实施方式1的学习装置1相同的结构标注相同的附图标记，省略说明。
[图像处理装置的结构]
图11是表示本发明的实施方式2的学习装置的结构的框图。图11所示的学习装置1a设置运算部6a来代替上述实施方式1的学习装置1的运算部6。
[运算部的结构]
运算部6a除了具有上述实施方式1的运算部6的结构之外，还具有基础学习部60。
基础学习部60进行基础学习。这里，基础学习是指在预先学习之前使用与对象医疗图像组不同的、普通的大规模数据(普通的大规模图像组)进行学习。作为普通的大规模数据，有Imagenet等。通过使用普通的大规模图像组进行CNN的学习，网络的一部分模仿哺乳动物的初始视觉皮层(参考：深度学习与图像识别，基础和最近的趋势，冈谷贵之(ディープラーニングと画像認識基礎と最近の動向岡谷貴之))。在本实施方式2中，赋予模仿了上述的初始视觉皮层的初始值而执行预先学习。通过采用这样的方式，与使用随机值相比能够提高精度。
基础学习部60具有：获取基础学习图像组的基础学习用数据获取部601；决定基础学习用的网络结构的基础学习用网络结构决定部602；决定基础学习用网络的初始参数的基础学习用初始参数决定部603；进行基础学习的基础学习用学习部604；和输出通过基础学习而学习得到的参数的基础学习用参数输出部605。
[学习装置的处理]
接着，对学习装置1a执行的处理进行说明。图12是表示学习装置1a执行的处理的概要的流程图。在图12中，步骤S101、步骤S102、步骤S105～步骤S107与上述图2的步骤S1～步骤S5分别对应。
在步骤S103中，图像获取部2获取用于进行基础学习的基础学习用图像组。
接着，基础学习部60执行进行基础学习的基础学习处理(步骤S104)。
[基础学习处理]
图13是表示上述的图12的步骤S104中的基础学习处理的概要的流程图。
如图13所示，基础学习用数据获取部601获取记录部4中记录的基础学习用普通图像组(步骤S201)。
接着，基础学习用网络结构决定部602决定学习中使用的网络结构(步骤S202)。例如，基础学习用网络结构决定部602将学习中使用的网络结构决定为CNN。
之后，基础学习用初始参数决定部603决定基础学习用网络结构决定部602决定了的网络结构的初始参数(步骤S203)。在此情况下，基础学习用初始参数决定部603将随机值决定为初始参数。
接着，基础学习用学习部604输入基础学习用数据获取部601获取的基础图像用的普通图像组，基于基础学习用网络结构决定部602决定的网络结构，使用基础学习用初始参数决定部603决定的初始值，进行预先学习(步骤S204)。
之后，基础学习用参数输出部605输出通过基础学习用学习部604进行基础学习而得到的学习结束时的参数(步骤S205)。在步骤S205之后，学习装置1a返回图12的主流程。
依照以上说明的本发明的实施方式2，通过基础学习部60在预先学习之前对与成为对象的医疗图像不同的大量的普通图像进行基础学习，能够得到在预先学习时有效的初始值，能够进行高精度的学习。
(实施方式3)
接着，对本发明的实施方式3进行说明。本实施方式3的图像处理装置的结构与上述实施方式1的学习装置1的结构不同。具体而言，在上述的实施方式1中，将学习结果输出至识别器，但在本实施方式3中，在图像处理装置中设置识别器，基于正式学习输出参数，对识别对象图像进行识别。下面，在说明本实施方式3的图像处理装置的结构之后，对本实施方式3的图像处理装置执行的处理进行说明。
[图像处理装置的结构]
图14是表示本发明的实施方式3的图像处理装置的结构的框图。图14所示的图像处理装置1b设置运算部6b和记录部4b来代替上述实施方式1的学习装置1的运算部6和记录部4。
记录部4b除了具有上述实施方式1的记录部4的结构之外，还具有用于记录上述实施方式1、2的学习装置1、1a生成的作为识别基准的正式学习输出参数(正式学习结果)的识别基准记录部42。
[运算部的结构]
运算部6b具有识别部63。识别部63输出基于识别基准记录部42记录的作为识别基准的正式学习输出参数，对识别对象图像组进行识别而得到的识别结果。
[图像处理装置的处理]
图15是表示图像处理装置1b执行的处理的概要的流程图。如图15所示，图像获取部2获取识别对象图像(步骤S301)。
接着，识别部63基于识别基准记录部42记录的作为识别基准的正式学习输出参数，对识别对象图像进行识别(步骤S302)。具体而言，在正式学习中将小肠内窥镜图像分为其是正常还是异常这2类的情况下，识别部63生成基于以正式学习中学习得到的参数为初始值的网络的识别基准，并基于生成的该识别基准将新的识别对象图像分为其是正常还是异常这2类。
之后，运算部6b基于识别部63的分类结果，输出识别结果(步骤S303)。在步骤S303之后，结束本处理。
依照以上说明的本发明的实施方式3，因为识别部63使用以正式学习中学习得到的参数为初始值的网络对新的识别对象图像进行识别，所以能够将高精度地学习得到的结果应用于识别对象图像。
(其他实施方式)
本发明通过用个人计算机或工作站(Workstation)等计算机系统执行记录装置中记录的图像处理程序而能够实现。也可以将这样的计算机系统经局域网(LAN)、广域网(WAN)、或国际互联网等公共线路与其他计算机系统、服务器等设备连接而使用。在此情况下，实施方式1～2和它们的变形例的学习装置和图像处理装置也可以构成为，经这些网络获取管腔内图像的图像数据，或者对经这些网络连接的查看器(Viewer)或打印机等各种输出设备输出图像处理结果，或者将图像处理结果保存在经这些网络连接的存储装置、例如能够由与网络连接的读取装置读取的记录介质等中。
在本说明书的流程图的说明中，使用“首先”、“之后”、“接着”等词语说明了步骤之间的处理的前后关系，但实施本发明所需的处理的顺序并不由这些词语唯一地决定。即，能够在没有矛盾的范围内改变本说明书记载的流程图中的处理的顺序。
本发明不限定于实施方式1～3和它们的变形例，通过将各实施方式和变形例中记载的多个构成要素适当地组合而能够形成各种发明。例如，可以从各实施方式和变形例所示的全部构成要素中排除某些构成要素而形成本发明，也可以将不同实施方式和变形例所示的构成要素适当地组合而形成本发明。
附图标记的说明
1、1a 学习装置
1b 图像处理装置
2 图像获取部
3 输入部
4 记录部
5 控制部
6、6a、6b 运算部
41 程序记录部
60 基础学习部
61 预先学习部
62 正式学习部
63 识别部
601 基础学习用数据获取部
602 基础学习用网络结构决定部
603 基础学习用初始参数决定部
604 基础学习用学习部
605 基础学习用参数输出部
611 预先学习用数据获取部
612 预先学习用网络结构决定部
613 预先学习用初始参数决定部
614 预先学习用学习部
615 预先学习用参数输出部
621 正式学习用数据获取部
622 正式学习用网络结构决定部
623 正式学习用初始参数决定部
624 正式学习用学习部
625 正式学习用参数输出部

Claims (16)

1.一种图像处理装置，其特征在于：
包括识别部，其输出基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果，其中，
所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，
所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
2.如权利要求1所述的图像处理装置，其特征在于：
所述被摄体的形状是活体内的管结构。
3.如权利要求2所述的图像处理装置，其特征在于：
所述对象图像组是对规定区间的活体内管腔进行摄像而得到的图像组，
所述相似图像组是对区间与所述对象图像组不同的活体内管腔进行摄像而得到的图像组。
4.如权利要求2所述的图像处理装置，其特征在于：
所述相似图像组是对模仿所述管结构的仿真脏器进行摄像而得到的仿真脏器图像组。
5.如权利要求1所述的图像处理装置，其特征在于：
所述被摄体的组织结构是器官系统的黏膜结构；
所述相似图像组是对与所述对象图像组属于相同的器官系统的黏膜结构进行摄像而得到的图像组。
6.如权利要求5所述的图像处理装置，其特征在于：
所述器官系统是消化器官、呼吸器官、泌尿器官和循环器官中的任一者。
7.如权利要求1所述的图像处理装置，其特征在于：
所述设备的摄像系统是内窥镜的摄像系统。
8.如权利要求7所述的图像处理装置，其特征在于：
所述相似图像组是与所述对象图像组同样地利用所述内窥镜的摄像系统对模仿规定脏器的仿真脏器进行摄像而得到的图像组。
9.如权利要求1～8中任意一项所述的图像处理装置，其特征在于：
所述预先学习基于基础学习结果和所述相似图像组而进行，其中，
所述基础学习结果是基于特性与所述对象图像组不同的非相似图像组进行基础学习而得到的。
10.一种学习装置，其特征在于，包括：
预先学习部，其基于相似图像组进行预先学习，所述相似图像组的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似；和
正式学习部，其基于所述预先学习部的预先学习结果和所述对象图像组，进行正式学习。
11.一种图像处理装置执行的图像处理方法，其特征在于：
包括识别步骤，输出基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果，其中，
所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，
所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
12.一种学习装置执行的识别基准的生成方法，其特征在于：
包括识别步骤，将基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果作为所述识别基准输出，其中，
所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，
所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
13.一种学习装置执行的学习方法，其特征在于，包括：
预先学习步骤，从记录部获取相似图像组，基于获取的所述相似图像进行预先学习，所述相似图像的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似；和
正式学习步骤，从所述记录部获取所述对象图像组，基于获取的所述对象图像组和所述预先学习步骤的预先学习结果，进行正式学习。
14.一种程序，其特征在于：
使图像处理装置执行下述的识别步骤，
所述识别步骤输出基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果，其中，
所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，
所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
15.一种程序，其特征在于：
使学习装置执行下述的识别步骤，
所述识别步骤将基于正式学习结果对作为识别对象的图像组进行识别而得到的识别结果作为识别基准输出，其中，
所述正式学习结果是基于预先学习的结果和作为学习对象的对象图像组进行正式学习而得到的，
所述预先学习的结果是基于相似图像组进行预先学习而得到的，所述相似图像组的特性与在所述对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄得到所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似。
16.一种程序，其特征在于：
使学习装置执行下述的预先学习步骤和正式学习步骤，其中，
所述预先学习步骤从记录部获取相似图像组，基于获取的所述相似图像组进行预先学习，所述相似图像组的特性与在作为学习对象的对象图像组中映现的被摄体的形状、在所述对象图像组中映现的被摄体的组织结构和拍摄所述对象图像组的设备的摄像系统这3个特性中的至少1个特性相似，
所述正式学习步骤从所述记录部获取所述对象图像组，基于获取的所述对象图像组和所述预先学习步骤的预先学习结果，进行正式学习。
CN201680086606.9A 2016-06-24 2016-06-24 图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和记录有程序的计算机可读取的记录介质 Active CN109310292B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/068877 WO2017221412A1 (ja) 2016-06-24 2016-06-24 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109310292A true CN109310292A (zh) 2019-02-05
CN109310292B CN109310292B (zh) 2021-03-05

Family

ID=60783906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680086606.9A Active CN109310292B (zh) 2016-06-24 2016-06-24 图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和记录有程序的计算机可读取的记录介质

Country Status (5)

Country Link
US (1) US20190117167A1 (zh)
JP (1) JP6707131B2 (zh)
CN (1) CN109310292B (zh)
DE (1) DE112016007005T5 (zh)
WO (1) WO2017221412A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363751A (zh) * 2019-07-01 2019-10-22 浙江大学 一种基于生成协作网络的大肠内视镜息肉检测方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11944261B2 (en) * 2018-09-27 2024-04-02 Hoya Corporation Electronic endoscope system and data processing device
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP7477269B2 (ja) * 2019-07-19 2024-05-01 株式会社ニコン 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム
KR102449240B1 (ko) * 2020-06-22 2022-09-29 주식회사 뷰노 모델 학습 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252276A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
WO2015118686A1 (ja) * 2014-02-10 2015-08-13 三菱電機株式会社 階層型ニューラルネットワーク装置、判別器学習方法および判別方法
JP2015191334A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 情報処理装置、情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232986A (ja) * 1992-02-21 1993-09-10 Hitachi Ltd 音声信号用前処理方法
US20020186875A1 (en) * 2001-04-09 2002-12-12 Burmer Glenna C. Computer methods for image pattern recognition in organic material
AU2004268576A1 (en) * 2003-08-21 2005-03-10 Ischem Corporation Automated methods and systems for vascular plaque detection and analysis
US20100189326A1 (en) * 2009-01-29 2010-07-29 Mcginnis Ryan Computer-aided detection of folds in medical imagery of the colon
WO2011005865A2 (en) * 2009-07-07 2011-01-13 The Johns Hopkins University A system and method for automated disease assessment in capsule endoscopy
US9445713B2 (en) * 2013-09-05 2016-09-20 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
WO2016161115A1 (en) * 2015-03-31 2016-10-06 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convolutional neural networks
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2021181564A1 (ja) * 2020-03-11 2021-09-16 オリンパス株式会社 処理システム、画像処理方法及び学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010252276A (ja) * 2009-04-20 2010-11-04 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
WO2015118686A1 (ja) * 2014-02-10 2015-08-13 三菱電機株式会社 階層型ニューラルネットワーク装置、判別器学習方法および判別方法
JP2015191334A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 情報処理装置、情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363751A (zh) * 2019-07-01 2019-10-22 浙江大学 一种基于生成协作网络的大肠内视镜息肉检测方法

Also Published As

Publication number Publication date
JPWO2017221412A1 (ja) 2019-04-11
US20190117167A1 (en) 2019-04-25
DE112016007005T5 (de) 2019-03-07
CN109310292B (zh) 2021-03-05
JP6707131B2 (ja) 2020-06-10
WO2017221412A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
CN109310292A (zh) 图像处理装置、学习装置、图像处理方法、识别基准的生成方法、学习方法和程序
Rodrigues et al. A new approach for classification skin lesion based on transfer learning, deep learning, and IoT system
Zou et al. Classifying digestive organs in wireless capsule endoscopy images based on deep convolutional neural network
US11553828B2 (en) Diagnosis support apparatus, diagnosis support method and computer-readable non-transitory storage medium for storing program
CN109670532A (zh) 生物体器官组织图像的异常识别方法、装置及系统
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN107292347A (zh) 一种胶囊内窥镜图像识别方法
CN109346159A (zh) 病例图像分类方法、装置、计算机设备及存储介质
CN109948671B (zh) 图像分类方法、装置、存储介质以及内窥镜成像设备
CN104869884B (zh) 医用图像处理装置以及医用图像处理方法
CN106910184B (zh) 基于深度卷积神经网络的内窥镜图像肠道出血检测方法
Kuzin et al. Camera model identification using convolutional neural networks
WO2020256568A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
Ly et al. New compact deep learning model for skin cancer recognition
Henning et al. A convolutional neural network approach for classifying leukocoria
Fonseca et al. Abnormality classification in small datasets of capsule endoscopy images
CN111784669B (zh) 一种胶囊内镜图像多病灶检测方法
CN113705311A (zh) 图像处理方法和装置、存储介质及电子装置
Valério et al. Lesions multiclass classification in endoscopic capsule frames
Al Hajj et al. Smart data augmentation for surgical tool detection on the surgical tray
Xia et al. A nested u-structure for instrument segmentation in robotic surgery
Wang et al. Fluorescence lifetime imaging endomicroscopy-based ex-vivo lung cancer prediction using multi-scale concatenated-dilation convolutional neural networks
Aksenov et al. An ensemble of convolutional neural networks for the use in video endoscopy
Cao et al. Transformer for computer-aided diagnosis of laryngeal carcinoma in pcle images
CN114364298A (zh) 内窥镜系统、处理系统、内窥镜系统的工作方法以及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant