CN114901119A - 图像处理系统、内窥镜系统以及图像处理方法 - Google Patents

Abstract

图像处理系统(200)包括：图像取得部(210)，其取得处理对象图像；以及处理部(220)，其进行输出在处理对象图像中检测出关注区域的结果即检测结果的处理。在处理部(220)中，基于观察方法分类器，进行将拍摄处理对象图像时的观察方法分类为第一观察方法或第二观察方法的分类处理，基于观察方法分类器的分类结果，进行选择第一关注区域检测器或第二关注区域检测器的选择处理，并基于所选择的关注区域检测器输出检测结果。

Description

图像处理系统、内窥镜系统以及图像处理方法

技术领域

本发明涉及图像处理系统、内窥镜系统以及图像处理方法等。

背景技术

通过进行以生物体内图像为对象的图像处理来支持医生的诊断的方法广为人知。特别是，进行了将基于深度学习的图像识别应用于病变检测、恶性度鉴别的尝试。另外，还公开了各种用于提高图像识别的精度的方法。

例如在专利文献1中，在异常阴影候选的判定中，通过使用已经进行了是正常图像还是异常图像的分类的多个图像的特征量和新输入图像的特征量的比较判定来实现判定精度的提高。

现有技术文献

专利文献

专利文献1：日本特开2004-351100号公报

发明内容

发明要解决的问题

在医生使用内窥镜进行诊断时，有时会切换利用多个观察方法。在使用基于在第一观察方法中拍摄到的图像而生成的关注区域检测器的情况下，与将在第一观察方法中拍摄到的图像作为对象的检测精度相比，将在不同的第二观察方法中拍摄到的图像作为对象的检测精度降低。

在专利文献1中，没有考虑学习时以及检测处理时的图像的观察方法，未公开根据该观察方法来变更特征量的提取、比较判定的方式这样的方法。因此，在输入了观察方法与预先进行了分类的多个图像不同的图像时，判定精度恶化。

根据本公开的几个方式，可提供在以在多个观察方法中拍摄到的图像为对象的情况下也能够执行精度高的检测处理的图像处理系统、内窥镜系统以及图像处理方法等。

用于解决问题的手段

本公开的一个方式涉及一种图像处理系统，包括：图像取得部，其取得处理对象图像；以及处理部，其进行输出检测结果的处理，所述检测结果是在所述处理对象图像中检测出关注区域的结果，所述处理部进行以下处理：分类处理，基于观察方法分类器，将拍摄所述处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意的所述观察方法；以及选择处理，基于所述观察方法分类器的分类结果，选择包含第一关注区域检测器和第二关注区域检测器的多个关注区域检测器中的任意的所述关注区域检测器，在所述选择处理中选择了所述第一关注区域检测器的情况下，所述处理部输出基于所述第一关注区域检测器而从被分类为所述第一观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果，在所述选择处理中选择了所述第二关注区域检测器的情况下，所述处理部输出基于所述第二关注区域检测器而从被分类为所述第二观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果。

本公开的其他方式涉及一种内窥镜系统，包括：拍摄部，其拍摄生物体内图像；图像取得部，其取得所述生物体内图像作为处理对象图像；以及处理部，其进行输出检测结果的处理，所述检测结果是在所述处理对象图像中检测出关注区域的结果，所述处理部进行以下处理：分类处理，基于观察方法分类器，将拍摄所述处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意的所述观察方法；以及选择处理，基于所述观察方法分类器的分类结果，选择包含第一关注区域检测器和第二关注区域检测器的多个关注区域检测器中的任意的所述关注区域检测器，在所述选择处理中选择了所述第一关注区域检测器的情况下，所述处理部输出基于所述第一关注区域检测器而从被分类为所述第一观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果，在所述选择处理中选择了所述第二关注区域检测器的情况下，所述处理部输出基于所述第二关注区域检测器而从被分类为所述第二观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果。

本发明的又一其他方式涉及一种图像处理方法，在该图像处理方法中，取得处理对象图像，进行分类处理，在所述分类处理中，基于观察方法分类器，将拍摄所述处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意的所述观察方法，进行选择处理，在所述选择处理中，基于所述观察方法分类器的分类结果，选择包含第一关注区域检测器和第二关注区域检测器的多个关注区域检测器中的任意的所述关注区域检测器，在所述选择处理中选择了所述第一关注区域检测器的情况下，输出基于所述第一关注区域检测器而从被分类为所述第一观察方法的所述处理对象图像中检测出关注区域的检测结果，在所述选择处理中选择了所述第二关注区域检测器的情况下，输出基于所述第二关注区域检测器而从被分类为所述第二观察方法的所述处理对象图像中检测出所述关注区域的检测结果。

附图说明

图1是包括图像处理系统的系统的概要结构例。

图2是学习装置的结构例。

图3是图像处理系统的结构例。

图4是内窥镜系统的结构例。

图5的(A)、图5的(B)是神经网络的结构例。

图6的(A)是说明关注区域检测器的输入和输出的图，图6的(B)是说明观察方法分类器的输入和输出的图。

图7是第一实施方式的学习装置的结构例。

图8是第一实施方式的图像处理系统的结构例。

图9是说明第一实施方式的检测处理的流程图。

图10是作为检测一体型观察方法分类器的神经网络的结构例。

图11是第二实施方式的图像处理系统的结构例。

图12是说明第二实施方式的检测处理的流程图。

图13是第三实施方式的学习装置的结构例。

图14是第四实施方式的学习装置的结构例。

具体实施方式

以下，对本实施方式进行说明。另外，以下说明的本实施方式并不对权利要求书所记载的内容进行不当限定。另外，在本实施方式中说明的全部结构并不一定是本公开的必要结构要件。

1.概要

在医生使用内窥镜系统进行诊断等时，使用各种观察方法。这里的观察具体是指使用拍摄图像来观察被摄体的状态。拍摄图像具体是指生物体内图像。观察方法会根据内窥镜装置的照明光的种类、被摄体的状态而变化。作为观察方法，可以考虑将普通光作为照明光进行照射从而进行拍摄的观察方法即普通光观察、将特殊光作为照明光进行照射从而进行拍摄的观察方法即特殊光观察、在将染料散布于被摄体的状态下进行拍摄的观察方法即色素散布观察等。在以下的说明中，将在普通光观察下拍摄的图像记为普通光图像，将在特殊光观察下拍摄的图像记为特殊光图像，将在色素散布观察下拍摄的图像记为色素散布图像。

普通光是指在与可见光对应的波段中的宽波段具有强度的光，狭义上是白色光。特殊光是指分光特性与普通光不同的光，例如是波段比普通光窄的窄波段光。作为使用了特殊光的观察方法，例如考虑使用了与390nm～445nm对应的窄波段光和与530nm～550nm对应的窄波段光的NBI(Narrow Band Imaging：窄带成像)。另外，特殊光也可以包含红外光等可见光以外的波段的光。用于特殊光观察的特殊光已知有各种波段的光，在本实施方式中能够广泛地应用它们。色素散布观察中的染料例如为靛蓝胭脂红。通过散布靛蓝胭脂红，能够提高息肉的视认性。染料的种类或作为对象的关注区域的组合也是分别已知的，在本实施方式的色素散布观察中能够广泛地应用它们。

如上所述，以支持医生的诊断为目的，进行了通过深度学习等机器学习来生成检测器，并将该检测器应用于关注区域的检测的尝试。另外，本实施方式中的关注区域是指对于使用者而言观察的优先顺位比其他区域相对高的区域。在用户是进行诊断或治疗的医生的情况下，关注区域例如与拍摄病变部的区域对应。但是，如果医生想要观察的对象是泡或粪便，则关注区域也可以是拍摄了该泡部分或粪便部分的区域。即，用户应该关注的对象根据观察目的而不同，但在进行该观察时，对于用户而言观察的优先顺位比其他区域相对高的区域成为关注区域。以下，主要对关注区域是病变或息肉的例子进行说明。

在内窥镜检查中，医生在普通光和特殊光之间切换照明光、在体内组织散布色素等，对被摄体进行拍摄的观察方法发生变化。由于该观察方法变化，适合于病变检测的检测器的参数发生变化。例如，在仅使用普通光图像进行学习的检测器中，会认为与普通光图像相比，特殊光图像的病变检测的精度不佳。因此，在内窥镜检查中观察方法发生变化的情况下，也需要良好地保持病变的检测精度的方法。

但是，在专利文献1等的现有方法中，没有公开通过使用怎样的图像作为训练数据来生成检测器，或者在生成了多个检测器的情况下，如何组合该多个检测器来执行检测处理。

在本实施方式的方法中，根据基于在第一观察方法中拍摄到的图像而生成的第一关注区域检测器和基于在第二观察方法中拍摄到的图像而生成的第二关注区域检测器来进行关注区域的检测处理。此时，基于观察方法分类部估计处理对象图像的观察方法，并且基于估计结果来选择在检测处理中使用的检测器。这样，即使在处理对象图像的观察方法发生各种变化的情况下，也能够高精度地进行以该处理对象图像为对象的检测处理。

以下，首先使用图1～图4说明包含本实施方式的图像处理系统200的系统概要结构。之后，在第一～第四实施方式中，对具体的方法、处理的流程进行说明。

图1是包括图像处理系统200的系统的结构例。系统包括学习装置100、图像处理系统200和内窥镜系统300。但是，系统并不限定于图1的结构，能够实施省略它们的一部分结构要素、或者追加其他结构要素等各种变形。

学习装置100通过进行机器学习而生成已学习模型。内窥镜系统300通过内窥镜拍摄装置拍摄生物体内图像。图像处理系统200取得生物体内图像作为处理对象图像。并且，图像处理系统200根据学习装置100生成的已学习模型进行动作，由此进行以处理对象图像为对象的关注区域的检测处理。内窥镜系统300取得并显示检测结果。这样，通过使用机器学习，能够实现支持医生的诊断等的系统。

学习装置100、图像处理系统200、内窥镜系统300例如也可以分别分体设置。学习装置100以及图像处理系统200分别是例如PC(Personal Computer：个人计算机)、服务器系统等信息处理装置。另外，学习装置100也可以通过多个装置进行的分布处理来实现。例如，学习装置100也可以通过使用了多个服务器的云计算来实现。图像处理系统200也可以同样地通过云计算等来实现。内窥镜系统300例如如使用图4在后面说明的那样，是包括插入部310、系统控制装置330以及显示部340的装置。但是，系统控制装置330的一部分或全部也可以通过服务器系统等经由网络的设备来实现。例如，系统控制装置330的一部分或全部通过云计算来实现。

另外，图像处理系统200以及学习装置100中的一方也可以包含另一方。在这种情况下，图像处理系统200(学习装置100)是执行通过进行机器学习而生成已学习模型的处理、和基于该已学习模型的检测处理双方的系统。另外，图像处理系统200以及内窥镜系统300中的一方也可以包含另一方。例如，内窥镜系统300的系统控制装置330包含图像处理系统200。在这种情况下，系统控制装置330执行内窥镜系统300的各部的控制和基于已学习模型的检测处理双方。或者，也可以实现包含学习装置100、图像处理系统200、系统控制装置330全体的系统。例如，由1个或多个服务器构成的服务器系统也可以执行通过进行机器学习而生成已学习模型的处理、基于该已学习模型的检测处理、和内窥镜系统300的各部的控制。如上所述，图1所示的系统的具体结构能够实施各种变形。

图2是学习装置100的结构例。学习装置100包括图像取得部110和学习部120。图像取得部110取得学习用图像。图像取得部110例如是用于从其他装置取得学习用图像的通信接口。学习用图像是指例如对普通光图像、特殊光图像、色素散布图像等赋予了正解数据作为元数据的图像。学习部120通过基于所取得的学习用图像进行机器学习来生成已学习模型。稍后对用于机器学习的数据的详细情况以及学习处理的具体流程进行说明。

学习部120由下述硬件构成。硬件能够包含处理数字信号的电路和处理模拟信号的电路中的至少一方。例如，硬件能够由安装于电路基板的1个或多个电路装置、1个或多个电路元件构成。1个或多个电路装置例如是IC(Integrated Circuit：集成电路)、FPGA(field-programmable gate array：现场可编程门阵列)等。1个或多个电路元件例如是电阻、电容器等。

另外，学习部120也可以通过下述的处理器来实现。学习装置100包括存储信息的存储器和基于存储在存储器中的信息进行动作的处理器。信息例如是程序和各种数据等。处理器包括硬件。处理器能够使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、DSP(Digital Signal Processor：数字信号处理器)等各种处理器。存储器既可以是SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(Dynamic Random Access Memory：动态随机存取存储器)等半导体存储器，也可以是寄存器，还可以是HDD(Hard Disk Drive：硬盘驱动器)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储计算机可读取的命令，该命令由处理器执行，由此学习部120的各部的功能作为处理来实现。学习部120的各部例如是使用图7、图13、图14在后面说明的各部。这里的命令可以是构成程序的命令集的命令，也可以是对处理器的硬件电路指示动作的命令。

图3是图像处理系统200的结构例。图像处理系统200包括图像取得部210、处理部220和存储部230。

图像取得部210取得由内窥镜系统300的拍摄装置拍摄到的生物体内图像作为处理对象图像。例如，图像取得部210被实现为经由网络从内窥镜系统300接收生物体内图像的通信接口。这里的网络既可以是内联网等专用网络，也可以是互联网等公共通信网。另外，网络可以是有线、也可以是无线。

处理部220按照已学习模型进行动作，由此进行处理对象图像中的关注区域的检测处理。另外，处理部220基于已学习模型的检测结果，决定要输出的信息。处理部220由包括处理数字信号的电路和处理模拟信号的电路中的至少一方的硬件构成。例如，硬件可以由安装于电路基板的1个或多个电路装置、1个或多个电路元件构成。

另外，处理部220也可以通过下述的处理器来实现。图像处理系统200包括存储程序和各种数据等信息的存储器、根据存储在存储器中的信息进行动作的处理器。这里的存储器既可以是存储部230，也可以是不同的存储器。处理器能够使用GPU等各种处理器。存储器能够通过半导体存储器、寄存器、磁存储装置、光学式存储装置等各种方式来实现。存储器存储计算机可读取的命令，通过由处理器执行该命令，处理部220的各部的功能作为处理来实现。处理部220的各部例如是使用图8以及图11在后面说明的各部。

存储部230是处理部220等的工作区域，其功能可通过半导体存储器、寄存器、磁存储装置等来实现。存储部230存储图像取得部210取得的处理对象图像。另外，存储部230存储由学习装置100生成的已学习模型的信息。

图4是内窥镜系统300的结构例。内窥镜系统300包括插入部310、外部I/F部320、系统控制装置330、显示部340和光源装置350。

插入部310是其前端侧插入体内的部分。插入部310包含物镜光学系统311、摄像元件312、致动器313、照明透镜314、光导315、AF(Auto Focus：自动对焦)开始/结束按钮316。

光导315将来自光源352的照明光引导至插入部310的前端。照明透镜314将由光导315导光的照明光照射到被摄体。物镜光学系统311将从被摄体反射的反射光成像为被摄体像。物镜光学系统311包含对焦透镜，能够根据对焦透镜的位置来变更被摄体像成像的位置。致动器313基于来自AF控制部336的指令来驱动对焦透镜。另外，AF不是必须的，内窥镜系统300也可以是不包含AF控制部336的结构。

摄像元件312接收来自被摄体的、经由了物镜光学系统311的光。摄像元件312可以是单色传感器，也可以是具备滤色器的元件。滤色器既可以是广为人知的拜尔滤镜，也可以是补色滤镜，也可以是其他滤镜。补色滤镜是包含青色、品红色及黄色各颜色滤镜的滤镜。

AF开始/结束按钮316是用于用户操作AF的开始/结束的操作接口。外部I/F部320是用于进行用户对内窥镜系统300的输入的接口。外部I/F部320例如包括AF控制模式的设定按钮、AF区域的设定按钮、图像处理参数的调整按钮等。

系统控制装置330进行图像处理或系统整体的控制。系统控制装置330包括A/D转换部331、预处理部332、检测处理部333、后处理部334、系统控制部335、AF控制部336和存储部337。

A/D转换部331将从摄像元件312依次输出的模拟信号转换为数字的图像，并依次输出到预处理部332。预处理部332对从A/D转换部331依次输出的生物体内图像进行各种校正处理，并依次输出到检测处理部333、AF控制部336。校正处理包括例如白平衡处理、降噪处理等。

检测处理部333例如进行将从预处理部332取得的校正处理后的图像发送到设置在内窥镜系统300的外部的图像处理系统200的处理。内窥镜系统300包括未图示的通信部，检测处理部333进行通信部的通信控制。这里的通信部是用于经由给定的网络将生物体内图像发送到图像处理系统200的通信接口。另外，检测处理部333通过进行通信部的通信控制，进行从图像处理系统200接收检测结果的处理。

或者，系统控制装置330也可以包括图像处理系统200。在这种情况下，A/D转换部331对应于图像取得部210。存储部337对应于存储部230。预处理部332、检测处理部333、后处理部334等对应于处理部220。在这种情况下，检测处理部333按照存储在存储部337中的已学习模型的信息进行动作，由此，将处理对象图像即生物体内图像作为对象，进行关注区域的检测处理。在已学习模型是神经网络的情况下，检测处理部333针对作为输入的处理对象图像，使用通过学习而决定的权重来进行正向的运算处理。然后，基于输出层的输出，输出检测结果。

后处理部334进行基于检测处理部333中的检测结果的后处理，并将后处理后的图像输出到显示部340。这里的后处理可以考虑图像中的识别对象的强调、表示检测结果的信息的附加等各种处理。例如，后处理部334对从预处理部332输出的图像重叠在检测处理部333中检测出的检测框，由此进行生成显示图像的后处理。

系统控制部335与摄像元件312、AF开始/结束按钮316、外部I/F部320、AF控制部336相互连接，并对各部进行控制。具体地，系统控制部335进行各种控制信号的输入输出。AF控制部336使用从预处理部332依次输出的图像进行AF控制。

显示部340依次显示从后处理部334输出的图像。显示部340例如是液晶显示器、EL(Electro-Luminescence：电致发光)显示器等。光源装置350包括发出照明光的光源352。光源352可以是氙光源，也可以是LED，也可以是激光光源。另外，光源352也可以是其他光源，发光方式没有限定。

另外，光源装置350能够照射普通光和特殊光。例如，光源装置350包含白色光源和旋转滤镜，能够基于旋转滤镜的旋转来切换普通光和特殊光。或者，光源装置350也可以构成为，通过包含红色LED、绿色LED、蓝色LED、绿色窄波段光LED、蓝色窄波段光LED等多个光源，能够照射波段不同的多个光。光源装置350通过使红色LED、绿色LED、蓝色LED点亮来照射普通光，通过使绿色窄波段光LED、蓝色窄波段光LED点亮来照射特殊光。但是，公知有各种照射普通光和特殊光的光源装置的结构，在本实施方式中能够广泛地应用它们。

2.第一实施方式

以下，对第一观察方法为普通光观察、第二观察方法为特殊光观察的例子进行说明。但是，第二观察方法也可以是色素散布观察。即，在以下的说明中，能够适当地将特殊光观察或特殊光图像的表述改成色素散布观察以及色素散布图像。

首先，对机器学习的概要进行说明。以下，对使用了神经网络的机器学习进行说明。即，以下说明的第一关注区域检测器、第二关注区域检测器以及观察方法分类器例如是使用了神经网络的已学习模型。但是，本实施方式的方法并不限定于此。在本实施方式中，可以进行例如使用了SVM(support vector machine：支持向量机)等其他模型的机器学习，也可以进行使用了使神经网络、SVM等各种方法发展的方法的机器学习。

图5的(A)是说明神经网络的示意图。神经网络具有供数据输入的输入层、基于来自输入层的输出进行运算的中间层、以及基于来自中间层的输出而输出数据的输出层。在图5的(A)中，例示出了中间层为2层的网络，但中间层也可以为1层，也可以为3层以上。另外，各层所包含的节点(神经元)的数量并不限定于图5的(A)的例子，能够实施各种变形。另外，如果考虑精度，则本实施方式的学习优选使用利用了多层神经网络的深度学习。这里的多层狭义上为4层以上。

如图5的(A)所示，给定的层所包含的节点与相邻的层的节点耦合。在各耦合中设定有加权系数。各节点将前级的节点的输出与加权系数相乘，求出相乘结果的合计值。进而，各节点对合计值加上偏置，通过对相加结果应用激活函数来求出该节点的输出。通过从输入层朝向输出层依次执行该处理，从而求出神经网络的输出。另外，作为激活函数，已知有Sigmoid函数、ReLU函数等各种函数，在本实施方式中能够广泛地应用它们。

神经网络中的学习是决定适当的加权系数的处理。这里的加权系数包含偏置。具体地，学习装置100将训练数据中的输入数据输入到神经网络，通过使用此时的加权系数进行正向的运算来求出输出。学习装置100的学习部120基于该输出和训练数据中的正解数据来运算误差函数。然后，更新加权系数，以减小误差函数。在加权系数的更新中，例如能够利用从输出层朝向输入层更新加权系数的误差逆传播法。

另外，神经网络例如也可以是CNN(Convolutional Neural Network：卷积神经网络)。图5的(B)是说明CNN的示意图。CNN包含进行卷积运算的卷积层和池化层。卷积层是进行滤波处理的层。池化层是进行将纵向、横向的尺寸缩小的池化运算的层。图5的(B)所示的例子是在进行了多次基于卷积层以及池化层的运算之后，通过进行基于全耦合层的运算而求出输出的网络。全耦合层是进行对给定的层的节点耦合前一层的全部节点的情况下的运算处理的层，与使用图5的(A)在上面说明的各层的运算对应。另外，虽然在图5的(B)中省略了记载，但在CNN中也进行基于激活函数的运算处理。CNN已知有各种结构，在本实施方式中能够广泛地应用它们。例如，本实施方式的CNN能够利用公知的RPN等(Region ProposalNetwork：区域候选网络)。

在使用CNN的情况下，处理的顺序也与图5的(A)相同。即，学习装置100将训练数据中的输入数据输入到CNN，通过使用此时的滤波特性进行滤波处理或进行池化运算来求出输出。基于该输出和正解数据来计算误差函数，并且为了减小该误差函数，进行包含滤波特性的加权系数的更新。在更新CNN的加权系数时，例如也能够利用误差逆传播法。

接着，对本实施方式的机器学习进行说明。图像处理系统200执行的关注区域的检测处理具体是检测关注区域的有无、位置、大小、形状中的至少1个的处理。

例如检测处理是求出对包围关注区域的矩形的框区域进行确定的信息、和表示该框区域的准确度的检测得分的处理。以下，将框区域表述为检测框。确定检测框的信息是指例如检测框的左上端点在横轴上的坐标值、该端点在纵轴上的坐标值、检测框在横轴方向上的长度、检测框在纵轴方向上的长度这4个数值。由于关注区域的形状发生变化，检测框的纵横比发生变化，因此该检测框不仅相当于关注区域的有无、位置、大小，还相当于表示形状的信息。但是，在本实施方式的检测处理中，也可以使用广为人知的分割。在这种情况下，关于图像中的各像素，输出表示该像素是否为关注区域的信息，例如输出表示是否为息肉的信息。在这种情况下，能够更详细地确定关注区域的形状。

图7是第一实施方式的学习装置100的结构例。学习装置100的学习部120包括按观察方法学习部121和观察方法分类学习部122。按观察方法学习部121从图像取得部110取得图像组A1，进行基于该图像组A1的机器学习，由此生成第一关注区域检测器。另外，按观察方法学习部121从图像取得部110取得图像组A2，进行基于该图像组A2的机器学习，由此生成第二关注区域检测器。即，按观察方法学习部121基于不同的多个图像组，生成多个已学习模型。

在按观察方法学习部121中执行的学习处理是用于生成特定于普通光图像和特殊光图像中的任意一方的已学习模型的学习处理。即，图像组A1包含对普通光图像赋予了检测数据的学习用图像，该检测数据是与关注区域的有无、位置、大小、形状中的至少1个相关联的信息。图像组A1不包含对特殊光图像赋予了检测数据的学习用图像，或者即使包含，其张数也比普通光图像少很多。

例如，检测数据是以不同的颜色对作为检测对象的息肉区域和背景区域进行了分涂的标记数据。或者，检测数据也可以是用于确定包围息肉的检测框的信息。例如，图像组A1中包含的学习用图像也可以是用矩形框包围普通光图像中的息肉区域，在该矩形框中附加“息肉”这样的标签，在除此以外的区域附加了“正常”这样的标签的数据。另外，检测框并不限定于矩形框，只要将息肉区域附近包围起来即可，也可以是椭圆形状的框等。

图像组A2包含对特殊光图像赋予了检测数据的学习用图像。图像组A2不包含对普通光图像赋予了检测数据的学习用图像，或者即使包含，其张数也比特殊光图像少很多。检测数据与图像组A1相同，既可以是标记数据，也可以是用于确定检测框的信息。

图6的(A)是说明第一关注区域检测器和第二关注区域检测器的输入和输出的图。第一关注区域检测器和第二关注区域检测器接受处理对象图像作为输入，通过对该处理对象图像进行处理，输出表示检测结果的信息。按观察方法学习部121进行包含输入图像的输入层、中间层、和输出检测结果的输出层的模型的机器学习。例如，第一关注区域检测器和第二关注区域检测器分别是RPN(Region Proposal Network：区域候选网络)、Faster R-CNN、YOLO(You only Look Once：你只看一次)等物体检测用CNN。

具体地，按观察方法学习部121将图像组A1所包含的学习用图像作为神经网络的输入，进行基于当前的加权系数的正向的运算。按观察方法学习部121运算输出层的输出与正解数据即检测数据之间的误差作为误差函数，并且进行加权系数的更新处理，以减小该误差函数。以上是基于1张学习用图像的处理，按观察方法学习部121通过反复进行上述处理来学习第一关注区域检测器的加权系数。另外，加权系数的更新并不限定于以1张为单位进行，也可以使用批量学习等。

同样，按观察方法学习部121将图像组A2所包含的学习用图像作为神经网络的输入，进行基于当前的加权系数的正向的运算。按观察方法学习部121运算输出层的输出与正解数据即检测数据之间的误差作为误差函数，并且进行加权系数的更新处理，以减小该误差函数。按观察方法学习部121通过反复进行上述处理来学习第二关注区域检测器的加权系数。

图像组A3是包含对普通光图像赋予了用于确定观察方法的信息即观察方法数据作为正解数据的学习用图像、和对特殊光图像赋予了观察方法数据的学习用图像的图像组。观察方法数据例如是表示普通光图像和特殊光图像中的任意一个的标签。

图6的(B)是说明观察方法分类器的输入和输出的图。观察方法分类器接受作为输入的处理对象图像，并对该处理对象图像进行处理，由此输出表示观察方法分类结果的信息。

观察方法分类学习部122进行包含输入图像的输入层和输出观察方法分类结果的输出层的模型的机器学习。观察方法分类器例如是VGG16、ResNet等图像分类用CNN。观察方法分类学习部122将图像组A3中包含的学习用图像作为神经网络的输入，进行基于当前的加权系数的正向的运算。按观察方法学习部121运算输出层的输出与正解数据即观察方法数据之间的误差作为误差函数，并且进行加权系数的更新处理，以减小该误差函数。观察方法分类学习部122通过反复进行上述处理来学习观察方法分类器的加权系数。

另外，观察方法分类器中的输出层的输出例如包含：表示所输入的图像是在普通光观察下拍摄到的普通光图像的准确度的数据、和表示所输入的图像是在特殊光观察下拍摄到的特殊光图像的准确度的数据。例如在观察方法分类器的输出层为公知的softmax层的情况下，输出层输出合计为1的2个概率数据。在作为正解数据的标签是普通光图像的情况下，将是普通光图像的概率数据为1、是特殊光图像的概率数据为0的数据作为正解数据来求出误差函数。观察方法分类器能够输出观察方法分类结果即观察方法分类标签、和表示该观察方法分类标签的准确度的观察方法分类得分。观察方法分类标签是表示概率数据成为最大的观察方法的标签，例如是表示普通光观察和特殊光观察中的任意一个的标签。观察方法分类得分是与观察方法分类标签对应的概率数据。在图6的(B)中省略了观察方法分类得分。

图8是第一实施方式中的图像处理系统200的结构例。图像处理系统200的处理部220包括观察方法分类部221、选择部222、检测处理部223以及输出处理部224。观察方法分类部221进行基于观察方法分类器的观察方法分类处理。选择部222基于观察方法分类处理的结果来选择关注区域检测器。检测处理部223进行使用了第一关注区域检测器和第二关注区域检测器中的至少一方的检测处理。输出处理部224基于检测结果进行输出处理。

图9是说明第一实施方式的图像处理系统200的处理的流程图。首先，在步骤S101中，图像取得部210取得由内窥镜拍摄装置拍摄到的生物体内图像作为处理对象图像。

在步骤S102中，观察方法分类部221进行对处理对象图像是普通光图像还是特殊光图像进行判定的观察方法分类处理。例如，观察方法分类部221通过将图像取得部210取得的处理对象图像输入到观察方法分类器，取得表示处理对象图像是普通光图像的概率的概率数据、和表示处理对象图像是特殊光图像的概率的概率数据。观察方法分类部221基于2个概率数据的大小关系，进行观察方法分类处理。

在步骤S103中，选择部222基于观察方法分类结果选择关注区域检测器。在取得了处理对象图像是普通光图像这样的观察方法分类结果的情况下，选择部222选择第一关注区域检测器。在取得了处理对象图像是特殊光图像这样的观察方法分类结果的情况下，选择部222选择第二关注区域检测器。选择部222将选择结果发送到检测处理部223。

在选择部222选择了第一关注区域检测器的情况下，在步骤S104中，检测处理部223使用第一关注区域检测器进行关注区域的检测处理。具体地，检测处理部223通过将处理对象图像输入到第一关注区域检测器，取得与处理对象图像中的规定数量的检测框有关的信息和与该检测框对应的检测得分。本实施方式中的检测结果例如表示检测框，检测得分表示该检测结果的准确度。

在选择部222选择了第二关注区域检测器的情况下，在步骤S105中，检测处理部223使用第二关注区域检测器进行关注区域的检测处理。具体地，检测处理部223通过将处理对象图像输入到第二关注区域检测器，来取得检测框和检测得分。

在步骤S106中，输出处理部224输出在步骤S104或S105中取得的检测结果。例如，输出处理部224进行比较检测得分和给定的检测阈值的处理。在给定的检测框的检测得分小于检测阈值的情况下，由于与该检测框有关的信息的可靠性低，因此从输出对象中排除。

步骤S106中的处理例如是在图像处理系统200被包含于内窥镜系统300的情况下生成显示图像的处理、以及将该显示图像显示于显示部340的处理。另外，在图像处理系统200与内窥镜系统300分体设置的情况下，上述处理例如是显示图像向内窥镜系统300的发送处理。或者，上述处理也可以是向内窥镜系统300发送表示检测框的信息的处理。在这种情况下，显示图像的生成处理以及显示控制在内窥镜系统300中执行。

如上所述，本实施方式的图像处理系统200包括：图像取得部210，其取得处理对象图像；以及处理部220，其进行输出在处理对象图像中检测出关注区域的结果即检测结果的处理。如图8及图9的步骤S102、S103所示，处理部220基于观察方法分类器，进行以下的处理：分类处理，将拍摄处理对象图像时的被摄体的观察方法分类为包含第一观察方法及第二观察方法的多个观察方法中的任意一个观察方法；以及选择处理，基于观察方法分类器的分类结果，选择包含第一关注区域检测器及第二关注区域检测器的多个关注区域检测器中的任意一个关注区域检测器。另外，在第一实施方式中，多个观察方法是第一观察方法和第二观察方法这2个。多个关注区域检测器是第一关注区域检测器及第二关注区域检测器这2个。因此，处理部220基于观察方法分类器，进行将拍摄处理对象图像时的观察方法分类为第一观察方法或第二观察方法的观察方法分类处理、和基于观察方法分类器的分类结果来选择第一关注区域检测器或第二关注区域检测器的选择处理。但是，如稍后在第三实施方式中说明那样，观察方法也可以是3个以上。另外，关注区域检测器也可以是3个以上。特别是如稍后说明的CNN_AB等那样，在使用观察方法混合型的关注区域检测器的情况下，关注区域检测器的数量可以比观察方法多，通过1次选择处理选择的关注区域检测器也可以是2个以上。

处理部220在选择处理中选择了第一关注区域检测器的情况下，基于第一关注区域检测器，输出从被分类为第一观察方法的处理对象图像中检测出关注区域的检测结果。另外，处理部220在选择处理中选择了第二关注区域检测器的情况下，基于第二关注区域检测器，输出从被分类为第二观察方法的处理对象图像中检测出关注区域的检测结果。

在本实施方式的方法中，在设想不同的观察方法的情况下，生成适合于各观察方法的关注区域检测器。在此基础上，基于拍摄处理对象图像时的观察方法的分类结果，选择适当的关注区域检测器，由此，能够与处理对象图像的观察方法无关而进行精度高的检测处理。另外，在以上的说明中，示出了进行使用了第一关注区域检测器的检测处理和使用了第二关注区域检测器的检测处理中的任意一方的例子，但处理的流程不限于此。例如，检测处理部223也可以构成为，预先进行使用了第一关注区域检测器的检测处理和使用了第二关注区域检测器的检测处理双方，基于观察方法分类结果，将任意一方的检测结果发送到输出处理部224。

另外，通过处理部220按照来自已学习模型的指示进行动作来实现基于观察方法分类器、第一关注区域检测器、第二关注区域检测器中的每一方的处理。可以通过软件来执行基于已学习模型的处理部220中的运算、即用于基于输入数据将输出数据输出的运算，也可以通过硬件来执行。换言之，在图5的(A)的各节点中执行的积和运算、在CNN的卷积层中执行的滤波处理等也可以通过软件执行。或者，上述运算也可以通过FPGA等电路装置来执行。另外，上述运算也可以通过软件与硬件的组合来执行。这样，按照来自已学习模型的指令的处理部220的动作能够通过各种方式来实现。例如，已学习模型包括推论算法和在该推论算法中使用的参数。推论算法是指基于输入数据来进行滤波运算等的算法。参数是通过学习处理而取得的参数，例如是加权系数。在这种情况下，推论算法和参数双方存储在存储部230中，处理部220也可以通过读出该推论算法和参数以软件的方式进行推论处理。或者，推论算法也可以通过FPGA等实现，存储部230也可以存储参数。或者，包含参数的推论算法也可以通过FPGA等来实现。在这种情况下，存储已学习模型的信息的存储部230例如是FPGA的内置存储器。

另外，本实施方式中的处理对象图像是由内窥镜拍摄装置拍摄到的生物体内图像。在此，内窥镜拍摄装置是设置于内窥镜系统300并能够输出与生物体对应的被摄体像的成像结果的拍摄装置，狭义上对应于摄像元件312。

并且，第一观察方法是将普通光作为照明光的观察方法，第二观察方法是将特殊光作为照明光的观察方法。这样，即使当照明光在普通光和特殊光之间切换而导致观察方法发生变化时，也能够抑制由该变化引起的检测精度的降低。

另外，第一观察方法可以是将普通光作为照明光的观察方法，第二观察方法可以是对被摄体进行了色素散布的观察方法。这样，即使在向被拍摄体散布颜色材料而导致观察方法发生变化的情况下，也能够抑制由该变化引起的检测精度的降低。

特殊光观察及色素散布观察与普通光观察相比，能够提高特定的被摄体的视认性，因此与普通光观察并用的优点较大。根据本实施方式的方法，能够兼顾通过特殊光观察或色素散布观察向用户提示视认性高的图像、和维持关注区域检测器的检测精度。

另外，第一关注区域检测器是通过基于以第一观察方法拍摄到的多个第一学习用图像和与第一学习用图像中的关注区域的有无、位置、大小、形状中的至少1个相关联的检测数据的机器学习而取得的已学习模型。另外，第二关注区域检测器是通过基于以第二观察方法拍摄到的多个第二学习用图像和与第二学习用图像中的关注区域的有无、位置、大小、形状中的至少1个相关联的检测数据的机器学习而取得的已学习模型。

这样，能够使在学习阶段中使用的学习用图像的观察方法和在推论阶段中成为输入的处理对象图像的观察方法一致。因此，能够将适合于以第一观察方法拍摄到的图像为对象的检测处理的已学习模型用作第一关注区域检测器。同样地，能够将适合于以第二观察方法拍摄到的图像为对象的检测处理的已学习模型用作第二关注区域检测器。

另外，本实施方式的观察方法分类器、第一关注区域检测器以及第二关注区域检测器中的至少1个也可以由卷积神经网络(Convolutal Neural Network)构成。例如，观察方法分类器、第一关注区域检测器以及第二关注区域检测器都可以是CNN。这样，能够高效且高精度地执行以图像为输入的检测处理。另外，观察方法分类器、第一关注区域检测器以及第二关注区域检测器的一部分也可以是CNN以外的结构。另外，CNN不是必须的结构，也不妨碍观察方法分类器、第一关注区域检测器以及第二关注区域检测器全部为CNN以外的结构。

另外，本实施方式的方法能够应用于内窥镜系统300。内窥镜系统300包括：拍摄部，其拍摄生物体内图像；图像取得部，其取得生物体内图像作为处理对象图像；以及处理部，其对处理对象图像进行处理。如上所述，这种情况下的拍摄部例如是摄像元件312。图像取得部例如是A/D转换部331。处理部例如是预处理部332、检测处理部333、后处理部334等。另外，也能够认为图像取得部与A/D转换部331和预处理部332相对应，具体的结构能够实施各种变形。

内窥镜系统300的处理部进行以下处理：分类处理，基于观察方法分类器，将拍摄处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意一个观察方法；以及选择处理，基于观察方法分类器的分类结果，选择包含第一关注区域检测器和第二关注区域检测器的多个关注区域检测器中的任意一个关注区域检测器。在处理部中，在选择处理中选择了第一关注区域检测器的情况下，基于第一关注区域检测器，输出从被分类为第一观察方法的处理对象图像中检测出关注区域的检测结果。另外，在处理部中，在选择处理中选择了第二关注区域检测器的情况下，基于第二关注区域检测器，输出从被分类为第二观察方法的处理对象图像中检测出关注区域的检测结果。

这样，在拍摄生物体内图像的内窥镜系统300中，能够与观察方法无关而高精度地执行以该生物体内图像为对象的检测处理。通过在显示部340等中向医生提示检测结果，能够适当地支持医生的诊断等。

另外，本实施方式的图像处理系统200进行的处理也可以作为图像处理方法来实现。本实施方式的图像处理方法进行以下处理：分类处理，取得处理对象图像，基于观察方法分类器，将拍摄处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意一个观察方法；以及选择处理，基于观察方法分类器的分类结果，选择包含第一关注区域检测器和第二关注区域检测器的多个关注区域检测器中的任意一个关注区域检测器。并且，在图像处理方法中，在选择处理中选择了第一关注区域检测器的情况下，基于第一关注区域检测器，输出从被分类为第一观察方法的处理对象图像中检测出关注区域的检测结果。另外，在选择处理中选择了第二关注区域检测器的情况下，基于第二关注区域检测器，输出从被分类为第二观察方法的处理对象图像中检测出关注区域的检测结果。

3.第二实施方式

在第一实施方式中，说明了观察方法分类器仅执行观察方法分类处理的例子。但是，观察方法分类器也可以在观察方法分类处理的基础上，执行关注区域的检测处理。另外，在第二实施方式中，也对第一观察方法为普通光观察、第二观察方法为特殊光观察的例子进行说明，但第二观察方法也可以是色素散布观察。

学习装置100的结构与图7相同，学习部120包括生成第一关注区域检测器和第二关注区域检测器的按观察方法学习部121、生成观察方法分类器的观察方法分类学习部122。但是，在本实施方式中，观察方法分类器的结构以及用于生成观察方法分类器的机器学习所使用的图像组不同。另外，以下，为了与第一实施方式的观察方法分类器进行区分，也将第二实施方式的观察方法分类器表述为检测一体型观察方法分类器。

作为检测一体型观察方法分类器，例如使用以下结构：关注区域检测用CNN和观察方法分类用CNN共享特征提取层，并且特征提取层的输出分为检测结果的输出和观察方法分类结果的输出，其中该特征提取层一边反复进行卷积、池化、非线性激活处理，一边提取特征。

图10是表示第二实施方式中的观察方法分类器的神经网络的结构的图。如图10所示，作为检测一体型观察方法分类器的CNN包括特征量提取层、检测层和观察方法分类层。图10中的矩形区域分别表示卷积层、池化层、全耦合层等进行某种运算的层。但是，CNN的结构不限定于图10，能够实施各种变形。

特征量提取层接受处理对象图像作为输入，进行包括卷积运算等的运算，由此输出特征量。检测层将从特征量提取层输出的特征量作为输入，输出表示检测结果的信息。观察方法分类层将从特征量提取层输出的特征量作为输入，输出表示观察方法分类结果的信息。学习装置100执行决定特征量提取层、检测层、观察方法分类层的各层中的加权系数的学习处理。

本实施方式的观察方法分类学习部122基于图像组来进行学习处理，从而生成检测一体型观察方法分类器，该图像组包含对普通光图像赋予了检测数据以及观察方法数据作为正解数据的学习用图像、和对特殊光图像赋予了检测数据以及观察方法数据的学习用图像。

具体地，在图10所示的神经网络中，观察方法分类学习部122将图像组所包含的普通光图像或者特殊光图像作为输入，进行基于当前的加权系数的正向的运算。观察方法分类学习部122运算通过正向的运算而求出的结果与正解数据之间的误差作为误差函数，并进行加权系数的更新处理，以减小该误差函数。例如，观察方法分类学习部122求出检测层的输出与检测数据之间的误差和观察方法分类层的输出与观察方法数据之间的误差的加权和作为误差函数。即，在检测一体型观察方法分类器的学习中，图10所示的神经网络的特征量提取层中的加权系数、检测层中的加权系数、观察方法分类层中的加权系数全部成为学习对象。

图11是第二实施方式中的图像处理系统200的结构例。图像处理系统200的处理部220包括检测分类部225、选择部222、检测处理部223、整合处理部226和输出处理部224。检测分类部225基于由学习装置100生成的检测一体型观察方法分类器，输出检测结果和观察方法分类结果。选择部222以及检测处理部223与第一实施方式相同。整合处理部226进行检测分类部225的检测结果和检测处理部223的检测结果的整合处理。输出处理部224基于整合处理结果进行输出处理。

图12是说明第二实施方式的图像处理系统200的处理的流程图。首先，在步骤S201中，图像取得部210取得由内窥镜拍摄装置拍摄到的生物体内图像作为处理对象图像。

在步骤S202、S203中，检测分类部225将图像取得部210取得的处理对象图像作为检测一体型观察方法分类器的输入而进行正向的运算。在步骤S202、S203的处理中，检测分类部225取得表示来自检测层的检测结果的信息和表示来自观察方法分类层的观察方法分类结果的信息。具体地，在步骤S202的处理中，检测分类部225取得检测框和检测得分。另外，在步骤S203的处理中，检测分类部225取得表示处理对象图像是普通光图像的概率的概率数据和表示处理对象图像是特殊光图像的概率的概率数据。检测分类部225基于2个概率数据的大小关系，进行观察方法分类处理。

步骤S204～S206的处理与图9的步骤S103～S105相同。即，在步骤S204中，选择部222基于观察方法分类结果选择关注区域检测器。在取得了处理对象图像是普通光图像这样的观察方法分类结果的情况下，选择部222选择第一关注区域检测器，在取得了处理对象图像是特殊光图像这样的观察方法分类结果的情况下，选择部222选择第二关注区域检测器。

在选择部222选择了第一关注区域检测器的情况下，在步骤S205中，检测处理部223使用第一关注区域检测器进行关注区域的检测处理，由此取得检测结果。另外，在选择部222选择了第二关注区域检测器的情况下，在步骤S206中，检测处理部223使用第二关注区域检测器进行关注区域的检测处理，由此取得检测结果。

在步骤S205的处理后，在步骤S207中，整合处理部226进行基于检测一体型观察方法分类器的检测结果和第一关注区域检测器的检测结果的整合处理。即使是相同的关注区域的检测结果，由检测一体型观察方法分类器输出的检测框的位置、大小等也不一定与由第一关注区域检测器输出的检测框的位置、大小等一致。此时，若输出检测一体型观察方法分类器的检测结果和第一关注区域检测器的检测结果双方，则会对1个关注区域显示不同的多个信息，使用户感到混乱。

因此，整合处理部226判定由检测一体型观察方法分类器检测出的检测框、和由第一关注区域检测器检测出的检测框是否是与同一关注区域对应的区域。例如，整合处理部226计算表示检测框彼此的重叠程度的IOU(Intersection Over Union：交并比)，在IOU为阈值以上的情况下，判定为2个检测框与同一关注区域对应。IOU是公知的，因此省略详细的说明。另外，IOU的阈值例如为0.5左右，但具体的数值能够实施各种变形。

在判定为2个检测框与相同的关注区域对应的情况下，整合处理部226可以将检测得分高的检测框选择为与关注区域对应的检测框，也可以基于2个检测框设定新的检测框。另外，整合处理部226可以选择2个检测得分中的较高的一方作为与检测框相关联的检测得分，也可以使用2个检测得分的加权和等。

另一方面，在步骤S206的处理后，在步骤S208中，整合处理部226进行基于检测一体型观察方法分类器的检测结果和第二关注区域检测器的检测结果的整合处理。整合处理的流程与步骤S207相同。

作为步骤S206或步骤S208的整合处理的结果，针对1个关注区域取得1个检测结果。即，整合处理的输出是表示与处理对象图像中的关注区域的数量对应的数量的检测框和各检测框的检测得分的信息。因此，输出处理部224进行与第一实施方式相同的输出处理。

如上所述，本实施方式的图像处理系统200的处理部220基于观察方法分类器，进行从处理对象图像中检测关注区域的处理。

这样，观察方法分类器能够兼作关注区域的检测器。为了执行观察方法分类，观察方法分类器包含在第一观察方法中拍摄到的学习用图像和在第二观察方法中拍摄到的学习用图像双方。例如，检测一体型观察方法分类器包含普通光图像和特殊光图像双方作为学习用图像。作为结果，检测一体型观察方法分类器能够执行可适用于处理对象图像是普通光图像的情况和处理对象图像是特殊光图像的情况中的任意一种情况的通用性高的检测处理。即，根据本实施方式的方法，能够通过高效的结构取得精度高的检测结果。

另外，在选择处理中选择了第一关注区域检测器的情况下，处理部220进行基于第一关注区域检测器的关注区域的检测结果和基于观察方法分类器的关注区域的检测结果的整合处理。另外，在选择处理中选择了第二关注区域检测器的情况下，处理部220进行基于第二关注区域检测器的关注区域的检测结果和基于观察方法分类器的关注区域的检测结果的整合处理。

所谓的整合处理，例如如上所述，是基于2个检测框来决定与关注区域对应的检测框的处理、以及基于2个检测得分来决定与检测框对应的检测得分的处理。但是，本实施方式的整合处理只要是基于2个检测结果来针对1个关注区域决定1个检测结果的处理即可，具体的处理内容、作为检测结果而输出的信息的形式能够实施各种变形。

这样，通过将多个检测结果整合，能够取得精度更高的检测结果。例如，在2个观察方法的数据平衡性比较差的情况下，进行了特定于第一观察方法的学习的第一关注区域检测器、或者进行了特定于第二观察方法的学习的第二关注区域检测器的精度相对高。另一方面，在2个观察方法的数据平衡性良好的情况下，包含通过第一观察方法和第二观察方法双方拍摄到的图像的检测一体型观察方法分类器的精度相对高。数据平衡性表示学习中使用的图像组中的图像张数的比率。

观察方法的数据平衡性根据成为数据收集源的内窥镜系统的运行状况、正解数据的赋予状况等各种原因而变化。另外，在持续进行收集的情况下，还设想数据平衡性随时间经过而变化的情况。在学习装置100中，能够进行数据平衡性的调整，或者根据数据平衡性来变更学习处理，但学习处理的负荷变大。另外，也能够考虑学习阶段中的数据平衡性而变更图像处理系统200中的推论处理，但需要取得与数据平衡性有关的信息，或者根据该数据平衡性而使处理分支，负荷较大。关于这一点，通过如上述那样进行整合处理，能够在不使处理负荷增大的情况下，与数据平衡性无关而互补地提示高精度的结果。

另外，处理部220进行以下处理中的至少一方：输出第一得分，该第一得分表示基于第一关注区域检测器而从处理对象图像中被检测为关注区域的区域的关注区域可能性；以及输出第二得分，该第二得分表示基于第二关注区域检测器而从处理对象图像中被检测为关注区域的区域的关注区域可能性。另外，处理部220进行输出第三得分的处理，该第三得分表示基于观察方法分类器而从处理对象图像中被检测为关注区域的区域的关注区域可能性。然后，处理部220进行将第一得分和第三得分整合而输出第四得分的处理、以及将第二得分和第三得分整合而输出第五得分的处理中的至少一方。

在此，第一得分是指从第一关注区域检测器输出的检测得分。第二得分是指从第二关注区域检测器输出的检测得分。第三得分是指从检测一体型观察方法分类器输出的检测得分。如上所述，第四得分可以是第一得分和第三得分中较大的任意一方，也可以是加权和，也可以是基于第一得分和第三得分求出的其他信息。第五得分可以是第二得分和第三得分中较大的任意一方，也可以是加权和，也可以是基于第二得分和第三得分求出的其他信息。

然后，在选择处理中选择了第一关注区域检测器的情况下，处理部220输出基于第四得分的检测结果，在选择处理中选择了第二关注区域检测器的情况下，处理部220输出基于第五得分的检测结果。

这样，本实施方式的整合处理也可以是使用了得分的整合处理。这样，能够适当且容易地将来自关注区域检测器的输出和来自检测一体型观察方法分类器的输出进行整合。

另外，观察方法分类器是通过基于以第一观察方法或第二观察方法拍摄到的学习用图像和正解数据的机器学习而取得的已学习模型。这里的正解数据包含与学习用图像中的关注区域的有无、位置、大小、形状中的至少1个相关联的检测数据、以及表示学习用图像是以第一观察方法和第二观察方法中的哪一个拍摄到的图像的观察方法数据。在观察方法为3个以上的情况下，观察方法分类器是通过基于以多个观察方法的各观察方法拍摄到的学习用图像和正解数据的机器学习而取得的已学习模型。观察方法数据是表示已学习模型是以多个观察方法中的哪个观察方法拍摄到的图像的数据。

这样，能够适当地生成可输出检测结果和观察方法分类结果双方的观察方法分类器。作为结果，本实施方式的观察方法分类器能够执行观察方法分类处理，并且能够执行与观察方法无关的通用的检测处理。

4.第三实施方式

以上，以普通光观察和特殊光观察为例，示出了以2个观察方法为对象进行处理的例子。但是，本实施方式中的观察方法也可以是3个以上。在第三实施方式中，对观察方法包括普通光观察、特殊光观察和色素散布观察这3个的例子进行说明。

图13是第三实施方式的学习装置100的结构例。学习装置100的学习部120包括按观察方法学习部121、观察方法分类学习部122和观察方法混合学习部123。但是，学习装置100不限定于图13的结构，能够实施省略它们的一部分结构要素、或者追加其他结构要素等各种变形。例如也可以省略观察方法混合学习部123。

在按观察方法学习部121中执行的学习处理是用于生成特定于任意一个观察方法的已学习模型的学习处理。按观察方法学习部121从图像取得部110取得图像组B1，进行基于该图像组B1的机器学习，由此生成第一关注区域检测器。另外，按观察方法学习部121从图像取得部110取得图像组B2，进行基于该图像组B2的机器学习，由此生成第二关注区域检测器。另外，按观察方法学习部121从图像取得部110取得图像组B3，进行基于该图像组B3的机器学习，由此生成第三关注区域检测器。

图像组B1与图7的图像组A1相同，包含对普通光图像赋予了检测数据的学习用图像。第一关注区域检测器是适合于普通光图像的检测器。以下，将适合于普通光图像的检测器标记为CNN_A。

图像组B2与图7的图像组A2相同，包含对特殊光图像赋予了检测数据的学习用图像。第二关注区域检测器是适合于特殊光图像的检测器。以下，将适合于普通光图像的检测器标记为CNN_B。

图像组B3包含对色素散布图像赋予了检测数据的学习用图像。第三关注区域检测器是适合于色素散布图像的检测器。以下，将适合于色素散布图像的检测器标记为CNN_C。

观察方法分类学习部122例如与第二实施方式同样地，进行用于生成检测一体型观察方法分类器的学习处理。检测一体型观察方法分类器的结构例如与图10相同。但是，在本实施方式中，由于观察方法为3个以上，因此观察方法分类层输出表示处理对象图像以该3个以上的观察方法中的哪一个进行了拍摄的观察方法分类结果。

图像组B7是包含对普通光图像赋予了检测数据和观察方法数据的学习用图像、对特殊光图像赋予了检测数据和观察方法数据的学习用图像、以及对色素散布图像赋予了检测数据和观察方法数据的学习用图像的图像组。观察方法数据是表示学习用图像是普通光图像、特殊光图像、色素散布图像中的哪一个的标签。

观察方法混合学习部123进行用于生成适合于2个以上的观察方法的关注区域检测器的学习处理。但是，在上述的例子中，检测一体型观察方法分类器兼作适合于全部的观察方法的关注区域检测器。因此，观察方法混合学习部123生成适合于普通光图像和特殊光图像的关注区域检测器、适合于特殊光图像和色素散布图像的关注区域检测器、以及适合于色素散布图像和普通光图像的关注区域检测器这3个。以下，将适合于普通光图像和特殊光图像的关注区域检测器标记为CNN_AB。将适合于特殊光图像和色素散布图像的关注区域检测器标记为CNN_BC。将适合于色素散布图像和普通光图像的关注区域检测器标记为CNN_CA。

即，图13中的图像组B4包含对普通光图像赋予了检测数据的学习用图像和对特殊光图像赋予了检测数据的学习用图像。观察方法混合学习部123基于图像组B4进行机器学习，由此生成CNN_AB。

图像组B5包含对特殊光图像赋予了检测数据的学习用图像和对色素散布图像赋予了检测数据的学习用图像。观察方法混合学习部123基于图像组B5进行机器学习，由此生成CNN_BC。

图像组B6包含对色素散布图像赋予了检测数据的学习用图像和对普通光图像赋予了检测数据的学习用图像。观察方法混合学习部123基于图像组B6进行机器学习，由此生成CNN_CA。

第三实施方式的图像处理系统200的结构与图11相同。图像取得部210取得由内窥镜拍摄装置拍摄到的生物体内图像作为处理对象图像。

检测分类部225将图像取得部210取得的处理对象图像作为检测一体型观察方法分类器的输入而进行正向的运算。检测分类部225取得表示来自检测层的检测结果的信息和表示来自观察方法分类层的观察方法分类结果的信息。本实施方式的观察方法分类结果是用于确定处理对象图像的观察方法是3个以上的观察方法中的哪一个的信息。

选择部222基于观察方法分类结果来选择关注区域检测器。在取得了处理对象图像是普通光图像这样的观察方法分类结果的情况下，选择部222选择使用普通光图像作为学习用图像的关注区域检测器。具体地，选择部222进行选择CNN_A、CNN_AB、CNN_CA这3个的处理。同样地，在取得了处理对象图像是特殊光图像这样的观察方法分类结果的情况下，选择部222进行选择CNN_B、CNN_AB、CNN_BC这3个的处理。在取得了处理对象图像是色素散布图像这样的观察方法分类结果的情况下，选择部222进行选择CNN_C、CNN_BC、CNN_CA这3个的处理。

检测处理部223使用由选择部222选择的3个关注区域检测器进行关注区域的检测处理，由此取得检测结果。即，在本实施方式中，检测处理部223将3种检测结果输出到整合处理部226。

整合处理部226进行通过检测一体型观察方法分类器由检测分类部225输出的检测结果与检测处理部223输出的3个检测结果的整合处理。虽然整合对象增加为4个，但具体的整合处理的流程与第二实施方式相同。即，整合处理部226基于检测框的重叠程度，判定多个检测框是否与同一关注区域对应。在判定为与同一关注区域对应的情况下，整合处理部226进行决定整合后的检测框的处理、以及决定与该检测框对应的检测得分的处理。

如上所述，本公开的方法也能够扩展到观察方法为3个以上的情况。通过整合多个检测结果，能够提示精度更高的检测结果。

另外，本公开的观察方法不限定于普通光观察、特殊光观察、色素散布观察这3个。例如，本实施方式的观察方法也可以包括：在进行从插入部放出水的送水操作的状态下进行拍摄的观察方法即送水观察、在进行从插入部放出气体的送气操作的状态下进行拍摄的观察方法即送气观察、对附着有泡沫的状态的被摄体进行拍摄的观察方法即泡沫观察、对附着有残渣的状态的被摄体进行拍摄的观察方法即残渣观察等。观察方法的组合能够灵活地变更，能够任意组合普通光观察、特殊光观察、色素散布观察、送水观察、送气观察、泡沫观察、残渣观察中的2种以上。另外，也可以使用上述以外的观察方法。

5.第四实施方式

例如，医生的诊断过程可以考虑使用普通光观察来寻找病变的过程、使用特殊光观察来进行所发现的病变的恶性程度的鉴别的过程。特殊光图像与普通光图像相比，病变的视认性高，因此能够高精度地进行恶性程度的鉴别。但是，特殊光图像与普通光图像相比，所取得的张数较少。因此，在使用特殊光图像的机器学习中，训练数据不足，由此检测精度有可能降低。例如，使用特殊光图像进行了学习的第二关注区域检测器的检测精度与使用普通光图像进行了学习的第一关注区域检测器相比会降低。

针对训练数据的不足，已知进行预训练和精细调整的方法。但是，在现有方法中，没有考虑特殊光图像与普通光图像之间的观察方法的差异。在深度学习中，对于在与用于学习的图像组不同的条件下拍摄的测试图像的识别性能降低。这里的测试图像表示成为使用了学习结果的推论处理的对象的图像。即，现有方法没有公开提高以特殊光图像为对象的检测处理的精度的方法。

因此，在本实施方式中，使用包含普通光图像的图像组来进行预训练，在该预训练后，使用包含特殊光图像的图像组来进行精细调整，由此生成第二关注区域检测器。这样，即使在将特殊光图像作为检测处理的对象的情况下，也能够提高检测精度。

另外，以下对第一观察方法为普通光观察、第二观察方法为特殊光观察的例子进行说明，但第二观察方法也可以为色素散布观察。另外，第二观察方法可扩展到有可能因训练数据的不足而导致检测精度降低的其他观察方法。例如第二观察方法也可以是上述的送气观察、送水观察、泡沫观察、残渣观察等。

图14是本实施方式的学习装置100的结构例。学习部120包括按观察方法学习部121、观察方法分类学习部122和预训练部124。另外，按观察方法学习部121包括普通光学习部1211和特殊光精细调整部1212。

普通光学习部1211从图像取得部110取得图像组C1，进行基于该图像组C1的机器学习，由此生成第一关注区域检测器。图像组C1与图像组A1、B1同样地，包含对普通光图像赋予了检测数据的学习用图像。普通光学习部1211中的学习例如是不划分为预训练和精细调整的全训练。

预训练部124进行使用了图像组C2的预训练。图像组C2包含对普通光图像赋予了检测数据的学习用图像。如上所述，普通光观察在寻找关注区域的过程中被广泛利用。因此，能够丰富地取得被赋予了检测数据的普通光图像。另外，图像组C2可以是学习用图像不与图像组C1重复的图像组，也可以是一部分或全部的学习用图像与图像组C1重复的图像组。

特殊光精细调整部1212进行使用了难以丰富地取得的特殊光图像的学习处理。即，图像组C3是包含多个对特殊光图像赋予了检测数据的学习用图像的图像组。特殊光精细调整部1212将通过预训练取得的加权系数作为初始值，执行使用了图像组C3的学习处理，由此生成适合于特殊光图像的第二关注区域检测器。

另外，预训练部124也可以执行检测一体型观察方法分类器的预训练。例如，预训练部124使用包含对普通光图像赋予了检测数据的学习用图像的图像组，面向检测任务，对检测一体型观察方法分类器进行预训练。面向检测任务的预训练是将检测数据用作正解数据，从而更新图10中的特征量提取层和检测层的加权系数的学习处理。即，在检测一体型观察方法分类器的预训练中，观察方法分类层的加权系数不是学习对象。

观察方法分类学习部122将通过预训练而取得的加权系数作为初始值，执行使用了图像组C4的精细调整，从而生成检测一体型观察方法分类器。图像组C4与第二实施方式、第三实施方式同样，是包含对普通光图像赋予了检测数据和观察方法数据的学习用图像、和对特殊光图像赋予了检测数据和观察方法数据的学习用图像的图像组。即，在精细调整中，特征量提取层、检测层、观察方法分类层的所有加权系数成为学习对象。

第一关注区域检测器、第二关注区域检测器以及检测一体型观察方法分类器的生成后的处理与第二实施方式相同。另外，也可以组合第四实施方式的方法和第三实施方式的方法。即，在使用包含普通光观察的3个以上的观察方法的情况下，能够将使用了普通光图像的预训练和使用了拍摄张数不足的观察方法中的拍摄图像的精细调整进行组合。

如上所述，本实施方式的第二关注区域检测器是如下的已学习模型：通过使用包含在第一观察方法中拍摄到的图像的第一图像组来进行预训练，在预训练后，使用包含在第二观察方法中拍摄到的图像的第二图像组来进行精细调整从而进行了学习而生成的已学习模型。另外，第一观察方法优选是容易大量取得拍摄图像的观察方法，具体为普通光观察。第二观察方法是容易产生训练数据的不足的观察方法，如上所述，可以是普通光观察，也可以是色素散布观察，也可以是其他观察方法。

根据本实施方式的方法，为了补偿学习用图像的张数不足，进行机器学习的预训练。在使用神经网络的情况下，预训练是指设定进行精细调整时的加权系数的初始值的处理。由此，与不进行预训练的情况相比，能够提高检测处理的精度。

另外，观察方法分类器也可以是如下的已学习模型：通过使用包含在第一观察方法中拍摄到的图像的第一图像组来进行预训练，在预训练后，使用包含在第一观察方法中拍摄到的图像以及在第二观察方法中拍摄到的图像的第三图像组来进行精细调整从而进行了学习而生成的已学习模型。在观察方法为3个以上的情况下，第三图像组包含以多个观察方法中的各观察方法拍摄到的学习用图像。

第一图像组对应于图14的C2，例如是包含对普通光图像赋予了检测数据的学习用图像的图像组。另外，在第二关注区域检测器的预训练中使用的图像组和在检测一体型观察方法分类器的预训练中使用的图像组也可以是不同的图像组。即，第一图像组也可以是与图像组C2不同且包含对普通光图像赋予了检测数据的学习用图像的图像组。第三图像组对应于图14的C4，是包含对普通光图像赋予了检测数据和观察方法数据的学习用图像、和对特殊光图像赋予了检测数据和观察方法数据的学习用图像的图像组。

这样，能够提高检测一体型观察方法分类器的检测处理的精度。另外，以上对在第二关注区域检测器和检测一体型观察方法分类器双方的生成中执行预训练和精细调整的例子进行了说明。但是，本实施方式的方法不限定于此。例如，第二关注区域检测器和检测一体型观察方法分类器中的一方的生成也可以通过全训练来进行。另外，在与第三实施方式组合的情况下，在第二关注区域检测器以外的关注区域检测器例如CNN_AB、CNN_BC、CNN_CA的生成中，也可以使用预训练和精细调整。

另外，如上所述对本实施方式进行了详细说明，但本领域技术人员能够容易理解，能够进行实质上不脱离本实施方式的新事项以及效果的多种变形。因此，这样的变形例全部包含在本公开的范围内。例如，在说明书或附图中，至少一次与更广义或同义的不同术语一起记载的术语在说明书或附图的任何位置都能够置换为该不同的术语。另外，本实施方式以及变形例的全部组合也包含于本公开的范围。另外，学习装置、图像处理系统、内窥镜系统等的结构以及动作等也不限定于本实施方式中说明的内容，能够实施各种变形。

标号说明

100…学习装置、110…图像取得部、120…学习部、121…按观察方法学习部、1211…普通光学习部、1212…特殊光精细调整部、122…观察方法分类学习部、123…观察方法混合学习部、124…预训练部、200…图像处理系统、210…图像取得部、220…处理部、221…观察方法分类部、222…选择部、223…检测处理部、224…输出处理部、225…检测分类部、226…整合处理部、230…存储部、300…内窥镜系统、310…插入部、311…物镜光学系统、312…摄像元件、313…致动器、314…照明透镜、315…光导、316…AF开始/结束按钮、320…外部I/F部、330…系统控制装置、331…A/D转换部、332…预处理部、333…检测处理部、334…后处理部、335…系统控制部、336…控制部、337…存储部、340…显示部、350…光源装置、352…光源。

Claims (13)

1.一种图像处理系统，其特征在于，包括：

图像取得部，其取得处理对象图像；以及

处理部，其进行输出检测结果的处理，所述检测结果是在所述处理对象图像中检测出关注区域的结果，

所述处理部进行以下处理：

分类处理，基于观察方法分类器，将拍摄所述处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意的所述观察方法；以及

选择处理，基于所述观察方法分类器的分类结果，选择多个关注区域检测器中的任意的所述关注区域检测器，所述多个关注区域检测器包含第一关注区域检测器和第二关注区域检测器，

在所述选择处理中选择了所述第一关注区域检测器的情况下，所述处理部输出基于所述第一关注区域检测器而从被分类为所述第一观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果，

在所述选择处理中选择了所述第二关注区域检测器的情况下，所述处理部输出基于所述第二关注区域检测器而从被分类为所述第二观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果。

2.根据权利要求1所述的图像处理系统，其特征在于，

所述处理部基于所述观察方法分类器，进行从所述处理对象图像中检测所述关注区域的处理。

3.根据权利要求2所述的图像处理系统，其特征在于，

在所述选择处理中选择了所述第一关注区域检测器的情况下，所述处理部进行如下的整合处理：即基于所述第一关注区域检测器的所述关注区域的所述检测结果和基于所述观察方法分类器的所述关注区域的所述检测结果的整合处理，

在所述选择处理中选择了所述第二关注区域检测器的情况下，所述处理部进行如下的所述整合处理：即基于所述第二关注区域检测器的所述关注区域的所述检测结果和基于所述观察方法分类器的所述关注区域的所述检测结果的整合处理。

4.根据权利要求3所述的图像处理系统，其特征在于，

所述处理部进行以下处理中的至少一方：

输出第一得分的处理，所述第一得分表示基于所述第一关注区域检测器而从所述处理对象图像中被检测为所述关注区域的区域的所述关注区域可能性；以及

输出第二得分的处理，所述第二得分表示基于所述第二关注区域检测器而从所述处理对象图像中被检测为所述关注区域的区域的所述关注区域可能性，

所述处理部进行输出第三得分的处理，所述第三得分表示基于所述观察方法分类器而从所述处理对象图像中被检测为所述关注区域的区域的所述关注区域可能性，

在所述选择处理中选择了所述第一关注区域检测器的情况下，所述处理部通过整合所述第一得分和所述第三得分来求出第四得分，并且输出基于所述第四得分的所述检测结果，

在所述选择处理中选择了所述第二关注区域检测器的情况下，所述处理部通过整合所述第二得分和所述第三得分来求出第五得分，并且输出基于所述第五得分的所述检测结果。

5.根据权利要求1所述的图像处理系统，其特征在于，

所述处理对象图像是由内窥镜拍摄装置拍摄到的生物体内图像，

所述第一观察方法是将普通光作为照明光的观察方法，

所述第二观察方法是将特殊光作为所述照明光的观察方法。

6.根据权利要求1所述的图像处理系统，其特征在于，

所述处理对象图像是由内窥镜拍摄装置拍摄到的生物体内图像，

所述第一观察方法是将普通光作为照明光的观察方法，

所述第二观察方法是对被摄体进行了色素散布的观察方法。

7.根据权利要求1所述的图像处理系统，其特征在于，

所述第一关注区域检测器是通过基于以所述第一观察方法拍摄到的多个第一学习用图像和检测数据的机器学习而取得的已学习模型，所述检测数据是与所述第一学习用图像中的所述关注区域的有无、位置、大小、形状中的至少1个相关联的数据，

所述第二关注区域检测器是通过基于以所述第二观察方法拍摄到的多个第二学习用图像和所述第二学习用图像的所述检测数据的机器学习而取得的已学习模型。

8.根据权利要求7所述的图像处理系统，其特征在于，

所述第二关注区域检测器是通过如下处理而进行了学习的已学习模型：使用包含在所述第一观察方法中拍摄到的图像的第一图像组进行预训练，并且在所述预训练后使用包含在所述第二观察方法中拍摄到的图像的第二图像组来进行精细调整。

9.根据权利要求3所述的图像处理系统，其特征在于，

所述观察方法分类器是通过基于以所述第一观察方法或所述第二观察方法拍摄到的学习用图像和正解数据的机器学习而取得的已学习模型，

所述正解数据包含检测数据和观察方法数据，所述检测数据是与所述学习用图像中的所述关注区域的有无、位置、大小、形状中的至少1个相关联的数据，所述观察方法数据表示所述学习用图像是通过所述第一观察方法和所述第二观察方法中的哪一个观察方法拍摄到的图像。

10.根据权利要求9所述的图像处理系统，其特征在于，

所述观察方法分类器是通过如下处理而进行了学习的已学习模型：使用包含在所述第一观察方法中拍摄到的图像的第一图像组进行预训练，在所述预训练后使用第三图像组来进行精细调整，所述第三图像组包含在所述第一观察方法中拍摄到的图像和在所述第二观察方法中拍摄到的图像。

11.根据权利要求1所述的图像处理系统，其特征在于，

所述观察方法分类器、所述第一关注区域检测器以及所述第二关注区域检测器中的至少1个由卷积神经网络(Convolutal Neural Network)构成。

12.一种内窥镜系统，其特征在于，包括：

拍摄部，其拍摄生物体内图像；

图像取得部，其取得所述生物体内图像作为处理对象图像；以及

处理部，其进行输出检测结果的处理，所述检测结果是在所述处理对象图像中检测出关注区域的结果，

所述处理部进行以下处理：

分类处理，基于观察方法分类器，将拍摄所述处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意的所述观察方法；以及

选择处理，基于所述观察方法分类器的分类结果，选择多个关注区域检测器中的任意的所述关注区域检测器，所述多个关注区域检测器包含第一关注区域检测器和第二关注区域检测器，

在所述选择处理中选择了所述第一关注区域检测器的情况下，所述处理部输出基于所述第一关注区域检测器而从被分类为所述第一观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果，

在所述选择处理中选择了所述第二关注区域检测器的情况下，所述处理部输出基于所述第二关注区域检测器而从被分类为所述第二观察方法的所述处理对象图像中检测出所述关注区域的所述检测结果。

13.一种图像处理方法，其特征在于，

取得处理对象图像，

进行分类处理，在所述分类处理中，基于观察方法分类器，将拍摄所述处理对象图像时的观察方法分类为包含第一观察方法和第二观察方法的多个观察方法中的任意的所述观察方法，

进行选择处理，在所述选择处理中，基于所述观察方法分类器的分类结果，选择多个关注区域检测器中的任意的所述关注区域检测器，所述多个关注区域检测器包含第一关注区域检测器和第二关注区域检测器，

在所述选择处理中选择了所述第一关注区域检测器的情况下，输出基于所述第一关注区域检测器而从被分类为所述第一观察方法的所述处理对象图像中检测出关注区域的检测结果，

在所述选择处理中选择了所述第二关注区域检测器的情况下，输出基于所述第二关注区域检测器而从被分类为所述第二观察方法的所述处理对象图像中检测出所述关注区域的检测结果。

Images