CN115135223A - 图像处理系统、内窥镜系统以及图像处理方法 - Google Patents

Abstract

图像处理系统(100)包括：图像取得部(110)，其取得通过内窥镜拍摄装置拍摄生物体内而得到的时序图像作为处理对象图像序列；以及处理部(120)，其根据数据库进行针对处理对象图像序列的处理，所述数据库是根据在比处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的。在生物体内发生了出血时，处理部(120)进行如下处理：基于处理对象图像序列和数据库，决定针对发生了出血的血管的止血处置，并将所决定的止血处置提示给用户。

Description

图像处理系统、内窥镜系统以及图像处理方法

技术领域

本发明涉及图像处理系统、内窥镜系统以及图像处理方法等。

背景技术

以往，在使用内窥镜系统等的手术中，已知有进行基于对生物体内进行拍摄而得到的图像的图像处理的方法。例如在专利文献1中公开了根据手术中的动态图像信息来检测出血区域的方法。

现有技术文献

专利文献

专利文献1：日本特开2011-36371号公报

发明内容

发明所要解决的课题

专利文献1的方法虽然要求出血区域的检测、该出血区域的面积的变化、出血量等，但是对于出血的处置则委托给作为手术人员的用户来应对。

根据本公开的几个方式，能够提供通过针对在生物体内产生的出血而提示推荐的处置方法，能够适当地支持用户的图像处理系统、内窥镜系统以及图像处理方法等。

用于解决课题的手段

本公开的一技术方案涉及一种图像处理系统，包括：图像取得部，其取得通过内窥镜拍摄装置拍摄生物体内而得到的时序图像作为处理对象图像序列；以及处理部，其根据数据库和所述处理对象图像序列进行处理，所述数据库是根据在比所述处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的，在所述生物体内发生了出血时，所述处理部进行如下处理：基于所述处理对象图像序列和所述数据库，决定针对发生了所述出血的血管的止血处置，并将所决定的所述止血处置提示给用户。

本公开的其他方式涉及一种内窥镜系统，所述内窥镜系统具备：拍摄部，其拍摄生物体内；图像取得部，其取得所述拍摄部拍摄的时序图像作为处理对象图像序列；以及处理部，其根据数据库和所述处理对象图像序列进行处理，所述数据库是根据在比所述处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的，在所述生物体内发生了出血时，所述处理部进行如下处理：基于所述处理对象图像序列和所述数据库，决定针对发生了所述出血的血管的止血处置，将所决定的所述止血处置提示给用户。

本公开的另一技术方案涉及一种图像处理方法，该图像处理方法进行如下处理：取得通过内窥镜拍摄装置拍摄生物体内而得到的时序图像作为处理对象图像序列；在所述生物体内发生了出血时，根据数据库和所述处理对象图像序列决定针对发生了所述出血的血管的止血处置，所述数据库是根据在比所述处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的；以及将所决定的所述止血处置提示给用户。

附图说明

图1是表示与肝脏有关的血管的示意图。

图2是图像处理系统的概略结构例。

图3是包含图像处理系统的系统的结构例。

图4是说明数据库生成处理的流程图。

图5是图像处理系统的结构例。

图6是内窥镜系统的结构例。

图7是说明图像处理系统中的处理的流程图。

图8是说明出血判定处理的流程图。

图9是说明出血检测处理的流程图。

图10是说明出血点检测处理的流程图。

图11是说明以给定的出血区域为对象的出血点检测处理的流程图。

图12的(A)、图12的(B)是说明出血点检测处理的示意图。

图13是通过出血点检测处理取得的数据的例子。

图14的(A)、图14的(B)是数据库的例子。

图15的(A)、图15的(B)是神经网络的例子。

图16是神经网络的输入以及输出的例子。

图17是说明止血处置的决定处理的流程图。

图18是说明显示处理的流程图。

图19是用于提示止血处置的显示图像的例子。

图20的(A)是数据库的另一例，图20的(B)是神经网络的输入和输出的另一例。

图21的(A)是数据库的另一例，图21的(B)是神经网络的输入和输出的另一例。

图22是说明止血处置的决定处理的流程图。

图23的(A)、图23的(B)是数据库的另一例。

具体实施方式

以下，对本实施方式进行说明。另外，以下说明的本实施方式并不是对权利要求书所记载的内容进行不当限定。另外，在本实施方式中说明的全部结构不一定是必要构成要件。

1.本实施方式的方法

在使用腹腔镜的手术中，即使医师按照术前计划实施手术，也有可能在手术中产生不期望的出血。例如血管的行进因患者而存在个人差异，因此难以可靠地避免血管的损伤。在发生了出血的情况下，医生需要迅速地进行处置。例如，在进行切除肝脏的一部分的肝部分切除的情况下，如果针对出血的处置错了，则有可能与预后有关，因此迅速地进行处置是重要的。

在专利文献1中，公开了基于拍摄图像来检测并提示与出血有关的信息的方法。但是，专利文献1等现有方法虽然有可能能够检测出血的有无等，但基于这些信息的具体处置的决定则交给了医生。

图1是表示肝脏及与肝脏有关的血管的示意图。如图1所示，在与肝脏有关的血管中包含门静脉(A1)、肝动脉(A2)、肝静脉(A3)这样的类型不同的多个血管。而且，根据血管类型，发生出血时的期望的止血处置不同。因此，根据医生的熟练度，难以迅速地决定针对出血的适当的处置。其结果是，手术时间增大，患者和手术人员的负担变大。

图2是表示本实施方式的图像处理系统100的结构例的图。图像处理系统100包含：图像取得部110，其取得通过内窥镜拍摄装置对生物体内进行拍摄而得到的时序图像作为处理对象图像序列；以及处理部120，其根据由在处理对象图像序列之前的时点拍摄到的多个生物体内图像而生成的数据库和处理对象图像序列进行处理。而且，在生物体内发生了出血时，处理部120基于处理对象图像序列和数据库，进行决定针对发生了出血的血管的止血处置、将所决定的止血处置提示给用户的处理。另外，内窥镜拍摄装置是指内窥镜系统200所包含的拍摄装置，例如设置于后述的内窥镜镜体210。在生物体内发生了出血时是指具体而言如使用图9后述的那样，表示通过出血检测处理检测到出血的发生的情况。但是，图像处理系统100也可以不进行出血检测处理，而定期地执行止血处置的决定处理。在该情况下，止血处置的决定处理结果根据出血的发生状况而不同，在发生了出血时决定并提示缝合等具体的止血处置，在未发生出血时判定为不需要止血处置。

在此，处理对象图像序列表示成为决定止血处置的处理对象的时序的图像。具体而言，处理对象图像序列是在执行中的腹腔镜手术中拍摄的实时的动态图像。与此相对，数据库包含在决定止血处置的处理的执行时点之前进行的手术中拍摄到的多个图像。另外，之前进行的手术可以是以与实时地进行的腹腔镜手术的对象患者相同的患者为对象的手术，也可以是以不同的患者为对象的手术。例如在决定肝部分切除中的止血处置的情况下，数据库包含在以前进行的肝部分切除中拍摄到的动态图像。另外，如果考虑与处理对象图像序列的关系，则这里的手术具体而言是使用腹腔镜的手术。但是，在开腹手术中通过拍摄手术经过而取得的病例图像也可以包含在数据库中。另外，若考虑基于数据库的处理的精度，则优选数据库所包含的信息量较多。例如，在将与肝部分切除中的1次出血的发生对应的期间的动态图像计数为1个动态图像的情况下，数据库包含多个动态图像。即，与1次出血对应的1个动态图像包含多个生物体内图像，数据库包含多个该动态图像。

根据本实施方式的方法，不仅限于出血的有无、出血点的提示，还能够向用户提示推荐的止血处置。这里的用户具体而言是作为手术人员的医生。由此，能够适当地支持由用户进行的止血处置。

另外，在生物体内图像中，存在血液的区域被拍摄为红色区域。因此，能够根据红色区域的面积来估计出血量。但是，如果拍摄部与生物体之间的距离变化，则即使是实际的大小相同的被摄体，在图像上的大小也会变化。此外，镜头等拍摄光学系统的结构、数字变焦等图像处理也成为使给定的被摄体在图像上的大小发生变化的因素。因此，仅根据处理对象图像序列准确地掌握出血的状况、例如高精度地估计出血量或其时序变化并不容易。因此，也难以仅根据处理对象图像序列而高精度地估计针对出血而推荐的止血处置。例如，即使想要通过将给定的阈值与红色区域的面积进行比较这样的处理来决定止血处置，也无法设定适当的阈值。另外，关于肝脏等脏器的大小、细微的形状，由于患者不同而存在个人差异，因此从这一点来看，也可以说难以设定能够通用地应用于很多患者的阈值。

与此相对，在本实施方式的方法中，在决定推荐的止血处置时，不是仅使用处理对象图像序列，而是进行基于数据库的处理。由于基于在之前进行的手术中取得的信息进行处理，因此能够高精度地估计推荐的止血处置。另外，基于数据库的处理可以是基于通过使用了数据库的机器学习而生成的已学习模型的处理，也可以是使用了数据库所包含的信息和处理对象图像序列的比较处理。详细内容后述。

2.系统结构例

首先，对包含图像处理系统100的整体系统的结构进行说明，之后，对图像处理系统100的详细结构以及内窥镜系统200的结构进行说明。

2.1整体结构例

图3是包含本实施方式的图像处理系统100的系统的结构例。如图3所示，系统包括图像处理系统100、内窥镜系统200、数据库服务器300、数据库生成装置400、学习装置500和图像收集用内窥镜系统600。但是，系统并不限定于图3的结构，能够实施省略其中的一部分结构要素或者追加其他结构要素等各种变形。

图像收集用内窥镜系统600是拍摄用于生成本实施方式的数据库的多个生物体内图像的内窥镜系统。与此相对，内窥镜系统200是对成为止血处置决定处理的对象的处理对象图像序列进行拍摄的系统，狭义上是正在执行使用腹腔镜的手术的系统。若考虑后述的数据库的更新处理，则内窥镜系统200拍摄到的处理对象图像序列能够用作在将来的手术中用于决定止血处置的数据库的一部分。即，内窥镜系统200也可以在其他时点作为图像收集用内窥镜系统600发挥功能。另外，图像收集用内窥镜系统600也可以在其他时点作为本实施方式的内窥镜系统200发挥功能。

数据库服务器300可以是设置于内部网等专用网络中的服务器，也可以是设置于因特网等公共通信网中的服务器。

数据库服务器300首先从图像收集用内窥镜系统600收集在以前的手术中取得的多个生物体内图像即手术图像序列。但是，手术图像序列也包含与出血无关的图像等。例如，与发生出血时的图像相比，手术图像序列中的在未发生出血的期间拍摄到的图像在止血处置的决定处理中的有用性低。另外，为了利用于图像处理系统100中的止血处置的决定处理，需要将拍摄出血而得到的多个生物体内图像与和应针对该出血进行的止血处置有关的信息对应起来。

因此，数据库生成装置400进行如下处理：数据库服务器300从图像收集用内窥镜系统600取得收集到的手术图像序列，生成本实施方式的数据库。

图4是说明数据库生成装置400中的数据库生成处理的流程图。当开始该处理时，在步骤S11中，数据库生成装置400执行从手术图像序列中提取出血模式(pattern)的图像序列的处理。出血模式的图像序列例如表示与从出血开始帧到检测到出血的帧为止的期间对应的多个生物体内图像。例如，数据库生成装置400通过执行使用图9～图11后述的处理，进行确定被检测到出血的图像Pi和与该出血的开始帧对应的图像Ps的处理。数据库生成装置400提取与从Pi到Ps为止的期间对应的图像作为出血模式的图像序列。此外，可以将与从Pi到Ps为止的期间对应的图像全部作为提取对象，也可以省略一部分图像。或者，出血模式的图像序列例如也可以是与从出血开始到进行后述的应急止血处置为止的期间对应的多个生物体内图像。在该情况下，设想出血量按照从开始时点起随着时间的经过而增加、若应急止血处置开始则减少这样的模式。这样，预先将生物体内图像中的出血状况的时序变化定义为出血模式，数据库生成装置400进行从手术图像序列中提取与该出血模式的相似度高的图像序列的处理。此外，图像序列的提取既可以基于用户输入来进行，也可以使用图像处理来自动地进行。

接下来，在步骤S12中，数据库生成装置400执行注释(Annotation)。注释是指对在出血模式的图像序列中拍摄到的出血附加与推荐的止血处置有关的元数据的处理。注释例如由医生等具有专业知识的用户进行。数据库生成装置400受理用户的注释输入，进行将所受理的信息与在步骤S11中提取出的图像序列对应起来的处理。需要说明的是，在此附加的信息可以是确定血管类型的信息，也可以是确定止血处置的信息，还可以是这两者。

另外，在步骤S13中，数据库生成装置400也可以进行将其他附加信息与出血模式的图像序列对应起来的处理。这里的附加信息也可以包含例如手术人员、手术方式、医院名称等信息、手术中应该注意的事项等信息。另外，附加信息可以是年龄、性别、身高、体重等与患者有关的信息，也可以是在手术前使用CT(Computed Tomography：计算机断层扫描)、MRI(Magnetic Resonance Imaging：磁共振成像)取得的信息。

在步骤S14中，数据库生成装置400进行将包含用于确定止血处置的信息的元数据与出血模式的图像序列对应起来的信息登记到本实施方式的数据库中的处理。具体而言，步骤S14的处理是针对数据库服务器300的表数据的写入处理。

学习装置500通过进行使用了数据库的机器学习，生成已学习模型。例如学习装置500从数据库服务器300取得数据库，通过进行后述的机器学习来生成已学习模型。学习装置500将所生成的已学习模型发送到数据库服务器300。

图像处理系统100从数据库服务器300获取已学习模型。另外，图像处理系统100从内窥镜系统200取得处理对象图像序列。然后，图像处理系统100根据基于数据库生成的已学习模型和处理对象图像序列，进行决定止血处置的处理。

此外，数据库生成装置400也可以包含于数据库服务器300中，在数据库服务器300内进行图4所示的处理。或者，数据库生成装置400也可以包含在图像收集用内窥镜系统600中。在该情况下，图4所示的处理在图像收集用内窥镜系统600中执行，向数据库服务器300发送处理后的数据。

另外，也可以将数据库生成装置400和学习装置500设为相同的装置。在该情况下，能够在相同的装置内执行根据手术图像序列生成数据库的处理和基于生成的数据库的机器学习。或者，也可以将学习装置500和图像处理系统100构成为一体。在该情况下，能够在相同的装置中执行生成已学习模型的学习处理和使用已学习模型的推导处理。

另外，在图3中示出了学习装置500生成的已学习模型暂时储存于数据库服务器300的例子，但也可以从学习装置500向图像处理系统100直接发送已学习模型。另外，如后所述，在本实施方式的方法中，机器学习不是必须的。在不进行机器学习的情况下，能够省略学习装置500。

如上所述，图3是系统结构的一例，包含图像处理系统100的系统的结构能够实施各种变形。

2.2图像处理系统

图5是示出图像处理系统100的详细结构例的图。图像处理系统100包括图像取得部110、处理部120和存储部130。处理部120包含出血检测部121、出血点检测部123、处置决定部125和显示处理部127。但是，图像处理系统100、处理部120并不限定于图5的结构，能够实施省略它们中的一部分结构要素或者追加其他结构要素等各种变形。

图像取得部110是取得由内窥镜系统200的拍摄装置拍摄到的生物体内图像的接口电路。在图像处理系统100包含于内窥镜系统200的处理器单元220中的情况下，图像取得部110相当于经由线缆取得来自拍摄装置的图像信号的拍摄数据接收部221。接口电路例如是具有从内窥镜系统200取得生物体内图像并将取得的生物体内图像发送到处理部120的功能的电路。在该情况下，图像取得部110也可以从拍摄装置接收作为数字数据的生物体内图像。或者，图像取得部110也可以从拍摄装置接收模拟信号，通过对该模拟信号进行A/D转换来取得作为数字数据的生物体内图像。即，接口电路也可以是A/D转换电路。另外，在图像处理系统100与内窥镜系统200分体设置的情况下，图像取得部110被作为经由网络从内窥镜系统200接收生物体内图像的通信接口来实现。即，接口电路也可以是设置于通信芯片、通信设备的电路。这里的网络可以是内部网等专用网络，也可以是因特网等公共通信网。另外，网络可以是有线的或无线的。另外，图像取得部110例如按照每1帧来取得对生物体内进行拍摄而得到的图像。但是，图像取得部110也可以汇总取得与多个帧对应的多个图像。

处理部120由下述的硬件构成。硬件可以包括处理数字信号的控制电路和处理模拟信号的控制电路中的至少一方。例如，硬件能够由安装于电路基板的1个或多个电路装置、1个或多个电路元件构成。1个或多个电路装置例如是IC(Integrated Circuit：集成电路)、FPGA(field-programmable gate array：现场可编程门阵列)等。1个或多个电路元件例如是电阻、电容器等。

此外，处理部120也可以通过下述的处理器来实现。图像处理系统100包括存储信息的存储器和基于存储在存储器中的信息进行工作的处理器。这里的存储器既可以是存储部130，也可以是不同的存储器。信息例如是程序和各种数据等。处理器包括硬件。处理器能够使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、DSP(Digital Signal Processor：数字信号处理器)等各种处理器。存储器可以是SRAM(Static Random Access Memory：静态随机存取存储器)、DRAM(DynamicRandom Access Memory：动态随机存取存储器)等半导体存储器，也可以是寄存器，还可以是HDD(Hard Disk Drive：硬盘驱动器)等磁存储装置，还可以是光盘装置等光学式存储装置。例如，存储器存储有可由计算机读取的指令，通过由处理器执行该指令，将处理部120的各部的功能作为处理来实现。具体而言，处理部120的各部是出血检测部121、出血点检测部123、处置决定部125、显示处理部127。这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示工作的指令。进而，也能够通过云计算来实现处理部120的各部的全部或者一部分，在云计算上进行后述的各处理。

存储部130成为处理部120等的工作区域，其功能能够通过半导体存储器、寄存器、磁存储装置等来实现。存储部130存储图像取得部110取得的处理对象图像序列。另外，存储部130存储使用数据库生成的已学习模型。此外，存储部130也可以与已学习模型一起或者代替已学习模型而存储数据库本身。

出血检测部121进行出血检测处理，在该出血检测处理中，根据处理对象图像序列检测在作为拍摄对象的生物体内是否发生了出血。稍后将参照图9叙述出血检测处理的详细内容。

出血点检测部123进行出血点检测处理，在该出血点检测处理中，根据处理对象图像序列而检测出血点。这里的出血点表示发生出血的位置。使用图10、图11在后面叙述出血点检测处理的详细内容。

处置决定部125进行针对出血而决定推荐的止血处置的处理。处置决定部125进行如下处理：从例如存储部130读出已学习模型的处理；将提取了处理对象图像序列中的规定区间的图像序列输入到已学习模型的处理；基于已学习模型的输出来决定发生了出血的血管类型的处理；以及基于所决定的血管类型来决定止血处置的处理。使用图14的(A)～图17在后面叙述使用已学习模型的处理的详细内容。需要说明的是，作为变形例，如后所述，处理部120也可以基于已学习模型的输出直接决定止血处置。另外，处理部120也可以不使用已学习模型，而基于处理对象图像序列与数据库的比较处理来决定止血处置。

显示处理部127进行将由处置决定部125决定的止血处置显示于显示部的处理。这里的显示部例如是内窥镜系统200的显示部230。显示处理部127进行如下处理：例如通过在处理对象图像序列的各图像上重叠与止血处置有关的信息而生成显示图像的处理；以及将生成的显示图像发送到显示部230的处理。或者，显示处理部127也可以进行将显示图像发送到内窥镜系统200的处理器单元220的处理。在该情况下，由处理器单元220执行显示部230中的显示控制。另外，显示处理部127进行的显示处理也可以是将与所决定的止血处置有关的信息向内窥镜系统200等设备发送并指示显示的处理。在该情况下，由处理器单元220执行显示图像的生成处理、显示部230的控制处理。

另外，本实施方式的图像处理系统100进行的处理也可以作为图像处理方法来实现。本实施方式的图像处理方法进行如下处理：取得通过内窥镜拍摄装置对生物体内进行拍摄而得到的时序图像作为处理对象图像序列，在生物体内发生了出血时，根据基于在处理对象图像序列之前的时点拍摄到的多个生物体内图像而生成的数据库和处理对象图像序列，决定针对发生了出血的血管的止血处置，将所决定的止血处置提示给用户。

另外，本实施方式的处理部120的各部也可以作为在处理器上工作的程序的模块来实现。例如，出血检测部121和出血点检测部123被作为分别执行出血检测处理和出血点检测处理的图像处理模块来实现。处置决定部125被作为用于决定止血处置的处理模块来实现。在使用已学习模型的情况下，处置决定部125被作为用于按照已学习模型来运算输出的推导处理模块来实现。在使用数据库本身的情况下，处置决定部125被作为对处理对象图像序列和数据库进行比较的比较处理模块来实现。显示处理部127被作为生成显示图像的图像处理模块、控制显示部230的控制模块来实现。

另外，实现本实施方式的处理部120的各部进行的处理的程序例如能够保存在作为计算机可读取的介质的信息存储装置中。信息存储装置例如能够通过光盘、存储卡、HDD或者半导体存储器等来实现。半导体存储器例如是ROM。处理部120基于存储于信息存储装置中的程序进行本实施方式的各种处理。即，信息存储装置存储用于使计算机作为处理部120的各部发挥功能的程序。计算机是具备输入装置、处理部、存储部、输出部的装置。具体而言，本实施方式的程序是用于使计算机执行使用图7等后述的各步骤的程序。

2.3内窥镜系统

图6是内窥镜系统200的结构例。内窥镜系统200包含内窥镜镜体210、处理器单元220和显示部230。此外内窥镜系统200还可以包括操作部240。

在内窥镜镜体210的前端部设置有拍摄装置，其前端部插入腹腔内。拍摄装置拍摄腹腔内的图像，其拍摄数据从内窥镜镜体210发送到处理器单元220。

处理器单元220是进行内窥镜系统200中的各种处理的装置。例如，处理器单元220进行内窥镜系统200的控制和图像处理等。处理器单元220包括拍摄数据接收部221、处理部222和存储部223。

拍摄数据接收部221接收来自内窥镜镜体210的拍摄数据。拍摄数据接收部221例如是与内窥镜镜体210的线缆连接的连接器或接收拍摄数据的接口电路等。

处理部222进行针对拍摄数据的处理，进行将处理结果显示于显示部230的处理。处理部222中的处理例如是白平衡处理、降噪处理等校正处理。并且，处理部222也可以进行从拍摄数据中检测给定的被摄体的检测处理等。这里的处理部222具体而言是图像处理电路。

存储部223成为处理部222等的工作区域，例如是半导体存储器、或者硬盘驱动器、光盘驱动器等存储装置。

显示部230是显示从处理部222输出的图像的监视器，例如是液晶显示器或有机EL显示器等显示装置。

操作部240是用于供作业者操作内窥镜系统200的装置。例如，操作部240是按钮、或者拨盘、脚踏开关、触摸面板等。如后所述，处理部222也可以基于来自操作部240的输入信息来变更对象物的显示方式。

图2和图5所示的图像处理系统100例如可以与图6所示的内窥镜系统200分体设置。例如，图像处理系统100包含在与处理器单元220连接的信息处理装置中。这里的信息处理装置可以是PC(Personal Computer：个人计算机)，也可以是服务器系统。处理器单元220和信息处理装置可以通过线缆连接，也可以使用无线网络连接。

处理器单元220的处理部222进行将由拍摄数据接收部221取得的拍摄数据经由未图示的通信部发送到信息处理装置的处理。图像处理系统100的图像取得部110取得从处理器单元220发送的时序的拍摄数据作为处理对象图像序列。处理部120以处理对象图像序列为对象进行止血处置的决定处理。图像处理系统100将止血处置的决定处理结果返回到处理器单元220。处理器单元220的处理部222将从图像处理系统100接收到的包含与止血处置有关的信息的显示图像显示于显示部230。

或者，图像处理系统100也可以包含在内窥镜系统200中。在这种情况下，图像取得部110对应于拍摄数据接收部221。处理部120对应于处理部222。存储部130对应于存储部223。即，本实施方式的方法也可以应用于内窥镜系统200。本实施方式的内窥镜系统200包括：拍摄部，其对生物体内进行拍摄；图像取得部110，其取得拍摄部拍摄的时序图像作为处理对象图像序列；以及处理部120，其根据由在处理对象图像序列之前的时点拍摄的多个生物体内图像而生成的数据库，进行针对处理对象图像序列的处理。处理部120在生物体内发生了出血时，基于处理对象图像序列和数据库，进行决定针对发生了出血的血管的止血处置，将所决定的止血处置提示给用户的处理。

拍摄部例如是如上述那样包含在内窥镜镜体210中的拍摄装置。内窥镜镜体210将从未图示的光源装置经由光导导光至内窥镜镜体210的照明透镜的照明光照射到被摄体。拍摄部是经由包含物镜、聚焦透镜等的透镜系统接收来自被摄体的反射光的摄像元件。另外，拍摄部也可以包含对作为摄像元件的输出的模拟信号进行A/D转换的A/D转换电路。或者，拍摄数据接收部221也可以包含A/D转换电路。

3.处理的详细内容

接下来，将说明在图像处理系统100中执行的处理。首先，在对整体的处理流程进行了说明之后，对各处理的详细情况进行说明。

3.1整体处理

图7是说明图像处理系统100中的处理的流程图。当开始该处理时，首先在步骤S101中，图像取得部110取得处理对象图像序列。例如，图像取得部110从内窥镜系统200取得最新帧的图像，并且读出存储在存储部130中的以前的规定帧的图像。在此，将最新帧记为帧i，将该帧i中的图像记为Pi。i是表示帧的变量。

在步骤S102中，处理部120进行与出血有关的判定即出血判定处理。出血判定处理包括出血检测部121进行的出血检测处理、出血点检测部123进行的出血点检测处理、处置决定部125进行的处置的决定处理。

在步骤S103中，显示处理部127进行如下处理：通过对最新帧的图像重叠与所确定的出血点有关的信息来生成显示图像，并将该显示图像显示于显示部。另外，在步骤S103中，显示处理部127也可以显示与所决定的止血处置有关的信息。

接着，在步骤S104中，处理部120进行更新数据库的处理。另外，步骤S104的处理不需要在手术中进行，例如也可以在手术完成后执行。

接着，在步骤S105中，使表示帧的变量i递增后，返回步骤S101。即，将下一帧的图像作为对象，继续进行步骤S101～S104的处理。

3.2出血判定处理

图8是说明图7的步骤S102中的出血判定处理的流程图。当开始该处理时，在步骤S201中，出血检测部121进行出血检测处理。在步骤S202中，出血点检测部123执行出血点检测处理。在步骤S203中，处置决定部125进行止血处置的决定处理。以下，对各步骤的处理进行详细说明。

3.2.1出血检测处理

图9是说明步骤S201中的出血检测处理的流程图。首先，在步骤S301中，出血检测部121进行处理对象的图像Pi与比Pi靠前n帧的图像Pi～n的比较处理。图像Pi～n例如是在图像Pi的1秒之前取得的图像，但对于作为比较对象的图像的取得时点能够实施各种变形。

接下来，在步骤S302中，出血检测部121判定图像之间的红色区域的变化是否大。例如出血检测部121使用块匹配等公知的匹配方法，确定在图像间发生变化的区域。而且，在发生变化的区域的面积为规定阈值以上的情况下，判定该区域是否为红色的区域。出血检测部121例如将色相位于包含0度的规定角度范围内的区域判定为红色区域。

在判定为在图像间发生变化的区域的面积为阈值以上且该区域为红色区域的情况下，在步骤S303中，出血检测部121判定为在图像Pi中有出血。在除此以外的情况下，在步骤S304中，出血检测部121判定为在图像Pi中没有出血。

3.2.2出血点检测处理

图10、图11是说明步骤S202中的出血点检测处理的流程图。首先，在图10的步骤S401中，出血点检测部123判定在图像Pi中是否检测到出血。在步骤S401中为“否”的情况下，出血点检测部123不进行步骤S402以后的处理而结束处理。

在步骤S401中为“是”的情况下，在步骤S402中，出血点检测部123确定图像Pi中的出血区域S。这里的出血区域例如是作为图像Pi中的连续的红色像素的集合的区域中的规定像素数以上的区域。此外，在图像Pi中存在多个出血区域的情况下，出血点检测部123将各出血区域区分为S1、S2…。

在步骤S403中，出血点检测部123将确定出血区域的变量k初始化为1。然后，在步骤S404中，以出血区域Sk为对象，执行出血点检测处理。在步骤S404的处理后，在步骤S405中，出血点检测部123使k递增，返回到步骤S404的处理。即，出血点检测部123对在图像Pi中检测出的1个或多个出血区域依次执行出血点检测处理。在针对全部出血区域的出血点检测处理结束的情况下，图10所示的处理结束。

图11是说明步骤S404中的以出血区域Sk为对象的出血点检测处理的流程图。在步骤S501中，出血点检测部123将出血点搜索用的变量j初始化为1。在步骤S502中，出血点检测部123判定在比图像Pi靠前j帧的图像Pi-j中是否存在作为处理对象的出血区域Sk。例如出血点检测部123在图像Pi-j中进行出血区域的检测以及求出该出血区域的重心，并进行该重心与图像Pi-j+1中的Sk的重心的比较处理。在差分为规定阈值以下的情况下，出血点检测部123判定为图像Pi～j中的出血区域是作为处理对象的出血区域Sk。另外，在设想被摄体在相当于1帧的期间中的图像上的运动较大的情况下，出血点检测部123也可以在进行了基于运动矢量的校正之后进行重心的比较处理。

在步骤S502中为“是”的情况下，在步骤S503中，出血点检测部123使变量j递增。在步骤S503的处理后，出血点检测部123再次返回到步骤S502继续进行处理。即，进一步向之前的方向回溯，判定出血区域Sk的有无。

图12的(A)是示出出血点检测处理的示意图。如图12的(A)所示，出血点检测部123在之前的方向上搜索在图像Pi中检测出的出血区域Sk。图12的(A)图示了在步骤S502中为“否”的情况、即在图像Pi-j+1中检测到Sk且在图像Pi-j中未检测到Sk的情况。在该情况下，在步骤S505中，出血点检测部123将图像Pi-j+1设定为与出血开始帧对应的出血开始图像Ps。即，出血开始帧是与最新的帧i相比靠前j-1帧的帧。

在确定了出血开始图像Ps之后，在步骤S505中，出血点检测部123确定出血点。图12的(B)是说明确定出血点(xs，ys)的处理的示意图。如图12的(B)所示，出血点检测部123进行将图像Ps中的出血区域Sk的重心即(xs，ys)检测为出血点的处理。另外，在图12的(B)中，将图像的左上的端点设为原点，但坐标系的设定是任意的。

图13是说明通过图10～图12的(B)所示的出血点检测处理取得的数据的结构的图。如图13所示，根据帧i中的图像Pi，检测1个或多个出血区域，将确定出血开始帧的信息与各出血区域对应起来。出血开始帧如图11所示例如是i-j+1，确定了具体的数值。另外，如图12的(B)所示，将确定出血开始点的坐标即(xs，ys)与各出血区域对应起来。

如上所述，处理部120根据处理对象图像序列，进行检测生物体内是否发生了出血的出血检测处理。而且，处理部120在检测到出血时，进行确定出血的发生位置即出血点的出血点检测处理。这样，能够检测出血的发生以及确定出血点，因此能够适当地支持由用户进行的止血处置。

3.2.3止血处置的决定处理

对步骤S203中的止血处置的决定处理进行说明。需要说明的是，作为进行止血处置的决定处理的前提，也对数据库的具体例以及使用数据库的学习处理进行说明。

以下，对处理对象图像序列以及数据库所包含的生物体内图像为拍摄肝脏的图像的例子进行说明。处理部120基于处理对象图像序列和数据库，决定针对肝动脉、肝静脉、门静脉中的任意血管的止血处置。这样，在肝部分切除等以肝脏为对象的手术中，能够适当地支持用户对未预期的出血的应对。特别是肝脏由于血管密集而容易发生出血，并且如果不适当地进行止血处置，则有可能成为预后不良。因此，支持与肝脏有关的止血处置是非常有用的。

处理部120也可以基于处理对象图像序列和数据库来确定发生了出血的血管的类型，并基于所确定的类型来决定止血处置。这样，通过确定发生了出血的血管类型，能够向用户提示与该类型对应的适当的止血处置。

在此，血管的类型表示例如解剖学、脉管学等领域中的结构性的划分、或者功能性的划分。如图1所例示的那样，作为与肝脏有关的血管的类型，考虑将来自消化器官系统的血液向肝脏引导的门静脉、从腹主动脉分支的肝动脉、从下腔静脉分支的肝静脉这3个。但是，本实施方式中的类型也可以更细致地划分血管。例如，也可以将相对而言粗的肝动脉和细的肝动脉设为不同的类型。或者，在肝部分切除中，将肝脏划分为右叶、左叶、尾状叶，进而将右叶和左叶分别划分为多个区域。本实施方式中的血管的类型也可以考虑血管与哪个区域连接。例如在本实施方式中，也可以将右肝静脉、中肝静脉、左肝静脉分别设为不同的类型。

图14的(A)、图14的(B)是表示本实施方式的数据库的例子的图。在上面参照图4描述的数据库生成处理中，如图14的(A)所示，将表示发生了出血的血管的血管类型的信息与出血模式的图像序列对应起来。即，在图4的步骤S12中，通过进行附加血管类型作为元数据的注释，取得图14的(A)所示的数据库。

另外，如图14的(B)所示，数据库包含将血管类型和与该血管类型对应的止血处置对应起来的数据。例如图14的(B)是包含与成为对象的血管类型对应的行数的数据的表，对1个血管类型对应1个止血处置。需要说明的是，作为止血处置，可以考虑将血管缝合的缝合、使用能量设备来烧灼血管而进行的密封、通过用夹子夹持出血点附近而机械地进行压迫的夹子止血、注射、散布具有血管收缩作用的药剂等。需要说明的是，血管类型的数量与止血处置的种类数无需一致，将1个止血处置与多个血管类型对应起来也无妨。

本实施方式的止血处置的决定处理也可以使用机器学习。具体而言，学习装置500通过进行基于数据库的机器学习来生成已学习模型。图像处理系统100的处理部120按照学习装置500生成的已学习模型进行工作，由此决定止血处置。以下，对使用神经网络的机器学习进行说明，但本实施方式的方法并不限定于此。在本实施方式中，例如可以进行使用了SVM(support vector machine：支持向量机)等其他模型的机器学习，也可以进行使用发展了神经网络、SVM等各种方法而得到的方法的机器学习。

图15的(A)是说明神经网络的示意图。神经网络具有输入数据的输入层、基于来自输入层的输出进行运算的中间层、以及基于来自中间层的输出而输出数据的输出层。在图15的(A)中，例示了中间层为2层的网络，但中间层可以是1层，也可以是3层以上。另外，各层所包含的节点(神经元)的数量并不限定于图15的(A)的例子，能够实施各种变形。另外，若考虑精度，则本实施方式的学习优选使用利用了多层神经网络的深层学习(深度学习)。此处的多层狭义上为4层以上。

如图15的(A)所示，给定的层所包含的节点与相邻的层的节点耦合。对各耦合设定加权系数。各节点将前级的节点的输出与加权系数相乘，求出相乘结果的合计值。进而，各节点对合计值加上偏置，对相加结果应用激活函数，由此求出该节点的输出。通过从输入层朝向输出层依次执行该处理，求出神经网络的输出。另外，作为激活函数，已知S形函数、ReLU函数等各种函数，在本实施方式中能够广泛地应用这些函数。

神经网络中的学习是决定适当的加权系数(包括偏置)的处理。具体而言，学习装置500将训练数据中的输入数据输入到神经网络，通过进行使用了此时的加权系数的正向的运算来求出输出。学习装置500基于该输出和训练数据中的正解标签来运算误差函数。然后，更新加权系数以使误差函数减小。在加权系数的更新中，例如能够利用从输出层朝向输入层更新加权系数的误差反向传播法。

此外，神经网络例如可以是CNN(Convolutional Neural Network：卷积神经网络)。图15的(B)是示出CNN的示意图。CNN包含进行卷积运算的卷积层和池化层。卷积层是进行滤波处理的层。池化层是进行缩小纵向、横向的尺寸的池化运算的层。图15的(B)所示的例子是在进行了多次基于卷积层以及池化层的运算之后，通过进行基于全连接层的运算来求出输出的网络。全连接层是指进行在将前一层的全部节点映射到所给定的层的节点的情况下的运算处理的层，并与上面使用图15的(A)叙述的各层的运算相对应。另外，在图15的(B)中省略了基于激活函数的运算处理。CNN已知有各种结构，在本实施方式中能够广泛地应用这些结构。

在使用CNN的情况下，处理的步骤也与图15的(A)相同。即，学习装置500将训练数据中的输入数据输入到CNN，通过进行使用了此时的滤波特性的滤波处理或池化运算来求出输出。基于该输出和正解标签算出误差函数，更新包含滤波特性的加权系数以使该误差函数减小。在更新CNN的加权系数时，例如也能够利用误差反向传播法。

图16是例示使用图14的(A)所示的数据库的情况下的神经网络的输入和输出的图。如图16所示，神经网络的输入数据是图像序列，输出数据是用于确定血管类型的信息。作为输入的图像序列例如是固定长度，但根据神经网络的结构，为可变长度也是无妨的。在神经网络的输出层为公知的softmax层的情况下，输出数据是表示各血管类型的或然性的概率数据。在图16的例子中，输出数据是在作为输入的图像序列中发生了出血的血管的类型为“表示是门静脉的或然性的概率数据”、“表示是肝动脉的或然性的概率数据”、“表示是肝静脉的或然性的概率数据”这3个数据。

学习装置500从图14的(A)所示的数据库取得出血模式的图像序列和与该图像序列对应的血管类型信息。接着，向神经网络输入图像序列，进行使用当前的加权系数的正向的运算，由此求出3个概率数据。在血管类型信息为“门静脉”的情况下，正解的数据是“表示是门静脉的或然性的概率数据”为1，“表示是肝动脉的或然性的概率数据”和“表示是肝静脉的或然性的概率数据”双方为0的数据。学习装置500将通过正向的运算求出的3个概率数据与正解之间的误差作为误差函数进行运算。在用于减小误差函数的加权系数的更新处理中，如上所述使用误差反向传播法等。以上是根据图14的(A)的数据库中包含的1行数据而执行的处理。学习装置500通过反复进行该处理来生成已学习模型。另外，在学习处理中已知批量学习、小批量学习等各种方法，在本实施方式中能够广泛地应用这些方法。

图17是说明步骤S203中的止血处置的决定处理的流程图。此外，假设在开始图17的处理之前，通过以上说明的处理生成了已学习模型。

首先，在步骤S601中，处置决定部125判定在最新的图像Pi中是否发生了出血。例如，处置决定部125通过取得步骤S201中的出血检测部121的处理结果，进行步骤S601的处理。在未发生出血的情况下，处置决定部125省略步骤S602以后的步骤，结束处理。

在判定为发生了出血的情况下，在步骤S602中，处置决定部125进行从处理对象图像序列中提取要输入到已学习模型的图像序列的处理。这里的图像序列是表示出血的状况的图像。图像序列的起点例如是图像Ps。图像序列的终点例如是图像Pi。但是，提取的图像序列的范围并不限定于此，起点以及终点的至少一方也可以不同。另外，不限于在图像序列中包含从起点到终点的全部帧的图像，也可以省略中途的一部分图像。

在步骤S603中，处置决定部125取得由学习装置500生成的已学习模型。步骤S603的处理也可以是从数据库服务器300接收已学习模型的处理。或者，处置决定部125也可以预先从数据库服务器300取得已学习模型，并存储于存储部130。在该情况下，步骤S603对应于读出所存储的已学习模型的处理。另外，步骤S602和S603的处理顺序不限于此，步骤S603可以在S602之前进行，也可以并列地进行2个处理。

在步骤S604中，处置决定部125执行基于已学习模型的推导处理。具体而言，处置决定部125通过将提取出的图像序列输入到已学习模型来取得输出数据。步骤S604的处理是包括例如与卷积层对应的滤波处理等的正向的运算。输出数据例如如上面使用图16所述的那样是3个概率数据。

在步骤S605中，处置决定部125根据输出数据，进行确定发生了出血的血管的血管类型的处理。步骤S605的处理例如是选择3个概率数据中的值最大的数据的处理。

在步骤S606中，处置决定部125基于所确定的血管类型，决定止血处置。例如处置决定部125通过进行图14的(B)所示的数据库与在步骤S605中确定的血管类型的比较处理，来决定止血处置。如果是图14的(B)的例子，则在确定为血管类型是门静脉的情况下，止血处置为缝合。

如以上那样，本实施方式的数据库也可以包含多个数据集，该数据集是针对作为时序的生物体内图像的生物体内图像序列，将其与表示在该生物体内图像序列中拍摄到的出血发生在哪个类型的血管中的血管类型信息对应起来而得到的数据集。数据库例如是图14的(A)。处理部120基于已学习模型和处理对象图像序列，进行确定发生了出血的血管的类型的处理。已学习模型是基于多个上述数据集对生物体内图像序列与血管类型信息的关系进行了机器学习的已学习模型。进而，处理部120基于所确定的类型来决定止血处置。

通过这样使用已学习模型来确定血管类型，能够高精度地估计发生了出血的血管的血管类型。另外，能够向用户提示与血管类型对应的止血处置。

此外，处理部120中的按照已学习模型的运算、即用于基于输入数据而输出输出数据的运算既可以通过软件来执行，也可以通过硬件来执行。换言之，在图15的(A)的各节点中执行的积和运算、在CNN的卷积层中执行的滤波处理等也可以以软件的方式执行。或者，上述运算也可以由FPGA等电路装置执行。另外，上述运算也可以通过软件和硬件的组合来执行。这样，按照来自存储于存储部130的已学习模型的指令的处理部120的工作能够通过各种方式来实现。例如，已学习模型包含推导算法和在该推导算法中使用的参数。推导算法是基于输入数据进行积和运算等的算法。参数是通过学习处理取得的参数，例如是加权系数。在该情况下，也可以将推导算法和参数双方存储于存储部130，处理部120通过读出该推导算法和参数而以软件方式进行推导处理。或者，推导算法也可以通过FPGA等实现，存储部130存储参数。

3.3显示处理

图18是说明步骤S103中的显示处理的流程图。首先，在步骤S701中，显示处理部127取得在当前进行的手术中作为对象的出血点的出血开始图像Ps中的出血点(xs，ys)。例如，显示处理部127通过读出图13所示的数据来确定图像Ps中的出血点的坐标。

在步骤S702中，显示处理部127进行基于被摄体在图像之间的移动量来校正出血点的处理。另外，也可以是，出血点检测部123进行出血点的校正处理，显示处理部127取得校正处理结果。

例如，显示处理部127计算在图像Ps与成为显示对象的最新帧的图像Pi之间被摄体的移动量。这里的移动量例如是运动矢量。运动矢量例如能够通过块匹配等求出。通过对图像Ps中的出血点的位置进行基于所求出的运动矢量的校正处理，能够确定图像Pi中的出血点的位置。另外，出血点的校正处理不限于直接执行图像Ps与图像Pi之间的校正处理的处理。例如，显示处理部127进行如下处理：求出图像Ps与图像Ps+1之间的运动矢量，并且基于该运动矢量确定图像Ps+1中的出血点。此后也同样地，显示处理部127可以通过逐帧地校正出血点，来确定图像Pi中的出血点。另外，显示处理部127也可以通过每2帧地进行确定出血点的处理来校正出血点，作为具体的处理能够实施各种变形。

在步骤S703中，显示处理部127根据显示对象图像和针对该图像确定的出血点的信息，生成显示图像。具体而言，显示处理部127通过将对出血开始图像Ps中的出血点(xs，ys)进行了基于运动矢量的校正后的结果附加到图像Pi，来进行与出血点有关的显示。显示处理部127例如进行在显示对象图像上重叠显示明示出血点的位置的标记对象的处理。

图19是用于向用户提示所决定的止血处置的显示图像的例子。如图19所示，显示图像例如是在对生物体内进行拍摄而得到的图像上重叠有表示止血处置的信息的图像。在图19中，通过重叠“夹子止血”这样的文本，提示推荐夹子止血作为止血处置。但是，重叠的信息并不限定于文本，也可以是图像、图标。另外，也可以使用显示以外的方法进行止血处置的提示处理。例如，处理部120也可以使用声音等向用户提示止血处置。

另外，如图19所示，也可以在显示图像上重叠表示出血点的信息、表示发生了出血的血管类型的信息。通过显示这样的附加的信息，能够以容易理解的方式向用户提示出血状况。例如，通过显示出血点，能够使用户掌握应进行止血处置的位置。

如上所述，处理部120也可以进行将与通过出血点检测处理确定出的出血点有关的信息报知给用户的出血报知处理。通过向用户提示出血点，能够使用户进行的止血处置变得容易。另外，在图18中示出了显示出血点的例子，但出血报知处理也可以包含在出血点检测处理中判定为有出血时报知与出血的发生有关的信息的处理。另外，出血报知处理也可以是报知与出血的发生有关的信息和与出血点有关的信息双方的处理。

3.4数据库的更新处理

另外，如图7的步骤S104所示，处理部120进行向数据库追加将用于决定止血处置的处理对象图像序列与针对在处理对象图像序列中检测出的出血的止血处置对应起来的数据集的处理。这样，随着手术的执行，数据库中存储的数据被扩充。由此，能够提高使用数据库的处理的精度。在使用机器学习的情况下，通过增加训练数据的量，能够生成能够执行高精度的推导处理的已学习模型。

数据库的更新处理的流程以图4所示的数据库的生成处理的流程为基准。在止血处置的决定处理的步骤S602中，进行提取图像序列的处理，因此步骤S11的处理能够沿用S602的处理结果。例如，数据库中保存的图像序列是以图像Ps为起点、以图像Pi为终点的图像序列。但是，用户重新进行图像序列的范围调整等、图像序列的提取处理也是无妨的。

另外，在止血处置的决定处理的步骤S606中，决定止血处置。如果通过该止血处置适当地完成了止血，则在步骤S12的处理中赋予的元数据成为表示实际执行的止血处置的信息。另外，在所执行的止血处置的止血效果不够的情况下，也可以进行将表示该意思的信息、表示由熟练的医生判断为更理想的其他止血处置的信息等与图像序列对应起来的处理。

步骤S13中的附加信息的关联、步骤S14中的向数据库的登记处理与图4的例子相同。

4.变形例

以下，对几个变形例进行说明。

4.1肝部分切除的变形例

如上所述，处理对象图像序列以及数据库所包含的生物体内图像也可以是拍摄肝脏的图像。具体而言，在本实施方式中设想的手术也可以是肝脏中的手术，狭义上说是肝部分切除。

在肝部分切除中，使用被称为Pringle手法的方法。这是通过用夹钳钳子夹住肝动脉和门静脉来阻断血流的方法。通过使用Pringle法，能够抑制手术中的出血。在实施Pringle手法期间发生的大规模出血是来自肝静脉的出血的可能性很高。另一方面，在Pringle手法解除后发生了出血的情况下，是来自门静脉或肝动脉的出血的可能性变高。

因此，处理部120进行确定是否进行了阻断肝动脉及门静脉的血流的Pringle手法，基于确定结果决定止血处置的处理。这样，能够考虑是处于Pringle手法中还是解除了Pringle手法后来进行判定，因此能够高精度地执行止血处置的决定处理。

例如，也可以由用户进行表示是Pringle手法中还是Pringle手法解除后的输入。处理部120根据用户输入来确定是否正在进行Pringle手法。但是，处理部120也可以基于图像处理来确定是否正在进行Pringle手法。

例如，数据库也可以包含2个表，即，将血管类型信息与在Pringle手法过程中发生了出血的情况下的图像序列对应起来的第一表、和将血管类型信息与在Pringle手法解除后发生了出血的情况下的图像序列对应起来的第二表。学习装置500基于第一表生成第一已学习模型，基于第二表生成第二已学习模型。

处理部120确定是否在进行阻断肝动脉及门静脉的血流的Pringle手法，在判定为Pringle手法中的情况下，基于第一已学习模型决定止血处置，在判定为Pringle手法解除后的情况下，基于第二已学习模型决定止血处置。这样，能够输出与Pringle手法相应的处置结果。

或者，处理部120也可以基于处理对象图像序列和数据库来决定进行Pringle手法的情况下的第一止血处置和未进行Pringle手法的情况下的第二止血处置。例如显示处理部127显示2个止血处置双方。例如一并记载“Pringle手法中：缝合”、“Pringle手法解除后：夹子止血”这样的2个信息。手术中的用户掌握当前是Pringle手法中还是Pringle手法解除后。因此，即使在提示了2个信息的情况下，用户也能够容易地理解可以参照哪个信息。

例如，处理部120将处理对象图像序列输入到第一已学习模型和第二已学习模型双方。处理部120基于第一已学习模型的输出来决定第一止血处置，基于第二已学习模型的输出来决定第二止血处置。

4.2机器学习的变形例

图20的(A)是说明数据库的其他结构的图。如图20的(A)所示，将表示发生出血的血管的血管类型的血管类型信息和表示推荐的止血处置的信息与出血模式的图像序列对应起来。具体而言，在图4的步骤S12中，通过进行附加血管类型以及止血处置作为元数据的注释，取得图20的(A)所示的数据库。

图20的(B)是例示使用图20的(A)所示的数据库的情况下的神经网络的输入和输出的图。如图20的(B)所示，神经网络的输入数据是图像序列，输出数据是用于确定血管类型的信息以及用于确定止血处置的信息。用于确定血管类型的信息例如与图16的例子同样，是表示各血管类型的或然性的概率数据。用于确定止血处置的信息例如是表示推荐各止血处置的或然性的概率数据。用于确定止血处置的信息例如包括“推荐缝合的概率数据”、“推荐夹子止血的概率数据”、“推荐烧灼密封的概率数据”等。

学习装置500将图20的(A)中的图像序列作为输入，进行将表示血管类型的信息以及表示推荐的止血处置的信息作为正解标签的机器学习，由此生成已学习模型。图像处理系统100的处置决定部125将处理对象图像序列输入到已学习模型。在使用图20的(B)的神经网络的情况下，作为已学习模型的输出，能够决定血管类型和止血处置双方。

并不限定于分阶段地进行血管类型的确定和止血处置的决定，也可以如图20的(B)所示那样并列地进行。在该情况下，也能够向用户提示血管类型以及适合于该血管类型的止血处置。需要说明的是，如图20的(A)所示，在此处的数据库中，也可以对相同类型的血管对应不同的止血处置。因此，即使是相同类型的血管，也能够根据状况灵活地变更止血处置。

需要说明的是，本实施方式的方法是向用户提示推荐的止血处置的方法。因此，血管类型的决定、提示不是必须的。图21的(A)是说明数据库的其他结构的图。如图21的(A)所示，也可以将表示推荐的止血处置的信息与出血模式的图像序列对应起来。

图21的(B)是例示使用图21的(A)所示的数据库的情况下的神经网络的输入和输出的图。如图21的(B)所示，神经网络的输入数据是图像序列，输出数据是用于确定止血处置的信息。即使在这样省略了血管类型的情况下，也能够进行应推荐的止血处置的决定、提示。

如使用图20的(A)和图21的(A)所述的那样，数据库也可以包含多个数据集，该数据集是针对作为时序的生物体内图像的生物体内图像序列，将表示针对在生物体内图像序列中拍摄到的出血而推荐的止血处置的止血处置信息与其对应起来而得到的数据集。处理部120进行根据基于多个数据集对生物体内图像序列与止血处置信息的关系进行机器学习而得到的已学习模型和处理对象图像序列，决定止血处置的处理。这样，作为已学习模型的输出，能够取得表示止血处置的信息。

另外，以上对已学习模型中的输入为图像序列的例子进行了说明，但本实施方式的方法并不限定于此。例如也可以将基于图像序列所包含的各图像而求出的特征量用作已学习模型的输入。特征量也可以是与色相、饱和度、明度等有关的信息。或者，特征量也可以是表示出血速度的时序变化的信息。出血速度表示每单位时间的出血量。如上所述，血液存在的区域被拍摄为红色区域。虽然难以精确地估计出血的绝对量，但是红色区域的面积是作为出血量的指标的信息。因此，能够将红色区域的面积变化用作出血速度的指标。通过使用出血速度本身，能够判定出血的激烈程度。此外，通过观察出血速度的变化程度，能够判定有无脉动。例如，表示出血状况的特征量是出血速度的时间变化波形。但是，特征量既可以是出血速度的平均值、最大值等统计量，也可以是出血速度变化的统计量，还可以是它们的组合，对于具体的方式能够实施各种变形。

需要说明的是，通过向神经网络输入特征量而取得的输出数据如上所述，可以是血管类型，也可以是止血处置，还可以是这两者。

图22是说明将特征量作为输入数据的情况下的止血处置的决定处理的流程图。

图22的步骤S801和S802与图17的步骤S601和S602相同。接着，在步骤S803中，处置决定部125根据提取出的图像序列，计算特征量。例如，处置决定部125根据图像中的红色区域的时间变化，求出与出血速度对应的特征量。

在步骤S804中，处置决定部125取得由学习装置500生成的已学习模型。在步骤S805中，处置决定部125执行基于已学习模型的推导处理。具体而言，处置决定部125通过将求出的特征量输入到已学习模型来取得输出数据。步骤S806、S807的处理与图17的步骤S605、S606相同。

4.3基于数据库的处理的变形例

以上，对基于数据库的止血处置的决定处理是使用了机器学习的处理的例子进行了说明。但是，本实施方式的方法并不限定于机器学习。

处理部120也可以通过对数据库所包含的生物体内图像序列与处理对象图像序列进行比较来进行止血处置的决定处理。关于图像彼此的比较，例如已知有根据图像求出色相、饱和度、明度各自的直方图，并对该直方图进行比较的方法等。在此，由于生物体内图像序列和处理对象图像序列分别具有多个图像，所以例如处理部120通过多次重复2张图像的比较处理，计算图像序列间的相似度。

处理部120根据数据库所包含的多个生物体内图像序列，决定与处理对象图像序列最相似的图像序列。在使用图14的(A)所示的数据库的情况下，处理部120判定为在与所决定的生物体内图像序列对应的血管类型中发生了出血。血管类型决定后的处理与上述的例子相同。另外，在数据库为图20的(A)、图21的(A)的情况下也是同样的，通过确定与处理对象图像序列相似的生物体内图像序列，能够决定血管类型和止血处置双方、或者决定止血处置。

在比较数据库和处理对象图像序列的情况下，也可以每次都运算上述直方图等特征量。但是，在进行数据库的生成处理时，也可以根据生物体内图像序列运算特征量，生成将该特征量与血管类型、止血处置等对应起来的数据库。例如，数据库生成装置400代替图14的(A)所示的数据库，生成将血管类型信息与直方图等特征量对应起来的数据库，并发送给数据库服务器300。

另外，生物体内图像序列与处理对象图像序列的比较是搜索出血状况相似的图像序列的处理。因此，用于比较的特征量也可以使用表示图像中的出血的特征量。表示出血的特征量是出血量、出血速度、出血速度的时间变化等。

图23的(A)是说明数据库的其他结构的图。如图23的(A)所示，将表示发生出血的血管的血管类型的信息与出血速度的时间变化波形对应起来。例如，数据库生成装置400进行如下处理：根据生物体内图像序列的各图像求出红色区域的面积，根据该微分信息求出出血速度的时间变化波形。微分信息例如是相邻的2个图像间的差分。

处置决定部125通过对处理对象图像序列进行求出红色区域的面积的处理以及求出微分信息的处理，求出处理对象图像序列中的出血速度的时间变化波形。接着，处置决定部125计算出血速度的时间变化波形彼此的相似度。然后，判定为在与相似度最高的时间变化波形对应起来的血管类型中发生了出血。血管类型决定后的处理与上述的例子相同。例如如图23的(B)所示，数据库包含将血管类型与和该血管类型对应的止血处置对应起来的数据。图23的(B)与图14的(B)相同。处置决定部125基于根据图23的(A)决定的血管类型与图23的(B)所示的表的比较处理，决定止血处置。

4.4应急止血处置

另外，以上，说明了在最新帧的图像Pi中检测到出血的情况下，基于以出血开始图像Ps为起点、以图像Pi为终点的图像序列来决定止血处置的例子。但是，也可以基于用户是否实施应急止血处置来决定止血处置。

例如，处置决定部125代替图17的步骤S601或图22的步骤S801的处理，判定在之前帧中是否执行了与出血点有关的显示处理、以及用户是否执行了应急止血处置。

通过图7的步骤S103中的出血点的显示处理，能够促使用户执行针对出血的应急止血处置。应急止血处置表示与通过本实施方式的止血处置的决定处理而决定的止血处置相比而言为应急的处置。应急止血处置具体而言是指使用处置器具的盖或插入腹腔内的纱布等的压迫止血。这是利用压迫而阻碍血流、抑制出血的处置，与作为止血处置而提示的夹子止血、烧灼密封、缝合等相比，止血效果相对较低。但是，通过应急止血处置抑制大量出血，容易进行夹子止血等止血效果高的处置，因此，首先提示出血点而促使应急止血处置是有效的。

处置决定部125在判定为执行了应急止血处置的情况下，执行步骤S602以后或步骤S802以后的处理。例如基于用户输入来进行是否执行了应急止血处置的判定。例如，在步骤S103中的显示画面、内窥镜系统200的指南中，也可以在应急止血处置完成的情况下促使用户进行规定的输入操作。或者，也可以通过图像处理来进行是否执行了应急止血处置的判定。由于通过应急止血处置暂时抑制出血，因此例如处理部120在与判定为有出血的时点相比红色区域的面积变得足够小的情况下，判定为进行了应急止血处置。

这样，处理部120也可以在判定为用户针对出血进行了应急止血处置时，进行基于处理对象图像序列和数据库，将止血能力比应急止血处置高的处置决定为止血处置的处理。

通过应急止血处置，抑制了出血。此时，根据损伤的血管的类型、损伤程度，基于应急止血处置的止血效果也发生变化。通过在执行应急止血处置后进行止血处置的决定处理，能够不仅考虑出血扩大的状况，还考虑通过应急止血处置使出血收敛的状况来决定止血处置。因此，能够提高止血处置的估计精度。根据情况，通过应急止血处置充分地进行止血，也可以判定为不需要追加的止血处置。

另外，作为内窥镜系统200的使用情况，如图7的步骤S103所示，考虑首先处理部120进行出血报知处理，用户基于该出血报告处理进行应急止血处置。因此，处理部120也可以在出血报告处理后且应急止血处置后，进行基于处理对象图像序列和数据库来决定止血处置的处理。但是，在本实施方式中，出血报知处理不是必须的，能够省略。

更具体而言，处理部120也可以进行基于至少包含在由用户进行应急止血处置的执行过程中或执行后拍摄的图像的处理对象图像序列，决定止血处置的处理。

这样，将拍摄了通过应急止血处置抑制出血的状况的图像用于止血处置的决定处理。因此，与仅考虑出血量从出血开始起增加的状况的情况相比，能够提高处理精度。如果是上述的例子，则基于处理对象图像序列估计血管类型的处理的精度提高。

此外，作为生物体以及用户的行为，首先生物体发生出血，用户识别该出血。用户对出血的识别可以通过上述出血报知处理来进行，也可以通过用户观察生物体内图像来自发地进行。然后，用户对出血进行应急止血处置，其结果是，抑制了出血。如上所述，处理部120例如基于红色区域的减少程度，判定为执行了应急止血处置。在该情况下，在处理部120判定为进行了应急止血处置的时点，虽然不清楚应急止血处置是在继续执行中还是已执行完成后，但至少是出血已减少的状况。因此，通过将处理部120判定为进行了应急止血处置的时点、或者其以后的时点作为处理对象图像序列的终点，能够考虑到出血收敛的状况来决定止血处置。另外，在基于用户输入判定为执行了应急止血处置的情况下，例如只要在应急止血处置的执行开始后促使用户进行用户输入即可。在该情况下，也能够考虑到出血收敛的状况来决定止血处置。换言之，通过将处理部120判定为进行了应急止血处置的时点或其以后的时点作为处理对象图像序列的终点，能够取得至少包含在用户执行应急止血处置的过程中或执行后拍摄的图像的处理对象图像序列。

例如，如上所述，处理对象图像序列的起点可以是与图11所示的Ps对应的时点，也可以是在图9所示的出血检测处理中判定为出血的时点。另外，在处理部120进行出血报知处理的情况下，也可以将开始该出血报知处理的时点作为起点。需要说明的是，从起点到终点的全部图像不需要用于止血处置的决定处理，也可以省略一部分。例如，在CNN的输入图像序列为固定长度的情况下，也可以进行用于调整图像序列的长度的间稀处理等。

此外，如上述那样对本实施方式进行了详细说明，但本领域技术人员能够容易地理解，能够进行实质上不脱离本实施方式的新事项以及效果的多种变形。因此，这样的变形例全部包含在本公开的范围内。例如，在说明书或附图中，至少一次与更广义或同义的不同用语一起记载的用语在说明书或附图的任何位置都能够置换为该不同用语。另外，本公开的范围也包含本实施方式以及变形例的全部组合。并且，图像处理系统、内窥镜系统等的结构和动作等也不限于本实施方式中说明的内容，能够实施各种变形。

标号说明

100…图像处理系统、110…图像取得部、120…处理部、121…出血检测部、123…出血点检测部、125…处置决定部、127…显示处理部、130…存储部、200…内窥镜系统、210…内窥镜镜体、220…处理器单元、221…拍摄数据接收部、222…处理部、223…存储部、230…显示部、240…操作部、300…数据库服务器、400…数据库生成装置、500…学习装置、600…图像收集用内窥镜系统。

Claims (14)

1.一种图像处理系统，其特征在于，所述图像处理系统包括：

图像取得部，其取得通过内窥镜拍摄装置拍摄生物体内而得到的时序图像作为处理对象图像序列；以及

处理部，其根据数据库和所述处理对象图像序列进行处理，所述数据库是根据在比所述处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的，

在所述生物体内发生了出血时，所述处理部进行如下处理：基于所述处理对象图像序列和所述数据库，决定针对发生了所述出血的血管的止血处置，并将所决定的所述止血处置提示给用户。

2.根据权利要求1所述的图像处理系统，其特征在于，

所述处理部基于所述处理对象图像序列和所述数据库，确定发生了所述出血的所述血管的类型，基于所确定的所述类型，决定所述止血处置。

3.根据权利要求2所述的图像处理系统，其特征在于，

所述数据库包含多个将血管类型信息与作为时序的所述生物体内图像的生物体内图像序列对应起来而成的数据集，所述血管类型信息表示在所述生物体内图像序列中拍摄的所述出血发生在哪个所述类型的所述血管中，

所述处理部基于已学习模型和所述处理对象图像序列进行确定发生了所述出血的所述血管的所述类型的处理，所述已学习模型是基于多个所述数据集对所述生物体内图像序列与所述血管类型信息之间的关系进行了机器学习的模型，所述处理部基于所确定的所述类型，决定所述止血处置。

4.根据权利要求1所述的图像处理系统，其特征在于，

所述数据库包含多个将止血处置信息与作为时序的所述生物体内图像的生物体内图像序列对应起来而成的数据集，所述止血处置信息表示针对在所述生物体内图像序列中拍摄到的出血而推荐的所述止血处置，

所述处理部进行基于已学习模型和所述处理对象图像序列决定所述止血处置的处理，所述已学习模型是基于多个所述数据集对所述生物体内图像序列与所述止血处置信息之间的关系进行了机器学习的模型。

5.根据权利要求1所述的图像处理系统，其特征在于，

所述处理部进行将数据集追加到所述数据库中的处理，所述数据集是将在所述止血处置的决定中使用的所述处理对象图像序列与针对在所述处理对象图像序列中检测出的所述出血的所述止血处置对应起来而成的数据集。

6.根据权利要求1所述的图像处理系统，其特征在于，

所述处理部根据所述处理对象图像序列进行检测在所述生物体内是否发生了所述出血的出血检测处理，

所述处理部在检测到所述出血时，进行确定出血点的出血点检测处理，所述出血点是所述出血的发生位置。

7.根据权利要求6所述的图像处理系统，其特征在于，

所述处理部进行向所述用户报知与通过所述出血检测处理检测出的所述出血的发生和通过所述出血点检测处理确定的所述出血点中的至少一方有关的信息的出血报知处理。

8.根据权利要求1所述的图像处理系统，其特征在于，

所述处理部在判定为所述用户对所述出血进行了应急止血处置时，进行如下处理：基于所述处理对象图像序列和所述数据库，将止血能力比所述应急止血处置高的处置决定为所述止血处置的。

9.根据权利要求8所述的图像处理系统，其特征在于，

所述处理部基于包含有在所述用户执行所述应急止血处置的过程中或执行所述应急止血处置后拍摄的图像的所述处理对象图像序列，进行决定所述止血处置的处理。

10.根据权利要求1所述的图像处理系统，其特征在于，

所述处理对象图像序列以及所述生物体内图像是拍摄肝脏而得到的图像，

所述处理部基于所述处理对象图像序列和所述数据库，进行决定针对肝动脉、肝静脉、门静脉中的任意血管的所述止血处置的处理。

11.根据权利要求10所述的图像处理系统，其特征在于，

所述处理部确定是否进行了阻断所述肝动脉及所述门静脉的血流的Pringle手法，基于确定结果进行决定所述止血处置的处理。

12.根据权利要求10所述的图像处理系统，其特征在于，

所述处理部基于所述处理对象图像序列和所述数据库，决定进行了阻断所述肝动脉及所述门静脉的血流的Pringle手法的情况下的第一止血处置和没有进行所述Pringle手法的情况下的第二止血处置。

13.一种内窥镜系统，其特征在于，所述内窥镜系统具备：

拍摄部，其拍摄生物体内；

图像取得部，其取得所述拍摄部拍摄的时序图像作为处理对象图像序列；以及

处理部，其根据数据库和所述处理对象图像序列进行处理，所述数据库是根据在比所述处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的，

在所述生物体内发生了出血时，所述处理部进行如下处理：基于所述处理对象图像序列和所述数据库，决定针对发生了所述出血的血管的止血处置，将所决定的所述止血处置提示给用户。

14.一种图像处理方法，其特征在于，所述图像处理方法进行如下处理：

取得通过内窥镜拍摄装置拍摄生物体内而得到的时序图像作为处理对象图像序列；

在所述生物体内发生了出血时，根据数据库和所述处理对象图像序列决定针对发生了所述出血的血管的止血处置，所述数据库是根据在比所述处理对象图像序列靠前的时点拍摄的多个生物体内图像而生成的；以及

将所决定的所述止血处置提示给用户。

Images