CN114651274A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本发明的图像处理装置具备第一图像处理部，第一图像处理部具备：第一像素组设定部，设定多个第一像素组，上述多个第一像素组是与第一像素对应而设定的多个第一像素组，该多个第一像素组沿着与第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使第一图像相对于规定方向以相互不同的多个角度移动而得到的多个图像的每一个中沿着规定方向而配置；第一计算部，基于多个第一像素组的每一个第一像素组所包含的像素的像素值的大小，计算多个第一候补像素值；以及第一像素值设定部，基于多个第一候补像素值，设定第二图像的第二像素的像素值。

Description

图像处理装置、图像处理方法以及程序

技术领域

本发明涉及图像处理装置、图像处理方法以及程序。

背景技术

例如，提出有对拍摄包括作为形态特征的分支等那样的线状的部分的对象物而得到的图像进行图像处理的方法(例如，参照专利文献1)。在这样的图像处理中进行降低噪声的处理时，需要在保留关于线状的部分的信息的同时进行该处理。

专利文献1：美国专利申请公开第2009/0154792号说明书

发明内容

根据本发明的第一方式，图像处理装置具备第一图像处理部，上述第一图像处理部在对第一图像进行图像处理而得到的第二图像中，设定位于与上述第一图像的第一像素对应的位置的上述第二图像的第二像素的像素值，上述第一图像处理部具备：第一像素组设定部，设定多个第一像素组，上述多个第一像素组是与上述第一像素对应而设定的多个第一像素组，该多个第一像素组沿着与上述第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使上述第一图像相对于规定方向以相互不同的多个角度移动而得到的多个图像的每一个图像中沿着规定方向而配置；第一计算部，基于上述多个第一像素组的每一个第一像素组所包含的像素的像素值的大小，来计算多个第一候补像素值；以及第一像素值设定部，基于上述多个第一候补像素值，来设定上述第二图像的第二像素的像素值。

根据本发明的第二方式，图像处理方法包括：在对第一图像进行图像处理而得到的第二图像中，设定位于与上述第一图像的第一像素对应的位置的上述第二图像的第二像素的像素值，上述第二像素的像素值的设定包括：设定多个第一像素组，上述多个第一像素组是与上述第一像素对应而设定的多个第一像素组，该多个第一像素组沿着相对于上述第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使上述第一图像以不同的多个角度移动而得到的多个图像的每一个图像中沿着规定方向而配置；基于上述多个第一像素组的每一个所包含的像素的像素值的大小，计算多个第一候补像素值；基于上述多个第一候补像素值，设定上述第二图像的第二像素的像素值。

根据本发明的第三方式，程序是用于使处理装置进行第一图像处理的程序，上述第一图像处理在对第一图像进行图像处理而得到的第二图像中，设定位于与上述第一图像的第一像素对应的位置的上述第二图像的第二像素的像素值，上述第一图像处理具备：第一像素组设定处理，设定多个第一像素组，上述多个第一像素组是与上述第一像素对应而设定的多个第一像素组，该多个第一像素组沿着相对于上述第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使上述第一图像以不同的多个角度移动而得到的多个图像的每一个中沿着规定方向而配置；第一计算处理，基于上述多个第一像素组的每一个第一像素组所包含的像素的像素值的大小，来计算多个第一候补像素值；以及第一像素设定处理，基于上述多个第一候补像素值，设定上述第二图像的第二像素的像素值。

附图说明

图1是表示第一实施方式的图像处理装置的结构的示意图。

图2是表示第一实施方式的数据处理部的结构的示意图。

图3是表示第一实施方式的拍摄图像的示意图。

图4是用于说明第一实施方式的第一图像处理的示意图。

图5是用于说明第一实施方式的第二图像处理的示意图。

图6是表示第一实施方式的图像处理方法的流程的流程图。

图7是表示第一实施方式的第一图像处理的流程的流程图。

图8是表示第一实施方式的第二图像处理的流程的流程图。

图9是表示变形例2的数据处理部的结构的示意图。

图10是用于说明变形例2的第一图像处理的示意图。

图11是表示一维滤波器的角度为0°、30°、60°、90°、120°以及150°的各情况下的拍摄图像的线状的部分以及一维滤波器的位置的示意图。

图12是表示一维滤波器的角度和与滤波器对应的多个像素的像素值的平均值的图表。

图13是表示一维滤波器的角度和与滤波器对应的多个像素的像素值的平均值的图表。

图14是表示变形例2的图像处理方法的流程的流程图。

图15是用于说明选择第一像素的范围的设定的示意图。

图16是表示用于显示增强图像的显示画面的一个例子的示意图。

图17是表示用于设定参数的显示画面的一个例子的示意图。

图18是表示变形例7的图像处理方法的流程的流程图。

图19是表示变形例7的显示画面的一个例子的示意图。

图20是表示变形例7的显示画面的一个例子的示意图。

图21是表示变形例7的显示画面的一个例子的示意图。

图22是表示变形例8的显示画面的一个例子的示意图。

图23是用于说明程序的提供的示意图。

具体实施方式

以下，参照附图对用于实施本发明的方式进行说明。

－第一实施方式－

图1是表示本实施方式的图像处理装置的结构的示意图。图像处理装置1具备培养部100和信息处理部40。培养部100具备培养室(培养腔)10、观察用试样台(载物台)11、驱动部12以及拍摄部20。信息处理部40具备输入部41、通信部42、存储部43、输出部44以及控制部50。控制部50具备数据处理部51、输出控制部52以及装置控制部53。

图像处理装置1构成为培养装置，且成为通过培养部100中的样本(例如，细胞)的拍摄而得到的图像数据亦即拍摄图像数据被输入到数据处理部51并被处理的结构。

在本实施方式中，根据与拍摄图像数据对应的拍摄图像，进行增强包含直线、曲线、折线或者交叉等的线状的部分的图像处理。在这里，“增强”是指通过像素值容易区别线状的部分和其它的部分(例如，背景部分、线状以外的部分)，并不限定于线状的部分的亮度提高的情况。在以下，使用细胞Ce为神经细胞，增强与神经突起Nr对应的部分作为线状的部分的例子进行说明，但只要包含上述那样的线状的部分，则增强的对象不限定于该例，可以是构成图像的任意的要素(例如，其它的细胞、细胞以外)。

此外，也可以对所描绘的图像等、所拍摄的图像以外的图像进行上述图像处理。

培养部100具备培养细胞Ce的培养室10，通过拍摄部20进行在培养室10中培养的细胞Ce的拍摄。

培养室10在内部储存培养细胞Ce的培养容器C。培养容器C例如是孔板或者碟子。在培养室10的内部配置有由控制部50控制的未图示的温度调节器(例如，加热器)以及温度传感器。培养室10的内部被控制为通过该温度调节器和该温度传感器维持在预先设定的温度等，在预先设定的环境下进行细胞Ce的培养。驱动部12具备致动器，使培养容器C在预先决定的时间移动，载置于处在培养室10的内部的观察用试样台11。并且，驱动部12为了细胞Ce的拍摄，使拍摄部20或者观察用试样台11等向光轴方向的适当的位置(例如，观察位置)移动，以使细胞Ce配置在拍摄部20的焦平面。

拍摄部20具备包括CMOS或者CCD等的拍摄元件的拍摄装置，拍摄细胞Ce，特别是细胞Ce的神经突起Nr。拍摄部20的拍摄的方法只要在包括细胞Ce的拍摄图像中，与神经突起Nr对应的像素能够通过该像素或者该像素的周边的多个像素的亮度值与其它的部分以所希望的精度进行区别，则没有特别限定。例如，拍摄部20的拍摄的方法能够使用荧光观察法或者相位差观察法等。在荧光观察法的情况下，拍摄部20获取样本的荧光图像，该荧光图像用于后述的图像分析，在相位差观察法的情况下，拍摄部20获取样本的相位差图像，该相位差图像用于后述的图像分析。

在拍摄部20通过荧光观察法进行拍摄的情况下，通过基因导入，使细胞Ce表达绿色荧光蛋白质(GFP)等的荧光蛋白质，或者表达使局部存在于神经突起Nr的蛋白质和荧光蛋白质融合后的蛋白质，从而能够进行荧光染色。如果拍摄后的细胞Ce的利用(例如，培养、继代、挑选)没有问题，则也可以进行免疫染色等的其它的标记法。

拍摄部20拍摄细胞Ce而得到的像素信号被转换为数字信号，作为将像素和亮度值建立对应的拍摄图像数据被输入到信息处理部40(图1的箭头A1)，存储于存储部43。

信息处理部40除了成为与图像处理装置1的用户(以下，简称为“用户”)的接口之外，还进行与各种数据相关的通信、存储、运算等的处理。

此外，信息处理部40也可以构成为与培养部100物理分离的信息处理装置。另外，图像处理装置1使用的数据的至少一部分也可以保存在由网络连接的远程的服务器等中。

输入部41具备鼠标、键盘、各种按钮或者触摸面板等输入装置。输入部41从用户接受培养部100的拍摄、数据处理部51的数据处理所需的数据等。

通信部42具备能够通过因特网等无线、有线的连接进行通信的通信装置，适当地收发与图像处理装置1中的控制、处理相关的数据。

存储部43具备非易失性的存储介质，存储使控制部50进行处理的程序、以及与数据处理部51的处理相关的图像数据等。

输出部44具备液晶监视器等显示装置，输出表示由数据处理部51的处理而得到的信息的图像等。

控制部50由CPU等处理装置构成，作为控制图像处理装置1的动作的主体发挥功能，通过执行搭载于存储部43的程序来进行各种处理。

控制部50的数据处理部51获取从拍摄部20输入的拍摄图像数据进行处理，生成增强了拍摄图像中的线状的部分的图像。在以下，将该图像称为增强图像。

图2是表示数据处理部51的结构的示意图。数据处理部51具备第一图像处理部61、第二图像处理部62、第一除去部64以及二值化部65。第一图像处理部61具备第一像素组设定部611、第一计算部612以及第一像素值设定部613。第二图像处理部62具备第二像素组设定部621、第二计算部622以及第二像素值设定部623。第一像素组设定部611和第二像素组设定部621构成设定部。

数据处理部51的第一图像处理部611对与拍摄图像对应的拍摄图像数据进行图像处理，生成与第一增强图像对应的第一增强图像数据。在以下，将基于第一图像处理部611的该图像处理称为第一图像处理。在这里，第一增强图像是指通过第一图像处理增强了拍摄图像中的线状的部分(例如，神经突起Nr)的增强图像。第一图像处理部611设定与拍摄图像中的各像素对应的第一增强图像的像素值。在以下，将拍摄图像中成为第一图像处理部61的处理的对象的像素称为第一像素，将与第一像素对应的第一增强图像中的像素称为第二像素。在这里，第一像素和第二像素“对应”是指这些像素表示来自拍摄图像中的被拍摄体的相同位置的光的亮度，但如果该位置得到所希望的分析的精度，则允许一定的偏移。

图3是表示拍摄图像的一个例子的示意图。拍摄图像G1由多个像素Px构成。在图3的例子中，阴影越深的部分表示亮度越高的像素。在图3的拍摄图像G1中，作为亮度高的部分，示出了细胞体So以及神经突起Nr。另一方面，在拍摄图像G1中也分散存在由拍摄中的噪声等引起的具有亮度的像素亦即噪声像素Pxn。其理由之一是因为在拍摄时，与神经突起Nr等线状的部分对应的像素信号弱，因此不能以充分的精度进行拍摄。特别是，即使是在细胞等的拍摄中经常使用的荧光显微镜也可以看到该倾向。

此外，拍摄图像数据中的图像的表现方法没有特别限定，例如可以是像素值越大亮度或色度越高的部分，也可以是像素值越小亮度或色度越高的部分。

在神经细胞的培养中，通过测定神经突起Nr的长度(或者宽度)以及分支的数量等的数值，进行评价神经细胞。为了准确的神经细胞的评价，需要从拍摄图像适当地提取神经突起。在具有图3那样的噪声像素Pxn的拍摄图像G1中，有时难以高精度地提取线状的部分。本实施方式的图像处理装置1通过生成增强拍摄图像中的线状的部分的图像，从而使适当地提取神经突起Nr容易。

此外，除了神经突起的评价以外，在进行图像中的线状的部分的利用、提取或者分析等的各种用途中，也能够利用本实施方式的图像处理装置1。另外，对于细胞体So，能够预先从拍摄图像中检测与细胞体So对应的部分，并掩蔽该部分进行以下的第一图像处理等。细胞体So的检测能够通过利用开口处理以及闭合处理等消除拍摄图像的细节等适当地进行。

第一图像处理部61的第一像素组设定部611设定与拍摄图像G1的第一像素对应的多个第一像素组。

图4是用于说明第一图像处理的示意图。第一像素组设定部611从拍摄图像G1所包含的像素Px中选择第一像素Px1。第一像素组设定部611从由第一图像处理部61预先设定的、在拍摄图像G1中选择第一像素Px1的区域(以下，称为对象区域)所包含的像素中选择并设定第一像素Px1。

对象区域可以是拍摄图像整体，例如，在将处于拍摄图像G1的边缘部的像素设为第一像素Px1时，有时没有与后述的一维滤波器对应的像素。因此，该情况下，优选适当地在拍摄图像G1的周围补充虚拟的像素，以所希望的精度进行后述的图像处理。对象区域能够设定为从拍摄图像G1中除去了一维滤波器的长度的二分之一左右的边缘部而得到的部分，使得不会产生没有与后述的一维滤波器对应的像素的情况。

第一像素组设定部611将包含第一像素Px1且沿着相对于基准方向形成规定角度的多个方向配置的像素组设定为第一像素组Pg1。将该规定角度在以下称为第一角度θ1。基准方向在图4中是拍摄图像G1的左右方向(参照箭头A10)，但没有特别限定，也可以是任意方向。在图4中，示出了第一角度θ1为0°的情况下的第一像素组Pg1所包含的多个像素Px11、Px12、Px1、Px13以及Px14。第一像素组Pg1优选包括这样沿一个方向排列且相互邻接的多个像素。第一像素组设定部611能够将第一角度θ1为45°以及90°的情况下、拍摄图像G1中分别沿倾斜方向以及纵向排列且相互邻接的多个像素设定为第一像素组Pg1。

在图4中，分别用一维滤波器F1、F11以及F12示意性地示出了第一角度θ1为0°、30°以及60°的情况下的与第一像素组Pg1对应的拍摄图像G1的部分区域。在设定与一维滤波器F11以及F12对应的第一像素组Pg1的情况下，能够将与这些一维滤波器重叠的像素、与这些一维滤波器对应的直线通过的像素包含于第一像素组Pg1中。但是，这样设定的像素不排列在一条直线上，因此精度稍微下降。

因此，在实际的计算中，第一像素组设定部611优选在使拍摄图像G1向相对于基准方向形成第一角度θ1的方向旋转而得到的图像中，将以与第一像素对应的像素为中心沿规定方向配置的多个像素设定为第一像素组Pg1。该规定方向没有特别限定，可以是基准方向等任意的方向。在图4的例子中，第一像素组设定部611在固定一维滤波器F1的同时使拍摄图像G1顺时针旋转θ1，并将所得到的图像中的一维滤波器F1的范围内的纵1×横5像点的像素设定为第一像素组Pg1。由此，与使一维滤波器旋转来设定第一像素组Pg1的情况相比，能够精密地设定旋转前的拍摄图像G1中与一维滤波器F11对应的第一像素组Pg1。

第一像素组设定部611针对多个第一角度θ1，分别设定第一像素组Pg1。多个第一角度θ1例如按从1°～45°等的范围中选择的每个规定角度设定多个。例如，第一像素组设定部611能够将多个第一角度θ1每隔1°从0°到179°进行设定，针对各第一角度θ1设定第一像素组Pg1。

构成第一像素组Pg1的像素的数量只要是两个以上则没有特别限定。该像素的数量能够基于拍摄图像G1中的线状的部分的曲率或者曲率半径等来设定。

此外，第一像素组Pg1可以是2像素×5像素的像素块等由多个列构成的像素组。该情况下，优选沿一个方向排列的像素数超过沿另一方向排列的像素数的2倍。

第一图像处理部61的第一计算部612基于第一像素组Pg1所包含的像素的像素值，计算第一候补像素值。第一候补像素值是在第一增强图像中成为与第一像素Px1对应的第二像素中被设定的像素值的候补的值。换言之，第二像素中设定的像素值从多个第一候补像素值中选择。

第一计算部612计算第一像素组Pg1所包含的像素的像素值的平均值，设为第一候补像素值。例如，第一计算部612计算与一维滤波器F1对应的像素Px11、Px12、Px1、Px13以及Px14的像素的算术平均，设为与一维滤波器F1对应的第一像素组Pg1的第一候补像素值。第一计算部612针对第一像素组设定部611设定的各第一像素组Pg1，计算第一候补像素值。第一计算部612针对与多个第一角度θ1的每一个对应的第一像素组Pg1，计算第一候补像素值。

此外，第一计算部612也可以通过几何平均等的算术平均以外的平均，将第一像素组Pg1所包含的像素的像素值的平均值计算为第一候补像素值。或者，第一计算部612能够将第一像素组Pg1所包含的像素的像素值的和、根据能够将该和设定为像素值的数值范围而适当地进行了标准化等的调整的值设定为第一候补像素值。如上述和或者平均那样，只要能够基于第一像素组Pg1所包含的像素的像素值的整体的大小设定第一候补像素值，则由第一计算部612设定的第一候补像素值的计算方法没有特别限定。

第一图像处理部61的第一像素值设定部613根据针对第一像素Px1而计算出的多个第一候补像素值，设定与第一像素Px1对应的第一增强图像中的第二像素的像素值。

第一像素值设定部613能够将第一像素Px1的多个第一候补像素值中的最大的值设定为对应的第二像素的像素值。这意味着，在第一图像处理中，使多个方向的一维滤波器F、F11、F12中、与像素值最高的像素排列的方向对应的一维滤波器的像素值反映在第一增强图像中。其结果为，在像素值越高像素与神经突起Nr等的线状的部分对应的可能性越高的情况下，能够进行平滑化并且增强该线状的部分。第一像素值设定部613能够将第一像素Px1的多个第一候补像素值中的最小的值设定为对应的第二像素的像素值。由此，在像素值越低像素与线状的部分对应的可能性越高的情况下，能够进行平滑化并且增强线状的部分。

此外，第二像素的像素值也可以设定上述最大的值或者最小的值的0.8倍～1.2倍、优选0.9倍～1.1倍的范围的值。在这样的情况下也能够以某种程度的精度进行线状的部分的增强。

第一图像处理部61若针对某个第一像素Px1结束上述的第一像素组设定部611、第一计算部612以及第一像素值设定部613的第一图像处理，则将拍摄图像G1的对象区域中的与上述第一像素Px1不同的像素作为第一像素Px1，进行第一图像处理。第一图像处理部61对对象区域所包含的各像素进行第一图像处理。

此外，第一像素组设定部611以及第一计算部612也可以固定第一角度θ1，针对对象区域的各第一像素Px1，计算基于与该第一角度θ1对应的方向的一维滤波器的第一候补像素值。然后，第一像素组设定部611以及第一计算部612将第一角度θ1改变并再次固定，同样地计算各第一像素Px1的第一候补像素值。反复该处理，在针对各第一角度θ1以及各第一像素Px1计算出第一候补像素值之后，第一像素值设定部613能够计算与各第一像素Px1对应的第二像素的像素值。这样，只要能够针对设定区域的各像素Px计算对应的第二像素的像素值，则计算的顺序等没有特别限定。

数据处理部51的第二图像处理部62对与拍摄图像G1对应的拍摄图像数据进行图像处理，生成与二维平滑化图像对应的二维平滑化图像数据。在以下，将第二图像处理部62的该图像处理称为第二图像处理。在这里，二维平滑化图像是指通过与至少沿两个方向配置的像素对应的二维滤波器对拍摄图像G1进行平滑化处理而得到的图像。在二维滤波器中，优选沿一个方向排列的像素数是沿另一方向排列的像素数的2倍以下。第二图像处理部62设定与拍摄图像G1中的各像素对应的二维平滑化图像的像素值。在以下，将与拍摄图像G1中的第一像素Px1对应的二维平滑化图像中的像素称为第三像素。

第二图像处理部62的第二像素组设定部621设定与拍摄图像G1的第一像素Px1对应的多个第二像素组。

图5是用于说明第二图像处理的示意图。第二像素组设定部621从拍摄图像G1所包含的像素Px中选择第一像素Px1。第二像素组设定部621从对象区域所包含的像素中选择并设定第一像素Px1。

第二像素组设定部621将包含第一像素Px1且使二维滤波器F2相对于基准方向进行包括规定角度的旋转的移动而得到的二维滤波器所对应的像素组设定为第二像素组Pg2。换言之，第二像素组Pg2是将沿着至少两个方向配置的像素组沿着使该至少两个方向旋转规定角度后的至少两个方向而配置的像素组。第二像素组设定部621针对多个上述规定角度，分别设定多个第二像素组Pg2。将该规定角度在以下称为第二角度θ2。基准方向在图5中是拍摄图像G1的左右方向(参照箭头A20)，但没有特别限定。基准方向可以是任意方向，也可以与上述的第一图像处理中的基准方向不同。

在图5中，示出了二维滤波器F2(第二角度θ2＝0°)、和使二维滤波器F2旋转约20°而得到的二维滤波器F21(第二角度θ2＝约20°)。在图5中，二维滤波器F2与纵5像素×横5像素的正方形的像素块对应，与二维滤波器F2对应的第二像素组Pg2包括以第一像素Px1为中心的该5×5的像素。与第二像素组Pg2对应的二维滤波器F2的形状没有特别限定。第二像素组Pg2优选包括相互邻接的多个像素。

在图5中，分别用二维滤波器F2以及F21示意性地示出了第二角度θ2为0°以及约20°的情况下的与第二像素组Pg2对应的拍摄图像G1的部分区域。在设定与二维滤波器F21对应的第二像素组Pg2的情况下，能够将与二维滤波器F21重叠的像素等包含于第二像素组Pg2中。但是，对于这样设定的像素而言，与第二像素组Pg2对应的像素块的形状有偏差，因此精度稍微下降。

因此，在实际的计算中，第二像素组设定部621优选在使拍摄图像G1向相对于基准方向形成第二角度θ2的方向旋转而得到的图像中，将以与第一像素对应的像素为中心至少沿两个方向配置的多个像素设定为第二像素组Pg2。在图5的例子中，第二像素组设定部621在固定二维滤波器F2的同时使拍摄图像G1顺时针旋转θ2，并将所得到的图像中的二维滤波器F2的范围内的纵5×横5像点的像素设定为第二像素组Pg2。由此，与使二维滤波器F2旋转来设定第二像素组Pg2的情况相比，能够精密地设定旋转前的拍摄图像G1中与二维滤波器F21对应的第二像素组Pg2。

第二像素组设定部621针对多个第二角度θ2，分别设定第二像素组Pg2。多个第二角度θ2例如按从1°～45°等的范围中选择的每个规定角度设定多个。例如，第二像素组设定部621能够将多个第二角度θ2每隔1°从0°到179°进行设定，针对各第二角度θ2设定第二像素组Pg2。

第二图像处理部62的第二计算部622基于第二像素组Pg2所包含的像素的像素值，计算第二候补像素值。第二候补像素值是在第二增强图像中成为与第一像素Px1对应的第三像素中被设定的像素值的候补的值。换言之，第三像素中被设定的像素值从多个第二候补像素值中选择。

第二计算部622计算第二像素组Pg2所包含的像素的像素值的平均值，并设为第二候补像素值。例如，第二计算部612计算与二维滤波器F2对应的5×5的像素的像素值的算术平均，并设为与二维滤波器F2对应的第二像素组Pg2的第二候补像素值。第二计算部622针对第二像素组设定部621设定的各第二像素组Pg2，计算第二候补像素值。第二计算部622针对与多个第二角度θ2的每一个第二角度θ2对应的第二像素组Pg2，计算第二候补像素值。此外，第二计算部612也可以通过几何平均等的算术平均以外的平均，将第二像素组Pg2所包含的像素的像素值的平均值计算为第二候补像素值。或者，第二计算部622能够将第二像素组Pg2所包含的像素的像素值的和、根据能够将该和设定为像素值的数值范围适当地进行了标准化等的调整的值设定为第二候补像素值。如上述和或者平均那样，只要能够基于第二像素组Pg2所包含的像素的像素值的整体的大小设定第二候补像素值，则由第二计算部622设定的第二候补像素值的计算方法没有特别限定。

第二图像处理部62的第二像素值设定部623根据针对第一像素Px1计算出的多个第二候补像素值，设定与第一像素Px1对应的二维平滑化图像中的第三像素的像素值。

第二像素值设定部623能够将第一像素Px1的多个第二候补像素值中的最大的值设定为对应的第三像素的像素值。这意味着，在第二图像处理中，使与多个第二角度θ2对应的二维滤波器F2、F21中的整体上包括像素值最高的像素的二维滤波器的像素值反映在二维平滑化图像中。其结果为，在像素值越高亮度越高的情况下，能够有效地进行不偏向特定的方向的平滑化。第二像素值设定部623能够将第一像素Px1的多个第二候补像素值中的最小的值设定为对应的第三像素的像素值。由此，在像素值越低亮度越高的情况下，能够有效地进行不偏向特定的方向的平滑化。

此外，第三像素的像素值也可以设定上述最大的值或者最小的值的0.8倍～1.2倍，优选0.9倍～1.1倍的范围的值。在这样的情况下，也能够以某种程度的精度进行不偏向特定的方向的平滑化。

第二图像处理部62若针对某个第一像素Px1结束上述的第二像素组设定部621、第二计算部622以及第二像素值设定部623的第二图像处理，则将拍摄图像G1的对象区域中的与上述第一像素Px1不同的像素作为第一像素Px1，进行第二图像处理。第二图像处理部61对对象区域所包含的各像素进行第二图像处理。

此外，与第二图像处理的情况同样，只要能够针对设定区域的各像素Px计算对应的第三像素的像素值，则计算的顺序等没有特别限定。

返回到图2，第一除去部64基于二维平滑化图像数据，除去第一增强图像中的不是线状的部分的至少一部分，生成与第二增强图像对应的第二增强图像数据。在这里，“除去”是指在第一增强图像中，除去对表示不是线状的部分没有贡献的像素值的成分。具体而言，第一除去部64能够生成将从第一增强图像的像素值减去二维平滑化图像的像素值而得到的差分的绝对值设为像素值的图像作为第二增强图像。由此，从第一增强图像除去方向依存性低的亮度的扩展、噪声等，得到进一步增强了线状的部分的增强图像即第二增强图像。

二值化部65针对第二增强图像，基于第二增强图像的各部分所包含的像素的像素值，利用按各部分适当不同的多个阈值进行像素值的二值化。二值化部65将第二增强图像分为多个区域。将这些区域称为分割区域。二值化部65针对各分割区域，计算基于分割区域所包含的像素的像素值的算术平均等的平均值和该像素值的标准偏差。将基于二值化部65的二值化的阈值称为二值化阈值Th。二值化部65将上述平均值设为avg，将上述标准偏差设为σ，通过以下的式(1)计算各分割区域中的二值化阈值Th。

Th＝avg+α×σ…(1)

在这里，α是常量。这样，基于各分割区域中的像素值的平均值、偏差来决定二值化阈值Th，从而能够在整个图像中进行更准确的线状的部分的增强。

在由上述二值化得到的图像中，利用不同的值来区别与神经突起Nr对应的部分和不与神经突起Nr对应的部分。将该图像称为检测结果图像，将与检测结果图像对应的数据称为检测结果图像数据。二值化部65使对第二增强图像数据进行上述二值化而得到的检测结果图像数据存储于存储部43等。

此外，二值化部65也可以将对第一增强图像数据进行上述二值化而得到的数据作为检测结果图像数据存储于存储部43等。该情况下，不需要进行上述的第二图像处理以及第一除去部64的处理。这是因为即使不进行第二图像处理以及第一除去部64的处理，也能够通过第一图像处理以所希望的精度增强线状的部分。另外，数据处理部51在由二值化部65进行二值化处理之前，能够适当地进行除去图像中的比较暗的部分的等级修正等图像处理。

数据处理部51在检测结果图像中，进行神经突起Nr的检测，并且能够适当地进行交叉的检测或者线状的部分的碎片与哪个细胞连接等的分析。并且，数据处理部51能够进行神经突起Nr的长度等的分析，基于由该分析得到的数据，评价已培养的或者正在培养的细胞Ce的状态等。

返回到图1，输出控制部52基于检测结果图像数据生成输出到输出部44的输出图像，并使其输出到输出部44。输出控制部52将检测结果图像显示在输出部44的显示监视器上。

控制部50的装置控制部53基于来自输入部41的输入等，来控制培养部100的各部(箭头A2)。装置控制部53执行与细胞培养相关的控制(例如，进行温度或湿度的管理的培养室10的控制、驱动部12的控制)，使拍摄部20执行拍摄。

图6是表示本实施方式的图像处理方法的流程的流程图。在步骤S101中，数据处理部51获取由拍摄部20的拍摄而得到的拍摄图像数据。若步骤S101结束，则开始步骤S103。在步骤S103中，第一图像处理部61对拍摄图像数据进行第一图像处理，生成第一增强图像数据。若步骤S103结束，则开始步骤S105。

在步骤S105中，第二图像处理部62对拍摄图像数据进行第二图像处理，生成二维平滑化图像数据。若步骤S105结束，则开始步骤S107。在步骤S107中，第一除去部64根据第一增强图像数据以及二维平滑化图像数据，生成第二增强图像数据。若步骤S107结束，则开始步骤S109。

在步骤S109中，二值化部65对第二增强图像数据进行二值化，生成检测结果图像数据。若步骤S109结束，则开始步骤S111。在步骤S111中，输出控制部52将检测结果图像显示于输出部44。若步骤S111结束，则结束处理。

图7是表示图6的流程图中的步骤S103(第一图像处理)的流程的流程图。若步骤S101结束，则开始步骤S201。在步骤S201中，第一像素组设定部611从对象区域中选择未设定对应的第二像素的像素值的第一像素Px1。若步骤S201结束，则开始步骤S203。

在步骤S203中，第一像素组设定部611设定沿基准方向延伸的一维滤波器F1所包含的第一像素组Pg1，第一计算部612计算针对基准方向的第一候补像素值。若步骤S203结束，则开始步骤S205。在步骤S205中，第一像素组设定部611生成使一维滤波器旋转、或使拍摄图像旋转的数据，设定各第一角度θ1的第一像素组Pg1，第一计算部612计算各第一角度θ1的第一候补像素值。若步骤S205结束，则开始步骤S207。

在步骤S207中，第一像素值设定部613根据第一像素Px1的第一候补像素值，设定与第一像素Px1对应的第二像素的像素值。若步骤S207结束，则开始步骤S209。

此外，步骤S203、S205以及S207的顺序也可以适当地变更。

在步骤S209中，数据处理部51判定是否针对对象区域中的全部的第一像素Px1设定了与该第一像素Px1对应的第二像素的像素值。在针对全部的第一像素Px1设定了对应的第二像素的像素值的情况下，数据处理部51对步骤S209进行肯定判定，开始步骤S105。在存在未对对应的第二像素设定像素值的第一像素Px1的情况下，数据处理部51对步骤S209否定判定并开始步骤S201。

图8是表示图6的流程图中的步骤S105(第二图像处理)的流程的流程图。若步骤S101结束，则开始步骤S301。在步骤S301中，第二像素组设定部621从对象区域中选择未设定对应的第三像素的像素值的第一像素Px1。若步骤S301结束，则开始步骤S303。

在步骤S303中，第二像素组设定部621设定基准方向上的二维滤波器F2所包含的第二像素组Pg2，第二计算部622计算基准方向上的第二候补像素值。若步骤S303结束，则开始步骤S305。在步骤S305中，第二像素组设定部621生成使二维滤波器旋转、或使拍摄图像旋转的数据，设定各第二角度θ2的第二像素组Pg2，第二计算部622计算各第二角度θ2的第二候补像素值。若步骤S305结束，则开始步骤S307。

在步骤S307中，第二像素值设定部623根据第一像素Px1的第二候补像素值，设定与第一像素Px1对应的第三像素的像素值。若步骤S307结束，则开始步骤S309。

其中，步骤S303、S305以及S307的顺序也可以适当地变更。

在步骤S309中，数据处理部51判定是否针对对象区域中的全部的第一像素Px1设定了与该第一像素Px1对应的第三像素的像素值。在针对全部的第一像素Px1设定了对应的第三像素的像素值的情况下，数据处理部51对步骤S309进行肯定判定，并开始步骤S107。在存在未对对应的第三像素设定像素值的第一像素Px1的情况下，数据处理部51对步骤S309进行否定判定并开始步骤S301。

根据上述的实施方式，能够获得如下的作用效果。

(1)本实施方式的图像处理装置1具备第一图像处理部61，上述第一图像处理部61在对拍摄图像(第一图像)G1进行图像处理而得到的增强图像(第二图像)中，设定位于与拍摄图像G1的第一像素Px1对应的位置的增强图像的第二像素的像素值，第一图像处理部61具备：第一像素组设定部611，设定多个第一像素组Pg1，上述第一像素组Pg1是与第一像素Px1对应而设定的多个第一像素组Pg1，该多个第一像素组Pg1沿着与拍摄图像G1中的规定方向(图像的基准方向)形成相互不同的多个角度(第一角度θ1)的多个方向而配置，或者在使拍摄图像G1相对于规定方向(基准方向)以相互不同的多个角度(第一角度θ1)旋转而得到的多个图像的每一个中沿着规定方向而配置；第一计算部612，基于多个第一像素组Pg1的每一个所包含的像素的像素值的大小，计算多个第一候补像素值；以及第一像素值设定部613，基于多个第一候补像素值，设定增强图像的第二像素的像素值。由此，能够有效地增强图像中的细胞的线状的部分。

(2)在本实施方式的图像处理装置1中，第一计算部612能够基于多个第一像素组Pg1的每一个所包含的像素的像素值的和或者平均，计算多个第一候补像素值。由此，能够检测像素值高的像素排列的方向，更有效地增强图像中的线状的部分。

(3)在本实施方式的图像处理装置1中，第一计算部612针对第一像素组Pg1，使用平滑化滤波器F1、F11、F12计算第一候补像素值。由此，能够检测基于平滑化滤波器的长度的线状的部分，更有效地增强图像中的线状的部分。

(4)在本实施方式的图像处理装置1中，一维滤波器F1、F11、F12是一维平滑化滤波器。由此，能够通过一维滤波器的形状(例如，包括长度、粗细的形状)检测线状的部分，更有效地增强图像中的线状的部分。

(5)在本实施方式的图像处理装置1中，具备第一像素设定部611，根据构成拍摄图像G1的像素，设定第一像素Px1，第一像素值设定部611能够将多个第一候补像素值中的最大的值的0.8倍～1.2倍的值、或者最小的值的0.8倍～1.2倍的值设定为第二像素的像素值。由此，能够检测像素值高或者低的像素排列的方向，更有效地增强图像中的线状的部分。

(6)在本实施方式的图像处理装置1中，第二像素组设定部623设定多个第二像素组Pg2，上述多个第二像素组Pg2沿着相对于拍摄图像G1中的规定方向(基准方向)以不同的多个角度(第二角度θ2)使二维滤波器中的像素排列的至少两个方向旋转而得到的至少两个方向而配置，或者在以不同的多个角度(第二角度θ2)旋转的拍摄图像G1的每一个中沿着至少两个方向而配置，第二图像处理部62具备第二计算部622，上述第二计算部622基于多个第二像素组Pg1的每一个所包含的像素的像素值的和或者平均，计算多个第二候补像素值，第二像素值计算部623基于多个第二候补像素值，设定第三像素的像素值。由此，能够生成用于除去与被拍摄体中的方向依存性低的部分对应的像素值的图像数据。

(7)本实施方式的图像处理装置1具备第一除去部64，上述第一除去部64基于二维平滑化图像，除去增强图像中的不是线状的部分的至少一部分。由此，能够除去与被拍摄体中的方向依存性低的部分对应的像素值，进一步有效地增强图像中的线状的部分。

(9)本实施方式的图像处理装置1具备二值化部64，上述二值化部65针对增强图像，基于增强图像的各部分所包含的像素的像素值，利用不同的多个二值化阈值Th进行像素值的二值化。由此，能够通过二值化容易理解地表示图像中的各像素是否与线状的部分对应，并且能够容易分析。

(10)在本实施方式的图像处理装置1中，拍摄图像G1是神经突起Nr的图像。由此，能够有效地增强图像中的与神经突起Nr对应的部分。另外，使用神经突起Nr被增强的图像，能够更准确地进行神经突起Nr的长度等的分析。

(11)本实施方式所涉及的拍摄装置具备上述的图像处理装置1、和拍摄包含线状的部分的细胞等的拍摄部20。由此，能够有效地增强所拍摄的图像中的线状的部分。

(12)本实施方式所涉及的作为培养装置的上述的图像处理装置1具备培养细胞的培养部100。由此，能够有效地增强对培养成未分化状态或者分化状态的细胞Ce进行拍摄而得到的图像中的线状的部分。

(13)本实施方式所涉及的图像处理方法包括：在对拍摄图像(第一图像)G1进行图像处理而得到的增强图像(第二图像)中，设定位于与拍摄图像G1的第一像素Px1对应的位置的拍摄图像G1的第二像素的像素值，第二像素的像素值的设定具备：设定多个第一像素组Pg1，上述多个第一像素组Pg1是与第一像素Px1对应而设定的多个第一像素组Pg1，该多个第一像素组Pg1沿着相对于拍摄图像G1中的规定方向(基准方向)形成不同的多个角度(第一角度θ1)的多个方向而配置，或者在使拍摄图像G1以不同的多个角度(第一角度θ1)旋转而得到的多个图像的每一个中沿着规定方向而配置；基于多个第一像素组Pg1的每一个所包含的像素的像素值的大小，计算多个第一候补像素值；基于多个第一候补像素值，设定第二像素的像素值。由此，能够有效地增强图像中的线状的部分。

如下的变形也在本发明的范围内，能够与上述的实施方式进行组合。在以下的变形例中，对于表示与上述的实施方式同样的构造、功能的部位等，使用相同的附图标记进行参照，适当地省略说明。

(变形例1)

在上述的实施方式的第二图像处理中，第二图像处理部62也可以不进行使二维滤波器或者拍摄图像G1移动并旋转的处理，将根据一个二维滤波器所包含的像素计算出的第二候补像素值设为第三像素的像素值。这是因为即使在这样的情况下，如果二维滤波器原本具有向特定的方向的偏离较小的形状，则也能够以某种程度的精度进行不偏向特定的方向的平滑化。

本变形例的图像处理装置1具备第二图像处理部62，上述第二图像处理部62在对拍摄图像G1进行图像处理而得到的二维平滑化图像中，设定位于与第一像素Px1对应的位置的第三像素的像素值，第二图像处理部62具备：第二像素组设定部621，设定与第一像素Px1对应而设定、包括沿至少两个方向配置的像素的第二像素组Pg2；和第二像素值设定部623，基于该第二像素组Pg2所包含的像素的像素值的和或者平均，设定第三像素的像素值。由此，能够基于构成第二像素组Pg1的像素块的形状使拍摄图像G1平滑化，有效地增强图像中的线状的部分。

(变形例2)

在上述的实施方式中，图像处理装置1也可以构成为使用一维滤波器生成关于拍摄图像G1中的第一像素Px1是否与线状的部分对应的信息。在以下，将该信息称为针对线状部分(例如，神经突起Nr)的像素的对应信息。

图9是表示本变形例的图像处理装置中的数据处理部51a的结构的示意图。数据处理部51a若与上述的数据处理部51进行比较，不同的点在于具备像素信息处理部63。

像素信息处理部63具备第三像素组设定部631、信息生成部632以及处理控制部633。像素信息处理部63使用一维滤波器从拍摄图像数据获取信息，并处理该信息。

第三像素组设定部631设定与拍摄图像G1中的第一像素Px1对应的多个第三像素组Pg3。第三像素组设定部631与基于上述的第一像素组设定部631的多个第一像素组Pg1的设定同样，使用与多个角度对应的一维滤波器F1、F11、F12设定多个第三像素组Pg3。

图10是用于说明第三像素组Pg3的示意图。第三像素组设定部631从拍摄图像G1所包含的像素Px中选择第一像素Px1。第三像素组设定部631从对象区域所包含的像素中选择并设定第一像素Px1。

第三像素组设定部631将包含第一像素Px1、沿着相对于基准方向形成规定角度的多个方向而配置的像素组设定为第三像素组Pg3。将该规定角度在以下称为第三角度θ3。基准方向在图10中是拍摄图像G1的左右方向(参照箭头A30)，但没有特别限定，也可以是任意方向。在图10中，示出了第三角度θ3为0°的情况下的第三像素组Pg3所包含的多个像素Px31、Px32、Px1、Px33以及Px34。第三像素组Pg3优选包括这样沿一个方向排列且相互邻接的多个像素。

在实际的计算中，第三像素组设定部631优选在使拍摄图像G1进行包含向相对于基准方向形成第三角度θ3的方向的旋转的移动而得到的图像中，将以与第一像素对应的像素为中心沿规定方向配置的多个像素设定为第三像素组Pg3。该规定方向没有特别限定，能够设为基准方向等任意的方向。由此，与使一维滤波器F1进行包含旋转的移动来设定第三像素组Pg3的情况相比，能够精密地设定。

第三像素组设定部631针对多个第三角度θ3，分别设定第三像素组Pg3。多个第三角度θ3例如按从1°～45°等的范围中选择的每个规定角度设定多个。例如，第三像素组设定部631能够将多个第三角度θ3每隔1°从0°到179°进行设定，针对各第三角度θ3设定第三像素组Pg3。第三像素组设定部631针对对象区域的各第一像素Px1设定第三像素组Pg3。

信息生成部632生成上述对应信息。信息生成部632计算表示多个第三像素组Pg3的每一个所包含的像素的像素值的整体的大小的值即像素值的和或者平均。该平均能够适当地使用算术平均等。在以下，将计算出的该像素值的和或者平均称为一维滤波器值。

图11是针对多个第三角度θ3，表示与第三角度θ3对应的一维滤波器和线状的部分LP的示意图。在图11中，示出了第三角度θ3为0°时的一维滤波器F100，第三角度θ3为30°时的一维滤波器F110，第三角度θ3为60°时的一维滤波器F120，第三角度θ3为90°时的一维滤波器F130，第三角度θ3为120°时的一维滤波器F140以及第三角度θ3为150°时的一维滤波器F150。

在图11中，第一像素Px1位于线状的部分LP上，因此是与线状的部分对应的像素。若来自被拍摄体的光越强，在拍摄图像数据中设定为越高的像素值，则与线状的部分LP对应的像素的像素值比附近的不与线状的部分对应的像素的像素值高。若配置为线状的部分LP和一维滤波器重叠，则与一维滤波器对应的像素的像素值的和或者平均值亦即一维滤波器值最高。

在图11中，在第三角度θ3为0°、120°以及150°的情况下，一维滤波器F100、F140、F150与线状的部分LP的重叠较小，一维滤波器值与其它的第三角度θ3的情况相比较小。在第三角度θ3为30°或90°的情况下，一维滤波器F110或一维滤波器F130和线状的部分LP在构成一维滤波器的5个像素中有3个像素左右的重叠。因此，一维滤波器值与第三角度θ3为0°、120°或者150°的情况相比较大。在第三角度θ3为60°的情况下，一维滤波器F120和线状的部分LP大致重叠，在图11所示的情况下，一维滤波器值最高。

信息生成部632生成使第三角度θ3和一维滤波器值对应的数据。将该数据在以下称为滤波器值数据。滤波器值数据也可以适当地进行平滑化、基于曲线的近似而生成。由此，能够减少噪声等的影响，提高精度。

图12是表示能够根据滤波器值数据生成的、第一像素Px1中的针对第三角度θ3的一维滤波器值的图表。图12假定图11所示那样的一维滤波器值具有角度依存性的情况。在图12的图表中，一维滤波器值取从Vmin到Vmax的值，在第三角度θ3为约60°时，一维滤波器值最高。信息生成部632能够计算一维滤波器值最高的第三角度θ3以及与该第三角度θ3相关的峰值P1的峰值宽度。信息生成部632能够基于Vmax与Vmin之差、S/N比等是否为规定的值以上等来检测峰值。

图13是表示没有显著的峰值的情况下的针对第三角度θ3的一维滤波器值的图表。在图13中，与S/N比相比，一维滤波器值的变动较小，因此未检测出峰值。

在表示针对第三角度θ3的一维滤波器值的图表中，通过峰值的数量，能够分析第一像素Px1中的被拍摄体的特性。在峰值的数量为0的情况下，第一像素Px1成为不与线、交叉对应的部分。在峰值的数量为一个的情况下，第一像素Px1与线状的部分对应。在峰值的数量为两个的情况下，第一像素Px1与交叉对应。信息生成部632通过这样的一维滤波器值的分析，生成关于第一像素Px1是否与线状的部分对应的对应信息。信息生成部632能够用二值表示拍摄图像中的各像素是否与线状的部分对应并生成与各像素关联的对应信息，并存储于存储部43等中。另外，信息生成部632也可以同样生成拍摄图像中的各像素是否与交叉对应的信息。

信息生成部632针对对象区域中的各第一像素Px1生成滤波器值数据以及对应信息。

此外，在一维滤波器值的计算中，起初，第三像素组设定部631增大多个第三角度θ3的间隔来设定第三像素组Pg3，若检测出峰值，则能够减小该峰值及其附近的第三角度θ3的间隔来设定第三像素组Pg3。由此，信息生成部632能够精密地计算峰值及其附近的一维滤波器值，能够高效地分析一维滤波器值的角度依存性。

处理控制部633(图9)基于对应信息，控制第一像素组设定部611设定第一像素组Pg1的处理。处理控制部633基于对应信息，通过第一像素Px1的位置，使在第一图像处理中设定的第三角度θ3的个数变化。处理控制部633在不与线状的部分对应的像素中，与对应于线状的部分的像素相比，能够减少设定的第三角度θ3的个数。或者，处理控制部633能够设定为在不与线状的部分对应的像素中，不进行第一图像处理。换言之，处理控制部633能够设定第一图像处理，使得第一像素组设定部611从与线状的部分对应的像素中选择第一像素Px1。这样，通过设定为针对与线状的部分对应的像素更精密地进行第一图像处理，从而能够高效地增强图像中的线状的部分。

此外，在信息生成部632生成拍摄图像G1中的各像素是否与交叉对应的信息的情况下，处理控制部633能够适当地基于该信息设定第一图像处理的条件，如在与交叉对应的像素中不进行第一图像处理等。

图14是表示本变形例的图像处理方法的流程的流程图。步骤S401与图6的流程图的步骤S101对应，因此省略说明。若步骤S401结束，则开始步骤S403。在步骤S403中，信息生成部632生成关于拍摄图像G1所包含的像素是否与线状的部分对应的信息(对应信息)。若步骤S403结束，则开始步骤S405。

在步骤S405中，处理控制部633基于在步骤S403中生成的对应信息，设定第一图像处理的条件。若步骤S405结束，则开始步骤S407。在步骤S407中，第一图像处理部61基于在步骤S403中设定的条件，进行第一图像处理，生成第一增强图像数据。若步骤S407结束，则开始步骤S409。步骤S409～S415与图6的流程图中的步骤105～S111对应，因此省略说明。

(1)在本变形例的图像处理装置中，具备：第三像素组设定部631，设定多个第三像素组Pg3，上述多个第三像素组Pg3是与第一像素Px1对应而设定的多个第三像素组Pg1，该多个第三像素组Pg3沿着相对于拍摄图像(第一图像)G1的规定方向(基准方向)形成多个角度(第三角度θ3)的多个方向而配置，或者在使拍摄图像G1以多个角度(第三角度θ3)旋转而得到的多个图像的每一个中沿规定方向排列；信息生成部632，基于多个第三像素组Pg3的每一个所包含的像素的像素值的和或者平均，生成关于第一像素Px1是否与拍摄图像G1中的线状的部分对应的信息(对应信息)。由此，能够利用所生成的上述信息高效地进行图像处理。

(2)本变形例的图像处理装置具备处理控制部，上述处理控制部基于信息生成部632所生成的对应信息，控制第一像素组设定部611设定第一像素组Pg1的处理。由此，能够利用所生成的上述信息高效地进行第一图像处理。

(3)在本变形例的图像处理装置中，第一像素组设定部611设定多个第一像素组Pg1时的多个角度(第一角度θ1)的个数根据第一像素Px1的位置而不同，处理控制部633能够基于对应信息，设定拍摄图像G1在各位置的上述个数。由此，能够利用所生成的上述信息，通过拍摄图像中的位置控制第一图像处理的精密度。

(4)在本变形例的图像处理装置中，处理控制部633能够基于对应信息，决定在拍摄图像G1的各位置中，是否进行第一像素组设定部611设定第一像素组Pg1的处理。由此，能够利用所生成的上述信息，进一步高效地进行第一图像处理。

此外，也可以构成为，数据处理部51a具备第二除去部，上述第二除去部基于对应信息，除去第一增强图像或者第二增强图像中的不是线状的部分的至少一部分。第二除去部针对在对应信息中设为不与线状的部分对应的像素，将像素值设为0等、与不存在被拍摄体的情况对应的值。由此，能够进一步增强图像中的线状的部分。

(变形例3)

在上述的实施方式中，也可以构成为，用户经由输入部41设定对象区域。

图15是表示对象区域R1的示意图。用户一边观察显示拍摄图像G1的输出部44的显示画面，例如一边拖动作为输入部41的鼠标，从而能够输入对象区域R1的范围。

本变形例的图像处理装置具备输入部41，上述输入部41用于输入第一图像处理部61设为图像处理的对象的第一像素Px1的位置或者范围。由此，用户设定图像处理的对象，从而能够高效地增强图像中的线状的部分。

(变形例4)

在上述的实施方式中，将拍摄图像G1的被拍摄体设为细胞Ce，将增强的线状的部分设为神经突起Nr进行了说明，但只要包含线状的部分，则增强的对象不限定于该例，例如也优选设为血管。并且，更优选将拍摄图像G1的被拍摄体设为眼底，将增强的对象的线状的部分设为眼底的血管，特别是进一步优选设为视网膜的血管或者脉络膜血管。

在本变形例的图像处理装置中，拍摄图像G1是血管的图像。由此，能够有效地增强血管的图像中的线状的部分。

(变形例5)

在上述的实施方式中，可以构成为，通过输出控制部52的控制，输出部44输出用于使用户选择并显示拍摄图像G1以及增强图像的至少一个的显示画面。将该显示画面称为第一显示画面。增强图像可以是第一增强图像，也可以是第二增强图像。

图16是表示本变形例的第一显示画面的一个例子的示意图。第一显示画面70具备图像选择部71和显示拍摄图像G1及增强图像的至少一个的第一图像显示部72。图像选择部71由组合框构成，组合框成为在每次选择图标71a时，切换列表71b的显示或者非显示的结构。列表71b具备第一输入要素71c、第二输入要素71d以及第三输入要素71e。若用户使用鼠标等点击第一输入要素71c，则在第一图像显示部72中显示作为输入图像的拍摄图像G1，不显示增强图像G2。若用户点击第二输入要素71d，则在第一图像显示部72中显示增强图像G2，不显示拍摄图像G1。若用户点击第三输入要素71e，则在第一图像显示部72中显示拍摄图像G1以及增强图像G2。

此外，只要能够选择显示的图像，则图像选择部71不限于组合框，可以构成为包括任意的图像要素。

如本变形例那样，用户适当地选择并显示拍摄图像G1或者增强图像G2，从而能够容易理解地向用户示出上述的实施方式的图像处理方法的效果。

(变形例6)

在上述的实施方式中，也可以构成为，用户能够设定多个第一角度θ1的个数。能够构成为，通过输出控制部52的控制，输出部44输出用于使用户设定多个第一角度θ1的个数的显示画面。将该显示画面称为第二显示画面。

图17是表示本变形例的第二显示画面的一个例子的示意图。第二显示画面80具备第一角度输入部81、显示拍摄图像G1的第二图像显示部82以及第一执行部83。第一角度输入部81具备文本框810。

第一角度输入部81是用于输入第一角度θ1的个数的要素。用户能够通过键盘等向文本框810输入表示第一角度θ1的个数的数值。用户能够一边适当地观察显示于第二图像显示部82的拍摄图像G1一边进行输入。

此外，只要能够输入第一角度θ1的个数，则用于输入的图像要素并不特别限定于文本框，也可以由用户从所显示的数值的候补中进行选择。

第一执行部83是用于设定用户所输入的第一角度θ1的个数，使图像处理装置1开始第一图像处理的按钮。若由用户点击第一执行部83，则第一像素组设定部611例如针对将180°除以输入到文本框810的数值而得到的每个角度设定多个第一角度θ1，进行第一图像处理。

在本变形例中，用户一边适当地观察拍摄图像G1，一边设定关于第一角度θ1的参数(设定信息)，从而能够更适当地设定参数。

此外，只要用户能够设定关于第一角度θ1、第二角度θ2或者第三角度θ3的条件，则不限于本变形例那样的输入角度的个数的情况。

(变形例7)

在上述的实施方式中，可以构成为，针对第一图像处理，用户能够适当地观察输出部44的显示画面，输入或者变更关于第一图像处理的参数。

图18是表示本变形例的图像处理方法的流程的流程图。步骤S501与图6的流程图的步骤S101同样，因此省略说明。若步骤S501结束，则开始步骤S503。

在步骤S503中，第一图像处理部61基于用户的输入，设定第一图像处理中的参数。将该参数称为第一参数。第一参数能够设为表示第一图像处理中的一维滤波器F1、F11、F12的长度以及粗细的数值。用户观察拍摄图像G1，进而在已经进行了从上述的第一图像处理到二值化的处理的情况下观察检测结果图像，能够输入第一参数。若步骤S503结束，则开始步骤S505。

此外，也可以构成为，第二图像处理部62基于用户的输入，设定第二图像处理中的参数亦即第二参数。第二参数例如能够包括表示二维滤波器的宽度、形状的数值。或者，也可以构成为，二值化部65能够基于用户的处理，变更上述的实施方式中的二值化中的式(1)的α等的参数(例如，数值)。这样，通过适当地设定二值化的条件，从而能够高精度地进行神经突起Nr等的线状的部分的检测。

在步骤S505中，第一图像处理部61使用在步骤S503中设定的第一参数的数值，进行第一图像处理，生成第一增强图像数据。若步骤S505结束，则开始步骤S507。步骤S507～步骤S513与图6的流程图的步骤S105～S111对应，因此省略说明。若步骤S513结束，则开始步骤S515。

在步骤S515中，数据处理部51判定是否由用户经由输入部41输入了再次进行第一图像处理等的与上述的图像处理方法相关的处理的指示。在输入了该指示的情况下，数据处理部51对步骤S515进行肯定判定，开始步骤S503。在未输入该指示的情况下，数据处理部51对步骤S515否定判定，并结束处理。

在以下，关于本变形例的图像处理方法，示出了显示于输出部44的显示画面的例子，但各显示画面中的图像的形态、以及按钮或者文本框等各显示要素的形状等并不限定于以下的各图所示的内容。

图19是在选择第一参数时，通过输出控制部52在输出部44上显示的画面的例子，将该画面设为基本画面701。基本画面701具备图像显示部800、第一输入要素显示部710以及视频操作部810。视频操作部810具备：在图像显示部800显示视频的情况下用于进行倒回的倒回按钮811、用于进行播放的播放按钮812、用于进行暂停的暂停按钮813、用于进行快进的快进按钮814。在图19的基本画面701的图像显示部800示出了拍摄图像G1，但显示于图像显示部800的图像能够适当地变更。

第一输入要素显示部710具备作为输入要素的执行按钮711以及参数选择按钮712，上述输入要素用于用户利用鼠标或者触摸板等使光标对准进行点击等从而使图像处理装置1进行规定的动作。

执行按钮711是用于数据处理部51执行从第一图像处理到二值化的处理，使显示画面向用于显示神经突起Nr的检测结果的画面亦即结果显示画面转变的输入要素。若点击执行按钮711，则输出控制部52使图21的结果显示画面702显示于输出部44。此时，在用户不变更参数的情况下，优选使用预先设定的第一参数进行第一图像处理。

参数选择按钮712是用于显示显示要素的输入要素，该显示要素用于第一参数的输入。若由用户点击参数选择按钮712，则第一文本框713以及第二文本框714(图20)显示于第一输入要素显示部710。

图20是表示第一文本框713以及第二文本框714的示意图。在图20的基本画面701中，第一输入要素显示部710具备用户使用键盘等能够输入数值的第一文本框713以及第二文本框714。第一文本框713构成为能够输入一维滤波器F1、F11、F12的长度作为像素数。第二文本框714构成为能够输入一维滤波器F1、F11、F12的粗细作为像素数。

在显示第一文本框713以及第二文本框714时，参数选择按钮712通过色调、色度或者亮度等的变化，以与未显示第一文本框713以及第二文本框714时不同的方式进行显示。在图20中，通过对参数选择按钮712施加阴影来表示该点。

此外，也可以从显示基本画面701的最初显示第一文本框713以及第二文本框714。

图21是表示结果显示画面的一个例子的示意图。结果显示画面702通过输出控制部52被显示于输出部44的显示画面。结果显示画面702具备图像显示部800、第二输入要素显示部720以及视频操作部810。在图21的图像显示部800显示有检测结果图像G3。

第二输入要素显示部720具备作为输入要素的图像重叠按钮721、再执行按钮722以及结束按钮723，该输入要素用于用户利用鼠标或者触摸板等使光标对准进行点击等从而使图像处理装置1进行规定的动作。

并且，在第二输入要素显示部720显示有上述的参数选择按钮712，在图21的例子中，示出了由用户选择参数选择按钮712，显示第一文本框713以及第二文本框714的情况。在结果显示画面702中，作为第一文本框713以及第二文本框714的初始设定值，优选显示在之前进行的第一图像处理中设定的值。由此，用户容易掌握所得到的神经突起Nr的检测结果和第一参数的关系。

图像重叠按钮721是用于在图像显示部800中显示拍摄图像G1和检测结果图像G3的重叠图像的输入要素。若点击图像重叠按钮721，则输出控制部52在结果显示画面702的图像显示部800中显示重叠图像。由此，用户能够对比图像处理前的拍摄图像G1和图像处理后的检测结果图像G3，能够更准确地掌握上述的实施方式中的图像处理方法的效果。若在图像显示部800中显示有重叠图像的状态下点击图像重叠按钮721，则能够构成为显示拍摄图像G1或检测结果图像G3的任一方。

再执行按钮722是用于数据处理部51再次执行从第一图像处理到二值化的处理，更新结果显示画面702，以使显示画面显示由再次处理得到的神经突起Nr的检测结果的输入要素。若点击再执行按钮722，则输出控制部52使更新后的结果显示画面702显示于输出部44。此时，第一图像处理部61使用输入到第一文本框713以及第二文本框714的第一参数进行第一图像处理。

结束按钮723是用于通过点击结束按钮723而结束本变形例的图像处理方法的处理的按钮。若点击结束按钮723，则数据处理部51适当地结束处理。

在本变形例的图像处理方法中，用户在适当地确认拍摄图像G1、检测结果图像G3等的同时进行上述图像处理方法中的参数的设定，因此能够根据图像的形态高精度地进行线状的部分的增强。

(变形例8)

在上述的变形例7中，在输入到第一文本框713以及第二文本框714的数值在进行上述的图像处理的方面不适当的情况下，可以构成为在显示画面上显示通知。

图22是表示该通知的形态的示意图。基本画面701的第一输入要素显示部715具备通知显示部715。在输入到第一文本框713以及第二文本框714的数值不满足规定的条件的情况下，输出控制部52在通知显示部715上显示通知。该规定的条件例如能够设为一维滤波器F1、F11、F12的长度L为一维滤波器的F1、F11、F12的粗细W的2倍以下的情况。该情况下，输出控制部52能够像图22那样，在通知显示部715上显示“W相对于L过大”等的文字的通知。

此外，上述通知的形态没有特别限定，输出控制部52也可以通过图像等而不是文字来表示通知的内容，也可以进行声音的警告等。

(变形例9)

也可以将用于实现上述的实施方式的信息处理部40的信息处理功能的程序记录于由计算机可读取的记录介质，使计算机系统读入记录于该记录介质的、与上述的第一图像处理、第二图像处理以及二值化等的数据处理部51、51a的处理等相关的程序并执行。此外，此处所谓的“计算机系统”包含OS(Operating System：操作系统)、周边设备的硬件。另外，所谓的“计算机可读取的记录介质”是指软盘、光磁盘、光盘、存储卡等便携式记录介质、内置于计算机系统的硬盘等存储装置。并且，所谓的“计算机可读取的记录介质”也可以包含如经由因特网等网络、电话线路等通信线路发送程序的情况下的通信线那样短时间内动态保持程序的结构、如该情况下的服务器、成为客户端的计算机系统内部的易失性存储器那样将程序保持一定时间的结构。另外，上述的程序也可以是用于实现上述的功能的一部分的结构，进一步，也可以是通过将上述的功能与已经记录于计算机系统的程序的组合来实现的结构。

另外，在应用于个人计算机(以下，称为PC)等的情况下，与上述的控制相关的程序能够通过CD-ROM等记录介质、因特网等数据信号来提供。图23是表示该情况的图。PC950经由CD-ROM953接受程序的提供。另外，PC950具有与通信线路951的连接功能。计算机952是提供上述程序的服务器计算机，在硬盘等记录介质中储存程序。通信线路951是因特网、电脑通信等通信线路、或者专用通信线路等。计算机952使用硬盘读出程序，经由通信线路951向PC950发送程序。即，将程序作为数据信号通过载波进行输送，并经由通信线路951发送。这样，程序能够作为记录介质、载波等各种形态的计算机可读取的计算机程序产品来供给。

作为用于实现上述的信息处理功能的程序，包括如下程序，该程序用于使处理装置(控制部50)进行第一图像处理(与图6的流程图的步骤S103对应)，上述第一图像处理在对拍摄图像(第一图像)G1进行图像处理而得到的增强图像(第二图像)中，设定位于与拍摄图像G1的第一像素Px1对应的位置的增强图像的第二像素的像素值，第一图像处理具备：第一像素组设定处理，设定多个第一像素组Pg1，上述多个第一像素组Pg1是与第一像素Px1对应而设定的多个第一像素组Pg1，该多个第一像素组Pg1沿着与拍摄图像G1中的规定方向(基准方向)形成不同的多个角度(第一角度θ1)的多个方向而配置，或者在使拍摄图像G1以不同的多个角度(第一角度θ1)移动而得到的多个图像的每一个中沿着规定方向而配置；第一计算处理，基于多个第一像素组Pg1的每一个所包含的像素的像素值的大小，计算多个第一候补像素值(第一像素组设定处理以及第一计算处理与步骤S203以及S205对应)；以及第一像素值设定处理，基于多个第一候补像素值，设定第二像素的像素值(与步骤S207对应)。由此，能够有效地增强图像中的线状的部分。

另外，在应用于具备网站服务器(以下，也称为服务器)和个人计算机(以下，称为用户终端、或者PC)等的信息处理系统的情况下，上述的图像处理装置1的信息处理部40是具备通信部42、存储部43、输出部44以及数据处理部51的网站服务器。该信息处理系统通过云计算经由网络向用户终端输出包含上述的图像(例如，第一图像、第二图像、第三图像等)的分析结果。例如，信息处理系统具备服务器，该服务器具备：获取在培养部100中拍摄的上述第一图像等的通信部(例如，通信部42)；存储上述图像(例如，第一图像、第二图像、第三图像等)、上述图像分析所需的信息的存储部(例如，存储部43)；具有与上述数据处理部51相同的功能的数据处理部；向用户终端输出基于该数据处理部的图像的分析结果的输出部(例如，输出部44)。

本发明并不限定于上述实施方式的内容。在本发明的技术思想的范围内考虑的其它的方式也包含于本发明的范围内。

如下的优先权基础申请的公开内容作为引用文被纳入于此。

日本特愿2019-168631号(2019年9月17日申请)

附图标记说明

1…图像处理装置；10…培养室；20…拍摄部；40…信息处理部；43…存储部；44…输出部；50…控制部；52…输出控制部；51、51a…数据处理部；100…培养部；61…第一图像处理部；62…第二图像处理部；63…像素信息处理部；64…第一除去部；65…第二除去部；70…第一显示画面；80…第二显示画面；611…第一像素组设定部；612…第一计算部；613…第一像素值设定部；621…第二像素组设定部；622…第二计算部；623…第二像素值设定部；701…基本画面；702…结果显示画面；800…图像显示部；Ce…细胞；F1、F11、F12、F100、F110、F120、F130、F140、F150…一维滤波器；F2、F21…二维滤波器；G1…拍摄图像；G2…增强图像；G3…检测结果图像；LP…线状的部分；P1…峰值；Pg1…第一像素组；Pg3…第三像素组；Px…像素；Px1…第一像素；R1…对象区域；So…细胞体；θ1…第一角度；θ2…第二角度；θ3…第三角度。

Claims (18)

1.一种图像处理装置，其中，

所述图像处理装置具备第一图像处理部，所述第一图像处理部在对第一图像进行图像处理而得到的第二图像中，设定位于与所述第一图像的第一像素对应的位置的所述第二图像的第二像素的像素值，

所述第一图像处理部具备：

第一像素组设定部，设定多个第一像素组，所述多个第一像素组是与所述第一像素对应而设定的多个第一像素组，该多个第一像素组沿着与所述第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使所述第一图像相对于规定方向以相互不同的多个角度移动而得到的多个图像的每一个图像中沿着规定方向而配置；

第一计算部，基于多个第一像素组的每一个像素组所包含的像素的像素值的大小，来计算多个第一候补像素值；以及

第一像素值设定部，基于多个第一候补像素值，来设定所述第二图像的第二像素的像素值。

2.根据权利要求1所述的图像处理装置，其中，

所述第一计算部基于所述多个第一像素组的每一个像素组所包含的像素的像素值的和或者平均，来计算所述多个第一候补像素值。

3.根据权利要求1或2所述的图像处理装置，其中，

所述第一计算部针对所述第一像素组，使用平滑化滤波器来计算所述第一候补像素值。

4.根据权利要求3所述的图像处理装置，其中，

所述平滑化滤波器是一维平滑化滤波器。

5.根据权利要求1所述的图像处理装置，其中，

具备第一像素设定部，所述第一像素设定部根据构成所述第一图像的像素，来设定所述第一像素，所述第一像素值设定部将所述多个第一候补像素值中的最大的值的0.8倍～1.2倍的值、或者最小的值的0.8倍～1.2倍的值设定为所述第二像素的像素值。

6.根据权利要求1～5中任一项所述的图像处理装置，其中，

具备第二图像处理部，所述第二图像处理部在对所述第一图像进行图像处理而得到的第三图像中，设定位于与所述第一像素对应的位置的第三像素的像素值，

所述第二图像处理部具备：

第二像素组设定部，设定第二像素组，所述第二像素组是与所述第一像素对应而设定的像素组，且包括沿着至少两个方向配置的像素；和

第二像素值设定部，基于所述第二像素组所包含的像素的像素值的和或者平均，来设定所述第三像素的像素值。

7.根据权利要求6所述的图像处理装置，其中，

所述第二像素组设定部设定多个第二像素组，所述多个第二像素组沿着相对于所述第一图像中的规定的方向以不同的多个角度使所述至少两个方向旋转而得到的至少两个方向而配置，或者在以不同的多个角度旋转后的所述第一图像的每一个第一图像中沿着所述至少两个方向而配置，

所述第二图像处理部具备第二计算部，所述第二计算部基于所述多个第二像素组的每一个第二像素组所包含的像素的像素值的和或者平均，来计算多个第二候补像素值，

所述第二像素值设定部基于所述多个第二候补像素值，来设定所述第三像素的像素值。

8.根据权利要求6或7所述的图像处理装置，其中，

具备第一除去部，所述第一除去部基于所述第三图像，除去所述第二图像中的不是线状的部分的至少一部分。

9.根据权利要求1～8中任一项所述的图像处理装置，其中，

所述图像处理装置具备：

第三像素组设定部，设定多个第三像素组，所述多个第三像素组是与所述第一像素对应而设定的多个第三像素组，该多个第三像素组沿着与所述第一图像的规定方向形成多个角度的多个方向而配置，或者在使所述第一图像以多个角度旋转而得到的多个图像的每一个图像中沿着规定方向排列；

信息生成部，基于所述多个第三像素组的每一个第三像素组所包含的像素的像素值的和或者平均，来生成关于所述第一像素是否与所述第一图像中的线状的部分对应的信息。

10.根据权利要求9所述的图像处理装置，其中，

具备处理控制部，所述处理控制部基于所述信息生成部所生成的所述信息，来控制所述第一像素组设定部设定所述第一像素组的处理。

11.根据权利要求10所述的图像处理装置，其中，

所述第一像素组设定部设定所述多个第一像素组时的所述多个角度的个数根据所述第一像素的位置而不同，

所述处理控制部基于所述信息，来设定所述第一图像的各位置中的所述个数。

12.根据权利要求10或11所述的图像处理装置，其中，

所述处理控制部基于所述信息，来决定在所述第一图像的各位置，是否进行所述第一像素组设定部设定所述第一像素组的处理。

13.根据权利要求9所述的图像处理装置，其中，

具备第二除去部，所述第二除去部基于所述信息生成部所生成的所述信息，除去所述第二图像中的不是线状的部分的至少一部分。

14.根据权利要求1～13中任一项所述的图像处理装置，其中，

具备二值化部，所述二值化部针对所述第二图像，基于所述第二图像的各部分所包含的像素的像素值，利用不同的多个阈值来进行像素值的二值化。

15.根据权利要求1～14中任一项所述的图像处理装置，其中，

具备输入部，所述输入部用于输入所述第一图像处理部设为图像处理的对象的所述第一像素的位置或者范围。

16.根据权利要求1～15中任一项所述的图像处理装置，其中，所述第一图像是神经突起或者血管的图像。

17.一种图像处理方法，包括：在对第一图像进行图像处理而得到的第二图像中，设定位于与所述第一图像的第一像素对应的位置的所述第二图像的第二像素的像素值，

所述第二像素的像素值的设定包括：

设定多个第一像素组，所述多个第一像素组是与所述第一像素对应而设定的多个第一像素组，该多个第一像素组沿着与所述第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使所述第一图像以不同的多个角度移动而得到的多个图像的每一个图像中沿着规定方向而配置；

基于所述多个第一像素组的每一个第一像素组所包含的像素的像素值的大小，来计算多个第一候补像素值；

基于所述多个第一候补像素值，来设定所述第二图像的第二像素的像素值。

18.一种程序，用于使处理装置进行第一图像处理，所述第一图像处理在对第一图像进行图像处理而得到的第二图像中，设定位于与所述第一图像的第一像素对应的位置的所述第二图像的第二像素的像素值，其中，

所述第一图像处理包括：

第一像素组设定处理，设定多个第一像素组，所述多个第一像素组是与所述第一像素对应而设定的多个第一像素组，该多个第一像素组沿着与所述第一图像中的规定方向形成相互不同的多个角度的多个方向而配置，或者在使所述第一图像以不同的多个角度移动而得到的多个图像的每一个中沿着规定方向而配置；

第一计算处理，基于所述多个第一像素组的每一个第一像素组所包含的像素的像素值的大小，来计算多个第一候补像素值；以及

第一像素设定处理，基于所述多个第一候补像素值，设定所述第二图像的第二像素的像素值。

Images