CN108140241A - 信息处理装置、信息处理方法和信息处理系统 - Google Patents

Abstract

根据一些方面，提供了一种信息处理装置。信息处理装置包括电路，该电路被配置为在第一图像的第一区域内布置多个追踪点并且基于多个追踪点在第二图像中的估计位置设置第二图像的第二区域。估计位置通过比较第一图像和第二图像来确定。该电路进一步被配置为在第二图像的第二区域内重新布置多个追踪点。

Description

信息处理装置、信息处理方法和信息处理系统

相关申请的交叉引证

本申请要求于2015年10月8日提交的日本在先专利申请JP2015-199991以及2016年7月29日提交的日本在先专利申请JP2016-150604的优先权，其全部内容通过引证结合于本文中。

技术领域

本公开内容涉及信息处理装置、信息处理方法和信息处理系统。

背景技术

在医学和生命科学领域中，已经观察了各种生物组织的运动或状态变化。为了追踪生物组织的这种运动或状态的变化，已经开发了用于使用图像处理追踪拍摄图像中的对应于生物组织等的区域的技术。

例如，以下提到的PTL 1公开了这样一种技术，即诸如器官的生物组织被设置为观察对象，然后在使用超声波或计算机断层扫描(CT)获得的图像中针对观察对象的部分区域布置追踪点以便追踪该追踪点的移动。在这个技术中，因为计算追踪点的移动，因此可以定量评估作为观察对象的生物组织的运动。

[引用列表]

[专利文献]

[PTL 1]JP 5508035B

发明内容

技术问题

然而，如果观察对象是细胞而不是诸如器官的生物组织，则细胞的生长、运动等使得它的形状在短期内显著变化。因此，如果在上述PTL 1中公开的技术中仅追踪曾经布置的追踪点的运动，则难以追踪其中没有布置追踪点的部分的形状变化。

因此，本公开内容提出了能够高精度地追踪观察对象的形状变化的新颖且改善的信息处理装置、信息处理方法和信息处理系统。

解决问题的技术方案

根据本申请的一方面，提供了一种信息处理装置。该信息处理装置包括电路，该电路被配置为在第一图像的第一区域内布置多个追踪点并且基于多个追踪点在第二图像中的估计位置设定第二图像的第二区域。通过比较第一图像和第二图像来确定估计位置，并且在与第一图像不同的时间点拍摄第二图像。该电路进一步被配置为在第二图像的第二区域内重新布置多个追踪点。

根据本申请的一方面，提供了一种信息处理方法。信息处理方法包括在第一图像的第一区域内布置多个追踪点并且基于多个追踪点在第二图像中估计位置设定第二图像的第二区域。通过比较第一图像和第二图像来确定估计位置并且在与第一图像不同的时间点拍摄第二图像。信息处理方法进一步包括在第二图像的第二区域内重新布置多个追踪点。

根据本申请的一方面，提供了一种信息处理系统。该信息处理系统包括被配置为生成包括第一图像和第二图像的多个图像的成像装置。信息处理系统进一步包括电路，该电路被配置为在第一图像的第一区域内布置多个追踪点并且基于多个追踪点在第二图像中的估计位置设定第二图像的第二区域。通过比较第一图像和第二图像来确定估计位置并且在与第一图像不同的时间点拍摄第二图像。该电路进一步被配置为在第二图像的第二区域内重新布置多个追踪点。

本发明的优势效果

根据以上描述的本公开内容的实施方式，可以高精度地追踪观察对象的形状变化。

应注意，以上所描述的效果不必是限制性的。组合有或者代替以上效果，可以实现在本说明书中描述的效果中的任一个或者可以实现从本说明书可以掌握的其他效果。

附图说明

[图1]图1是示出了根据本公开内容的实施方式的信息处理系统的配置的概述的示图。

[图2]图2是示出了根据实施方式的信息处理装置的功能配置实例的框图。

[图3]图3是示出了根据实施方式的通过信息处理装置执行的处理的实例的流程图。

[图4]图4是示出了根据实施方式的初始设定处理中的拍摄图像的显示的实例的示图。

[图5]图5是示出了根据实施方式的在初始设定处理中的拍摄图像和要注意的初始区域的显示的实例的示图。

[图6]图6是示出了根据实施方式的初始设定处理中的追踪点的布置的实例的示图。

[图7]图7是示出了根据实施方式的追踪处理中的追踪区域和搜索范围的设定的实例的示图。

[图8]图8是示出了根据实施方式的追踪处理中的运动矢量的计算的实例和追踪点的估计实例的示图。

[图9]图9是根据实施方式的追踪处理中的要注意的区域的设定的实例的示图。

[图10]图10是示出了根据实施方式的追踪处理中的追踪点的重新布置的实例的示图。

[图11]图11是用于描述根据实施方式的通过布置单元进行的布置处理的第一应用实例的示图。

[图12]图12是用于描述根据实施方式的通过布置单元进行的布置处理的第二应用实例的示图。

[图13]图13是用于描述根据实施方式的通过布置单元进行的布置处理的第三应用实例的示图。

[图14]图14是用于描述根据实施方式的通过估计单元进行的估计处理的应用实例的示图。

[图15]图15是示出了根据实施方式的变形例的信息处理装置的功能配置实例的框图。

[图16]图16是示出了根据变形例的通过信息处理装置进行的处理的实例的流程图。

[图17]图17是用于描述根据实施方式的信息处理装置(应用至神经细胞)的第一应用实例的示图。

[图18]图18是示出了根据实施方式的通过信息处理装置进行轴突的初始设定处理的实例的示图。

[图19]图19是示出了根据实施方式的通过信息处理装置进行轴突的追踪处理的实例的示图。

[图20]图20是用于描述根据实施方式的信息处理装置(应用至斑马鱼)的第二应用实例的示图。

[图21]图21是用于描述根据实施方式的信息处理装置(应用至菌落)的第三应用实例的示图。

[图22]图22是用于描述根据实施方式的信息处理装置(应用至巨噬细胞和异物)的第四应用实例的示图。

[图23]图23是示出了根据本公开内容的实施方式的信息处理装置的硬件配置实例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开内容的优选实施方式。在本说明书和附图中，利用相同的参考标号指代具有基本上相同的功能和结构的结构元件，并且省略了这些结构元件的重复说明。

应注意，将按照以下顺序提供描述。

1.信息处理系统的概述

2.信息处理装置

2.1.配置实例

2.2.处理实例

2.3.效果

2.4.处理应用实例

2.5.变形例

2.6.装置应用实例

3.硬件配置实例

4.结论

1.信息处理系统的概述

图1是示出了根据本公开内容的实施方式的信息处理系统1的配置的概述的示图。如图1所示，信息处理系统1设置有成像装置10和信息处理装置20。成像装置10和信息处理装置20经由各种类型的有线和无线网络彼此连接。

(成像装置)

成像装置10是生成拍摄图像(动态图像)的装置。例如，通过数字照相机实现根据本实施方式的成像装置10。此外，可以通过具有成像功能的任何类型的装置实现成像装置10，例如，智能电话、平板电脑、游戏装置或可穿戴装置。成像装置10使用各种构件将真实空间成像，各种构件例如诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)的图像传感器、用于控制图像传感器中的被摄体图像的形成的透镜等。此外，成像装置10包括用于从信息处理装置20接收拍摄图像等和将拍摄图像等发送至信息处理装置20的通信装置。在本实施方式中，成像装置10被设置在成像台S上方以便将培养有作为观察对象的细胞的培养介质M成像。此外，成像装置10通过以特定的帧速率将培养介质M成像来生成动态图像数据。应注意，成像装置10可以直接将培养介质M成像(不涉及另一构件)，或者可以经由诸如显微镜的另一构件将培养介质M成像。此外，尽管帧速率不受特定限制，但期望的是根据观察对象的变化程度设定帧速率。应注意，成像装置10将包括培养介质M的给定成像区域成像，以便精确地追踪观察对象的变化。通过成像装置10生成的动态图像数据被发送至信息处理装置20。

应注意，尽管在本实施方式中成像装置10被假定为安装在光学显微镜等中的照相机，但是本技术不限于此。例如，成像装置10可以是：包括在使用电子束的电子显微镜(诸如，扫描电子显微镜(SEM)或透射电子显微镜(TEM))中的成像装置，或者包括在使用探针的扫描探针显微镜(SPM)(诸如，原子力显微镜(AFM)或扫描隧道显微镜(STM))中的成像装置。在这种情况下，例如，通过成像装置10生成的拍摄图像是通过在电子显微镜的情况下利用电子束照射观察对象所获得的图像，以及通过在SPM的情况下使用探针追踪观察对象所获得的图像。还可以通过根据本实施方式的信息处理装置20分析这些拍摄图像。

(信息处理装置)

信息处理装置20是具有图像分析功能的装置。通过具有图像分析功能的任何类型的装置来实现信息处理装置20，任何类型的装置诸如，个人电脑(PC)、平板电脑或智能电话。此外，信息处理装置20可以通过网络上的一个或多个信息处理装置来实现。根据本实施方式的信息处理装置20从成像装置10获取拍摄图像并且在获取的拍摄图像中执行观察对象的区域的追踪。通过信息处理装置20执行的追踪处理的分析结果被输出到设置在信息处理装置20内部或外部的存储装置或显示装置。应注意，以下将描述实现信息处理装置20的每个功能的功能配置。

应注意，尽管在本实施方式中，信息处理系统1由成像装置10和信息处理装置20组成，但是本技术不限于此。例如，成像装置10可以执行与信息处理装置20相关的处理(例如，追踪处理)。在这种情况下，信息处理系统1通过具有追踪观察对象的功能的成像装置实现。

在此，与诸如人类、动物、植物或非生命结构的正常被摄体不同，设定作为观察对象的细胞在短期内经理各种现象，诸如，生长、分裂、组合、变形或坏死。在这种情况下，细胞形状可以在短期内显著变化。因此，即使使用JP 5508035B中公开的技术追踪作为拍摄图像中的观察对象的细胞形状，例如，当其中没有布置追踪点的部分的形状改变时，就不可能追踪那部分的形状变化。因此，难以高精度地追踪细胞的形状变化。此外，即使观察对象是动物、植物或非生命结构，当观察对象在短期内显示出例如薄膜或纳米团簇晶体的生长的这种结构或形状的显著变化时，也难以使用专利文献中公开的技术高精度地保持追踪观察对象。

因此，根据本实施方式的信息处理系统1，在拍摄图像中针对要注意的区域布置多个追踪点，估计在不同时间点拍摄的另一拍摄图像中的追踪点的位置，基于所估计的位置处的追踪点重新设定要注意的区域，并且为要注意的重新设定的区域重新布置更多追踪点。当作为观察对象的细胞的区域要被追踪时，本技术可以重新布置追踪点以追踪每个拍摄帧中的适当位置处的区域变化。因此，可以跟随细胞的形状变化适当调整追踪点的位置，并且因此可以高精度地追踪细胞形状的变化，而不考虑细胞的形状变化程度。

以上已经描述了根据本公开内容的实施方式的信息处理系统1的概述。在以下实施方式中实现根据本公开内容的实施方式的信息处理系统1中包括的信息处理装置20。以下将描述信息处理装置20的具体配置实例和操作处理。

2.信息处理装置

首先，将参考图2至图22描述根据本公开内容的第一实施方式的信息处理装置20。

(2.1.配置实例)

图2是示出了根据本公开内容的实施方式的信息处理装置20的功能配置实例的框图。如图2所示，信息处理装置20包括图像获取单元210、初始设定单元215、布置单元220、估计单元230、设定单元240和输出控制单元250。

(图像获取单元)

图像获取单元210经由未示出的通信装置获取通过成像装置10生成的拍摄图像数据。例如，图像获取单元210以时间序列方式获取通过成像装置10生成的动态图像数据。

应注意，图像获取单元210获取的图像包括RGB图像、灰度图像等。当所获取的图像是RGB图像时，图像获取单元210将作为RGB图像的所拍摄的图像转换为灰度图像。

此外，图像获取单元210将所获取的拍摄图像数据输出至初始设定单元215或估计单元230。例如，当要通过信息处理装置20执行的追踪处理尚未开始时，图像获取单元210将所获取的拍摄图像数据的一条图像数据输出至初始设定单元215以用于通过以下要描述的初始设定单元215初始设定要注意的区域。另一方面，当通过信息处理装置20正在执行追踪处理时，图像获取单元210输出所获取的拍摄图像数据中的拍摄图像数据，所获取的拍摄图像数据与在用于通过估计单元230的估计之前的某时执行的追踪处理中使用的拍摄图像数据不同。

应注意，尽管将详细描述在本说明书中提到的追踪处理，但是该处理意指通过如图2所示的布置单元220、估计单元230和设定单元240执行的一系列处理。这个追踪处理可以对包括在通过图像获取单元210获取的动态图像数据中的拍摄图像数据重复执行。

(初始设定单元)

初始设定单元215在通过信息处理装置20进行的追踪处理还没开始时，为从图像获取单元210获取的拍摄图像执行要注意的区域的初始设定的功能。

应注意，本说明书中提到的要注意的区域意指在拍摄图像内将经受追踪处理的区域。在本实施方式中，要注意的区域是对应于拍摄细胞等的观察对象的区域。即，在一系列追踪处理中，通过以下要描述的设定单元240设定的要注意的区域是对应于观察对象的区域的追踪结果。应注意，通过初始设定单元215设定的要注意的区域不可能与对应于拍摄图像内的观察对象的区域完全一致。然而，为了高精度地追踪对应于观察对象的区域，期望的是适当地设定要注意的区域。

此外，本说明书中要注意的区域可以是例如使用开放曲线(包括直线)表示的区域，或者可以是由闭合曲线(其起始点和结束点一致的曲线)围绕的区域。此外，可以通过用户的操作设定多个闭合区域或者8字形区域。

可以由用户通过初始设定单元215的操作设定要注意的区域。例如，可以由用户操作诸如未示出的鼠标、触摸笔或触摸面板的输入装置设定要注意的区域以追踪在未示出的显示装置(诸如，显示器)上显示的拍摄图像内的观察对象的外周(例如，细胞的轮廓)。因此，用户期望的区域可以设定为要注意的区域。

此外，即使当通过用户的操作表示开放曲线时，初始设定单元215可以通过内插处理等将要注意的区域设定为由闭合曲线围绕的区域。此外，要注意的区域可以通过图像分析处理由初始设定单元215自动设定。例如，初始设定单元215可以使用诸如二值图像变换、霍夫变换或机器学习的图像分析技术来设定要注意的区域。因此，可以减少由要注意的区域的初始设定造成的用户负担。

关于由初始设定单元215设定的要注意的区域的信息被输出到布置单元220。

(布置单元)

布置单元220具有为要注意的区域布置多个追踪点的功能。

在此，在本说明书中提到的追踪点是布置为与在给定拍摄图像中设定的要注意的区域对应的点。在本实施方式中，例如，追踪点以预定间隔被布置在定义要注意的区域的线或轮廓上。以下要描述的估计单元230估计另一拍摄图像中的追踪点的位置，该另一拍摄图像是在与设定要注意的区域时使用的拍摄图像不同的时间点拍摄的。通过以时间序列方式估计这些追踪点的位置，可以追踪细胞的形状变化。

应注意，当利用开放曲线表示要注意的区域时，布置单元220在开放曲线的各个终点处布置追踪点。另一方面，当利用闭合曲线表示要注意的区域时，布置单元220可以不在闭合曲线上的特定位置处布置追踪点。然而，当通过用户的操作使用闭合曲线设定要注意的区域时，布置单元220可以在闭合曲线的起始点(或结束点)处布置追踪点。因此，可以在用户期望的位置处布置追踪点。

可以根据观察对象的类型或者观察对象的形状判定布置的追踪点的数量以及它们之间的布置间隔。例如，当作为观察对象的细胞的形状显著变化时，期望的是增加布置的追踪点的数量并且减小布置间隔。因此，即使当细胞形状显著变化时，也可以高精度地追踪形状的变化。此外，为了减少计算负担，期望的是减少布置的追踪点的数量并且增加布置间隔。

当还没开始通过信息处理装置20进行的追踪处理时，根据本实施方式的布置单元220针对通过初始设定单元215设定的要注意的区域布置追踪点。

另一方面，当已经通过信息处理装置20执行了追踪处理时，布置单元220对通过设定单元240设定的要注意的区域重新布置追踪点。因此，可以针对每个追踪处理适当地布置追踪点。例如，当未重新布置追踪点时，不可以追踪作为没有布置追踪点的观察对象的细胞的一部分的形状变化。根据本实施方式，通过布置单元220在每个追踪处理中以适当间隔为设定单元240之前设定的要注意的区域重新布置追踪点。因此，即使细胞的形状显著变化，也可以将要注意的区域与对应于细胞的区域之间的差异限制为最小水平。因此，可以高精度地追踪对应于细胞的区域。

应注意，布置单元220可以在先前布置在通过以下将描述的估计单元230估计的相同位置处的追踪点之中重新布置至少一个追踪点。这是因为，当包括在通过布置单元220布置的追踪点的周边区域中的观察对象不显示其特征的显著变化时，例如，重新布置相同位置处的追踪点改善了追踪处理的精确性。

关于通过布置单元220布置(重新布置)的追踪点的信息与设定要注意的区域时使用的拍摄图像的信息一起被输出至估计单元230。

(估计单元)

估计单元230具有基于设定要注意的区域所使用的拍摄图像(以下称为第一拍摄图像)与从图像获取单元210获取的另一拍摄图像(以下称为第二拍摄图像)的比较来估计布置在第一拍摄图像中的要注意的区域的追踪点在第二拍摄图像中的位置。在此，第二拍摄图像是指其拍摄时间与第一拍摄图像的时间不同的拍摄图像。第二拍摄图像可以是例如在第一拍摄图像的帧前后的几个帧之中的任何帧的拍摄图像。更具体地，第二拍摄图像可以是在第一拍摄图像之后的一个帧生成的拍摄图像。此外，如将详细描述的，可以根据观察对象的状态、变化等来指定作为估计对象的第二拍摄图像的拍摄时刻(第一拍摄图像与第二拍摄图像之间的帧的数量)。

估计单元230可以基于例如通过比较第一拍摄图像与第二拍摄图像所计算的运动矢量来估计追踪点的位置。这个运动矢量可以是针对每个追踪点计算的运动矢量。运动矢量可以使用诸如块匹配或梯度法的技术计算。在本说明书中，估计单元230被描述为使用块匹配估计运动矢量。

例如，关于包括追踪点的预定大小的追踪区域，估计单元230可以通过从第二拍摄图像的预定搜索范围检测包括在第一拍摄图像的追踪区域中的像素的信息与第二拍摄图像的像素的信息匹配的区域，来估计第二拍摄图像中的追踪点的位置。在这种情况下，可以根据成像装置10的成像条件(例如，成像放大率)、观察对象的类型、对观察对象行的分析类型判定追踪区域的大小和搜索范围。例如，当观察对象的移动大时，追踪区域或搜索范围可被设定为较大。因此，可以提高通过估计单元230估计追踪点的精确度。此外，当对于要注意的区域存在多个追踪点时，追踪区域或搜索范围可以调节成较小以便减少计算的负担。

此外，估计单元230可以估计在基于观察对象的信息判定的成像时刻生成的第二拍摄图像中的追踪点的位置。例如，当追踪其形状变化速度慢的细胞的形状变化时，通过成像装置10生成的多个连续帧之间的拍摄图像的差异小。因此，当追踪其形状变化速度慢的细胞的形状变化时，估计单元230可以对第一拍摄图像的帧前后的多个帧的拍摄图像(作为第二拍摄图像)执行估计处理。更具体地，估计单元230可以对第一拍摄图像后数个帧的拍摄图像(作为第二拍摄图像)执行估计处理。第一拍摄图像与第二拍摄图像之间的帧间隔使得经受追踪处理的拍摄图像的数据量减少。因此，可以减少计算负担并且长时间追踪细胞的形状变化。可以根据细胞的类型、状态等适当地设定帧间隔。

估计单元230将与追踪点的估计位置相关的信息输出至设定单元240。(设定单元)

设定单元240具有基于从估计单元230获取的第二拍摄图像中的追踪点的位置在第二拍摄图像中设定要注意的区域的功能。

设定单元240可以通过例如对经过由估计单元230估计的每个追踪点的位置的闭合曲线(或者开放曲线，当使用开放曲线描述要注意的初始区域)对执行内插来设定要注意的区域。作为对闭合曲线进行内插的方法，使用已知的内插法，例如，贝济埃曲线内插、样条曲线内插等。

此外，除了各个追踪点的估计位置之外，设定单元240还可以使用拍摄图像的图像分析结果来设定要注意的区域。例如，当因为作为观察对象的细胞经受分裂或组合而使得要注意的区域的数量增加或减少时，仅使用各个追踪点的位置难以高精度地设定要注意的区域。因此，设定单元240可以通过对拍摄图像执行图像分析(例如，边缘分析或密度分析)来调节基于每个追踪点设定的内插曲线。更具体地，当正在观察的细胞分裂时，设定单元240可以通过边缘分析等检测到细胞的分裂并且使用检测结果设定要注意的区域。因此，要注意的区域的数量和它们的位置可以根据细胞的分裂进行适当地设定。

设定单元240将关于所设定的要注意的区域的信息输出至布置单元220和输出控制单元250。应注意，当一系列追踪处理结束时，设定单元240可以不将该信息输出至布置单元220。

(输出控制单元)

输出控制单元250具有输出在一系列追踪处理中获得的各种信息的功能，诸如，从设定单元240获取的要注意的区域的信息。输出控制单元250可以输出例如通过布置单元220布置的追踪点的结果、通过估计单元230估计的追踪点的位置的结果、通过设定单元240设定的要注意的区域的结果等。输出控制单元250的输出方面不受具体限制。例如，输出控制单元250可以在未示出的显示装置上显示拍摄图像，并且在所显示的拍摄图像上叠加追踪点或要注意的区域的各种信息。此外，输出控制单元250可以在未示出的存储装置存储各种信息，或者使用未示出的通信装置将这种信息发送至外部装置。

(2.2.处理实例)

以上已经描述了根据本公开内容的实施方式的信息处理装置20的配置实例。接下来，将参考图3至图10描述根据本公开内容的实施方式的通过信息处理装置20执行的处理的实例。应注意，在根据本实施方式的处理中获得的追踪点、要注意的区域等将描述为通过输出控制单元250适当地显示在显示装置的显示单元D上。

图3是示出了根据本公开内容的实施方式的通过信息处理装置20执行的处理的实例的流程图。根据本实施方式的处理由初始设定处理(图3的步骤S101至步骤S105)以及追踪处理(图3的步骤S107至步骤S121)组成。

(初始设定处理)

首先，图像获取单元210从成像装置10获取动态图像数据并且将动态图像数据中的一个拍摄图像输出至初始设定单元215(S101)。

图4是示出了根据本实施方式的初始设定处理中的拍摄图像的显示的实例的示图。如图4所示，拍摄图像P1显示在显示单元D上，并且细胞图像C1包括在拍摄图像P1中。

接下来，初始设定单元215针对显示在拍摄图像P1中的细胞图像C1设定要注意的初始区域(图3的S103)。

图5是示出了根据本实施方式的在初始设定处理中的拍摄图像和要注意的初始区域的显示的实例的示图。如图5所示，初始设定单元215绘制了围绕细胞图像周围的闭合曲线1010，并且将由闭合曲线1010围绕的区域设定为要注意的初始区域1001。应注意，尽管在图5中示出的实例中通过沿着细胞图像C1的轮廓绘制闭合曲线1010来设定要注意的初始区域1001，但是也可以在细胞图像C1的内部或外部的区域中或者横穿细胞图像C1的轮廓设定要注意的初始区域1001。此外，闭合曲线1010可以通过用户的操作经由未示出的输入装置绘制，或者可以基于用于拍摄图像P1的图像分析处理绘制。

接下来，布置单元220针对要注意的初始区域1001布置追踪点(图3的S105)。

图6是示出了根据本实施方式的初始设定处理中的追踪点的布置的实例的示图。如图6所示，布置单元220在定义要注意的初始区域1001的闭合曲线1010上布置多个追踪点1011(1011a、1011b、1011c---)。应注意，尽管在图6中示出的实例中追踪点1011以基本相等间隔布置在闭合曲线1010上，但是追踪点之间的布置间隔不受具体限制。以下将描述布置追踪点的方法。此外，尽管在图6中示出的实例中追踪点1011被布置在闭合曲线1010上，但是布置追踪点1011的位置不受具体限制，只要它们是与要注意的初始区域1001相关联的位置即可。然而，因为在通过设定单元240执行的要注意的区域的设定处理中使用曲线内插追踪点来设定要注意的区域，因此期望的是在定义要注意的初始区域的闭合曲线上布置追踪点。

(追踪处理)

以上已经描述了通过信息处理装置20执行的初始设定处理。接下来，将描述通过信息处理装置20执行的追踪处理。

当初始设定处理结束时，估计单元230在一个追踪点1011周围设定追踪区域和追踪区域的搜索范围(图3的S107)。

图7是示出了根据本实施方式的追踪处理中的追踪区域及其搜索范围的设定的实例的示图。如图7所示，估计单元230将一个追踪点1011周围的矩形区域设定为追踪区域2001。追踪区域2001的大小不受具体限制，并且例如可以是n像素×n像素(n＝4、8、1、32等)。此外，追踪区域2001的大小可以根据成像装置10的成像条件、观察对象的类型等决定。此外，估计单元230设定其中搜索追踪区域2001的搜索范围2011。搜索范围2011的大小、搜索范围2011的中心位置、以及搜索范围2011的形状不受具体限制。例如，搜索范围2011的大小可以根据成像装置10的成像条件(例如，成像放大率)、对观察对象执行的分析类型等决定。

为了再次关于图3进行描述，估计单元230接下来从图像获取单元210获取另一个拍摄图像(图3的S109)，其中该另一个拍摄图像与设定要注意的区域所使用的拍摄图像不同。然后，估计单元230计算对应于每个追踪点的追踪区域的运动矢量(S111)，并且基于计算出的运动矢量估计另一个拍摄图像中的追踪点的位置(S113)。

图8是示出了根据本实施方式的追踪处理中的运动矢量的计算的实例以及追踪点的位置的估计的实例的示图。如图8所示，在本实施方式中，估计单元230首先获取作为拍摄图像P1的下一帧的拍摄图像P2。拍摄图像P2显示其细胞与拍摄图像P1中示出的细胞相同的细胞图像C2，并且可以从其中确定细胞变形。应注意，尽管图8示出了要注意的初始区域1001以及定义要注意的初始区域1001的闭合曲线1010，但是实际上显示单元D不显示要注意的初始区域1001以及定义要注意的初始区域1001的闭合曲线1010。

接下来，估计单元230计算对应于每个追踪点的追踪区域的运动矢量。参考图8，例如，估计单元230在拍摄图像P2中搜索包括与在追踪区域2001中包括的像素信息最紧密匹配的像素信息的区域，追踪区域2001对应于拍摄图像P1的追踪点1011a。应注意，在图8中示出的实例中，尽管追踪区域2001的搜索范围2011被设定为追踪区域2001(追踪点1011a)周围的矩形区域，但是搜索范围可以是整个拍摄图像P2。

当指定了包括与追踪区域2001中包括的像素信息最紧密匹配的像素信息的区域2021时，估计单元230基于指定的区域2021计算运动矢量2022。例如，使用块匹配法计算运动矢量2022。然后，估计单元230基于计算出的运动矢量2022估计各个追踪点1011在拍摄图像P2中的位置，并且将追踪点1011移动至估计位置。例如，如果每个追踪点1011的坐标被设定为(X(n)，Y(n))(n＝1、2、---、N)，并且对应于每个追踪点1011的运动矢量2022的坐标被设定为(MvX(n)，MvY(n))(N是追踪点1011的总数)，则每个追踪点1021的移动后的坐标(X’(n)，Y’(n))使用以下表达式(1)和(2)表示。因此，确定移动后的追踪点1021的位置。

[数学公式1]

X'(n)＝X(n)+MvX(n)…(1)

Y'(n)＝Y(n)+MvY(n)…(2)

再次参考图3进行描述，设定单元240接下来基于移动后的追踪点的位置设定要注意的区域(S115)。

图9是根据本实施方式的在追踪处理中设定要注意的区域的实例的示图。如图9所示，设定单元240绘制内插移动后的追踪点1021的闭合曲线1020，并且将由闭合曲线1020围绕的区域设定为拍摄图像P2的要注意的区域1002。应注意，即使拍摄图像P1中设定的要注意的初始区域1001与拍摄图像P1中包括的细胞图像C2一致，拍摄图像P2中包括的细胞图像C2的轮廓不必与定义由设定单元240设定的要注意的区域1002的闭合曲线1020一致。在这种情况下，可以例如通过适当地调节追踪点的数量、布置间隔、追踪区域或搜索范围来将要注意的区域1002设定为与细胞图像C2高精度地一致。此外，在步骤S115中设定的要注意的区域1002可以通过用户经由未示出的输入装置的操作进行修改。例如，闭合曲线1020的形状或者移动后的追踪点1021的位置可以通过用户的操作进行修改。因此，即使当在追踪处理中设定要注意的区域中存在错误时，可以适当地修改要注意的区域。

再次参考图3进行描述，输出控制单元250接下来将移动后的追踪点、通过设定单元240设定的要注意的区域等输出至显示单元D(S117)。应注意，可以执行以上描述的步骤S107至S115的处理而不在显示单元D上显示，或者各个步骤的处理可以继而显示在显示单元D上。

接下来，信息处理装置20确定步骤S107至S117的追踪处理是否终止(S119)。例如，终止追踪处理包括对动态图像数据的所有帧完成追踪处理、终止通过用户使用信息处理装置20等。当追踪处理继续(S119中的否)时，布置单元220针对通过设定单元240设定的要注意的区域重新布置追踪点(S121)。

图10是示出了根据本实施方式的追踪处理中的追踪点的重新布置的实例的示图。如图10所示，因为定义由设定单元240设定的要注意的区域1002的闭合曲线1020上的追踪点1021(1021a、1021b、1021c、---)移动到由估计单元230估计的位置，因此在追踪点的布置间隔中出现不均匀性。因此，当在不改变的情况下使用移动后的追踪点1021针对另一不同帧的拍摄图像估计追踪点1021的位置时，难以例如追踪追踪点之间的布置间隔变宽的部分中的细胞形状。此外，当所有追踪点彼此接近时，追踪区域重叠，这导致可追踪区域总体上减少，并且因此可追踪细胞形状的范围受到限制。

因此，布置单元220删除追踪点1021，并且再次在闭合曲线1020上布置追踪点1022(1022a、1022b、1022c、---)。在图10中示出的实例中，追踪点1022以固定间隔被布置在闭合曲线1020上。因此，可以防止布置追踪点的位置的偏差，并且可以保持追踪处理的精确度。

应注意，如在步骤S105中，通过布置单元220重新布置的追踪点之间的布置间隔不受具体限制。以下将描述布置追踪点的方法。此外，尽管在图10中示出的实例中在闭合曲线1020上重新布置追踪点1022，但是重新布置追踪点1022的位置不受具体限制，只要位置与要注意的区域1002相关联即可。然而，因为在通过设定单元240执行的要注意的区域的设定处理中使用曲线内插追踪点来设定要注意的区域，因此期望的是在定义要注意的初始区域的闭合曲线上重新布置追踪点。

信息处理装置20重复执行如上所述的步骤S107至S121的处理。通过重复设定对应于连续变化细胞的区域的要注意的区域的操作，重复为所设定的要注意的区域重新布置追踪点，并且重复估计重新布置的追踪点在另一帧的拍摄图像中的位置，可以追踪细胞的形状变化。

(2.3.效果)

以上已经描述了根据本公开内容的实施方式的信息处理装置20的配置实例和处理实例。根据本实施方式，初始设定单元215针对第一拍摄图像设定对应于细胞区域的要注意的区域，布置单元220为设定的要注意的区域布置追踪点，并且估计单元230估计所布置的追踪点在第二拍摄图像中的位置。此外，根据本实施方式，设定单元240基于追踪点的估计的位置在第二拍摄图像中设定要注意的区域，并且布置单元220为所设定的要注意的区域重新布置追踪点。利用这个配置，可以根据要注意的区域的改变来在适当位置重新布置追踪点。因此，可以防止由追踪点的分离或接近所引起的追踪处理中的精确度减小，并且可以高精度地追踪观察对象的形状变化。

(2.4.处理应用实例)

根据本公开内容的实施方式的通过信息处理装置20执行的各种处理不局限于以上描述的处理实例。以下将描述根据本实施方式的通过信息处理装置20的布置单元220和估计单元230执行的处理的应用实例。

(布置处理应用实例1：根据形状调整布置间隔)

首先，将描述通过布置单元220执行的布置处理(包括重新布置处理)的第一应用实例。布置单元220可以例如根据定义要注意的区域的线的形状的至少一部分决定布置在具有该形状的线上的追踪点之间的布置间隔(以及布置的数量)。即，布置单元220可以根据形状增加或减少追踪点之间的布置间隔。

图11是用于描述根据本实施方式的通过布置单元220执行的布置处理的第一应用实例的示图。如图11所示，针对拍摄图像P3上作为观察对象的细胞(未示出)设定由闭合曲线1030限定的要注意的区域1003。在此，闭合曲线1030的、位于由双点划线1032围绕的区域内的曲线与该区域外的曲线相比具有复杂形状。更具体地，包括在由双点划线1032围绕的区域中的曲线与该区域外的曲线相比是具有高曲率的形状。

如上所述，具有高曲率的部分被认为是在作为观察对象的细胞形状中具有细微变化的部分。因此，布置单元220可以根据曲线的形状的曲率度决定追踪点1031之间的布置间隔。更具体地，如图11所示，布置单元220可以针对具有高曲率的曲线的形状的部分(包括在由双点划线1032围绕的区域中的曲线)决定追踪点之间的布置间隔较小，从而布置更多的追踪点。因此，可以跟踪细胞形状的细微变化。这个布置处理例如可以应用于其形状可能细微变化的观察对象(细胞)。

(布置处理应用实例2：根据要注意的区域的亮度信息调整布置间隔)

接下来，将描述通过布置单元220执行的布置处理的第二应用实例。布置单元220可以基于有关包括在要注意的区域中的像素的信息决定追踪点之间的布置间隔(以及布置数量)。在此，有关包括在要注意的区域中的像素的信息可以是例如每个像素的亮度信息。此外，有关像素的信息不限于亮度信息，并且可以是像素的集中分布、边缘的强度等。

图12是用于描述根据本实施方式的通过布置单元220执行的布置处理的第二应用实例的示图。如图12所示，在拍摄图像P4上针对作为观察对象的细胞(未示出)设定由闭合曲线1040限定的要注意的区域1004(1004A和1004B)。在此，在要注意的区域1004内，要注意的区域1004A的亮度低，并且要注意的区域1004B的亮度高。

在观察到呈现高亮度的细胞的区域中，细胞死亡被认为已经发生。因为其中细胞死亡已经发生的区域的形状变化较小(或者在形状中未显示有变化)，因此布置单元220可以增加追踪点之间的布置间隔并且减少布置在具有高亮度的区域中的追踪点的数量。相反地，当该区域呈现低亮度时，细胞被认为是活的。因此，布置单元220可以决定减少追踪点之间的布置间隔并且增加布置在具有低亮度的区域中的追踪点的数量。通过根据如上所述的亮度决定追踪点之间的布置间隔(以及布置数量)，可以有效追踪其形状可以改变的区域。这个布置处理可以应用于例如其中可以发生细胞死亡的观察对象(细胞)。

应注意，尽管追踪点之间的布置间隔已经描述为根据上述实例中的亮度水平决定，但是追踪点之间的布置间隔可以根据例如亮度变化决定。更具体地，具有高亮度变化的区域被认为是对应于其中作为观察对象的细胞是活跃的区域。因此，布置单元220可以针对具有高亮度变化的区域决定追踪点之间的布置间隔是小的并且布置的追踪点的数量是大的。另一方面，具有低亮度变化的区域被认为是对应于其中细胞是不活跃的区域。因此，布置单元220可以针对具有低亮度变化的区域决定追踪点之间的布置间隔是大的并且布置的追踪点的数量是小的。因此，可以更紧密地追踪其中细胞是活跃的区域。

(布置处理应用实例3：根据运动矢量调整布置间隔)

接下来，将描述通过布置单元220执行的布置处理的第三应用实例。布置单元220可以基于在先前追踪处理中通过估计单元230估计的各个追踪点的运动矢量的幅度决定追踪点之间的布置间隔(以及布置数量)。布置单元220可以获取例如追踪点的运动矢量的幅度的分布并且根据该分布决定追踪点之间的布置间隔。

图13是用于描述根据本实施方式的通过布置单元220执行的布置处理的第三应用实例的示图。如图13所示，在拍摄图像P5上针对作为观察对象的细胞(未示出)设定由闭合曲线1060限定的要注意的区域1006。应注意，由虚线指示的闭合曲线1050是限定拍摄图像P5之前的一个帧的拍摄图像中设定的要注意的区域的曲线。闭合曲线1050具有布置在其上的追踪点1051(1051a、1051b、---)以用于在先前拍摄图像中设定的要注意的区域。追踪点1051移动至基于通过估计单元230计算出的运动矢量所计算出的位置(移动后的追踪点被显示为追踪点1061)。例如，追踪点1051a基于运动矢量M1a移动至该点变为追踪点1061a(由短划线指示)的位置。同样地，追踪点1051b基于运动矢量M1b移动至该点变为追踪点1061b的位置。

在此，如图13所示，运动矢量M1a大于运动矢量M1b。即，追踪点1051a的外周的形状变化被认为大于追踪点1051b的外周的形状变化。因此，当在通过设定单元240在拍摄图像P5中设定要注意的区域1006之后，要基于移动后的追踪点1061重新布置要注意的区域1006的追踪点时，布置单元220可以在对应于高运动矢量的追踪点的外周中重新布置多个追踪点。例如，如图13所示，多个追踪点1062被布置在对应于运动矢量M1a的追踪点1061a的周线中。同时，追踪点1062之间的布置间隔在对应于运动矢量M1b的追踪点1061b的周线中被设定为较大。如上所述，通过根据运动矢量的幅度设定追踪点，可以更紧密地追踪其中细胞是活跃的区域。

(估计处理应用实例：计算观察对象的移动量)

接下来，将描述其中该处理通过估计单元230执行的估计处理应用实例。根据本实施方式的估计单元230估计追踪点中的每一个在另一图像中的位置，但是在那时，估计单元230可以进一步使用估计结果计算观察对象的移动量。更具体地，估计单元230可以使用针对追踪点中的每一个计算的运动矢量来计算观察对象的移动量。

图14是用于描述根据本实施方式的其中该处理通过估计单元230执行的估计处理应用实例的示图。如图14所示，在拍摄图像P6上针对作为观察对象的细胞(未示出)设定通过估计单元230估计的追踪点1081(1081a、1081b、---)以及由设定单元240基于追踪点1081绘制的闭合曲线1080限定的要注意的区域1008。此外，用于绘制由虚线(对应于要注意的区域1007)指示的闭合曲线1070的追踪点1071(1071a、1071b、---)是布置在作为拍摄图像P6之前的帧的拍摄图像(未示出)中的追踪点。即，追踪点1071移动至基于通过估计单元230计算出的运动矢量所计算出的位置(移动后的追踪点被显示为追踪点1081)。例如，追踪点1081a是从初始追踪点1071a移动了通过估计单元230计算出的运动矢量M2a的幅度和方向的点。

在此，如图14所示，当细胞的形状没有明显变化时，通过设定单元240设定的每个要注意的区域的形状也没有明显变化。因此，在估计追踪点的位置中使用的运动矢量被认为反映细胞的移动状态。

因此，估计单元230可以从用于估计追踪点的位置所计算出的运动矢量来计算观察对象的移动幅度。例如，如图14所示，估计单元230可以基于针对追踪点1071a、1071b、---计算的运动矢量M2a、M2b、---计算指示观察对象的移动的矢量M3。可以例如基于用于运动矢量M2的分布的最小二乘法计算矢量M3。这个矢量M3可以输出为观察对象的运动的值。

此外，估计单元230可以基于追踪点的运动矢量M2不仅计算观察对象在平移方向上的运动而且可以计算观察对象的旋转。例如，估计单元230可以基于运动矢量M2的幅度和方向估计观察对象的旋转中心，并且基于该旋转中心计算旋转运动。

如上所述，可以基于通过估计单元230计算出的运动矢量定量分析观察对象的各种运动。因此，可以更详细地评估观察的追踪。

(2.5.变形例)

(要注意的区域中的运动的分析)

接下来，将描述根据本公开内容的实施方式的信息处理装置20的变形例。图15是示出了根据本公开内容的实施方式的变形例的信息处理装置20A的功能配置实例的框图。尽管根据本变形例的信息处理装置20A包括根据本实施方式的信息处理装置20中包括的图像获取单元210、初始设定单元215、布置单元220、估计单元230、设定单元240和输出控制单元250，但是可以包括初始处理单元255和分析单元260来代替初始设定单元215。更具体地，根据本变形例的信息处理装置20A可以基于通过初始处理单元255计算出的运动矢量使用分析单元260计算在追踪处理中指定的要注意的区域的内部的运动特征量。

(初始处理单元)

初始处理单元255具有针对通过图像获取单元210获取的多条拍摄图像数据分析运动并计算运动矢量的功能。在此计算出的运动矢量不意指针对以上描述的要注意的区域布置的追踪点的运动矢量，而是意指拍摄图像数据的帧的内部的运动矢量。这种运动矢量用于在随后阶段由分析单元260计算运动特征量。对于经受计算的运动矢量的拍摄图像数据可以是所获取的全部拍摄图像(动态图像)数据的帧，或者自动或根据用户选择而选择的一部分的帧。使用诸如块匹配的已知算法适宜地执行运动矢量的计算。

应注意，初始处理单元255还可以具有以上描述的初始设定单元215的功能。即，初始处理单元255可以具有针对获取的拍摄图像设定要注意的区域的功能。因此，初始处理单元255可以为要注意的区域执行初始设定处理和上述运动矢量计算处理。这些处理的顺序不受具体限制。通过初始处理单元255执行的运动矢量计算处理优选地在随后阶段的追踪处理之前执行。这是为了减少施加在该计算上的负担。通过初始处理单元255获得的关于运动矢量的信息可以输出至随后阶段的分析单元260。

(分析单元)

分析单元260具有为在追踪处理中通过设定单元240设定的要注意的区域计算运动特征量的功能。具体地，分析单元260在通过初始处理单元255预先计算出的运动矢量之中指出通过设定单元240设定的要注意的区域的内部的运动矢量，并且基于指出的运动矢量计算用于要注意的区域的运动特征量。

例如，运动特征量是运动量、运动区域、平均运动量、运动量的标准偏差、加速度、运动方向和运动频率中的至少一个。这些运动特征量使用已知算法等适当地计算。

此外，计算出的运动特征量输出至输出控制单元250。根据要分析的运动的性能适当地选择运动特征量的输出形式，如时序序列曲线、二维映射、雷达图或者直方图。

如上所述，通过分析要注意的区域的运动，不仅可以简单地追踪对应于要注意的区域的要观察的运动，而且还可以定量评估要观察的特征运动。此外，与同时执行追踪处理和运动矢量计算处理相比，通过在追踪处理之前预先计算运动矢量，可以减少计算量，。因此，可以更迅速地执行追踪处理。

(处理流程)

图16是示出了根据本变形例的通过信息处理装置20A执行的处理的实例的流程图。参考图16，图像获取单元210首先获取动态图像数据(拍摄图像数据)(S201)。接下来，初始处理单元255计算动态图像数据的运动矢量(S203)。

接下来，初始处理单元255为一个拍摄图像设定要注意的区域(S205)，并且布置单元220在要注意的区域中布置追踪点(S207)。然后，估计单元230设定围绕追踪点的追踪区域以及追踪区域的搜索范围(S209)。

接下来，图像获取单元210获取已经设定了要注意的区域的一个拍摄图像的下一帧的图像(S211)，并且估计单元230估计追踪点在该图像中位置(S213)。然后，设定单元240基于已经经受追踪处理的追踪点的位置设定要注意的区域(S215)。此外，分析单元260基于要注意的区域的内部的运动矢量计算所设定的要注意的区域的运动特征量，并且以预定形式输出计算出的运动特征量(S217)。

重复追踪处理和运动特征量计算处理(S209至S217)直到它们的终止(S219)。应注意，当在步骤S219中继续追踪处理(在S219中的否)时，在追踪处理之后为通过布置单元220对所设定的要注意的区域重新布置追踪点(S221)。

(2.6.装置应用实例)

接下来，将描述根据本公开内容的实施方式的信息处理装置20的应用实例。

(应用实例1：神经细胞)

关于根据本实施方式的信息处理装置20，在短期内明显改变其形状的细胞是主要处理对象。首先，将描述根据本实施方式的信息处理装置20的第一应用实例。

图17是用于描述根据本实施方式的信息处理装置20的第一应用实例(神经细胞)的示图。如图17所示，在本应用实例中作为观察对象的神经细胞C10包括细胞体C10A和轴突C10B(应注意，为了便于描述，在本应用实例中省去组成神经细胞C10的其他元素，诸如，树突和细胞核)。为了形成神经回路，神经细胞C10朝向另一细胞延伸轴突C10B。即，神经细胞C10中的轴突C10B在短期内生长。通过使用根据本实施方式的信息处理装置20，因此可以追踪轴突C10B的生长。

如图17所示，可以通过例如将追踪点3001布置为与轴突C10B重叠来根据轴突C10B的形状和延伸方向来设定要注意的区域3000。在图17中示出的实例中，要注意的区域3000由直线或曲线限定。在这种情况下，为了追踪轴突C10B的生长，期望的是至少在轴突C10B的尖端以及细胞体C10A和轴突C10B的边界布置追踪点3001。应注意，这个要注意的区域3000可以根据轴突C10B的形状使用平面区域限定。

图18是示出了根据本实施方式的通过信息处理装置20执行的轴突C11B的初始设定处理的实例的示图。如图18所示，要注意的区域3010被设定为与神经细胞C11的轴突C11B重叠。此外，在限定要注意的区域3010的追踪点3011之中，追踪点3011a被布置在细胞体C11A和轴突C11B的边界上，并且追踪点3011c被布置在轴突C11B的尖端处。

图19是示出了根据本实施方式的通过信息处理装置20执行的轴突C11B的追踪处理的实例的示图。轴突C11B处于从图18中示出的状态在轴突C11B的长度方向延伸的状态。此时，追踪点3011移动至通过估计单元230估计的位置。例如，追踪点3011c移动至对应于轴突C11B的尖端的位置。另一方面，追踪点3011a移动至对应于细胞体C11A和轴突C11B的边界的位置(也考虑追踪点不移动的情况)。然后，基于移动之后的追踪点3011通过设定单元240设定要注意的区域3020。然后，通过布置单元220为要注意的区域3020布置新的追踪点3021。应注意，追踪点3021a和3021f被重新布置在轴突C11B的尖端处以及细胞体C11A和轴突C11B的边界上与上述追踪点3011a和3011c相同的位置处。此外，如图19所示，通过布置单元220重新布置的追踪点的数量可根据轴突C11B的延伸而增加。

通过重复执行相对于轴突C11B的上述追踪处理，可以追踪轴突C11B的延伸。

(应用实例2：斑马鱼)

根据本实施方式的信息处理装置20的应用对象不限于如上所述的细胞。例如，应用对象可以是动物、植物或非生命结构。当这种应用对象在短期内明显改变其形状或结构时，通过根据本实施方式的信息处理装置20执行的追踪处理是有效的。以下将描述根据本实施方式的信息处理装置20的第二应用实例。

图20是用于描述根据本实施方式的信息处理装置20的第二应用实例(斑马鱼)的示图。如在本应用实例中作为观察对象的斑马鱼C20，斑马鱼不仅被作为宠物而且经常作为模型脊椎动物有机体而用于生物研究。即，经常执行对如斑马鱼C20的斑马鱼的形状的变化的观察和评估。因此，如果使用根据本实施方式的信息处理装置20，则可以有目标地追踪斑马鱼C20的形状的生长和变化。

如图20所示，斑马鱼C20具有眼睛C20A和骨干(backbone，脊椎)C20B。在初始设定处理中，通过在眼睛C20A的轮廓上和骨干C20B上布置追踪点4001来设定围绕眼睛C20A的要注意的区域4000A以及沿着骨干C20B的形状形成的要注意的区域4000B。

要注意的区域4000B被设定为追踪骨干C20B的运动。因此，使用根据本实施方式的信息处理装置20，可以追踪斑马鱼C20的动态状态。此外，要注意的区域4000A被设定在眼睛C20A的轮廓上。眼睛C20A的形状显示没有特别明显的变化。因此，使围绕眼睛C20A的要注意的区域4000A作为固定区域，可以追踪要注意的区域4000B的相对动态状态或形状变化。参考连接要注意的区域4000A和4000B的追踪点4001c的位置，可以计算追踪点4001a的相对运动。因此，可以区别地追踪斑马鱼C20的动态状态以及斑马鱼C20具有的每个元素(例如，骨干C20B)的动态状态和形状变化。因此，即使当斑马鱼C20持续产生微小移动时，可以有目的地追踪斑马鱼C20的形状变化或者斑马鱼C20具有的每个元素的动态状态或形式变化。

(应用实例3：菌落)

根据本实施方式的信息处理装置20的应用对象(观察对象)不仅可以是以上描述的一个结构，而且可以是由多个结构组成的群组。当这种应用对象在短期内作为群组明显改变其形状或结构时，通过根据本实施方式的信息处理装置20执行的追踪处理是有用的。以下将描述根据本实施方式的信息处理装置20的第三应用实例。

图21是用于描述根据本实施方式的信息处理装置20的第三应用实例(应用至菌落)的示图。在本应用实例中作为观察对象的菌落C30是从由在培养处理中的细菌、细胞等形成的单个种类得到的群组。通过观察菌落C30的形状变化，可以评估单个细胞、细菌等的特性或用于观察对象的处理效果。例如，可以评估与ES细胞区别开的细胞的菌落形成能力，或者可以基于医学已经引入的癌细胞的菌落C30的增殖能力来评估药物功效。

当观察对象是菌落C30时，如图21所示，菌落C30的最外层轮廓优选地利用布置在菌落C30的最外侧处的追踪点5001设定为要注意的区域5000。在此，菌落C30的形状由于C31内部的菌落的细胞分裂引起的总体扩大以及由外部周线C32附近的细胞变化引起的部分轮廓的突出导致的复杂变化。因此，总而言之，必须为菌落C30布置追踪点5001。例如，通过将追踪点5001之间的间隔设定为与组成菌落C30的一个细胞的宽度相比是相同的或更窄，可以追踪菌落C30的复杂的形状变化。

(应用实例4：巨噬细胞以及诸如癌细胞的异物)

根据本实施方式的信息处理装置20不仅仅可以将一种结构单独设定为一个拍摄图像数据的应用对象，而且还可以将多个不同结构设定为应用对象。当这些应用对象互相作用并且因此在短期内明显改变其形状和结构时，通过根据本实施方式的信息处理装置20执行的追踪处理是有用的。以下将描述根据本实施方式的信息处理装置20的第四应用实例。

图22是用于描述根据本实施方式的信息处理装置20的第四应用实例(应用至巨噬细胞和异物)的示图。在本应用实例中作为观察对象的巨噬细胞C40是在生物体内部移动的白细胞，并且具有吞噬作用，其中，该细胞吞噬和消化死细胞、身体内部的变性材料、或者诸如细菌的异物。当巨噬细胞C40被设定为应用对象时，捕捉巨噬细胞C40的移动以及巨噬细胞C40的形状变化，分析吞噬作用中的巨噬细胞C40的运动，并且从而可以评估巨噬细胞C40的吞噬作用能力。

当观察对象是如图22所示的巨噬细胞C40并且期望评估巨噬细胞C40的吞噬作用时，优选的是将追踪点6001和7001分别布置在巨噬细胞C40和诸如癌细胞的异物C50的轮廓上并且将巨噬细胞C40和异物C50的最外层轮廓设定为要注意的区域6000和7000。因为巨噬细胞C40在吞噬处理中明显改变其形状，期望的是增加布置的追踪点6001的数量并且减少布置间隔6002。同时，因为异物C50在吞噬处理中很难改变其形状，优选的是减少布置的追踪点7001的数量并且增加布置间隔7002。此外，在追踪处理中不必为异物C50重新布置追踪点7001。因此，可以减少计算量，并且可以执行适合于各个细胞的追踪处理。

如以上描述的应用实例所示，根据本实施方式的信息处理装置20的布置单元220可以基于关于设定要注意的区域的观察对象的信息(例如，观察对象的类型、观察对象的数量或诸如活跃的或不活跃的状态)适当地决定各个追踪点之间的布置间隔。因此，尽管计算量减少，但是可以执行适合于各个观察对象的追踪处理。

3.硬件配置

接下来，参考图23，描述根据本公开内容的实施方式的信息处理装置的硬件配置。图23是示出了根据本公开内容的实施方式的信息处理装置的硬件配置实例的框图。示出的信息处理装置900可以实现以上描述的实施方式中的信息处理装置20。

信息处理装置900包括中央处理单元(CPU)901、只读存储器(ROM)903和随机存取存储器(RAM)905。此外，信息处理装置900可包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口925和通信装置929。代替或者除了CPU 901之外，信息处理装置900可包括处理电路，诸如，数字信号处理器(DSP)或专用集成电路(ASIC)。

CPU 901用作运算处理装置和控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移除记录介质923中的各种程序控制信息处理装置900的总体操作或者一部分操作。例如，CPU 901控制包括在上述实施方式的信息处理装置20中的各个功能单元的总体操作。ROM 903存储CPU 901所使用的程序、操作参数等。RAM 905暂时存储当执行CPU901时所使用的程序、以及当执行这种程序时根据情况改变的参数。CPU901、ROM 903和RAM 905经由诸如CPU总线等内部总线构成主机总线907彼此连接。主机总线907经由桥接器909连接至诸如外围组件互连/接口(PCI)总线的外部总线911。

输入装置915是由用户操作的装置，诸如，鼠标、键盘、触摸屏、按钮、开关和操纵杆。输入装置915可以是使用例如红外线辐射和另一类型的无线电波的遥控装置。可替换地，输入装置915可以是对应于信息处理装置900的操作的外部连接装置927，诸如，移动电话。输入装置915包括基于由用户输入的信息生成输入信号的输入控制电路以便将所生成的输入信号输出至CPU 901。用户输入各种类型的数据并且通过操作输入装置915向信息处理装置900指示处理操作。

输出装置917包括可以视觉地或听觉地向用户报告获取的信息的装置。例如，输出装置917可以是：显示装置，诸如，LCD、PDP和OELD；音频输出装置，诸如，扬声器和头戴耳机；以及打印机。输出装置917以文本或诸如图像的视频、或者诸如音频声音的声音形式输出通过信息处理装置900执行的处理所获得的结果。

存储装置919是用于数据存储的装置，是信息处理装置900的存储单元的实例。例如，存储装置919包括诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置或磁光存储装置。存储装置919在其中存储通过CPU 901执行的程序和各种数据、以及从外部获取的各种数据。

驱动器921是用于可移除记录介质923的读取器/写入器，诸如，磁盘、光盘、磁光盘和半导体存储器，并且安装在信息处理装置900中或者外部附接至信息处理装置900。驱动器921读出记录在安装的可移除记录介质923上的信息，并且将信息输出至RAM 905。驱动器921将该记录写入到安装的可移除记录介质923中。

连接端口925是用于将装置直接连接至信息处理装置900的端口。例如，连接端口925可以是通用串行总线(USB)端口、IEEE1394端口、或者小型计算机系统接口(SCSI)端口。连接端口925还可以是RS-232C端口、光学音频终端、高清晰多媒体接口(HDMI(注册商标))端口等。外部连接装置927至连接端口925的连接使得可以在信息处理装置900与外部连接装置927之间交换各种数据。

通信装置929是包括例如用于连接至通信网络NW的通信装置的通信接口。例如，通信装置929可以是有线或无线局域网(LAN)、蓝牙(注册商标)或者用于无线USB(WUSB)的通信卡。例如，通信装置929还可以是用于光通信的路由器、用于异步数字用户线(ADSL)、或者用于各种类型的通信的调制解调器。例如，通信装置929发送和接收互联网中的信号或者通过使用诸如TCP/IP的预定协议将信号传输至另一通信装置并且从另一通信装置接收信号。通信装置929连接至的通信网络NW是通过有线或无线连接建立的网络。例如，通信网络NW是互联网、家用LAN、红外通信、无线电波通信或者卫星通信。

已经描述了信息处理装置900的硬件配置的实例。以上所描述的每一个结构元件可以通过使用通用组件配置或者可以通过专用于每一个结构元件的功能的硬件配置。该配置可以根据需要根据本公开内容起作用时的技术现状改变。

4.结论

以上已经参考附图描述了本公开内容的优选实施方式，然而本公开内容并不局限于上述实例。在所附权利要求的范围内，本领域中的技术人员可以发现各种变化和修改，并且应当理解，它们将自然地归入本公开内容的技术范围内。

例如，尽管在上述实施方式中信息处理系统1被配置为设置有成像装置10和信息处理装置20，但是本技术不限于此。例如，成像装置10可具有信息处理装置20的功能(追踪功能)。在这种情况下，信息处理系统1通过成像装置10实现。此外，信息处理装置20可具有成像装置10的功能(成像功能)。在这种情况下，信息处理系统1通过信息处理装置20实现。进一步地，成像装置10可具有信息处理装置20的一部分功能，并且信息处理装置20可具有成像装置10的一部分功能。

此外，尽管在实施方式中细胞被举例作为用于信息处理系统1的分析的观察对象，但是本技术不限于此。例如，观察对象可以是细胞器官、生物组织、器官、人类、动物、植物、非生命结构等，并且当其形状结构在短期内变化时，可以使用信息处理系统1追踪观察对象的变化。

在本说明书中通过信息处理装置执行的处理中的步骤可以不必以流程图中描述的顺序按照先后顺序处理。例如，通过信息处理装置执行的处理中的步骤可以与流程图中描述的顺序不同的顺序处理或者可以同时处理。

另外，可以生成使得诸如包括在信息处理装置中的CPU、ROM和RAM的硬件执行与设定有调整指令指定单元的信息处理装置的上述配置的等效功能的计算机程序。另外，可以提供其中存储有计算机程序的存储介质。

此外，本说明书中描述的效果仅是说明性的和演示性的，并非限制性的。换言之，根据本公开内容的技术可以展示伴随或替代基于本说明书的效果的对于本领域中的技术人员明显的其他效果。

此外，本技术还可以进行如下配置。

(1)一种信息处理装置，包括：

电路，被配置为：

在第一图像的第一区域内布置多个追踪点；

基于所述多个追踪点在第二图像中的估计位置设定第二图像的第二区域，其中，通过比较第一图像和第二图像确定估计位置，并且第二图像在与第一图像不同的时间拍摄；并且

在第二图像的第二区域内重新布置多个追踪点。

(2)根据项(1)所述的信息处理装置，其中，布置多个追踪点包括在限定第一图像的第一区域的线上布置多个追踪点。

(3)根据项(2)所述的信息处理装置，其中，布置多个追踪点包括基于线的至少部分的形状确定多个追踪点之间的布置间隔。

(4)根据项(3)所述的信息处理装置，其中，确定多个追踪点之间的布置间隔包括基于形状的曲率确定布置间隔。

(5)根据项(2)所述的信息处理装置，其中，限定第一区域的线是围绕第一区域的闭合曲线。

(6)根据项(1)所述的信息处理装置，其中，布置多个追踪点包括基于用于包括在第一区域内的像素的像素信息确定多个追踪点之间的布置间隔。

(7)根据项(6)所述的信息处理装置，其中，像素信息包括亮度信息。

(8)根据项(1)所述的信息处理装置，其中，在第二区域内重新布置多个追踪点包括在与估计位置中的一个相同的位置处布置多个追踪点中的至少一个。

(9)根据项(1)所述的信息处理装置，其中，通过比较第一图像和第二图像以获得运动矢量并且基于运动矢量估计多个追踪点的位置来估计所述多个追踪点在第二图像中的位置。

(10)根据项(9)所述的信息处理装置，其中，获得运动矢量包括在第一图像中设定包括多个追踪点的至少一个追踪点的追踪区域并且在第二区域中在预定搜索范围搜索追踪区域的位置。

(11)根据项(10)所述的信息处理装置，其中，追踪区域的大小是基于第一区域中的观察对象的信息来确定的大小。

(12)根据项(10)所述的信息处理装置，其中，搜索范围的大小是基于第一区域中的观察对象的信息来确定的。

(13)根据项(9)所述的信息处理装置，其中，估计多个追踪点的位置进一步包括基于运动矢量计算第一图像与第二图像之间的观察对象的移动量。

(14)根据项(9)所述的信息处理装置，其中，重新布置多个追踪点进一步包括基于运动矢量确定多个追踪点之间的布置间隔。

(15)根据项(1)所述的信息处理装置，其中，基于第一图像的第一区域中的观察对象的信息估计多个追踪点在第二图像中的位置。

(16)根据项(1)所述的信息处理装置，其中，设定第二图像的第二区域进一步包括使用第一图像的像素信息。

(17)根据项(1)所述的信息处理装置，其中，在第一图像的第一区域内布置多个追踪点包括在第一区域内相对于观察对象布置多个追踪点，并且设定第二图像的第二区域进一步包括将第二区域设定为包括观察对象的至少一部分。

(18)根据项(17)所述的信息处理装置，其中，观察对象包括生物细胞的至少一部分。

(19)根据项(18)所述的信息处理装置，其中，重新布置多个追踪点进一步包括以适应生物细胞的形状变化的方式重新布置多个追踪点。

(20)根据项(17)所述的信息处理装置，其中，估计多个追踪点在第二图像中的位置进一步包括基于第一图像与第二图像之间的观察对象的移动调整第一图像中的多个追踪点的位置。

(21)根据项(1)所述的信息处理装置，其中，在第二图像的第二区域内重新布置多个追踪点包括使用第二图像中的多个追踪点的估计位置中的至少一个。

(22)一种信息处理方法，包括：

在第一图像的第一区域内布置多个追踪点；

基于所述多个追踪点在第二图像中的估计位置设定第二图像的第二区域，其中，通过比较第一图像和第二图像确定估计位置，并且第二图像在与第一图像不同的时间拍摄；并且

在第二图像的第二区域内重新布置多个追踪点。

(23)一种信息处理系统，包括：

成像装置，被配置为生成包括第一图像和第二图像的多个图像；以及

电路，被配置为：

在第一图像的第一区域内布置多个追踪点；

基于多个追踪点在第二图像中的估计位置设定第二图像的第二区域，其中，通过比较第一图像和第二图像确定估计位置，并且第二图像在与第一图像不同的时间拍摄；并且

在第二图像的第二区域内重新布置多个追踪点。

(24)一种信息处理装置，包括：

布置单元，在拍摄图像中针对要注意的区域布置多个追踪点；

估计单元，基于拍摄图像与其拍摄时间点与该拍摄图像的拍摄时间点不同的另一拍摄图像的比较，估计追踪点在另一拍摄图像中的位置；以及

设定单元，基于通过估计单元估计的追踪点的位置在另一拍摄图像中设定要注意的区域，

其中，当通过设定单元在拍摄图像中设定要注意的区域时，布置单元为所设定的要注意的区域重新布置追踪点，并且估计单元估计重新布置的追踪点在另一拍摄图像中的位置。

(25)根据项(24)所述的信息处理装置，其中，布置单元在限定要注意的区域的线上布置多个追踪点。

(26)根据项(25)所述的信息处理装置，其中，根据限定要注意的区域的线的至少一部分的形状，布置单元判定要布置在具有该形状的线上的多个追踪点之间的布置间隔。

(27)根据项(26)所述的信息处理装置，其中，布置单元根据形状的曲率判定多个追踪点之间的布置间隔。

(28)根据项(25)至(27)中任一项所述的信息处理装置，其中，布置单元基于关于包括在拍摄图像中的要注意的区域中的像素的信息判定多个追踪点之间的布置间隔。

(29)根据项(28)所述的信息处理装置，其中，关于像素的信息包括亮度信息。

(30)根据项(25)至(29)中任一项所述的信息处理装置，其中，布置单元基于关于对应于要注意的区域的观察对象的信息判定多个追踪点之间的布置间隔。

(31)根据项(25)至(30)中任一项所述的信息处理装置，其中，限定要注意的区域的线是围绕要注意的区域的闭合曲线。

(32)根据项(24)至(31)中任一项所述的信息处理装置，其中，布置单元在与通过估计单元估计的位置相同的位置处重新布置先前布置的追踪点之中的至少一个追踪点。

(33)根据项(24)至(32)中任一项所述的信息处理装置，其中，估计单元基于通过比较拍摄图像和另一拍摄图像获得的运动矢量估计另一拍摄图像中的追踪点的位置。

(34)根据项(33)所述的信息处理装置，其中，对于拍摄图像内包括追踪点的追踪区域，估计单元通过在另一拍摄图像中在预定搜索范围搜索追踪区域的位置来计算运动矢量。

(35)根据项(34)所述的信息处理装置，其中，追踪区域的大小是基于关于对应于要注意的区域的观察对象的信息来确定的大小。

(36)根据项(34)或(35)所述的信息处理装置，其中，搜索范围的大小是基于关于对应于要注意的区域的观察对象的信息来确定的大小。

(37)根据项(33)至(36)中任一项所述的信息处理装置，其中，估计单元基于运动矢量计算对应于要注意的区域的观察对象的移动量。

(38)根据项(33)至(37)中任一项所述的信息处理装置，其中，布置单元基于运动矢量的幅度判定多个追踪点之间的布置间隔。

(39)根据项(24)至(38)中任一项所述的信息处理装置，进一步包括：

分析单元，被配置为使用通过分析每一个拍摄图像获得的运动矢量计算要注意的区域的内部的运动特征量。

(40)根据项(24)至(39)中任一项所述的信息处理装置，其中，估计单元估计在基于关于对应于要注意的区域的观察对象的信息决定的拍摄时间点拍摄的另一拍摄图像中的追踪点的位置。

(41)根据项(24)至(40)中任一项所述的信息处理装置，其中，设定单元使用关于包括在拍摄图像中的像素的信息设定要注意的区域。

(42)一种通过处理器执行的信息处理方法，该信息处理方法包括：

在拍摄图像中设置用于要注意的区域的多个追踪点；

基于拍摄图像与其拍摄时间点与该拍摄图像的拍摄时间点不同的另一拍摄图像的比较，估计追踪点在另一拍摄图像中的位置；并且

基于追踪点的估计位置在另一拍摄图像中设定要注意的区域，

其中，当处理器在拍摄图像中设定要注意的区域时，处理器为所设定的要注意的区域重新布置追踪点，并且估计另一拍摄图像中的重新布置的追踪点的位置。

(43)一种信息处理系统，包括：

成像装置，设置有生成多个拍摄图像的成像单元；以及

信息处理装置，设置有：布置单元，在从成像单元获取的一个拍摄图像中针对要注意的区域布置多个追踪点；估计单元，基于一个拍摄图像与其成像单元的拍摄时间点与该拍摄图像的拍摄时间点不同的另一拍摄图像的比较，估计追踪点在另一拍摄图像中的位置；以及设定单元，基于追踪点的估计位置在另一拍摄图像中设定要注意的区域，其中，当通过设定单元在一个拍摄图像中设定要注意的区域时，布置单元为所设定的要注意的区域重新布置追踪点，并且估计单元估计另一拍摄图像中的重新布置的追踪点的位置。

[参考符号列表]

1 信息处理系统

10 成像装置

20 信息处理装置

210 图像获取单元

215 初始设定单元

220 布置单元

230 估计单元

240 设定单元

250 输出控制单元

255 初始处理单元

260 分析单元

Claims (23)

1.一种信息处理装置，包括：

电路，被配置为：

在第一图像的第一区域布置多个追踪点；

基于所述多个追踪点在第二图像中的估计位置设定所述第二图像的第二区域，其中，通过比较所述第一图像和所述第二图像确定所述估计位置，并且所述第二图像是在与所述第一图像不同的时间点拍摄的；并且

在所述第二图像的所述第二区域内重新布置所述多个追踪点。

2.根据权利要求1所述的信息处理装置，其中，布置所述多个追踪点包括在限定所述第一图像的所述第一区域的线上布置所述多个追踪点。

3.根据权利要求2所述的信息处理装置，其中，布置所述多个追踪点包括基于所述线的至少部分的形状确定所述多个追踪点之间的布置间隔。

4.根据权利要求3所述的信息处理装置，其中，确定所述多个追踪点之间的布置间隔包括基于所述形状的曲率确定所述布置间隔。

5.根据权利要求2所述的信息处理装置，其中，限定所述第一区域的所述线是围绕所述第一区域的闭合曲线。

6.根据权利要求1所述的信息处理装置，其中，布置所述多个追踪点包括基于包括在所述第一区域内的像素的像素信息确定所述多个追踪点之间的布置间隔。

7.根据权利要求6所述的信息处理装置，其中，所述像素信息包括亮度信息。

8.根据权利要求1所述的信息处理装置，其中，在所述第二区域内重新布置所述多个追踪点包括在与一个所述估计位置相同的位置处布置所述多个追踪点中的至少一个。

9.根据权利要求1所述的信息处理装置，其中，通过比较所述第一图像和所述第二图像以获得运动矢量并且基于所述运动矢量估计所述多个追踪点的位置，来估计所述多个追踪点在所述第二图像中的位置。

10.根据权利要求9所述的信息处理装置，其中，获得所述运动矢量包括在所述第一图像中设定包括所述多个追踪点的至少一个追踪点的追踪区域并且在所述第二图像中在预定的搜索范围搜索所述追踪区域的位置。

11.根据权利要求10所述的信息处理装置，其中，所述追踪区域的大小是基于所述第一区域中的观察对象的信息所确定的大小。

12.根据权利要求10所述的信息处理装置，其中，所述搜索范围的大小是基于所述第一区域中的观察对象的信息来确定的。

13.根据权利要求9所述的信息处理装置，其中，估计所述多个追踪点的位置进一步包括基于所述运动矢量计算观察对象在所述第一图像与所述第二图像之间的移动量。

14.根据权利要求9所述的信息处理装置，其中，重新布置所述多个追踪点进一步包括基于所述运动矢量确定所述多个追踪点之间的布置间隔。

15.根据权利要求1所述的信息处理装置，其中，基于所述第一图像的所述第一区域中的观察对象的信息估计所述多个追踪点在所述第二图像中的位置。

16.根据权利要求1所述的信息处理装置，其中，设定所述第二图像的所述第二区域进一步包括使用所述第一图像的像素信息。

17.根据权利要求1所述的信息处理装置，其中，在所述第一图像的所述第一区域内布置所述多个追踪点包括在所述第一区域内相对于观察对象布置所述多个追踪点，并且设定所述第二图像的所述第二区域进一步包括将所述第二区域设定为包括所述观察对象的至少一部分。

18.根据权利要求17所述的信息处理装置，其中，所述观察对象包括生物细胞的至少一部分。

19.根据权利要求18所述的信息处理装置，其中，重新布置所述多个追踪点进一步包括以适应所述生物细胞的形状变化的方式重新布置所述多个追踪点。

20.根据权利要求17所述的信息处理装置，其中，估计所述多个追踪点在所述第二图像中的位置进一步包括基于所述观察对象在所述第一图像与所述第二图像之间的移动调整所述第一图像中的所述多个追踪点的位置。

21.根据权利要求1所述的信息处理装置，其中，在所述第二图像的所述第二区域内重新布置所述多个追踪点包括使用所述多个追踪点在所述第二图像中的所述估计位置中的至少一个。

22.一种信息处理方法，包括：

在第一图像的第一区域内布置多个追踪点；

基于所述多个追踪点在第二图像中的估计位置设定所述第二图像的第二区域，其中，通过比较所述第一图像和所述第二图像确定所述估计位置，并且所述第二图像是在与所述第一图像不同的时间点拍摄的；并且

在所述第二图像的所述第二区域内重新布置所述多个追踪点。

23.一种信息处理系统，包括：

成像装置，被配置为生成包括第一图像和第二图像的多个图像；以及

电路，被配置为：

在所述第一图像的第一区域内布置多个追踪点；

基于多个追踪点在所述第二图像中的估计位置设定所述第二图像的第二区域，其中，通过比较所述第一图像和所述第二图像确定所述估计位置，并且所述第二图像是在与所述第一图像不同的时间点拍摄的；并且

在所述第二图像的所述第二区域内重新布置所述多个追踪点。